苹果电脑公司的研究人员通过测试发现，人工智能法学硕士给出的看似智能的答案不过是一种假象。研究人员在arXiv预印本服务器上发表的论文中指出，在测试了几门法学硕士后，他们发现这些课程无法进行真正的逻辑推理。

过去几年，ChatGPT 等许多 LLM 已经发展到一定程度，许多用户开始怀疑它们是否拥有真正的智能。在这项新尝试中，苹果团队通过假设答案在于智能生物或机器理解简单情况下存在的细微差别的能力来解决这个问题，而这需要逻辑推理。

其中一个细微差别是能够区分相关信息和不相关信息。例如，如果孩子问父母袋子里有多少个苹果，同时又注意到有几个苹果太小了，吃不下，那么孩子和父母都明白，苹果的大小与苹果的数量无关。这是因为他们都具有逻辑推理能力。

在这项新研究中，研究人员测试了几位法学硕士生真正理解问题的能力，方式是间接要求他们忽略不相关的信息。

他们的测试包括向多名法学硕士提出数百个问题，这些问题以前曾被用来测试法学硕士的能力——但研究人员还加入了一些不相关的信息。他们发现，这足以让法学硕士感到困惑，让他们对之前回答正确的问题给出错误甚至毫无意义的答案。

研究人员认为，这表明法学硕士们并没有真正理解他们被问到的问题。他们只是识别句子的结构，然后根据通过机器学习算法学到的知识给出答案。

他们还指出，他们测试的大多数法学硕士经常会给出看似正确的答案，但进一步审查后却发现并非如此，例如当被问及对某事的“感觉”时，得到的回答表明人工智能认为它有能力做出这样的行为。