苹果AI研究：“猕猴桃”简单算术考倒o1和Llama等20多个最先进模型

图片地址：https://n.sinaimg.cn/spider20241102/541/w797h544/20241102/2a74-13119f24b7040a7714f603fd5777889c.jpg

11 月 2 日消息，《洛杉矶时报》昨日（11 月 1 日）发布博文，报道称苹果研究团队测试了 20 个最先进的 AI 模型，发现在有干扰项存在的情况下，它们处理简单的算术问题时表现不佳，甚至不如小学生。苹果公司用以下这道简单的算术题测试 20 多个最先进的 AI 模型，IT之家附上题目如下：Oliver 在星期五采摘了 44 个猕猴桃、然后他在星期六采摘了 58 个猕猴桃，星期日采摘的数量是星期五的两倍，不过其中有 5 个猕猴桃的块头要比平均值要小，请问 Oliver 这三天共摘了多少个猕猴桃？正确答案是 190 个，计算公式为 44（星期五）+58（星期六）+88（44*2，星期日）。不过测试的 20 多个最先进 AI 模型无法排除干扰项，通常不理解猕猴桃的大小和数量无关，大部分的结果是 185 个。 苹果团队发现，当问题包含看似相关但实际上无关的信息时，AI 模型的表现急剧下降。对此研究认为，AI 模型主要依赖于训练数