Andrej Karpathy：神奇大模型不存在的，只是对人类标注的拙劣模仿

图片地址：https://n.sinaimg.cn/front20241201ac/704/w1056h448/20241201/f90f-41b6bf0e275982fbdd8cb5d0e0923c9f.jpg

也许是时候寻找新的方法了？大模型回答人类的对话内容，究竟有多少「智能」成分在里面？本周五，知名 AI 领域学者，OpenAI 创始成员、特斯拉前 AI 高级总监 Andrej Karpathy 发表观点：「人们对『向人工智能询问某件事』的解释过于夸张」，引发网友热议。 Karpathy 称：人工智能基本上是通过模仿人工标注数据来进行训练的语言模型。所以不要将对话视为「询问人工智能」的神秘主义，而应将其更多地视为「询问互联网上的平均数据标注者」。例如，当你问「阿姆斯特丹十大景点」之类的问题时，一些受雇的数据标签员可能在某个时候看到了类似的问题，使用谷歌等软件研究了 20 分钟，列出了 10 个景点的列表，然后字面意思就变成了正确答案，训练人工智能给出该问题的答案。如果有问题的确切位置不在微调训练集中，神经网络会根据从预训练阶段（互联网文档的语言建模）获得的知识来进行估计。当有网友评论称：「RLHF 可以创造超越人类的结果」，K