【导读】“我们来到了研究的时代，从规模化扩展回到了研究范式本身。”OpenAI前首席科学家、GPT的关键缔造者伊利亚·苏茨克维在最近的一次深度访谈中直言不讳。这位AI领域的领军人物揭开了当前人工智能研究最刺痛的真相：Scaling Law这条路还能继续走，但绝不会通向AGI。他提出了一个明确的时间划分：2012年到2020年是研究的时代；2020年到2025年是规模化时代；而现在，我们又回到了研究时代，“只是有了更大的计算机”。
规模化的尽头：AI发展的范式转移
伊利亚的论断无疑向AI界投下了一枚震撼弹。当全球科技公司都在追逐更大参数、更多算力之时，这位AI先驱却明确表示：“算力规模已经很大了，却不能持续带来更好的‘扩展’。”他尖锐地指出，扩展与浪费算力之间的界线变得模糊。这种情况类似于边际效用递减——投入呈指数增长，回报却越来越有限。
在NeurIPS 2024上，伊利亚就曾预言“预训练的终结”，而这次他更加明确地指出了行业转折点的到来。规模化路线的瓶颈已经显现，单纯增加模型参数和训练数据量不再是通往更高智能的钥匙。这一观点得到了越来越多研究的佐证。尽管模型在基准测试中的分数不断刷新纪录，但其真正的理解能力和推理能力并没有同步提升。
泛化之谜：基准测试与现实表现的巨大鸿沟
伊利亚坦诚地指出了当前AI最令人困惑的矛盾点：模型在各种基准评测中表现卓越，但在真实世界中却屡屡犯下低级错误。
这种脱节现象引发了深思：为什么一个能在专业测试中超越人类的模型，在实际应用中却显得如此“愚蠢”？
伊利亚提出了两种可能的解释。第一种观点较为异想天开：也许强化学习训练让模型变得有点过于一根筋和视野狭窄，过于缺乏意识。第二种解释则更值得关注：或许现在AI训练选择的数据太狭窄。相比预训练时使用所有数据，做强化学习训练时，研究者会针对评测集去选择对应的数据。这就像一个学生只为考试而学习，却没有真正理解知识——他可能在考试中取得高分，却无法解决实际问题。
人类智慧的启示：情绪与价值函数的作用
伊利亚将目光投向了人类智能的本质，提出了一个引人深思的观点：人类的价值函数在某种重要的方面受到情绪的调节，这种调节是由进化硬编码的。“简单的东西在非常广泛的情况下非常有用，”他说道。这种由进化塑造的机制，可能正是人类在现实世界中有效行动的关键。相比之下，当前AI系统缺乏这种深层的、基于进化的价值指引。它们可以被训练得在特定任务上表现出色，但缺乏对人类处境的基本理解。这一观点为AI研究指明了新的方向：要实现真正的通用人工智能，可能需要为模型内置类似人类的判断直觉、稳定价值感受器。
伊利亚提到的“扩散价值函数”正是让AI以更像人类方式学习的一种尝试——通过任务过程中的“自我评分”，使模型学得更快、更接近人类的认知方式。
数据有限性：预训练时代的必然终结
在访谈中，伊利亚毫不避讳地指出了预训练时代的内在限制：“数据显然是有限的。在某个节点上，预训练总归会把数据用光的。”这一判断基于一个简单而残酷的事实——互联网上高质量数据的增长远远跟不上AI模型对数据需求的指数级增长。目前，大模型训练已经使用了互联网上绝大部分可用文本数据。继续沿着单纯扩大数据规模的道路前进，很快就会遇到天花板。数据有限的现实迫使AI研究必须寻找新的突破点。这不仅仅是技术问题，更是方法论的根本转变。当数据不再是无限的资源，如何更智能地利用有限数据就成为了关键问题。
研究复兴：回归“小而美”的创新路径
伊利亚展望的未来图景令人振奋：AI发展将回到“小而美”的实验产生巨大突破的时代。他提到了历史上的关键突破——AlexNet当时仅用两张GPU训练而出，Transformer用8-64块GPU做出。这些改变AI进程的突破都不是依靠海量算力堆砌实现的，而是源于根本性的创新和洞察。“未来，将回到‘小而美’的实验产生巨大突破，大量新的想法出现，以及不依赖超级算力的创新。”伊利亚预测，下一次重大范式转变，可能同样来自“看起来不够大”的实验。这一观点为资源有限的研究机构和初创公司带来了希望。在算力军备竞赛中，它们难以与科技巨头竞争，但在创新想法方面，它们同样可能改变游戏规则。
AGI之路：从5年到20年的预测
对于通用人工智能何时会出现，伊利亚给出了一个时间范围：5到20年。他预测，能够像人类一样学习并因此随后变得超越人类的AI系统将在这个时间框架内出现。这一预测相比一些过于乐观或过于保守的观点显得更加务实。它既承认了AI进步的加速趋势，也考虑到了实现真正通用智能面临的挑战。伊利亚还提到了一个关键信号：“当AI实际上开始让人感到强大时”，AI公司对待安全的方式将发生巨大变化。这一刻将会是一个转折点，届时AI不再仅仅是工具，而是真正展现出令人敬畏的能力。
关于“AGI”这一概念本身，伊利亚提供了一个有趣的视角：这个词存在的理由，主要是为了区别于“狭义AI”。正如国际象棋AI能打败卡斯帕罗夫，但它别的什么也不能做。
当AI真正展现出令人敬畏的能力时，所有AI公司对安全的态度将发生根本转变。他确信，在某个时刻，AI实际上会开始让人感到强大。当那一刻来临时，AI将不再仅仅是工具，而成为需要认真对待的智能体。对于这个未来的到来，伊利亚给出了5到20年的预测，但他强调，真正的突破不会来自更大的规模，而是来自更深刻的理解。
