计算机学院前沿计算研究中心邓小铁团队在NSR发文，为大模型发展注入符号主义的新思路

近日，北京大学计算机学院前沿计算研究中心邓小铁教授团队在国际知名期刊《国家科学评论》（National Science Review）上发表了题为“How large language models need symbolism”的观点文章。dmo知多少教育网-记录每日最新科研教育资讯

dmo知多少教育网-记录每日最新科研教育资讯

论文封面dmo知多少教育网-记录每日最新科研教育资讯

文章分析了当前大语言模型（Large Language Models, LLMs）发展路径的潜在局限性，并提出了一个重要观点：人工智能的进一步发展，需要将人类智慧凝结成的“符号化”能力与大语言模型强大的统计能力进行深度融合。这一思路为应对前沿科学领域中因数据稀疏而带来的挑战，提供了新的视角。dmo知多少教育网-记录每日最新科研教育资讯

近年来，以大语言模型为代表的人工智能技术取得了显著进展。其成功在很大程度上遵循了“尺度定律”（Scaling Laws）的原则——即通过增加模型参数、计算资源和训练数据，模型的性能便会相应提升。如今，大语言模型在数学、医学、法律和编程等领域的特定任务上，表现已达到甚至超越人类专家水平。dmo知多少教育网-记录每日最新科研教育资讯

然而，该文章指出，这一主流范式存在一个固有的依赖性：尺度定律的有效性高度依赖于海量数据的存在。在许多需要实现原始创新的科学前沿领域，有价值的数据本质上是稀缺的。在这些“数据荒漠”中，人类所具备的、依赖于抽象的推理能力显示出其独特性。面对这类复杂的、需要多步推理的创新性任务，大语言模型依赖尺度效应的模式便会遇到瓶颈。dmo知多少教育网-记录每日最新科研教育资讯

文章认为，这并不意味着尺度定律已达上限，而是提示人工智能的发展需要新的战略思考。未来的一个重要方向，在于将人类独特的“符号化”能力作为一种高效的“认知技术”，与大语言模型相结合。所谓“符号化”，是指人类从复杂问题空间中，通过深刻洞察，提炼关键概念并创造简洁符号（如同数学中通过等价类构造商空间），从而简化问题的过程。这些符号如同智慧的结晶，能为大语言模型强大的统计直觉提供指引，尤其是在数据稀疏的复杂前沿领域。dmo知多少教育网-记录每日最新科研教育资讯

dmo知多少教育网-记录每日最新科研教育资讯

新符号主义的思路：让大模型飞出迷宫，找到捷径dmo知多少教育网-记录每日最新科研教育资讯

值得注意的是，文章强调的符号化观点，与早期符号AI及传统的神经-符号方法（neuro-symbolic methods）有着本质区别。 过去的范式通常将符号系统作为一个独立的外部模块，与神经网络进行交互，提供可靠的验证或者显式的知识表示。然而，在大语言模型时代，新的思路主张将符号的智慧深度融入模型本身。符号不再只是额外的外部规则，而是被模型内化，成为其统计直觉的一部分，从而从根本上增强其在复杂、数据稀疏问题空间中的推理与创新能力。dmo知多少教育网-记录每日最新科研教育资讯

为了阐释符号作为“认知技术”的力量，文章列举了生动的例子。例如，生活在亚马逊雨林的皮拉罕人，其语言中没有精确的数字词汇，这使得他们在处理需要记忆的精确数量任务时表现不佳。这表明，数字本身就是人类为处理数量概念而发明的一种高效符号技术。另一个例子是微积分的符号之争，莱布尼茨发明的符号（如 ）相比牛顿的符号，其本身就蕴含了运算的直觉，极大地启发了思考，从而推动了科学的进步。dmo知多少教育网-记录每日最新科研教育资讯

这种将符号内化的协同范式已经在一些前沿研究中展现出潜力，并开辟了有前景的研究方向：dmo知多少教育网-记录每日最新科研教育资讯

1. 理论算法设计：在LegoNE框架中，研究人员将人类算法智慧凝练成一种专用符号语言，大语言模型通过学习使用这些符号，自主构建出性能超越人类专家的近似纳什均衡新算法。dmo知多少教育网-记录每日最新科研教育资讯

2. 组合优化：AutoSAT框架让大语言模型直接在模块化的SAT求解器源代码上进行优化，通过改写不同的启发式函数，模型内化了求解器核心的符号逻辑，并自主生成了更优的策略。dmo知多少教育网-记录每日最新科研教育资讯

3. 计算机系统算法设计：英伟达的研究人员通过迭代优化的方式，让大语言模型内化了CUDA编程这一复杂的符号体系，最终生成的GPU内核代码在特定任务上超越了由顶尖专家手写的函数库。dmo知多少教育网-记录每日最新科研教育资讯

文章最后总结道，人工智能的进一步突破，仅靠尺度定律是难以实现的。符号化的艺术——即打造强大抽象概念的智慧——将是未来的核心任务之一。如果说尺度定律赋予了模型强大的直觉，那么符号的艺术将为真正的科学发现提供不可或缺的指南针。dmo知多少教育网-记录每日最新科研教育资讯