70年AI发展迎来大一统？马毅、曹颖、沈向洋最新AI综述：探索智能发生的基本原则与「标准模型」

---

​人工智能发展七十年，虽然技术指标上不断刷新，但到底什么是「智能」，它如何出现及发展的，还没有答案。

最近马毅教授联手计算机科学家沈向洋博士、神经科学家曹颖教授发表了一篇对智能出现及发展的研究综述，希望将智能体的研究在理论上统一起来，增进对人工智能模型的理解与可解释性。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

论文链接：http://arxiv.org/abs/2207.04630

文中引入了两个基本原则：简约（Parsimony）与自洽（ Self-consistency）。

作者认为这是智力、人工或自然的兴起的基石。尽管在经典文献里，对这两个原则各自的相关论述、阐述众多，但本文对这两个原则以完全可度量和可计算的方式重新进行解读。

基于这两个第一性的原则，作者推演出了一个高效的计算框架：压缩闭环转录，该框架统一并解释了现代深度网络和许多人工智能实践的演变。

两大基本原则：简约与自洽

在深度学习加持下，过去十年人工智能取得的进展主要依赖于训练同质化的黑箱模型，使用粗暴的工程方法训练大规模神经网络。

虽然性能提高了，也无需手动设计特征，但神经网络内部学到的特征表示却是不可解释的，并且大模型带来其他的难题，比如不断提高的数据收集和计算的成本、学到的表征缺乏丰富性、稳定性（模式崩溃）、适应性（容易出现灾难性遗忘）；对变形或对抗性攻击缺乏稳健性等。

作者认为，目前在深度网络和人工智能的实践中出现这些问题的根本原因之一是对智能系统的功能和组织原则缺乏系统和综合的理解。

举个例子，训练用于分类的判别式模型和用于采样或重放的生成性模型基本上在实践中是分开的。这样训练的模型通常叫开环系统，需要通过监督或自监督进行端到端的训练。

在控制理论中，这种开环系统（open-loop systems）不能自动纠正预测中的错误，而且对环境的变化没有适应性；正是因为这样的问题，在控制系统（controlled systems）中大家广泛采用「闭环反馈」，使系统能够自主纠正错误。

类似的经验在学习中也适用：一旦判别式模型和生成性模型结合在一起，形成一个完整的闭环系统，学习就可以变得自主（无需外部监督），而且更有效率、更稳定、更有适应性。

为了理解智能系统中可能需要的功能组件，如判别器或生成器等部件，我们需要从一个更加「原则」和「统一」的角度来理解智能。

文中提出两个基本原则：简约（Parsimony）和自洽（Self-consistency），分别回答了关于学习的两个基本问题。

• 学什么：要从数据中学习什么，如何衡量学到的好坏？

• 怎么学：我们如何通过高效和有效的计算框架来实现这样一个学习的目标？

对于第一个「学什么」的问题，简约原则认为：​

智能系统的学习目标就是从外部世界的观测数据中找出低维的结构，并且以最紧凑和结构化的方式重新组织和表示它们。

这也就是「奥卡姆剃刀」原则：如无必要，勿增实体。

如果没有这一原则，智能就不可能发生与存在！如果对外部世界的观测数据没有低维结构，就没有什么值得学习或记忆的东西，也就无法进行良好的泛化或预测。

而且智能系统需要尽量节省资源，如能量、空间、时间和物质等，在某些情况下，该原则也被称为「压缩原则」。但是，智能的简约性（Parsimony of Intelligence）并不是要实现最好的压缩，而是要通过高效的计算手段获得观测数据最紧凑和结构化的表达。

那么简约性该如何度量？

对于一般的高维模型来说，许多常用的数学或统计学「度量」的计算成本都是指数级的，或者对于有低维结构的数据分布来说，甚至是没有定义的，比如最大似然、KL分歧、互信息、Jensen-Shannon和Wasserstein距离等。

作者认为学习的目的实际上就是建立一个映射（通常是非线性的），从原始高维输入中得到一个低维的表示。

这样，得到的特征z的分布应该更加紧凑和结构化；紧凑意味着存储上更经济；结构化意味着访问和使用更加高效：特别是线性结构，是内插或外推的理想选择。

为了这个目的，作者引入了线性判别表示（LDR），实现三个子目标：

1. 压缩：将高维感官数据x映射到低维表征z；
2. 线性化：将分布在非线性子面的每一类物体映射到线性子空间；
3. 稀疏化：将不同类别映射到相互独立或最不相关的子空间。

而这几个目标可以通过最大编码率减少（rate reduction）来实现，保证所学到的LDR模型具有最优的简约性能。

对于第二个「怎么学」的问题，自洽原则认为：​

一个自主的智能系统通过最小化观测到的数据和再生成的数据在内部表达中的差异，为外部世界的观测寻求一个最自洽的模型。

仅仅是简约原则并不能确保学到的模型能够捕捉到关于外部世界的数据中的所有重要信息。例如，通过最小化交叉熵，将每个类别映射到一个一维的one-hot向量，可以被看作是简约性的一种形式。

它可能会学到一个好的分类器，但学到的特征也可能会崩溃成一个singleton，也称为神经崩溃。这样学到的特征将不再包含足够的信息来重新生成原始数据。

即使我们考虑更普遍的LDR模型，仅靠最大化编码率差也不能自动确定环境特征空间的正确维度。

如果特征空间的维度太低，学到的模型就会与数据不匹配；如果太高，模型可能会过度匹配。

更一般地说，我们认为感知的学习不同于学习具体任务。感知的目标是学习关于所感知的一切可预测的内容。

就像爱因斯坦所说过的：「事情应该力求简单，不过不能过于简单。」

通用学习引擎

基于这两个原则，文章以视觉图像数据建模为例推导出了压缩闭环转录框架（compressive closed-loop transcription framework）。

其通过比较和最小化内部表征的差异，在内部对非线性数据子流型进行压缩式闭环转录，以实现LDR。

编码器/传感器和解码器/控制器之间的追逃游戏，可以让解码表征生成的数据的分布追逐和匹配观察到的真实数据分布。

另外作者指出，压缩式闭环转录可以有效地进行增量学习。

一个新的数据类的LDR模型可以通过编码器和解码器之间的一个有约束的博弈来学习的：过去学习到的类的记忆可以很自然地作为博弈中的约束被保留，也就是作为闭环转录的「固定点」。

文中还对这个框架的普适性提出了更多的推测性想法，将其扩展到三维视觉和强化学习，并预测其对神经科学、数学和高级智能的影响。

通过这个由第一性原理推导出来的框架：信息编码理论、闭环反馈控制、优化/深度网络和博弈论的概念都有机地整合在一起，成为一个完整的、自主的智能系统的必要组成部分。

值得一提的是，压缩闭环式架构在自然界的所有智能生物以及不同尺度上无处不在：从大脑（压缩感知信息），到脊柱回路（压缩肌肉运动），直至DNA（压缩蛋白质的功能信息）等等。

所以作者认为，压缩性闭环转录应该是所有智能行为背后的「通用学习引擎」。它使得自然的或者人工的智能系统能够从看似复杂的感知数据中发现并提炼出低维的结构，把它们转换为简洁规则的内部表达，以利于将来正确地判断和预测外部世界。

这是一切智能发生和发展的计算基础和机理。

参考资料：http://arxiv.org/abs/2207.04630​

# 架构  # 人工智能  # http  # 传感器  # 闭环  # 转录  # 这两个  # 结构化  # 这是  # 出了  # 可以通过  # 更有  # 来实现  # 爱因斯坦 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 网络优化91478 】 【 技术知识72672 】 【 云计算0 】 【 GEO优化84317 】 【 优选文章0 】 【 营销推广36048 】 【 网络运营41350 】 【 案例网站102563 】 【 AI智能45237 】

相关推荐： CallidusAI：提升合同起草效率的智能Word插件指南  文心一言 4.0 在公文写作规范中的实战技巧  lovemo官网网页版入口 lovemo官网登录入口  DeepSeek AI：AI通用谜题解题器，解题思路全解析  Jarvis AI终极指南：用AI快速撰写畅销亚马逊书籍  GitHub Copilot终极指南：提升代码效率与质量  Base44 AI应用构建器深度评测：Wix 8000万美元收购的秘密  教你用AI进行角色扮演对话，练习你的沟通和谈判技巧  Wix AI：无需代码免费创建专业网站完整指南  通义万相AI绘画怎么用_通义万相AI绘画使用方法详细指南【教程】  AI 3D人像视频制作：零成本手机教程，引爆社交媒体  钉钉ai划词工具怎样查看划词历史_钉钉ai划词工具历史记录查询【指南】  解密Poppy Playtime怪物：全面解析玩具世界背后的故事  利用 DeepSeek 进行大规模 C++ 代码库审计  Google Gemini 辅助进行 Android Studio 代码开发  利用AI自动化生成电子书：Make.com的终极教程  ChatGPT官方入口 ChatGPT官网网页版访问步骤详解  ChatGPT 如何助力建筑承包商？三大实用技巧解析  豆包AI能否生成领导汇报版总结_豆包AI汇报版精简与结构调整【教程】  教你用AI帮你写一份完整的用户调研报告，从数据到结论全搞定  如何通过 DeepSeek 进行深度神经网络超参数搜索  Power BI: 如何在 Power Query 中更改数据类型  Midjourney怎样用参数调分辨率_Midjourney分辨率调整技巧【教程】  ChatGPT 4 辅助进行室内设计灵感采集  提升效率：使用AI代理自动生成视频标题的实用指南  AI邮件营销风险解析：如何规避客户触达的潜在陷阱  ChatGPT 辅助自媒体博主进行选题与大纲策划  lovemo网页版地址 lovemo官网手机登录  Removebg怎样快速抠图_Removebg上传图片与自动抠图步骤【教程】  Tradie Hub：领先的线索管理系统，助力业务增长  苹果手机百度ai怎么关 iPhone百度输入法ai关闭  AI猫咪视频创作指南：轻松打造百万级YouTube Shorts  AI动画制作终极指南：让你的图片和人物栩栩如生  AI绘图软件怎么用_AI绘图软件使用方法详细指南【教程】  图像分割技术详解：定义、类型、技术与应用  去哪旅行ai抢票助手怎样添加备选车次_去哪旅行ai抢票助手备选车次设置与切换【攻略】  去哪旅行ai抢票助手如何设置抢票策略_去哪旅行ai抢票助手策略配置与优先级【攻略】  AI驱动的医学影像器官分割与3D可视化：临床应用的未来  AI 时代高效开发：版本控制与 AI 协同工作流  豆包AI怎么评价回答的好坏_点赞与反馈功能使用教程  使用ChatGPT快速生成专辑封面：AI艺术创作指南  免费高效获客！ChatGPT助你快速生成潜在客户名单  Claude怎样写任务型提示词_Claude任务提示词写法【步骤】  农业模拟器25：AI助手与GPS终极指南  GitHub Copilot与Azure AI Foundry模型：加速AI编程实践  银行对账单解读完全指南：掌握财务状况，优化资金管理  Gemini怎么用新功能实时问答_Gemini实时问答使用【步骤】  ChatGPT官方网页端入口 ChatGPT官网快速登录方法  千问AI赚钱指南：新手也能月入破万的实操路径解析！  AI Lead Generation: 解锁未来增长引擎，营销新纪元 

 2023-04-18