一句话定义
纳夫塔利·提斯比 1999/2000 年提出的理论：无论是人脑还是深度神经网络，学习的本质都不是记忆而是压缩——从输入中提取与目标相关的最小充分表示，其余细节予以丢弃。
来源
- 表征、图式、心智模型和解释框架：学习学的是什么 —— 万维钢 引用作为”学习即压缩”立论的数学/神经科学基础。
详细解释
- 在信息论框架下：找到对输入 X 的一个压缩表示 T，使得 T 保留对目标 Y 的最大互信息 I(T; Y)，同时最小化 I(X; T)。“瓶颈”指 T 必须是受限维度的。
- 万维钢的概括：“你从这本书里带走的规律越简洁、越能解释复杂现象，你的压缩率就越高，你的知识就越高级。”
- 与 理解即压缩 / 最小描述长度 / 奥卡姆剃刀 是同一主张的不同表达层级——本理论提供了形式化的数学描述，后几者是格言式或工程化的版本。
相关概念
相关工具
（暂无）