一句话定义
信息论里把 奥卡姆剃刀 变成可计算准则的版本——最好的 模型 = 模型本身的长度 + 数据补丁的长度，二者之和最小。
来源
详细解释
准则要求最好的模型应该是使得以下两项之和最小的那个：
- 模型的长度：描述这个模型本身所需要的比特数，也就是模型本身有多复杂。
- 数据补丁的长度：如果别人用你这个模型解释现实，还要补充多少例外说明。
通俗说：最好的模型是用最短代码长度解释最多数据的模型。
实例：
理论由 Peter D. Grünwald 在《The Minimum Description Length Principle》(2007) 系统化。