一句话定义
模型在面对未知时所依赖的预设倾向；机器学习里”必须先盲目相信点什么”才能从有限经验归纳出未来规律——在 OODA 环 里 定向 给你归纳偏置，而 无免费午餐定理 进一步证明：没有偏置就没有决策。
来源
详细解释
- 同样一条信息，归纳偏置不同的人会作出不同的解读。
- 在 OODA 中，定向就是把当前局面”配对”到合适的模型，激活相应的归纳偏置。
- 与 预测处理 中的 先验假设 类似，但归纳偏置更强调”模型自带的倾向”，是机器学习术语在认知科学的迁移。
- 经典例子：CNN 的归纳偏置是”局部特征组合有意义”+“平移近似不变”；RNN 的归纳偏置是”前后词存在时间关联”。这些先验在绝对客观立场上没道理，但没有它们海量数据就让算法瘫痪。
- 休谟问题：归纳法逻辑上无法自洽（昨天太阳升起不能推出明天还会升起）；机器学习靠归纳偏置填补这个鸿沟（汤姆·米切尔 1980）。
- 无免费午餐定理 推论：决策的初心一定是任性的偏置选择；偏置基本来自两处——价值观（什么不可协商）+ 对世界的基本假设（线性 vs 重尾、复利 vs 爆款）。
- 偏置 ≠ 偏执：偏置是启动立场，偏执是反馈来了还硬撑。高水平决策者是「强偏置、弱偏执」。