一句话定义

模型 复杂度的别名——必须恰到好处:太简单丢失关键信息(欠拟合),太复杂注意力被噪音淹没(过拟合)。

来源

详细解释

模型一定是对真实世界的某种压缩,而压缩要恰到好处。理论支撑是 奥卡姆剃刀「如无必要,勿增实体」,可计算的版本是 最小描述长度

天气例子:

  • 太长(背一年数据)= 过拟合,没有压缩谈不上理解。
  • 太短(“这地方总下雨”)= 欠拟合
  • 恰好:“这里属于温带海洋性气候,受西风带控制,全年温和湿润,虽然阴雨天多,但多是毛毛雨,很少有暴雨。”

万维钢补充:没有绝对标准的颗粒度——是由你的主观需求决定的。

相关概念

相关工具

出现在