古德-图灵折扣估计: 黑天鹅事件能防范吗?
产生黑天鹅事件的原因, 简单说就是我们把小概率事件误作为零概率事件了.
古德-图灵折扣估计法, 实际是把高频词的词频打了一个折, 多出来的词频分配给了低频词. 解决了零概率问题.
插值法, 将条件概率和非条件概率加权相加, 让更可靠的统计发挥更大作用, 同时降低不可靠统计结果的影响力. 解决数据稀疏时, 小概率事件估计不准确问题.
产生黑天鹅事件的原因, 简单说就是我们把小概率事件误作为零概率事件了.
古德-图灵折扣估计法, 实际是把高频词的词频打了一个折, 多出来的词频分配给了低频词. 解决了零概率问题.
插值法, 将条件概率和非条件概率加权相加, 让更可靠的统计发挥更大作用, 同时降低不可靠统计结果的影响力. 解决数据稀疏时, 小概率事件估计不准确问题.