条件熵和信息增益

你提供的信息到底值多少钱?

条件熵:在当前状态下,多一条有效信息后的系统信息熵。

初始熵为 H(X), 加了信息 Y 后的条件熵用 H(X|Y) 表示,H(X|Y) ≤ H(X).

H(X|Y) < H(X) 表明在 Y 条件下,系统不确定性降低了。

信息增益:H(X) - H(X|Y), 写作 IG(Y), 每一条后知的信息,在非正交情况下,其增益在原来所有信息基础上是递减的。

股市 K 线图反映的是基于过去价格众所周知的信息,对其观察计算几乎无法获得任何信息增益。