二分法

如果我们做选择题四选一,或者猜世界杯足球赛的冠军是谁,他们想知道结果需要多少信息呢?有人说四选一需要四比特,猜出32个足球队参加的世界杯的冠军需要32比特。

这其实是不对的。如果我们对选择题的答案一无所知,去向一个知道答案的预言家请教,他每给你一个是非的答案,收取你一块钱。

对我们来讲,有效的提问方式不是问他「是否答案是A,或者是否答案是B」,而应该先问他,「是否答案在A、B中」。如果他回答「是」,我们就圈定答案的范围是A或者B,与C、D无关。

接下来,再问一个问题就能确定是A还是B了。反之,当我们知道答案不在A、B中,我们也可以用第二个问题确定是C还是D。这样我们一共付2块钱就可以了。

类似地,对于世界杯足球赛的问题,我们问五个问题,付5块钱就可以了。你可以自己在心里算一下。

当然,在信息论中不用钱来当信息的单位,而采用了比特。也就是说,要确定四选一问题的答案需要2比特信息,确定世界杯冠军的问题需要5比特信息。