不確実性の量とコスト
情報あるいは情報システム（情報源ともいう）が不確実性を減少させる知識であるならば、不確実性の量の減少分は情報の「量」となり、不確実性の価値（コスト）の減少分は情報の「価値」となる。
以下では、この不確実性・情報の量と価値の計算方法を対比的に説明し、その評価原理におけるアナロジーを示そう。そして、不確実性のコストを「数量的」要素と「価値的」要素とに分解することによって、不確実性・情報の量と価値とを結びつける試みを示してみよう。
１４ 不確実性の量とエントロピー
論点14と15では、確率分布で表される不確実事象（確率事象）の量的度合がエントロピー
(entropy) という尺度で測られ、情報の量はそのエントロピーの減少分として捉えられることを学習する。
設例5.1［不確実性の量とエントロピー］
[１］ｎとおり可能性が等確率で起こる不確実性の量を測る関数として
を定義するとき（対数の底は２でも、常用対数の
10でも、自然対数のｅでもよい）、(1)
ｆ(１)、ｆ(ｍ×ｎ)を求め、それぞれが何を表しているか吟味せよ。(2)
１から８の数字のカードから特定のカードの数字を当てるゲームⅠに関して、その不確実性の量を計算せよ（底を２とせよ）。さらに、各カードが４種類に色分けされているとき特定のカードの数字と色を当てるゲームⅡについてはどうか。(3)
ゲームⅠについて、何らかの理由で偶数の値しか出ないことを知らせる情報の量はどれほどか。［２］一般に、ある確率事象系Θ＝（θ１,θ２,…θｎ；ｐ１,ｐ２,…,ｐｎ）の不確実性の量を
と定義するとき、
(1)
それが先の定義式logｎを含んでいることを示せ。(2)
明日の天気が、晴＝70％、雨＝30％であることの不確実性の量を計算せよ。
１５ エントロピーと情報の量
設例5.2［エントロピーと情報の量］
第１章設例
1.1の表1.1で与えられる80パーセントの信頼性をもつ天気予報システムに関して(1)
この予報システムを利用しないとき、天気状況に関する不確実性の量はどれほどか。(2)
この予報システムを100日間利用すると、不確実性の量はどれほどになるか。(3)
この予報システムはどれほどの情報量をもつか。(4)90
パーセントの信頼性をもつある予報システムの情報量はいかほどか。
１６ 不確実性のコストの分解
本論点では、不確実性のコストを「数量的」要素と「価値的」要素とに分解することによって、不確実性および情報の量と価値とを結びつけるひとつの試みを示してみる。
設例5.2［不確実性のコストの２つの構成要素：数量的要素と価値的要素］
Newsboy問題で代表される意思決定問題において、単位あたり超過損失（売れ残り損失）をＯ、単位あたり不足損失（品切れ損失）をＵとしたとき、
(1)
ナイト的不確実性環境のもとで不確実性のコストの分解について吟味せよ。(2)
次のリスク状況について同じく吟味せよ。(1) 一様分布
(2) 正規分布