情報エントロピーとは、
「事前に分かっている情報がどれくらいあるかということを知るための尺度」
反対に言うと
「今、そのことについて自分がどれだけ無知かを表すための尺度」
ですから、【情報エントロピーが大きい状態】とは、
「なにか情報を得る前になにも分かっていない」
「今、そのことについて自分がなにも情報を持っていない」
ということです。つまり、
「結果の予測がつかないということであり、情報として曖昧であり、十分とはいえない」
ことを示しているのです。ということは【エントロピーが大きい状態とはこれから得る情報のありがたさが非常に大きい】ということになります。これから得る情報の期待値が高いというわけです。ですから【情報を受ける側としてエントロピーが大きい事象に関する情報はありがたい情報】なわけです。反対に【情報エントロピーが小さい】ということは、予測がしやすいことでもあり、すでに十分な情報が得られているので、これからそのことに関して情報を受け取ってもちっとも嬉しくないというわけです。 自然科学において、エントロピーというのは「システムの乱雑さの尺度」とか「偏りのほとんどない状態」とか表現されています。「体型の中の粒子の細かい多様性」「分からなさなの度合い」などとも言われており、式
S＝klogW
で表されます。式の形も意味的にも、情報エントロピーと非常によく似ています。
【『シャノンの情報理論入門』高岡詠子（講談社ブルーバックス、2012年）】
すっきりしない説明だ。「情報として曖昧であり、十分とはいえない」が「情報のありがたさ」と結びつかない。つまり私が今置かれている状況は、情報エントロピーは大きいのだが本書の説明は決してありがたいものではない、ということになる。
・情報エントロピー 【 information entropy 】
・情報エントロピーとは
・情報エントロピー
・情報エントロピー 衝撃度（自己情報量）の期待値
・情報理論 - エントロピー
わからん。これだけ読んでもさっぱり理解できないよ。
・情報って何だろう？
少しだけわかったような気分だ。梅雨空の向こうに辛うじて夕焼けが覗いている。
さほど情報理論に興味があるわけではない。私が求めているのは、例えば「システィーナ礼拝堂天井画」のエントロピーであり、「マタイ受難曲」のエントロピーである。更に詩歌のエントロピーやマンダラ＆マントラに至るエントロピーなのだ。
情報エントロピーが無限に大きい状態が多分「悟り」なのだろう。まだ悟っていないので、せめて期待値だけでも上げておくか（笑）。
情報理論の道を拓いたクロード・シャノンは一輪車に乗りながらジャグリングができた。なんと愛すべき人物なのだろう。
・情報理論の父クロード・シャノン／『インフォメーション 情報技術の人類史』ジェイムズ・グリック
