远离SEO

第一次看见“熵”是在高中物理，是热力学吧。
大概有这么个例子：
容器中有冷空气和热容器，中间绝热隔离，如果把绝热隔离的东西拿掉，冷热空气会混合，最终完全混合。宏观上看来就是：温度中和了。
微观看来：
1.在隔离还存在前，冷热空气分子都是随机超四面八方运动的；（无序状态：随机运动）
2.隔离拿掉后，大量冷空气分子向热空气运动，同时更多热空气分子向冷空气运动；（有序状态：定向运动）
3.经过冷热空气的中和，最终整体达到一个新的温度，此时空气分子运动与开始状态一样：四面八方；（无序状态）

分析下：
状态一 把冷热空气分别看作两个不同的系统，他们的状态一样，都是无序的。
状态二 冷热空气混合的过程，他们相互混合，此过程状态是有序的。（定向运动）
状态三 混合完毕的空气看作一个系统，此时的状态是无序的。（朝各个方向的随机运动）

可以看到，同一个系统中的物质状态是趋于无序的。

由此德国物理学家克劳伊士于1865年引入了一个新的概念：熵(entropy)
熵表示系统的无序程度。越无序，熵越大。
所有系统的最终状态必然是熵增加至最大值的状态。

宇宙大爆炸，就是由原来的一个小点向四周空间扩散的过程，也就是说熵越来越大。
熵在生态学中是表示生物多样性的指标。从单细胞生物进化到现在的形形色色哦生物，熵也是越来越大。
熵的概念在1948年由克劳德·艾尔伍德·香农第一次引入到信息论中来，成为信息熵(information entropy)。

熵在信息论的定义如下：
如果有一个系统S内存在多个事件S = {E1,...,En}, 每个事件的概率分布 P = {p1, ..., pn}，则每个事件本身的信息为
$I\_e\; =\; -\backslash log\_2\; \{p\_i\}$（对数以2为底，单位是比特） $I\_e\; =\; -\backslash ln\; \{p\_i\}$（对数以$e$为底，单位是纳特/nats）
如英语有26个字母，假如每个字母在文章中出现次数平均的话，每个字母的信息量为
$I\_e\; =\; -\backslash log\_2\; \{1\backslash over\; 26\}\; =\; 4.7$
；而汉字常用的有2500个，假如每个汉字在文章中出现次数平均的话，每个汉字的信息量为
$I\_e\; =\; -\backslash log\_2\; \{1\backslash over\; 2500\}\; =\; 11.3$
整个系统的平均信息量为
$H\_s\; =\; \backslash sum\_\{i=1\}^n\; p\_i\; I\_e\; =\; -\backslash sum\_\{i=1\}^n\; p\_i\; \backslash log\_2\; p\_i$
这个平均信息量就是信息熵。因为和热力学中描述热力学熵的玻耳兹曼公式形式一样，所以也称为“熵”。
如果两个系统具有同样大的信息量，如一篇用不同文字写的同一文章，由于是所有元素信息量的加和，使用汉字的应用的汉字就比使用英文字母的使用的字母要少。所以汉字印刷的文章要比其他应用总体数量少的字母印刷的文章要短。即使一个汉字占用两个字母的空间，汉字印刷的文章也要比英文字母印刷的用纸少。
实际上每个字母和每个汉字在文章中出现的次数并不平均，因此实际数值并不如同上述，但上述计算是一个总体概念。使用书写单元越多的文字，每个单元所包含的信息量越大。

其他关于熵与信息论的讨论：
不要把所有的鸡蛋放在一个篮子里 -- 谈谈最大熵模型
熵和信息网站