最近看决策树，里面用了信息熵，“熵”为何物？从网上搜索了N天，整理如下。

熵理论对于整个科学来说是第一法则 —— 爱因斯坦

一、卡诺热机的由来

1765年和1782年，瓦特两次改进蒸汽机的设计，使蒸汽机应用得到了很大发展，但效率仍然不高。此时热机工程界热烈的讨论着两个问题，（1）热机效率是否有限？（2）什么样的热机工作物质是最理想的?

由于当时工程师们缺少热机的理论认识，只能从热机的适用性，安全性和燃料的经济性来改进热机。而此时，卡诺看到从国外进口的尤其是英国制造的蒸汽机，性能远远超过自己国家生产的，便决心从事热机效率问题的研究，卡诺最关心的当然是蒸汽机的热效率问题，即热能与机械能之间的转化问题。

他发现，蒸汽机在将热能转化为机械能的过程中，除热能转化为机械能这一主要过程之外，还有许多辅助过程。而正是这些辅助过程阻碍了人们对能量转化进行深入研究。于是，卡诺决定舍弃这些辅助过程，采用一种抽象的数理分析方法，着重探讨热能与机械能的转化。运用这种科学方法，卡诺提出了一种理想热机理论，并以这种理想热机理论为基础，设想出一种理想热机。

卡诺假设工作物质只与两个恒温热源交换热量，没有散热、漏气、摩擦等损耗。为使过程是准静态过程，工作物质从高温热源吸热应是无温度差的等温膨胀过程，同样，向低温热源放热应是等温压缩过程。应为限制只与两热源交换热量，脱离热源后只能是绝热过程。作卡诺循环的热机又叫卡诺热机。

卡诺由此循环出发，并依据“热质守恒”的假设和永动机不可能实现的经验总结，得出卡诺定理：“热机必须工作在两个热源之间，热机的效率仅仅决定于两个热源的温度差，而与工作物质无关，在两个固定热源之间工作的所有热机以可逆机效率最高”。

卡诺还指出，最好的热机工作物质是在一定的温度范围内膨胀程度最大的物质。也就是说，作为热机工作物质，气体比固体和液体更有前途，具有更大的优点。他看到了气体作为热机工作物质的潜在优点，这就预示后来乃至今天普遍使用的内燃机的发展。

“他撇开了这些对主要过程无关紧要的次要情况，构造了一部理想的蒸汽机，这样一部机器。就像几何学上的线和面一样是决不能制造出来的。但是他按照自己的方式起了像这些数学抽象所起的同样的作用，他表现纯粹的，独立的，真正的过程。”这是恩格斯对卡诺的贡献的评价。

二、卡诺热机公式推导基本知识

理想气体状态方程，又称理想气体定律、普适气体定律，是描述理想气体在处于平衡态时，压强、体积、物质的量、温度间关系的状态方程。

其方程为pV = nRT。这个方程有4个变量：p是指理想气体的压强，V为理想气体的体积，n表示气体物质的量，而T则表示理想气体的热力学温度；还有一个常量：R为理想气体常数。可以看出，此方程的变量很多。因此此方程以其变量多、适用范围广而著称，对常温常压下的空气也近似地适用。

http://s12/bmiddle/006bdz5Hgy6ViXEDtwL4b&690

1．功W的正负分析
若体积V增大，则W取“-”；若体积V减小，则形取“+”。
注意，若气体向真空中自由膨胀时，则W=0。

2．△U的正负分析
一定质量理想气体的内能只与温度有关。
若温度T增大，△U取“+”；若温度T减小，△U取“-”；若T不变，贝△U=0。

3．Q的正负分析
绝热Q=0，吸热Q取“+”，放热Q取“-”。

4. 等体过程

吸收热量，内能增加，压力升高； 释放热量，内能降低，压力减小

http://s2/bmiddle/006bdz5Hgy6ViRuaNfr71&690

5. 等温过程

吸收热量，内能不变，对外做功； 外界做功，体积减小，释放能量

http://s10/bmiddle/006bdz5Hgy6ViRkvjold9&690

6. 等压过程

吸收热量，内能增加，膨胀做功；外界做功，内能减小，释放热量 V/T =C/P

http://s7/bmiddle/006bdz5Hgy6ViRkAUiGe6&690

7. 绝热过程

膨胀做功，内能降低（温度降低）； 外界做功，内能增加（温度升高）

http://s2/bmiddle/006bdz5Hgy6ViRkFqVja1&690

再说几个概念：

1.开放系统：在热力学之中，与外界既有物质交换，又有能量交换的系统称为开放系统（Open system）。一般的系统均与外界有不同程度的物质和能量交换。

2.封闭系统：在热力学之中，与外界没有物质交换，但有能量交换的系统称为封闭系统（Closed system）。孤立系统一般情况下粒子数守恒。 

3.孤立系统：在热力学之中，与其他物体既没有物质交换也没有能量交换的系统称为孤立系统 （Isolated system）。任何能量或质量都不能进入或者离开一个孤立系统，只能在系统内移动。

4.可逆过程：可逆过程是指热力学系统在状态变化时经历的一种理想过程。热力学系统由某一状态出发，经过某一过程到达另一状态后，如果存在另一过程，它能使系统和外界完全复原，既使系统回到原来状态，同时又完全消除原来过程对外界所产生的一切影响，则原来的过程称为可逆过程。

反之，如果无论采用何种办法都不能使系统和外界完全复原，则原来的过程称为不可逆过程。注意：不可把不可逆过程理解为系统不能复原的过程。一个不可逆过程发生后，也可以使系统恢复原态，但当系统恢复原态后，环境必定发生某些变化！

无摩擦的准静态过程是可逆过程。例如，若气缸与活塞间无摩擦，对于气体在准静态膨胀压缩过程所经历的每一个平衡态，可认为是可逆过程。实际的热力学过程既不可能完全无摩擦，又不可能是严格的准静态过程，所以可逆过程实际上不存在。

在一定的条件和要求下，可以把可逆过程当作实际过程的近似和简化。更重要的是，理想的可逆过程的引入及其与实际的不可逆过程的区分，是表述热力学第二定律、引入熵和熵增加原理的依据。

5.可逆热机：每个分过程都是无摩擦、无耗散的准静态过程。能实现可逆循环的热机叫做可逆热机。所以的卡诺热机是可逆循环，并不因为他是一个循环，而是指把整个循环倒过来（就是一个制冷机），外界对工质做同样大小的功，这个循环可以从低温热源吸热，向高温热源放热，而这些热量等于正的卡诺循环所吸放的热量。从而原来的过程就没有产生影响。

6.自发过程：在温度和压强一定的条件下，不借助光、电等外部力量就能自动进行的过程称为自发过程。水由高处流向低处的过程、热由高温物体传向低温物体的过程都属于自发过程。

三、卡诺定律的导出

http://blog.sciencenet.cn/upload/blog/images/2010/11/2010112931508.jpg

http://s12/bmiddle/006bdz5Hgy6ViWJYDlV9b&690

http://s5/mw690/006bdz5Hgy6Vp7D14by24&690

http://s9/mw690/006bdz5Hgy6Vp7OFvlK78&690

http://s8/mw690/006bdz5Hgy6Vp8fl2ZN07&690

http://s6/mw690/006bdz5Hgy6Vp9bGpdb95&690

四、熵定义的导出

当可逆卡诺热机完成一个循环动作时,虽然工作物质从高温热源(温度为T1,) 所吸收的热量Q1和它在低温热源(温度为T2)所放出的热量Q2是不相等的,但是以热量除以相应的热源的温度(所得的量值称温比热量)在整个循环中却保持为常数,即

http://s13/mw690/006bdz5Hgy6VSOgG90oac&690

式中Q1、Q2规定都为正,即它们分别代表从高温热源吸收的热量和向低温热源放出的热量的绝对值。若采用热力学第一定律中对热量Q所规定的代数符号,即吸收的热量为正,放出的热量为负,则上式应改写成 

http://s12/mw690/006bdz5Hgy6VSOljHcv2b&690

此式可以理解为当可逆卡诺热机的工作物质从某一初态出发，经历一个循环又回到原来状态后，温比热量Q/T在整个循环中的代数和为零。对任意的可逆循环过程，也可以证明

http://s5/mw690/006bdz5Hgy6VSOmO6AQ94&690

式中dQ是工作物质与温度为T的热源交换的热量。如图下图所示，若系统从初态 A经过可逆过程过程“1”变到末态B，又经另一个任意可逆过程“2”从末态B回到初态A，从而构成一可逆循环，经历状态A、B之间哪一过程无关，而完全由初态A和末态B所决定。因此，dQ/T为某一状态函数的全微分,用S表示这个状态函数，称之为熵。这就是克劳修斯在1865年给熵下的定义。 

dS = dQ/T

http://s13/mw690/006bdz5Hgy6VSOM3h2A8c&690

五、熵的物理意义

孤立系统中发生的任何实际过程，其能量的总值保持不变，而其熵值恒增。这意味着什么呢？

一个孤立系统从一个非平衡态向平衡态过渡，其中发生的实际过程总是使熵值单调增大，到达平衡态时不可能再有任何变化，其熵值极大。当系统还处于非平衡态时，系统内部总存在着某种不均匀性，例如温度的不均匀性，这样就可以在温差之间利用一台卡诺热机产生机械功，同时有一部分热量从高温传递到低温，可产生的机械功与温差成正比。随着向平衡态过渡，高温处的热量不断传递到低温，系统各部的温差越来越小，可产生的机械功也就越来越小，即可资利用的能量越来越小。到达平衡态时，系统内部的温度均匀，这时系统内部虽然能量的总值维持不变，但再也不可能产生机械功了。这就表明在一切实际过程中能量的总值虽然保持不变，但其可资利用的程度随着熵的增加而降低了，能量越来越多地不能被用来做功了，能量的品质退化了，价值贬低了。

熵增加导致能量贬值，熵是能量转化为无效部分的度量，这就是热力学第二定律深刻提示的要点。热力学第一定律告诉我们，能量的总值是守恒的。它不可能被创造出来，它也不可能被消灭；热力学第二定律则进一步告诉我们，能量不可能是用之不竭的，在一个孤立系统中越来越多的能量成为无效的。虽然对于一个局部系统，我们可以使其中的熵减上，使得其中的能量恢复活力，变得有效起来，但它将是以周围环境中更多的能量变为无效作为代价，别无其他的途径。

能和熵，谁更重要？从这两个概念的建立到本世纪初，人们想信能的概念比熵的概念更重要。有人把能量比喻为宇宙的女主人，把熵比喻为她的影子，意思是能量主宰了宇宙中的一切，因为任何过程中能量必须守恒，能量限制了过程发生的可能性，而熵不过是能量的附庸伴随着能量而存在罢了，因为熵不过是在能量守恒前提下进一步指示过程进行的方向而已。

正如以上所述，随着时代的发展，熵概念的重要性越来越突出了。人们越来越多地把它和无效能量、混乱、废物、污染联系在一起，把负熵和有序、结构、信息、生命联系在一起，认识到熵的重要意义。于是就有了另一种比喻，在宇宙这个自然过程的庞大工厂里，能量仅仅充当簿记员，它记载收支平衡，而熵起着经理的作用，它规定了整个企业的经营方式和经营方法，也就是说能量仅仅表达了宇宙中的一种守恒关系，而熵决定了宇宙向何处去。

十八世纪末到十九世纪以热机发展为主导的第一次工业革命，用机器将人从繁重的体力劳动中解放出来，能的确处于重要的地位，可以说这一场工业革命是能的革命。而今人类社会正进入以信息为主的第二次工业革命，充分发挥信息技术的功能，对各式各样的过程进行计算、控制和操纵，从而取代人的非创造性的脑力劳动，可以毫不夸张地说，当代的工业革命是一场熵（或负熵）的革命，可见熵的重要地位。随着科学技术和社会的发展，熵的重要性将与日俱增。

六、关于熵的杂记

1824年卡诺发表了一篇重要论文，他抓住热机的本质，立足于建立普遍的理论，从蒸汽机的运转中撇开了各种次要因素，径直抽象出一个仅令工作于一个热源和一个冷源的理想热机（卡诺热机），他把这样一个工作于热源和冷源可对外提供有用功的机器比拟为水轮机，他写道：“我们可以足够确切地把热的动力比之于瀑布。……瀑布的动力则取决于所用的热质的量以及热质的‘下落高度’，即交换热质的两物体之间的温度差。”当时热质说处于支配地位，卡诺还信奉热质说，他把热与瀑布中的水完全对应起来，就是热质说的反映。然而他明确地指出：“单独提供絷不足以给出推动力，还必须要冷。没有冷，热将是无用的。”他已经接触到热力学第二定律的边缘。

参考文献：

《熵和能》

百度百科

百度文库

博客论坛