最初是一個描述系統(tǒng)熱力學(xué)狀態(tài)的函數(shù)，后發(fā)展為描述系統(tǒng)混亂程度的量度。熵的概念是德國物理學(xué)家魯?shù)婪颉た藙谛匏?/a>于1865年在研究卡諾定理的基礎(chǔ)上給出了克勞修斯不等式從而提出的，反映的是熱量傳遞方向問題。
在熱力學(xué)可逆過程中，系統(tǒng)從初態(tài)經(jīng)過一系列過程到達(dá)末態(tài)，積分（是系統(tǒng)吸收的熱，是熱源溫度）與所經(jīng)過的路徑無關(guān)，只與系統(tǒng)的初末狀態(tài)（均為平衡態(tài)）有關(guān)，據(jù)此克勞修斯于1865年正式引入一個新的物理量：態(tài)函數(shù)，記為 S，并給出熱力學(xué)第二定律的數(shù)學(xué)表達(dá)式：，其中等號對應(yīng)可逆過程，大于號對應(yīng)不可逆過程。
魯?shù)婪颉た藙谛匏?/a>將這個新物理量取名為Entropy，這來自于希臘語，前綴“En”與能量能量有關(guān)，而后綴“tropy”是變換之意，因此Entropy表示的是能量變換的過程。記作S是為了紀(jì)念薩迪·卡諾（N. L.Sadi Carnot）。1923年5月25日，德國科學(xué)家馬克斯·普朗克（Plank）來中國講學(xué)用到“entropy”這個詞，胡剛復(fù)教授翻譯時，把“商”字加火旁來意譯“entropy”這個詞，創(chuàng)造了”熵“字。
熵概念的提出
熵（希臘語：entropia 英語：entropy）的概念是由德國物理學(xué)家魯?shù)婪颉た藙谛匏?/a>于1865年所提出。在希臘語源中意為“內(nèi)在”，即“一個系統(tǒng)內(nèi)在性質(zhì)的改變”，公式中一般記為S。1923年，德國科學(xué)家普朗克（Plank）來中國講學(xué)用到entropy這個詞，胡剛復(fù)教授翻譯時靈機(jī)一動，把“商”字加火旁來意譯“entropy”這個字，創(chuàng)造了“熵”字,(讀shāng)，因為熵變dS是dQ除以T（溫度）的商數(shù)。
魯?shù)婪颉た藙谛匏?/a>將一個熱力學(xué)系統(tǒng)中熵的改變定義為：在一個可逆過程中，輸入熱量相對于溫度的變化率，即
T為物質(zhì)的熱力學(xué)溫度；dQ為熱傳導(dǎo)過程中的輸入熱量，下標(biāo)“reversible”表示是“可逆過程”。
首先這里解釋一下什么是“可逆過程”。熱力學(xué)過程是指一個系統(tǒng)熱力學(xué)性質(zhì)的改變過程，例如溫度、體積、壓強(qiáng)、內(nèi)能等。當(dāng)一個過程被界定為“可逆”時，即指改變過程在的每一個極短的步驟內(nèi)，系統(tǒng)都保持非常接近平衡的狀態(tài)，稱為“準(zhǔn)靜態(tài)過程”。否則，該過程即是“不可逆的”。例如，在一個活塞管中的氣體，其體積可以因為活塞移動而改變。“可逆”體積改變是指在進(jìn)行得極其慢的步驟中，氣體的密度一直保持均勻。“不可逆”體積改變即是指在快速的體積改變中，由于體積改變太快，可以形成密度梯度和壓力波，并造成不穩(wěn)定狀態(tài)。無耗散的“準(zhǔn)靜態(tài)過程”即是“可逆過程”。若過程是不可逆的，則不可逆。這里過程的“可逆性”涉及到一個和“熵”密切相關(guān)的物理原理，稱為“熵增原理”，也就是“熱力學(xué)第二定律”。熱力學(xué)第二定律有很多表述形式，例如：①熱量總是從高溫物體傳到低溫物體，不可能作相反的傳遞而不引起其他的變化；②功可以全部轉(zhuǎn)化為熱(例如物體間摩擦使一部分機(jī)械能不可逆地轉(zhuǎn)變?yōu)闊?，但任何熱機(jī)不能全部地，連續(xù)不斷地把所接受的熱量轉(zhuǎn)變?yōu)楣Γ礋o法制造第二類永動機(jī)）；③在孤立系統(tǒng)中，實際發(fā)生過程，總使整個系統(tǒng)的熵值趨于增大。
這些不同表述各有側(cè)重，但彼此等價。例如：在一個孤立系統(tǒng)中有兩個溫度不同的物體，熱量dQ 由高溫（）物體傳至低溫()物體，高溫物體的熵減少，低溫物體的熵增加，把兩個物體合起來當(dāng)成一個系統(tǒng)來看，熵的變化是，即熵是增加的。這說明了表述①和表述③的等價性。
物理解釋
1877年左右，路德維希·玻爾茲曼提出熵的統(tǒng)計物理學(xué)解釋。他在一系列論文中證明了：系統(tǒng)的宏觀物理性質(zhì)，可以認(rèn)為是所有可能微觀狀態(tài)的等概率統(tǒng)計平均值。例如，考慮一個容器內(nèi)的理想氣體。微觀狀態(tài)可以用每個氣體原子的位置及動量予以表達(dá)。所有可能的微觀狀態(tài)必須滿足以下條件：（i）所有粒子的位置皆在容器的體積范圍內(nèi)；（ii）所有原子的動能總和等于該氣體的總能量值。
玻爾茲曼提出一個系統(tǒng)的熵和所有可能微觀狀態(tài)的數(shù)目滿足以下簡單關(guān)系：這個公式稱為“玻爾茲曼公式”，其中是玻爾茲曼常數(shù)，Ω則為系統(tǒng)宏觀狀態(tài)中所包含的微觀狀態(tài)總數(shù)。
根據(jù)這個公式，我們可以將熵看作是一個系統(tǒng)“混亂程度”的度量，因為一個系統(tǒng)越混亂，可以看作是微觀狀態(tài)分布越均勻。例如，設(shè)想有一組10個硬幣，每一個硬幣有兩面，擲硬幣時得到最有規(guī)律的狀態(tài)是10個都是正面或10個都是反面，這兩種狀態(tài)都只有一種構(gòu)型（排列）。反之，如果是最混亂的情況，有5個正面5個反面，排列構(gòu)型可以有排列組合數(shù)，共252種。
根據(jù)熵的統(tǒng)計學(xué)定義，熱力學(xué)第二定律說明一個孤立系統(tǒng)的傾向于增加混亂程度，根據(jù)上述硬幣的例子可以明白，每一分鐘我們隨便擲一個硬幣，經(jīng)過一段長時間后，我們檢查一下硬幣，有“可能”10個都是正面或都是反面，但是最大的可能性是正面和反面的數(shù)量相等。
我們發(fā)現(xiàn)，混亂程度傾向于增加的觀念被許多人接受，但容易引起一些錯誤認(rèn)識，最主要的是必須明白ΔS ≥ 0只能用于“孤立”系統(tǒng)，值得注意的是地球并不是一個孤立系統(tǒng)，因為地球不斷地從太陽以太陽光的形式接收能量。但有人認(rèn)為宇宙是一個孤立系統(tǒng)，即宇宙的混亂程度在不斷地增加，可以推測出宇宙最終將達(dá)到“熱寂”狀態(tài)，因為（所有恒星）都在以同樣方式放散熱能，能源將會枯竭，再沒有任何可以作功的能源了。當(dāng)然”宇宙是一個孤立系統(tǒng)“嚴(yán)格來說只是個未被驗證的假設(shè)。
可以嚴(yán)格證明，路德維希·玻爾茲曼公式的另一種等價表述形式是其中，i標(biāo)記所有可能的微觀態(tài)，P表示微觀態(tài)i的出現(xiàn)幾率。
信息論解釋
1948年，克勞德·香農(nóng)將統(tǒng)計物理中熵的概念，引申到信道通信的過程中，從而開創(chuàng)了”信息論“這門學(xué)科。香農(nóng)定義的“熵”又被稱為“香農(nóng)熵”或“信息熵”, 即
其中，i標(biāo)記概率空間中所有可能的樣本，表示該樣本的出現(xiàn)幾率，K是和單位選取相關(guān)的任意常數(shù)。可以明顯看出“信息熵”的定義和“熱力學(xué)熵”（路德維希·玻爾茲曼公式）的定義只相差某個比例常數(shù)。數(shù)學(xué)上，可以證明“香農(nóng)熵”的定義，具有以下良好性質(zhì)：
連續(xù)性
該度量應(yīng)該是連續(xù)的，即若樣本概率值有微小變化，由此引起的熵變化也是微小的。
對稱性
樣本重新排序后，該度量應(yīng)保持不變，即
極值性
當(dāng)所有樣本等幾率出現(xiàn)的情況下，熵達(dá)到最大值（所有可能的事件等概率時不確定性最高）。
對于樣本等幾率分布而言，樣本數(shù)越大，熵值越大（可能的時間越多，不確定性越高）。
可加性
熵的值與過程如何被劃分無關(guān)。它描述了一個系統(tǒng)與其子系統(tǒng)熵的關(guān)系。如果子系統(tǒng)之間的相互作用是已知的，則可以通過子系統(tǒng)的熵來計算一個系統(tǒng)的熵。
例如：給定一個有n個樣本的均勻分布集合，分為k個箱子（子系統(tǒng)），每個里面有 , ..., 個樣本，合起來的熵應(yīng)等于系統(tǒng)的熵與各個箱子的熵的和，每個箱子的權(quán)重為在該箱中樣本的總概率。即，對于正整數(shù)bi其中 + ... + = n來說，
其中S的腳標(biāo)，標(biāo)記對應(yīng)概率空間的樣本點個數(shù)。
事實上，克勞德·香農(nóng)證明如果要求度量滿足這些性質(zhì)，則可以完全確定“信息熵”的定義表達(dá)式。
熱力學(xué)熵
根據(jù)1957年Jaynes的觀點，熱力學(xué)熵可以被視為香農(nóng)信息理論的一個應(yīng)用(這從路德維希·玻爾茲曼公式和信息熵的定義相似性明顯可以看出。):熱力學(xué)熵被定義為與要進(jìn)一步確定系統(tǒng)的微觀狀態(tài)所需要的更多香農(nóng)信息的量成比例。比如，系統(tǒng)溫度的上升提高了系統(tǒng)的熱力學(xué)熵，這增加了系統(tǒng)可能存在的微觀狀態(tài)的數(shù)量，也意味著需要更多的信息來描述對系統(tǒng)的完整狀態(tài)。
詹姆斯·麥克斯韋在以他的名字命名的思想實驗（“麥克斯韋妖”）中認(rèn)為，如果存在一個小妖精知道每個分子的狀態(tài)信息（熱，或者冷），就能夠降低系統(tǒng)的熱力學(xué)熵。Landauer和他的同事則反駁說，讓小妖精行使職責(zé)本身—即便只是了解和儲存每個分子最初的香農(nóng)信息—就會給系統(tǒng)帶來熱力學(xué)熵的增加，因此總的來說，系統(tǒng)的熵的總量沒有減少。這就解決了“麥克斯韋妖”引發(fā)的悖論。Landauer法則能夠解釋現(xiàn)代計算機(jī)在處理大量信息時，必須解決散熱問題。
熵增定律
魯?shù)婪颉た藙谛匏?/a>引入了熵的概念來描述這種不可逆過程。
這種熵增是一不可逆過程，而總熵變總是大于零。
但最終達(dá)到熵的最大狀態(tài)，也就是系統(tǒng)的最混亂無序狀態(tài)。
參考資料 >
廈大物理百年|學(xué)者篇 胡剛復(fù)：第一個把真正的物理學(xué)引入中國的人.廈門大學(xué)物理學(xué)科百年慶典.2025-09-14
什么叫做熵.知乎.2015-12-28