中心極限定理(Central 極限 Theorem)是概率論中重要的定理之一,指討論隨機變量序列部分和的分布近似于正態分布的一類定理。
1716年前后,法國數學家棣莫弗(英文:Abraham de Moivre)對重伯努利試驗中每次試驗事件出現的概率為的情況進行了討論,后在1733年發表的論文中給出了中心極限定理的早期形式。1812年,法國數學家皮埃爾-西蒙·拉普拉斯(英文:Pierre-Simon Laplace)在《概率的分析理論》中,把棣莫弗的理論進行了擴展,指出二項分布可用正態分布逼近。直到1901年,俄羅斯數學家李雅普諾夫(英文:Lyapunov)依據拉普拉斯特征函數的概念研究了更普通的隨機變量中心極限定理并進行了精確的證明,推進了中心極限定理的數學嚴格性和適用范圍。在1919~1925年間,法國數學家萊維(英文:Lévy)系統地建立特征函數理論,并先后研究出普遍極限定理和棣莫弗一拉普拉斯局部極限定理等。從此中心極限定理成為概率論研究的中心課題之一。
中心極限定理是研究隨機變量序列依分布收斂的極限定理,大數定律是研究隨機變量序列依概率收斂的極限問題,二者在一定條件下存在緊密的聯系。常見的中心極限定理有棣莫弗-拉普拉斯中心極限定理,林德伯格-萊維中心極限定理,李雅普諾夫中心極限定理等。由中心極限定理可得出二項分布以正態分布為極限。當充分大時,可以用棣莫弗-拉普拉斯中心極限定理來計算二項分布的概率。中心極限定理有一些重要的推廣結論,如多維隨機向量序列加權和的漸近行為以及隨機過程的中心極限定理。該定理在統計學、管理學和氣象學等領域中應用廣泛,如氣象學中,把林德伯格-萊維中心極限定理應用到雨量站網的規劃中,可以更好地對降水進行監測分析。
定義
記和凡在各種條件下證明序列對每個有即可證明的分布收斂于標準正態分布的定理,都稱為中心極限定理。
發展歷史
1716年前后,法國數學家棣莫弗對重伯努利試驗中每次試驗事件出現的概率為的情況進行了討論,并在1733年發表的論文中使用正態分布去估計大量拋擲硬幣出現正面次數的分布(二項分布),并給出了中心極限定理的早期形式。但由于當時正態分布的概念還未被明確地提出和廣泛認識,亞伯拉罕·棣莫弗的工作并未受到重視。1760年,托馬斯?貝葉斯研究后驗概率時,間接提出樣本均值可能服從某種規律的想法。后來,法國數學家皮埃爾-西蒙·拉普拉斯在1812年的出版著作《概率的分析理論》中,把棣莫弗的理論進行了擴展,并首次引入特征函數對中心極限定理進行證明,指出二項分布可用正態分布逼近,但拉普拉斯的結果證明并不完整。
直到1901年,俄羅斯數學家李雅普諾夫借助拉普拉斯特征函數的概念研究了更普通的隨機變量中心極限定理,并在數學上進行了精確的證明,推進了中心極限定理的數學嚴格性和適用范圍。在1919~1925年間,法國數學家萊維系統地建立特征函數理論,中心極限定理的研究得到快速的發展,先后產生普遍極限定理和棣莫弗一拉普拉斯局部極限定理等。1922年林德伯格(Lindeberg)基于一個比較寬泛容易滿足的條件,對中心極限定理給出了一個容易理解的初等證明。1935年,保羅?萊維研究依賴隨機變量的中心極限定理,引入穩定分布概念,為定理在依賴結構中的應用鋪路。
證明
洛必達法則:求型與型極限的方法。它把某兩個函數的商的極限,化為求這兩個函數的導數的商的極限。
引理:設為一公共分布函數為的隨機變量序列,相應的矩母函數為。又設的分布為矩母函數為。若對一切成立,則對的所有連續點成立。
證明:假定 ,的矩母函數存在且有限。
那么的矩母函數為
由此可知,的矩母函數為記
對于,有
由引理可知,證明當時,即可證得中心極限定理。
因為
由洛必達法則可得
再利用洛必達法則可得
即在的情況下,中心極限定理得以證明。
對于一般情況,考慮標準化隨機變量序列由于將已證得的結果應用于序列即可得出一般情況的結論。
獨立同分布下的中心極限定理
棣莫弗-拉普拉斯-CLT
在重伯努利試驗中,若事件出現的次數為每次試驗中出現的概率為則有:
1.對任意的有限區間滿足不等式的所有
一致地有稱為亞伯拉罕·棣莫弗皮埃爾-西蒙·拉普拉斯局部極限定理。
2.對一致地有稱為棣莫弗-拉普拉斯積分極限定理。
上述兩個定理統稱為棣莫弗-拉普拉斯中心極限定理。
林德伯格-萊維-CLT
設隨機變量序列相互獨立,且服從相同分布,數學期望和方差
則對任意隨機變量的分布函數滿足
林德伯格-萊維中心極限定理亦稱獨立同分布隨機變量的中心極限定理。特別地,將服從二項分布的隨機變量看作個服從伯努利分布的獨立隨機變量之和,即可由林德伯格-萊維中心極限定理得到亞伯拉罕·棣莫弗皮埃爾-西蒙·拉普拉斯中心極限定理。
獨立不同分布下的中心極限定理
林德伯格-CLT
林德伯格條件:
上式中,分別為相互獨立的隨機變量序列的數學期望和方差,為密度函數。
林德伯格中心極限定理:設獨立隨機變量序列滿足林德伯格條件,則對任意的有
李雅普諾夫-CLT
設隨機變量序列相互獨立,數學期望和方差若存在滿足則隨機變量序列服從中心極限定理。
即對任意隨機變量的分布函數滿足:
相關概念
正態分布
正態分布(normal 廣義函數)亦稱常態分布、誤差分布、高斯分布。
式中為實參數,且則的分布稱為(一維)正態分布,簡記為
密度函數:
實參數分別是正態分布的數學期望和方差,所以正態分布是由其數學期望和方差唯一確定的。
當時,正態分布即稱為標準正態分布,而中心極限定理描述的即為隨機變量序列部分和服從標準正態分布的性質。
二項分布
一般地,在重伯努利試驗中,設每次試驗中事件發生的概率為用表示事件發生的次數,若隨機變量的分布列為則稱服從二項分布(二項式 distribution),記作
由棣莫弗-拉普拉斯中心極限定理可知,二項分布以正態分布為極限。當充分大時,可以用棣莫弗-拉普拉斯中心極限定理來計算二項分布的概率。
類似理論
二項定理
假設服從超幾何分布,即個產品中含有個次品,其中恰好有件次品的概率為
若當時,(不變),則
泊松定理
若則其中,
泊松定理要求是常數,亞伯拉罕·棣莫弗皮埃爾-西蒙·拉普拉斯定理中是固定的。當很大時,若大小適中,用正態分布去逼近二項分布概率的精度更高;如果接近(或),且較小(或較大),那么二項分布的圖形偏斜度太大,用泊松分布去估計精度會更高。
大數定律
大數定律(law of large numbers)亦稱大數法則,或稱大數定理,概率論與統計學的基本定律之一,通常是指在一定條件下,一個隨機變量序列的算術平均值收斂于所希望的平均值的各種定律。
定義:設隨機變量序列令若存在常數序列使得對于任意正數恒有則稱序列服從弱大數定律,簡稱大數定律;若對上述隨機變量序列存在常數序列使則稱序列服從強大數定律。
大數定律與中心極限定理的關系:大數定律是研究隨機變量序列依概率收斂的極限問題,中心極限定理
是研究隨機變量序列依分布收斂的極限定理。當相互獨立又同分布,并且有大于的有限方差時,大數定律和中心極限定理同時成立,而由獨立同分布的中心極限定理可知,中心極限定理比大數定律更為精確。
相關推廣
多維隨機序列加權和
基于多維隨機向量序列加權和的漸近行為,以林德伯格中心極限定理的基本思想,可得到多維隨機向量序列加權和的中心極限定理,為林德伯格中心極限定理的推廣。
推廣:設為一相互獨立的維隨機向量序列,的分布函數為
且有為正定陣,并設為的特征根。
設為一維實列向量序列,記
再令其中
定義:如果一致絕對連續,且存在
使
則
其中
推論:設為一相互獨立的維隨機向量序列,的分布函數為
且有并假定為正定陣。
設為一維實列向量序列,如果
則隨機變量序列服從中心極限定理。
鞅
從概率論的角度來看,鞅是一類重要的隨機過程,可以看做是隨機變量的擴張,它也有特有的極限結果。在鞅逼近理論中,中心極限定理也是一個重要定理。
鞅的定義:設是定義在概率空間上適應于上升代數族的隨機過程,稱為鞅。
鞅的中心極限定理:設為一個期望為零的鞅,且它的鞅差有界,定義,如果,則即近似服從標準正態分布。
相關應用
統計學
假設獨立同分布、方差存在,當充分大,就可以用正態分布去逼近隨機變量和的分布,由林德伯格-萊維中心極限定理可得知測量誤差近似地服從正態分布。
在隨機模擬(蒙特卡羅方法)中產生正態分布的隨機數:
設隨機變量服從上的均勻分布,則其數學期望與方差分別為和
由此可得個相互獨立的上均勻分布隨機變量和的數學期望與方差分別為和
因此按如下步驟可產生正態分布的隨機數。
(1)從計算機中產生個上均勻分布的隨機數,記為
(2)計算,則由林德伯格-萊維中心極限定理知,可將近似看成來自標準正態分布的一個隨機數;
(3)計算則可將看成來自正態分布的一個隨機數;
(4)重復(1) - (3)次,就可得到分布的個隨機數。
管理學
隨著旅游業的興起,越來越多的年輕人開始結伴或獨自出門旅行。在預測游客數量和管理調配旅游資源的問題上,游客數量可以看作是一個隨機變量,根據獨立分布的中心極限定理,當收集的樣本容量足夠大時,這些樣本的游客數量均值將趨近于正態分布。這意味著,通過對大量樣本的游客數量均值進行統計分析,管理者可以對旅游旺季或淡季的游客數量有更準確的預測,從而更好地調配旅游資源和安排旅游服務。
氣象學
降水監測是防洪減災的重要組成部分,雨量站網是監測降水最直接有效的手段,要考慮精度和成本兩方面的因素,從而獲得盡可能真實的降水情況,是一個十分重要的現實問題。把林德伯格-萊維中心極限定理應用到雨量站網的規劃中,可以得到:某一區域面雨量的測量誤差與雨量站密度(平均站問距)呈線性關系,誤差增長斜率由雨量站的隨機測量誤差的均方差、觀測值的期望值及區域面積決定。
參考資料 >
中心極限定理的可視化解釋.Bing搜索.2024-01-22