估計(jì)理論是統(tǒng)計(jì)學(xué)和信號(hào)處理中的一個(gè)分支，主要是通過測量或經(jīng)驗(yàn)數(shù)據(jù)來估計(jì)概率分布參數(shù)的數(shù)值。這些參數(shù)描述了實(shí)質(zhì)情況或?qū)嶋H對象，它們能夠回答估計(jì)函數(shù)提出的問題。
正文
應(yīng)用統(tǒng)計(jì)學(xué)方法來研究，用接收到的有噪聲的觀測數(shù)據(jù)估計(jì)實(shí)際參量或隨機(jī)變量、隨機(jī)過程或系統(tǒng)某些特性的理論，為信息論的一個(gè)分支。估計(jì)分為參量估計(jì)和狀態(tài)估計(jì)兩類。參量和狀態(tài)的區(qū)別是：前者隨著時(shí)間保持不變或只緩慢變化；后者則隨著時(shí)間連續(xù)變化。例如，根據(jù)雷達(dá)回波來估計(jì)每一時(shí)刻在連續(xù)變化的衛(wèi)星的三個(gè)空間位置向量和三個(gè)速度矢量，這是狀態(tài)估計(jì)。對衛(wèi)星的質(zhì)量和慣量等的估計(jì)則屬于參量估計(jì)。被估計(jì)的參量又可分為隨機(jī)變量和非隨機(jī)變量兩種。要估計(jì)的狀態(tài)則又有離散時(shí)間和連續(xù)時(shí)間的區(qū)別。
發(fā)展概況? 19世紀(jì)初，德國數(shù)學(xué)家C.F.高斯提出了最小二乘法估計(jì)(最小平方誤差估計(jì))。從20世紀(jì)20年代到30年代，英國統(tǒng)計(jì)學(xué)家R.A.費(fèi)歇耳系統(tǒng)地建立了經(jīng)典估計(jì)理論。1941年蘇聯(lián)科學(xué)家H.柯爾莫戈洛夫首先論述離散時(shí)間情況下的預(yù)測問題。美國科學(xué)家N.諾伯特·維納于1942年推導(dǎo)出連續(xù)時(shí)間濾波。他們都把統(tǒng)計(jì)方法應(yīng)用于解決與狀態(tài)估計(jì)有關(guān)的最佳線性濾波問題，為現(xiàn)代估計(jì)理論奠定了基礎(chǔ)。60年代初，R.E.魯?shù)婪颉た柭?/a>等人發(fā)展了維納理論，把狀態(tài)變量法引入濾波理論，用時(shí)域微分方程表示濾波問題，得到遞歸濾波算法，適于用計(jì)算機(jī)求解和實(shí)時(shí)處理。這一突破使估計(jì)理論在許多領(lǐng)域得到實(shí)際應(yīng)用。80年代初,光纖通信和激光雷達(dá)等逐漸成為工程現(xiàn)實(shí),量子信道與量子檢測和估計(jì)理論遂引起人們的注意。
基本概念? 圖為一般估計(jì)問題的模型。源的輸出通常是時(shí)間t的函數(shù)，并且包含待估計(jì)的參量。例如，在雷達(dá)系統(tǒng)中，目標(biāo)在每一時(shí)刻的回波就是源的輸出，可寫成Acos【2πf(t-tR)+φ0】，A是回波幅度；f是回波頻率；tR是時(shí)延。這些都是待估計(jì)的參量，包含著目標(biāo)的散射特性、空間距離和運(yùn)動(dòng)速度等信息。源發(fā)出的數(shù)據(jù)在到達(dá)數(shù)據(jù)處理裝置前總是受到隨機(jī)噪聲的干擾。概率轉(zhuǎn)移機(jī)構(gòu)把數(shù)據(jù)和噪聲按照數(shù)學(xué)規(guī)則轉(zhuǎn)移成具有一定概率模型的信號(hào)，作為處理裝置的輸入 y。處理裝置的任務(wù)就是對具有概率特性的數(shù)據(jù)進(jìn)行必要的處理，然后按設(shè)定的規(guī)則得到估計(jì)量。如果待估計(jì)的參量只有一個(gè)θ，從對 y的n個(gè)觀測數(shù)據(jù)的處理所得的估計(jì)量為；因y具有隨機(jī)特性，估計(jì)量也將是一個(gè)隨機(jī)變量，它本身也有一階矩、二階矩等統(tǒng)計(jì)特性。估計(jì)量的好壞可用它的統(tǒng)計(jì)特性來表示。當(dāng)θ為實(shí)際參量時(shí)，稱與θ（稱為真值）之差為估計(jì)誤差，用表示，即
如果的期望值為零，即
表示估計(jì)量的期望值等于真值，稱為無偏估計(jì)。如果對同一參量θ用不同估計(jì)方法得出不同的無偏估計(jì)1,2,…，其中之一κ的方差是所有估計(jì)量方差中最小的，并達(dá)到相應(yīng)的下限時(shí)，則稱κ為有效估計(jì)。如果對任一小的正數(shù)ε有下列概率的極限關(guān)系
則稱為一致估計(jì)。
估計(jì)方法? 常用的估計(jì)方法有最小平方誤差估計(jì)、極大似然估計(jì)和貝葉斯估計(jì)。
① 最小平方誤差估計(jì)：對信號(hào)和噪聲的統(tǒng)計(jì)知識(shí)可以不作任何要求。它的基本點(diǎn)是使n次觀測值與理論計(jì)算值的絕對誤差在平方和意義下最小，并由此求得估計(jì)量。若u是變量x,y,…的函數(shù)并含有m個(gè)參量θ1,θ2，…，θm，即
u＝f(θ1,θ2,…,θm;x,y,…)
對u和x，y，…作n次觀測，得
(xi,yi,…,ui) (i＝1,2,…,n)
于是u的理論計(jì)算值與觀測值ui的絕對誤差為，i=1，2，…,n。如n個(gè)絕對誤差的平方和最小，從而使函數(shù)u與觀測值u1,u2,…，un最佳擬合，也就是使參量θ1，θ2，…，θm滿足下列關(guān)系
為最小。根據(jù)微分學(xué)中求極值方法可知，θ1,θ2,…,θm，應(yīng)滿足下列方程組
θ/媉θi＝0 (i＝1，2，…，m)
由此可求得最小平方誤差估計(jì)量1，2，…，m。
②極大似然估計(jì)：以似然函數(shù)的概念為基礎(chǔ)。用Y表示一組觀測量，θ表示一組未知參量，則條件密度函數(shù)p（Y|θ）是Y 和θ兩者的函數(shù)。如果規(guī)定Y等于其觀測量Y*，則p(Y*│θ只是θ的函數(shù)，并稱為似然函數(shù)。其涵義是似然函數(shù)p(Y*|θ)的值越大，則θ是準(zhǔn)確值的可能性也越大。使p(Y*θ)最大的θ就是極大似然估計(jì)量，通常用表示。
③貝葉斯估計(jì)：對于單參量估計(jì)（多參量估計(jì)的情況相似）來說，首先要給定隨機(jī)參量θ的概率密度函數(shù)p(θ)和因估計(jì)誤差而帶來的代價(jià)函數(shù)C(θ，)。假設(shè)處理裝置對Y進(jìn)行了n次測量,y＝(y1,y2,…，yn),且已知θ時(shí)y的條件聯(lián)合概率密度為p(y│θ)，則估計(jì)量(y)帶來的風(fēng)險(xiǎn)為
平均風(fēng)險(xiǎn)為
貝葉斯估計(jì)就是使平均風(fēng)險(xiǎn)R()成為最小的估計(jì)。可由方程
解出托馬斯·貝葉斯估計(jì)量。
參考書目
H.LVan Trees, Detection,Estimation and Modulation Theory,Part I,John Wiley,New York,1968.
參考資料 >
什么是估計(jì)理論？.統(tǒng)計(jì)輕松學(xué)中文版.2024-11-12
信號(hào)的統(tǒng)計(jì)檢測與估計(jì)理論.科學(xué)出版社.2024-11-12
數(shù)學(xué)史上的女性在哪里?——被隱藏的“她們”.新京報(bào)客戶端.2024-11-12