Chương 1, Bo dé 1.10] Giả sử rằng w(t) thỏa man phương trành a10(bit) +---+ a„(bat) =0, (1.15) ở day >> a,b; = 0, |bị| > max{|ba|,., |bn|} vd các œ;b¿ vdi i = 2,.,n là cùng dấu, trong khi đó a,b, có dấu ngược lại. Thêm nữa w(t) = c+ to(t), ở day o(t) là hàm liên tục tại 0. Khi đó, t là hàm tuyến tinh.4 Một số kết quả liên quan đến lý thuyết ước lượng 1.41 Một số khái niệm cơ bản của lý thuyết ước lượng Chúng ta xét một mô hình thống kê (4, .4, Po), ở đây X là không gian các giá trị quan sát x, A là ơ-đại số các biến cố, và {Po} là một họ các phân phối xác suất, phụ thuộc Ø € ©. Giả sử thống kê T(x) được dùng như một ước lượng cho một hàm của tham số ¿(6), và r(T,t) là một hàm tổn thất không âm.
Ky vọng toán học của hàm tổn thất được cho bởi R(T,0) = E¿r(T, t) được gọi là hiểm của ước lượng T khi mà giá trị chân thực của tham số là 6. Sau đây là một số hàm tổn thất mà chúng ta sử dụng: a) dạng toàn phương hay Gaussian: r(T,t) = (T — £)3, b) dang Laplace: r(T,t) = |T - tl, 0 néu|T-t]<b | c) dang 0-1: r(T,t) = với b > 0 nao đó. 1 néu|T-t|>b 11 Định nghĩa 1. Một ước lượng 7”(z), thuộc lớp các ước lượng của hàm tham số t(@), được gọi là chấp nhận được trong lớp này, dưới hàm ton that r(T,t), nêu không tồn tại phan tử T thuộc K sao cho R(T,0) < R(T”,0) với mọi 0, (1.16) và hơn nữa bất dang thức chặt đúng với ít nhất một 0.
Nếu một ước lượng 7” là chấp nhận được trong lớp tất cả các ước lượng, thì khi đó chúng ta sẽ gọi nó là chấp nhận được tuyệt đối. Một ước lượng T° € được gọi là fố¿ uu trong lớp K của các ước lượng của hàm tham số f(Ø), dưới hàm ton thất r(T,t), nếu với moi Tek, R(T°,0) < R(T,0), 0c©. Giả sử rằng T là một ước lượng cho t(0) va ham tổn that r(T, t) là lồi theo T. Nếu họ {Po} chúa một thống kê đủ S, thà tồn tại một ước lượng To, chỉ phụ thuộc vao S, sao cho Eor(To, t(@)) < Esr(T, t(6)) uới 9 c O.
Một ước lượng Tp € K được gọi là tối ưu tại điểm 09 (hay tối ưu địa phương) trong lớp K dưới hàm tổn thất r(7,#), nếu với mọi T € K, R(To, 9) < R(T, 6). [ Xem |6], Chương 7, Dinh lý 7.1] (Bất đẳng thức Cramer - Rao) Giá sử rằng không gian tham © là một khoảng nào đó của đường thang thực, tat cả các phân phối Po là liên tục tuyét đối đối uới độ do , vdi p(, 9) = dPạ/dụu là hàm mat độ. Nếu T là một thống kê thỏa man F¿T' = t(6) + b(), thà khi đó, dưới các điều kiện “chính quy”, Ea[T — t(0)|? > [b(6)]? 4 (1.17) ở đâu I(0) = Eg(Olog p/00)? là lượng thông tin Fisher. [| Xem [6], Chương 7, Định lý 7.3] Nếu phân phối của thống kê vecto đủ S = (S\,., S„) được cho trong RTM bởi ham mật độ (đối vdi độ do Lebesgue) x(s,Ø) = c(8)q(s) exp (>: 2/005) =1 ở day s = (81,.,cm()) căng trên mién nào đó trong RTM cũng như 9 căng trên ©, thà họ phân phối {Po} là đầu đủ đối với thống kê đủ S.
Trong mục này, khái niệm về tính tối ưu của ước lượng liên quan đến hàm ton thất dạng toàn phương. Chúng ta ký hiệu L7 là không gian Hilbert của các hàm đo được trên (H, A), các hàm này bình phương khả tích đối với Py với tích vô hướng thông thường. 0cO Định nghĩa 1. Một thống kê h = h(x) được gọi là ước lượng không chệch của 0 (u.z) nếu Egh = 0 với mọi Ø € ©.
Chúng ta ký hiệu Hạ là tập tất cả các u.z trong LZ, và H = () Hạ. [ Xem [6], Chương 7, Bồ đề 7.1] Một ước lượng T € L2 (hoặc, T € L) là tối ưu (hoặc, tối ưu dia phương tại 9) trong LẺ cũng như là một ước lượng không chéch của t(0) = EgT nếu va chỉ nếu Eo(Th) =0 tới tat a@heH, 0c<© (1.2 Tham số tỷ lệ Nếu ham phân bố P, của vectơ các quan sát (X¡,., Xn) € R” phụ thuộc vào tham số ơ € IR‡ (tức là o > 0) theo nghĩa sau day: xã cam %1/Ø,.19) 13 thì chúng ta nói rằng o là một tham số ty lệ. Để ước lượng cho tham số tỷ lệ, một cách tự nhiên là chọn một lớp các ước lượng ø = øØ(X,., X„) thỏa mãn điều kiện sau với mọi À > 0: Z(AX:,. Những điều nay đã được đưa ra bởi Pitman [18].
Ta gọi các ước lượng thỏa mãn điều kiện trên là chính quy, và ký hiệu lớp các ước lượng chính quy bởi F. Chúng ta giả sử rằng hàm tổn thất thỏa mãn điều kiện r(o,0) = r(Ø— ơ), r(Au) = A" r(u), (1.20) với moi À > 0, với m nào đó. Khi đó, hiểm của ước lượng ¢ € Ø cho tham số ø là ` R(ð,ø) = E,(ð — ơ) =o" Eyr(o — 1) =o" R(G, 1). Vì vậy, với hàm tổn thất (1.20), một phan tử của lớp F hoặc là tối ưu, hoặc là không chấp nhận được trong lớp này.
Một ước lượng ¢ = G(Xj,., Xn) tối ưu trong lớp F, tức là thỏa mãn R(G,o) = min R(g,o) sẽ được gọi là ước lượng Pitman cho tham số tỷ lệ o tương ứng với ham ton thất (1. Từ nay trở về sau, chúng ta sẽ giả sử rằng không gian các quan sát # = IR?, n tức là x; > 0 với mọij = 1,n. Khi đó, nếu với mọi 7, chúng ta đặt L = » cj Xj, 1 cj; > 0 với mọi j, thi moi ước lượng & € F đều có thể được viết dưới dang Fb (BoB). [ Xem [6], Chương 7, Bổ dé 7.1] Nếu EX? < œ, thi (1) uéc lượng a= Lệ a0) Y= (en) (1.22) 14 là ước lượng Pitman cho ơ, tương ứng uới hàm tốn thất dạng toàn phương; hơn nữa, uới ð € F bat ky, E,(¢—0)? > E„(ô - ø)Ÿ, UỚI a € Ri, trừ khi ô = 6 vdi Py - xác suất một (va vi vay uới P„ - xác suất một uới moi ơ € R} ); (2) nếu F, ham phân phối đồng thời của các Xj, là liên tục tuyệt đối, uới ham mật độ là ƒ thì .23) per tac, vey UL, dU 0 Chúng ta ký hiệu Fy là lớp các ước lượng không chệch chính quy của o.
[ Xem |6], Chương 7, Bổ đề 7.2] Dưới các điều kiện của Bồ dé|1.10, ước lượng tối uu của ơ trong Fu là ou = cụ8, (1.24) ở đâu hằng số cụ được xác định bởi điều kiện cụ - E,8 = 1. Khi đó, uới ðu € đụ, E„(ðu — 0)? > E„(Su —0)?, 0 € R} trừ khi oy = Gu tới Py - rác suất một. 15 Chương 2 Đặc trưng họ phân phối Gamma thông qua tính hồi quy hằng số 2.1 Các bồ đề cơ sở Nếu X;:,., X„ là một mẫu ngẫu nhiên, khi đó sự độc lập của X và S2 = l« = ` : ` : — (Xi - xX) (mà không cần thêm bat kỳ điều kiện phụ nào đối với các i=l moment của X;) dẫn tới tính chuẩn của X;. Chúng ta có thể sử dụng tinh hồi quy hằng số của S$? đối với X mà không cần sử dung tinh độc lập của S2 và X để phát biểu kết quả trên.
Điều kiện này nhẹ hơn so với tính độc lập của $2 và X, nhưng lai cần thêm giả thiết về sự tồn tại phương sai của X;. Tương tự, nếu X và Y là các biến ngẫu nhiên không âm, độc lập thì sự độc lập của X +Y đối VỚi < chỉ ra đặc trưng phân phối gamma (hoặc phân phối thoái hóa). Trong chương này, chúng ta sẽ chỉ ra rằng với các biến ngẫu nhiên độc lập, cùng phân phối X và Y thì tính hồi quy hằng số của X + Y đối với < sẽ chỉ ra đặc trưng của phân phối gamma (hoặc phân phối thoái hóa). Các kết quả này thuộc về Khatri và Rao (xem [8], [9]).
Cho F là hàm phân phối của biến ngẫu nhiên Y, va g là ham liên tục trên R', sao cho [oar =U (hữu han).1) Nếu tới số thực p khác 0 nao đó, va tới moit ER, / eV g(y)dF(y) = (u + ipt) / ed F(y), (2.2) thà F liên tục tuyệt đối va có ham mật độ là f liên tục thỏa man phương trành ut phân sau day ef'(y) = [tu — gy Fly).3) Phương trinh trên có nghiệm là 1 U Fly) = ex [T7 J0) = nan: (2.5) - 11— ew tht ew iat _ e~?8t ` | Nhân hai về của phương trình ba) VỚI opp roi lay T ? ? tích phân trên (—T,T) theo biến t, rồi sau đó cho T — +œ, ta thấy về phải có dạng + tht Lat it T1 24 / [ it it |© 1 l-eTM" e 1 _e~? ; w) lm — if. “LE dt -T r iht Lat ¡Øt To too 2 / ‘ it it 7ữ) 1 l—e” c?r—e ”" = ili — it , - f(t)dt -T [ [ewiat — en Hath)ty — feist — ¿~i(0+h)t Toto 27m / it I) 1 ca _ e? a _ e? _ e? = ji t)dt -T T T 1 c—?at _ p-i(ath)t 1 e~?Öt _ e-t(B+h)t = T—+oo It / ili _—T it P(t)dt— t)dt lim on | li —T it Jữ) t)dt. 17 Nếu œ+h,øœ, 8+h và Ø là các điểm liên tục của hàm F thì theo định lý ngược, biểu thức bên trên bằng với: [F(a +h) = F(a)] — [F(8 +h) — F(0)l.6) Con về trái bằng với T 8 lóc lim — To+o0 27 / l v it e at | © Ti te , / © Yk (yụ)d F( y) ụ -T Qa —oo 3 x r | (2.7) =— T-+00 lim a2 fa / k(y)dF(y) ụ ụ / tren it © ~i(u—9)tJ a —œ —T 7 .z Do —¬ ` e€ 4" dt bi chặn đều theo 7' nên qua giới han khi T tiên -T ra +oo biểu thức trong (2.7), ta có về trái bằng với 8 Ji báu (2.8) trong đó uth—0 Flush) =f ku)dPU), u—0 Từ (2.8), chúng ta có 8 [fe tdu = [F(a + h) = F(a)|— [F(8 + h)—= FB) (39) Cho h —› —oo, do F(—oo) = 0 nên từ (2.9) chúng ta có 8 8 | 16086 = P9) — Fla) = f arty) (2.10) tại moi điểm liên tục a va 3 của ham F, ở đây u—0 flu) =~ f ku)4PU).11) 18 Phương trình (2.10) chi ra rằng F liên tục tuyệt đối và có hàm mật độ là ƒ. Hơn nữa, ta có f(u) = - / k(y)dF(y) = - / k(y) Fy)dy.