Luận văn thạc sĩ: So sánh trung bình hai mẫu trong toán ứng dụng

Luận văn thạc sĩ toán ứng dụng phân tích so sánh trung bình hai mẫu trong không gian số chiều lớn, tập trung vào phương pháp và ứng dụng thực tiễn.

• Tác giả: Trần Văn Trí
• Người hướng dẫn: Nguyễn Tiến Dũng
• Trường học: Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Toán Ứng Dụng
• Đề tài: So sánh trung bình hai mẫu với số chiều lớn
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Kiến thức chuẩn bị

Chương này cung cấp nền tảng lý thuyết cho việc so sánh trung bình giữa hai mẫu trong bối cảnh toán ứng dụng với số chiều lớn. Đầu tiên, không gian định chuẩn được định nghĩa, nhấn mạnh vai trò của nó trong việc phân tích dữ liệu. Phân phối chuẩn nhiều chiều và phân phối Gumbel cũng được giới thiệu, cho thấy tầm quan trọng của các phân phối này trong việc mô tả các hiện tượng thực tế. Đặc biệt, phương pháp kiểm định Hotelling được trình bày như một công cụ mạnh mẽ để kiểm tra sự khác biệt giữa các vectơ trung bình của hai quần thể. Định lý giới hạn trung tâm Linderberg được nhắc đến, cho thấy rằng khi kích thước mẫu đủ lớn, phân phối của trung bình mẫu sẽ tiệm cận phân phối chuẩn. Điều này rất quan trọng trong việc áp dụng các phương pháp thống kê cho dữ liệu có số chiều lớn.

1.1 Không gian định chuẩn

Không gian định chuẩn là một khái niệm cơ bản trong thống kê và toán học. Nó cho phép xác định các thuộc tính của các vectơ trong không gian nhiều chiều. Các chuẩn khác nhau như chuẩn l1, l2, và lp được định nghĩa, mỗi loại chuẩn có ứng dụng riêng trong phân tích dữ liệu. Việc hiểu rõ về không gian định chuẩn giúp các nhà nghiên cứu áp dụng các phương pháp thống kê một cách chính xác hơn, đặc biệt là trong các bài toán so sánh trung bình giữa hai mẫu có số chiều lớn.

1.2 Phân phối chuẩn nhiều chiều

Phân phối chuẩn nhiều chiều là một phần quan trọng trong lý thuyết xác suất. Nó mở rộng khái niệm phân phối chuẩn một chiều sang nhiều chiều, cho phép mô tả các mối quan hệ phức tạp giữa các biến ngẫu nhiên. Các đặc điểm của phân phối này, như kỳ vọng và phương sai, được trình bày rõ ràng. Sự hiểu biết về phân phối chuẩn nhiều chiều là cần thiết để áp dụng các phương pháp kiểm định như Hotelling trong việc so sánh trung bình giữa hai mẫu, đặc biệt khi số chiều lớn.

II. Phương pháp kiểm định CLX

Phương pháp kiểm định CLX được giới thiệu như một công cụ hiệu quả để so sánh trung bình giữa hai mẫu có số chiều lớn. Phương pháp này dựa trên việc sử dụng các giá trị lớn nhất của các giá trị chênh lệch chuẩn hóa giữa các vectơ trung bình. Một số tính chất của phương pháp CLX được phân tích, cho thấy tính ổn định và độ chính xác cao của nó trong các tình huống thực tế. Các kết quả mô phỏng cũng được trình bày để minh họa hiệu quả của phương pháp này. Việc áp dụng phương pháp CLX trong các lĩnh vực như di truyền học và xử lý tín hiệu cho thấy tính ứng dụng rộng rãi của nó trong toán ứng dụng.

2.1 Phương pháp CLX

Phương pháp CLX được phát triển để giải quyết bài toán so sánh trung bình trong bối cảnh số chiều lớn. Nó cho phép các nhà nghiên cứu kiểm tra sự khác biệt giữa các vectơ trung bình mà không cần phải xác định ma trận hiệp phương sai mẫu. Điều này rất quan trọng trong các tình huống mà số chiều lớn hơn số lượng quan sát. Phương pháp CLX đã chứng minh được tính hiệu quả trong việc xử lý dữ liệu phức tạp, giúp các nhà nghiên cứu đưa ra các suy diễn thống kê chính xác hơn.

2.2 Một số kết quả mô phỏng

Các kết quả mô phỏng được thực hiện để kiểm tra tính hiệu quả của phương pháp CLX trong việc so sánh trung bình giữa hai mẫu. Những mô phỏng này cho thấy rằng phương pháp CLX có thể đạt được độ chính xác cao trong việc phát hiện sự khác biệt giữa các vectơ trung bình, ngay cả khi số chiều lớn. Điều này chứng tỏ rằng phương pháp này có thể được áp dụng rộng rãi trong các lĩnh vực khác nhau, từ khoa học tự nhiên đến khoa học xã hội.

III. Phương pháp kiểm định GCT

Phương pháp kiểm định GCT được giới thiệu như một phương pháp bổ sung cho CLX trong việc so sánh trung bình giữa hai mẫu có số chiều lớn. GCT cho phép kiểm tra sự khác biệt giữa các vectơ trung bình mà không yêu cầu giả định về ma trận hiệp phương sai. Tính chất của phương pháp này được phân tích, cho thấy nó có thể xử lý các tình huống phức tạp mà các phương pháp truyền thống không thể áp dụng. Các kết quả mô phỏng cũng được trình bày để minh họa hiệu quả của phương pháp GCT trong thực tế.

3.1 Phương pháp GCT

Phương pháp GCT được phát triển để giải quyết các vấn đề trong việc so sánh trung bình giữa hai mẫu có số chiều lớn. Nó cho phép các nhà nghiên cứu kiểm tra sự khác biệt mà không cần phải xác định ma trận hiệp phương sai, điều này rất quan trọng trong các tình huống mà số chiều lớn hơn số lượng quan sát. GCT đã chứng minh được tính hiệu quả trong việc xử lý dữ liệu phức tạp, giúp các nhà nghiên cứu đưa ra các suy diễn thống kê chính xác hơn.

3.2 Hiệu quả của phương pháp GCT

Các kết quả mô phỏng cho thấy rằng phương pháp GCT có thể đạt được độ chính xác cao trong việc phát hiện sự khác biệt giữa các vectơ trung bình. Điều này chứng tỏ rằng phương pháp này có thể được áp dụng rộng rãi trong các lĩnh vực khác nhau, từ khoa học tự nhiên đến khoa học xã hội. Việc áp dụng GCT trong các nghiên cứu thực tế cho thấy tính ứng dụng của nó trong việc giải quyết các bài toán so sánh trung bình trong bối cảnh số chiều lớn.

Trích đoạn nội dung tài liệu

Chương 1 Kiến thức chuẩn bị Trong chương này, ta nhắc lại định nghĩa không gian định chuẩn (xem [6]), một số phân phối cơ bản (xem [5], [I6]), hàm tự hiệp phương sai (xem [HI|), hàm moment (xem [2|), hàm cumulant (xem [9] và xem [3|), phương pháp kiểm định Hotelling (xem [[|), định lý giới hạn trung tâm Linderberg (xem [8]) va dãy trộn (mixing processes) (xem [8]).1 Không gian định chuẩn Định nghĩa 1. Giả sử X là một không gian vectơ trên trudng sé K(K = R hay K = C). Một ánh xạ ||-||: X —> R được gọi là một chuẩn trên X nếu thỏa mãn các điều kiện sau với moi x, y € X, véi moi \e K i) [lel] > 0: ||| <0 x =0; ii) IIAzll = IAI-lzll iii) jz + | < llzll + lla|l: Khi đó, (X, ||-|J) được gọi là một không gian tuyến tính định chuẩn. Với mọi Jứn: an) € R”, ta c6 cdc chuan thong dung sau lz ||, = ° |z;| được gọi là chuẩn ñ, i=l n lz].

= (> || Đi được gọi là chuẩn is hay chuẩn Euclide, =1 P 2 l+lly = (CS lai)” với Ì <p< oo được gọi là chuẩn j„, II max ax sn được gọi là chuẩn vô cùng. Cho A⁄„ là tập các ma trận vuông cấp n. Anh xa |le|| : M, > R được gọi la một chuan ma tran trén M, nếu thỏa mãn các điều kiện sau với mọi 4, B e A„, với mọi À e R i) All > 0; |All = 0 A=; ñ) JA4ll = lÀI.IAll: iii) ||A+ Bl] < ILAlI + II: iv) JAB|| < ||AII|LBI. Với mọi ma trận vuông cấp ø, ta định nghĩa các chuẩn ma trận thông dụng sau n |Ali = max ` |4.2 Phân phôi chuân nhiều chiều Ta bắt đầu mục này với phân phối chuẩn một chiều.

Một biến ngẫu nhiên X được gọi là có phân phối chuẩn W(,ø?) nếu nó có hàm mật độ (w=)? e 207 «eR, trong dé p va o? lan luot 1A ky vong và phương sai của biến ngẫu nhiên X. Phân phối chuẩn nhiều chiều là tổng quát của phân phối chuẩn một chiều. (xem [10], trang 43) Giả sử ¿ là mot vecto trong R? va Ð là một ma trận vuông cấp p đối xứng xác định dương.,Xp) € R? được gọi là có phân phối chuẩn nhiều chiều W„(¿, 5) nếu nó có hàm mật độ ƒ(œ)= (a — p)/=7 tự — y)\.oe RP, mm op {3 với det(>) là định thức của 3. Nếu p = 0 (0 1A vecto khong trong R?) va © = J (J 1A ma tran don vi cap p) thì hàm mật độ của X trở thành ƒ()= Omer cxp{~5(z — 8)'(— whe eR va N,(0,1) duge goi là phân phối chuẩn tắc nhiều chiều.

5 Ta phát biểu mà không chứng minh các mệnh đề sau. 2 Ø21 OF Suy ra, hệ số tương quan giữa hai biến ngẫu nhiên Xị và X; là O21 ———— Ø172` Hơn nữa, hàm mật độ của X là f(x,y) = —= exp { — mB) le —H) + ( 2) 2) (52))} vi (x,y) € R?.3 Phan phéi Gumbel Phan phối Gumbel thường được dùng để mô tả phân phối của giá trị lớn nhất hay giá trị nhỏ nhất, sử dụng phân tích lượng mưa lớn nhất hằng năm hay thể tích nước sông giảm đi lớn nhất hằng tháng, v. Gumbel đã chứng minh được rằng giá trị lớn nhất của một mẫu các quan sát có phân phối mũ hội tụ theo phân phối về phân phối Gumbel khi kích thước mẫu lớn. Mot bién ngẫu nhiên X được gọi là có phân phối Gumbel cực tiểu với các tham số > 0 và ø > 0 nếu X có hàm mật độ ƒ(u) = 1 exp (z(u) — c2), weR, U với z(u) = “—”, Khi đó, ta ký hiệu X ~ Gumbel,,(7,v).

Trudng hop 7 = 0 và v v = 1 được gọi là phân phối Gumbel chuẩn tắc cực tiểu và hàm mật độ trở thành ƒ(u) = cxp(u — e*). 6 Tương tự, một biến ngẫu nhiên X được gọi là có phân phối Gumbel cực đại với các tham số ¡ > 0 và > 0 nếu nó có hàm mật độ ƒ(u)= 1 exp ( — z(u) — eo), weR. UV Khi do, ta ký hiệu X ~ Gumbely;(n, v). Trường hợp ? = 0 và o = 1 được gọi là phân phối Gumbel chuẩn tắc cực đại và hàm mật độ trở thành f(u) = exp ( -u-e"), Ta phát biểu mà không chứng minh các mệnh dé sau.

Bién ngdu nhiên X ~ Gumbel„(n,u) có hàm phân phối Fx(u) =1 — exp E exp (— )] =1-e°". v Hon nia, neu 6 Tương tự, biến ngẫu nhién X ~ Gumbel(n,u) có hàm phân phối Tx(u) = exp E exp ( _— ?)| =e.5772 là hằng số Euler.4 Ham cumulant Trong ly thuyết xác suất và thống kê, x„ được gọi là cumulant bậc ø của một phân phối xác suất và đại lượng này là tập hợp các đại lượng được thay thế bởi các moment của phân phối. Nếu hai phân phối xác suất bất kỳ có cùng các moment thì các cumulant cũng giống nhau và ngược lại. Trong một số trường hợp, việc sử dụng các cumulant đơn giản hơn các moment.

Trước tiên, ta nhắc lại một số định nghĩa về hàm phân phối của phân phối chuẩn tắc, moment trung tâm bậc k và hàm sinh moment. Hàm phân phối của phân phối chuẩn tắc được ký hiệu là ®d ! ‘ aa zø)=—— e—? da. Hàm phân phối của phân phối chuẩn tắc có tính chất ®(—z) = 1— ®(z). Nếu X là một biến ngẫu nhiên và k là một số tự nhiên thì đại lượng #Z(X®) được gọi là moment bậc k của X và đại lượng gi — E(X))”] được gọi là moment trung tâm bậc k của X.

Hàm sinh moment của biến ngẫu nhiên X là kỳ vọng của biến ngẫu nhiên e'X, trong đó ¿ là số thực. Ta ký hiệu là Mx(Đ = E(e'*). Nếu X là biến ngẫu nhiên rời rạc với xác suất P(X = z;) = pự thì Mx(t) = Fp. k Nếu X là biến ngẫu nhiên liên tục với hàm mật độ ƒ(+) thì Mx(t) = / e'” f(x)dx.

Hàm sinh cumulant của biến ngẫu nhiên X được xác định bởi Kx(Ð =log(Mx(9). trong dé Mx(t) = E(e'*) 1a ham sinh moment cua biến ngẫu nhiên X. Đại lượng x„ được gọi là cumulant bậc n của biến ngẫu nhiên X được xác định từ khai triển chuỗi Maclaurin của hàm sinh cumulant x(£) tại fọ = 0 oo m Kx(t)= » Xn n=1 nt Ta phát biểu mà không chứng minh một số tính chất của cumulant như sau. Hàm cumulant đồng thời của vectơ ngẫu nhiên X =(Xị,.,X„)C]R" được xác định bởi „ Định lý 1.

Cho vecto ngẫu nhiên X = (XI,.,Xn) duoc goi la cumulant bậc n của X duoc xác định bởi xu(Xi,.1) T Ber ¡cB 7 Ben là tích trên mỗi phân hoạch ma. Tiếp theo, ta sẽ giới thiệu phương pháp phân tích đa biến đồng thời cũng là mở rộng của kiểm định /-test. Kiểm định này được gọi là kiểm định 7 được giới thiệu lần đầu bởi Hotelling (xem [I], trang 117).5 Phương pháp kiêm định Hotelling Ta bat dau muc nay với các định nghĩa về hai loại sai lầm thường gặp. Sai lầm loại I là xác suất bác bỏ giả thuyết /ọ khi Họ đúng.

Ta ký hiệu là P(sai lầm loại Ï) = a. Sai lầm loại II là xác suất chấp nhận giả thuyết Hạ khi H, đúng. Ta ký hiệu là P(sai lầm loại II) = đ. Khi đó, hàm 1 — Ø(/) được gọi là hàm khả năng của quy tắc kiểm định được xác định bởi xác suất bác bỏ #ọ khi Hụ sai.

Trong phân tích nhiều biến, ta so sánh hai kỳ vọng /ị và /¿ của hai mẫu độc lập có các ma trận hiệp phương sai bằng nhau; nghĩa là »¡ = »ạ = Ð. Cụ thể, Xi, Xa,., X„ € IRP và Y,Ya,. Vy € IRP lần lượt là các mẫu độc lập có cùng phân phối Ms, 5) và Ag(s,5), trong đó ”ị và øs lần lượt là các kỳ vọng của hai mẫu, ma trận hiệp phương sai chung ». Ta muốn kiểm định giả thuyết Ho: 1 = nạ; đôi thuyết Ay : py F poo.3) Tương tự, ta có thể xét các trường hợp E1 : py > py va Hy: < poo.

m n = XxX = Yj x Dat X = › “È# và Y = -È là các vectơ trung bình mẫu. n m k=1 k=1 Ta xdc dinh W, va W2 nhu sau: n Wi = (X;— X)(Xy — X = (n= 1) St k=l m ty =3 20, — Y)(ị — Y)P = (m = 1)8, k=1 trong dé (n—1)S1 va (m—1)S9 lan lugt 1a cdc ude lugng khong chéch ctta (n—1)¥ và (m — 1)3. Khi đó 1 #S=————(Mi +W›) = - n+m—2 Salm = 51 + (m — 1) 5] là một ước lượng không chệch của ma tran hiệp phương sai chung ». Ta biết rằng, nếu giả thuyết Hạ đúng thì giá trị thống kê của kiểm định £— test cho một chiều là X—Y t= —————— © tnt m-2, 2/1 1 Soa + in) trong d6 tnim—2 1A phan phối 5tudent với (n + m — 2) bậc tự do và 2 (n- 1)S2 + (m— 1)S7 P.

n+m—2 là ước lượng của phương sai chung o?. Khi đó, ta tổng quát trường hợp p chiều là nm T= (X-Y)s'(X-Y). (14) n+m Néu Ho ding thi T ~ Tổ S93 va n+m-— 2 bac tu do. Vậy giả thuyết Họ bị bác bỏ ở mức ý nghĩa œ khi va chi khi T > T? œ,p,n+m—2" trong đó TP ntm—2 1a phan phối Hotelling với p Các giá trị bác bỏ giả thuyết Hạ của 7 được thể hiện trong Bảng A.7 của tác gid Alvin C.6 Định lý giới hạn trung tâm Linderberg Ta bắt đầu mục này với định lý giới hạn trung tâm cho các biến ngẫu nhiên độc lập cùng phân phối.

(zem j15J, trang 262 ) Cho XỊ,Xa,. dãy các biến ngẫu nhiên độc lập cùng phân phối có kỳ uọng ¡ - _ 1 n va phương sai hữu hạn ơ? < oo. Đặt X„ = 5 So Xi. Khi do, m Xn TH Ø — N(0,1) theo phân phối.

Dịnh lý giới hạn trung tâm nói rằng trung bình mẫu X của một mẫu gồm các quan sát ngẫu nhiên Xị,., X„ độc lập từ một phân phối bất kỳ luôn có thể được xấp xỉ bởi phân phối chuẩn tắc W(0,1) khi kích thước mẫu đủ lớn (ø> 30); nghĩa là, với mọi ¡ € ]R lim p(w) < +) = ®(u), noo trong đó ®(u) là hàm phân phối của phân phối chuẩn tắc. (Day dừng - xem [Š|, trang 271, định nghĩa 8.1) Một dãy các biến ngẫu nhiên {X;};>¡ xác định trên (O,Z,P) gọi là dừng nghiêm ngặt nếu với mọi k > 1 phan phối xác suất của (X;;; : j = 1,2.,&) là như nhau cho tat ca i > 0.2 (xem [TI|, trang 16, định nghĩa 1. Cho chuỗi thời gian ding {X;:t € Z}. Hàm tự hiệp phương sai của {X;} tại độ trễ h là yx (h) = Cov(Xr41, Xt).