MỞ ĐẦU 1. Tính cấp thiết của đề tài Trong thực tế, hồi quy được ứng dụng rộng rãi trong các ngành khoa học tự nhiên và khoa học xã hội. Hai loại hồi quy thông thường nhất là hồi quy tham số và hồi quy phi tham số. Mô hình thường được sử dụng nhiều là mô hình hồi quy tham số.
Tuy nhiên, trong nhiều trường hợp, hồi quy tham số không thé đưa ra mối tương quan phù hợp với dữ liệu, khi đó người ta cần dùng đến hồi quy phi tham số. Do đó cân một sự kết hợp giữa hồi quy tham số và hồi quy phi tham số. H6i quy bán tham số là cầu nối giữa hai mô hình hồi quy tham số và phi tham số. Nó cho phép chúng ta làm tốt cả hai việc phân tích hồi quy tham số va phi tham số, giúp làm giảm bớt sự phức tạp của bộ dữ liệu, giúp chúng ta có thể hiểu van dé dé dàng hon, tìm ra mối tương quan phù hợp với bộ dữ liệu.
Tuy nhiên, hồi quy bán tham số không có nghĩa là tìm ra những mô hình mới thay thế cho những mô hình cũ, mà chủ yếu chúng ta mở rộng những mô hình thông kê chuân dé giải quyêt một sô vân đê khoa học xã hội. Mục tiêu Nghiên cứu các mô hình hồi quy trong phân tích thong kê như hồi quy tham số, hồi quy phi tham số, hồi quy bán tham số. Nội dung nghiên cứu an. 6 sung một số kiến thức.
im hiểu các mô hình hồi quy tham số và hồi quy phi tham số. ©® im hiêu mô hình hôi quy bán tham sô. e Trình bay một ứng dụng của hồi quy bán tham số trong khoa học xã hội 4. Phương pháp nghiên cứu Phương pháp tham khảo tài liệu: tìm hiểu cơ sở lý thuyết và thực tiễn.
Phương pháp chuyên gia: thu thập ý kiến của chuyên gia am hiểu về lĩnh vực đang xem xét. Phương pháp thống kê: phân tích và xử lý số liệu trong xây dựng mô hình hồi quy. 10 CHUONG I NHUNG KIEN THUC CO BAN Trong chương này, luận văn trình bày một số phương pháp ước lượng dùng trong các mô hình hồi quy. Chương này cũng trình bày những kiến thức cơ bản về hai mô hình hồi quy là hồi quy tuyến tinh và hồi quy phi tuyến bao gồm, mô hình tong quát, phương pháp ước lượng, phương sai, độ lệch chuẩn.
II L1 KIÊN THỨC BO SUNG Hồi quy là phương pháp phân tích dữ liệu, tìm mdi liên quan giữa các biến dưới dạng công thức gọi là hàm hồi quy. Mục tiêu đặt ra là làm sao xác định hàm hồi quy thé hiện chính xác mối tương quan giữa các biến, ước đoán giá trị từ ham hồi quy gần đúng với giá trị thực tế khảo sát. Có nhiều phương pháp khác nhau dé ước lượng hàm hồi quy, tuy nhiên, số liệu trong quá trình phân tích khá nhiều, do đó, để đơn giản hơn trong tính toán và trình bày, dữ liệu và tham số sẽ đưa về dạng ma trận. Trong phan này trình bày một số phương pháp ước lượng đơn giản dé ước lượng hàm hồi quy.1 Phương pháp bình phương cực tiểu Phương pháp bình phương cực tiểu là một trong những phương pháp tốt nhất để xác định đường hồi quy phù hợp với dữ liệu.
Phương pháp này chỉ sử dụng những phép tính đơn giản và kiến thức của đại số tuyến tính. Cơ bản nhất là tìm một hàm tuyến tính y=ax+b phù hợp với một bộ dữ liệu quan sát được. Một cách tong quát, phương pháp nay được áp dung dé tìm hàm hồi quy dạng tuyến tính như sau y=Ø,+8s,Œœ)+ 8g,Œœ)+.+/,g,@œ) UD Trong đó các hàm g,(x) không cần thiết phải là những hàm tuyến tính theo biến x Gia sử có bộ dữ liệu (%x,,y,). Ta can tìm một hàm có dạng y = ƒ(x)sao cho » ƒ(%)-— y, } —> min Với f(x) là hàm tuyến tính ƒ@=/8,+/8g,G)+ ,g,(@œ)+.3,8,(%) I Ị " | I 8X) '-: £,(%) 5 g(x) g(x) £,(x,) | 8,,)--- 8,(%,) 5 >|, : : : 8,(%) 80%) B(x) I B(x) B(x) NZ, | | ¬ y, _| 8) BOQ) 8%) |}; 8,(%) 8%) 8 DAY, Dat l 8%) — g8,(X) y, 5, xe]! a wD] | mfg JA Từ đó ta có thé viết hệ (1.2) dưới dang ma trận X'X B=X'y Va nghiém B =(XX) XYy Nhu vậy hàm hỏi quy y= £,+ đg,(x)+ Bg,(x)+.2,(x) được ước lượng và trình bày dưới dạng ma trận như sau $=Xổ với 8=(X'X)'X'y Trong đó > là giá trị tiên đoán của y được tính từ ham hồi quy.2 Tim ewe trị có điều kiện Xét bài toán: Tìm vector tham số / của hàm y =X Ø với điều kiện 14 ly — X Bl +/A*° B' DB ,A>O , dat giá trị min.B Bi Bo By) 0 0 0 0 O 0 0 0 000 0 De 0 0 I0 0 0 a 05.
~ 10 0 0 1 +0 0| | Onxvr Iexur 000 0 0 | Ta có = SB, + BB) + Bil) +t Au Gul) y +2 YB — min lôu “ “=0 aa h 8 2> (0.800) - Lois) =0 << sà Y AB (4) + Y Ag. =0 Y AB (4) YBa )8u(%) + +L Busi) Lgl) +A°B, =0 ` BS I+ BY 8.) tot Bd 8%) = >, Bd 8,(x) + BY 8(x) +. BX 8%)+ BY 8%) 8%) +t Be DBO) + AB, = Dy.%) BY 8ul%)+ BY B HB (H) tot 8, gà) + 428, = DVB) L >), B, 8, i=l i=l 38) xao X XY, +iD|,B, > y,. (%) i=l l6 l l ¬ l 8Œ): 8Œ) 8, g(x) 8,)--- g,(x,) l 8@Œ,)--- 8,Œ,) 8 (%) 8,Œ,) " 8,Œ,) l 8,,)--- 8,Œ,) 5, 1 1 as y, _ 8Œ) 8): 8) 3; g,(%) 8, (Xo 8,(X,) Jn Dat SB 8) " 8,(x) Mi l SCX) 8,Œ,) Ỳ, B, Hé phuong trinh (1.3) viết lại dưới dạng ma trận (XX+Ä'D)8=X'y Và nghiệm B=(X'X + VD) X'y.3 Phwong pháp bình phương cực tiểu có trọng số Bình phương cực tiểu có trọng số là phương pháp cải tiến của phương pháp bình phương cực tiểu.
Ta định nghĩa phần dư như sau A € = Y¡ — Y, Phương pháp bình phương cực tiểu dựa trên ý tưởng tìm hàm y sao cho tổng khoảng cách từ y, đến ÿ, là nhỏ nhất i=1. de) =X; -3,) > min i=l] i=l] Bình phương cực tiểu có trọng số bố sung thêm thành phan trong số W, vào việc tính toán. Những giá trị W sẽ tương ứng với một cặp (x, ; y,). nếu giá trị của trọng 17 số W càng cao, thì ảnh hưởng của điểm (x, ,y,) đến hàm hỏi quy càng lớn.
Ta định nghĩa lại tong phan dư như sau dle, y => W,(y,-3, y > min i=l] i=l] Có nhiều cách dé xác định trọng số W. Ví dụ w=-L hoặc là W =-L 2 Ji 3; Thông thường người ta hay sử dụng độ lệch chuẩn o với công thức như sau w=+ hoặc là W = + o o Ưu điểm của phương pháp nay là kha năng xử lý những trường hop hồi quy mà các điểm dữ liệu có nhiều khác biệt. Tuy nhiên, phương pháp này có một nhược điểm là đòi hỏi phải biết chính xác các trọng số. Nhưng thực tế, các trọng số gần như không bao giờ có thể xác định một cách chính xác.
Do đó, trước hết ta cân phải ước lượng các trọng sô.y,g(x) (14) i=n i=n i=n 2 B, Swale) ŠW G80) 3 Wg'G) 3 W,yg,(x) gx) la a) — [M1 gad gi) s,(4) 8,0) ee WJ gd a(x) 1 1 | y, _ 8Œ) 8@Œ,)--- 8Œ,) 3; Đặt l SCX) 8) W, y, x-|, | 6) " BEDE w- [2| W ya|”| ge ñ, Từ đó ta có thé viết hệ (1.4) dưới dạng ma trận X'WX B= X'y Và nghiệm =(X'WX)'X'y LI1.4 — Ước lượng không chệch [5] Thống kê Ô(X, Xe Á ) được gọi là ước lượng không chệch của tham số Ø.X,) |=Ø Ước lượng không thỏa E|ô(X, .,ÄÓ, =5 X,) | =@ được gọi là ước lượng chéch.5 Ước lượng hợp lý cực đại (Maximum likelihood )[5] Trong thống kê, ước lượng hợp lý cực đại (MLE) là phương pháp dùng dé ước lượng tham số trong các mô hình thống kê. 20 Gia sử biến ngẫu nhiên X có các giá tri đ,,đ,.đ, VỚI các xác suất tương ứng p,(). trong đó Ø là tham số chưa biết. Theo quy tắc nhân xác suất, xác suat đê trong n lan quan sát X nhận được mâu X,,X,,.X,)là ước lượng của Ø.
Khi đó ham L phụ thuộc tham số Ø, và ta mong muốn khi thay 6 thì hàm L sẽ đạt giá trị lớn nhất. X,:Ø) n? Ham L được gọi la ham hợp ly (likelihood). Nếu X là biến ngẫu nhiên liên tục với ham mật độ ƒ(x,Ø) thì.9) i=l Phương pháp tim Ø để ham hợp lý đạt cực đại gọi là phương pháp hợp ly cực dai (Maximum Likelihood Estimation- MLE), ô gọi là ước lượng hợp lý cực đại của 0. Khi mẫu cổ định, L và InL có chiều biến thiên như nhau, tức là L và InL đạt giá trị cực đại tại những điểm giống nhau, do đó trong tính toán, để giảm bớt sự phức tap, thay vì tìm max(L), ta tìm max(InL).
Hàm InL được gọi là log — likelihood.X,;:Ø) = »In ƒ(z,,Ø) i=l Hoặc có thé lay hàm trung bình của log-likelihood ƒ=lInr n Ngoài ra, Ø có thé là một vector tham số.6 BLUE (Best Linear Unbiased Estimator- Ước lượng không chéch tuyén tinh tot nhat) Dinh nghia ma tran hiép phuong sai Ma trận hiệp phương sai của vector ngẫu nhiên X, m chiều , ký hiệu là Cov(X), là một ma trận vuông cấp m trong đó phan tử (i, j) là hiệp phương sai của % Và x.an BULE Gia sử vector ngâu nhiên x= (x2X, seen ky) có ham mật độ là p(x;@) phụ thuộc vào tham sô @. , N-I Phương pháp BLUE cho phép ước lượng tham sô @ có dạng Ø= > du, n=0 Trong do a, la cac hang số cần được xác định.a,x,) = 94, E(4,) = 3_a,S,0 =0 n=0 n=0 n=0 ya,8, =1 n=0 a S§=1 Phuong sai cua 0 22 Var(0) = F lb a,x, — ayy cont) = E\(a"x — a’ E(x) | = EN(a" (x- E(2))) } ra (x- E(x))(a" (x- E())) | = E\a’ (x- E(x))(x- E(x)) a} = a’ E\(x — E(x))(x — B(x))' ba =a Ca Với C, = E\(x- E(x))(x- E(x)’ | = Cov(x) Bai toán BLUE là bài toán tôi ưu được phat biéu dưới dạng min {a”C,a} với ràng buộc là a’S =1 Trong trường hợp nay, sử dụng phương pháp nhân tử Largange dé giải bài toán min. Xét ham J #=aCa+A^(a S-1) Phương án tối ưu thỏa mãn điều kiện ôJ - —=0 Ay L5 (1.6) Từ phương trình (1.5) ta có os =2Ca+2S=0 Ca a= 48 __4 C'S 2C, 2 ` Thay vào phương trình (1.6) ta có a S=] A T nD) S=1 -~=(C'S) ¬ 15 =] 2 A | 2 S'C 6 23 Như vậy, hăng sô a can ước lượng có công thức như sau a=-2C"'8 va 4. cần ước lượng /Ø.