Chương 1 Mô hình hồi quy phi tuyên Chương nay được viết dựa trên tài liệu:[1], [7], [17], [11], [20]. Xây dựng mô hình Mô hình phi tuyến có dạng sau y = ƒ(1,1a,.,z„ là biến giải thích và 6 = (6,.,Ø„) là vector tham số Ø cần ước lượng. Cho mô hành phi tuyến sau: y = ae" +e, trong đó @ = (a, B)' va (x,y) là cặp quan trắc của mô hành. Ta có một số dang mô hình hồi quy phi tuyến sau e Mô hình mũ: y = ae” +, e Mô hình lũy thừa: y = ax’ +e, ax.
e Mô hình tăng trưởng bao hoa: y = + €, b+ 2 e Mô hình đa thức: y= ap + aya! +. Ước lượng bình phương cực tiểu cho mô hình phi tuyến 1. Ước lượng bình phương cực tiéu Giả sử rằng có n cặp quan trắc (x;,y;),7 = 1,.,n và một hàm ƒ(x;;Ø*) biểu diễn mối quan hệ giữa giá trị quan trắc và tham số. Ta có mô hình hồi quy phi tuyến +e; (= 1,2,.2) e Ele;] =0, e x; la vector & x 1, e Ø* là tham số thực, Ø* thuộc vào không gian tham số 0 (0 C R?), eôlà giá trị ước lượng bình phương cực tiểu của Ø* bằng cách cực tiểu hóa tổng bình phương sai số nm 50) = Te — Fo).3) ›=l Giả sử e; độc lập, cùng phân phối và có phương sai là ø?.
Ta có e Ø là ước lượng vững của 6”, es? = a là ước lượng vững của o?. Giả sử ¢; có phân phối chuẩn thì khi đó 6 sẽ trở thành ước lượng hợp lý cực đại (MLE) (xem phần 1. Khi đó với mỗi ƒ(x;;Ø) khả vi theo Ø và ổ € ©, 6 được xác định bởi ô5(8) =0 (r =1,2,.5) ôƒ„(6) Ôƒfa(9) ôƒ„ (6) a0; 003 ÖÖp | np Để viết ngắn gọn, ta đặt F. Ta chọn 6 sao cho F'é = 0.
là ma tran lũy đẳng có hình chiếu trực giao lên R” lên không gian cột Z[Ê.] (xem phụ lục A1), ta có thể viết Ppé = 0.10) Phương trình (1.9) là phương trình chuẩn cho mô hình phi tuyến, tuy nhiên phương trình này còn chứa thành phần tham số và biến độc lập nên ta không thể tìm được giá trị nghiệm chính xác để cực tiểu hóa sai số. M6 hành tương quan tăng trưởng yi=are +e, — (=1,2,.11) Ỏ đâu tham sô cần tước lượng là 0 = (a, 8)! sẽ là nghiệm của hệ sau Ø3 77 yi — a2) : da = 0 iyi — aa! )ay = ØŠ””(yị ii — ax’) i} _ 4 * >3"ey! (œ4; loga;) = Op Vì vậy, để giải quyết van đề trên ta sử dụng khai triển Taylor để có được một xấp xỉ tuyến tính và sau đó áp dụng phương pháp lặp liên tiếp để có được ước lượng cho vector tham số. Xấp xỉ tuyến tính Trong một vùng lân cận của Ø*, áp dụng khai triển Taylor bậc một tại Ø*, ta có P of, f8) Z6) + 3) 511 (8=), (1.14) Vay mô hình phi tuyến ban đầu được xấp xi về dang tuyến tinh theo tham số B = 6 — 6*. Ap dụng phương pháp bình phương tuyến tính cực tiểu, ta tìm được vector tham số ước lượng Ô là ÂẬ =Ô—-6'=(F.
Từ công thức (1.13) và chọn 6 làm ước lượng cho 6, ta có f(ô)—f(0) ~ E. va L„ — Pg đối xứng và lũy đẳng (xem phụ luc A1). Từ công thức (1.16), ta có (n—p)s? = S(Ô) = |ly — £6)|)’ = ||(L, — Peel” = e(I, —Pre, (1.18) 13 Từ công thức (1.17), ta được: S(0*) — S(Ô) à lly — £(6")|? — e (In — Pre à llelf — e (In — Pre à eee (L, — Pr)e e Pre à (6 — 6*}E. Gia sử e ~ N(0,07I,,) va kết hợp uới một sô điều kiện chính quy thích hợp.
Khi đó uới n đủ lớn, ta có những tương đương sau: (i) 6-0°~N(0,0°C'), trong đó C=F/F.21) (iii) 6 độc lập uới s”; (1.23) S()/(n — p) (,— Pp)e p Chứng minh Xem phần phụ lục A1. Phương pháp số Dựa vào phần ước lượng mô hình ở trên, ta thấy rằng thật khó để mà tìm được nghiệm số của Ø. Để giải quyết vấn đề này, ta tìm hiểu phương pháp số. Giả sử Ø4 là một xấp xi cho giá trị bình phương cực tiểu Ø* của mô hình hồi quy phi tuyến.
Khi Ø) đủ gần với Ø, ta sử dụng khai triển Taylor f(6) = f(0)) + F. Với bình phương sai số là S(Ø) = r (Ø)r(6), ta khai triển S(0) ~ r (0))r(0))— 2r (0 )F.25) Ap dụng phương pháp bình phương cực tiểu, ta tim được giá trị ước lượng của Ø — 0 để cực tiểu sai số trên là @-0%) = (F.26) Giả sử rằng xấp xỉ hiện tại là 0, xấp xỉ kế tiếp là 0+1) = 06) + 6, (1.27) Công thức trên (1.27) được gọi là thuật toán Gauss- Newton.28) Quá trình này được lặp di lặp lại để có được 6. Xấp xỉ của S(Ø) bởi phương trình bậc hai như (1.25) để có được công thức (1.27) được gọi là phương pháp Gauss-Newton và là cơ sở của phương pháp bình phương cực tiểu sử dụng trong suốt đề tài này. Vậy thuật toán Gauss- Newton, sẽ được thực hiện theo một quy trình sau: Bl.
Chọn một giá trị ước lượng ban đầu là Ø4). Dùng khai triển Taylor và tính toán f(Ø)) và EF(0)), với a = 1,. Sử dụng phương pháp bình phương cực tiểu thông thường để tìm được 6+) dựa trên ước lượng hiện tại. Tìm ước lượng mới của Ø.
Sử dụng ước lượng này dé quay lại bước 2. Cứ tiếp tục như vậy cho đến khi A+) — Ø)| < B, với B đủ nhỏ. Nghia là thuật toán sẽ dừng lại nếu thỏa Ø) —y Ø*, khi a > oo. Khi ØŒ) đủ gần Ø* và n đủ lớn thì Ø®) —› 6, khi a > oo.
Một cách tiếp cận tổng quát hơn là dùng phương pháp Newton, trong đó S(6) được khai triển trực tiếp sử dụng khai triển Taylor bậc hai.32) 16 Tương tự, ta xấp xi của sai số ở dạng phương trình bậc hai 5() ~ (6) ~ r (O)r(9) — 2r (04))ƑE., Tuy nhiên, vì Hữ)= Sống =33 (ấp, ng, Age fs (1240 ừ (1.34), ta tính được kỳ vọng là E\H(0)] = E aw = 2F'(6)F.35) Cực tiểu hóa sai số có dang phương trình bậc hai trong công thức (1. = JOJO và công thức (1.28) trở thành GN : 69 = (JM JO) 1p| (1.37) Do đó, thuật thuật toán Gauss - Newton được lay từ thuật toán Newton bằng cách bỏ qua một phần ma trận Hessian, cụ thể là A(Ø) trong công thức (1. Bình phương cực tiểu tổng quát Ta tìm hiểu về quá trình bình phương cực tiểu (LS) có hiệu chỉnh hay bình phương cực tiểu tổng quát (GLS). Hàm được cực tiểu bây giờ là S(8) = ly — £0) V “Ly — f(9)|, trong đó V là ma trận xác định dương va đối xứng.
Tiêu chí cực tiểu hóa này thường được xuất phát từ mô hình (GLS) y = f(6) +e, trong đó Ele] = 0 và Varle] = ø?V. Do đó phương pháp OLS được thảo luận trước đó là trường hợp đặc biệt với V = I,, ký hiệu 6¢ là ước lượng (GLS) để cực tiểu hóa (0). 17 Đặt V = Ư U có được từ phân tích Cholesky của V, trong đó U là ma trận tam giác trên. Ta có En) = 0 và Varln| = Var|R] = RVarlelR = Ro’VR = o’ RVR = g’I,.
Do đó, mô hình GLS thông thường được chuyển thành mô hình OLS. Hơn nữa, 5) = ly— f0 Do đó, tổng bình phương GLS thì cũng chính là tổng bình phương OLS trong mô hình được chuyển đổi, vì vậy 6c là ước lượng OLS từ mô hình được chuyển đổi. Với n lớn, ma trận hiệp phương sai có được từ định lý 1.38) 18 trong đó Trong mỗi bước tính toán ta sử dụng phương pháp phân tích V = ƯU để chuyển đổi mô hình (GLS) thành mô hình OLS. Điểm quan trọng của phân tích trên là xem bài toán chuyển đổi như một bài toán OLS phi tuyến thông thường, khi đó mang lại một có kết quả chính xác với bài toán (GLS).
Cụ thể là, ước lượng (OLS) chính xác với ma trận phương sai - hiệp phương sai. Dé minh họa, ta sử dụng phương pháp tuyến tính hóa cho dạng ban đầu của S(6). Biểu diễn trên là bước Gauss- Newton cho mô hình chuyển đổi và cực tiểu ham OLS tuyến tính đối với ổ, S(0) = fy—£0) — E.96), Do đó 6 có được bằng phương pháp OLS của hàm tuyến tính z—k(9) = K.6+4+y7, với n là sai số trong mô hình này. 19 Tại vòng lặp cuối khi mà 0 = 6c, af (X'X)7! = (K.)71, — và tổng bình phương sai số là (iz —k(6c)] [z-k(6c)] = [y - f(ô¿)]'Vˆ'{y — £6c)] ^ = (n_— p)ô”.39) Vậy ước lượng ma trận hiệp phương sai từ phương pháp bình phương cực tiểu là Var|ôc].
Trên thực tế, ta không tính toán được R = (U})'1 để mà nhân trực tiếp R vào mô hình, cu thể Ry(= z). Thay vào đó, cách tốt nhất để giải quyết ma trận tam giác dưới U bằng cách thế z vào trực tiếp, ta có Uz = g. Ta giải tương tự U k(0®)) = f(0)) tại k(@TM), trong trường hợp phương pháp Gauss- Newton UK., Nhiều ứng dung phat sinh từ bai toán bình phương cực tiểu có hiệu chỉnh, với V là ma trận đường chéo. Do đó mà U cũng là ma trận đường chéo, trong đó các phần tử trên đường chéo bằng căn bậc hai của các phần tử tương ứng của V.
Từ đó mà việc tính toán z trở nên dé dàng và đơn giản hơn. Tóm tắt các bước chính dẫn đến việc tính toán 6¢ và tìm giá trị của Ø để cực tiểu tổng bình phương sai số sau S(8) = ly — £0) V “Ly — f(9)|, va Var 6c] = â? (- V'Ê) là ước lượng của ma trận hiệp phương sai tiệm cận của bc: 1. Thuc hién khai trién Cholesky. V = U U cho ma tran V.
Giải phương trình U'z = y và Uk(Ø) = f(6), tìm z và k(Ø). Áp dụng phương pháp BPCT phi tuyến thông thường để cực tiểu hóa hàm sau iz — k(Ø)] Íz — k(Ø)]. Nếu áp dụng phương pháp Gauss- Newton cho ý (3), thì ta tìm được 9+) = 6) +6, trong đó 69 = (K. Iz — K(9TM)), 20 và ma trận K.
được tìm thấy bằng cách giải phương trình ƯK.)~! là ma trận phân tán có được từ bước (3). Nếu phương pháp Gauss- Newton được sử dụng, (.)1 và ở? tìm được từ mô hình hồi quy tuyến tính bởi ý (4) tại lần lặp cuối cùng. Sự tồn tại ước lượng bình phương cực tiểu Mô hình phi tuyến thông thường yi = ƒ(x;;8”) + e; (i = 1,2,.40) trong đó - Ø*: là giá trị thực của vector tham số Ø p x 1, - x;: là vector k x 1 trong R*.