Luận văn thạc sĩ về ứng dụng mô hình hồi quy phân vị trong toán ứng dụng

Luận văn phân tích Ứng dụng mô hình hồi quy phân vị trong luận văn thạc sĩ toán ứng dụng, vận dụng lý thuyết vững chắc, đề xuất giải pháp sáng tạo

• Tác giả: Nguyễn Bá Thảo
• Người hướng dẫn: PGS. Tô Anh Dũng
• Trường học: Đại học Bách Khoa - ĐHQG TP. Hồ Chí Minh
• Chuyên ngành: Toán ứng dụng
• Đề tài: Mô Hình Hồi Quy Phân Vị Và Một Số Ứng Dụng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Giới thiệu về mô hình hồi quy phân vị

Mô hình hồi quy phân vị là một công cụ thống kê mạnh mẽ, được phát triển để khắc phục những hạn chế của mô hình hồi quy truyền thống. Trong khi các mô hình hồi quy trung bình chỉ tập trung vào việc ước lượng giá trị trung bình của biến phụ thuộc, hồi quy phân vị cho phép phân tích các mối quan hệ giữa các biến tại nhiều mức phân vị khác nhau. Điều này rất hữu ích trong các tình huống mà người nghiên cứu muốn hiểu rõ hơn về sự biến động của biến phụ thuộc dưới ảnh hưởng của biến độc lập. Theo Roger Koenker, người đã giới thiệu mô hình này vào năm 1978, hồi quy phân vị có khả năng cung cấp cái nhìn sâu sắc hơn về dữ liệu, đặc biệt trong các lĩnh vực như kinh tế và tài chính.

1.1. Đặc điểm và ưu điểm của hồi quy phân vị

Một trong những ưu điểm nổi bật của hồi quy phân vị là khả năng mô tả các mối quan hệ phi tuyến tính giữa các biến. Điều này có nghĩa là các nhà nghiên cứu có thể nhận diện được những yếu tố ảnh hưởng đến biến phụ thuộc ở các mức độ khác nhau, từ đó đưa ra các dự báo chính xác hơn. Phân tích hồi quy phân vị cũng không yêu cầu giả định về phân phối chuẩn của dữ liệu, điều này làm cho nó trở thành một lựa chọn linh hoạt hơn so với các phương pháp hồi quy truyền thống. Bên cạnh đó, mô hình này còn có khả năng xử lý tốt các dữ liệu có phân phối không đồng nhất, giúp người dùng có thể tập trung vào các vấn đề rủi ro trong các lĩnh vực khác nhau.

II. Phương pháp ước lượng trong hồi quy phân vị

Trong mô hình hồi quy phân vị, việc ước lượng các tham số được thực hiện thông qua các phương pháp như phương pháp đơn hình và thuật toán hàm trơn. Phương pháp đơn hình sử dụng kỹ thuật tối ưu hóa để tìm ra các tham số tốt nhất cho mô hình, trong khi thuật toán hàm trơn giúp cải thiện độ chính xác của ước lượng thông qua việc tối ưu hóa các hàm mục tiêu. Cả hai phương pháp này đều hướng tới việc tối thiểu hóa sai số dự đoán, từ đó nâng cao độ tin cậy của mô hình. Đặc biệt, các phương pháp này cho phép kiểm định mô hình một cách hiệu quả, giúp các nhà nghiên cứu có thể đánh giá được độ chính xác và tính khả thi của các mô hình hồi quy phân vị mà họ xây dựng.

2.1. Kiểm định mô hình hồi quy phân vị

Việc kiểm định mô hình trong hồi quy phân vị thường được thực hiện thông qua các phương pháp như kiểm định Wald và kiểm định tỷ số hợp lý. Kiểm định Wald cho phép đánh giá sự phù hợp của mô hình bằng cách so sánh các tham số hồi quy với giá trị dự đoán, trong khi kiểm định tỷ số hợp lý cung cấp một cách tiếp cận thống kê để xác định tính chính xác của mô hình. Cả hai phương pháp này đều là công cụ quan trọng giúp các nhà nghiên cứu xác định được độ tin cậy của mô hình hồi quy phân vị, từ đó đưa ra các quyết định chính xác hơn trong việc áp dụng mô hình vào thực tiễn.

III. Ứng dụng của mô hình hồi quy phân vị trong thực tiễn

Mô hình hồi quy phân vị đã được áp dụng thành công trong nhiều lĩnh vực khác nhau, từ phân tích kinh tế đến nghiên cứu xã hội. Một ví dụ điển hình là việc sử dụng mô hình này để phân tích các yếu tố ảnh hưởng đến cân nặng trẻ sơ sinh và chi tiêu hộ gia đình. Trong nghiên cứu về trẻ sơ sinh, mô hình giúp xác định các yếu tố nguy cơ gây ra tình trạng nhẹ cân, từ đó đưa ra các biện pháp can thiệp kịp thời. Trong khi đó, ứng dụng trong phân tích chi tiêu hộ gia đình cho phép nghiên cứu sự khác biệt giữa các vùng miền, từ đó hỗ trợ việc hoạch định chính sách hiệu quả hơn. Sự linh hoạt và khả năng cung cấp thông tin chi tiết của hồi quy phân vị khiến nó trở thành một công cụ không thể thiếu trong nghiên cứu hiện đại.

3.1. Phân tích cân nặng trẻ sơ sinh

Nghiên cứu về cân nặng trẻ sơ sinh sử dụng mô hình hồi quy phân vị để phân tích các yếu tố ảnh hưởng như dinh dưỡng của mẹ, tuổi tác và điều kiện sống. Mô hình này cho phép các nhà nghiên cứu không chỉ nhìn vào giá trị trung bình mà còn xem xét các mức phân vị khác nhau, từ đó xác định những yếu tố nào có ảnh hưởng lớn nhất đến các nhóm trẻ sơ sinh khác nhau. Kết quả phân tích không chỉ cung cấp thông tin quý giá cho các nhà hoạch định chính sách mà còn giúp nâng cao nhận thức cộng đồng về tầm quan trọng của dinh dưỡng trong thai kỳ.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. KIẾN THỨC CHUẨN BỊ 1.5 Hồi quy tuyến tính đa biến 1.1 Mô hình đa biến Trong mô hình hồi quy tuyến tính đơn, chúng ta chỉ đơn thuần xây dựng mối quan hệ tuyến tính của hai biến X và Y. Nhưng trong thực tế, chúng ta thường gặp không chỉ biến X ảnh hưởng đến Y mà còn các biến khác cũng ảnh hưởng đến Y. Khi để dự báo Y được tốt nhất chúng ta cần xây dựng mô hình hồi quy bội của Y qua tất cả các biến.

Giả sử Y phụ thuộc vào k biến độc lập Xk , mỗi giá trị quan sát của Y có thể được biểu diễn theo mô hình Y = β0 + β1 X1 + β2 X2 + .3) trong đó, β0 là hệ số tung độ gốc, β1 là hệ số dốc của Y theo biến X1 khi các biến X2 , X3 ,. , Xk không đổi, β2 là hệ số dốc của Y theo biến X2 khi các biến X1 , X3 ,. , Xk không đổi,. βk là hệ số dốc của Y theo biến Xk khi các biến X1 , X2 ,.

, Xk−1 không đổi, ε là thành phần ngẫu nhiên với E(ε) = 0 và var(ε) = σ 2. Nếu ε là biến ngẫu nhiên không tương quan thì mô hình (1.3) được gọi là mô hình hồi quy tuyến tính bội.2 Ước lượng các tham số của mô hình đa biến Giả sử chúng ta có n quan sát, mỗi quan sát có k giá trị (yi , x1i , x2i ,. + βk xki + εi Cụ thể hơn ta có: y1 = β0 + β1 x11 + β2 x21 +. + βk xkn + εn Hệ phương trình trên được viết dưới dạng ma trận: y = Xβ + ε trong đó, 15 CHƯƠNG 1.

KIẾN THỨC CHUẨN BỊ ⎡y ⎤ ⎡β ⎤ ⎡ε ⎤ ⎢ 1⎥ ⎢ 1⎥ ⎡ 1 x11 x21. xkn ⎦⎥ ⎢ ⎥ ⎢ yn ⎥ ⎢ βk ⎥ ⎣ ⎢ εn ⎥ ⎣ ⎦ ⎣ ⎦ ⎣ ⎦ Khi đó, tổng bình phương các sai số là n L (β) = ∑ ε2i = (y − Xβ) (y − Xβ) ′ i=1 trong đó, ký hiệu X ′ nghĩa là ma trận chuyển vị của X. Chúng ta vẫn dùng phương pháp bình phương tối tiểu để ước lượng các tham số β0 , β1 , ., βk bằng các hệ số β̂0 , β̂1 ,. Ta được −1 β̂ = (X ′ X) X ′ y trong đó, ⎡ n n n ⎤ ⎢ n ∑ x 1i ∑ x 2i.

⎥ ⎢ n n n n ⎥ ⎢ ⎥ ⎢ ∑ xki ∑ xki x1i ∑ xki x2i. 2 ⎢ ∑ xki ⎥⎥ ⎣ i=1 i=1 i=1 i=1 ⎦ ⎡ n ⎤ ⎡ n ⎤ ⎢ ∑ yi ⎥ ⎢ ∑ yi ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ i=1 ⎥ ⎢ i=1 ⎥ ⎢ ⎥ ⎢ ⎥ ⎢ x y + x y + .xkn yn ⎥ ⎢ Sky ⎥ ⎣ ⎦ ⎣ ⎦ Mặc khác, ta cũng có thể tìm hệ số của đường hồi quy tuyến tính bội từ phương trình (X ′ X) β̂ = X ′ y. Cuối cùng, mô hình hồi quy tuyến tính bội của mẫu được sử dụng để ước lượng mô hình hồi quy tổng thể là y = β̂0 + β̂1 X1 + .4) ̂ Phương trình (1.4) cũng được viết dưới dạng ma trận: ŷ = X β, 1.3 Kiểm định mô hình đa biến a/ Kiểm định ý nghĩa của hồi quy * Sử dụng kiểm định t Xét bài toán kiểm định H0 ∶ βj = 0 { H1 ∶ βj ≠ 0, j = 1, k. KIẾN THỨC CHUẨN BỊ Thống kê kiểm định β̂j β̂j Tj = =√ se (β̂j ) ̂σ 2 cjj n 1 2 σ 2 = n−p trong đó, ̂ ∑ (yi − ŷi ) với p = k + 1 = Rank (X) ⩽ n, và cjj là phần tử i=1 −1 thứ j trên đường chéo chính của ma trận C = (X ′ X) ứng với βj.

Vì Tj ∼ T (n − p) nên giả thiết bị bác bỏ nếu ∣TJ ∣ > t α2 (n − p) * Sử dụng phân tích phương sai – ANOVA Xét bài toán kiểm định: H0 ∶ β1 = β2 =. Nếu H0 bị bác bỏ thì có nghĩa là có ít nhất một trong các biến hồi quy có ý nghĩa đối với mô hình. Thống kê kiểm định: SSR /k M SR F= = ∼ F (k, n − p) SSE /(n − p) M SE Giả thuyết bị bác bỏ với mức ý nghĩa α nếu F > fα (k; n − p). 2 b/ Hệ số xác định bội R2 và hệ số xác định bội hiệu chỉnh Radj Hệ số xác định bội R2 được xác định tương tự hồi quy đơn như sau SSR SSE R2 = =1−.

SST SST Hệ số xác định R2 là không giảm khi tăng số biến của hồi quy. Khi đó, R2 khó cho ta biết được việc tăng số biến có lợi gì hay không. Vì thế nhiều nhà phân 2 tích thích dùng hệ số xác định bội hiệu chỉnh Radj sau 2 SSE /(n − p) Radj =1− SST /(n − 1) Mẫu ở vế phải là hằng số, còn tử là ước lượng của sai số: nó bé nhất khi và chỉ 2 khi Radj lớn nhất. Vì thế, một quy tắc lựa chọn biến hồi quy là chọn một trong 2 số các biến hồi quy x1 ,.

, xk để Radj lớn nhất. c) Kiểm tra hiện tượng đa cộng tuyến (Colinearity) Chúng ta cần chú ý khi sử dụng hồi quy tuyến tính bội, một trong những giả định là các biến độc lập không có tương quan với nhau. Ngược lại, nếu chúng 17 CHƯƠNG 1. KIẾN THỨC CHUẨN BỊ tương quan, tức là giữa chúng có tồn tại mối quan hệ tuyến tính hoàn hảo hoặc chính xác giữa một số hoặc tất cả các biến độc lập trong một mô hình hồi quy (chẳng hạn X1 = λX2 ), thì ta có hiện tượng đa cộng tuyến xảy ra.

Việc phát hiện và xử lý đa cộng tuyến thì có cả một lý thuyết về nó. Ở đây, chúng ta chỉ nêu ra một số cách: ˆ R2 cao nhưng tỉ số t thấp: Trong trường hợp R2 cao (thường R2 > 0.8 ) mà tỉ số t thấp thì đó chính là dấu hiệu của hiện tượng đa cộng tuyến. ˆ Tương quan cặp giữa các biến giải thích cao: Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt ) thì có khả năng có tồn tại đa cộng tuyến. Tuy nhiên tiêu chuẩn này thường không chính xác.

Có những trường hợp tương quan cặp không cao nhưng vẫn có đa cộng tuyến. ˆ Hồi quy phụ Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến là hồi quy phụ. Hồi quy phụ là hồi quy mỗi một biến giải thích Xi theo các biến giải thích còn lại. Thực hiện phân tích theo các bước của một hồi quy thông thường.

ˆ Sử dụng nhân tố phóng xạ phương sai (VIF) Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đại phương sai gắn với biến Xi , ký hiệu là V IF (Xi ). VIF(Xi ) được thiết lập trên cơ sở của hệ số xác định R2 trong hồi quy của biến Xi với các biến khác nhau như sau: 1 V IF (Xi ) = 1 − Ri2 Đối với hàm hồi qui có hai biến giải thích X2 và X3 , VIF được định nghĩa là: 1 V IF = 2 1 − r23 + Khi có đa cộng tuyến r23 = 1 thì VIF tiến đến vô hạn. + Nếu không có đa cộng tuyến giữa X2 và X3 thì V IF = 1. Kinh nghiệm: Nếu VIF của 1 biến vượt quá 10 (điều này xảy ra nếu R2 > 0.9) thì biến này được coi là có cộng tuyến cao.

Khi gặp phải hiện tượng đa cộng tuyến, cách giải quyết đơn giản nhất có lẽ là bỏ bớt một trong các biến có cộng tuyến với nhau. Cách làm này có thể làm cho hệ số hồi quy của những biến còn lại trong mô hình từ kết quả ban đầu khác 0 không có ý nghĩa chuyển thành khác 0 có ý nghĩa về mặt thống kê. KIẾN THỨC CHUẨN BỊ Bước 1: Xem cặp biến độc lập nào có quan hệ chặt chẽ với nhau., Xk là các biến độc lập,Y là biến phụ thuộc và X1 , X2 có tương quan chặt chẽ với nhau. Bước 2: Tính R2 đối với các hàm hồi qui: có mặt cả hai biến; không có mặt một trong hai biến.

Bước 3: Ta loại biến mà giá trị R2 tính được khi không có mặt biến đó là lớn hơn. Sau khi trải qua các bước kiểm định và thấy rằng mô hình có ý nghĩa thống kê thì chúng ta có thể tiến hành các dự báo.4 Dự báo quan sát tương lai Ước lượng điểm của dự báo tương lai tại x01 , .5 Ví dụ Khảo sát giá bán của 20 căn nhà ở Milwaukee, Wilconsin. Gọi Y = giá bán - selling price (đơn vị 1000$) X1 = Diện tích căn nhà - total dwelling size (đơn vị f t2 ) X2 = Giá trị tài sản được thẩm định - assessed value (đơn vị 1000$) i) Xây dựng mô hình và ước lượng các tham số hồi quy. ii) Kiểm định lại mô hình.

iii) Giả sử một căn nhà có X1 = 20, X2 = 70. Tiên lượng giá bán của căn nhà này. KIẾN THỨC CHUẨN BỊ Chúng ta sẽ thực hiện hồi quy này bằng code trên R.choose()) #Đọc file > head(homeprice) #Xem trước dữ liệu V1 V2 V3 1 15.1: Xem xét mối quan hệ phụ thuộc tuyến tính Ta thấy rằng cả biến z1 và z2 đều có quan hệ tuyến tính với Y. Chúng ta sẽ thực hiện 3 mô hình hồi quy: từng biến và cả 2 biến để so sánh và lựa chọn mô hình tốt nhất.

> model1=lm(Y ~ z1) # Mô hình đơn biến z1 > summary(model1) # Kết quả ước lượng mô hình 1 Call: lm(formula = Y ~ z1) Residuals: Min 1Q Median 3Q Max -5.3948 Coefficients: 20 CHƯƠNG 1. KIẾN THỨC CHUẨN BỊ Estimate Std. Error t value Pr(>|t|) (Intercept) 31.1 ‘ ’ 1 Residual standard error: 3.377 on 18 degrees of freedom Multiple R-squared: 0.53 on 1 and 18 DF, p-value: 1.909e-08 > model2=lm(Y ~ z2) #Mô hình đơn biến z2 > summary(model2) # Kết quả ước lượng mô hình 2 Call: lm(formula = Y ~ z2) Residuals: Min 1Q Median 3Q Max -5.4400 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 17.1 ‘ ’ 1 Residual standard error: 4.35 on 18 degrees of freedom Multiple R-squared: 0.42 on 1 and 18 DF, p-value: 1.933e-06 > model3=lm(Y ~ z1 + z2) #Mô hình đa biến z1 và z2 > summary(model3) # Kết quả ước lượng mô hình 3 Call: lm(formula = Y ~ z1 + z2) Residuals: Min 1Q Median 3Q Max -5.4605 Coefficients: Estimate Std.

Error t value Pr(>|t|) (Intercept) 30.1 ‘ ’ 1 Residual standard error: 3.473 on 17 degrees of freedom Multiple R-squared: 0.83 on 2 and 17 DF, p-value: 2.