chương 1, trang 15-47 sách Applied Logistic Regression [5].1 Hồi quy đơn Định nghĩa 1. Ta xét một mô hình hồi quy đơn giản, trong đó chỉ có một biến dự báo và hàm hồi quy là tuyến tính. Mô hình tổng quát được mô tả như sau y = βX + ε hoặc y = β0 + β1 x + ε.1) Như vậy, mô hình cụ thể đối với 1 cặp quan trắc (xi , yi ) như sau yi = β0 + β1 xi + εi , trong đó • yi là giá trị của biến ứng trong phép thử thứ i và y = (y1 ,. , yn ), • β, β0 và β1 là các hệ số và β = (β0 , β1 ), • xi là giá trị của biến dự báo trong quan trắc thứ i và x = (x1 ,.
, εn ), trong đó εi là sai số ngẫu nhiên với kỳ vọng E(εi ) = 0 và phương sai Var(εi ) = σ 2 ; εi và các εj là không tương quan để hiệp phương sai là 0 (tức là, Cov(εi , εj ) = 0 cho tất cả i, j; i 6= j; i = 1,. Mô hình hồi quy (1.1) được gọi là đơn, tuyến tính với các tham số và tuyến tính trong biến dự báo. “Đơn” mang ý nghĩa là ta chỉ có một biến dự báo, “tuyến tính với 1 Luận Văn Thạc Sĩ Chuyên ngành: Toán Ứng Dụng các tham số” bởi vì không có tham số xuất hiện dưới dạng số mũ hoặc phép nhân hoặc phép chia bởi một tham số khác và “tuyến tính trong biến dự báo” bởi vì biến này chỉ xuất hiện ở lũy thừa (tích) đầu tiên. Một mô hình tuyến tính với các tham số và biến dự báo còn được gọi là mô hình bậc nhất.
Tiếp theo, ta sẽ phân tích kỹ hơn các thành phần trong mô hình hồi quy.1 Đặc trưng của mô hình 1. Biến ứng yi trong phép thử thứ i là tổng của hai thành phần: số hạng hằng số β0 + β1 xi và sai số ngẫu nhiên εi. Do đó, yi cũng là một biến ngẫu nhiên. Do đó, biến ứng yi , khi bậc của x trong quan trắc thứ i là xi , xuất phát từ phân phối xác suất với kỳ vọng là E(yi ) = β0 + β1 xi .2) Vì vậy, hàm hồi quy cho mô hình (1.3) Bởi vì hàm hồi quy liên quan đến kỳ vọng phân phối xác suất của y khi biết x đối với bậc x.
Biến ứng yi trong phép thử thứ i lớn hơn hoặc nhỏ hơn giá trị tương ứng trong hàm hồi quy một sai số εi. Các sai số εi được giả định có phương sai không đổi σ 2. Do đó, các biến ứng y có cùng phương sai không đổi Var(yi ) = σ 2 .5) Do đó, trong mô hình hồi quy (1.1), ta giả sử rằng phân phối xác suất của y có cùng một phương sai σ 2 , với bất cứ bậc nào của biến dự báo x. Các sai số được giả định không tương quan.
Vì các sai số εi và εj không tương quan, nên các biến ứng yi và yj cũng không tương quan. Nguyễn Thị Cẩm Vân-K2015 2 Luận Văn Thạc Sĩ Chuyên ngành: Toán Ứng Dụng 6. Tóm lại, mô hình hồi quy (1.1) chỉ ra rằng các biến ứng yi có phân phối xác suất với kỳ vọng là E(yi ) = β0 + β1 xi và phương sai là σ 2 , đồng thời chúng giống nhau ở tất cả các bậc của x. Hơn nữa, yi và yj là không tương quan.
Các hệ số β0 và β1 trong mô hình hồi quy (1.1) được gọi là các hệ số hồi quy. β1 là hệ số góc của đường hồi quy. Điều đó cho ta thấy sự thay đổi kỳ vọng của phân phối xác suất của y trên mỗi đơn vị tăng trong x. Tham số β0 là hệ số chặn y của đường hồi quy.
Khi mô hình mà x = 0, thì β0 cho ta biết kỳ vọng phân phối xác suất của y. Khi mô hình không tồn tại x = 0, thì β0 không có ý nghĩa cụ thể trong mô hình hồi quy.2 Ước lượng của hàm hồi quy Dữ liệu quan trắc hoặc dữ liệu thực nghiệm được sử dụng để ước lượng các tham số của hàm hồi quy bao gồm các quan trắc biến giải thích hoặc dự báo x và các quan trắc tương ứng biến ứng y. Cho mỗi lần thử nghiệm, có quan trắc x và quan trắc y. Ta kí hiệu quan trắc (x, y) cho lần thử nghiệm đầu tiên là (x1 , y1 ), cho thử nghiệm thứ hai là (x2 , y2 ) và tổng quát đối với thử nghiệm thứ i là (xi , yi ), trong đó i = 1, .1 Phương pháp bình phương cực tiểu Trong việc xây dựng đường hồi quy ta cần ước lượng các hệ số β0 và β1 sao cho sai số ε là nhỏ nhất có thể.
Do đó, ta sẽ dùng chuẩn L2 để đo độ lớn của ε. Điều này có nghĩa là ta muốn chọn các hệ số β0 và β1 sao cho E(|ε|2 ) đạt cực tiểu. Khi đó, phương pháp xây dựng đường hồi quy này được gọi là bình phương cực tiểu. Đối với quan trắc (xi , yi ), phương pháp bình phương cực tiểu được xem là độ lệch của yi từ giá trị kỳ vọng của nó yi − (β0 + β1 xi ).6) Đặc biệt, phương pháp bình phương cực tiểu đòi hỏi ta phải xét tổng n độ lệch bình phương.
Tiêu chí này được ký hiệu bởi Q như sau n X Q= (yi − β0 − β1 xi )2 .7) i=1 Theo phương pháp bình phương cực tiểu, các ước lượng của β0 và β1 lần lượt được kí hiệu là b0 và b1 để cực tiểu hóa Q từ các quan trắc mẫu đã biết (x1 , y1 ), (x2 , y2 ),. Nguyễn Thị Cẩm Vân-K2015 3 Luận Văn Thạc Sĩ Chuyên ngành: Toán Ứng Dụng Ước lượng bình phương cực tiểu. Các ước lượng b0 và b1 thỏa các tiêu chí bình phương cực tiểu có thể được tìm theo hai cách cơ bản sau. Các phương pháp số có thể được sử dụng để đánh giá một cách có hệ thống các tiêu chí bình phương cực tiểu Q cho các ước lượng khác nhau b0 và b1 cho đến khi tìm ra những giá trị cực tiểu của Q.
Các quá trình phân tích thường có thể được sử dụng để xác định các giá trị của b0 và b1 để cực tiểu hóa Q. Cách tiếp cận bằng phân tích là khả thi khi mô hình hồi quy không phức tạp về mặt toán học. Sử dụng phương pháp phân tích, ta có thể tìm ra các giá trị b0 và b1 trong mô hình hồi quy (1.1) để Q đạt cực tiểu đối với bất kỳ tập dữ liệu mẫu cụ thể được cho bởi các phương trình sau n X n X yi = nb0 + b1 xi , (1.9) i=1 i=1 i=1 Các phương trình (1.9) được gọi là phương trình chuẩn; b0 và b1 được gọi là bộ ước lượng điểm của β0 và β1 tương ứng. Từ các phương trình chuẩn (1.9), ta tìm được giá trị cho b0 và b1 P (xi − x̄)(yi − ȳ) b1 = P , (1.11) n trong đó x̄ và ȳ là kỳ vọng của các quan trắc xi và yi , tương ứng.
Tính chất của ước lượng bình phương cực tiểu Định lý 1.6) Dưới các điều kiện của mô hình hồi quy (1.1), các ước lượng bình phương cực tiểu b0 và b1 trong (1.10) là không chệch và phương sai cực tiểu giữa tất cả các ước lượng tuyến tính là không chệch. Từ định lý trên ta có các nhận xét sau. Nguyễn Thị Cẩm Vân-K2015 4 Luận Văn Thạc Sĩ Chuyên ngành: Toán Ứng Dụng Thứ nhất, định lý này khẳng định rằng b0 và b1 là các ước lượng không chệch. Như vậy E(b0 ) = β0 , E(b1 ) = β1 , trong đó ước lượng này không cùng tiến đến giá trị cao nhất hoặc thấp nhất trong các dữ liệu quan trắc.
Thứ hai, định lý này chỉ ra rằng các ước lượng b0 và b1 là chính xác hơn so với các ước lượng khác thuộc nhóm các ước lượng không chệch là các hàm tuyến tính của các quan trắc y1 ,. Với các ước lượng mẫu b0 và b1 của các tham số trong hàm hồi quy (1.12) ta ước lượng hàm hồi quy như sau ŷ = b0 + b1 x, (1.13) trong đó ŷ là giá trị ước lượng của hàm hồi quy tại bậc x của biến dự đoán. ŷ là một ước lượng điểm của giá trị biến ứng khi bậc biến dự báo là x. Nó có thể được biểu diễn như một phần mở rộng của định lý Gauss-Markov (1.1) mà ŷ là một ước lượng không chệch của E(y) với phương sai cực tiểu trong lớp ước lượng tuyến tính không chệch.
Phần nhiễu thứ i là sự sai khác giữa giá trị quan trắc yi và giá trị hiệu chỉnh ŷi tương ứng. Phần nhiễu này được kí hiệu ei và được định nghĩa như sau ei = yi − ŷi .14) Đối với mô hình hồi quy (1.1), phần nhiễu ei trở thành ei = yi − (b0 + b1 xi ) = yi − b0 − b1 xi .3 Ước lượng phương sai σ 2 của sai số Phương sai σ 2 của các sai số εi trong mô hình hồi quy (1.1) cần phải được ước lượng để xác định sự biến thiên của hàm phân phối xác suất của y.1 Ước lượng điểm của σ 2 Để đặt nền tảng cho việc xây dựng một ước lượng cho σ 2 trong mô hình hồi quy (1.1), đầu tiên ta xét một bài toán lấy mẫu từ một quần thể đơn. Nguyễn Thị Cẩm Vân-K2015 5 Luận Văn Thạc Sĩ Chuyên ngành: Toán Ứng Dụng 1. Quần thể đơn Ta biết rằng phương sai σ 2 của một quần thể đơn được ước lượng bằng phương sai mẫu s2.
Trong phương sai mẫu s2 , ta xét độ lệch của một quan trắc yi từ kỳ vọng được ước lượng ȳ và lấy tổng bình phương của các độ lệch này, ta được n X (yi − ȳ)2. i=1 Ta sẽ xác định được phương sai mẫu hiệu chỉnh bằng cách chia tổng bình phương ở trên cho (n − 1). Ta được Pn 2 2 i=1 (yi − ȳ) s = , n−1 trong đó số bậc tự do chỉ là n − 1 bởi vì ȳ được sử dụng như một ước lượng chưa biết cho kỳ vọng µ của quần thể. Hơn nữa, phương sai mẫu hiệu chỉnh là một ước lượng không chệch của phương sai σ 2 của một quần thể.
Mặt khác, phương sai mẫu hiệu chỉnh cũng được gọi là trung bình bình phương bởi vì tổng các bình phương được chia bởi số bậc tự do. Mô hình hồi quy Từ (1.4), mỗi quan trắc yi trong mô hình hồi quy (1.1) cho ta phương sai σ 2 và sai số εi .