Chương 1. Kiến thức chuẩn bị xác suất (có điều kiện hoặc không có điều kiện) của quan sát ngẫu nhiên Y và g() là xác suất của biến ngẫu nhiên X. Y là biến ngẫu nhiên mà ta sẽ quan sát còn X là tham số ngẫu nhiên không dùng để quan sát mà dùng để suy luận. Mỗi xác suất trong không gian Bayes được tìm bởi công thức: f (xi ; yi ) = g(xi ) × f (yi |xi ), trong đó • g(xi ) với i = 1, ., n là xác suất tiên nghiệm của tham số X., n là hàm hợp lý (hàm khả năng likelihood).
Đây chính là xác suất có điều kiện của Y với điều kiện X = xi. • Khi đó, xác suất hậu nghiệm g(xi |yi ) tại xi với i = 1, ., n cho bởi Y = yj được xác định bởi công thức g(xi ) × f (yi |xi ) g(xi |yi ) = Pni .2 Suy luận của Bayes cho biến ngẫu nhiên liên tục Hàm mật độ xác suất Hàm mật độ xác suất dùng để biểu diễn một phân phối xác suất. Xác suất của biến ngẫu nhiên trong khoảng (a,b) được tính bởi tích phân của hàm mật độ xác suất trên khoảng đó Z a P (a < Y < b) = f (y)dy. b Nếu với biến ngẫu nhiên rời rạc, công thức hậu nghiệm là f (θ) × f (y|θ) f (θ|y) = X , (1.16) f (θ) × f (y|θ)dθ −∞ 23 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 1.
Kiến thức chuẩn bị trong đó tham số θ được coi là biến ngẫu nhiên.5 Phương pháp xích Markov Monte Carlo (MCMC) Phần trên, đã nhắc lại một số khái niệm và phương pháp tiếp cận cơ bản của thống kê Bayes. Mặc dù phương pháp Bayes rất hiệu quả trong việc đưa ra các dự đoán về những quan sát chưa biết. Tuy nhiên không phải lúc nào ta cũng dễ dàng làm việc được với phương pháp này. Ví dụ trong công thức 1.2 với biến ngẫu nhiên liên tục R +∞ trong trường hợp nhiều chiều, nhiều biến số thì tích phân −∞ f (θ) × f (y|θ)dθ rất khó thực hiện.
Phương pháp xích Markov Monte Carlo được đưa ra để giải quyết vấn đề này.1 Phương pháp Monter Carlo Phương pháp Monter Carlo là một phương pháp mô phỏng có ứng dụng quan trọng trong nhiều lĩnh vực, nó sử dụng mô phỏng để ước lượng xác suất xuất hiện của những sự kiện không chắc chắn. Đặc biệt trong toán học thì phương pháp này rất hiệu quả đối với các bài toán tích phân không dễ giải được bằng các bài toán khác. Như đã biết, trong thống kê Bayes, hệ số Bayes và xác suất hậu nghiệm là các đại lượng được dùng để đánh giá các giả thuyết về mô hình. Tuy nhiên, các phân tích của chúng không phải lúc nào cũng thực hiện được vì chúng liên quan tới việc tích phân tham số θ.
Vì vậy để giải quyết vấn đề này, ta nhắc lại một kỹ thuật để xấp xỉ những tích phân khó. Phương pháp mô phỏng Monte Carlo Thông thường để tính tích phân hàm f (x) trên miền D một chiều, ta tiến hành như sau: 1. Chia miền lấy tích phân D thành n đoạn với các đầu mút x1 , x2 ,. Tính giá trị f (x) tại những điểm này được f (x1 ),.
Nhân f (xi ) với độ dài đoạn tương ứng. Tích phân được xấp xỉ bằng tổng các tích. Khi n tăng lên thì sai số của xấp xỉ được giảm đi. Theo phương pháp Monte Carlo, để tính tích phân, thay vì chọn x1 , ., xn là các điểm cố định, chúng ta lấy x1 , ., xn ngẫu nhiên từ một phân phối π(x) trên miền lấy tích 24 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 1.
Kiến thức chuẩn bị phân D. Sau đó, tính f (xi ) cho mỗi xi. Trung bình các giá trị f (xi ) cho ta xấp xỉ tích phân cần tính. - Nếu miền lấy tích phân D bị chặn, π(x) được chọn là phân phối đều trên miền lấy tích phân.
- Nếu miền lấy tích phân D không bị chặn, có thể tính tích phân hàm f (x) bằng cách biểu diễn nó dưới dạng tích của một hàm h(x) với một phân phối π(x) mà có thể lấy được các giá trị x Z Z f (x)dx = h(x)π(x)dx. D D Sau đó xấp xỉ tích phân này bằng giá trị trung bình của các f (x1 ) Z n 1X f (x)dx ≈ h(xi ), D n i=1 xi lấy ngẫu nhiên từ π(x) trong miền D. Quá trình rút mẫu ngẫu nhiên (X1 , ., Xn là mẫu ngẫu nhiên được sinh ra từ phân phối π(x). Khi đó kì vọng của f (X) được ước lượng bởi Z n 1X En f (X) = f (x)π(x)dx ≈ f (xi ) = f¯, n i=1 Theo luật số lớn: n 1X lim f (Xi ) → Eπ [f (X)] n→∞ n i=1 trong đó X1 , X2 , ., Xn là độc lập.
Xích Markov Phương pháp Markov chain Monte Carlo (MCMC) là phương pháp thông dụng và hiệu quả để lấy mẫu cho phân phối hậu nghiệm. Trước khi đi sâu tìm hiểu cách thức hoạt động của phương pháp, chúng ta cần hiểu một số kiến thức về chuỗi Markov. Quá trình Markov 1. Quá trình ngẫu nhiên Xét một hệ tiến triển theo thời gian.
Gọi X (t) là vị trí (tình trạng) của hệ tại thời điểm t. Ứng với mỗi thời điểm t, X (t) là một biến ngẫu nhiên mô tả vị trí (tình trạng) của hệ. Quá trình X (t) t ≥ 0 được gọi là một quá trình ngẫu nhiên. Tập hợp tất cả các trạng thái có thể có của hệ được gọi là không gian trạng thái, kí hiệu S.
25 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 1. Kiến thức chuẩn bị 2. Quá trình Markov Giả sử trước thời điểm s, hệ đã ở trạng thái nào đó, còn tại thời điểm s, hệ ở trạng thái i. Chúng ta muốn đánh giá xác suất để tại thời điểm t (t > s), hệ sẽ ở trạng thái j.
Nếu xác suất này chỉ phụ thuộc vào bộ bốn (s, i, t, j), nghĩa là p(X (s) = i, X (t) = j) = p(s, i, t, j) đúng ∀i, ∀j, ∀s, ∀t, điều này thể hiện: sự tiến triển của hệ trong tương lai chỉ phụ thuộc vào hiện tại, và hoàn toàn độc lập với quá khứ (tính không nhớ). Đây chính là tính Markov. Quá trình ngẫu nhiên X(t) có tính chất Markov như trên được gọi là quá trình Markov. Phân loại quá trình Markov: Ta xét quá trình Markov X (t).
- Nếu tập các giá trị t không quá đếm được (t = 0, 1, 2, .), ta có quá trình Markov thời gian rời rạc. - Nếu t ∈ [0, ∞), ta có quá trình Markov thời gian liên tục. Quá trình Markov thuần nhất theo thời gian Xét một chuỗi Markov. Nếu xác suất chuyển trạng thái p(s, i, t, j) = p(s + h, i, t + h, j)∀i, ∀j, ∀s, ∀t và ∀h > 0 ta nói chuỗi Markov thuần nhất theo thời gian.
Trong khuôn khổ luận văn này, ta chỉ xét quá trình Markov thời gian rời rạc và thuần nhất. Vì vậy, từ nay, nếu không nói gì thêm thì quá trình Markov được hiểu là thời gian rời rạc và thuần nhất.2 Phương pháp xích Markov Monte Carlo (MCMC) Để giải quyết bài toán sinh mẫu từ một phân phối, phương pháp MCMC hoạt động như sau • Vai trò của phương pháp Monte Carlo tạo ra một chuỗi Markov, còn gọi là mô phỏng. • Chuỗi Markov thỏa mãn điều kiện ergodic có phân phối dừng là phân phối cần sinh mẫu. Như vậy, phương pháp MCMC sinh ra được các mẫu theo phân phối yêu cầu.
Trở lại mô hình xác suất f (y, θ), áp dụng MCMC, chúng ta cần xây dựng chuỗi Markov trên tập trạng thái θ ∈ Θ, có phân phối dừng là phân phối hậu nghiệm của mô hình chúng ta quan tâm f (y, θ). Mô phỏng MCMC xấp xỉ đúng mật độ hậu nghiệm bằng cách sử dụng tập các mẫu rút ra từ hàm mật độ, nghĩa là cho ra tập M mẫu θ(1) ,. 26 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 1. Kiến thức chuẩn bị Mô hình hóa dữ liệu MCMC hoạt động theo cách mô phỏng một chuỗi Markov thời gian rời rạc, nghĩa là M tạo ra một dãy biến ngẫu nhiên x(t) t=1 xấp xỉ phân phối f (x(t) ) = f (x).
• Chuỗi được khởi tạo giá trị ban đầu x(0). • Tính chất Markov chỉ ra rằng phân phối của x(t+1) |x(t) , x(t−1) ,. chỉ phụ thuộc vào trạng thái hiện thời x(t). • Ma trận xác suất chuyển trạng thái sau n bước: P n (x(0) , A) = P (x(n) ∈ A|x(0) ) trong đó A là tập trạng thái của x.
MCMC xây dựng chuỗi Markov theo cách P n (x(0) , A) ≈ P (x) với một vài n tương ứng x(0). Thêm vào đó việc xấp xỉ tại mỗi bước |P n (x(0) , A) − P (x ∈ A)| → 0 khi n → ∞ nghĩa là phân phối của trạng thái của chuỗi f (x(t) ) hội tụ tới phân phối mục tiêu f (x) khi t đủ lớn. Giải thuật chung • Khởi tạo x(0). • Cho t chạy từ 1 tới n với x(t) = f (x(t−1) ).
• Kết thúc Nếu gặp khó khăn trong việc lấy mẫu từ f (x) do f (x) không là phân phối quen thuộc, chúng ta sẽ chọn một phân phối đề xuất q(x) dễ lấy mẫu hơn. Mẫu lấy từ q(x) (thỏa mãn tính Markov) được chấp nhận hay không phụ thuộc vào tiêu chuẩn phù hợp. f (x(t) )q(x(t) ) - Nếu α = 1, xác suất chuyển sang trạng thái x∗ lớn hơn, chấp nhận trạng thái mới. - Nếu α 6= 1, ngoài xác suất chuyển sang trạng thái x∗ , còn có xác suất ở lại trạng thái đó.
Để quyết định, chuyển sang trạng thái mới hay ở lại trạng thái cũ, chúng ta sinh một số u ngẫu nhiên từ phân phối đều trên khoảng (0, 1). So sánh α với u. Nếu a > u, chấp nhận trạng thái mới, x(t+1) = x∗ , ngược lại α ≤ u ở lại trạng thái cũ x(t+1) = x(t). 27 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương 1.
Kiến thức chuẩn bị Khi đó giải thuật chung cho MCMC là Khởi tạo x(0). – Cho t chạy từ 1 tới n. – Sinh x∗ từ hàm mật độ đề xuất q(x, x∗ ). MCMC là một cuộc cách mạng trong thống kê Bayes.
Các bài toán suy luận f (θ|y), f (θi |y), f (|y) được MCMC mô phỏng một cách dễ dàng. Các nhà khoa học đã nghiên cứu và đề xuất ra nhiều giải thuật thuộc lớp phương pháp MCMC giải quyết bài toán lấy mẫu.