CHƯƠNG 1. MỘT SỐ KIẾN THỨC CHUẨN BỊ Chương này trình bày một số kiến thức về suy luận Bayes trường hợp rời rạc và liên tục, lọc Kalman, lọc Kalman mở rộng, một số kiến thức về quá trình ngẫu nhiên, làm cơ sở cho việc trình bày nội dung của luận án trong các chương sau. Thống kê Bayes Trong những năm gần đây, cùng với sự phát triển mạnh mẽ của khoa học máy tính và khoa học tính toán, các ứng dụng của thống kê ngày càng được sử dụng rộng rãi trong mọi lĩnh vực của đời sống như y học, kinh tế, giáo dục, môi trường. Tuy nhiên, cùng với những phát triển mọi mặt của đời sống, thống kê tần suất đã bộc lộ một số khuyết điểm như công thức tính toán cồng kềnh, áp dụng nhiều kỹ thuật phức tạp hay bỏ qua các thông tin về tiên nghiệm trong những thông tin thu được, gây ra việc lãng phí thông tin.
Chính vì vậy, những người học thống kê chuyển sự quan tâm nhiều hơn sang thống kê Bayes. Trong thống kê tần suất xem tham số cần ước lượng là một hằng số thì trong thống kê Bayes coi tham số cần ước lượng là một biến ngẫu nhiên, phân phối của biến ngẫu nhiên này được gọi là phân phối tiên nghiệm, phân phối tiên nghiệm đó biểu thị thông tin về giá trị chân thực của tham số. Ta có thể gán cho tham số một phân phối xác suất nào đó, bằng cách kết hợp giữa các thông tin trước và trong khi quan sát, chúng ta thu được thông tin muốn biết. Thống kê tần suất (thống kê cổ điển) không sử dụng kiến thức về tiên nghiệm, vì thế đã bỏ qua một cách lãng phí các thông tin thu được từ việc quan sát về tham số đó trong quá khứ.
Trái lại, thống kê Bayes sử dụng cả hai nguồn thông tin, thông tin tiên nghiệm và thông tin chứa trong dữ liệu. Đây cũng chính là điểm khác biệt căn bản của hai cách tiếp cận. Công thức xác suất đầy đủ - Bayes Cơ sở của suy luận Bayes là định lý Bayes. Định lý cho phép xác định xác suất xảy ra một sự kiện ngẫu nhiên khi biết sự kiện liên quan xảy ra.
- Công thức xác suất đầy đủ: Cho {B1 , ., Bk } là một họ đầy đủ, A là một biến cố ngẫu nhiên, khi đó ta có công thức xác suất đầy đủ: k X P (A) = P (Bj ) × P (A|Bj ) (1.1) j=1 - Công thức Bayes : P (A ∩ Bi ) P (Bi ) × P (A|Bi ) P (Bi |A) = = k (1., Bk gọi là các giả thiết. Suy luận Bayes Suy luận Bayes là quá trình suy luận ra đặc trưng của tập chính (chưa biết) dựa vào thông tin thu thập được từ tập dữ liệu mà ta quan sát được kết hợp với với những thông tin có từ trước đó. Giá trị của đặc trưng của tập chính được ký hiệu là tham số θ ∈ Θ (θ được coi như một biến ngẫu nhiên, π(θ) là phân bố tiên nghiệm của θ), còn luan an 9 dữ liệu được ký hiệu là y ∈ Y. Trong thống kê Bayes, ta quan tâm tới ba hàm phân phối sau: 1.
Phân phối tiên nghiệm π(θ) là thông tin ban đầu của ta về tham số θ. Phân phối của dữ liệu là f (y|θ). Từ hai phân phối trên và luật Bayes, ta tính được phân phối hậu nghiệm π(θ|y)của tham số θ. Θ Suy luận Bayes trong trường hợp tham số rời rạc Xét tham số là biến ngẫu nhiên rời rạc X không quan sát được.
Biến ngẫu nhiên Y quan sát được, phụ thuộc tham số, với các giá trị y1 , y2 ,. Ta suy luận về biến ngẫu nhiên X|Y = yn bằng việc sử dụng định lí Bayes. Gọi f là phân phối xác suất (có điều kiện hoặc không có điều kiện) của quan sát ngẫu nhiên Y , g là phân phối chứa tham số biến ngẫu nhiên X. Nếu X nhận các giá trị x1 , x2 , ., xI , phân phối đồng thời là f (xi , yj ) = g(xi )f (yj |xi )., I là xác suất tiên nghiệm của tham số X, f (yj |xi ) = P [Y = yj |X = xi ] với i = 1, ., I là hàm hợp lí.
Đây chính là xác suất có điều kiện của Y với điều kiện X = xi. luan an 10 Khi đó phân phối hậu nghiệm của X|Y = yj là g(xi ) × f (yj |xi ) g(xi |yj ) = I .3) P g(xk ) × f (yj |xk ) k=1 Phân phối xác suất tiên nghiệm g(xi ) của biến ngẫu nhiên rời rạc X là xác suất của mỗi xi trước khi ta quan sát dữ liệu, dễ thấy nó xuất phát từ kinh nghiệm chứ không phải từ dữ liệu. Khi quan sát được Y = yj ta có hàm hợp lý f (yj |xi ). Một số vấn đề về lọc Bayes 1.
Nguồn gốc Nguồn gốc của lọc Bayes lại nằm trong lĩnh vực tối ưu tuyến tính. Ý tưởng xây dựng ước lượng đệ quy tối ưu lần đầu tiên được áp dụng cho hệ tuyến tính theo nghĩa sai số bình phương tối thiểu. Lịch sử của lọc tối ưu bắt đầu từ bộ lọc Wiener, 1950 [52], lọc Wiener là một giải pháp cho vấn đề lọc các tín hiệu Gauss cố định. Ngày nay bộ lọc Wiener vẫn quan trọng trong truyền thông, xử lý tín hiệu số, xử lý ảnh [3],[27],[33],[53].
Sự thành công của lọc tối ưu tuyến tính chủ yếu là do bài báo của Kalman,1960 [41], một lý do cho sự thành công của bộ lọc Kalman là khối lượng tính toán nhẹ hơn lọc Wiener, mặc dù tính toán đơn giản hơn nhưng lọc Kalman (hoặc lọc Kalman-Bucy [42]) lại chứa lọc Wiener như trường hợp riêng của nó. Bộ lọc Kalman đã sớm được phát hiện là thuộc lớp các bộ lọc Bayes [35],[37]. Việc làm mịn Bayes cũng được phát triển ngay sau khi tìm ra bộ lọc Kalman [47],[57],[56]. Mặc dù nguồn gốc ban đầu của bộ lọc Kalman dựa trên cách tiếp cận bình phương tối thiểu nhưng các phương trình lại được bắt nguồn từ các suy diễn Bayes.
Các tính toán lọc Kalman theo quan điểm Bayes được trình bày trong luan an 11 [7] và [37]. Lọc Kalman sử dụng phương pháp bình phương tối thiểu đã có nhiều đóng góp trong điều khiển tối ưu ngẫu nhiên. Các ứng dụng Hiện nay lọc Bayes có rất nhiều ứng dụng nhất là khi gặp các mô hình phụ thuộc thời gian như trong kỹ thuật định vị, kỹ thuật không gian, giám sát từ xa, viễn thông, vật lý, xử lý tín hiệu âm thanh, kỹ thuật điều khiển, tài chính và nhiều lĩnh vực khác, điển hình như: - Hệ thống định vị toàn cầu (GPS) là một hệ thống định vị vệ tinh được sử dụng rộng rãi. Máy thu GPS thường sử dụng một bộ lọc Kalman mở rộng (EKF) hoặc một số thuật toán lọc tối ưu khác để tính toán vị trí và vận tốc hiện tại [43].
- Theo dõi mục tiêu dùng cảm biến như: radar, cảm biến tần số vô tuyến, cảm biến âm thanh, cảm biến hồng ngoại và một số loại cảm biến khác để xác định vị trí và vận tốc của một mục tiêu từ xa [7],[17],[18]. Theo dõi đa mục tiêu được sử dụng để giám sát từ xa trong trường hợp có nhiều mục tiêu di chuyển cùng một lúc trong cùng một khu vực địa lý. Nhiều hệ thống theo dõi mục tiêu được sử dụng trong giám sát từ xa cho các mục đích quân sự cũng như dân sự, ví dụ, theo dõi đường hầm xe hơi, hệ thống báo động tự động và theo dõi người trong các tòa nhà [6],[13],[62],[67]. - Điều hướng quán tính sử dụng các cảm biến quán tính như gia tốc kế và máy con quay để tính toán vị trí và vận tốc của một thiết bị như xe hơi, máy bay hay tên lửa [28],[68].
- Định hướng quán tính kết hợp các mặt tốt của các cảm biến với nhau. Sự kết hợp các nguồn thông tin khác nhau được thực hiện bằng việc sử dụng bộ lọc tối ưu chẳng hạn như bộ lọc Kalman mở rộng, xem [7],[28]. - Định vị GPS/INS là một hình thức điều hướng quán tính tích hợp, nơi hệ thống dẫn đường quán tính (INS) được kết hợp với một máy thu GPS. luan an 12 Trong hệ thống định vị GPS/INS, các điểm ảnh của GPS được bù đắp bởi các cảm biến quán tính và độ lệch cảm biến quán tính được bù bởi bộ thu GPS.
Điều này giúp tín hiệu vẫn được truyền khi không có đường thẳng trực tiếp giữa máy thu GPS và vệ tinh [7],[28]. - Các hình ảnh như điện não đồ (EEG), chụp từ não (MEG), hình ảnh cộng hưởng từ (fMRI) và quang phổ khuếch tán (DOT) dựa trên việc xây dựng dữ liệu cảm biến có nhiễu bằng cách sử dụng mức tối thiểu (mức tối thiểu cũng có thể hiểu theo nghĩa của Bayes như là một ước lượng các quan sát Gauss) [32],[39],[48]. - Sự lây lan của các bệnh truyền nhiễm có thể được mô phỏng theo phương trình vi phân cho số người dễ bị nhiễm hoặc bị nhiễm bệnh. Ước lượng sự lan truyền của bệnh có thể được xem như là một vấn đề của lọc tối ưu [44],[63].
- Các quá trình sinh học như sự gia tăng dân số, các mô hình thú - mồi và một số hệ động lực khác khác trong sinh học cũng có thể được mô hình hoá bởi các phương trình vi phân ngẫu nhiên. Ước lượng trạng thái của các quá trình này từ các phép đo không chính xác có thể được xây dựng như là một vấn đề của lọc và làm mịn tối ưu [51]. - Viễn thông cũng là một lĩnh vực mà các bộ lọc tối ưu thường được sử dụng. Ví dụ, các máy thu, máy dò tín hiệu có thể hiểu là chứa các bộ lọc tối ưu [54].
Ngoài ra, thuật toán Viterbi nổi tiếng [70] có thể được xem như một phương pháp số để tính toán giải pháp làm mịn Bayes tối ưu cho mô hình Markov ẩn (HMM). - Các ứng dụng xử lý tín hiệu âm thanh như phục hồi âm thanh và tăng cường tín hiệu âm thanh thường sử dụng mô hình TVAR (thay đổi theo thời gian tự động) dưới dạng các mô hình tín hiệu âm thanh cơ bản. Các loại mô hình này có thể được ước lượng có hiệu quả sử dụng các bộ lọc và làm mịn tối ưu [26]. - Các hệ thống học máy hoặc các hệ thống thích nghi thường được xây luan an 13 dựng dựa trên các công thức tối ưu [34] và chúng có quan hệ mật thiết với mô hình Bayes phi tham số [10].
Các phương pháp tương tự như các phương pháp liên kết dữ liệu trong việc theo dõi nhiều mục tiêu cũng có thể áp dụng đối với phân loại trực tuyến.