Một Số Phương Pháp Ngẫu Nhiên Cho Bài Toán Cực Đại Hóa Xác Suất Hậu Nghiệm

Chuyên khảo toán học phân tích Một số phương pháp ngẫu nhiên cho bài toán cực đại hóa xác xuất hậu nghiệm không lồi trong học máy, đánh giá các khía cạnh quan trọng, đề xuất hướng

• Tác giả: Bùi Thị Thanh Xuân
• Người hướng dẫn: PGS. Nguyễn Thị Oanh
• Trường học: Đại học Bách Khoa Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Phương Pháp Ngẫu Nhiên Trong Tối Ưu Hóa Xác Suất Hậu Nghiệm
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN

Tóm tắt

I. Tổng Quan Phương Pháp Ngẫu Nhiên Tối Ưu Hóa Hậu Nghiệm

Trong lĩnh vực học máy, việc giải quyết một bài toán thường trải qua ba bước chính: mô hình hóa, học và suy diễn. Bước học, hay còn gọi là quá trình ước lượng tham số, là quá trình tối ưu các tham số của mô hình sao cho dữ liệu sẵn có và mô hình khớp với nhau nhất. Ước lượng hợp lý cực đại (MLE) là một phương pháp ước lượng tham số được sử dụng rộng rãi. Tuy nhiên, MLE có xu hướng phù hợp quá mức với dữ liệu và thường không hiệu quả khi có quá ít dữ liệu huấn luyện. Để khắc phục nhược điểm này, phương pháp cực đại hóa xác suất hậu nghiệm (MAP) được sử dụng, không chỉ dựa trên dữ liệu huấn luyện mà còn dựa trên những thông tin đã biết trước về tham số. MAP có vai trò là kỹ thuật hiệu chỉnh của MLE và thường mang lại hiệu quả cao hơn trong trường hợp có ít dữ liệu huấn luyện. Ước lượng MAP có vai trò quan trọng trong nhiều mô hình thống kê với các biến ẩn hay các tham số không chắc chắn.

1.1. Ước Lượng Tham Số và Bài Toán Tối Ưu Hóa

Quá trình học trong học máy chính là việc ước lượng tham số, tìm tham số sao cho dữ liệu và mô hình khớp nhau nhất. MLE là một phương pháp phổ biến, tìm tham số tối ưu dựa trên xác suất P(D|x), trong đó D là dữ liệu quan sát và x là tham số. Tuy nhiên, MLE có thể gặp vấn đề quá khớp, đặc biệt với dữ liệu phức tạp. MAP, ngược lại, kết hợp thông tin tiên nghiệm về tham số, giúp giảm thiểu quá khớp và hiệu quả hơn khi dữ liệu hạn chế. MAP có thể được xem như một bài toán tối ưu hóa với hàm mục tiêu kết hợp likelihood và prior.

1.2. Ưu Điểm Của Ước Lượng MAP So Với MLE

Ước lượng MAP (Maximum A Posteriori) có nhiều ưu điểm so với ước lượng MLE (Maximum Likelihood Estimation). MAP không chỉ dựa vào dữ liệu huấn luyện mà còn kết hợp thông tin tiên nghiệm về tham số, giúp mô hình tránh được hiện tượng quá khớp, đặc biệt khi dữ liệu huấn luyện ít. MAP có thể được xem như một kỹ thuật hiệu chỉnh của MLE, với thành phần tiên nghiệm đóng vai trò điều chỉnh kết quả. Trong suy luận Bayesian, MLE là một trường hợp đặc biệt của MAP khi không có thông tin tiên nghiệm. Do đó, MAP thường mang lại hiệu quả cao hơn MLE trong nhiều tình huống thực tế.

II. Thách Thức Khi Tối Ưu Hóa Xác Suất Hậu Nghiệm Không Lồi

Mặc dù ước lượng MAP có nhiều ưu thế so với MLE, việc tìm kiếm các phương pháp hiệu quả để giải bài toán MAP là một thách thức lớn. Nguyên nhân chính là do hàm mục tiêu f(x) = log P(D|x) + log P(x) thường là hàm không lồi, gây khó khăn trong việc tìm cực đại. Điều này dẫn đến việc giải trực tiếp bài toán MAP trở nên không khả thi. Các phương pháp xấp xỉ như Variational Bayes (VB), Collapsed Gibbs Sampling (CGS) và các thuật toán tối ưu ngẫu nhiên khác đã được áp dụng. Tuy nhiên, các phương pháp này vẫn còn một số nhược điểm, chẳng hạn như chỉ áp dụng được cho một mô hình cụ thể hoặc chưa đáp ứng được các tiêu chuẩn quan trọng như sự hội tụ, tốc độ hội tụ, tính linh hoạt hay tính hiệu chỉnh.

2.1. Tính Không Lồi Của Hàm Mục Tiêu Trong MAP

Một trong những thách thức lớn nhất khi giải bài toán MAP là tính không lồi của hàm mục tiêu. Hàm mục tiêu thường có dạng f(x) = log P(D|x) + log P(x), trong đó P(D|x) là hàm hợp lý (likelihood) và P(x) là phân phối tiên nghiệm (prior). Trong nhiều trường hợp, hàm hợp lý và/hoặc phân phối tiên nghiệm có thể không lồi, dẫn đến hàm mục tiêu tổng thể cũng không lồi. Điều này gây khó khăn cho việc tìm kiếm nghiệm tối ưu toàn cục, vì các thuật toán tối ưu có thể bị mắc kẹt tại các cực trị địa phương.

2.2. Hạn Chế Của Các Phương Pháp Xấp Xỉ Hiện Tại

Mặc dù có nhiều phương pháp xấp xỉ để giải bài toán MAP không lồi, như Variational Bayes (VB), Collapsed Gibbs Sampling (CGS), và các thuật toán tối ưu ngẫu nhiên, nhưng chúng vẫn còn một số hạn chế. Một số phương pháp chỉ áp dụng được cho các mô hình cụ thể, trong khi các phương pháp khác có thể không đảm bảo sự hội tụ, tốc độ hội tụ chậm, hoặc thiếu tính linh hoạt và khả năng hiệu chỉnh tốt. Do đó, cần có các phương pháp mới hiệu quả hơn để giải quyết bài toán MAP trong các mô hình phức tạp.

2.3. Yêu Cầu Về Tốc Độ Hội Tụ và Tính Linh Hoạt

Khi phát triển các thuật toán giải bài toán MAP không lồi, tốc độ hội tụ và tính linh hoạt là hai yếu tố quan trọng cần xem xét. Tốc độ hội tụ nhanh giúp giảm thời gian tính toán và cho phép áp dụng thuật toán cho các bài toán lớn. Tính linh hoạt cho phép thuật toán được áp dụng cho nhiều loại mô hình và dữ liệu khác nhau. Ngoài ra, khả năng hiệu chỉnh (calibration) cũng rất quan trọng, đảm bảo rằng các ước lượng xác suất từ mô hình là đáng tin cậy.

III. Phương Pháp Monte Carlo Tối Ưu Bayesian Hậu Nghiệm

Các phương pháp Monte Carlo cung cấp một cách tiếp cận mạnh mẽ để giải quyết các bài toán tối ưu hóa phức tạp, đặc biệt là trong bối cảnh suy luận Bayesian. Mô hình Markov Chain Monte Carlo (MCMC) là một kỹ thuật quan trọng, cho phép lấy mẫu từ phân phối xác suất hậu nghiệm ngay cả khi nó không thể tính toán trực tiếp. Các thuật toán như Metropolis-Hastings và Gibbs Sampling là các ví dụ điển hình của MCMC. Tuy nhiên, MCMC có thể tốn kém về mặt tính toán, đặc biệt đối với các mô hình lớn và dữ liệu phức tạp. Do đó, việc phát triển các phương pháp MCMC hiệu quả hơn là một lĩnh vực nghiên cứu tích cực.

3.1. Tổng Quan Về Phương Pháp Monte Carlo Trong Tối Ưu

Phương pháp Monte Carlo là một lớp các thuật toán tính toán dựa trên việc lấy mẫu ngẫu nhiên để thu được kết quả số. Chúng thường được sử dụng trong các bài toán tối ưu hóa khi không có giải pháp phân tích hoặc khi việc tính toán trực tiếp quá phức tạp. Trong bối cảnh tối ưu hóa Bayesian, Monte Carlo cho phép xấp xỉ phân phối hậu nghiệm bằng cách lấy mẫu từ nó, từ đó có thể tính toán các ước lượng và dự đoán.

3.2. Ứng Dụng MCMC Trong Suy Luận Bayesian

Mô hình Markov Chain Monte Carlo (MCMC) là một kỹ thuật quan trọng trong suy luận Bayesian, cho phép lấy mẫu từ phân phối xác suất hậu nghiệm ngay cả khi nó không thể tính toán trực tiếp. Các thuật toán như Metropolis-Hastings và Gibbs Sampling là các ví dụ điển hình của MCMC. MCMC tạo ra một chuỗi Markov có phân phối giới hạn là phân phối hậu nghiệm mong muốn. Bằng cách lấy mẫu từ chuỗi này, ta có thể xấp xỉ phân phối hậu nghiệm và tính toán các ước lượng Bayesian.

3.3. Thách Thức Về Tính Toán Của MCMC

Mặc dù MCMC là một công cụ mạnh mẽ, nó có thể tốn kém về mặt tính toán, đặc biệt đối với các mô hình lớn và dữ liệu phức tạp. Việc đánh giá hàm hợp lý (likelihood) và phân phối tiên nghiệm (prior) có thể tốn thời gian, và việc chuỗi Markov hội tụ đến phân phối hậu nghiệm có thể mất nhiều bước lặp. Do đó, việc phát triển các phương pháp MCMC hiệu quả hơn, chẳng hạn như các biến thể song song hoặc các kỹ thuật giảm phương sai, là một lĩnh vực nghiên cứu tích cực.

IV. Giải Thuật Tiến Hóa và Mô Phỏng Luyện Kim Tối Ưu Hậu Nghiệm

Các giải thuật di truyền và giải thuật mô phỏng luyện kim (Simulated Annealing) là các phương pháp tối ưu hóa ngẫu nhiên khác có thể được áp dụng để giải bài toán MAP. Giải thuật di truyền sử dụng các cơ chế tương tự như tiến hóa sinh học để tìm kiếm nghiệm tối ưu, trong khi mô phỏng luyện kim dựa trên quá trình làm nguội chậm của kim loại để tìm trạng thái năng lượng thấp nhất. Cả hai phương pháp đều có thể xử lý các hàm mục tiêu không lồi và không khả vi, nhưng có thể yêu cầu điều chỉnh tham số cẩn thận để đạt được hiệu suất tốt.

4.1. Giải Thuật Di Truyền Trong Tối Ưu Hóa

Giải thuật di truyền (Genetic Algorithm) là một phương pháp tối ưu hóa dựa trên các nguyên tắc của tiến hóa sinh học, như chọn lọc tự nhiên, lai ghép và đột biến. Trong giải thuật di truyền, một quần thể các nghiệm tiềm năng được duy trì và cải thiện qua các thế hệ. Các nghiệm tốt hơn có khả năng sống sót và sinh sản cao hơn, và các phép toán lai ghép và đột biến tạo ra các nghiệm mới. Giải thuật di truyền có thể được áp dụng cho các bài toán tối ưu hóa phức tạp, đặc biệt là khi hàm mục tiêu không lồi hoặc không khả vi.

4.2. Mô Phỏng Luyện Kim Simulated Annealing

Mô phỏng luyện kim (Simulated Annealing) là một phương pháp tối ưu hóa dựa trên quá trình làm nguội chậm của kim loại để tìm trạng thái năng lượng thấp nhất. Trong mô phỏng luyện kim, thuật toán bắt đầu với một nghiệm ngẫu nhiên và dần dần giảm "nhiệt độ" của hệ thống. Tại mỗi bước, thuật toán chấp nhận các nghiệm mới tốt hơn, và đôi khi chấp nhận các nghiệm tệ hơn với xác suất phụ thuộc vào nhiệt độ. Khi nhiệt độ giảm, xác suất chấp nhận các nghiệm tệ hơn giảm dần, cho phép thuật toán hội tụ đến một nghiệm tối ưu.

4.3. Ưu Điểm và Nhược Điểm Của Các Phương Pháp

Cả giải thuật di truyền và mô phỏng luyện kim đều có ưu điểm là có thể xử lý các hàm mục tiêu không lồi và không khả vi. Tuy nhiên, chúng cũng có một số nhược điểm. Giải thuật di truyền có thể yêu cầu điều chỉnh tham số cẩn thận để đạt được hiệu suất tốt, và mô phỏng luyện kim có thể hội tụ chậm. Ngoài ra, cả hai phương pháp đều có thể bị mắc kẹt tại các cực trị địa phương.

V. Ứng Dụng Thực Tiễn Tối Ưu Hóa Xác Suất Hậu Nghiệm

Tối ưu hóa xác suất hậu nghiệm (MAP) có nhiều ứng dụng thực tiễn trong các lĩnh vực khác nhau. Trong học máy Bayesian, MAP được sử dụng để ước lượng tham số của các mô hình xác suất. Trong mô hình hóa xác suất, MAP có thể được sử dụng để tìm các cấu hình tham số phù hợp nhất với dữ liệu quan sát. Ngoài ra, MAP còn được ứng dụng trong phân tích độ nhạy và đánh giá rủi ro, giúp hiểu rõ hơn về ảnh hưởng của các tham số đến kết quả của mô hình.

5.1. Ứng Dụng Trong Học Máy Bayesian

Trong học máy Bayesian, MAP được sử dụng rộng rãi để ước lượng tham số của các mô hình xác suất. Thay vì chỉ tìm một điểm ước lượng duy nhất như trong MLE, MAP cung cấp một phân phối xác suất hậu nghiệm trên các tham số, cho phép định lượng sự không chắc chắn về các ước lượng. Điều này đặc biệt hữu ích trong các ứng dụng mà sự không chắc chắn là quan trọng, chẳng hạn như dự đoán rủi ro hoặc ra quyết định.

5.2. Ứng Dụng Trong Mô Hình Hóa Xác Suất

Trong mô hình hóa xác suất, MAP có thể được sử dụng để tìm các cấu hình tham số phù hợp nhất với dữ liệu quan sát. Điều này đặc biệt hữu ích trong các mô hình phức tạp với nhiều tham số, nơi việc tìm kiếm các cấu hình tối ưu bằng các phương pháp khác có thể không khả thi. MAP cung cấp một cách tiếp cận hiệu quả để tìm kiếm các cấu hình tham số có khả năng cao nhất, đồng thời kết hợp thông tin tiên nghiệm về các tham số.

5.3. Ứng Dụng Trong Phân Tích Độ Nhạy và Đánh Giá Rủi Ro

MAP còn được ứng dụng trong phân tích độ nhạy và đánh giá rủi ro. Bằng cách phân tích phân phối xác suất hậu nghiệm trên các tham số, ta có thể hiểu rõ hơn về ảnh hưởng của các tham số đến kết quả của mô hình. Điều này cho phép xác định các tham số quan trọng nhất và đánh giá rủi ro liên quan đến các ước lượng tham số. Thông tin này có thể được sử dụng để cải thiện mô hình và đưa ra các quyết định sáng suốt hơn.

VI. Kết Luận và Hướng Phát Triển Tối Ưu Hóa Hậu Nghiệm

Tối ưu hóa xác suất hậu nghiệm (MAP) là một phương pháp quan trọng trong học máy và thống kê, đặc biệt khi làm việc với dữ liệu hạn chế hoặc khi cần kết hợp thông tin tiên nghiệm. Mặc dù có nhiều phương pháp để giải bài toán MAP, việc tìm kiếm các phương pháp hiệu quả vẫn là một thách thức, đặc biệt khi hàm mục tiêu không lồi. Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các thuật toán tối ưu hóa ngẫu nhiên hiệu quả hơn, cũng như các phương pháp xấp xỉ chính xác hơn cho phân phối xác suất hậu nghiệm.

6.1. Tóm Tắt Các Phương Pháp Tối Ưu Hóa Đã Thảo Luận

Bài viết đã thảo luận về một số phương pháp tối ưu hóa xác suất hậu nghiệm (MAP), bao gồm các phương pháp Monte Carlo, giải thuật di truyền và mô phỏng luyện kim. Mỗi phương pháp có ưu điểm và nhược điểm riêng, và sự lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của bài toán cụ thể, chẳng hạn như tính chất của hàm mục tiêu và kích thước của dữ liệu.

6.2. Hướng Nghiên Cứu Tương Lai Trong Tối Ưu Hóa Hậu Nghiệm

Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các thuật toán tối ưu hóa ngẫu nhiên hiệu quả hơn, đặc biệt là cho các hàm mục tiêu không lồi. Ngoài ra, việc phát triển các phương pháp xấp xỉ chính xác hơn cho phân phối xác suất hậu nghiệm cũng là một hướng nghiên cứu quan trọng. Các phương pháp này có thể dựa trên các kỹ thuật học sâu hoặc các phương pháp suy luận biến phân tiên tiến.

6.3. Tầm Quan Trọng Của Tối Ưu Hóa Hậu Nghiệm Trong Học Máy

Tối ưu hóa xác suất hậu nghiệm (MAP) tiếp tục đóng một vai trò quan trọng trong học máy và thống kê. Với sự gia tăng của các mô hình phức tạp và dữ liệu lớn, việc phát triển các phương pháp MAP hiệu quả là rất quan trọng để giải quyết các bài toán thực tế. Các phương pháp MAP cho phép kết hợp thông tin tiên nghiệm và dữ liệu quan sát một cách nhất quán, giúp cải thiện độ chính xác và độ tin cậy của các mô hình học máy.

Trích đoạn nội dung tài liệu

chương 1. 36 i luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep CHƯƠNG 2. NGẪU NHIÊN HÓA THUẬT TOÁN TỐI ƯU GIẢI BÀI TOÁN SUY DIỄN HẬU NGHIỆM TRONG MÔ HÌNH CHỦ ĐỀ. Đề xuất mới giải bài toán MAP trong mô hình chủ đề.

Các thuật toán học ngẫu nhiên cho mô hình LDA. Đánh giá thực nghiệm. Các bộ dữ liệu thực nghiệm. Độ đo đánh giá thực nghiệm.

Kết quả thực nghiệm. Sự hội tụ của các thuật toán đề xuất. Mở rộng thuật toán đề xuất cho bài toán tối ưu không lồi. Kết luận chương 2.

TỔNG QUÁT HÓA THUẬT TOÁN TỐI ƯU GIẢI BÀI TOÁN MAP KHÔNG LỒI TRONG MÔ HÌNH CHỦ ĐỀ. Thuật toán GOPE. Sự hội tụ của thuật toán GOPE. Đánh giá thực nghiệm.

Các bộ dữ liệu thực nghiệm. Độ đo đánh giá thực nghiệm. Thiết lập các tham số. Kết quả thực nghiệm.

Mở rộng thuật toán giải bài toán tối ưu không lồi. Kết luận chương 3. NGẪU NHIÊN BERNOULLI CHO BÀI TOÁN MAP KHÔNG LỒI VÀ ỨNG DỤNG. Thuật toán BOPE giải bài toán MAP không lồi.

Ý tưởng xây dựng thuật toán BOPE. Sự hội tụ của thuật toán BOPE. Vai trò hiệu chỉnh của thuật toán BOPE. 77 ii luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep 4.

Mở rộng cho bài toán tối ưu không lồi tổng quát. Áp dụng BOPE vào mô hình LDA cho phân tích văn bản. Suy diễn MAP cho từng văn bản. Đánh giá thực nghiệm.

Áp dụng BOPE cho bài toán hệ gợi ý. Mô hình CTMP. Đánh giá thực nghiệm. Kết luận chương 4.

104 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ. 106 TÀI LIỆU THAM KHẢO. Một số kết quả thực nghiệm bổ sung cho mô hình CTMP. 117 iii luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ Viết tắt Tiếng Anh Tiếng Việt BOPE Bernoulli randomness in OPE Phương pháp BOPE CCCP Concave-Convex Procedure Phương pháp CCCP CGS Collapsed Gibbs Sampling Phương pháp CGS CTMP Collaborative Topic Model for Mô hình CTMP Poisson CVB Collapsed Variational Bayes Phương pháp CVB CVB0 Zero-order Collapsed Variational Phương pháp CVB0 Bayes DC Difference of Convex functions Hiệu của hai hàm lồi DCA Difference of Convex Algorithm Thuật toán DCA EM Expectation–Maximization algo- Thuật toán tối đa hóa kì vọng rithm ERM Empirical risk minimization Cực tiểu hóa hàm rủi ro thực nghiệm FW Frank-Wolfe Thuật toán tối ưu Frank-Wolfe GD Gradient Descent Thuật toán tối ưu GD GOA Graduated Optimization Algo- Thuật toán GOA rithm GOPE Generalized Online Maximum a Phương pháp GOPE Posteriori Estimation GradOpt Graduated Optimization Phương pháp tối ưu GradOpt GS Gibbs Sampling Phương pháp lấy mẫu Gibbs HAMCMC Hessian Approximated MCMC Phương pháp tối ưu HAMCMC LDA Latent Dirichlet Allocation Mô hình chủ đề ẩn LIL Law of the Iterated Logarithm Luật logarit lặp LPP Log Predictive Probability Độ đo LPP LSA Latent Semantic Analysis Phân tích ngữ nghĩa ẩn LSI Latent Semantic Indexing Chỉ mục ngữ nghĩa ẩn MAP Maximum a Posteriori Estima- Phương pháp cực đại hóa ước lượng tion xác suất hậu nghiệm MCMC Markov Chain Monte Carlo Phương pháp Monte Carlo iv luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep Viết tắt Tiếng Anh Tiếng Việt MLE Maximum Likelihood Estimation Ước lượng hợp lý cực đại NPMI Normalised Pointwise Mutual In- Độ đo NPMI formation OFW Online Frank-Wolfe algorithm Thuật toán tối ưu Online Frank- Wolfe OPE Online maximum a Posteriori Es- Cực đại hóa ước lượng hậu nghiệm timation ngẫu nhiên PLSA Probabilistic Latent Semantic Phân tích ngữ nghĩa ẩn xác suất Analysis pLSI probabilistic Latent Semantic In- Chỉ mục ngữ nghĩa ẩn xác suất dexing PMD Particle Mirror Decent Phương pháp tối ưu PMD Prox-SVRG Proximal SVRG Phương pháp Prox-SVRG SCSG Stochastically Controlled Phương pháp SCSG Stochastic Gradient SGD Stochastic Gradient Descent Thuật toán giảm gradient ngẫu nhiên SMM Stochastic Majorization- Phương pháp SMM Minimization SVD Single Value Decomposition Phân tích giá trị riêng SVRG Stochastic Variance Reduced Phương pháp SVRG Gradient TM Topic Models Mô hình chủ đề VB Variational Bayes Phương pháp biến phân Bayes VE Variable Elimination Phương pháp VE VI Variational Inference Suy diễn biến phân v luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep DANH MỤC HÌNH VẼ 1.1 Một ví dụ về một mô hình đồ thị xác suất.

Mũi tên biểu trưng cho sự phụ thuộc xác suất: D phụ thuộc lần lượt vào A, B và C trong khi C phụ thuộc vào B và D.2 Mô tả trực quan một mô hình chủ đề.3 Mô hình chủ đề ẩn LDA .1 Hai trường hợp khởi tạo cho biên xấp xỉ ngẫu nhiên .2 Mô tả ý tưởng cơ bản cải tiến thuật toán OPE.3 Kết quả thực hiện của OPE4 với tham số ν được lựa chọn khác nhau trên độ đo LPP.4 Kết quả thực hiện của OPE4 với tham số ν được lựa chọn khác nhau trên độ đo NPMI.5 Kết quả của các thuật toán mới so sánh với OPE thông qua độ đo LPP. Độ đo càng cao càng tốt. Chúng tôi thấy rằng một số thuật toán mới đảm bảo tốt hoặc thậm chí tốt hơn OPE.6 Kết quả của các thuật toán mới so sánh với OPE trên độ đo NPMI. Độ đo càng cao càng tốt.

Chúng tôi thấy rằng một số thuật toán mới đảm bảo tốt, thậm chí tốt hơn OPE.