Một Số Phương Pháp Ngẫu Nhiên Cho Bài Toán Cực Đại Hóa Xác Suất Hậu Nghiệm

Trong lĩnh vực học máy, việc giải quyết một bài toán thường trải qua ba bước chính: mô hình hóa, học và suy diễn. 134 trang · Đại học Bách Khoa Hà Nội · 2020.

• Tác giả: Bùi Thị Thanh Xuân
• Người hướng dẫn: PGS. Nguyễn Thị Oanh
• Trường học: Đại học Bách Khoa Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Phương Pháp Ngẫu Nhiên Trong Tối Ưu Hóa Xác Suất Hậu Nghiệm
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN

Tóm tắt

I. Tổng Quan Phương Pháp Ngẫu Nhiên Tối Ưu Hóa Hậu Nghiệm

Trong lĩnh vực học máy, việc giải quyết một bài toán thường trải qua ba bước chính: mô hình hóa, học và suy diễn. Bước học, hay còn gọi là quá trình ước lượng tham số, là quá trình tối ưu các tham số của mô hình sao cho dữ liệu sẵn có và mô hình khớp với nhau nhất. Ước lượng hợp lý cực đại (MLE) là một phương pháp ước lượng tham số được sử dụng rộng rãi. Tuy nhiên, MLE có xu hướng phù hợp quá mức với dữ liệu và thường không hiệu quả khi có quá ít dữ liệu huấn luyện. Để khắc phục nhược điểm này, phương pháp cực đại hóa xác suất hậu nghiệm (MAP) được sử dụng, không chỉ dựa trên dữ liệu huấn luyện mà còn dựa trên những thông tin đã biết trước về tham số. MAP có vai trò là kỹ thuật hiệu chỉnh của MLE và thường mang lại hiệu quả cao hơn trong trường hợp có ít dữ liệu huấn luyện. Ước lượng MAP có vai trò quan trọng trong nhiều mô hình thống kê với các biến ẩn hay các tham số không chắc chắn.

1.1. Ước Lượng Tham Số và Bài Toán Tối Ưu Hóa

Quá trình học trong học máy chính là việc ước lượng tham số, tìm tham số sao cho dữ liệu và mô hình khớp nhau nhất. MLE là một phương pháp phổ biến, tìm tham số tối ưu dựa trên xác suất P(D|x), trong đó D là dữ liệu quan sát và x là tham số. Tuy nhiên, MLE có thể gặp vấn đề quá khớp, đặc biệt với dữ liệu phức tạp. MAP, ngược lại, kết hợp thông tin tiên nghiệm về tham số, giúp giảm thiểu quá khớp và hiệu quả hơn khi dữ liệu hạn chế. MAP có thể được xem như một bài toán tối ưu hóa với hàm mục tiêu kết hợp likelihood và prior.

1.2. Ưu Điểm Của Ước Lượng MAP So Với MLE

Ước lượng MAP (Maximum A Posteriori) có nhiều ưu điểm so với ước lượng MLE (Maximum Likelihood Estimation). MAP không chỉ dựa vào dữ liệu huấn luyện mà còn kết hợp thông tin tiên nghiệm về tham số, giúp mô hình tránh được hiện tượng quá khớp, đặc biệt khi dữ liệu huấn luyện ít. MAP có thể được xem như một kỹ thuật hiệu chỉnh của MLE, với thành phần tiên nghiệm đóng vai trò điều chỉnh kết quả. Trong suy luận Bayesian, MLE là một trường hợp đặc biệt của MAP khi không có thông tin tiên nghiệm. Do đó, MAP thường mang lại hiệu quả cao hơn MLE trong nhiều tình huống thực tế.

II. Thách Thức Khi Tối Ưu Hóa Xác Suất Hậu Nghiệm Không Lồi

Mặc dù ước lượng MAP có nhiều ưu thế so với MLE, việc tìm kiếm các phương pháp hiệu quả để giải bài toán MAP là một thách thức lớn. Nguyên nhân chính là do hàm mục tiêu f(x) = log P(D|x) + log P(x) thường là hàm không lồi, gây khó khăn trong việc tìm cực đại. Điều này dẫn đến việc giải trực tiếp bài toán MAP trở nên không khả thi. Các phương pháp xấp xỉ như Variational Bayes (VB), Collapsed Gibbs Sampling (CGS) và các thuật toán tối ưu ngẫu nhiên khác đã được áp dụng. Tuy nhiên, các phương pháp này vẫn còn một số nhược điểm, chẳng hạn như chỉ áp dụng được cho một mô hình cụ thể hoặc chưa đáp ứng được các tiêu chuẩn quan trọng như sự hội tụ, tốc độ hội tụ, tính linh hoạt hay tính hiệu chỉnh.

2.1. Tính Không Lồi Của Hàm Mục Tiêu Trong MAP

Một trong những thách thức lớn nhất khi giải bài toán MAP là tính không lồi của hàm mục tiêu. Hàm mục tiêu thường có dạng f(x) = log P(D|x) + log P(x), trong đó P(D|x) là hàm hợp lý (likelihood) và P(x) là phân phối tiên nghiệm (prior). Trong nhiều trường hợp, hàm hợp lý và/hoặc phân phối tiên nghiệm có thể không lồi, dẫn đến hàm mục tiêu tổng thể cũng không lồi. Điều này gây khó khăn cho việc tìm kiếm nghiệm tối ưu toàn cục, vì các thuật toán tối ưu có thể bị mắc kẹt tại các cực trị địa phương.

2.2. Hạn Chế Của Các Phương Pháp Xấp Xỉ Hiện Tại

Mặc dù có nhiều phương pháp xấp xỉ để giải bài toán MAP không lồi, như Variational Bayes (VB), Collapsed Gibbs Sampling (CGS), và các thuật toán tối ưu ngẫu nhiên, nhưng chúng vẫn còn một số hạn chế. Một số phương pháp chỉ áp dụng được cho các mô hình cụ thể, trong khi các phương pháp khác có thể không đảm bảo sự hội tụ, tốc độ hội tụ chậm, hoặc thiếu tính linh hoạt và khả năng hiệu chỉnh tốt. Do đó, cần có các phương pháp mới hiệu quả hơn để giải quyết bài toán MAP trong các mô hình phức tạp.

2.3. Yêu Cầu Về Tốc Độ Hội Tụ và Tính Linh Hoạt

Khi phát triển các thuật toán giải bài toán MAP không lồi, tốc độ hội tụ và tính linh hoạt là hai yếu tố quan trọng cần xem xét. Tốc độ hội tụ nhanh giúp giảm thời gian tính toán và cho phép áp dụng thuật toán cho các bài toán lớn. Tính linh hoạt cho phép thuật toán được áp dụng cho nhiều loại mô hình và dữ liệu khác nhau. Ngoài ra, khả năng hiệu chỉnh (calibration) cũng rất quan trọng, đảm bảo rằng các ước lượng xác suất từ mô hình là đáng tin cậy.

III. Phương Pháp Monte Carlo Tối Ưu Bayesian Hậu Nghiệm

Các phương pháp Monte Carlo cung cấp một cách tiếp cận mạnh mẽ để giải quyết các bài toán tối ưu hóa phức tạp, đặc biệt là trong bối cảnh suy luận Bayesian. Mô hình Markov Chain Monte Carlo (MCMC) là một kỹ thuật quan trọng, cho phép lấy mẫu từ phân phối xác suất hậu nghiệm ngay cả khi nó không thể tính toán trực tiếp. Các thuật toán như Metropolis-Hastings và Gibbs Sampling là các ví dụ điển hình của MCMC. Tuy nhiên, MCMC có thể tốn kém về mặt tính toán, đặc biệt đối với các mô hình lớn và dữ liệu phức tạp. Do đó, việc phát triển các phương pháp MCMC hiệu quả hơn là một lĩnh vực nghiên cứu tích cực.

3.1. Tổng Quan Về Phương Pháp Monte Carlo Trong Tối Ưu

Phương pháp Monte Carlo là một lớp các thuật toán tính toán dựa trên việc lấy mẫu ngẫu nhiên để thu được kết quả số. Chúng thường được sử dụng trong các bài toán tối ưu hóa khi không có giải pháp phân tích hoặc khi việc tính toán trực tiếp quá phức tạp. Trong bối cảnh tối ưu hóa Bayesian, Monte Carlo cho phép xấp xỉ phân phối hậu nghiệm bằng cách lấy mẫu từ nó, từ đó có thể tính toán các ước lượng và dự đoán.

3.2. Ứng Dụng MCMC Trong Suy Luận Bayesian

Mô hình Markov Chain Monte Carlo (MCMC) là một kỹ thuật quan trọng trong suy luận Bayesian, cho phép lấy mẫu từ phân phối xác suất hậu nghiệm ngay cả khi nó không thể tính toán trực tiếp. Các thuật toán như Metropolis-Hastings và Gibbs Sampling là các ví dụ điển hình của MCMC. MCMC tạo ra một chuỗi Markov có phân phối giới hạn là phân phối hậu nghiệm mong muốn. Bằng cách lấy mẫu từ chuỗi này, ta có thể xấp xỉ phân phối hậu nghiệm và tính toán các ước lượng Bayesian.

3.3. Thách Thức Về Tính Toán Của MCMC

Mặc dù MCMC là một công cụ mạnh mẽ, nó có thể tốn kém về mặt tính toán, đặc biệt đối với các mô hình lớn và dữ liệu phức tạp. Việc đánh giá hàm hợp lý (likelihood) và phân phối tiên nghiệm (prior) có thể tốn thời gian, và việc chuỗi Markov hội tụ đến phân phối hậu nghiệm có thể mất nhiều bước lặp. Do đó, việc phát triển các phương pháp MCMC hiệu quả hơn, chẳng hạn như các biến thể song song hoặc các kỹ thuật giảm phương sai, là một lĩnh vực nghiên cứu tích cực.

IV. Giải Thuật Tiến Hóa và Mô Phỏng Luyện Kim Tối Ưu Hậu Nghiệm

Các giải thuật di truyền và giải thuật mô phỏng luyện kim (Simulated Annealing) là các phương pháp tối ưu hóa ngẫu nhiên khác có thể được áp dụng để giải bài toán MAP. Giải thuật di truyền sử dụng các cơ chế tương tự như tiến hóa sinh học để tìm kiếm nghiệm tối ưu, trong khi mô phỏng luyện kim dựa trên quá trình làm nguội chậm của kim loại để tìm trạng thái năng lượng thấp nhất. Cả hai phương pháp đều có thể xử lý các hàm mục tiêu không lồi và không khả vi, nhưng có thể yêu cầu điều chỉnh tham số cẩn thận để đạt được hiệu suất tốt.

4.1. Giải Thuật Di Truyền Trong Tối Ưu Hóa

Giải thuật di truyền (Genetic Algorithm) là một phương pháp tối ưu hóa dựa trên các nguyên tắc của tiến hóa sinh học, như chọn lọc tự nhiên, lai ghép và đột biến. Trong giải thuật di truyền, một quần thể các nghiệm tiềm năng được duy trì và cải thiện qua các thế hệ. Các nghiệm tốt hơn có khả năng sống sót và sinh sản cao hơn, và các phép toán lai ghép và đột biến tạo ra các nghiệm mới. Giải thuật di truyền có thể được áp dụng cho các bài toán tối ưu hóa phức tạp, đặc biệt là khi hàm mục tiêu không lồi hoặc không khả vi.

4.2. Mô Phỏng Luyện Kim Simulated Annealing

Mô phỏng luyện kim (Simulated Annealing) là một phương pháp tối ưu hóa dựa trên quá trình làm nguội chậm của kim loại để tìm trạng thái năng lượng thấp nhất. Trong mô phỏng luyện kim, thuật toán bắt đầu với một nghiệm ngẫu nhiên và dần dần giảm "nhiệt độ" của hệ thống. Tại mỗi bước, thuật toán chấp nhận các nghiệm mới tốt hơn, và đôi khi chấp nhận các nghiệm tệ hơn với xác suất phụ thuộc vào nhiệt độ. Khi nhiệt độ giảm, xác suất chấp nhận các nghiệm tệ hơn giảm dần, cho phép thuật toán hội tụ đến một nghiệm tối ưu.

4.3. Ưu Điểm và Nhược Điểm Của Các Phương Pháp

Cả giải thuật di truyền và mô phỏng luyện kim đều có ưu điểm là có thể xử lý các hàm mục tiêu không lồi và không khả vi. Tuy nhiên, chúng cũng có một số nhược điểm. Giải thuật di truyền có thể yêu cầu điều chỉnh tham số cẩn thận để đạt được hiệu suất tốt, và mô phỏng luyện kim có thể hội tụ chậm. Ngoài ra, cả hai phương pháp đều có thể bị mắc kẹt tại các cực trị địa phương.

V. Ứng Dụng Thực Tiễn Tối Ưu Hóa Xác Suất Hậu Nghiệm

Tối ưu hóa xác suất hậu nghiệm (MAP) có nhiều ứng dụng thực tiễn trong các lĩnh vực khác nhau. Trong học máy Bayesian, MAP được sử dụng để ước lượng tham số của các mô hình xác suất. Trong mô hình hóa xác suất, MAP có thể được sử dụng để tìm các cấu hình tham số phù hợp nhất với dữ liệu quan sát. Ngoài ra, MAP còn được ứng dụng trong phân tích độ nhạy và đánh giá rủi ro, giúp hiểu rõ hơn về ảnh hưởng của các tham số đến kết quả của mô hình.

5.1. Ứng Dụng Trong Học Máy Bayesian

Trong học máy Bayesian, MAP được sử dụng rộng rãi để ước lượng tham số của các mô hình xác suất. Thay vì chỉ tìm một điểm ước lượng duy nhất như trong MLE, MAP cung cấp một phân phối xác suất hậu nghiệm trên các tham số, cho phép định lượng sự không chắc chắn về các ước lượng. Điều này đặc biệt hữu ích trong các ứng dụng mà sự không chắc chắn là quan trọng, chẳng hạn như dự đoán rủi ro hoặc ra quyết định.

5.2. Ứng Dụng Trong Mô Hình Hóa Xác Suất

Trong mô hình hóa xác suất, MAP có thể được sử dụng để tìm các cấu hình tham số phù hợp nhất với dữ liệu quan sát. Điều này đặc biệt hữu ích trong các mô hình phức tạp với nhiều tham số, nơi việc tìm kiếm các cấu hình tối ưu bằng các phương pháp khác có thể không khả thi. MAP cung cấp một cách tiếp cận hiệu quả để tìm kiếm các cấu hình tham số có khả năng cao nhất, đồng thời kết hợp thông tin tiên nghiệm về các tham số.

5.3. Ứng Dụng Trong Phân Tích Độ Nhạy và Đánh Giá Rủi Ro

MAP còn được ứng dụng trong phân tích độ nhạy và đánh giá rủi ro. Bằng cách phân tích phân phối xác suất hậu nghiệm trên các tham số, ta có thể hiểu rõ hơn về ảnh hưởng của các tham số đến kết quả của mô hình. Điều này cho phép xác định các tham số quan trọng nhất và đánh giá rủi ro liên quan đến các ước lượng tham số. Thông tin này có thể được sử dụng để cải thiện mô hình và đưa ra các quyết định sáng suốt hơn.

VI. Kết Luận và Hướng Phát Triển Tối Ưu Hóa Hậu Nghiệm

Tối ưu hóa xác suất hậu nghiệm (MAP) là một phương pháp quan trọng trong học máy và thống kê, đặc biệt khi làm việc với dữ liệu hạn chế hoặc khi cần kết hợp thông tin tiên nghiệm. Mặc dù có nhiều phương pháp để giải bài toán MAP, việc tìm kiếm các phương pháp hiệu quả vẫn là một thách thức, đặc biệt khi hàm mục tiêu không lồi. Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các thuật toán tối ưu hóa ngẫu nhiên hiệu quả hơn, cũng như các phương pháp xấp xỉ chính xác hơn cho phân phối xác suất hậu nghiệm.

6.1. Tóm Tắt Các Phương Pháp Tối Ưu Hóa Đã Thảo Luận

Bài viết đã thảo luận về một số phương pháp tối ưu hóa xác suất hậu nghiệm (MAP), bao gồm các phương pháp Monte Carlo, giải thuật di truyền và mô phỏng luyện kim. Mỗi phương pháp có ưu điểm và nhược điểm riêng, và sự lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của bài toán cụ thể, chẳng hạn như tính chất của hàm mục tiêu và kích thước của dữ liệu.

6.2. Hướng Nghiên Cứu Tương Lai Trong Tối Ưu Hóa Hậu Nghiệm

Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các thuật toán tối ưu hóa ngẫu nhiên hiệu quả hơn, đặc biệt là cho các hàm mục tiêu không lồi. Ngoài ra, việc phát triển các phương pháp xấp xỉ chính xác hơn cho phân phối xác suất hậu nghiệm cũng là một hướng nghiên cứu quan trọng. Các phương pháp này có thể dựa trên các kỹ thuật học sâu hoặc các phương pháp suy luận biến phân tiên tiến.

6.3. Tầm Quan Trọng Của Tối Ưu Hóa Hậu Nghiệm Trong Học Máy

Tối ưu hóa xác suất hậu nghiệm (MAP) tiếp tục đóng một vai trò quan trọng trong học máy và thống kê. Với sự gia tăng của các mô hình phức tạp và dữ liệu lớn, việc phát triển các phương pháp MAP hiệu quả là rất quan trọng để giải quyết các bài toán thực tế. Các phương pháp MAP cho phép kết hợp thông tin tiên nghiệm và dữ liệu quan sát một cách nhất quán, giúp cải thiện độ chính xác và độ tin cậy của các mô hình học máy.

Nội dung chính

Tổng quan luận án

Luận án tiến sĩ với đề tài "Một số phương pháp ngẫu nhiên cho bài toán cực đại hóa xác suất hậu nghiệm không lồi trong học máy", chuyên ngành Hệ thống thông tin (mã số: 9480104), được nghiên cứu sinh Bùi Thị Thanh Xuân thực hiện tại Trường Đại học Bách khoa Hà Nội dưới sự hướng dẫn khoa học của PGS. Thân Quang Khoát và TS. Nguyễn Thị Oanh, bảo vệ năm 2020.

Trong học máy thống kê, quy trình giải quyết một bài toán gồm ba giai đoạn nền tảng: mô hình hóa, học tham số và suy diễn. Phương pháp ước lượng hợp lý cực đại (Maximum Likelihood Estimation - MLE) tối ưu hàm mục tiêu $\arg\max_x \log P(D|x)$ thường vận hành hiệu quả khi có tập dữ liệu quan sát đủ lớn, song dễ gặp hiện tượng quá khớp (overfitting) khi dữ liệu huấn luyện hạn chế hoặc mô hình có số chiều cao. Để khắc phục, phương pháp cực đại hóa ước lượng xác suất hậu nghiệm (Maximum A Posteriori Estimation - MAP) được sử dụng nhằm tích hợp phân phối tiên nghiệm $P(x)$ vào hàm mục tiêu: $$x^* = \arg\max_x [\log P(D|x) + \log P(x)]$$ Thành phần $\log P(x)$ đóng vai trò là kỹ thuật hiệu chỉnh (regularization). Tuy nhiên, trong các mô hình đồ thị xác suất thực tế, hàm mục tiêu $f(x)$ của bài toán MAP thường là hàm phi tuyến phức tạp, nhiều biến và không lồi, dẫn đến việc giải chính xác bằng giải tích hoặc tối ưu lồi truyền thống là không khả thi.

Luận án xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể:

1. Nghiên cứu cơ sở lý thuyết về bài toán MAP không lồi và các phương pháp suy diễn xấp xỉ trong học máy thống kê.
2. Đề xuất các thuật toán tối ưu ngẫu nhiên mới (OPE1, OPE2, OPE3, OPE4) cho bài toán suy diễn hậu nghiệm trong mô hình chủ đề dựa trên phân phối đều và hai chuỗi biên ngẫu nhiên xấp xỉ.
3. Tổng quát hóa thuật toán suy diễn thông qua đề xuất thuật toán GOPE sử dụng phân phối Bernoulli với tham số $p \in (0, 1)$ nhằm tối ưu hóa quá trình học ngẫu nhiên trong mô hình Latent Dirichlet Allocation (LDA).
4. Xây dựng thuật toán ngẫu nhiên BOPE kết hợp phân phối Bernoulli, kỹ thuật hai biên ngẫu nhiên và nguyên lý tham lam để giải bài toán MAP không lồi tổng quát; chứng minh tốc độ hội tụ lý thuyết $O(1/T)$ và làm rõ vai trò hiệu chỉnh của thuật toán.
5. Ứng dụng thực nghiệm các thuật toán đề xuất vào hai bài toán thực tế: phân tích chủ đề văn bản (mô hình LDA trên tập văn bản dài và văn bản ngắn) và hệ thống gợi ý (mô hình Collaborative Topic Model for Poisson distributed ratings - CTMP).

Đối tượng nghiên cứu của luận án là bài toán MAP không lồi, các thuật toán tối ưu ngẫu nhiên, mô hình chủ đề LDA và mô hình hệ gợi ý CTMP. Phạm vi dữ liệu thực nghiệm bao gồm các tập ngữ liệu văn bản quy mô lớn (New York Times, PubMed), các tập ngữ liệu văn bản ngắn (NYT-Titles, Twitter, Yahoo), cùng các tập dữ liệu hệ gợi ý xếp hạng người dùng (CiteULike, MovieLens 1M).

Tổng quan tài liệu và vị trí của luận án

Luận án điểm lại hệ thống các công trình nghiên cứu tiền đề trong lý thuyết ước lượng thống kê, suy diễn xấp xỉ và tối ưu hóa toán học:

• Phương pháp ước lượng tham số và suy diễn Bayes: Khung lý thuyết MLE và thuật toán Expectation-Maximization (EM) của Dempster và cộng sự (1977); nguyên lý suy diễn MAP và phân tích Bayes của Berger (1985), Gelman và cộng sự (2013); các kỹ thuật phân tích mạng Bayes và mô hình đồ thị xác suất của Koller và Friedman (2009), Jordan (1999).
• Các phương pháp suy diễn xấp xỉ: Phương pháp suy diễn biến phân (Variational Bayes - VB) của Blei và cộng sự (2003, 2017); Collapsed Variational Bayes (CVB) của Teh và cộng sự (2007); biến thể bậc 0 (CVB0) của Asuncion và cộng sự (2009); Collapsed Gibbs Sampling (CGS) của Griffiths và Steyvers (2004); thuật toán Expectation-Propagation của Minka và Lafferty (2002).
• Các thuật toán tối ưu hóa và tối ưu ngẫu nhiên: Thuật toán Concave-Convex Procedure (CCCP) của Yuille và Rangarajan (2003); Stochastic Majorization-Minimization (SMM) của Mairal (2013); thuật toán Frank-Wolfe (FW) của Frank và Wolfe (1956), Jaggi (2013); Online Frank-Wolfe (OFW) của Hazan và Kale (2012); Block-coordinate Frank-Wolfe của Lacoste-Julien và cộng sự (2013); thuật toán Particle Mirror Descent (PMD) của Dai và cộng sự (2016); Hessian Approximated MCMC (HAMCMC) của Ding và cộng sự (2014); thuật toán Online MAP Estimation (OPE) của Than và cộng sự (2015, 2016).
• Mô hình chủ đề và hệ gợi ý: Phân tích ngữ nghĩa ẩn xác suất (PLSA/pLSI) của Hofmann (1999); mô hình phân bổ Dirichlet ẩn (LDA) của Blei và cộng sự (2003); mô hình gợi ý tương tác CTMP của Gopalan và cộng sự (2014, 2015), Wang và Blei (2011).

Luận án chỉ ra các khoảng trống nghiên cứu chính:

1. Các phương pháp suy diễn phổ biến như VB, CVB, CVB0 và CGS thiếu chứng minh giải tích về tốc độ hội tụ lý thuyết khi áp dụng trên các bài toán tối ưu phi lồi quy mô lớn.
2. Thuật toán CCCP và SMM tuy đảm bảo hội tụ tới điểm dừng nhưng tốc độ hội tụ chưa được xác định đối với bài toán không lồi tổng quát.
3. Các phương pháp lấy mẫu xác suất như PMD chỉ đạt tốc độ hội tụ $O(T^{-1/2})$, HAMCMC đạt tốc độ $O(T^{-1/3})$ (với $T$ là số bước lặp).
4. Thuật toán Frank-Wolfe và biến thể Online Frank-Wolfe chỉ thiết kế cho các bài toán tối ưu lồi, không thích ứng trực tiếp cho hàm mục tiêu không lồi trong mô hình học máy phức tạp.
5. Thuật toán OPE đạt tốc độ hội tụ $O(1/T)$ nhưng mới khai thác phân phối đều trên một biên xấp xỉ đơn lẻ, chưa có cơ chế tổng quát hóa tham số phân phối và chưa tích hợp năng lực hiệu chỉnh đa dạng.

Luận án lựa chọn giải quyết khoảng trống này bằng cách xây dựng khung phương pháp tối ưu ngẫu nhiên dựa trên phân phối xác suất ngẫu nhiên hóa (phân phối đều và phân phối Bernoulli) kết hợp kỹ thuật xấp xỉ hai biên ngẫu nhiên, đạt tốc độ hội tụ $O(1/T)$ cho bài toán MAP không lồi.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án dựa trên các cơ sở lý thuyết toán học và mô hình xác suất:

• Tối ưu ngẫu nhiên và tối ưu không lồi: Xét bài toán tối ưu hóa tổng quát $\max_{x \in \Omega} f(x)$, trong đó $f(x)$ là hàm không lồi trên tập ràng buộc lồi đóng $\Omega$. Kỹ thuật tối ưu dựa trên giải pháp xấp xỉ ngẫu nhiên hàm mục tiêu bằng các hàm thay thế (surrogate functions) và chuỗi biến ngẫu nhiên thỏa mãn Luật logarit lặp (Law of the Iterated Logarithm - LIL).
• Quy hoạch DC (Difference of Convex functions): Khung phân tích phân rã hàm mục tiêu không lồi thành hiệu của hai hàm lồi nhằm giải quyết các bài toán tối ưu phi lồi phức tạp.
• Mô hình đồ thị xác suất (PGM) và mô hình chủ đề LDA: Mô hình LDA giả định mỗi văn bản trong tập ngữ liệu là một phân phối pha trộn trên $K$ chủ đề, mỗi chủ đề là một phân phối đa thức trên tập từ vựng $V$. Quá trình sinh văn bản được điều khiển bởi tham số tiên nghiệm Dirichlet $\alpha$ cho phân phối chủ đề tài liệu $\theta$ và tham số tiên nghiệm $\beta$ cho phân phối từ vựng theo chủ đề.
• Mô hình hệ gợi ý CTMP (Collaborative Topic Model for Poisson distributed ratings): Kết hợp mô hình chủ đề LDA và mô hình phân rã ma trận với phân phối Poisson để mô hình hóa hành vi đánh giá và tiêu dùng nội dung của người dùng đối với các mục tin/tài liệu.

Phương pháp nghiên cứu thực tế được triển khai:

• Phương pháp giải tích và chứng minh toán học: Xây dựng các chặn trên và chặn dưới ngẫu nhiên (upper/lower bounds) cho hàm mục tiêu; thiết lập các bổ đề hội tụ, chứng minh các dãy lặp tiệm cận tới điểm dừng Karush-Kuhn-Tucker (KKT) với tốc độ hội tụ $O(1/T)$.
• Phương pháp ngẫu nhiên hóa thuật toán: Thay thế việc đánh giá hàm mục tiêu tất định đắt đỏ bằng các biến ngẫu nhiên tuân theo phân phối đều hoặc phân phối Bernoulli với xác suất $p \in (0, 1)$, kết hợp nguyên lý tối ưu tham lam.
• Phương pháp thực nghiệm định lượng: Xây dựng mã nguồn thuật toán huấn luyện học trực tuyến (Online learning); tiến hành kiểm thử trên các tập dữ liệu chuẩn; đo lường hiệu năng mô hình qua các chỉ số thống kê chuẩn mực.

Nguồn tư liệu và độ đo đánh giá:

• Độ đo Log Predictive Probability (LPP): Đánh giá khả năng dự đoán từ ngữ chưa biết trên tập kiểm thử; giá trị LPP càng cao thể hiện mô hình có năng lực tổng quát hóa càng tốt.
• Độ đo Normalised Pointwise Mutual Information (NPMI): Đo lường độ mạch lạc ngữ nghĩa của các chủ đề được học từ mô hình; giá trị NPMI càng cao thể hiện các từ khóa trong cùng chủ đề có mối tương quan ngữ nghĩa càng chặt chẽ.
• Độ đo Precision, Recall và F1-measure: Đánh giá độ chính xác và độ bao phủ của danh sách gợi ý Top-$N$ trong bài toán hệ gợi ý.

Nội dung chính theo từng chương

CHƯƠNG 1. MỘT SỐ KIẾN THỨC NỀN TẢNG

Chương 1 hệ thống hóa các khái niệm nền tảng về tối ưu không lồi, mô hình đồ thị xác suất và bài toán suy diễn hậu nghiệm. Tác giả phân tích chi tiết:

• Bài toán tối ưu tổng quát và các biến thể ngẫu nhiên như SGD, SVRG, AdaGrad, RMSprop, Adam, Frank-Wolfe (FW) và Online Frank-Wolfe (OFW).
• Bản chất toán học của bài toán MAP: phân tích cấu trúc hàm mục tiêu $f(x) = \log P(D|x) + \log P(x)$, trong đó số hạng thứ hai giữ vai trò hiệu chỉnh giúp kiểm soát độ phức tạp của mô hình và khắc phục quá khớp so với MLE.
• Mô hình phân bổ Dirichlet ẩn (LDA) và bài toán suy diễn hậu nghiệm cho phân phối chủ đề $\theta$ của từng tài liệu khi biết ma trận chủ đề $\beta$.
• Giới thiệu thuật toán Online maximum a Posteriori Estimation (OPE), phương pháp tối ưu ngẫu nhiên đạt tốc độ hội tụ $O(1/T)$ cho bài toán suy diễn trong LDA.
• Quy chuẩn đánh giá thực nghiệm: định nghĩa công thức toán học của độ đo LPP và NPMI cùng quy trình chia tách dữ liệu huấn luyện/kiểm thử.

CHƯƠNG 2. NGẪU NHIÊN HÓA THUẬT TOÁN TỐI ƯU GIẢI BÀI TOÁN SUY DIỄN HẬU NGHIỆM TRONG MÔ HÌNH CHỦ ĐỀ

Chương 2 trình bày các cải tiến thuật toán giải bài toán MAP trong mô hình chủ đề LDA:

• Đề xuất bốn thuật toán ngẫu nhiên mới: OPE1, OPE2, OPE3 và OPE4. Các thuật toán này khai thác phân phối xác suất đều kết hợp hai chuỗi biên ngẫu nhiên xấp xỉ (biên trên và biên dưới) thay vì chỉ dùng một biên xấp xỉ đơn như OPE gốc.
• Thuật toán OPE3 và OPE4 đưa vào tham số tổ hợp $\nu$ nhằm điều chỉnh tỷ trọng đóng góp giữa hai biên xấp xỉ ngẫu nhiên, giúp tăng cường tính linh hoạt khi ước lượng hàm mục tiêu.
• Xây dựng thuật toán học mô hình LDA trực tuyến tương ứng: Online-OPE3 và Online-OPE4.
• Đánh giá thực nghiệm trên hai tập dữ liệu lớn New York Times và PubMed:
  • Khảo sát giá trị tham số tổ hợp $\nu \in [0, 1]$; kết quả chỉ ra $\nu = 0.3$ mang lại hiệu quả tốt trên các tập dữ liệu thử nghiệm.
  • Khảo sát ảnh hưởng của kích thước mini-batch và số bước lặp nội suy diễn $T$ tới chất lượng mô hình.
  • Thống kê thời gian tính toán và giá trị các độ đo LPP, NPMI: Online-OPE3 và Online-OPE4 duy trì tốc độ tính toán nhanh tương đương OPE gốc nhưng đạt độ đo LPP và NPMI cao hơn.
• Luận án chứng minh mặt lý thuyết: OPE1-4 đảm bảo sự hội tụ tới điểm dừng với tốc độ $O(1/T)$ và có khả năng mở rộng cho lớp bài toán tối ưu phi lồi tổng quát.

CHƯƠNG 3. TỔNG QUÁT HÓA THUẬT TOÁN TỐI ƯU GIẢI BÀI TOÁN MAP KHÔNG LỒI TRONG MÔ HÌNH CHỦ ĐỀ

Chương 3 đề xuất thuật toán Generalized Online Maximum a Posteriori Estimation (GOPE) nhằm tổng quát hóa tiếp cận ngẫu nhiên trong suy diễn MAP:

• Thuật toán GOPE thay thế phân phối đều bằng phân phối nhị thức Bernoulli với tham số xác suất $p \in (0, 1)$. Tham số $p$ cho phép chủ động điều phối xác suất chọn lựa giữa hai biên xấp xỉ ngẫu nhiên tại mỗi bước lặp tối ưu.
• Chứng minh giải tích sự hội tụ của thuật toán GOPE: GOPE đạt tốc độ hội tụ lý thuyết $O(1/T)$ với $T$ là số bước lặp.
• Thiết kế thuật toán học mô hình trực tuyến Online-GOPE cho mô hình chủ đề LDA.
• Đánh giá thực nghiệm so sánh Online-GOPE với các phương pháp suy diễn tiêu biểu: Online-VB, Online-CVB, Online-CGS, Online-OPE, Online-OPE3 và Online-OPE4 trên hai tập dữ liệu New York Times và PubMed:
  • Kết quả kiểm thử với các giá trị tham số Bernoulli $p \in {0.1, 0.3, 0.5, 0.7, 0.9}$ cho thấy chất lượng mô hình biến đổi theo $p$, trong đó các giá trị $p$ phù hợp giúp thuật toán thích nghi tốt với cấu trúc dữ liệu.
  • Online-GOPE cho kết quả LPP và NPMI vượt trội so với các thuật toán học cơ sở, đồng thời duy trì thời gian thực thi ngắn hơn so với các phương pháp biến phân (Online-VB, Online-CVB).
• Luận án trình bày khung mở rộng thuật toán GOPE cho bài toán tối ưu không lồi tổng quát.

CHƯƠNG 4. NGẪU NHIÊN BERNOULLI CHO BÀI TOÁN MAP KHÔNG LỒI VÀ ỨNG DỤNG

Chương 4 hoàn thiện khung phương pháp luận với thuật toán BOPE (Bernoulli randomness in OPE) và triển khai ứng dụng thực tiễn:

• Thuật toán BOPE cho bài toán MAP không lồi tổng quát: Tích hợp phân phối Bernoulli $p \in (0, 1)$, chiến lược hai biên ngẫu nhiên và nguyên lý tham lam để xấp xỉ hàm mục tiêu không lồi; chứng minh tốc độ hội tụ đạt $O(1/T)$.
• Phân tích vai trò hiệu chỉnh: Luận án làm rõ cơ chế phân phối Bernoulli kết hợp thành phần tiên nghiệm giúp BOPE đóng vai trò như một bộ lọc hiệu chỉnh ngẫu nhiên, hạn chế rơi vào các cực trị địa phương kém chất lượng và giảm thiểu nguy cơ quá khớp.
• Ứng dụng trong phân tích văn bản với mô hình LDA:
  • Thực nghiệm trên tập văn bản dài: New York Times, PubMed.
  • Thực nghiệm trên tập văn bản ngắn và nhiễu: NYT-Titles, Twitter, Yahoo.
  • Kết quả cho thấy thuật toán Online-BOPE đạt giá trị LPP và NPMI vượt trội so với các phương pháp so sánh trên cả văn bản dài và ngắn sau 5 epochs huấn luyện.
• Ứng dụng trong hệ gợi ý với mô hình CTMP:
  • Triển khai hai biến thể suy diễn: CTMP-OPE và CTMP-BOPE trên hai tập dữ liệu CiteULike và MovieLens 1M.
  • Thiết lập thực nghiệm cố định tham số Bernoulli $p = 0.7$ trong BOPE và khảo sát biến thiên của ba nhóm tham số:
    1. Tham số tiên nghiệm Dirichlet $\alpha \in {1, 0.0001}$: mô hình CTMP-BOPE với $\alpha = 1$ cho kết quả phân loại và dự đoán tốt hơn; BOPE tạo ra sự phân hóa hiệu quả hơn hẳn OPE khi thay đổi $\alpha$.
    2. Tham số điều chỉnh $\lambda \in {1, 10, 100, 1000, 10000}$: các giá trị $\lambda$ nhỏ ($\lambda = 1, 10$) cho hiệu năng cao hơn khi $\lambda$ quá lớn ($\lambda = 10000$); CTMP-BOPE đạt độ chính xác Precision và Recall cao hơn hẳn CTMP-OPE.
    3. Số lượng chủ đề $K \in {50, 100, 150, 200, 250}$: khi $K = 250$, các độ đo Precision, Recall và F1 trên danh sách Top-$N$ gợi ý ($N$ từ 20 đến 100) của CTMP-BOPE đều đạt mức cao nhất.

Kết quả và những đóng góp mới

Đóng góp về mặt lý thuyết

Luận án đóng góp các kết quả toán học và thuật toán mới cho bài toán MAP không lồi:

1. Đề xuất hệ thống các thuật toán tối ưu ngẫu nhiên: OPE1, OPE2, OPE3, OPE4, GOPE và BOPE, chuyển đổi hàm mục tiêu tất định không lồi thành chuỗi các hàm ngẫu nhiên xấp xỉ có chi phí tính toán thấp.
2. Thiết lập cơ sở lý thuyết chứng minh tốc độ hội tụ $O(1/T)$ cho các thuật toán OPE1-4, GOPE và BOPE, cải thiện đáng kể so với tốc độ của PMD ($O(T^{-1/2})$) và HAMCMC ($O(T^{-1/3})$).
3. Chứng minh tính hiệu chỉnh tự nhiên của thuật toán BOPE nhờ sự phối hợp giữa thành phần tiên nghiệm và tham số ngẫu nhiên hóa Bernoulli $p$.

Phương pháp suy diễn	Tốc độ hội tụ	Tính chất ngẫu nhiên	Khả năng hiệu chỉnh
Variational Bayes (VB)	Chưa xác định	Không	Không
Collapsed Variational Bayes (CVB)	Chưa xác định	Không	Không
Zero-order CVB (CVB0)	Chưa xác định	Không	Không
Collapsed Gibbs Sampling (CGS)	Chưa xác định	Có	Không
Concave-Convex Procedure (CCCP)	Chưa xác định	Không	Không
Stochastic Majorization-Minimization (SMM)	Chưa xác định	Không	Không
Particle Mirror Descent (PMD)	$O(T^{-1/2})$	Có	Không
Hessian Approximated MCMC (HAMCMC)	$O(T^{-1/3})$	Có	Không
Online MAP Estimation (OPE)	$O(1/T)$	Phân phối đều	Không
OPE1 - OPE4 (Đề xuất)	$O(1/T)$	Phân phối đều	Không
GOPE (Đề xuất)	$O(1/T)$	Phân phối Bernoulli	Có
BOPE (Đề xuất)	$O(1/T)$	Phân phối Bernoulli	Có

Bảng: So sánh lý thuyết giữa các phương pháp suy diễn hậu nghiệm trong học máy.

Đóng góp về mặt thực tiễn

1. Xây dựng các thuật toán huấn luyện học trực tuyến (Online-OPE3, Online-OPE4, Online-GOPE, Online-BOPE) cho mô hình chủ đề LDA, nâng cao độ chính xác dự đoán (LPP) và độ mạch lạc ngữ nghĩa (NPMI) trên các ngữ liệu văn bản quy mô lớn cũng như các văn bản ngắn nhiều nhiễu.
2. Áp dụng thành công thuật toán BOPE vào mô hình hệ gợi ý CTMP (CTMP-BOPE), nâng cao các chỉ số Precision, Recall và F1 trên các tập dữ liệu chuẩn CiteULike và MovieLens 1M so với thuật toán OPE cơ sở.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

Căn cứ theo phạm vi trình bày trong văn bản:

1. Các khảo sát thực nghiệm của luận án tập trung chủ yếu vào hai lớp mô hình cụ thể trong học máy thống kê là mô hình chủ đề (LDA) và mô hình hệ gợi ý (CTMP), chưa thực nghiệm diện rộng trên các kiến trúc học sâu phi tuyến khác.
2. Loại hình dữ liệu đánh giá giới hạn trong dữ liệu văn bản và dữ liệu ma trận đánh giá người dùng - mục tin, chưa kiểm thử trên các kiểu dữ liệu đa phương tiện phức tạp như hình ảnh, âm thanh hoặc tín hiệu cảm biến y sinh.

Hướng nghiên cứu tiếp

Tác giả đề xuất ba định hướng phát triển nghiên cứu tiếp theo:

1. Triển khai mở rộng các thuật toán tối ưu ngẫu nhiên đề xuất trên nhiều mô hình bài toán khác trong học máy có dạng không lồi hoặc các bài toán quy hoạch DC phức tạp.
2. Nghiên cứu toàn diện hơn về các tính chất lý thuyết ưu việt như tính tổng quát, tính hiệu quả và khả năng tự động tối ưu hóa tham số Bernoulli $p$.
3. Mở rộng ứng dụng các thuật toán vào các bài toán thực tế đa dạng như phân tích dữ liệu đa phương tiện, nhận dạng hình ảnh và các hệ thống phân tích dữ liệu lớn phức tạp.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên khảo trong lĩnh vực Hệ thống thông tin, Khoa học dữ liệu và Học máy thống kê:

• Đối với nghiên cứu sinh và nhà nghiên cứu: Cung cấp khung phương pháp luận chứng minh toán học về tốc độ hội tụ $O(1/T)$ cho các thuật toán tối ưu ngẫu nhiên phi lồi; phương pháp xử lý hàm mục tiêu MAP bằng kỹ thuật hai biên ngẫu nhiên và phân phối Bernoulli.
• Đối với giảng viên và cơ sở đào tạo: Làm tài liệu giảng dạy chuyên đề cao học và tiến sĩ về tối ưu hóa trong học máy, suy diễn đồ thị xác suất, mô hình chủ đề và hệ thống gợi ý.
• Đối với kỹ sư hệ thống và chuyên gia công nghệ: Cung cấp giải thuật thực thi trực tuyến (Online-BOPE, CTMP-BOPE) có chi phí tính toán thấp, dễ lập trình và có khả năng xử lý dữ liệu lớn phục vụ phân tích tự động văn bản và xây dựng động cơ gợi ý cá nhân hóa.

Câu hỏi thường gặp

1. Điểm khác biệt cốt lõi giữa phương pháp ước lượng MAP và MLE trong luận án là gì? Phương pháp MLE tối ưu hàm $\arg\max_x \log P(D|x)$ thuần túy dựa trên dữ liệu quan sát, dễ dẫn tới hiện tượng quá khớp khi dữ liệu ít hoặc số chiều lớn. Phương pháp MAP bổ sung thành phần phân phối tiên nghiệm $\log P(x)$ vào hàm mục tiêu, đóng vai trò như một kỹ thuật hiệu chỉnh giúp hạn chế quá khớp. Tuy nhiên, hàm mục tiêu của MAP thường không lồi và khó giải chính xác trong các mô hình đồ thị xác suất.

2. Các thuật toán OPE1, OPE2, OPE3 và OPE4 cải tiến OPE gốc bằng cách nào? Thay vì sử dụng một biên xấp xỉ đơn lẻ như OPE gốc, các thuật toán OPE1 đến OPE4 sử dụng phân phối xác suất đều kết hợp đồng thời hai chuỗi biên ngẫu nhiên (biên trên và biên dưới) để xấp xỉ hàm mục tiêu. Trong đó, OPE3 và OPE4 đưa vào tham số tổ hợp $\nu \in [0, 1]$ (thực nghiệm chỉ ra $\nu = 0.3$ là phù hợp) nhằm cân bằng thông tin giữa hai biên xấp xỉ.

3. Thuật toán GOPE và BOPE sử dụng phân phối xác suất nào và đạt tốc độ hội tụ lý thuyết bao nhiêu? GOPE và BOPE thay thế phân phối đều bằng phân phối nhị thức Bernoulli với tham số $p \in (0, 1)$. Cả hai thuật toán đều được chứng minh toán học đạt tốc độ hội tụ lý thuyết $O(1/T)$ (với $T$ là số bước lặp), vượt trội so với các phương pháp lấy mẫu xác suất như PMD ($O(T^{-1/2})$) và HAMCMC ($O(T^{-1/3})$).

4. Khi áp dụng BOPE vào mô hình hệ gợi ý CTMP, các tham số nào đã được khảo sát thực nghiệm? Thực nghiệm cố định tham số Bernoulli $p = 0.7$ và khảo sát ba nhóm tham số: tham số tiên nghiệm Dirichlet $\alpha \in {1, 0.0001}$, tham số điều chỉnh $\lambda \in {1, 10, 100, 1000, 10000}$, và số lượng chủ đề $K \in {50, 100, 150, 200, 250}$ trên hai bộ dữ liệu CiteULike và MovieLens 1M. Kết quả cho thấy $\alpha = 1$, các giá trị $\lambda$ nhỏ ($\lambda = 1, 10$), và $K = 250$ mang lại độ đo Precision, Recall và F1 cao nhất.

5. Luận án sử dụng những độ đo định lượng nào để đánh giá chất lượng mô hình chủ đề LDA? Luận án sử dụng hai độ đo chính: Log Predictive Probability (LPP) để đo lường khả năng tổng quát hóa và dự đoán từ ngữ chưa biết trên tập kiểm thử, và Normalised Pointwise Mutual Information (NPMI) để đánh giá độ mạch lạc ngữ nghĩa của các chủ đề sinh ra.

Kết luận

Luận án tiến sĩ của Bùi Thị Thanh Xuân đã giải quyết bài toán cực đại hóa xác suất hậu nghiệm (MAP) không lồi trong học máy thông qua việc đề xuất hệ thống các thuật toán tối ưu ngẫu nhiên OPE1-4, GOPE và BOPE. Bằng việc kết hợp phân phối Bernoulli, kỹ thuật xấp xỉ hai biên ngẫu nhiên và nguyên lý tham lam, các thuật toán đề xuất đạt tốc độ hội tụ lý thuyết $O(1/T)$ và tích hợp năng lực hiệu chỉnh mô hình. Các kết quả thực nghiệm trên mô hình phân tích chủ đề văn bản LDA và hệ gợi ý CTMP khẳng định tính chính xác, tốc độ xử lý nhanh và khả năng thích ứng cao của phương pháp luận được đề xuất.

Trích đoạn nội dung tài liệu

chương 1. 36 i luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep CHƯƠNG 2. NGẪU NHIÊN HÓA THUẬT TOÁN TỐI ƯU GIẢI BÀI TOÁN SUY DIỄN HẬU NGHIỆM TRONG MÔ HÌNH CHỦ ĐỀ. Đề xuất mới giải bài toán MAP trong mô hình chủ đề.

Các thuật toán học ngẫu nhiên cho mô hình LDA. Đánh giá thực nghiệm. Các bộ dữ liệu thực nghiệm. Độ đo đánh giá thực nghiệm.

Kết quả thực nghiệm. Sự hội tụ của các thuật toán đề xuất. Mở rộng thuật toán đề xuất cho bài toán tối ưu không lồi. Kết luận chương 2.

TỔNG QUÁT HÓA THUẬT TOÁN TỐI ƯU GIẢI BÀI TOÁN MAP KHÔNG LỒI TRONG MÔ HÌNH CHỦ ĐỀ. Thuật toán GOPE. Sự hội tụ của thuật toán GOPE. Đánh giá thực nghiệm.

Các bộ dữ liệu thực nghiệm. Độ đo đánh giá thực nghiệm. Thiết lập các tham số. Kết quả thực nghiệm.

Mở rộng thuật toán giải bài toán tối ưu không lồi. Kết luận chương 3. NGẪU NHIÊN BERNOULLI CHO BÀI TOÁN MAP KHÔNG LỒI VÀ ỨNG DỤNG. Thuật toán BOPE giải bài toán MAP không lồi.

Ý tưởng xây dựng thuật toán BOPE. Sự hội tụ của thuật toán BOPE. Vai trò hiệu chỉnh của thuật toán BOPE. 77 ii luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep 4.

Mở rộng cho bài toán tối ưu không lồi tổng quát. Áp dụng BOPE vào mô hình LDA cho phân tích văn bản. Suy diễn MAP cho từng văn bản. Đánh giá thực nghiệm.

Áp dụng BOPE cho bài toán hệ gợi ý. Mô hình CTMP. Đánh giá thực nghiệm. Kết luận chương 4.

104 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ. 106 TÀI LIỆU THAM KHẢO. Một số kết quả thực nghiệm bổ sung cho mô hình CTMP. 117 iii luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ Viết tắt Tiếng Anh Tiếng Việt BOPE Bernoulli randomness in OPE Phương pháp BOPE CCCP Concave-Convex Procedure Phương pháp CCCP CGS Collapsed Gibbs Sampling Phương pháp CGS CTMP Collaborative Topic Model for Mô hình CTMP Poisson CVB Collapsed Variational Bayes Phương pháp CVB CVB0 Zero-order Collapsed Variational Phương pháp CVB0 Bayes DC Difference of Convex functions Hiệu của hai hàm lồi DCA Difference of Convex Algorithm Thuật toán DCA EM Expectation–Maximization algo- Thuật toán tối đa hóa kì vọng rithm ERM Empirical risk minimization Cực tiểu hóa hàm rủi ro thực nghiệm FW Frank-Wolfe Thuật toán tối ưu Frank-Wolfe GD Gradient Descent Thuật toán tối ưu GD GOA Graduated Optimization Algo- Thuật toán GOA rithm GOPE Generalized Online Maximum a Phương pháp GOPE Posteriori Estimation GradOpt Graduated Optimization Phương pháp tối ưu GradOpt GS Gibbs Sampling Phương pháp lấy mẫu Gibbs HAMCMC Hessian Approximated MCMC Phương pháp tối ưu HAMCMC LDA Latent Dirichlet Allocation Mô hình chủ đề ẩn LIL Law of the Iterated Logarithm Luật logarit lặp LPP Log Predictive Probability Độ đo LPP LSA Latent Semantic Analysis Phân tích ngữ nghĩa ẩn LSI Latent Semantic Indexing Chỉ mục ngữ nghĩa ẩn MAP Maximum a Posteriori Estima- Phương pháp cực đại hóa ước lượng tion xác suất hậu nghiệm MCMC Markov Chain Monte Carlo Phương pháp Monte Carlo iv luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep Viết tắt Tiếng Anh Tiếng Việt MLE Maximum Likelihood Estimation Ước lượng hợp lý cực đại NPMI Normalised Pointwise Mutual In- Độ đo NPMI formation OFW Online Frank-Wolfe algorithm Thuật toán tối ưu Online Frank- Wolfe OPE Online maximum a Posteriori Es- Cực đại hóa ước lượng hậu nghiệm timation ngẫu nhiên PLSA Probabilistic Latent Semantic Phân tích ngữ nghĩa ẩn xác suất Analysis pLSI probabilistic Latent Semantic In- Chỉ mục ngữ nghĩa ẩn xác suất dexing PMD Particle Mirror Decent Phương pháp tối ưu PMD Prox-SVRG Proximal SVRG Phương pháp Prox-SVRG SCSG Stochastically Controlled Phương pháp SCSG Stochastic Gradient SGD Stochastic Gradient Descent Thuật toán giảm gradient ngẫu nhiên SMM Stochastic Majorization- Phương pháp SMM Minimization SVD Single Value Decomposition Phân tích giá trị riêng SVRG Stochastic Variance Reduced Phương pháp SVRG Gradient TM Topic Models Mô hình chủ đề VB Variational Bayes Phương pháp biến phân Bayes VE Variable Elimination Phương pháp VE VI Variational Inference Suy diễn biến phân v luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep do an to nghiep docx 123docz luan van hay luan van tot nghiep DANH MỤC HÌNH VẼ 1.1 Một ví dụ về một mô hình đồ thị xác suất.

Mũi tên biểu trưng cho sự phụ thuộc xác suất: D phụ thuộc lần lượt vào A, B và C trong khi C phụ thuộc vào B và D.2 Mô tả trực quan một mô hình chủ đề.3 Mô hình chủ đề ẩn LDA .1 Hai trường hợp khởi tạo cho biên xấp xỉ ngẫu nhiên .2 Mô tả ý tưởng cơ bản cải tiến thuật toán OPE.3 Kết quả thực hiện của OPE4 với tham số ν được lựa chọn khác nhau trên độ đo LPP.4 Kết quả thực hiện của OPE4 với tham số ν được lựa chọn khác nhau trên độ đo NPMI.5 Kết quả của các thuật toán mới so sánh với OPE thông qua độ đo LPP. Độ đo càng cao càng tốt. Chúng tôi thấy rằng một số thuật toán mới đảm bảo tốt hoặc thậm chí tốt hơn OPE.6 Kết quả của các thuật toán mới so sánh với OPE trên độ đo NPMI. Độ đo càng cao càng tốt.

Chúng tôi thấy rằng một số thuật toán mới đảm bảo tốt, thậm chí tốt hơn OPE.