Luận văn: Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA - Đại học Bách Khoa Hà Nội

Luận văn phân tích ngữ nghĩa ẩn trong dữ liệu sử dụng mô hình PLSA. Tìm hiểu cách PLSA khám phá chủ đề tiềm ẩn, ứng dụng trong xử lý ngôn ngữ tự nhiên và khai phá văn bản.

• Tác giả: Luu Trong Dai
• Người hướng dẫn: Ts. Thân Quang Khoát
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Kỹ thuật máy tính và truyền thông
• Đề tài: Phân Tích Ngữ Nghĩa Ẩn Trong Dữ Liệu Với Plsa
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• DANH MỤC CÁC TỪ VIẾT TẮT VÀ THUẬT NGỮ
• DANH MỤC CÁC HÌNH VẼ
• MỞ ĐẦU. GIỚI THIỆU ĐỀ TÀI
• 2. CHƯƠNG 2. Ngữ nghĩa ẩn (Hidden semantics)
• 3. Mô hình xác suất (Probabilistic models)
• 3. Mô hình chủ đề (Topic models)
• 3.1. Nhu cầu của phân tích văn bản
• 3.2. Khái niệm về chủ đề
• 3.3. Mô hình chủ đề (Topic model)
• 3.4. Ứng dụng của mô hình chủ đề
• 4. Một số thuật ngữ, kí hiệu
• 5. MÔ HÌNH PLSA PHÂN TÍCH NGỮ NGHĨA ẨN TRONG VĂN
• 5.1. Phân tích ngữ nghĩa ẩn (LSA)
• 5.2. Mô hình PLSA
• 5.3. Học mô hình bằng thuật toán EM
• 5.4. Quá trình suy diễn của mô hình PLSA
• 6. THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 6.1. Dữ liệu thực nghiệm
• 6.2. Perplexity khi số lượng chủ đề tăng lên
• 6.3. Perplexity khi kích thước tập huấn luyện tăng lên
• 6.4. Khả năng tổng quát hóa trong quá trình học
• 6.5. Độ mạch lạc và phân tách của các chủ đề
• 6.6. Thời gian huấn luyện
• 6.7. Likelihood và convergence
• 6.8. Số lần lặp trong quá trình huấn luyện
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phân Tích Ngữ Nghĩa Ẩn với PLSA là gì

Phân tích ngữ nghĩa ẩn (Latent Semantic Analysis - LSA) và Mô hình không gian tiềm ẩn xác suất (Probabilistic Latent Semantic Analysis - PLSA) là các kỹ thuật quan trọng trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP) và Khai phá văn bản (Text Mining). PLSA, một cải tiến của LSA, sử dụng mô hình sinh để khám phá các chủ đề tiềm ẩn trong dữ liệu văn bản. PLSA giúp chúng ta hiểu rõ hơn về cấu trúc ngữ nghĩa của văn bản, vượt qua những hạn chế của việc chỉ dựa vào tần suất xuất hiện của từ. PLSA cho phép biểu diễn văn bản dưới dạng mô hình chủ đề (Topic Modeling), mỗi chủ đề là một phân bố xác suất trên tập từ vựng. Điều này cho phép chúng ta tìm ra các chủ đề quan trọng trong một tập tài liệu lớn. PLSA đặc biệt hữu ích trong các ứng dụng như phân loại văn bản (Text Classification), tóm tắt văn bản (Text Summarization), và phát hiện chủ đề (Topic Detection). PLSA sử dụng giải thuật EM (Expectation-Maximization Algorithm) để ước lượng các tham số của mô hình, tối đa hóa khả năng quan sát dữ liệu. PLSA đã chứng minh được hiệu quả trong nhiều bài toán thực tế, từ phân tích tin tức đến khuyến nghị sản phẩm. PLSA là một công cụ mạnh mẽ giúp chúng ta khai thác thông tin ẩn sâu trong dữ liệu văn bản. Mặc dù có những hạn chế, PLSA vẫn là một nền tảng quan trọng cho nhiều nghiên cứu và ứng dụng liên quan đến phân tích ngữ nghĩa. Theo nghiên cứu từ Đại học Bách Khoa Hà Nội, "Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA" mở ra nhiều hướng tiếp cận mới trong việc xử lý và hiểu dữ liệu văn bản một cách hiệu quả.

1.1. Vai trò của Phân tích ngữ nghĩa trong NLP và Text Mining

Phân tích ngữ nghĩa đóng vai trò then chốt trong Xử lý ngôn ngữ tự nhiên (NLP) và Khai phá văn bản (Text Mining), giúp máy tính hiểu được ý nghĩa thực sự của văn bản thay vì chỉ xử lý các từ riêng lẻ. Các phương pháp như Phân tích ngữ nghĩa tiềm ẩn (Latent Semantic Analysis - LSA) và Mô hình không gian tiềm ẩn xác suất (Probabilistic Latent Semantic Analysis - PLSA) cho phép máy tính xác định các chủ đề tiềm ẩn và mối quan hệ giữa các từ, từ đó nâng cao hiệu quả của nhiều ứng dụng NLP như phân loại văn bản (Text Classification), tóm tắt văn bản (Text Summarization) và phát hiện chủ đề (Topic Detection). Bằng cách sử dụng Mô hình chủ đề (Topic Modeling), các hệ thống có thể phân tích dữ liệu văn bản (Text Data) một cách sâu sắc, tìm ra các mẫu và xu hướng quan trọng. Vai trò của phân tích ngữ nghĩa ngày càng trở nên quan trọng trong bối cảnh lượng lớn dữ liệu văn bản được tạo ra hàng ngày, đòi hỏi các công cụ và kỹ thuật mạnh mẽ để khai thác thông tin một cách hiệu quả.

1.2. So sánh LSA và PLSA Ưu điểm và hạn chế của từng phương pháp

Phân tích ngữ nghĩa tiềm ẩn (Latent Semantic Analysis - LSA) và Mô hình không gian tiềm ẩn xác suất (Probabilistic Latent Semantic Analysis - PLSA) đều là các phương pháp quan trọng trong phân tích ngữ nghĩa, nhưng có những khác biệt cơ bản. LSA sử dụng Phân rã giá trị đơn (Singular Value Decomposition - SVD) để giảm chiều dữ liệu và tìm ra các chủ đề tiềm ẩn, trong khi PLSA là một mô hình sinh (Generative Model) dựa trên lý thuyết xác suất. Ưu điểm của LSA là đơn giản và dễ thực hiện, nhưng nó có thể gặp khó khăn trong việc xử lý các tập dữ liệu văn bản (Text Data) lớn và không có cơ sở xác suất rõ ràng. PLSA khắc phục những hạn chế này bằng cách sử dụng giải thuật EM (Expectation-Maximization Algorithm) để ước lượng các tham số của mô hình, cho phép xử lý dữ liệu lớn hơn và cung cấp một khung lý thuyết xác suất chặt chẽ. Tuy nhiên, PLSA có thể dễ bị overfitting và đòi hỏi nhiều tính toán hơn so với LSA. Sự lựa chọn giữa LSA và PLSA phụ thuộc vào yêu cầu cụ thể của ứng dụng và đặc điểm của dữ liệu văn bản.

II. Vấn Đề Cần Giải Quyết Hạn Chế của Phương Pháp Truy Thống

Các phương pháp phân tích văn bản truyền thống thường dựa trên việc đếm tần suất xuất hiện của từ hoặc sử dụng các quy tắc ngữ pháp đơn giản. Tuy nhiên, những phương pháp này không thể nắm bắt được ngữ nghĩa sâu sắc của văn bản, bỏ qua các mối quan hệ phức tạp giữa các từ và chủ đề. Ví dụ, hai văn bản sử dụng các từ khác nhau nhưng có ý nghĩa tương tự có thể bị coi là khác nhau hoàn toàn. Ngoài ra, các phương pháp truyền thống thường gặp khó khăn trong việc xử lý dữ liệu văn bản lớn và phức tạp, không thể mở rộng để đáp ứng nhu cầu của các ứng dụng hiện đại. Do đó, cần có các phương pháp phân tích văn bản tiên tiến hơn, có khả năng nắm bắt được ngữ nghĩa ẩn của văn bản và xử lý dữ liệu một cách hiệu quả. PLSA ra đời để giải quyết những vấn đề này, cung cấp một cách tiếp cận dựa trên xác suất để khám phá các chủ đề tiềm ẩn trong văn bản.

2.1. Sự khác biệt giữa Phân tích cú pháp và Phân tích ngữ nghĩa

Phân tích cú pháp và phân tích ngữ nghĩa là hai giai đoạn quan trọng trong quá trình Xử lý ngôn ngữ tự nhiên (NLP), nhưng chúng tập trung vào các khía cạnh khác nhau của ngôn ngữ. Phân tích cú pháp liên quan đến việc xác định cấu trúc ngữ pháp của một câu, đảm bảo rằng câu tuân thủ các quy tắc ngữ pháp của ngôn ngữ. Trong khi đó, phân tích ngữ nghĩa tập trung vào việc hiểu ý nghĩa của câu, xác định mối quan hệ giữa các từ và cụm từ, và trích xuất thông tin quan trọng. Phân tích cú pháp là bước đầu tiên để hiểu cấu trúc của ngôn ngữ, nhưng nó không đủ để nắm bắt ý nghĩa thực sự của văn bản. Phân tích ngữ nghĩa đòi hỏi các kỹ thuật phức tạp hơn, chẳng hạn như Phân tích ngữ nghĩa tiềm ẩn (Latent Semantic Analysis - LSA) và Mô hình không gian tiềm ẩn xác suất (Probabilistic Latent Semantic Analysis - PLSA), để khám phá các chủ đề tiềm ẩn và mối quan hệ ngữ nghĩa giữa các từ.

2.2. Thách thức trong việc xử lý đa nghĩa và từ đồng nghĩa

Đa nghĩa (polysemy) và từ đồng nghĩa (synonymy) là những thách thức lớn trong Xử lý ngôn ngữ tự nhiên (NLP). Đa nghĩa xảy ra khi một từ có nhiều nghĩa khác nhau, tùy thuộc vào ngữ cảnh sử dụng. Từ đồng nghĩa xảy ra khi nhiều từ khác nhau có ý nghĩa tương tự. Các phương pháp phân tích văn bản truyền thống thường gặp khó khăn trong việc xử lý hai hiện tượng này, vì chúng chỉ dựa vào tần suất xuất hiện của từ và không thể phân biệt được các nghĩa khác nhau của một từ hoặc nhận ra mối quan hệ giữa các từ đồng nghĩa. Các kỹ thuật như Phân tích ngữ nghĩa tiềm ẩn (Latent Semantic Analysis - LSA) và Mô hình không gian tiềm ẩn xác suất (Probabilistic Latent Semantic Analysis - PLSA) có thể giúp giải quyết những thách thức này bằng cách khám phá các chủ đề tiềm ẩn và mối quan hệ ngữ nghĩa giữa các từ, từ đó cho phép phân biệt các nghĩa khác nhau của một từ và nhận ra mối quan hệ giữa các từ đồng nghĩa.

III. Giải Pháp PLSA Mô Hình Chủ Đề Xác Suất Ưu Việt Nhất

PLSA (Probabilistic Latent Semantic Analysis) là một mô hình chủ đề xác suất, giúp giải quyết các hạn chế của phương pháp truyền thống. Thay vì chỉ dựa vào tần suất từ, PLSA khám phá các chủ đề tiềm ẩn trong văn bản và biểu diễn mỗi văn bản như một hỗn hợp các chủ đề. PLSA là một mô hình sinh, giả định rằng mỗi văn bản được tạo ra bằng cách chọn một số chủ đề, sau đó chọn các từ từ mỗi chủ đề đó. Giải thuật EM (Expectation-Maximization Algorithm) được sử dụng để ước lượng các tham số của mô hình, tối đa hóa khả năng quan sát dữ liệu. PLSA giúp chúng ta hiểu rõ hơn về cấu trúc ngữ nghĩa của văn bản, cho phép phân loại văn bản, tóm tắt văn bản, và phát hiện chủ đề một cách hiệu quả.

3.1. Nguyên lý hoạt động của Mô hình sinh trong PLSA

Mô hình sinh trong PLSA (Probabilistic Latent Semantic Analysis) hoạt động dựa trên giả định rằng mỗi văn bản được tạo ra thông qua một quá trình xác suất. Quá trình này bao gồm việc chọn một số chủ đề từ một phân phối xác suất trên tập chủ đề, sau đó chọn các từ từ mỗi chủ đề đó theo một phân phối xác suất khác. Cụ thể, PLSA giả định rằng mỗi văn bản là một hỗn hợp của các chủ đề, và mỗi chủ đề là một phân phối xác suất trên tập từ vựng. Mục tiêu của PLSA là ước lượng các phân phối xác suất này từ dữ liệu văn bản (Text Data), sử dụng giải thuật EM (Expectation-Maximization Algorithm). Mô hình sinh cho phép PLSA nắm bắt được cấu trúc ngữ nghĩa ẩn của văn bản và biểu diễn mỗi văn bản như một tổ hợp các chủ đề có liên quan.

3.2. Ứng dụng Giải thuật EM để học tham số trong PLSA

Giải thuật EM (Expectation-Maximization Algorithm) là một phương pháp lặp được sử dụng để ước lượng các tham số của PLSA (Probabilistic Latent Semantic Analysis) khi có các biến tiềm ẩn (trong trường hợp này là các chủ đề). Quá trình học máy (Machine Learning) diễn ra thông qua hai bước chính: Bước E (Expectation) và Bước M (Maximization). Trong bước E, giải thuật tính toán xác suất của mỗi chủ đề cho mỗi từ trong mỗi văn bản, dựa trên các ước lượng tham số hiện tại. Trong bước M, giải thuật cập nhật các tham số của mô hình (tức là các phân phối xác suất trên chủ đề và trên từ vựng) để tối đa hóa khả năng quan sát dữ liệu văn bản (Text Data). Quá trình này được lặp lại cho đến khi các tham số hội tụ, tức là không còn thay đổi đáng kể. Giải thuật EM là một phần quan trọng của PLSA, cho phép mô hình học được các chủ đề tiềm ẩn từ dữ liệu văn bản một cách hiệu quả.

IV. Hướng Dẫn Cách Triển Khai PLSA trong Python và R Chi Tiết

Việc triển khai PLSA có thể thực hiện bằng nhiều ngôn ngữ lập trình, trong đó Python và R là hai lựa chọn phổ biến. Python có các thư viện như scikit-learn và gensim cung cấp các công cụ để xây dựng và huấn luyện mô hình PLSA. R cũng có các gói như topicmodels và lsa hỗ trợ việc phân tích chủ đề và phân tích ngữ nghĩa. Quá trình triển khai thường bao gồm các bước như tiền xử lý dữ liệu, xây dựng ma trận đồng xuất hiện, huấn luyện mô hình PLSA bằng giải thuật EM, và đánh giá kết quả. Điều quan trọng là phải chọn số lượng chủ đề phù hợp và điều chỉnh các tham số của mô hình để đạt được hiệu suất tốt nhất. Các ví dụ và hướng dẫn chi tiết có thể tìm thấy trên các trang web và diễn đàn chuyên về học máy và xử lý ngôn ngữ tự nhiên.

4.1. Sử dụng thư viện Gensim trong Python cho Topic Modeling PLSA

Thư viện Gensim trong Python là một công cụ mạnh mẽ để thực hiện Mô hình chủ đề (Topic Modeling), bao gồm cả PLSA (Probabilistic Latent Semantic Analysis). Để sử dụng Gensim cho PLSA, cần thực hiện các bước sau: (1) Chuẩn bị dữ liệu văn bản (Text Data), bao gồm việc loại bỏ các từ dừng, thực hiện stemming hoặc lemmatization, và tạo một từ điển (dictionary) ánh xạ các từ vào các ID duy nhất. (2) Tạo một corpus, là một danh sách các vector, mỗi vector đại diện cho một văn bản và chứa tần suất xuất hiện của các từ trong văn bản đó. (3) Sử dụng hàm LdaModel của Gensim để xây dựng và huấn luyện mô hình PLSA, chỉ định số lượng chủ đề mong muốn. (4) Truy xuất các chủ đề học được và đánh giá kết quả. Gensim cung cấp nhiều tùy chọn để điều chỉnh các tham số của mô hình và đánh giá hiệu suất, giúp đạt được kết quả tốt nhất.

4.2. Triển khai PLSA trong R với gói topicmodels hiệu quả

Gói topicmodels trong R là một công cụ hữu ích để triển khai PLSA (Probabilistic Latent Semantic Analysis). Để sử dụng gói topicmodels, cần thực hiện các bước sau: (1) Cài đặt và tải gói topicmodels. (2) Chuẩn bị dữ liệu văn bản (Text Data), bao gồm việc tạo một ma trận đồng xuất hiện (Co-occurrence Matrix) hoặc một đối tượng DocumentTermMatrix từ gói tm. (3) Sử dụng hàm LDA của gói topicmodels để xây dựng và huấn luyện mô hình PLSA, chỉ định số lượng chủ đề mong muốn. (4) Truy xuất các chủ đề học được và đánh giá kết quả. Gói topicmodels cung cấp nhiều tùy chọn để điều chỉnh các tham số của mô hình và đánh giá hiệu suất, giúp đạt được kết quả tốt nhất. Việc sử dụng gói topicmodels giúp đơn giản hóa quá trình triển khai PLSA trong R và cho phép tập trung vào việc phân tích và diễn giải kết quả.

V. Ứng Dụng Thực Tiễn PLSA trong Phân Tích Dữ Liệu Lớn

PLSA có nhiều ứng dụng thực tiễn trong phân tích dữ liệu lớn (Big Data Analytics). Trong lĩnh vực tin tức, PLSA có thể được sử dụng để tự động phân loại tin tức theo chủ đề, giúp người dùng dễ dàng tìm kiếm và theo dõi các tin tức quan trọng. Trong lĩnh vực thương mại điện tử, PLSA có thể được sử dụng để phân tích đánh giá sản phẩm, giúp người bán hiểu rõ hơn về nhu cầu của khách hàng và cải thiện chất lượng sản phẩm. Trong lĩnh vực mạng xã hội, PLSA có thể được sử dụng để phát hiện các xu hướng và chủ đề thảo luận, giúp các nhà quản lý mạng xã hội hiểu rõ hơn về cộng đồng của mình. PLSA cũng có thể được sử dụng trong các ứng dụng khác như tóm tắt văn bản, phân loại văn bản, và hệ thống khuyến nghị.

5.1. Phân tích chủ đề tin tức và phát hiện xu hướng với PLSA

PLSA (Probabilistic Latent Semantic Analysis) là một công cụ mạnh mẽ để phân tích chủ đề tin tức và phát hiện các xu hướng trong dữ liệu văn bản (Text Data) lớn. Bằng cách áp dụng PLSA vào một tập hợp các bài báo tin tức, có thể tự động khám phá các chủ đề chính được đề cập trong các bài báo đó, chẳng hạn như chính trị, kinh tế, thể thao, và văn hóa. Hơn nữa, PLSA có thể được sử dụng để theo dõi sự thay đổi của các chủ đề theo thời gian, giúp xác định các xu hướng mới nổi và các sự kiện quan trọng. Việc phân tích chủ đề tin tức và phát hiện xu hướng có thể cung cấp thông tin quý giá cho các nhà báo, nhà nghiên cứu, và các nhà hoạch định chính sách.

5.2. Cải thiện hệ thống khuyến nghị sản phẩm bằng PLSA

PLSA (Probabilistic Latent Semantic Analysis) có thể được sử dụng để cải thiện hiệu suất của các hệ thống khuyến nghị sản phẩm. Thay vì chỉ dựa vào lịch sử mua hàng và đánh giá sản phẩm, PLSA có thể phân tích mô tả sản phẩm và đánh giá của người dùng để khám phá các chủ đề tiềm ẩn liên quan đến sản phẩm. Bằng cách biểu diễn sản phẩm và người dùng dưới dạng các vector chủ đề, có thể tính toán độ tương đồng giữa sản phẩm và người dùng và đưa ra các khuyến nghị phù hợp. Cách tiếp cận này có thể giúp cải thiện độ chính xác và đa dạng của các khuyến nghị, mang lại trải nghiệm tốt hơn cho người dùng.

VI. Đánh Giá Tương Lai Cải Tiến PLSA và Các Hướng Nghiên Cứu

Mặc dù PLSA là một công cụ mạnh mẽ, nó vẫn có những hạn chế. Một trong những hạn chế lớn nhất là PLSA có xu hướng overfitting, đặc biệt là khi làm việc với dữ liệu nhỏ. Để khắc phục hạn chế này, các nhà nghiên cứu đã đề xuất nhiều cải tiến cho PLSA, chẳng hạn như thêm các điều kiện tiên nghiệm (priors) hoặc sử dụng các phương pháp chính quy hóa (regularization). Một hướng nghiên cứu khác là kết hợp PLSA với các kỹ thuật khác, chẳng hạn như mạng nơ-ron, để tạo ra các mô hình mạnh mẽ hơn. Tương lai của PLSA hứa hẹn nhiều tiềm năng, với nhiều hướng nghiên cứu và ứng dụng mới đang được khám phá.

6.1. So sánh PLSA với các mô hình chủ đề khác LDA NMF

PLSA (Probabilistic Latent Semantic Analysis), LDA (Latent Dirichlet Allocation), và NMF (Non-negative Matrix Factorization) đều là các mô hình chủ đề (Topic Modeling), nhưng chúng có những khác biệt quan trọng. PLSA là một mô hình sinh dựa trên lý thuyết xác suất, sử dụng giải thuật EM (Expectation-Maximization Algorithm) để ước lượng các tham số. LDA cũng là một mô hình sinh, nhưng nó sử dụng một phân phối Dirichlet để mô hình hóa phân phối của các chủ đề trong mỗi văn bản, giúp giảm nguy cơ overfitting. NMF là một phương pháp phân tích ma trận, phân tích ma trận đồng xuất hiện (Co-occurrence Matrix) thành tích của hai ma trận không âm, đại diện cho các chủ đề và sự đóng góp của chúng vào mỗi văn bản. Sự lựa chọn giữa các mô hình này phụ thuộc vào yêu cầu cụ thể của ứng dụng và đặc điểm của dữ liệu văn bản (Text Data).

6.2. Hướng nghiên cứu và cải tiến PLSA trong tương lai

Trong tương lai, có nhiều hướng nghiên cứu và cải tiến PLSA (Probabilistic Latent Semantic Analysis). Một hướng là phát triển các phương pháp để giảm nguy cơ overfitting, chẳng hạn như thêm các điều kiện tiên nghiệm hoặc sử dụng các phương pháp chính quy hóa. Một hướng khác là kết hợp PLSA với các kỹ thuật khác, chẳng hạn như mạng nơ-ron, để tạo ra các mô hình mạnh mẽ hơn. Ngoài ra, có thể nghiên cứu các ứng dụng mới của PLSA trong các lĩnh vực như phân tích dữ liệu lớn (Big Data Analytics), học máy (Machine Learning), và xử lý ngôn ngữ tự nhiên (NLP). Các nghiên cứu này có thể giúp PLSA trở thành một công cụ hữu ích hơn trong việc khám phá và khai thác thông tin từ dữ liệu văn bản.

Trích đoạn nội dung tài liệu

MỞ ĐẦU. GIỚI TIHIỆU ĐỀ TÀI CHƯƠNG2. Ngữ nghĩa ẫn (Hidden semantics} 3. Mô hình xác suất (Probabilistie models) 3.

Mô hình chủ dễ (Tepie models).1, Như cầu của phân tích văn bản. Khái niệm về chủ để 2.3, Mô hình chủ đề (†opie model),. Ứng dụng của mô hình chủ io* 2. Một số thuật ngữ, kí hiệu.

MO HINH PLSA PHAN TICH NGC NGHIA AN TRONG VAN 3.1, Phan tích ngtt nghia an (LSA) 3. Mô hình PL8A. Học mö hình bằng thuật toán EM.4, Quả trình suy diễn của mỏ hình PURA. THỰC NGHTEM VA ĐÁNH GIÁ Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA.

LOI CAM ON Đầu tiên, em muốn gửi lời biết ơn chan thành tới T8. Thân Quang Khoát, người trực tiếp hướng dẫn và tạo điên kiện cho em vẻ thời gian, những sự giúp đỡ tận tình về kiến thức, sự chỉ đẫn, đính hướng và lài liệu tham khảo quý báu. 'Tiếp theo, em xin cám ơn các thấy cô trong Viện Công nghé théng tin va Truyền thông — Đại học Bách khoa Hà Nội đã giảng dạy, truyền đạt kiến thức cho em trong, suốt (hỡi giant qua. Tôi cũng xin cảm ơn gia định, bạn bè đã chia sẽ, giúp đỡ tôi trong học tập và thời gian thực hiện nghiên cứu để tải này.

Trong báo cáo này chắc chân không tránh khỏi những chỗ thiểu sói, em mong nhận được những lời góp ý, chỉ bão từ các thầy sô dễ có thể hoàn thiên dễ tải của mình tốt hơn. Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. Dữ liệu thực nghiệm. Perplexity khi số lượng chủ dễ tăng lên.

Perplexity khi kích thước tập huận luyện tăng lên 4.3, Khã năng tổng quát hỏa trong quả trinh học 4. Đệ mạch lạc và phân tách của các chủ đề 4.4, Thời gian huấn luyện. Likelihond va convergence AS. Số lần lặp trong quá trinh huận luyện.

TAI LIBU THAM KHẢO Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. LỜI CAM ĐOAN Tuan vin Thạc sĩ “Phan lich ngữ nghĩa. an trơng đữ liệu” là của gá nhân Lôi. Các nội dung, nghiền cứu vá kết quả trinh bày trong luận văn là trung thực rõ ràng, Các tài liệu tham khảo, nội dung trích dẫn đã ghỉ rõ nguồn gốc.

ANgày 28 thắng 9 năm 2016 Tác giá luận văn Luu Trong Dai Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. Hình 26, 5o sánh sự thay d6i gia tri convergence khi hudn luyén voi 50 topic trén 2 tập dữ liệu AP và ViexpT€s8. 5o sánh sự thay đối giá Irị convergeneo khủ số lượng topic lăng lên trên tập dữ liệu AE. So sánh sự thay đối giá trị convergence khi số lượng topic tăng lên trên tập đữ liệu Vnexpross.

- - - 52 Hình 29, Giá trị log-likelihood khi thay đổi số lượng topic của tập tải ligy AP. Giá trị log-likelihood khi thay đối số lượng topic của tập tài liệu Vnexpress - - - 34 Linh 31. Se sánh giá trị log-likelthood khi huấn luyện với 10 topie với bộ dữ liệu ÁP và ViieXpress. So sánh giả trị log-Hkebhood khi huấn luyện với 50 lopie với bộ dữ liệu ÁP và VieXpress.

Biếu để số lần lặp trong quá trinh học của tập tài liệu AP - 56 Tình 34. Biểu đỗ số lần lắp trong quá trình học của lập lải liệu Viiexpress 56 Hình 35. Biểu đồ sơ sảnh số lần lặp đổi với 2 bộ đữ liệu AP va Vnexpress .57 Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. LOI CAM ON Đầu tiên, em muốn gửi lời biết ơn chan thành tới T8.

Thân Quang Khoát, người trực tiếp hướng dẫn và tạo điên kiện cho em vẻ thời gian, những sự giúp đỡ tận tình về kiến thức, sự chỉ đẫn, đính hướng và lài liệu tham khảo quý báu. 'Tiếp theo, em xin cám ơn các thấy cô trong Viện Công nghé théng tin va Truyền thông — Đại học Bách khoa Hà Nội đã giảng dạy, truyền đạt kiến thức cho em trong, suốt (hỡi giant qua. Tôi cũng xin cảm ơn gia định, bạn bè đã chia sẽ, giúp đỡ tôi trong học tập và thời gian thực hiện nghiên cứu để tải này. Trong báo cáo này chắc chân không tránh khỏi những chỗ thiểu sói, em mong nhận được những lời góp ý, chỉ bão từ các thầy sô dễ có thể hoàn thiên dễ tải của mình tốt hơn.

Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. LỜI CAM ĐOAN Tuan vin Thạc sĩ “Phan lich ngữ nghĩa. an trơng đữ liệu” là của gá nhân Lôi. Các nội dung, nghiền cứu vá kết quả trinh bày trong luận văn là trung thực rõ ràng, Các tài liệu tham khảo, nội dung trích dẫn đã ghỉ rõ nguồn gốc.

ANgày 28 thắng 9 năm 2016 Tác giá luận văn Luu Trong Dai Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. TM Thuật toan Expectation Maximization ding 48 cuc dai Hóa kỉ vọng Likelihood Ham khả năng, Log-tikelihood Lay logarit ham kha ning Convergence Hội lụ: độ cải thiện của hàm log-likelihood. Perplexity Đỏ do khả năng tổng quát hóa của mô hình Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. TM Thuật toan Expectation Maximization ding 48 cuc dai Hóa kỉ vọng Likelihood Ham khả năng, Log-tikelihood Lay logarit ham kha ning Convergence Hội lụ: độ cải thiện của hàm log-likelihood.

Perplexity Đỏ do khả năng tổng quát hóa của mô hình Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. LỜI CAM ĐOAN Tuan vin Thạc sĩ “Phan lich ngữ nghĩa. an trơng đữ liệu” là của gá nhân Lôi. Các nội dung, nghiền cứu vá kết quả trinh bày trong luận văn là trung thực rõ ràng, Các tài liệu tham khảo, nội dung trích dẫn đã ghỉ rõ nguồn gốc.

ANgày 28 thắng 9 năm 2016 Tác giá luận văn Luu Trong Dai Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. ĐANH MỤC CÁC HÌNH VẼ Hình 1. Các chủ đề và mối quan hệ giữa các chủ đề trong một tập vẫn bản 1,. Nội dưng ẫn chứa bên trong nhimg bite anh! 17 Hình 3.

Những con người và hành động tong mội video lÌ. Những cộng đồng mạng và mỗi quan hệ giữa các công đồng mạng trong các mang xa hei" - - 18 Hinh 5. Cac giai đoạn của một rnô hình xác suất EÌ 19 Tinh 6. Top 10 tử có xác suất cao nhất trang các chủ đề học được tù mô hình LDA.000 bái bảo của Nytimes ?Ì.

Phan lich ma trận từ-văn bân - 2 Hình #. Mô hình chủ đề cho dữ liệu văn bán F1, 23 Hình 9. Dùng mô hành chủ để để phái hiện các chủ để Ấn trong lập văn bản Í. Dùng mó hình chủ để theo dõi sự thay đổi của chủ để theo thời gian 1,25 Linh 11.

Dùng mô hình chủ đề phát biện mỏi quan hệ giữa các chú để ff1. Dùng mô hình chủ để để tìm ra hệ thống phân cấp của các chủ đề Ứ1,. Dùng mỏ hình chủ dễ dễ tìm ra các yếu tổ ảnh hưởng trone bằu cũ ỨÌ. Minh hoạ cho Dag of worắt.

Mé hinh sinh ctia PLSA - - - 32 Hình 16, Cầu trúc chung của mô hình PLSA PJ, 34 Tĩinh 17. Giá trị perplexity của đữ liệu AP khi tăng số topic. Gia tri perplexity của dữ liệu Vuexpress khi tăng số topic 42 linh 19. Sự thay đổi của perplexity khi tăng kich thước bộ huần luyện.

Giá trị perplexity ở các lần lặp EM eta AP 43 Tình 21. Giá trị perplexuty ở các lân lặp EM của Vnexpress. - 44 Fhời gian huẳn luyện vời bộ tái liệu AP 48 Hình 23. Thời gian huẳn luyện với bộ tài liệu Vnexpress 49 Tình 24.

Thời gian huấn luyện khi thay dỗi kích cõ tập dữ liệu học. 49 Hinh 2 So sảnh sự thay đối giá tri convergence khi huan luyén voi 10 topic trên 2 tập dữ liệu ÁP và Vnexpress. - 50 Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. DANH MUC CAC TI VIET TAT VA THUAT NGỮ ‘Machine Leaming Tloc may 18 mét link vic trong trí tuệ nhân tạo ‘Unsupervised learning Học không có giám sắt Supervised learning Học có giám sat Probabilistic model | Mô hình xác suất LSA Latent semantic analysis: phân tích ngữ nghĩa ân.

PLSA Probabilistic Intent. scmnanitic analysis: phan lich ngữ nghĩa ẫn có xác suất SVD Singular Value Decomposition: ki thuat phan tích giá trị riêng Training phase Qua trinh buan Inyén (qua trinh học) Inference phase Quả trính suy điển Corpus Tập văn bản Topic Chủ dễ Hidden symatics Ngữ nghĩa ân Topic model Mô hình chủ để ‘Topic mixture ‘Ti 18 phan bé của các chú dé trong văn bản Co-occurrence Bang dir Ligu đồng thời từ-văn bán. Parameters Các tham số của mô hình vị Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. Hình 26, 5o sánh sự thay d6i gia tri convergence khi hudn luyén voi 50 topic trén 2 tập dữ liệu AP và ViexpT€s8.

5o sánh sự thay đối giá Irị convergeneo khủ số lượng topic lăng lên trên tập dữ liệu AE. So sánh sự thay đối giá trị convergence khi số lượng topic tăng lên trên tập đữ liệu Vnexpross. - - - 52 Hình 29, Giá trị log-likelihood khi thay đổi số lượng topic của tập tải ligy AP. Giá trị log-likelihood khi thay đối số lượng topic của tập tài liệu Vnexpress - - - 34 Linh 31.

Se sánh giá trị log-likelthood khi huấn luyện với 10 topie với bộ dữ liệu ÁP và ViieXpress. So sánh giả trị log-Hkebhood khi huấn luyện với 50 lopie với bộ dữ liệu ÁP và VieXpress. Biếu để số lần lặp trong quá trinh học của tập tài liệu AP - 56 Tình 34. Biểu đỗ số lần lắp trong quá trình học của lập lải liệu Viiexpress 56 Hình 35.

Biểu đồ sơ sảnh số lần lặp đổi với 2 bộ đữ liệu AP va Vnexpress .57 Phân tích ngữ nghĩa ẩn trong dữ liệu với PLSA. ĐANH MỤC CÁC HÌNH VẼ Hình 1. Các chủ đề và mối quan hệ giữa các chủ đề trong một tập vẫn bản 1,. Nội dưng ẫn chứa bên trong nhimg bite anh! 17 Hình 3.

Những con người và hành động tong mội video lÌ. Những cộng đồng mạng và mỗi quan hệ giữa các công đồng mạng trong các mang xa hei" - - 18 Hinh 5. Cac giai đoạn của một rnô hình xác suất EÌ 19 Tinh 6. Top 10 tử có xác suất cao nhất trang các chủ đề học được tù mô hình LDA.000 bái bảo của Nytimes ?Ì.

Phan lich ma trận từ-văn bân - 2 Hình #. Mô hình chủ đề cho dữ liệu văn bán F1, 23 Hình 9. Dùng mô hành chủ để để phái hiện các chủ để Ấn trong lập văn bản Í. Dùng mó hình chủ để theo dõi sự thay đổi của chủ để theo thời gian 1,25 Linh 11.

Dùng mô hình chủ đề phát biện mỏi quan hệ giữa các chú để ff1. Dùng mô hình chủ để để tìm ra hệ thống phân cấp của các chủ đề Ứ1,. Dùng mỏ hình chủ dễ dễ tìm ra các yếu tổ ảnh hưởng trone bằu cũ ỨÌ. Minh hoạ cho Dag of worắt.