Luận Án Tốt Nghiệp: Phát Triển Mô Hình Nơ Ron Để Phân Tích Quan Điểm Theo Khía Cạnh

Tài liệu nghiên cứu Luận án tốt nghiệp phát triển mô hình dựa trên mạng nơ ron cho phân tích quan điểm theo khía cạnh, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Người hướng dẫn: PGS. Lê Anh Cường
• Trường học: Đại học Công nghệ, Đại học Quốc gia Hà Nội
• Chuyên ngành: Khoa học máy tính
• Đề tài: Mô Hình Nơ Ron Cho Phân Tích Quan Điểm
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 20
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• MỤC LỤC
• DANH MỤC CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU
• 1.1. Giới thiệu bài toán
• 1.2. Các bài toán trong phân tích quan điểm
• 1.2.1. Tổng quan một hệ thống phân tích quan điểm
• 1.2.2. Phân tích quan điểm cho toàn bộ văn bản
• 1.2.3. Phân tích quan điểm theo khía cạnh
• 1.2.4. Các bài toán trong phân tích quan điểm theo khía cạnh
• 1.3. Các nghiên cứu liên quan
• 1.3.1. Trích xuất từ thể hiện khía cạnh
• 1.3.2. Xác định khía cạnh
• 1.3.3. Phân đoạn khía cạnh
• 1.3.4. Phân loại quan điểm theo khía cạnh
• 1.3.5. Xếp hạng khía cạnh
• 1.3.6. Xác định hạng và trọng số khía cạnh ẩn
• 1.4. Các tiếp cận giải quyết bài toán
• 1.5. Nghiên cứu trên thế giới và Việt Nam
• 2. CHƯƠNG 2: KIẾN THỨC CƠ SỞ
• 2.1. Các ký hiệu và khái niệm liên quan
• 2.2. Các mô hình học máy cơ sở cho phân tích quan điểm theo khía cạnh
• 2.2.1. Mô hình hồi quy đánh giá ẩn
• 2.2.2. Thuật toán xác suất xếp hạng khía cạnh
• 2.2.3. Các mô hình học biểu diễn mức từ, câu, đoạn/văn bản
• 2.2.3.1. Mô hình Word2Vec
• 2.2.3.2. Mô hình GloVe
• 2.2.3.3. Mô hình véc-tơ Paragraph
• 2.2.3.4. Mô hình mạng nơ-ron tích chập CNN
• 2.2.3.5. Mô hình véc-tơ kết hợp
• 2.4. Kết luận và thảo luận
• 3. CHƯƠNG 3: ĐỀ XUẤT MÔ HÌNH DỰA TRÊN MẠNG NƠ-RON XÁC ĐỊNH HẠNG VÀ TRỌNG SỐ KHÍA CẠNH CỦA THỰC THỂ
• 3.1. Mô hình hóa bài toán
• 3.1.1. Bài toán xác định hạng và trọng số khía cạnh ẩn của thực thể
• 3.1.2. Bài toán xác định trọng số khía cạnh chung của các thực thể
• 3.2. Phương pháp đề xuất
• 3.2.1. Xác định hạng và trọng số khía cạnh ẩn của thực thể sử dụng mô hình mạng nơ-ron một lớp ẩn
• 3.2.2. Xác định hạng và trọng số khía cạnh ẩn của thực thể sử dụng mô hình học biểu diễn đa tầng
• 3.2.3. Xác định trọng số khía cạnh chung của thực thể sử dụng mô hình mạng nơ-ron
• 3.3. Cài đặt mô hình
• 3.4. Kết quả thực nghiệm
• 3.5. Hiệu quả của các tham số trong mô hình LRNN-ASR
• 4. CHƯƠNG 4: HỌC VEC-TƠ BIỂU DIỄN TỪ CHO PHÂN TÍCH QUAN ĐIỂM THEO KHÍA CẠNH
• 4.1. Mô hình hóa bài toán
• 4.1.1. Bài toán tinh chỉnh véc-tơ biểu diễn từ
• 4.1.2. Bài toán học véc-tơ biểu diễn từ
• 4.2. Phương pháp đề xuất
• 4.2.1. Mô hình tinh chỉnh véc-tơ biểu diễn từ
• 4.2.2. Mô hình học véc-tơ biểu diễn từ SSCWE
• 4.3. Dữ liệu thực nghiệm và các độ đo
• 4.4. Cài đặt và đánh giá mô hình tinh chỉnh véc-tơ từ WEFT
• 4.4.1. Cài đặt mô hình
• 4.4.2. Đánh giá mô hình
• 4.5. Cài đặt và đánh giá mô hình SSCWE
• 4.5.1. Cài đặt mô hình
• 4.5.2. Đánh giá mô hình
• 4.5.3. So sánh hai mô hình WEFT và SSCWE
• 5. CHƯƠNG 5: MÔ HÌNH ĐA KÊNH DỰA TRÊN CNN NHẰM KHAI THÁC ĐA VEC-TƠ BIỂU DIỄN TỪ VÀ KÝ TỰ CHO PHÂN TÍCH QUAN ĐIỂM THEO KHÍA CẠNH
• 5.1. Mô tả bài toán
• 5.2. Phương pháp đề xuất
• 5.2.1. Thành phần tích chập
• 5.2.2. Mô hình mạng nơ-ron tích chập đa kênh cho phân tích quan điểm theo khía cạnh
• 5.3. Dữ liệu thực nghiệm và cài đặt mô hình MCNN
• 5.4. Môi trường và thời gian thực nghiệm
• 5.5. Hiệu quả của các loại tham số
• KẾT LUẬN
• DANH MỤC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan vấn đề nghiên cứu

Chương này trình bày tổng quan về các vấn đề nghiên cứu trong luận án, bao gồm giới thiệu chung về bài toán, kiến trúc chung của một hệ thống phân tích quan điểm, các bài toán trong phân tích quan điểm theo khía cạnh, các nghiên cứu liên quan, các tiếp cận, và tình hình nghiên cứu trên thế giới và Việt Nam. Sự phát triển của mô hình nơ ron đã mở ra nhiều cơ hội mới trong việc phân tích dữ liệu và phân tích quan điểm. Các nghiên cứu hiện tại cho thấy rằng việc áp dụng học sâu có thể cải thiện đáng kể độ chính xác trong việc phân loại và phân tích các khía cạnh khác nhau của ý kiến. Tuy nhiên, vẫn còn nhiều thách thức trong việc xử lý và biểu diễn dữ liệu, đặc biệt là trong việc xác định các khía cạnh ẩn và trọng số của chúng.

1.1 Giới thiệu bài toán

Các ý kiến phản hồi của khách hàng đối với các sản phẩm, dịch vụ trực tuyến trên mạng Internet là nguồn thông tin quan trọng đối với các doanh nghiệp. Chúng giúp họ hiểu được điểm mạnh, điểm yếu trong sản phẩm, dịch vụ của mình. Tuy nhiên, với số lượng ý kiến rất lớn và cập nhật liên tục, nhu cầu xây dựng một hệ thống tự động để phân tích quan điểm trở nên cấp thiết. Các mô hình hiện tại thường chỉ tập trung vào việc đánh giá tổng thể, trong khi thực tế, khách hàng thường bày tỏ quan điểm về nhiều khía cạnh khác nhau. Do đó, việc phát triển các mô hình nơ ron cho phép phân tích theo khía cạnh là rất cần thiết.

1.2 Các bài toán trong phân tích quan điểm

Phân tích quan điểm theo khía cạnh bao gồm nhiều bài toán khác nhau như xác định khía cạnh, phân loại quan điểm, và xếp hạng khía cạnh. Mỗi bài toán đều có những thách thức riêng, đặc biệt là trong việc xử lý ngôn ngữ tự nhiên. Các mô hình nơ ron có thể được áp dụng để giải quyết các bài toán này thông qua việc học các đặc trưng từ dữ liệu lớn. Việc sử dụng học sâu giúp cải thiện khả năng nhận diện và phân loại các khía cạnh, từ đó nâng cao độ chính xác trong việc phân tích ý kiến.

II. Kiến thức cơ sở

Chương này trình bày các khái niệm và ký hiệu liên quan đến mô hình nơ ron và các phương pháp học máy cơ sở cho phân tích quan điểm. Các mô hình học máy như hồi quy đánh giá ẩn và các mô hình học biểu diễn như Word2Vec, GloVe, và mạng nơ ron tích chập (CNN) sẽ được thảo luận. Những mô hình này đã chứng minh được hiệu quả trong việc xử lý ngôn ngữ tự nhiên và có thể được áp dụng cho các bài toán phân tích quan điểm. Việc hiểu rõ các mô hình này là rất quan trọng để phát triển các phương pháp mới nhằm cải thiện độ chính xác và hiệu quả trong phân tích dữ liệu.

2.1 Các ký hiệu và khái niệm liên quan

Các ký hiệu và khái niệm cơ bản trong lĩnh vực phân tích quan điểm sẽ được giới thiệu. Điều này bao gồm các thuật ngữ như khía cạnh, trọng số khía cạnh, và các mô hình học máy cơ sở. Việc nắm vững các khái niệm này sẽ giúp cho việc áp dụng các mô hình nơ ron trở nên hiệu quả hơn. Các khái niệm này cũng sẽ được sử dụng để xây dựng các mô hình mới trong luận án.

2.2 Các mô hình học máy cơ sở cho phân tích quan điểm

Các mô hình học máy cơ sở như hồi quy đánh giá ẩn và các mô hình học biểu diễn sẽ được phân tích. Những mô hình này đã được áp dụng thành công trong nhiều bài toán khác nhau và có thể được cải tiến để phục vụ cho phân tích quan điểm. Việc áp dụng các mô hình nơ ron trong lĩnh vực này sẽ giúp nâng cao khả năng phân loại và xác định khía cạnh của các ý kiến.

III. Đề xuất mô hình dựa trên mạng nơ ron

Chương này tập trung vào việc đề xuất các mô hình dựa trên mạng nơ ron nhằm xác định hạng và trọng số khía cạnh của thực thể. Các mô hình này được thiết kế để giải quyết các bài toán cụ thể trong phân tích quan điểm. Việc sử dụng các mô hình học sâu cho phép khai thác thông tin từ nhiều nguồn khác nhau, từ đó cải thiện độ chính xác trong việc phân loại và xác định khía cạnh. Các kết quả thực nghiệm sẽ được trình bày để chứng minh hiệu quả của các mô hình đề xuất.

3.1 Mô hình hóa bài toán

Mô hình hóa bài toán xác định hạng và trọng số khía cạnh ẩn của thực thể là một trong những nhiệm vụ chính trong chương này. Việc xác định hạng và trọng số khía cạnh ẩn sẽ giúp cho việc phân tích quan điểm trở nên chính xác hơn. Các mô hình nơ ron một lớp ẩn và mô hình học biểu diễn đa tầng sẽ được áp dụng để giải quyết bài toán này.

3.2 Cài đặt mô hình

Cài đặt mô hình sẽ được thực hiện trên các tập dữ liệu thực tế để đánh giá hiệu quả của các mô hình đề xuất. Các độ đo điển hình sẽ được sử dụng để đánh giá kết quả thực nghiệm. Việc cài đặt mô hình không chỉ giúp kiểm tra tính khả thi mà còn cung cấp thông tin quý giá cho việc cải tiến các mô hình trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1 Tổng quan vấn đề nghiên cứu Chương này trình bày tổng quan về các vấn đề nghiên cứu trong luận án, bao gồm: giới thiệu chung về bài toán, kiến trúc chung của một hệ thống phân tích quan điểm; các bài toán trong phân tích quan điểm theo khía cạnh; các nghiên cứu liên quan; các tiếp cận; tình hình nghiên cứu trên thế giới và Việt Nam. Sau khi phân tích, đánh giá những điểm còn tồn tại từ các nghiên cứu liên quan, phần thảo luận sẽ được trình bày, đưa ra các bài toán mà luận án sẽ giải quyết. Lý do và động lực đề xuất mô hình cho mỗi bài toán cũng sẽ được đưa ra.1 Giới thiệu bài toán Các ý kiến phản hồi của khách hàng đối với các sản phẩm, dịch vụ trực tuyến trên mạng Internet là nguồn thông tin quan trọng đối với các doanh nghiệp bởi vì nó giúp họ hiểu được điểm mạnh, điểm yếu trong sản phẩm, dịch vụ của mình, đồng thời nhanh chóng nắm bắt được tâm lý và nhu cầu khách hàng để mang đến cho họ sản phẩm, dịch vụ tốt hơn. Tuy nhiên với số lượng ý kiến rất lớn và cập nhật liên tục thì sẽ nảy sinh nhu cầu xây dựng một hệ thống tự động để phân tích và khai phá quan điểm.

Mỗi ý kiến đánh giá thường bao gồm thông tin về các sản phẩm hay dịch vụ, các sự kiện, sự việc, cơ quan tổ chức được đánh giá và quan điểm của người đánh giá đối với các loại đối tượng này. Sau đây ta sẽ gọi chung các đối tượng được đánh giá là các thực thể và khi cần sẽ đề cập riêng để nhấn mạnh thực thể chung hay là khía cạnh (aspect) của thực thể. Quan điểm là các ý kiến chủ quan mà con người nói về các thực thể. Nhiệm vụ của phân tích quan điểm là xác định thực thể cùng các khía cạnh của nó nhằm tính toán quan điểm, đánh giá thái độ và cảm xúc của con người đối với thực thể cũng như các khía cạnh (thuộc tính, thành phần) của thực thể.

Thông tin quan điểm đối với một thực thể cụ thể có vai trò rất quan trọng, bởi khi 5 chúng ta cần đưa ra một quyết định liên quan tới một thực thể nào đó, chúng ta thường quan tâm tới ý kiến của người khác đối với thực thể đó, theo dạng như “Những người khác đã nghĩ và đánh giá về thực thể đó như thế nào?”. Ví dụ khi chúng ta muốn mua một chiếc điện thoại iPhone X 64GB chúng ta sẽ muốn tìm hiểu hoặc hỏi bạn bè và người thân “Điện thoại iPhone X 64GB có tốt không? Hệ điều hành IOS của iPhone thế nào? Camera quay video và chụp ảnh có đẹp không?. Như vậy quan điểm của người khác giúp các cá nhân có thêm thông tin trước khi quyết định một vấn đề. Ngoài ra khi biết được thông tin quan điểm đối với một sản phẩm, dịch vụ từ các khách hàng thì rõ ràng nó giúp mang lại các thông tin hữu ích cho các công ty, tổ chức thay đổi hoặc cải tiến dòng sản phẩm, dịch vụ của mình.

Bên cạnh đó thông tin quan điểm phân tích được trên một cộng đồng dân chúng còn giúp các chính quyền nắm được hiểu quả của các chính sách khi áp dụng trong xã hội.2 Các bài toán trong phân tích quan điểm 1.1 Tổng quan một hệ thống phân tích quan điểm Ngày nay đã có nhiều hệ thống phân tích quan điểm làm việc với những miền dữ liệu khác nhau, như hệ thống Smcc1 của công ty InfoRe làm việc trên miền dữ liệu sản phẩm điện thoại di động, hệ thống Vsocial 2 của công ty Tecapro làm việc trên miền dữ liệu ngân hàng. Nhìn chung, mô hình biểu diễn kiến trúc chung của một hệ thống khai phá và phân tích quan điểm được thể hiện như trong Hình 1. Xuất phát từ nguồn dữ liệu đánh giá thực thể của người sử dụng trên các hệ thống như Amazon3 , Tripadvisor4 , Youtube5 , Thegioididong6. Hệ thống phân tích quan điểm làm việc với các nguồn dữ liệu này, gồm các thành phần chính như sau: 1 smcc.1: Kiến trúc tổng quan của hệ thống phân tích quan điểm • Thu thập (crawler) • Tiền xử lý (pre-processing) • Trích chọn đặc trưng (feature extraction, data representation) • Học máy (machine learning) Thu thập: Là thành phần tự động lấy dữ liệu đánh giá của người dùng từ các hệ thống trực tuyến (Web).

Tiền xử lý: Thành phần này có nhiệm vụ xử lý dữ liệu, gồm các công việc như: loại bỏ từ dừng, chuẩn hóa các từ và dấu cách, tách từ. Trích chọn đặc trưng: Sử dụng kỹ thuật biểu diễn văn bản (ví dụ mô hình bag of word) để biểu diễn các văn bản đầu vào thành các véc-tơ đặc trưng. Học máy: Gồm có hai pha: huấn luyện, và dự đoán. Pha huấn luyện sử dụng tập dữ liệu huấn luyện làm đầu vào và có nhiệm vụ học một mô hình dự đoán.

Pha dự đoán có nhiệm vụ tính toán để phân loại quan điểm cho các véc-tơ biểu diễn văn bản từ đầu vào.2 Phân tích quan điểm cho toàn bộ văn bản Phân tích quan điểm cho toàn bộ văn bản là bài toán cơ bản nhất trong phân tích quan điểm. Cũng giống bài toán phân lớp văn bản thông thường. Cho trước một tập các văn bản đánh giá sản phẩm, đối với từng văn bản đầu vào, bài toán yêu cầu tính điểm (phân loại) quan điểm chung cho nó. Dựa trên điểm quan điểm đã đạt được, từng văn bản sau đó được gán các nhãn quan điểm hoặc các hạng tương ứng.

Các nhãn có thể được gán như nhãn tích cực (Positive) hoặc tiêu cực (Negative) hoặc trung lập. Trong trường hợp cần xếp hạng quan điểm cho văn bản thì hạng được gán cho văn bản là “1 sao” (có nghĩa là rất tiêu cực) hoặc “2 sao” (tiêu cực mức trung bình) hoặc “3 sao” (trung lập) hoặc “4 sao” (tích cực) hoặc “5 sao” (rất tích cực). Việc phân tích quan điểm theo loại bài toán này thường ở mức tài liệu và không quan tâm tới vấn đề chi tiết hơn như người đánh giá sản phẩm thích hay không thích khía cạnh nào của sản phẩm.3 Phân tích quan điểm theo khía cạnh Chúng ta dễ thấy rằng đánh giá một quan điểm cho toàn bộ văn bản là không đủ chi tiết cho các ứng dụng thực tế. Một văn bản đánh giá tích cực về một đối tượng cụ thể không có nghĩa là người dùng có ý kiến tích cực về mọi khía cạnh của đối tượng đó.

Tương tự, một văn bản đánh giá tiêu cực cho một đối tượng không có nghĩa là người dùng không thích tất cả mọi khía cạnh của đối tượng đó. Ví dụ, trong một ý kiến đánh giá sản phẩm, người đánh giá thường ghi cả khía cạnh tích cực và tiêu cực của sản phẩm, mặc dù quan điểm chung về sản phẩm có thể là tích cực hoặc tiêu cực. Để có thể phân tích quan điểm phù hợp với nhu cầu sử dụng trong thực tế, chúng ta cần phải nghiên cứu sâu về quan điểm ở mức khía cạnh. Cho trước một tập các văn bản đánh giá sản phẩm, đối với từng văn bản đầu vào, bài toán yêu cầu tính điểm quan điểm cho từng khía cạnh của thực thể đã được thể hiện trong nó.

Dựa trên điểm quan điểm đã đạt được, từng khía cạnh sau đó được gán nhãn quan điểm (ví dụ: nhãn tích cực, tiêu cực, hoặc trung lập) hoặc hạng (ví dụ: hạng “1 sao”, “2 sao”, “3 sao” , “4 sao”, hoặc “5 sao”) tương ứng.4 Các bài toán trong phân tích quan điểm theo khía cạnh Trong thực tế, phân tích quan điểm theo khía cạnh bao gồm các bài toán điển hình như sau: (1) Trích xuất từ thể hiện khía cạnh: Cho trước một tập các ý kiến (văn bản) đánh 8 giá của một số thực thể được xác định trước (ví dụ: Các khách sạn, các quán ăn, điện thoại), mỗi văn bản bao gồm một số câu. Yêu cầu xác định các từ thể hiện khía cạnh trong từng câu, sau đó thu thập các từ đó vào trong các khía cạnh tương ứng. (2) Xác định khía cạnh: Cho trước một tập nhãn khía cạnh của một thực thể, đối với một câu văn bản đánh giá chưa được gán nhãn, chúng ta cần dự đoán nhãn khía cạnh thích hợp cho nó. (3) Phân loại quan điểm theo khía cạnh: Tương ứng với tập nhãn khía cạnh của một thực thể đã được xác định trước, cho trước một tập nhãn quan điểm (ví dụ bao gồm các nhãn: tích cực (positive), trung lập (neutral), tiêu cực (negative)), đối với một câu đầu vào đã được gán nhãn khía cạnh, bài toán cần dự đoán nhãn quan điểm tương ứng cho nó.

(4) Phân đoạn khía cạnh: Cho trước một tập văn bản đánh giá của một tập thực thể (một số thực thể hay một tập thực thể trong luận án này được hiểu là các dòng sản phẩm/dịch vụ cùng loại), yêu cầu xác định các đoạn văn bản đề cập tương ứng tới các khía cạnh của thực trong từng văn bản. (5) Xếp hạng khía cạnh: Xếp hạng khía cạnh là công việc định hướng ước lượng đánh giá qua điểm theo khía cạnh của thực thể, giá trị ước lượng quan điểm theo khía cạnh thường theo các giá trị từ 1 đến 5. Bài toán cho trước một tập văn bản đánh giá của một tập thực thể (ví dụ thực thể khách sạn) bao gồm các quan điểm về sản phẩm này và các khía cạnh của nó. Yêu cầu xếp hạng hay tính điểm theo mức độ đánh giá quan điểm từ 1 đến 5 của từng khía cạnh đã được người dùng thảo luận trong mỗi văn bản.

(6) Xác định hạng và trọng số khía cạnh ẩn: Cho trước một tập văn bản đánh giá của một tập thực thể (ví dụ: tập thực thể sản phẩm khách sạn) bao gồm các quan điểm về sản phẩm này và các khía cạnh của nó. Từng văn bản đánh giá được gán một hạng chung, hạng chung này xác nhận quan điểm chung cho cả văn bản. Yêu cầu xác định hạng và trọng số khía cạnh cho từng thực thể, đây là bài toán giả thiết hạng khía cạnh và trọng số khía cạnh ẩn, chưa biết và làm thế nào chúng ta có thể xác định được các hạng cũng như các trọng số khía cạnh đó. Trong nội dung luận án, chúng tôi giải quyết bài toán (2), (3), và (6).

Đối với bài toán (6), để giải quyết được nó chúng tôi cần thực hiện các công việc liên quan tới tất cả các bài toán. Do đó trong phần trình bày các nghiên cứu liên quan, chúng tôi cũng trình bày các nghiên cứu liên quan tới các bài toán này.3 Các nghiên cứu liên quan 1.