Luận Án Tiến Sĩ: Phát Triển Mô Hình Mạng Nơ Ron Cho Phân Tích Quan Điểm Theo Khía Cạnh

Luận án tiến sĩ nghiên cứu máy tính phát triển các mô hình dựa trên mạng nơ ron cho phân tích quan điểm theo khía cạnh, phát triển phương pháp mới, đánh giá hiệu quả ứng dụng

Chuyên ngành

Khoa học Máy tính

Người đăng

Ẩn danh

Thể loại

luận án tiến sĩ
134
4
0

Phí lưu trữ

35 Point

Mục lục chi tiết

LỜI CẢM ƠN

LỜI CAM ĐOAN

MỤC LỤC

Danh mục các chữ viết tắt

Danh mục các bảng

Danh mục các hình vẽ

MỞ ĐẦU

1. CHƯƠNG 1: TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU

1.1. Giới thiệu bài toán

1.2. Các bài toán trong phân tích quan điểm

1.3. Các nghiên cứu liên quan

1.4. Các tiếp cận giải quyết bài toán

1.5. Nghiên cứu trên thế giới và Việt Nam

2. CHƯƠNG 2: KIẾN THỨC CƠ SỞ

2.1. Các ký hiệu và khái niệm liên quan

2.2. Các mô hình học máy cơ sở cho phân tích quan điểm theo khía cạnh

2.3. Các mô hình học biểu diễn mức từ, câu, đoạn/văn bản

2.3.1. Mô hình Word2Vec

2.3.2. Mô hình GloVe

2.3.3. Mô hình véc-tơ Paragraph

2.3.4. Mô hình mạng nơ-ron tích chập CNN

2.3.5. Mô hình véc-tơ kết hợp

2.4. Kết luận và thảo luận

3. CHƯƠNG 3: ĐỀ XUẤT MÔ HÌNH DỰA TRÊN MẠNG NƠ-RON XÁC ĐỊNH HẠNG VÀ TRỌNG SỐ KHÍA CẠNH CỦA THỰC THỂ

3.1. Mô hình hóa bài toán

3.1.1. Bài toán xác định hạng và trọng số khía cạnh ẩn của thực thể

3.1.2. Bài toán xác định trọng số khía cạnh chung của các thực thể

3.2. Phương pháp đề xuất

3.2.1. Xác định hạng và trọng số khía cạnh ẩn của thực thể sử dụng mô hình mạng nơ-ron một lớp ẩn

3.2.2. Xác định hạng và trọng số khía cạnh ẩn của thực thể sử dụng mô hình học biểu diễn đa tầng

3.2.3. Xác định trọng số khía cạnh chung của thực thể sử dụng mô hình mạng nơ-ron

3.3. Cài đặt mô hình

3.4. Kết quả thực nghiệm

3.5. Hiệu quả của các tham số trong mô hình LRNN-ASR

4. CHƯƠNG 4: HỌC VEC-TƠ BIỂU DIỄN TỪ CHO PHÂN TÍCH QUAN ĐIỂM THEO KHÍA CẠNH

4.1. Mô hình hóa bài toán

4.1.1. Bài toán tinh chỉnh véc-tơ biểu diễn từ

4.1.2. Bài toán học véc-tơ biểu diễn từ

4.2. Phương pháp đề xuất

4.2.1. Mô hình tinh chỉnh véc-tơ biểu diễn từ

4.2.2. Mô hình học véc-tơ biểu diễn từ SSCWE

4.3. Dữ liệu thực nghiệm và các độ đo

4.4. Cài đặt và đánh giá mô hình tinh chỉnh véc-tơ từ WEFT

4.4.1. Cài đặt mô hình

4.4.2. Đánh giá mô hình

4.5. Cài đặt và đánh giá mô hình SSCWE

4.5.1. Cài đặt mô hình

4.5.2. Đánh giá mô hình

4.6. So sánh hai mô hình WEFT và SSCWE

5. CHƯƠNG 5: MÔ HÌNH ĐA KÊNH DỰA TRÊN CNN NHẰM KHAI THÁC ĐA VEC-TƠ BIỂU DIỄN TỪ VÀ KÝ TỰ CHO PHÂN TÍCH QUAN ĐIỂM THEO KHÍA CẠNH

5.1. Mô tả bài toán

5.2. Phương pháp đề xuất

5.2.1. Thành phần tích chập

5.2.2. Mô hình mạng nơ-ron tích chập đa kênh cho phân tích quan điểm theo khía cạnh

5.3. Dữ liệu thực nghiệm và cài đặt mô hình MCNN

5.4. Môi trường và thời gian thực nghiệm

5.5. Hiệu quả của các loại tham số

KẾT LUẬN

Danh mục công trình khoa học của tác giả liên quan đến luận án

Tài liệu tham khảo

Tóm tắt

I. Giới thiệu về mô hình mạng nơ ron và phân tích quan điểm

Mô hình mạng nơ-ron đã trở thành một công cụ mạnh mẽ trong khoa học máy tính, đặc biệt trong lĩnh vực xử lý ngôn ngữ tự nhiênphân tích quan điểm. Các mô hình này cho phép xử lý dữ liệu phức tạp và đa chiều, giúp cải thiện độ chính xác trong việc phân tích cảm xúcphân tích văn bản. Học sâuhọc máy là hai khái niệm trung tâm trong việc phát triển các mô hình này, đặc biệt khi áp dụng vào phân tích quan điểm theo khía cạnh.

1.1. Ứng dụng của mạng nơ ron trong phân tích quan điểm

Mạng nơ-ron nhân tạo được sử dụng rộng rãi trong phân tích quan điểm nhờ khả năng học các đặc trưng phức tạp từ dữ liệu. Các mô hình như CNN (Convolutional Neural Network) và LSTM (Long Short-Term Memory) đã chứng minh hiệu quả trong việc xử lý văn bản và phân tích cảm xúc. Mô hình hóa dữ liệuphân tích đa chiều là những yếu tố quan trọng giúp cải thiện độ chính xác của các mô hình này.

1.2. Thách thức trong phân tích quan điểm theo khía cạnh

Một trong những thách thức lớn nhất trong phân tích quan điểm theo khía cạnh là việc xác định và phân loại các khía cạnh cụ thể trong văn bản. Xử lý ngôn ngữ tự nhiên đòi hỏi các mô hình phải hiểu được ngữ nghĩa và ngữ cảnh của từng câu. Mô hình học sâu cần được cải tiến để xử lý các văn bản có cấu trúc phức tạp và đa dạng.

II. Phát triển mô hình mạng nơ ron cho phân tích quan điểm theo khía cạnh

Việc phát triển mô hình mạng nơ-ron cho phân tích quan điểm theo khía cạnh đòi hỏi sự kết hợp giữa học biểu diễnphân loại. Các mô hình như Word2VecGloVe được sử dụng để học biểu diễn từ, trong khi mạng nơ-ron tích chậpmạng nơ-ron hồi quy được áp dụng để phân loại quan điểm. Phân tích dữ liệumô hình hóa dữ liệu là hai yếu tố then chốt trong quá trình này.

2.1. Mô hình học biểu diễn đa tầng

Mô hình học biểu diễn đa tầng được đề xuất để giải quyết bài toán xác định hạng và trọng số khía cạnh. Mô hình này tích hợp thông tin từ mức từ, mức câu đến mức văn bản, giúp cải thiện độ chính xác trong phân tích quan điểm. Mạng nơ-ron nhân tạohọc sâu là hai công nghệ chính được sử dụng trong mô hình này.

2.2. Mô hình tích hợp đa kênh CNN

Mô hình tích hợp đa kênh CNN được phát triển để khai thác thông tin từ nhiều nguồn khác nhau, bao gồm Word2VecCharacter2Vec. Mô hình này sử dụng các tầng CNN để tích hợp thông tin và cải thiện hiệu quả trong phân tích quan điểm theo khía cạnh. Phân tích đa chiềumô hình hóa dữ liệu là những yếu tố quan trọng trong quá trình này.

III. Đánh giá và ứng dụng thực tế

Các mô hình mạng nơ-ron được đề xuất đã được đánh giá trên các tập dữ liệu thực tế, cho thấy hiệu quả vượt trội trong phân tích quan điểm theo khía cạnh. Học máyhọc sâu đã chứng minh được giá trị trong việc xử lý dữ liệu phức tạp và đa chiều. Phân tích dữ liệumô hình hóa dữ liệu là những yếu tố then chốt trong quá trình đánh giá.

3.1. Kết quả thực nghiệm

Các kết quả thực nghiệm cho thấy các mô hình đề xuất đạt độ chính xác cao trong phân tích quan điểm theo khía cạnh. Mạng nơ-ron nhân tạohọc sâu đã chứng minh được hiệu quả trong việc xử lý dữ liệu phức tạp. Phân tích đa chiềumô hình hóa dữ liệu là những yếu tố quan trọng trong quá trình đánh giá.

3.2. Ứng dụng thực tế

Các mô hình mạng nơ-ron được đề xuất có thể được áp dụng trong nhiều lĩnh vực thực tế, bao gồm phân tích cảm xúcphân tích văn bản. Học máyhọc sâu đã chứng minh được giá trị trong việc xử lý dữ liệu phức tạp và đa chiều. Phân tích dữ liệumô hình hóa dữ liệu là những yếu tố then chốt trong quá trình ứng dụng.

01/03/2025
Luận án tiến sĩ khoa học máy tính phát triển các mô hình dựa trên mạng nơ ron cho phân tích quan điểm theo khía cạnh

Trích đoạn nội dung tài liệu

Chương 1 Tổng quan vấn đề nghiên cứu Chương này trình bày tổng quan về các vấn đề nghiên cứu trong luận án, bao gồm: giới thiệu chung về bài toán, kiến trúc chung của một hệ thống phân tích quan điểm; các bài toán trong phân tích quan điểm theo khía cạnh; các nghiên cứu liên quan; các tiếp cận; tình hình nghiên cứu trên thế giới và Việt Nam. Sau khi phân tích, đánh giá những điểm còn tồn tại từ các nghiên cứu liên quan, phần thảo luận sẽ được trình bày, đưa ra các bài toán mà luận án sẽ giải quyết. Lý do và động lực đề xuất mô hình cho mỗi bài toán cũng sẽ được đưa ra.1 Giới thiệu bài toán Các ý kiến phản hồi của khách hàng đối với các sản phẩm, dịch vụ trực tuyến trên mạng Internet là nguồn thông tin quan trọng đối với các doanh nghiệp bởi vì nó giúp họ hiểu được điểm mạnh, điểm yếu trong sản phẩm, dịch vụ của mình, đồng thời nhanh chóng nắm bắt được tâm lý và nhu cầu khách hàng để mang đến cho họ sản phẩm, dịch vụ tốt hơn. Tuy nhiên với số lượng ý kiến rất lớn và cập nhật liên tục thì sẽ nảy sinh nhu cầu xây dựng một hệ thống tự động để phân tích và khai phá quan điểm.

Mỗi ý kiến đánh giá thường bao gồm thông tin về các sản phẩm hay dịch vụ, các sự kiện, sự việc, cơ quan tổ chức được đánh giá và quan điểm của người đánh giá đối với các loại đối tượng này. Sau đây ta sẽ gọi chung các đối tượng được đánh giá là các thực thể và khi cần sẽ đề cập riêng để nhấn mạnh thực thể chung hay là khía cạnh (aspect) của thực thể. Quan điểm là các ý kiến chủ quan mà con người nói về các thực thể. Nhiệm vụ của phân tích quan điểm là xác định thực thể cùng các khía cạnh của nó nhằm tính toán quan điểm, đánh giá thái độ và cảm xúc của con người đối với thực thể cũng như các khía cạnh (thuộc tính, thành phần) của thực thể.

Thông tin quan điểm đối với một thực thể cụ thể có vai trò rất quan trọng, bởi khi 5 chúng ta cần đưa ra một quyết định liên quan tới một thực thể nào đó, chúng ta thường quan tâm tới ý kiến của người khác đối với thực thể đó, theo dạng như “Những người khác đã nghĩ và đánh giá về thực thể đó như thế nào?”. Ví dụ khi chúng ta muốn mua một chiếc điện thoại iPhone X 64GB chúng ta sẽ muốn tìm hiểu hoặc hỏi bạn bè và người thân “Điện thoại iPhone X 64GB có tốt không? Hệ điều hành IOS của iPhone thế nào? Camera quay video và chụp ảnh có đẹp không?. Như vậy quan điểm của người khác giúp các cá nhân có thêm thông tin trước khi quyết định một vấn đề. Ngoài ra khi biết được thông tin quan điểm đối với một sản phẩm, dịch vụ từ các khách hàng thì rõ ràng nó giúp mang lại các thông tin hữu ích cho các công ty, tổ chức thay đổi hoặc cải tiến dòng sản phẩm, dịch vụ của mình.

Bên cạnh đó thông tin quan điểm phân tích được trên một cộng đồng dân chúng còn giúp các chính quyền nắm được hiểu quả của các chính sách khi áp dụng trong xã hội.2 Các bài toán trong phân tích quan điểm 1.1 Tổng quan một hệ thống phân tích quan điểm Ngày nay đã có nhiều hệ thống phân tích quan điểm làm việc với những miền dữ liệu khác nhau, như hệ thống Smcc1 của công ty InfoRe làm việc trên miền dữ liệu sản phẩm điện thoại di động, hệ thống Vsocial 2 của công ty Tecapro làm việc trên miền dữ liệu ngân hàng. Nhìn chung, mô hình biểu diễn kiến trúc chung của một hệ thống khai phá và phân tích quan điểm được thể hiện như trong Hình 1. Xuất phát từ nguồn dữ liệu đánh giá thực thể của người sử dụng trên các hệ thống như Amazon3 , Tripadvisor4 , Youtube5 , Thegioididong6. Hệ thống phân tích quan điểm làm việc với các nguồn dữ liệu này, gồm các thành phần chính như sau: 1 smcc.1: Kiến trúc tổng quan của hệ thống phân tích quan điểm • Thu thập (crawler) • Tiền xử lý (pre-processing) • Trích chọn đặc trưng (feature extraction, data representation) • Học máy (machine learning) Thu thập: Là thành phần tự động lấy dữ liệu đánh giá của người dùng từ các hệ thống trực tuyến (Web).

Tiền xử lý: Thành phần này có nhiệm vụ xử lý dữ liệu, gồm các công việc như: loại bỏ từ dừng, chuẩn hóa các từ và dấu cách, tách từ. Trích chọn đặc trưng: Sử dụng kỹ thuật biểu diễn văn bản (ví dụ mô hình bag of word) để biểu diễn các văn bản đầu vào thành các véc-tơ đặc trưng. Học máy: Gồm có hai pha: huấn luyện, và dự đoán. Pha huấn luyện sử dụng tập dữ liệu huấn luyện làm đầu vào và có nhiệm vụ học một mô hình dự đoán.

Pha dự đoán có nhiệm vụ tính toán để phân loại quan điểm cho các véc-tơ biểu diễn văn bản từ đầu vào.2 Phân tích quan điểm cho toàn bộ văn bản Phân tích quan điểm cho toàn bộ văn bản là bài toán cơ bản nhất trong phân tích quan điểm. Cũng giống bài toán phân lớp văn bản thông thường. Cho trước một tập các văn bản đánh giá sản phẩm, đối với từng văn bản đầu vào, bài toán yêu cầu tính điểm (phân loại) quan điểm chung cho nó. Dựa trên điểm quan điểm đã đạt được, từng văn bản sau đó được gán các nhãn quan điểm hoặc các hạng tương ứng.

Các nhãn có thể được gán như nhãn tích cực (Positive) hoặc tiêu cực (Negative) hoặc trung lập. Trong trường hợp cần xếp hạng quan điểm cho văn bản thì hạng được gán cho văn bản là “1 sao” (có nghĩa là rất tiêu cực) hoặc “2 sao” (tiêu cực mức trung bình) hoặc “3 sao” (trung lập) hoặc “4 sao” (tích cực) hoặc “5 sao” (rất tích cực). Việc phân tích quan điểm theo loại bài toán này thường ở mức tài liệu và không quan tâm tới vấn đề chi tiết hơn như người đánh giá sản phẩm thích hay không thích khía cạnh nào của sản phẩm.3 Phân tích quan điểm theo khía cạnh Chúng ta dễ thấy rằng đánh giá một quan điểm cho toàn bộ văn bản là không đủ chi tiết cho các ứng dụng thực tế. Một văn bản đánh giá tích cực về một đối tượng cụ thể không có nghĩa là người dùng có ý kiến tích cực về mọi khía cạnh của đối tượng đó.

Tương tự, một văn bản đánh giá tiêu cực cho một đối tượng không có nghĩa là người dùng không thích tất cả mọi khía cạnh của đối tượng đó. Ví dụ, trong một ý kiến đánh giá sản phẩm, người đánh giá thường ghi cả khía cạnh tích cực và tiêu cực của sản phẩm, mặc dù quan điểm chung về sản phẩm có thể là tích cực hoặc tiêu cực. Để có thể phân tích quan điểm phù hợp với nhu cầu sử dụng trong thực tế, chúng ta cần phải nghiên cứu sâu về quan điểm ở mức khía cạnh. Cho trước một tập các văn bản đánh giá sản phẩm, đối với từng văn bản đầu vào, bài toán yêu cầu tính điểm quan điểm cho từng khía cạnh của thực thể đã được thể hiện trong nó.

Dựa trên điểm quan điểm đã đạt được, từng khía cạnh sau đó được gán nhãn quan điểm (ví dụ: nhãn tích cực, tiêu cực, hoặc trung lập) hoặc hạng (ví dụ: hạng “1 sao”, “2 sao”, “3 sao” , “4 sao”, hoặc “5 sao”) tương ứng.4 Các bài toán trong phân tích quan điểm theo khía cạnh Trong thực tế, phân tích quan điểm theo khía cạnh bao gồm các bài toán điển hình như sau: (1) Trích xuất từ thể hiện khía cạnh: Cho trước một tập các ý kiến (văn bản) đánh 8 giá của một số thực thể được xác định trước (ví dụ: Các khách sạn, các quán ăn, điện thoại), mỗi văn bản bao gồm một số câu. Yêu cầu xác định các từ thể hiện khía cạnh trong từng câu, sau đó thu thập các từ đó vào trong các khía cạnh tương ứng. (2) Xác định khía cạnh: Cho trước một tập nhãn khía cạnh của một thực thể, đối với một câu văn bản đánh giá chưa được gán nhãn, chúng ta cần dự đoán nhãn khía cạnh thích hợp cho nó. (3) Phân loại quan điểm theo khía cạnh: Tương ứng với tập nhãn khía cạnh của một thực thể đã được xác định trước, cho trước một tập nhãn quan điểm (ví dụ bao gồm các nhãn: tích cực (positive), trung lập (neutral), tiêu cực (negative)), đối với một câu đầu vào đã được gán nhãn khía cạnh, bài toán cần dự đoán nhãn quan điểm tương ứng cho nó.

(4) Phân đoạn khía cạnh: Cho trước một tập văn bản đánh giá của một tập thực thể (một số thực thể hay một tập thực thể trong luận án này được hiểu là các dòng sản phẩm/dịch vụ cùng loại), yêu cầu xác định các đoạn văn bản đề cập tương ứng tới các khía cạnh của thực trong từng văn bản. (5) Xếp hạng khía cạnh: Xếp hạng khía cạnh là công việc định hướng ước lượng đánh giá qua điểm theo khía cạnh của thực thể, giá trị ước lượng quan điểm theo khía cạnh thường theo các giá trị từ 1 đến 5. Bài toán cho trước một tập văn bản đánh giá của một tập thực thể (ví dụ thực thể khách sạn) bao gồm các quan điểm về sản phẩm này và các khía cạnh của nó. Yêu cầu xếp hạng hay tính điểm theo mức độ đánh giá quan điểm từ 1 đến 5 của từng khía cạnh đã được người dùng thảo luận trong mỗi văn bản.

(6) Xác định hạng và trọng số khía cạnh ẩn: Cho trước một tập văn bản đánh giá của một tập thực thể (ví dụ: tập thực thể sản phẩm khách sạn) bao gồm các quan điểm về sản phẩm này và các khía cạnh của nó. Từng văn bản đánh giá được gán một hạng chung, hạng chung này xác nhận quan điểm chung cho cả văn bản. Yêu cầu xác định hạng và trọng số khía cạnh cho từng thực thể, đây là bài toán giả thiết hạng khía cạnh và trọng số khía cạnh ẩn, chưa biết và làm thế nào chúng ta có thể xác định được các hạng cũng như các trọng số khía cạnh đó. Trong nội dung luận án, chúng tôi giải quyết bài toán (2), (3), và (6).

Đối với bài toán (6), để giải quyết được nó chúng tôi cần thực hiện các công việc liên quan tới tất cả các bài toán. Do đó trong phần trình bày các nghiên cứu liên quan, chúng tôi cũng trình bày các nghiên cứu liên quan tới các bài toán này.3 Các nghiên cứu liên quan 1.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu "Phát Triển Mô Hình Mạng Nơ Ron Cho Phân Tích Quan Điểm Theo Khía Cạnh Trong Khoa Học Máy Tính" tập trung vào việc ứng dụng mạng nơ-ron để phân tích quan điểm dựa trên các khía cạnh cụ thể trong lĩnh vực khoa học máy tính. Nghiên cứu này mang lại những hiểu biết sâu sắc về cách thức mô hình hóa và xử lý ngôn ngữ tự nhiên, đặc biệt là trong việc trích xuất và phân tích thông tin từ các văn bản. Điều này không chỉ giúp cải thiện độ chính xác của các hệ thống phân tích quan điểm mà còn mở ra hướng tiếp cận mới trong nghiên cứu AI và học máy.

Để mở rộng kiến thức về các ứng dụng của khoa học máy tính, bạn có thể tham khảo thêm Luận văn thạc sĩ khoa học máy tính phát hiện phishing bằng phương pháp học máy, nghiên cứu về cách sử dụng học máy để phát hiện các cuộc tấn công phishing. Ngoài ra, Luận văn thạc sĩ khoa học máy tính phân tích mustmay để kiểm tra chương trình cung cấp cái nhìn chi tiết về việc áp dụng kỹ thuật phân tích để kiểm tra và đảm bảo chất lượng phần mềm. Cuối cùng, Luận văn thạc sĩ khoa học máy tính ứng dụng phân giải đồng tham chiếu cho bài toán lọc thông tin riêng trong văn bản lâm sàng là một tài liệu hữu ích để hiểu rõ hơn về việc lọc thông tin trong các văn bản chuyên ngành.

Những tài liệu này sẽ giúp bạn khám phá sâu hơn các ứng dụng đa dạng của khoa học máy tính, từ phân tích ngôn ngữ đến bảo mật và kiểm thử phần mềm.