Luận án tiến sĩ khoa học máy tính phân tích cảm xúc trên cơ sở trị cảm xúc chuyển dịch theo ngữ cảnh cho tiếng việt

Luận án tiến sĩ nghiên cứu phân tích cảm xúc trong tiếng Việt dựa trên trị cảm xúc chuyển dịch theo ngữ cảnh, đóng góp cho khoa học máy tính.

• Tác giả: Trần Khải Thiện
• Người hướng dẫn: GS. Phan Thị Tươi
• Trường học: Đại học Bách Khoa TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phân Tích Cảm Xúc Trong Khoa Học Máy Tính: Trị Cảm Xúc Chuyển Dịch Theo Ngữ Cảnh Tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Đề xuất nghiên cứu
• 1.2. Mục đích và phạm vi nghiên cứu
• 1.3. Các đóng góp của luận án
• 1.4. Cấu trúc của luận án
• 2. CHƯƠNG 2: PHÂN TÍCH CẢM XÚC VÀ SỰ DỊCH CHUYỂN CẢM XÚC
• 2.1. Phân tích cảm xúc
• 2.2. Một số hướng tiếp cận cho phân tích cảm xúc
• 2.2.1. Tiếp cận hướng đến ngữ nghĩa
• 2.2.2. Tiếp cận theo học máy
• 2.3. Sự dịch chuyển cảm xúc và những vấn đề cần nghiên cứu
• 2.3.1. Hiện tượng dịch chuyển cảm xúc
• 2.3.2. Khoảng trống trong nghiên cứu
• 2.4. Tổng kết chương 2
• 3. CHƯƠNG 3: XÁC ĐỊNH SỰ DỊCH CHUYỂN TRỊ CẢM XÚC CỦA TỪ VÀ CỤM TỪ
• 3.1. Động cơ nghiên cứu
• 3.2. Mô hình tính toán trị cảm xúc và sự dịch chuyển cảm xúc của từ, cụm từ trong các nhận xét tiếng Việt
• 3.2.1. Xác định trị cảm xúc cho từ
• 3.2.2. Xác định trị cảm xúc cho cụm từ
• 3.2.3. Phân tích đánh giá
• 3.3. Tổng kết chương 3
• 4. CHƯƠNG 4: PHÁT HIỆN KHÍA CẠNH VÀ TRỊ CẢM XÚC TRONG CÁC NHẬN XÉT TIẾNG VIỆT
• 4.1. Giới thiệu bài toán phân tích cảm xúc mức khía cạnh
• 4.1.1. Xác định và rút trích khía cạnh
• 4.1.2. Xác định cảm xúc của khía cạnh
• 4.1.3. Khai thác mối quan hệ phụ thuộc của các từ để rút trích đồng thời khía cạnh và từ cảm xúc tương ứng
• 4.2. Mô hình phát hiện khía cạnh và trị cảm xúc
• 4.2.1. Tập luật rút trích khía cạnh và từ mang cảm xúc tương ứng
• 4.2.2. Xây dựng ontology để gom nhóm các khía cạnh
• 4.2.2.1. Hệ thống tra cứu thông tin khách sạn
• 4.2.2.2. Xây dựng cơ sở trí thức khách sạn
• 4.2.2.3. Xây dựng bộ xử lý ngôn ngữ tiếng Việt
• 4.2.2.4. Nhận xét đánh giá
• 4.3. Tổng kết chương 4
• 5. CHƯƠNG 5: ĐỀ XUẤT PHƯƠNG PHÁP HỌC TỔ HỢP CHO PHÂN LỚP CẢM XÚC CÁC NHẬN XÉT TIẾNG VIỆT
• 5.1. Động cơ nghiên cứu
• 5.2. Mô hình học tổ hợp cho phân lớp cảm xúc
• 5.2.1. Học tổ hợp
• 5.2.2. Phát hiện đặc trưng gây dịch chuyển trị cảm xúc và đặc trưng tiềm ẩn
• 5.2.3. Các bộ học thành phần và bộ học tổ hợp
• 5.2.4. Mô hình học tổ hợp đề xuất
• 5.2.6. Phân tích đánh giá
• 5.3. Mô hình học tổ hợp hướng đến ngữ cảnh cho phân lớp cảm xúc
• 5.3.1. Bộ học thành phần sử dụng cơ chế attention (attention classifier)
• 5.4. Tổng kết chương 5
• 6. CHƯƠNG 6: KẾT LUẬN
• CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ
• TÀI LIỆU THAM KHẢO
• SƠ LƯỢC ĐẶC TRƯNG NGÔN NGỮ TIẾNG VIỆT
• Tính từ trong tiếng Việt
• Động từ trong tiếng Việt
• Phó từ trong tiếng Việt
• PHỤ LỤC 2: DANH SÁCH MỘT SỐ CỤM TỪ CẢM XÚC
• PHỤ LỤC 3: VĂN PHẠM PHỤ THUỘC
• Văn phạm phụ thuộc
• Mối quan hệ phụ thuộc của một số từ loại trong tiếng Việt
• Quan hệ phụ thuộc giữa danh từ và động từ
• Quan hệ phụ thuộc giữa danh từ và tính từ
• Quan hệ phụ thuộc giữa động từ và tính từ
• Quan hệ phụ thuộc giữa động từ và động từ

Tóm tắt

I. Giới thiệu

Trong bối cảnh sự phát triển mạnh mẽ của Internet và các nền tảng truyền thông xã hội, phân tích cảm xúc đã trở thành một lĩnh vực nghiên cứu quan trọng trong khoa học máy tính. Sự gia tăng dữ liệu do người dùng tạo ra đã tạo ra nhu cầu lớn về việc hiểu và phân tích các ý kiến, cảm xúc trong các văn bản. Luận án này tập trung vào việc nghiên cứu trị cảm xúc chuyển dịch theo ngữ cảnh trong tiếng Việt, nhằm xây dựng một hệ thống phân tích cảm xúc hiệu quả hơn. Các nghiên cứu trước đây đã chỉ ra rằng việc xử lý các hiện tượng ngôn ngữ phức tạp như dịch chuyển cảm xúc và văn bản mang ý kiến hỗn hợp vẫn còn nhiều hạn chế. Do đó, việc phát triển một kho từ vựng cảm xúc cho tiếng Việt và áp dụng các phương pháp học máy là cần thiết để cải thiện độ chính xác trong phân tích cảm xúc.

1.1. Đề xuất nghiên cứu

Luận án này đề xuất hai mục tiêu chính: đầu tiên là xây dựng một kho từ vựng cảm xúc cho tiếng Việt, phục vụ cho việc phân tích cảm xúc ở mức từ và cụm từ. Thứ hai, nghiên cứu sẽ áp dụng các phương pháp học máy và mô hình học sâu để xử lý bài toán phân lớp cảm xúc ở mức văn bản. Việc chú trọng đến dịch chuyển cảm xúc và sử dụng kết hợp nhiều phương pháp sẽ là chìa khóa để đạt được kết quả chính xác hơn. Các nghiên cứu trước đây đã chỉ ra rằng việc áp dụng các phương pháp định hướng ngữ nghĩa có thể cải thiện đáng kể hiệu suất của hệ thống phân tích cảm xúc.

II. Phân tích cảm xúc và sự dịch chuyển cảm xúc

Chương này sẽ đi sâu vào khái niệm phân tích cảm xúc và các phương pháp tiếp cận hiện có. Phân tích cảm xúc là quá trình tự động xác định giá trị cảm xúc trong văn bản, bao gồm việc phân loại các ý kiến thành tích cực, tiêu cực hoặc trung tính. Các phương pháp tiếp cận chủ yếu bao gồm tiếp cận định hướng ngữ nghĩa và tiếp cận học máy. Đặc biệt, hiện tượng dịch chuyển cảm xúc là một vấn đề quan trọng cần được nghiên cứu kỹ lưỡng. Hiện tượng này xảy ra khi cảm xúc của một từ hoặc cụm từ thay đổi tùy thuộc vào ngữ cảnh mà nó xuất hiện. Việc hiểu rõ về dịch chuyển cảm xúc sẽ giúp cải thiện độ chính xác của các hệ thống phân tích cảm xúc.

2.1. Hiện tượng dịch chuyển cảm xúc

Hiện tượng dịch chuyển cảm xúc trong văn bản tiếng Việt có thể gây khó khăn cho việc xác định chính xác cảm xúc của người viết. Các yếu tố như ngữ cảnh, cấu trúc câu và từ ngữ liên quan đều có thể ảnh hưởng đến cách mà cảm xúc được diễn đạt. Do đó, việc xây dựng một mô hình có khả năng nhận diện và xử lý các hiện tượng này là rất cần thiết. Các nghiên cứu trước đây đã chỉ ra rằng việc áp dụng các kỹ thuật học máy có thể giúp cải thiện khả năng nhận diện cảm xúc trong các văn bản phức tạp.

III. Xác định sự dịch chuyển trị cảm xúc của từ và cụm từ

Chương này tập trung vào việc xác định trị cảm xúc cho từ và cụm từ trong các nhận xét tiếng Việt. Việc xác định trị cảm xúc là một bước quan trọng trong phân tích cảm xúc, giúp hệ thống có thể phân loại chính xác các ý kiến. Mô hình tính toán trị cảm xúc sẽ được xây dựng dựa trên các đặc trưng ngữ nghĩa và ngữ cảnh của từ. Các thực nghiệm cho thấy rằng việc áp dụng các phương pháp học máy có thể giúp cải thiện độ chính xác trong việc xác định trị cảm xúc của từ và cụm từ. Điều này cho thấy rằng việc kết hợp giữa các phương pháp truyền thống và hiện đại là cần thiết để đạt được kết quả tốt nhất.

3.1. Mô hình tính toán trị cảm xúc

Mô hình tính toán trị cảm xúc sẽ được xây dựng dựa trên các từ điển cảm xúc hiện có và các phương pháp học máy. Việc xác định trị cảm xúc cho từ và cụm từ sẽ được thực hiện thông qua việc phân tích ngữ nghĩa và ngữ cảnh. Các thực nghiệm cho thấy rằng việc sử dụng các mô hình học sâu có thể giúp cải thiện đáng kể độ chính xác trong việc xác định cảm xúc. Điều này cho thấy rằng việc áp dụng các phương pháp học máy là một hướng đi đúng đắn trong nghiên cứu phân tích cảm xúc.

Trích đoạn nội dung tài liệu

Đặt vấn đề Sự tăng trưởng của Internet đã khiến lượng dữ liệu số do con người tạo ra tăng vọt trong thời gian gần đây. Hầu như mọi hoạt động của chúng ta đều tạo ra dữ liệu số, từ lướt web, mua hàng, bình luận, gửi email, chụp ảnh đến cả việc di chuyển với dữ liệu định vị (GPS) và bị ghi hình bởi các camera giám sát (CCTV). Cứ mỗi ngày chúng ta lại sản sinh ra lượng dữ liệu tương đương với khối lượng được tạo ra trong mười năm của thập kỉ 90. Và lượng dữ liệu này tiếp tục tăng nhanh, đến năm 2020 đã lên đến 50 ngàn tỉ GB.01 ra đời đã tạo điều kiện để chúng ta có thể đăng các ý kiến, suy nghĩ của mình về hàng loạt các chủ đề trong các trang web và mạng xã hội khác nhau.

Ngày càng nhiều người có thể chia sẻ trực tuyến suy nghĩ của họ và cũng tiếp nhận được những ý kiến của người khác. Do đó, có một lượng lớn dữ liệu chứa ý kiến được tạo từ nhiều nguồn khác nhau như đánh giá, thảo luận trên các diễn đàn, bài đăng từ các trang web cá nhân hoặc các mạng xã hội. So với các phương thức quảng cáo truyền thống trên các phương tiện thông tin đại chúng, như truyền hình và báo chí, những dữ liệu do người dùng tạo trực tuyến này được coi là đáng tin cậy và công bằng hơn so với các nội dung được cung cấp bởi các công ty. Nhiều tổ chức đã tích hợp phương tiện truyền thông xã hội như một phần của chiến lược tiếp thị của họ và cố gắng khuyến khích người dùng trực tuyến thực hiện các cuộc thảo luận mang tính tích cực về sản phẩm hoặc dịch vụ của họ.

Kể cả các cấp chính phủ, các tập đoàn, công ty truyền thông theo cách truyền thống và các tổ chức phi chính phủ đang tìm cách thích nghi với những điều này và tìm hiểu cách sử dụng chúng một cách hiệu quả. Công dân trên thế giới, cả người trẻ lẫn người lớn tuổi, cũng đang khám phá cách công nghệ truyền thông xã hội có thể cải thiện cuộc sống của họ và mang lại cho họ nhiều tiếng nói hơn. Các đánh giá trực tuyến không chỉ trở thành nguồn thông tin quan trọng giúp khách hàng đưa ra quyết định, mà còn hình thành cơ sở để người tiêu dùng tái xuất hiện quyết định mua hàng cũng như có thể thay đổi hành vi mua hàng của họ. Theo The Growing Power 1 Web 2.0 là các trang World Wide Web chú trọng nhiều vào nội dung do người dùng tạo, nơi người dùng có thể đọc, viết và chia sẻ nội dung của họ.0 do vậy còn được gọi là web cộng đồng.

1 of Reviews số ra tháng 3/2018 của PowerReview2, báo cáo dựa trên khảo sát hơn 1.000 người tiêu dùng tại Hoa Kỳ, đã đưa ra những phát hiện chính bao gồm: – 97% người tiêu dùng tham khảo ý kiến đánh giá sản phẩm trong khi 85% người tiêu dùng kiểm tra (có tồn tại hay không) các đánh giá tiêu cực trước khi quyết định mua hàng. – Hơn một phần ba người mua hàng sẽ không mua sản phẩm trong các cửa hàng. nơi mà chưa có ý kiến đánh giá nào trước đó. – Tính đến 2018, có đến nửa số lượng người tiêu dùng viết đánh giá cho các sản phẩm họ đã mua, tăng 8% so với năm 2014.

– Phần lớn người tiêu dùng đọc từ 01 đến 10 đánh giá trước khi mua hàng. Số liệu trên cho thấy sự quan tâm mà khách hàng thể hiện qua các đánh giá trực tuyến về sản phẩm và dịch vụ của họ, cũng như về việc phần lớn người dùng sẽ dựa vào các lời khuyên, đề xuất để đưa ra quyết định mua hàng. Do đó, nhu cầu phân tích sắc thái tình cảm trong các nhận xét, đánh giá (phân tích cảm xúc) là rất đáng kể vì sự quan tâm tăng vọt này. Đối với khách hàng, sẽ dễ dàng hơn cho việc đưa ra quyết định mua sắm khi họ hiểu biết được các yếu tố tích cực và tiêu cực của sản phẩm, dịch vụ.

Mặt khác, đối với các nhà bán lẻ hoặc nhà sản xuất, họ có thể nhận được những hiểu biết có giá trị về cách khách hàng thực sự cảm nhận về họ và cải thiện chiến lược tiếp thị của họ cũng như có những so sánh rõ ràng hơn với các đối thủ cạnh tranh để nâng cấp chất lượng sản phẩm và dịch vụ. Hơn nữa, việc hiểu chính xác thái độ tình cảm được thể hiện trong các trang web truyền thông xã hội cũng sẽ mang lại cơ hội kinh doanh to lớn và hỗ trợ rất nhiều trong việc ra những quyết định liên quan. Do vậy, nhằm đáp ứng nhu cầu của khách hàng và các nhà sản xuất, một hệ thống phân tích cảm xúc hiệu quả cần được thực thi để trích xuất các ý kiến đánh giá và cung cấp những hiểu biết rõ ràng từ dữ liệu người dùng trực tuyến. Đề xuất nghiên cứu Sự ra đời và phát triển của Internet và sự bùng nổ của Web 2.0 đã không chỉ mang lại cho chúng ta một khối lượng dữ liệu số cực lớn mà còn cho chúng ta cơ hội để hiểu được 2 PowerReview là nhà cung cấp hàng đầu về các đánh giá, xếp hạng cho hơn 1.000 thương hiệu và nhà bán lẻ toàn cầu.

2 những sắc thái tình cảm của cộng đồng thông qua việc phân tích các dữ liệu quy mô lớn này. Tuy nhiên, các dữ liệu số do người dùng tạo càng lớn thì càng gây khó khăn trong việc trích xuất các thông tin hữu ích. Một báo cáo gần đây cho thấy mỗi ngày Facebook tạo ra 4*1015 byte dữ liệu mới và 500 triệu tweet được gửi bởi người dùng Twitter. Trên trang web lớn nhất thế giới về du lịch, TripAdvisor, tính đến tháng 7/2019 đã có 760 triệu đánh giá và ý kiến về hơn 08 triệu khách sạn, nhà hàng, hãng hàng không và du thuyền.

Với lượng dữ liệu lớn như vậy, các nghiên cứu cho biết đã có hơn phân nửa số khách hàng trực tuyến đã cảm thấy thất vọng trong quá trình mua sắm của họ. Dữ liệu khổng lồ đã gây khó khăn cho các khách hàng tiềm năng khi đọc các đánh giá và đưa ra quyết định sáng suốt. Số liệu từ năm 2008 của Horrigan trong “Online Shopping” thuộc Pew Internet and American Life Project đã cho thấy có khoảng 30% khách hàng trực tuyến đã cảm thấy bối rối và choáng ngợp bởi lượng thông tin không những rất nhiều mà trong đó có cả một số lượng lớn nội dung spam hoặc trùng lặp. Chúng ta đang trong kỷ nguyên của Web 2.0, tràn ngập hàng tấn dữ liệu mỗi ngày, các công ty và tổ chức đang phải đối mặt với các vấn đề xử lý dữ liệu nhận xét một cách hiệu quả.

Trong một cuộc khảo sát năm 2012 thực hiện bởi Michael trên Social Media Examiner cho thấy có đến ba phần tư trong số 2.100 tổ chức không có ý tưởng rõ ràng về những gì khách hàng cho là có giá trị nhất và gần 31% trong số họ cảm thấy khó khăn trong việc đo lường ý kiến của khách hàng. Rõ ràng là các tổ chức này không thiếu nguồn dữ liệu các ý kiến nhận xét, nhưng kích thước quá lớn của dữ liệu có ý kiến và sự phức tạp trong việc xử lý tính chủ quan đã gây khó khăn cho việc trích xuất thông tin hữu ích. Sự cần thiết phải đối phó với các dữ liệu quan điểm phi cấu trúc này đã dẫn đến sự gia tăng các nghiên cứu trong lĩnh vực phân tích cảm xúc. Phân tích cảm xúc là một trong những lĩnh vực nghiên cứu được nhiều sự quan tâm nhất trong xử lý ngôn ngữ tự nhiên kể từ năm 2002.

Nhiệm vụ chính của phân tích cảm xúc là tự động xác định giá trị hay định hướng ngữ nghĩa trong một tài liệu nhất định [1] (Turney, 2001). Định hướng ngữ nghĩa đề cập đến thước đo ý kiến chủ quan, biểu thị tính phân cực (tích cực, tiêu cực, hoặc trung tính) và trọng số (strength) của từ, cụm từ, câu hoặc văn bản. Cho đến nay, các nghiên cứu về phân tích cảm xúc được tiếp cận theo hai cách chính: tiếp cận theo định hướng ngữ 3 nghĩa, bao gồm việc tính toán sự phân cực tổng thể thông qua việc xác định các định hướng ngữ nghĩa của các từ hoặc cụm từ trong văn bản; và tiếp cận theo phương pháp học máy thực hiện việc xây dựng các trình phân lớp văn bản bằng cách chọn các đặc trưng và các thuật toán phù hợp với dữ liệu văn bản được gán nhãn. Do cách tiếp cận thứ nhất sử dụng các tài nguyên từ vựng như danh sách các từ mang cảm xúc, từ vựng, từ điển, v., nên đây còn được gọi là cách tiếp cận dựa trên từ vựng [2] (Taboada và cộng sự, 2011).

Nhiều công trình, công cụ và ứng dụng phân tích cảm xúc đã được phát triển để khai thác các ý kiến trong nội dung do người dùng tạo trên các trang mạng. Tuy nhiên, hiệu năng của các hệ thống này chưa cao do sự phức tạp của ngôn ngữ tự nhiên và nhiều nghiên cứu đã cho thấy phân tích cảm xúc là bài toán phức tạp hơn so với phân lớp văn bản theo chủ đề [3] (Pang và Lee, 2008). Các công trình này vẫn chưa hiệu quả trong việc xử lý một số hiện tượng ngôn ngữ, chẳng hạn như phủ định, các hiện tượng dịch chuyển cảm xúc và văn bản mang ý kiến hỗn hợp. Luận án này được thực hiện để giải quyết hai vấn đề nghiên cứu sau: 1) Làm thế nào để xác định được giá trị cảm xúc của một từ và cụm từ mang sắc thái tình cảm trong các văn bản nhận xét tiếng Việt? 2) Làm thế nào để phân lớp cảm xúc một cách hiệu quả các ý kiến nhận xét tiếng Việt trong một số lượng lớn các đánh giá về sản phẩm và dịch vụ? Vấn đề đầu tiên liên quan đến sự cần thiết phải xác định được thang độ cảm xúc của đơn vị nhỏ nhất mang nghĩa hoàn chỉnh trong văn bản, đó là mức từ và cụm từ.

Vấn đề nghiên cứu thứ hai là xác định xu hướng cảm xúc của toàn văn bản nhận xét, từ đó có thể giúp các cá nhân đưa ra quyết định mua hàng sáng suốt và cung cấp cho nhà sản xuất cách nhìn sâu sắc để cải thiện sản phẩm hoặc dịch vụ của họ. Mục đích và phạm vi nghiên cứu Luận án nghiên cứu các đặc trưng ngôn ngữ của các hiện tượng chuyển dịch cảm xúc trong văn bản tiếng Việt, từ đó đề xuất các phương pháp nhằm cải thiện hiệu suất của 4 bài toán phân lớp cảm xúc.