CHƯƠNG 1 GIỚI THIỆU 1.1 Động cơ nghiên cứu Phân giải đồng tham chiếu là một bài toán khá phổ biến trong lĩnh vực Xử lý ngôn ngữ tự nhiên, được áp dụng trong tóm tắt văn bản, rút trích thông tin, hệ thống hỏi đáp, phân tích cảm xúc, v. Trong văn bản, một đối tượng hay khía cạnh của một đối tượng có thể được nhắc nhiều lần bởi chính cụm từ ban đầu hoặc có thể là những cụm từ khác, nhưng người đọc vẫn tham chiếu được đối tượng hay khía cạnh đó. Các cụm từ khác này là một tên gọi ngắn gọn hơn, hay các đại từ, danh từ. Để hiểu được nội dung một đoạn hay toàn bộ văn bản, thì người đọc phải nối ý của các câu với nhau.
Trong đó, quan trọng nhất là liên kết các từ thay thế với các từ chỉ đối tượng được đề cập ở những câu trước trong văn bản. Việc xác định sự liên kết (sự tham chiếu) của các cụm từ cùng chỉ đến một đối tượng trong văn bản được gọi là bài toán phân giải đồng tham chiếu trong Xử lý ngôn ngữ tự nhiên. Bài toán phân giải đồng tham chiếu hiện nay có nhiều dạng, như đồng tham chiếu đại từ, sự kiện, thực thể và đồng tham chiếu đối tượng, khía cạnh. Đồng tham chiếu đại từ [1-3] là bài toán phổ dụng, nhưng phức tạp trong Xử lý ngôn ngữ tự nhiên và thu hút sự quan tâm của nhiều nhà nghiên cứu.
Việc xác định các đại từ tham chiếu đến một danh từ, hoặc đại từ trước đó trong văn bản gọi là đồng tham chiếu đại từ. Đồng tham chiếu thực thể [4] là xác định thực thể nào đề cập trong văn bản tham chiếu đến cùng một thực thể. Đồng tham chiếu sự kiện [5] là xác định sự kiện nào trong văn bản tham chiếu đến cùng một sự kiện. Đồng tham chiếu đối tượng và khía cạnh [6] là nghiên cứu nhằm nâng cao hiệu quả của bài toán phân tích cảm xúc, đóng vai trò quan trọng vì giải quyết vấn đề làm mất hay gán sai thông tin về cảm xúc, quan điểm cho các thực thể liên quan.
Ví dụ: “I bought a Canon S500 camera yesterday. It looked beautiful. I took a few photos last night. They were amazing." Trong câu thứ nhất, “a Canon S500 camera” là đối tượng được tham chiếu bởi từ “It” trong câu thứ 2.
Trong câu thứ ba, “photos” là thuộc tính của đối tượng “Canon S500 camera” được tham chiếu bởi “They” trong câu thứ tư. Bài toán phân giải 1 đồng tham chiếu đối tượng và khía cạnh xác định các đề cập đến đối tượng và thuộc tính tham chiếu đến cùng một thực thể. Hiện nay, do sự đa dạng về mặt hàng cùng loại sản phẩm, nhu cầu của con người càng ngày khắt khe trong việc lựa chọn sản phẩm và với công nghệ Internet, mạng xã hội toàn cầu phát triển mạnh nên nguồn dữ liệu văn bản có nhiều ý kiến về các sản phẩm trên các trang web ngày một giàu và phong phú. Những đoạn văn bản có ý kiến đó gọi là văn bản có cảm xúc và việc quan tâm đến vấn đề phân tích văn bản cảm xúc cũng là một nhu cầu tất yếu của thực tiễn và khoa học.
Phân tích cảm xúc (Sentiment analysis) [7] hay còn gọi là khai phá ý kiến (Opinion mining) là một lĩnh vực phân tích ý kiến, tình cảm, sự ước lượng, sự đánh giá, thái độ và cảm xúc của con người về các thực thể như sản phẩm, dịch vụ, tổ chức, cá nhân, vấn đề, sự kiện, chủ đề và các thuộc tính của chúng. Bài toán phân tích cảm xúc vẫn đang là một vấn đề được khá nhiều công trình nghiên cứu quan tâm và bài toán được chia thành nhiều mức. Thứ nhất là phân tích cảm xúc mức văn bản, thứ hai là mức câu, và chi tiết hơn là mức khía cạnh. Bài toán phân tích cảm xúc ở mức văn bản là bài toán đơn giản nhất trong phân tích cảm xúc, với việc xác định tổng thể tính phân cực của văn bản là tích cực, tiêu cực hay trung lập.
Nhiệm vụ này thường được xem là bài toán phân lớp cảm xúc mức văn bản. Bài toán phân tích cảm xúc ở mức câu xác định mỗi câu trong văn bản có giá trị tích cực, tiêu cực hay trung lập, phân tích cảm xúc ở mức này sâu hơn mức văn bản. Phân tích cảm xúc mức khía cạnh là xác định cảm xúc hay ý kiến nhận xét về các khía cạnh hoặc đối tượng được đề cập trong văn bản. Nói cụ thể hơn, ngoài việc đánh giá cảm nhận tích cực hay tiêu cực của một khía cạnh, đối tượng bằng một từ cảm xúc thì các đối tượng có thể là sản phẩm hay khía cạnh cũng phải được xác định cụ thể.
Ví dụ, câu “although the service is not that great, I still love this restaurant” có tính tích cực về “restaurant” nhưng tiêu cực về “service”. Do đó phân tích cảm xúc ở mức khía cạnh được coi là phức tạp hơn so với hai mức trên. Tuy có nhiều phương pháp tiếp cận cho bài toán phân tích cảm xúc ở các mức, nhưng các tiếp cận này cũng chỉ mới dừng ở kết quả văn bản, câu hay khía cạnh và đối 2 tượng được đề cập có tính phân cực gì về cảm xúc mà vẫn chưa quan tâm mối quan hệ giữa cảm xúc, khía cạnh và đối tượng. Vấn đề nghiên cứu còn để mở này chính là động cơ nghiên cứu của luận án.2 Mục tiêu và phạm vi nghiên cứu Mục tiêu của luận án là xây dựng mô hình phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có một và nhiều đối tượng để xác định được các bộ ba đối tượng, khía cạnh và cảm xúc từ các văn bản cảm xúc có một hoặc nhiều đối tượng.
Để đạt được mục tiêu trên, trước tiên luận án giải quyết bài toán 1 “Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có một đối tượng” (được trình bày chương 3). Để giải quyết bài toán 1, luận án đã nghiên cứu và tiếp cận các phương pháp và công cụ hỗ trợ như đồ thị đồng tham chiếu, ontology và xác định khía cạnh ẩn để giải quyết triệt để và nâng cao hiệu quả cho bài toán 1. Trong quá trình giải quyết bài toán 1, luận án đã nghiên cứu và tiếp cận giải quyết bài toán 2 “Làm giàu ontology cảm xúc” và bài toán 3 “Xác định khía cạnh ẩn”. Cuối cùng, luận án tiếp cận và giải quyết bài toán 4 “Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có nhiều đối tượng”.
Để giải quyết được bài toán 4, là vấn đề khó, vì chưa có công trình nào công bố trước đó. Luận án đã nghiên cứu các phương pháp tiếp cận, và cuối cùng đã chọn phương pháp học sâu, có ứng dụng mô hình ngôn ngữ BERT. Trước khi đi vào chi tiết mục tiêu, luận án đưa ra các định nghĩa, khái niệm của một số thuật ngữ được sử dụng trong luận án. - Đối tượng (Object) là một khái niệm chỉ đến một thực thể hay là một tên riêng của một sản phẩm, đồ vật cụ thể.
Ví dụ: Samsung Galaxy Note7, iPhone 6S là tên riêng chỉ đến đối tượng là điện thoại di động. - Khía cạnh (Aspect) là một khái niệm đề cập đến một thành phần (component) hay một thuộc tính (tính chất - attribute) của một đối tượng. Ví dụ như pin (battery) là một thành phần của smartphone, thiết kế (design), giá thành (price) là các thuộc tính của smartphone, v. - Cảm xúc (Sentiment) là những khái niệm gồm những từ mang cảm xúc, ý kiến về một khía cạnh của đối tượng.
Cảm xúc có thể là tích cực (khen), trung lập (không 3 khen, không chê) và tiêu cực (chê, phê bình). Việc xác định cảm xúc cho một khía cạnh của một đối tượng cụ thể cho thấy chi tiết hơn về chất lượng của một sản phẩm mà một khách hàng quan tâm. Trên cơ sở phân giải đồng tham chiếu trên văn bản có cảm xúc, tác giả luận án đề xuất (1) bài toán phân giải đồng tham chiếu đối tượng để tìm ra bộ ba gồm đối tượng, khía cạnh và cảm xúc. Tuy nhiên với văn bản có từ hai đối tượng trở lên thì việc tìm ra các khía cạnh, cảm xúc thuộc về đối tượng nào sẽ khó hơn rất nhiều.
Xét ví dụ sau: Ví dụ 1.1: “I gave my 6s plus to my wife and bought for myself an Apple iPhone7 two days ago. iPhone7 is beautiful. The battery is amazing. But what I really appreciate is the speaker producing good sound and its 128g storage.1 xuất hiện hai đối tượng “6s plus” và “Apple iPhone7” (nói ngắn gọn là “iPhone7”).
Ngoài ra có một số các khía cạnh như “battery”, “speaker”, “sound”, “storage” và các từ cảm xúc “beautiful”, “amazing”, “appreciate”, “good”. Vậy các từ chỉ khía cạnh và cảm xúc này sẽ đề cập đến đối tượng nào trong hai đối tượng trên. Với người đọc có thể dễ nhận thấy các cặp khía cạnh - cảm xúc như: “battery” - “amazing”, “speaker” - “appreciate”, “sound” - “good” và “beautiful - khía cạnh ẩn” cùng nói về “Apple iPhone7”. Với văn bản có từ hai đối tượng trở lên, việc xác định khía cạnh, cảm xúc cho đối tượng cụ thể trở nên phức tạp hơn.
Dựa trên đặc điểm của loại văn bản, yêu cầu của bài toán đặt ra và các tiếp cận hiện nay, luận án đề xuất (2) hướng giải quyết đồng tham chiếu đối tượng trên cơ sở cảm xúc từ văn bản đơn giản chỉ có một đối tượng đến văn bản có từ hai đối tượng trở lên. Trong thực tế, các văn bản cảm xúc đề cập từ hai đối tượng trở lên khá nhiều, vì khách hàng thường có sự so sánh các sản phẩm với nhau. Với các văn bản đề cập nhiều hơn một đối tượng, để xác định khía cạnh và cảm xúc của đối tượng nào là vấn đề trọng tâm của bài toán phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc. Hiện nay, vấn đề này còn rất ít công trình khoa học được công bố.
Phạm vi nghiên cứu của luận án được thực nghiệm trên các văn bản có cảm xúc, bình luận và nhận xét về các sản phẩm bằng tiếng Anh. Vì nguồn dữ liệu tiếng Anh 4 phong phú và các công cụ hỗ trợ trong xử lý ngôn ngữ tự nhiên cho văn bản tiếng Anh rất mạnh nên luận án chọn văn bản cảm xúc bằng tiếng Anh để nghiên cứu và thực nghiệm giải pháp đề xuất.3 Mô hình đề xuất Để giải quyết mục tiêu đề ra, luận án đề xuất giải pháp giải quyết bài toán phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc như Hình 1.1, với các mô-đun sau. Document: Một văn bản cảm xúc, bình luận về một sản phẩm theo miền chuyên biệt.