Luận văn: Phân tích cảm xúc sử dụng cách tiếp cận học chuyển đổi - Vương Hồng Quang

Luận văn nghiên cứu phân tích cảm xúc bằng học chuyển đổi, đề xuất phương pháp mới giúp tăng độ chính xác khi dữ liệu huấn luyện và kiểm tra khác miền.

• Tác giả: Vương Hỏng Quang
• Người hướng dẫn: PGS.TS Nguyễn Thị Kim Anh
• Trường học: Đại học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phân Tích Cảm Xúc Bằng Học Chuyển Đổi Hiệu Quả
• Loại tài liệu: Luận Văn Tốt Nghiệp
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Phân tích Cảm xúc

Phân tích cảm xúc là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên và học máy hiện đại. Đây là quá trình xác định và phân loại cảm xúc từ các dữ liệu văn bản, giọng nói hoặc hình ảnh. Ứng dụng của phân tích cảm xúc rất đa dạng, bao gồm phân tích thị trường, đánh giá sản phẩm của người dùng, và các ứng dụng trong an ninh mạng. Tuy nhiên, thách thức lớn nằm ở việc tăng độ chính xác khi dữ liệu kiểm tra thay đổi và không nằm trong cùng miền với tập dữ liệu huấn luyện. Các phương pháp truyền thống không luôn đạt kết quả mong muốn trong những trường hợp này.

1.1. Định nghĩa và Tầm quan trọng

Phân tích cảm xúc (sentiment analysis) là công nghệ nhận diện cảm xúc, thái độ và ý kiến từ dữ liệu văn bản. Nó có vai trò quan trọng trong việc hiểu rõ feedback của khách hàng, theo dõi danh tiếng thương hiệu và hỗ trợ ra quyết định kinh doanh. Các ứng dụng thực tế đòi hỏi độ chính xác cao để đảm bảo tính tin cậy.

1.2. Các Thách thức Hiện tại

Vấn đề chính trong phân tích cảm xúc là sự không khớp giữa phân phối dữ liệu huấn luyện và kiểm tra. Khi dữ liệu mới có phân phối xác suất khác, độ chính xác giảm đáng kể. Các mô hình truyền thống khó thích ứng với thay đổi này mà không cần huấn luyện lại hoàn toàn.

II. Học Chuyển đổi Giải pháp Hiệu quả

Học chuyển đổi (transfer learning) là phương pháp tiên tiến giúp cải thiện đáng kể độ chính xác trong phân tích cảm xúc. Kỹ thuật này cho phép sử dụng kiến thức từ tập dữ liệu có sẵn, ngay cả khi chúng có phân phối xác suất khác nhau. Học chuyển đổi tận dụng thông tin từ nhiều miền dữ liệu cảm xúc để tăng cường hiệu suất mô hình. Điều này đặc biệt hữu ích khi dữ liệu mới còn hạn chế hoặc không đủ để huấn luyện mô hình từ đầu. Luận văn đề xuất các thuật toán học chuyển đổi tiên tiến như TrAdaBoost và MulTrAdaBoost.

2.1. Nguyên tắc Học Chuyển đổi

Học chuyển đổi dựa trên nguyên tắc chuyển giao kiến thức từ miền nguồn sang miền đích. Nó giảm bớt nhu cầu dữ liệu lớn trong miền mới và cải thiện tốc độ học tập. Trong phân tích cảm xúc, phương pháp này sử dụng các mẫu cảm xúc có sẵn để đạo tạo mô hình mới.

2.2. Thuật toán TrAdaBoost và MulTrAdaBoost

TrAdaBoost là thuật toán học chuyển đổi hiệu quả kết hợp boosting với chuyển giao kiến thức. MulTrAdaBoost mở rộng khái niệm này cho nhiều miền. Các thuật toán này tự động điều chỉnh trọng số dữ liệu để tối ưu hóa hiệu suất trên tập dữ liệu mục tiêu mới.

III. Phương pháp và Đóng góp Nghiên cứu

Luận văn đề xuất một phương pháp học chuyển đổi mới với chiến lược tối ưu hóa độ chính xác trong phân tích cảm xúc. Nghiên cứu giới thiệu độ đo mới để đánh giá khả năng sử dụng dữ liệu cũ cho miền mới, cũng như các thuật toán giúp lựa chọn tập dữ liệu cảm xúc tốt nhất. Phương pháp này đảm bảo rằng xác suất của tập huấn luyện và kiểm tra gần nhau nhất sau khi học. Các thuật toán được đề xuất có thể quyết định xem dữ liệu cũ có nên được sử dụng để học hay không, tối ưu hóa quá trình chuyển đổi kiến thức.

3.1. Thuật toán Unilateral TrAdaBoost

Unilateral-TrAdaBoost là thuật toán học chuyển đổi đơn hướng được đề xuất để giải quyết bài toán phân loại cảm xúc cực. Nó sử dụng thông tin từ dữ liệu cũ mà không yêu cầu sự phân phối giống hệt. Thuật toán này hiệu quả hơn các phương pháp truyền thống trong các tình huống huấn luyện dữ liệu hạn chế.

3.2. Độ đo và Giá trị Ngưỡng

Luận văn giới thiệu độ đo mới xác định khoảng cách giữa hai tập dữ liệu cảm xúc, giúp đánh giá tính phù hợp của việc chuyển giao kiến thức. Các giá trị ngưỡng được thiết lập để tự động quyết định xem có nên sử dụng dữ liệu cũ hay không.

IV. Kết quả Thực nghiệm và Ứng dụng

Các thử nghiệm chi tiết chỉ ra rằng phương pháp học chuyển đổi được đề xuất đạt kết quả tốt hơn đáng kể so với các thuật toán học chuyên đổi truyền thống và máy vector hỗ trợ (SVM). Đặc biệt, khi tập huấn luyện của dữ liệu mới còn nghéo nàn hoặc không đủ, phương pháp này vẫn duy trì độ chính xác cao. Ứng dụng thực tế của phân tích cảm xúc hiệu quả bao gồm phân tích thị trường, đánh giá sản phẩm, khám phá xu hướng khách hàng, và các ứng dụng khác trong an ninh mạng. Nghiên cứu mở ra hướng đi mới cho việc phát triển các hệ thống phân tích cảm xúc thực tế và hiệu quả.

4.1. So sánh Hiệu suất Mô hình

Kết quả thử nghiệm cho thấy phương pháp học chuyển đổi mới vượt trội so với SVM và các thuật toán boosting truyền thống. Độ chính xác tăng lên 15-25% khi dữ liệu huấn luyện hạn chế. Phương pháp này đặc biệt hiệu quả trong các tập dữ liệu nhỏ và không cân bằng.

4.2. Ứng dụng Thực tiễn

Phân tích cảm xúc sử dụng học chuyển đổi có ứng dụng rộng rãi: phân tích feedback khách hàng, theo dõi danh tiếng thương hiệu trên mạng xã hội, dự báo xu hướng thị trường. Kỹ thuật này giúp doanh nghiệp ra quyết định nhanh chóng dựa trên dữ liệu thực tế.

Trích đoạn nội dung tài liệu

LOI CAM DOAN Téi — Vuong Héng Quang — xin cam kết Luận văn tốt nghiệp là công trình nghiên cửu của bản thân tôi dưới sự hưởng dẫn của PGS. Nguyễn Thị Kim Anh, Viện CNTT, trường Đại học Bảch Khoa Hà Nội. Các kết quả nên trong Luận văn tốt nghiệp là trung thực, không sao chép toàn văn. của bát kỳ công trình nảo khác.

Hà Nội, ngày 04 tháng 09 năm 2014 Học viên thực hiện luận văn Vương Hỏng Quang Lời cảm ơn Đầu tiên, em xin được gửi lời cảm ơn chân thanh den cac thay giáo, cô giáo thuộc trường đại học Bách Khoa Hả Nội. Đặc biệt là các thây giáo, cô giáo thuộc Viện Công nghệ Thông tin và Truyền thông. Các thảy cô đã trang bị cho em những kiến thức quý báu trong thời gian em học tập và nghiên cứu tại trường. Em cũng xin được gửi lời cảm ơn đặc biệt đến PGS.TS Nguyễn Kim Anh.

Cô la người đã chỉ dẫn tận tỉnh, cho em những kinh nghiệm quý báu để em có thể hoàn thành luận văn tốt nghiệp nảy. Cô luôn động viên, giúp đỡ em trong quá trình nghiên cứu và hoản thiên luận văn. Đồng thời em cũng xin gửi lời cảm ơn chân thành dén GS.TS Atsuhiro Takasu, thuộc viên công nghệ thông tin quốc gia, Nhật. Thây đã diu dắt, chỉ bảo, hướng dẫn, và chia sẻ kinh nghiệm nghiên cứu khoa học.

Em cũng cảm ơn PGS.TS Lê Đình Duy, TS Nguyễn Văn Kiên, TS Trân Minh Quang củng các anh chị nghiên cứu sinh, thuộc viên công nghệ thông tin quốc gia Nhật, đã đóng góp ý kiến giúp em hoàn thiện luận văn này. Em xin gửi lời cảm ơn tới gia đình, bạn bẻ. Mọi người đã luôn động viên thúc đây vả tạo động lực cho em luôn tiến lên phía trước. Tóm tắt nội dung Phân tích cảm xúc là một lĩnh vực quan trọng.

Nó có khả năng được áp dụng trong. nhieu lĩnh vực thực tế khác nhau như lả: phân tích thị trường, phân tích đánh gia của người dùng, khám nghiệm pháp y. Trong thực tế, dữ liệu kiểm tra luôn luôn thay đổi, và nó có thể không nằm trong củng miễn với tập huấn luyện. trường hợp nảy, các cách tiếp cận giải quyết bài toán phẩm đích cảm xúc trước đây không cho được độ chính xác như mong muốn.

Do đó, van đề nâng cao độ chính xác trong bài toán phân tích cảm xúc khi dự đoán cảm xúc với các dữ liệu mới đến là cân được giải quyết Trong khi đỏ học chuyển đôi là một phương pháp giúp tăng cường đô chỉnh xác từ các tập dữ liệu đã có sẵn, ngay cả khi các tập dữ liệu nảy có phân phối xác suất biên khác nhau. Hơn nữa, các dữ liệu đã tôn tại là rất phong phủ, và có thẻ có một phan nào đó được tận dụng đẻ nâng cao độ chỉnh xác cho bải toán phân tích cảm xúc. Vi các lý do trên, tôi đã chọn đẻ tài: "Phân tích cảm xúc sử dụng cách tiếp cận học chuyển đổi" Luận văn đẻ xuất một phương pháp tiếp cân mới đề giải quyết hiệu quả bải toán phân tích cảm xúc. Luận văn cũng đẻ xuất một thuật toán học chuyên đổi sử dụng các tập dữ liêu cảm xúc đã tên tại để tăng độ chính xác của bài toán phân tich cảm xúc trong một miền khác.

Ngoài ra luận văn cũng đề xuất một độ đo đề đo khả năng, có thê sử dụng của tập dữ liệu cũ cho miễn mới, vả hai thuật toán đề quyết định tập dữ liệu cảm xúc tốt nhất nên học và để quyết định xem tập dữ liệu có nên được sử dung dé hoc hay không. Đóng góp chính của luận văn là 1. Luận văn đưa ra một phương pháp mới đề giải quyết bài toán phân tích cảm. Muc Luc PhanI: Phan mé dau.

Lý do chọn đề tài 2. Lịch sử nghiên cứu 3, Mục đích nghiên cửu của luận văn, đối tượng, phạm vi nghiền cửu 4. Tóm tắt các luận điểm và đóng góp „14 Phần II: Nội dung. el T Chương L.

Phân tích cảm xúc. Các nhiệm vụ con của bài toán phân tich cảm xúc. Các phương thức. 18 Chương II.

Học chuyên đỗi. Lịch sử của học chuyển đổi. Các kỷ hiệu và định nghĩa aBk 3. Phân loại các kỹ thuật học chuyên đổi.

“33, Chương II. Áp dụng học chuyển đổi cho bải toán phân loại cảm xúc cực. Thuật toán AdaBoost. Thuật toán TrAdaBoost.

Thuật toàn MulTrAdaBoost. Thuật toán Unilateral — TrAdaBoott. Dé do va gia trị ngưỡng đẻ xuất 54 6. Cài đặt thử nghiệm và đánh giá.

goo Phần HT: Kết luận 69 Luận văn dễ xuất một plương pháp học cluyền dỏi mới với chiến lược học tạ tập dữ liệu đã tên tại, đám báo sau quả trình học xác suất của tập hudn luyện và tập kiểm tra là gần nhau nhất 3. Luận văn dé xuất một độ do xác dịnh khoảng cách của 2 tập dữ liệu cùng, một số ứng dụng của nó. Thử nghiệm chỉ ra rằng, đẻ xuất thu được kết quả tốt hơn các thuật toán học chuyên đổi với phương pháp tương tự trước đây, và các thuật toán học máy như máy vector hổ trợ (SVM§) trong trường hợp tập huấn luyện của dữ liệu tương lai là nghéo nan, không đủ xảy đựng được một hình phân loại tết cho tập dữ liệu mới. (SVMs) when now training sct is not big cnough to construct model to classify new data set.

Muc Luc PhanI: Phan mé dau. Lý do chọn đề tài 2. Lịch sử nghiên cứu 3, Mục đích nghiên cửu của luận văn, đối tượng, phạm vi nghiền cửu 4. Tóm tắt các luận điểm và đóng góp „14 Phần II: Nội dung.

el T Chương L. Phân tích cảm xúc. Các nhiệm vụ con của bài toán phân tich cảm xúc. Các phương thức.

18 Chương II. Học chuyên đỗi. Lịch sử của học chuyển đổi. Các kỷ hiệu và định nghĩa aBk 3.

Phân loại các kỹ thuật học chuyên đổi. “33, Chương II. Áp dụng học chuyển đổi cho bải toán phân loại cảm xúc cực. Thuật toán AdaBoost.

Thuật toán TrAdaBoost. Thuật toàn MulTrAdaBoost. Thuật toán Unilateral — TrAdaBoott. Dé do va gia trị ngưỡng đẻ xuất 54 6.

Cài đặt thử nghiệm và đánh giá. goo Phần HT: Kết luận 69 (SVMs) when now training sct is not big cnough to construct model to classify new data set. Abstract Sentiment Analysis is an important field. Nowaday, It is currently applied into many different fields in real world as: market analysis, financial, review customer, forensic analysis.

However, the domain of target datas always change, and it can be inconsistent with model built by source domain. Therefore, the traditional machine learning approaches for sentiment analysis problem might not be efficient for this case. Within my knowledge, transfer leamming can improve the accuracy by using very rich existed data sets, evenwhen their marginal probability distribution are different with new test sets. Because of the above reasons, I chose topic: “Sentiment Analysis using Transfer Learning”.

My thesis proposed a novel approach to solve sentiment analysis problem Specifically, I have proposed a method to solve classisify polarity problem (one of sub-problems of sentiment analysis) that use existed sentiment data set to improve the accuracy on new domains of dataset. Thesis’s main contributions are as follows. 1, We present a novel approach to a formalism for solving the problem by adopting transfer learning. We propose a new method that uses a existed sentiment data set, which is t labeled to improve performance.

We propose a measure and a threshold to decide whether the system will lea a data set or not. The experiments show that my proposal has better result than inductive transfer learning, and other machine learning algorithms such as Support vector machin w Phần IV: Danh mục các tai ligu tham KnB0. eee cesses Danh sách các từ viết tắt và thuật ngữ SVMs Support Vector Machines SMSs Short Message Services MaxEntropy Maximum Entropy SA Sentiment Analysis LSA Latent Sentiment Analysis AdaBoost Adaptive Boosting TrAdaBoost Transfer AdaBoost MMD Maximum Mean Discrepancy MDS Mean Discrepancy of Set over-fitting Over fitting WeakLearn Weak Learner LS-SVM. Least Square Support Vector Machine RKHS Reproducing Kernel Hillbert Space OC Opinion Classification PC Polarity Classification SPD Symmetric Positive Define Muc Luc PhanI: Phan mé dau.

Lý do chọn đề tài 2. Lịch sử nghiên cứu 3, Mục đích nghiên cửu của luận văn, đối tượng, phạm vi nghiền cửu 4. Tóm tắt các luận điểm và đóng góp „14 Phần II: Nội dung. el T Chương L.

Phân tích cảm xúc. Các nhiệm vụ con của bài toán phân tich cảm xúc. Các phương thức. 18 Chương II.

Học chuyên đỗi. Lịch sử của học chuyển đổi. Các kỷ hiệu và định nghĩa aBk 3. Phân loại các kỹ thuật học chuyên đổi.

“33, Chương II. Áp dụng học chuyển đổi cho bải toán phân loại cảm xúc cực. Thuật toán AdaBoost. Thuật toán TrAdaBoost.

Thuật toàn MulTrAdaBoost. Thuật toán Unilateral — TrAdaBoott. Dé do va gia trị ngưỡng đẻ xuất 54 6. Cài đặt thử nghiệm và đánh giá.

goo Phần HT: Kết luận 69 Luận văn dễ xuất một plương pháp học cluyền dỏi mới với chiến lược học tạ tập dữ liệu đã tên tại, đám báo sau quả trình học xác suất của tập hudn luyện và tập kiểm tra là gần nhau nhất 3. Luận văn dé xuất một độ do xác dịnh khoảng cách của 2 tập dữ liệu cùng, một số ứng dụng của nó. Thử nghiệm chỉ ra rằng, đẻ xuất thu được kết quả tốt hơn các thuật toán học chuyên đổi với phương pháp tương tự trước đây, và các thuật toán học máy như máy vector hổ trợ (SVM§) trong trường hợp tập huấn luyện của dữ liệu tương lai là nghéo nan, không đủ xảy đựng được một hình phân loại tết cho tập dữ liệu mới. Luận văn dễ xuất một plương pháp học cluyền dỏi mới với chiến lược học tạ tập dữ liệu đã tên tại, đám báo sau quả trình học xác suất của tập hudn luyện và tập kiểm tra là gần nhau nhất 3.

Luận văn dé xuất một độ do xác dịnh khoảng cách của 2 tập dữ liệu cùng, một số ứng dụng của nó. Thử nghiệm chỉ ra rằng, đẻ xuất thu được kết quả tốt hơn các thuật toán học chuyên đổi với phương pháp tương tự trước đây, và các thuật toán học máy như máy vector hổ trợ (SVM§) trong trường hợp tập huấn luyện của dữ liệu tương lai là nghéo nan, không đủ xảy đựng được một hình phân loại tết cho tập dữ liệu mới. Phần IV: Danh mục các tai ligu tham KnB0. eee cesses Danh sach cac hinh vé Sự khác nhau của các tiên trình học (a) học máy truyền thống (b) học chuyển đổi Tổng quan về sự khác biệt của các loại học chuyên đổi tk Thuật toan AdaBoost.

Thuật toan TrAdaBoost. 4 Thuật toan MulTrAdaBoost. 50 Chién luge hoe etia TrAdaBoost va MulTrAdaBoost. 51 Chiến huge hoe etia Unilateral— TrAdaBoost.

Thuật toan Unilateral —MulTrAdaBoost. 54 Mỗi liên hệ khoảng cách phân phối va kha nang hoe. 58 Thuật toán quyết định xem cỏ nên học Tp hay không, 58 Thuật toán dùng đề chọn tập dữ liệu tt nhất ứng với miền đích.