Nhận Diện Cảm Xúc Trong Văn Bản Tiếng Việt Bằng Mô Hình Máy Học

Khám phá cách nhận diện cảm xúc trong văn bản tiếng Việt bằng mô hình máy học, ứng dụng công nghệ tiên tiến trong phân tích ngữ nghĩa.

• Tác giả: Nguyễn Thanh Huy
• Người hướng dẫn: PGS.TS Nguyễn Tuấn Đăng
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nhận Diện Cảm Xúc Trong Văn Bản Tiếng Việt Bằng Mô Hình Máy Học
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: TP.Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN TÀI LIỆU
• 1.1. Ngôn ngữ tự nhiên
• 1.2. Ngôn ngữ tiếng Việt
• 1.3. Xử lý ngôn ngữ tự nhiên
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Các mô hình mạng neuron dùng trong học sâu
• 2.2. Word2Vec Text Embedding
• 2.3. GloVe Vectors Text Embedding
• 2.4. Các mô hình nhận diện cảm xúc trong văn bản
• 3. CHƯƠNG 3: NHẬN DIỆN CẢM XÚC TRONG VĂN BẢN TIẾNG VIỆT
• 3.1. Tiền xử lý ngữ liệu
• 3.2. Chuẩn hóa các đặc trưng văn bản
• 3.3. Mô hình nhận diện cảm xúc sử dụng học sâu
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Xây dựng ngữ liệu
• 4.2. Huấn luyện mô hình
• 4.3. Thực nghiệm và đánh giá kết quả
• MỞ ĐẦU
• KẾT LUẬN VÀ KIẾN NGHỊ
• DANH MỤC CÁC TÀI LIỆU THAM KHẢO
• DANH SÁCH HÌNH VẼ
• DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT

Tóm tắt

I. Tổng Quan Về Nhận Diện Cảm Xúc Trong Văn Bản Tiếng Việt

Trong bối cảnh công nghệ phát triển mạnh mẽ, nhận diện cảm xúc trong văn bản tiếng Việt ngày càng trở nên quan trọng. Ứng dụng của nó trải rộng trên nhiều lĩnh vực, từ quản trị doanh nghiệp đến quản trị quan hệ khách hàng. Các doanh nghiệp cần một hệ thống tự động để phân tích phản hồi của khách hàng, nắm bắt cảm nhận và thị hiếu, từ đó đưa ra chiến lược cạnh tranh hiệu quả. Trong nghiên cứu, việc xây dựng hệ thống nhận diện cảm xúc là một bước tiến lớn trong xử lý ngôn ngữ tự nhiên, giúp giải quyết nhiều vấn đề còn tồn đọng. Luận văn này tập trung vào xây dựng mô hình giải quyết bài toán phân tích cảm xúc người dùng, chia cảm xúc thành hai trạng thái riêng biệt và sử dụng phương pháp phân lớp để nhận diện cảm xúc từ các ý kiến đánh giá, phản hồi.

1.1. Ứng Dụng Thực Tiễn Của Nhận Diện Cảm Xúc

Việc nhận diện cảm xúc trong văn bản tiếng Việt có nhiều ứng dụng thực tiễn. Trong quản trị doanh nghiệp, nó giúp theo dõi phản hồi của khách hàng về sản phẩm và dịch vụ. Trong quản trị thương hiệu, nó giúp đánh giá uy tín và hình ảnh của thương hiệu trên mạng xã hội. Trong quản trị quan hệ khách hàng, nó giúp cá nhân hóa trải nghiệm của khách hàng và tăng cường sự gắn kết. Ngoài ra, nó còn được sử dụng trong khảo sát ý kiến khách hàng và phân tích đánh giá sản phẩm. Theo nghiên cứu, ý kiến và đánh giá của khách hàng ngày càng trở nên quan trọng, do đó các doanh nghiệp cần quan tâm đến việc xây dựng hệ thống phân tích cảm xúc tự động.

1.2. Tổng Quan Về Phân Tích Cảm Xúc Trong Văn Bản

Phân tích và nhận diện cảm xúc ngày càng trở nên phổ biến trong việc xử lý dữ liệu truyền thông xã hội. Đây là một nhánh của nghiên cứu điện toán sinh thái, phân loại văn bản thành tích cực hoặc tiêu cực. Hệ thống phân tích nhận diện cảm xúc có thể được phân loại thành dựa trên tri thức và dựa trên thống kê. Phân tích cảm xúc là một bài toán nghiên cứu đòi hỏi phải giải quyết nhiều nhiệm vụ NLP (Natural Language Processing), bao gồm nhận dạng thực thể được đặt tên, trích xuất khái niệm, phát hiện châm biếm, trích xuất khía cạnh và phát hiện tính chủ quan. Hiện tại, cộng đồng khoa học mới chỉ giải quyết tốt bài toán phân tích và nhận diện cảm xúc trong văn bản tiếng Việt ở cấp độ đơn giản.

II. Thách Thức Trong Nhận Diện Cảm Xúc Tiếng Việt Hiện Nay

Mặc dù đã có những tiến bộ nhất định, việc nhận diện cảm xúc trong văn bản tiếng Việt vẫn còn đối mặt với nhiều thách thức. Một trong những thách thức lớn nhất là sự phức tạp của ngôn ngữ tiếng Việt, với nhiều sắc thái biểu cảm và cách diễn đạt khác nhau. Các phương pháp thủ công dựa trên từ khóa thường bỏ qua thứ tự các từ và không nắm bắt được ngữ cảnh. Các phương pháp học máy sâu đòi hỏi lượng dữ liệu lớn và chất lượng cao để huấn luyện. Ngoài ra, việc xử lý các yếu tố như châm biếm, mỉa mai và ngôn ngữ địa phương cũng là một thách thức không nhỏ. Cần có những nghiên cứu sâu hơn để phát triển các mô hình nhận diện cảm xúc chính xác và hiệu quả hơn cho tiếng Việt.

2.1. Hạn Chế Của Phương Pháp Thủ Công Dò Từ Khóa

Phương pháp thủ công dựa trên việc tìm kiếm các từ cảm xúc riêng lẻ, xác định điểm số cho các từ tích cực và tiêu cực, sau đó tổng hợp các điểm số này lại. Điểm hạn chế của phương pháp này là quan tâm đến thứ tự các từ và sẽ bỏ qua các từ quan trọng. Độ chính xác của mô hình phụ thuộc vào độ tốt của bộ từ điển các từ cảm xúc. Ưu điểm của phương pháp này là dễ thực hiện, tính toán nhanh, chỉ tốn công sức cho việc xây dựng bộ từ điển dữ liệu của các từ cảm xúc. Do đó, phương pháp này không phù hợp với các văn bản phức tạp và đa nghĩa.

2.2. Yêu Cầu Về Dữ Liệu Lớn Cho Học Sâu Deep Learning

Phương pháp Deep Learning Neural Network sử dụng mô hình học Recurrent Neural Network với Long Short Term Memory Neural Network (LSTMs), kết hợp với mô hình vector hóa từ Word2Vector với kiến trúc Continuous Bag-of-Words (CBOW). Tuy nhiên, phương pháp này đòi hỏi lượng dữ liệu lớn và chất lượng cao để huấn luyện mô hình. Việc thu thập và gán nhãn dữ liệu tiếng Việt là một thách thức lớn, đặc biệt là đối với các lĩnh vực chuyên biệt. Do đó, cần có những phương pháp học máy hiệu quả hơn để tận dụng tối đa dữ liệu có sẵn.

III. Phương Pháp Nhận Diện Cảm Xúc Bằng Mô Hình Máy Học

Luận văn này đề xuất một phương pháp nhận diện cảm xúc trong văn bản tiếng Việt bằng cách sử dụng mô hình máy học. Phương pháp này bao gồm các bước: tiền xử lý dữ liệu, trích xuất đặc trưng, huấn luyện mô hình và đánh giá kết quả. Trong giai đoạn tiền xử lý, văn bản được làm sạch và chuẩn hóa để loại bỏ các yếu tố gây nhiễu. Trong giai đoạn trích xuất đặc trưng, các đặc trưng ngôn ngữ quan trọng được trích xuất từ văn bản, chẳng hạn như tần suất từ, cụm từ và cấu trúc cú pháp. Trong giai đoạn huấn luyện mô hình, một mô hình máy học được huấn luyện trên dữ liệu đã được gán nhãn để dự đoán cảm xúc của văn bản. Trong giai đoạn đánh giá kết quả, mô hình được đánh giá trên một tập dữ liệu kiểm tra để đánh giá độ chính xác và hiệu quả.

3.1. Tiền Xử Lý Ngữ Liệu Text Preprocessing

Tiền xử lý ngữ liệu là bước quan trọng để làm sạch và chuẩn hóa văn bản. Các bước tiền xử lý bao gồm: loại bỏ các ký tự đặc biệt, chuyển đổi chữ hoa thành chữ thường, tách từ, loại bỏ các từ dừng (stop words) và thực hiện các kỹ thuật chuẩn hóa khác. Mục tiêu của tiền xử lý là giảm thiểu nhiễu và cải thiện chất lượng dữ liệu đầu vào cho mô hình máy học. Việc lựa chọn các bước tiền xử lý phù hợp có thể ảnh hưởng đáng kể đến hiệu suất của mô hình.

3.2. Trích Xuất Đặc Trưng Văn Bản Feature Extraction

Trích xuất đặc trưng là quá trình chuyển đổi văn bản thành một tập hợp các đặc trưng số có thể được sử dụng bởi mô hình máy học. Các đặc trưng phổ biến bao gồm: tần suất từ (TF-IDF), word embeddings (Word2Vec, GloVe) và các đặc trưng cú pháp. Việc lựa chọn các đặc trưng phù hợp có thể giúp mô hình nắm bắt được các thông tin quan trọng trong văn bản và cải thiện độ chính xác của việc nhận diện cảm xúc.

IV. Thực Nghiệm Và Đánh Giá Mô Hình Nhận Diện Cảm Xúc

Để đánh giá hiệu quả của phương pháp đề xuất, chúng tôi đã thực hiện các thực nghiệm trên một tập dữ liệu văn bản tiếng Việt. Tập dữ liệu này bao gồm các ý kiến đánh giá sản phẩm trên website bán hàng Shopee. Chúng tôi đã sử dụng các mô hình máy học khác nhau, bao gồm Logistic Regression, Linear SVM và Naive Bayes, để huấn luyện và đánh giá. Kết quả thực nghiệm cho thấy mô hình Linear SVM đạt độ chính xác cao nhất trong việc nhận diện cảm xúc tích cực và tiêu cực. Tuy nhiên, các mô hình khác cũng cho kết quả khả quan và có thể được sử dụng trong các ứng dụng khác nhau.

4.1. Xây Dựng Ngữ Liệu Đánh Giá Cảm Xúc Dataset

Việc xây dựng ngữ liệu là bước quan trọng để huấn luyện và đánh giá mô hình nhận diện cảm xúc. Ngữ liệu cần phải đa dạng, phong phú và đại diện cho các loại văn bản khác nhau. Trong thực nghiệm này, chúng tôi đã sử dụng một tập dữ liệu các ý kiến đánh giá sản phẩm trên website bán hàng Shopee. Tập dữ liệu này bao gồm các ý kiến đánh giá tích cực, tiêu cực và trung tính. Việc gán nhãn cho dữ liệu được thực hiện thủ công bởi các chuyên gia ngôn ngữ.

4.2. Đánh Giá Kết Quả Với Các Phương Pháp Khác Nhau

Chúng tôi đã sử dụng các mô hình máy học khác nhau để huấn luyện và đánh giá, bao gồm Logistic Regression, Linear SVM và Naive Bayes. Kết quả cho thấy Linear SVM đạt độ chính xác cao nhất. Điểm quyết định cho phương pháp Logistic Regression và Linear SVM được thể hiện qua các hình ảnh và báo cáo trên tập dữ liệu kiểm tra. Các kết quả này cho thấy tiềm năng của các mô hình máy học trong việc nhận diện cảm xúc trong văn bản tiếng Việt.

V. Kết Luận Và Hướng Phát Triển Nhận Diện Cảm Xúc Tương Lai

Luận văn này đã trình bày một phương pháp nhận diện cảm xúc trong văn bản tiếng Việt bằng cách sử dụng mô hình máy học. Phương pháp này đã được đánh giá trên một tập dữ liệu thực tế và cho kết quả khả quan. Tuy nhiên, vẫn còn nhiều hướng phát triển tiềm năng cho nghiên cứu này. Trong tương lai, chúng tôi sẽ tập trung vào việc cải thiện độ chính xác của mô hình, xử lý các yếu tố phức tạp như châm biếm và mỉa mai, và mở rộng ứng dụng của mô hình sang các lĩnh vực khác nhau. Việc nhận diện cảm xúc trong văn bản tiếng Việt có tiềm năng to lớn trong việc cải thiện trải nghiệm của người dùng và hỗ trợ các quyết định kinh doanh.

5.1. Các Kết Quả Đạt Được Của Luận Văn

Luận văn đã đạt được các kết quả sau: (1) Xây dựng một phương pháp nhận diện cảm xúc trong văn bản tiếng Việt bằng cách sử dụng mô hình máy học. (2) Đánh giá hiệu quả của phương pháp trên một tập dữ liệu thực tế. (3) So sánh hiệu suất của các mô hình máy học khác nhau. (4) Xác định các hướng phát triển tiềm năng cho nghiên cứu trong tương lai. Các kết quả này đóng góp vào sự phát triển của lĩnh vực xử lý ngôn ngữ tự nhiên và có thể được sử dụng trong các ứng dụng thực tế.

5.2. Hướng Nghiên Cứu Tiếp Theo Về Nhận Diện Cảm Xúc

Trong tương lai, chúng tôi sẽ tập trung vào các hướng nghiên cứu sau: (1) Cải thiện độ chính xác của mô hình bằng cách sử dụng các kỹ thuật học sâu và các đặc trưng ngôn ngữ phức tạp hơn. (2) Xử lý các yếu tố phức tạp như châm biếm và mỉa mai bằng cách sử dụng các mô hình ngữ cảnh và tri thức. (3) Mở rộng ứng dụng của mô hình sang các lĩnh vực khác nhau, chẳng hạn như phân tích ý kiến khách hàng, theo dõi mạng xã hội và phát hiện tin giả. (4) Nghiên cứu các phương pháp nhận diện cảm xúc đa ngôn ngữ để hỗ trợ các ngôn ngữ khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Nhận diện cảm xúc trong văn bản tiếng Việt là một lĩnh vực nghiên cứu quan trọng trong xử lý ngôn ngữ tự nhiên (NLP), đặc biệt trong bối cảnh phát triển mạnh mẽ của các nền tảng thương mại điện tử và mạng xã hội. Theo ước tính, hiện nay có khoảng 4063 phản hồi, đánh giá sản phẩm được thu thập từ website bán hàng trực tuyến Shopee, trong đó phân chia gần như cân bằng giữa các đánh giá tích cực (2030) và tiêu cực (2033). Vấn đề nghiên cứu tập trung vào việc xây dựng mô hình máy học nhằm phân loại cảm xúc trong các phản hồi này thành hai trạng thái chính: tích cực và tiêu cực.

Mục tiêu cụ thể của nghiên cứu là phát triển một hệ thống nhận diện cảm xúc trong văn bản tiếng Việt với độ chính xác cao, tối ưu hiệu suất thời gian thực hiện, đồng thời giải quyết các khó khăn đặc thù của ngôn ngữ tiếng Việt như tách từ, chuẩn hóa dữ liệu và biểu diễn văn bản. Phạm vi nghiên cứu tập trung vào các phản hồi, ý kiến đánh giá sản phẩm trên nền tảng thương mại điện tử Shopee trong năm 2022. Ý nghĩa của nghiên cứu được thể hiện qua việc hỗ trợ doanh nghiệp trong việc phân tích ý kiến khách hàng một cách tự động, từ đó nâng cao khả năng cạnh tranh và thích ứng với thị trường biến động.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Xử lý ngôn ngữ tự nhiên (NLP): Là lĩnh vực khoa học máy tính kết hợp trí tuệ nhân tạo và ngôn ngữ học tính toán, tập trung vào việc giúp máy tính hiểu và xử lý ngôn ngữ con người. Các bài toán tiêu biểu bao gồm tách từ, chuẩn hóa văn bản, loại bỏ stopwords, và biểu diễn văn bản dưới dạng vector.

• Mô hình mạng nơ-ron sâu (Deep Neural Networks - DNN): Bao gồm các kiến trúc như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi tiếp dài ngắn hạn (LSTM). LSTM được sử dụng để xử lý chuỗi dữ liệu văn bản, giúp mô hình ghi nhớ thông tin dài hạn và cải thiện độ chính xác phân loại cảm xúc.

• Phương pháp biểu diễn từ (Word Embedding): Sử dụng các kỹ thuật như Word2Vec (CBOW và Skip-gram) và GloVe để chuyển đổi từ ngữ thành vector số thực, giúp máy tính hiểu được ngữ cảnh và ngữ nghĩa của từ trong văn bản.

• Phân loại cảm xúc (Sentiment Analysis): Bài toán phân loại văn bản thành các lớp cảm xúc tích cực và tiêu cực, dựa trên các đặc trưng được trích xuất từ văn bản và mô hình học máy có giám sát.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ các phản hồi, đánh giá sản phẩm trên website Shopee, với tổng số 4063 mẫu, trong đó 2030 mẫu tích cực và 2033 mẫu tiêu cực. Dữ liệu được chia thành tập huấn luyện gồm 3200 mẫu và tập kiểm tra gồm 863 mẫu, đảm bảo cân bằng giữa hai lớp cảm xúc.

Quy trình nghiên cứu bao gồm các bước:

1. Tiền xử lý dữ liệu: Loại bỏ các ký tự đặc biệt, biểu tượng cảm xúc, chuẩn hóa chữ viết, sửa lỗi chính tả, tách từ bằng công cụ Tokenizer, loại bỏ stopwords và chuẩn hóa các đặc trưng văn bản.

2. Biểu diễn văn bản: Sử dụng các phương pháp BoW (Bag of Words), TF-IDF, Word2Vec và GloVe để chuyển đổi văn bản thành vector đặc trưng.

3. Huấn luyện mô hình: Áp dụng các thuật toán phân lớp như Logistic Regression, Linear SVM, Naive Bayes và mạng nơ-ron LSTM với dữ liệu đã được vector hóa.

4. Đánh giá mô hình: Sử dụng các chỉ số precision, recall, f1-score và accuracy trên tập kiểm tra để đánh giá hiệu suất của các mô hình.

Thời gian nghiên cứu tập trung trong năm 2022 tại Học viện Công nghệ Bưu chính Viễn thông, TP. Hồ Chí Minh.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất mô hình phân lớp: Mô hình kết hợp phương pháp vector hóa TF-IDF và thuật toán Naive Bayes đạt độ chính xác cao nhất với f1-score trung bình khoảng 71%. Cụ thể, f1-score lớp tích cực đạt 69%, lớp tiêu cực đạt 73%.

2. So sánh các phương pháp phân lớp: Các phương pháp Logistic Regression, Linear SVM và Naive Bayes cho kết quả tương đương nhau với f1-score trung bình dao động từ 70% đến 71%. Mô hình Naive Bayes có ưu thế nhẹ về f1-score so với các phương pháp còn lại.

3. Hiệu quả các phương pháp vector hóa: TF-IDF và BoW cho hiệu suất tương đương trong việc biểu diễn văn bản, tuy nhiên TF-IDF có điểm precision lớp tích cực cao hơn (0,76 so với 0,74 của BoW).

4. Mô hình mạng nơ-ron LSTM: Mặc dù được kỳ vọng cao, mô hình LSTM huấn luyện bằng Tensorflow chỉ đạt độ chính xác khoảng 50,55%, thấp hơn đáng kể so với các phương pháp truyền thống. Điều này có thể do kích thước bộ dữ liệu chưa đủ lớn hoặc cần tối ưu thêm tham số.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu quả cao của các mô hình truyền thống như Naive Bayes kết hợp TF-IDF là do tính chất đặc thù của ngôn ngữ tiếng Việt và bộ dữ liệu cân bằng, được tiền xử lý kỹ lưỡng. Việc chuẩn hóa từ, tách từ chính xác và loại bỏ các yếu tố nhiễu đã giúp tăng độ chính xác của mô hình.

Kết quả thấp của mô hình LSTM phản ánh thách thức trong việc áp dụng học sâu cho ngôn ngữ tiếng Việt với dữ liệu hạn chế. So với các nghiên cứu quốc tế, việc sử dụng mạng nơ-ron sâu đòi hỏi bộ dữ liệu lớn hơn và kỹ thuật tăng cường dữ liệu để tránh overfitting.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh f1-score giữa các mô hình phân lớp và các phương pháp vector hóa, cũng như bảng thống kê chi tiết các chỉ số precision, recall cho từng lớp cảm xúc.

Đề xuất và khuyến nghị

1. Tăng cường thu thập dữ liệu: Mở rộng bộ dữ liệu phản hồi khách hàng với số lượng lớn hơn nhằm cải thiện hiệu suất của các mô hình học sâu, đặc biệt là LSTM. Thời gian thực hiện: 6-12 tháng, chủ thể: nhóm nghiên cứu và doanh nghiệp.

2. Áp dụng kỹ thuật tăng cường dữ liệu (data augmentation): Sử dụng các phương pháp như paraphrasing, synonym replacement để tạo thêm dữ liệu huấn luyện đa dạng, giúp mô hình học sâu tránh overfitting. Thời gian: 3-6 tháng, chủ thể: nhóm nghiên cứu.

3. Tối ưu hóa mô hình học sâu: Thử nghiệm các kiến trúc mạng nơ-ron khác như Transformer, BERT cho tiếng Việt, kết hợp fine-tuning trên bộ dữ liệu chuyên biệt. Thời gian: 6 tháng, chủ thể: nhóm nghiên cứu.

4. Phát triển hệ thống ứng dụng thực tế: Xây dựng công cụ phân tích cảm xúc tự động tích hợp vào các nền tảng thương mại điện tử để hỗ trợ doanh nghiệp nhanh chóng nắm bắt ý kiến khách hàng. Thời gian: 6 tháng, chủ thể: doanh nghiệp và nhóm phát triển phần mềm.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành công nghệ thông tin, xử lý ngôn ngữ tự nhiên: Nghiên cứu các phương pháp tiền xử lý, biểu diễn văn bản và mô hình phân loại cảm xúc trong tiếng Việt.

2. Doanh nghiệp thương mại điện tử và marketing: Áp dụng mô hình nhận diện cảm xúc để phân tích phản hồi khách hàng, nâng cao chất lượng dịch vụ và chiến lược kinh doanh.

3. Phát triển phần mềm và ứng dụng AI: Tham khảo kỹ thuật xây dựng hệ thống phân tích cảm xúc tự động, tích hợp vào chatbot, trợ lý ảo hoặc hệ thống quản lý quan hệ khách hàng.

4. Các tổ chức nghiên cứu về ngôn ngữ và xã hội học: Hiểu rõ hơn về đặc điểm ngôn ngữ tiếng Việt và cách thức xử lý dữ liệu văn bản trong nghiên cứu xã hội học, tâm lý học.

Câu hỏi thường gặp

1. Tại sao cần tiền xử lý dữ liệu trước khi huấn luyện mô hình?
   Tiền xử lý giúp loại bỏ dữ liệu nhiễu, chuẩn hóa văn bản, tách từ chính xác, từ đó nâng cao chất lượng dữ liệu đầu vào, giúp mô hình học máy đạt hiệu quả cao hơn. Ví dụ, việc chuyển chữ hoa thành chữ thường tránh nhầm lẫn trong biểu diễn từ.

2. Phương pháp nào cho kết quả tốt nhất trong nghiên cứu này?
   Phương pháp kết hợp TF-IDF và Naive Bayes cho độ chính xác cao nhất với f1-score trung bình khoảng 71%, vượt trội so với các phương pháp khác trên bộ dữ liệu hiện có.

3. Tại sao mô hình LSTM không đạt hiệu quả như mong đợi?
   LSTM yêu cầu bộ dữ liệu lớn và đa dạng để học hiệu quả. Bộ dữ liệu hiện tại còn hạn chế về kích thước và tính đa dạng, dẫn đến hiện tượng overfitting và kết quả thấp.

4. Có thể áp dụng mô hình này cho các ngôn ngữ khác không?
   Các phương pháp và mô hình được sử dụng có thể áp dụng cho nhiều ngôn ngữ khác, tuy nhiên cần điều chỉnh phù hợp với đặc điểm ngôn ngữ và bộ dữ liệu tương ứng.

5. Làm thế nào để cải thiện độ chính xác của mô hình trong tương lai?
   Có thể mở rộng bộ dữ liệu, áp dụng kỹ thuật tăng cường dữ liệu, thử nghiệm các kiến trúc mạng nơ-ron tiên tiến như Transformer, và tối ưu tham số mô hình để nâng cao hiệu suất.

Kết luận

• Đã xây dựng thành công mô hình nhận diện cảm xúc trong văn bản tiếng Việt với độ chính xác lên đến 71% trên bộ dữ liệu phản hồi khách hàng Shopee.
• Áp dụng hiệu quả các kỹ thuật tiền xử lý, biểu diễn văn bản (TF-IDF, BoW, Word2Vec) và thuật toán phân lớp (Naive Bayes, Logistic Regression, SVM).
• Mô hình học sâu LSTM chưa đạt hiệu quả cao do hạn chế về dữ liệu và cần được tối ưu thêm.
• Đề xuất mở rộng dữ liệu, áp dụng kỹ thuật tăng cường và thử nghiệm các mô hình học sâu tiên tiến trong nghiên cứu tiếp theo.
• Khuyến nghị phát triển hệ thống ứng dụng thực tế để hỗ trợ doanh nghiệp phân tích cảm xúc khách hàng tự động.

Hành động tiếp theo là triển khai thu thập dữ liệu mở rộng và thử nghiệm các mô hình mới nhằm nâng cao hiệu quả nhận diện cảm xúc, đồng thời phát triển ứng dụng thực tế phục vụ doanh nghiệp. Đề nghị các nhà nghiên cứu và doanh nghiệp quan tâm phối hợp để phát triển lĩnh vực này.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN TÀI LIỆU 1.1 Ngôn ngữ tự nhiên Trong ngôn ngữ học, ngôn ngữ tự nhiên là ngôn ngữ nào phát sinh, không suy nghĩ trước trong não bộ của con người. Một số ngôn ngữ điển hình mà con người được sử dụng để giao tiếp với nhau, có thể ngôn ngữ âm thanh, ngôn ngữ ký hiệu, các ký hiệu xúc giác hay chữ viết [2]. Hiểu một cách đơn giản, ngôn ngữ tự nhiên (Natural Language) là ngôn ngữ mà con người dùng để giao tiếp với nhau như tiếng Việt, tiếng Anh,… và khác với ngôn ngữ nhân tạo như ngôn ngữ máy tính (Pascal, C, Python, …) hay mã Morse, Braille, …. Theo thống kê, trên thế giới có khoảng 5600 ngôn ngữ, được phân bố rất không đồng đều và chỉ có một số ít các ngôn ngữ là có chữ viết.

 Đặc điểm Một số đặc điểm của ngôn ngữ tự nhiên [2]: o Ngôn ngữ tự nhiên là một hiện tượng xã hội đặc biệt. o Ngôn ngữ tự nhiên là một trong những phương tiện giao tiếp quan trọng nhất của con người, các phương tiện khác cũng được diễn giải qua ngôn ngữ tự nhiên. o Ngôn ngữ tự nhiên là một hệ thống các tín hiệu đặc biệt.  Phân loại [8] o Phân loại ngôn ngữ theo nguồn gốc lịch sử o Phân loại ngôn ngữ theo trật tự từ o Phân loại ngôn ngữ theo loại hình: được nhiều người sử dụng nhất.

Phân loại các ngôn ngữ tự nhiên theo loại hình là cách phân loại ngôn ngữ tự nhiên theo cấu trúc và chức năng của ngôn ngữ tự nhiên. Từ việc phân loại người ta thu được các loại hình ngôn ngữ. Loại hình ngôn ngữ tự nhiên là một tập hợp các 6 ngôn ngữ tự nhiên. Trong mỗi ngôn ngữ thì có ba nhóm thuộc tính: thuộc tính phổ quát (thuộc tính chung), thuộc tính riêng biệt, thuộc tính loại hình.

Trong đó thuộc tính loại hình được dùng làm tiêu chuẩn khi phân loại ngôn ngữ.2 Ngôn ngữ tiếng Việt Tiếng Việt là ngôn ngữ đơn lập, nghĩa là trong mỗi âm tiết đều được phát âm tách rời nhau và được biểu diễn bằng một chữ viết cụ thể. Đặc điểm này được thể hiện ở tất cả các mặt như về ngữ âm, từ vựng, ngữ pháp.  Đặc điểm ngữ âm Trong ngôn ngữ tiếng Việt thì ‘tiếng’ là một loại đơn vị đặc biêt. Về mặt ngữ âm, mỗi tiếng của tiếng Việt là một âm tiết.

Hệ thống âm vị trong ngôn ngữ tiếng Việt thì rất phong phú và có tính cân đối. Trong ngôn ngữ tiếng Việt có rất nhiều từ được dùng để gợi hình, tượng thanh có giá trị gợi tả đặc sắc. Khi chúng ta viết câu, viết lời trong tiếng Việt thì phải chú ý đến sự hài hoà về ngữ âm, đến ngữ điệu của câu văn [1].  Đặc điểm từ vựng [1] Trong tiếng Việt.

mỗi tiếng đều là một yếu tố có nghĩa. Tiếng là một đơn vị cơ sở trong hệ thống các đơn vị có nghĩa của ngôn ngữ tiếng Việt. Từ tiếng, người ta có thể tạo ra rất nhiều đơn vị từ vựng khác nhau để định danh cho sự vật, hiện tượng,… và chủ yếu được tạo ra bằng các phương thức ghép và phương thức láy. Việc tạo ra các đơn vị trong ngôn ngữ tiếng Việt ở phương thức ghép chịu sự chi phối của quy luật kết hợp về ngữ nghĩa, ví dụ: đất nước.

xe lửa, nhà lầu xe hơi, dậu đổ bìm leo,…. Theo phương thức này, tiếng Việt sử dụng các yếu tố cấu tạo từ thuần Việt hay được vay mượn từ các ngôn ngữ khác nhau để tạo ra các từ ngữ mới, ví dụ: nhân viên, karaoke, thư điện tử (e-mail), hộp thư thoại (voice mail), phiên bản (version), xa lộ thông tin, văn bản siêu liên kết, truy cập ngẫu nhiên,. Việc tạo ra các đơn vị từ vựng bằng phương thức láy thì quy luật phối hợp ngữ âm chi phối chủ yếu việc tạo ra các đơn vị từ vựng, chẳng hạn: đom đóm, bơ vơ,long 7 lanh, ầm ầm, lấm tấm, …  Đặc điểm ngữ pháp Từ của tiếng Việt đặc trưng là không biến đổi hình thái. Khi kết hợp các từ thành các kết cấu như ngữ, câu, phương thức trật tự từ và hư từ [2] rất quan trọng.

Việc sắp xếp các từ trong tiếng Việt theo một trật tự nhất định sẽ mạng ý nghĩa khác nhau qua đó biểu thị các quan hệ cú pháp. Trong tiếng Việt khi nói “Mùa xuân lại đến” là khác với “Lại đến mùa xuân“.Nhờ kết hợp trật tự của từ mà ngữ nghĩa của chúng cũng khác nhau. Trong tiếng Việt thì trật tự kết cấu câu chủ ngữ đứng trước, vị ngữ đúng sau là trật tự phổ biến nhất. Phương thức hư từ cũng là một trong những phương thức ngữ pháp chủ yếu được sử dụng trong ngôn ngữ tiếng Việt.

Nhờ hư từ mà tổ hợp các từ khác nhau có nghĩa khác nhau. Hư từ kết hợp với trật tự từ cho phép tiêng Việt tạo ra các câu về hình thức và nội dung cơ bản giống nhau nhưng khác nhau hoàn toàn về sắc thái biểu cảm. Ví dụ, so sánh các câu sau đây:  Bạn ấy không uống nước ngọt.  Nước ngọt, bạn ấy không uống.

 Nước ngọt, bạn ấy cũng không uống.3 Xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên [2] là một phạm trù trong xử lý thông tin với dữ liệu đầu vào là các văn bản hay là tiếng nói. Ngày nay, các dữ liệu dạng này ngày càng trở thành là một trong những kiểu dữ liệu chính và lưu dưới dạng điện tử. Đặc điểm chung của dữ liệu là không có cấu trúc, hoặc nửa cấu trúc và không thể lưu lại dưới dạng bảng biểu. Do đó chúng ta cần phải xử lý để chuyển từ không thể hiểu thành có thể hiểu được.

Xử lý ngôn ngữ tự nhiên (Natural Language Processing) [2] là một lĩnh vực khoa học máy tính kết hợp giữa Trí tuệ nhân tạo & Ngôn ngữ học tính toán chủ yếu tập trung các xử lý tương tác giữa con người và máy tính sao cho máy tính có thể hiểu được ngôn 8 ngữ của con người. Xử lý ngôn ngữ tự nhiên là hướng dẫn máy tính thay thế và giúp đỡ con người thực hiện các công việc về xử lý ngôn ngữ như: dịch thuật, phân tích dữ liệu văn bản, nhận dạng tiếng nói, tìm kiếm thông tin, tóm tắt văn bản,…  Một số bài toán về xử lý ngôn ngữ tiêu biểu Nhận dạng tiếng nói [12] (Speech recognization): phổ biến trong các hệ thống trợ lý ảo như Siri của Apple, Cortana của Microsoft, Google Assistant của Google, Alexa của Amazon, …. Tổng hợp tiếng nói (Speech Synthesis) [32] : từ dữ liệu đầu vào là một văn bản, phân tích và chuyển thành tiếng nói. Hiện tại có rất nhiều các hãng công nghệ lớn như IBM và Amazon đều có dịch vụ Text to Speech chất lượng tốt nhưng chưa được hỗ trợ ngôn ngữ tiếng Việt.

Nhận dạng ký tự quang học [14] (Optical Character Recognition): từ một văn bản được in trên giấy máy tính sẽ chuyển thành một tệp văn bản và lưu được. Tổng hợp tiếng nói (Speech synthesis hoặc Text to Speech – TTS) [33]: chuyển đổi ngôn ngữ từ dạng văn bản sang tiếng nói, thường được dùng trong đọc các văn bản tự động. Truy xuất thông tin (Information Retrieval) [19]: hệ thống thực hiện xử lý và tìm các tài liệu dưới dạng không có cấu trúc (thường là văn bản) đáp ứng nhu cầu về thông tin từ những nguồn dữ liệu lớn. Các hệ thống được sử dụng phổ biến nhất hiện nay như các công cụ tìm kiếm như Google, Yahoo, hoặc Bing search.

Trích chọn thông tin (Information Extraction – IE): nhận diện loại thực thể, mối quan hệ giữa các thực thể và các sự kiện trong văn bản ngôn ngữ tự nhiên. Trích chọn thông tin sẽ trả về thông tin mà người dùng mong muốn. Trả lời câu hỏi(Question Answering) [33]: Hệ thống có khả năng tự động trả lời câu hỏi của người dùng bằng phương thức là truy xuất thông tin từ một tập hợp các tài liệu. 9 Tóm tắt văn bản tự động (Automatic Text Summarization): là ứng dụng mà đầu vào là một văn bản và đầu ra là một văn bản được tóm tắt nội dung ngắn gọn mà vẫn giữ được nội dung chính của văn bản.

Chatbot: là một chương trình mà máy tính có khả năng trò chuyện (chat), hỏi đáp với con người qua hình thức hội thoại dưới dạng văn bản (text). Dịch máy (Machine Translation): là việc con người sử dụng máy tính để dịch từ một ngôn ngữ này sang ngôn ngữ khác một cách tự động hóa toàn bộ. Kiểm lỗi chính tả tự động: là việc sử dụng máy tính để tự động phát hiện các lỗi chính tả trong văn bản (lỗi từ vựng, lỗi ngữ pháp, lỗi ngữ nghĩa) và đưa ra gợi ý cách thức chỉnh sửa lỗi. Tìm kiếm và truy xuất thông tin (Information Retrieval): từ một nguồn có rất nhiều file thông tin, tìm ra những file có liên quan đến câu hỏi cần tìm.

Điển hình như Google Search, Yahoo Search, Bing, … hay một công cụ thuần Việt là Tìm kiếm Cốc Cốc. Rút trích thông tin văn bản (Information Extraction) [26]: tìm ra những đoạn bên trong của văn bản chứa nội dung ta cần biết. Khai phá dữ liệu (Data Mining) [17]: là quá trình phân tích dữ liệu từ một tập dữ liệu lớn để tìm ra các mẫu. Data Mining rất hữu ích trong việc tăng doanh thu và cắt giảm chi phí cho lĩnh vực kinh doanh.

Đây là một hướng đi rất tiềm năng ở Việt Nam.  Tình hình và những vấn đề chính trong xử lý ngôn ngữ tiếng Việt Về xử lý tiếng nói và tiếng Việt, theo chúng tôi biết, hiện nay có rất nhiều nghiên cứu đã phân tích, nhận dạng và xử lý ngôn ngữ tự nhiên. Bên ngoài Việt Nam, cũng có nhiều nghiên cứu về xử lý ngôn ngữ tiếng Việt và có những thành tựu nhất định 10 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT Bài toán nhận diện cảm xúc [17] thuộc dạng bài toán phân tích ngữ nghĩa văn bản. Vì vậy, chúng tôi sẽ xây dựng một mô hình để phân tích và hiểu được ý nghĩa của câu văn, đoạn văn để quyết định xem câu văn đó hay đoạn văn đó mang ý nghĩa sắc thái cảm xúc nào.

Về cơ bản, chúng ta có thể chia cảm xúc con người thành nhiều loại và việc này tương ứng với các bài toán phân lớp dữ liệu trong khai thác dữ liệu. Do đó, chúng tôi xây dựng ứng dụng nhận diện cảm xúc người dùng bằng phương pháp phân lớp dữ liệu. Chúng tôi mô tả khái quát mô hình phân tích cảm xúc của người dùng. Dữ liệu đầu vào của bài toán là một câu văn, đoạn văn hay tổng quát hơn là một văn bản, còn kết quả đầu ra mong muốn là loại cảm xúc nào.