Nghiên Cứu Phương Pháp Học Sâu Ứng Dụng Cho Phân Loại Ý Kiến Phản Hồi

Tài liệu nghiên cứu Nghiên cứu phương pháp học sâu ứng dụng cho phân loại ý kiến phản hồi, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Nguyễn Thị Huyền
• Người hướng dẫn: PGS. Vũ Việt Vũ
• Trường học: Trường Đại Học Hồng Đức
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Phương Pháp Học Sâu Trong Phân Loại Ý Kiến Phản Hồi
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Thanh Hóa

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
• 1.1. Khái niệm về trí tuệ nhân tạo
• 1.2. Khái niệm về học máy
• 1.3. Mạng nơron nhân tạo
• 1.4. Mạng nơron học sâu
• 1.5. Một số nhận xét
• 1.6. Bài toán phân loại ý kiến
• 1.7. Các dạng của bài toán phân loại ý kiến
• 2. CHƯƠNG 2: PHƯƠNG PHÁP HỌC SÂU ÁP DỤNG CHO BÀI TOÁN PHÂN LOẠI Ý KIẾN
• 2.1. Mạng nơron nhân tạo trong xử lý thông tin
• 2.2. Mạng nơron học sâu trong xử lý trong thông tin
• 2.3. Mạng nơron tích chập học sâu (Convolutional Neural Network)
• 2.4. Kiến trúc mạng học sâu LSTM
• 2.5. Một số nghiên cứu về mạng CNN và mạng LSTM cho bài toán phân loại ý kiến
• 2.6. Áp dụng phương pháp học sâu cho bài toán phân loại ý kiến
• 3. CHƯƠNG 3: KẾT QUẢ THỰC NGHIỆM
• 3.1. Xây dựng chương trình
• 3.2. Kết quả thực nghiệm
• 3.3. Thực nghiệm với các mô hình
• 3.4. So sánh thời gian thực hiện
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Học Sâu và Phân Loại Ý Kiến

Bài toán phân loại ý kiến là một trong những bài toán có ý nghĩa thực tiễn lớn. Hàng ngày, lượng lớn dữ liệu văn bản được tạo ra trên internet, bao gồm ý kiến người dùng về sản phẩm, bình luận về các vấn đề xã hội. Việc tự động xác định ý kiến tốt, xấu, trung lập là một công việc quan trọng. Với sự phát triển của mạng xã hội, báo chí, blog, số lượng ý kiến được đưa lên mạng ngày càng tăng. Vấn đề đặt ra là làm sao xác định được ý kiến nào là tốt, là xấu, là bình thường một cách tự động. Đây là một công việc rất đáng quan tâm. Để giải quyết bài toán này, phương pháp học máy được sử dụng. Học máy là lĩnh vực nghiên cứu xây dựng các thuật toán có thể học từ dữ liệu thu thập được. Một số mô hình học cơ bản gồm học có giám sát, học bán giám sát và học không giám sát. Bài toán này thường được giải quyết bằng phương pháp học có giám sát, cụ thể là bài toán phân lớp.

1.1. Tầm Quan Trọng Của Phân Tích Cảm Xúc Trong Dữ Liệu Lớn

Trong kỷ nguyên số, lượng dữ liệu văn bản khổng lồ được tạo ra hàng ngày. Việc phân tích cảm xúc từ dữ liệu này giúp các doanh nghiệp và tổ chức hiểu rõ hơn về ý kiến khách hàng, đánh giá sản phẩm, và phản hồi về các dịch vụ. Phân tích cảm xúc không chỉ dừng lại ở việc xác định cảm xúc tích cực, tiêu cực, hay trung lập, mà còn đi sâu vào phân tích ngữ nghĩa để hiểu rõ hơn về ý kiến và quan điểm của người dùng. Điều này giúp đưa ra các quyết định kinh doanh chính xác hơn và cải thiện chất lượng dịch vụ.

1.2. Ứng Dụng Học Sâu Trong Bài Toán Phân Loại Ý Kiến Phản Hồi

Học sâu đã chứng minh được hiệu quả vượt trội trong nhiều lĩnh vực, bao gồm cả xử lý ngôn ngữ tự nhiên và phân tích văn bản. Các mô hình học sâu như CNN, RNN, LSTM, và Transformer có khả năng tự động trích xuất các đặc trưng quan trọng từ văn bản, giúp cải thiện đáng kể độ chính xác và hiệu suất của các hệ thống phân loại ý kiến. Việc áp dụng học sâu cho bài toán phân loại ý kiến mở ra nhiều cơ hội để tự động hóa quy trình phân tích và đưa ra các insight giá trị từ dữ liệu.

II. Thách Thức Trong Phân Loại Ý Kiến và Giải Pháp Học Sâu

Bài toán phân loại ý kiến đối mặt với nhiều thách thức, bao gồm sự phức tạp của ngôn ngữ tự nhiên, sự đa dạng của ý kiến và cảm xúc, và sự thiếu hụt dữ liệu huấn luyện. Các phương pháp truyền thống thường gặp khó khăn trong việc xử lý các sắc thái tinh tế của ngôn ngữ và các biểu hiện cảm xúc phức tạp. Học sâu cung cấp các giải pháp mạnh mẽ để vượt qua những thách thức này, nhờ khả năng học các biểu diễn phức tạp của văn bản và tự động thích nghi với các đặc điểm của dữ liệu.

2.1. Vấn Đề Xử Lý Ngôn Ngữ Tự Nhiên Trong Phân Tích Cảm Xúc

Ngôn ngữ tự nhiên chứa đựng nhiều yếu tố phức tạp như từ đồng nghĩa, từ trái nghĩa, câu đa nghĩa, và cấu trúc ngữ pháp phức tạp. Các phương pháp phân tích cảm xúc truyền thống thường gặp khó khăn trong việc xử lý những yếu tố này, dẫn đến kết quả không chính xác. Học sâu giúp giải quyết vấn đề này bằng cách học các biểu diễn từ và câu phức tạp, cho phép mô hình hiểu rõ hơn về ngữ cảnh và ý nghĩa của văn bản. Các kỹ thuật như word embedding (Word2Vec, GloVe, FastText) và mô hình ngôn ngữ (BERT, RoBERTa) đóng vai trò quan trọng trong việc cải thiện khả năng xử lý ngôn ngữ tự nhiên của các hệ thống phân loại ý kiến.

2.2. Khó Khăn Trong Thu Thập và Gán Nhãn Dữ Liệu Phản Hồi

Việc thu thập và gán nhãn dữ liệu phản hồi là một quá trình tốn kém và mất thời gian. Dữ liệu phản hồi thường không đồng nhất và chứa nhiều nhiễu, gây khó khăn cho việc huấn luyện các mô hình học máy. Học sâu có thể giúp giảm bớt gánh nặng này bằng cách sử dụng các kỹ thuật transfer learning và tăng cường dữ liệu. Transfer learning cho phép tận dụng các mô hình đã được huấn luyện trên các tập dữ liệu lớn để cải thiện hiệu suất trên các tập dữ liệu nhỏ hơn. Tăng cường dữ liệu giúp tạo ra các biến thể của dữ liệu hiện có để tăng cường tính đa dạng và độ mạnh mẽ của mô hình.

III. Phương Pháp Học Sâu Phổ Biến Cho Phân Loại Ý Kiến Phản Hồi

Nhiều phương pháp học sâu đã được áp dụng thành công cho bài toán phân loại ý kiến. Các mô hình như CNN, RNN, LSTM, và Transformer đều có những ưu điểm riêng và phù hợp với các loại dữ liệu và ứng dụng khác nhau. Việc lựa chọn mô hình phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của bài toán.

3.1. Mạng Nơ ron Tích Chập CNN Trong Phân Tích Văn Bản

CNN là một loại mạng nơ-ron đặc biệt hiệu quả trong việc trích xuất các đặc trưng cục bộ từ dữ liệu. Trong phân tích văn bản, CNN có thể được sử dụng để phát hiện các mẫu từ và cụm từ quan trọng, giúp xác định cảm xúc và ý kiến trong văn bản. CNN thường được sử dụng kết hợp với các kỹ thuật word embedding để cải thiện hiệu suất phân loại.

3.2. Mạng Nơ ron Hồi Quy RNN và LSTM Cho Dữ Liệu Chuỗi

RNN và LSTM là các loại mạng nơ-ron được thiết kế đặc biệt để xử lý dữ liệu chuỗi, như văn bản. RNN có khả năng ghi nhớ thông tin từ các bước trước đó trong chuỗi, giúp mô hình hiểu rõ hơn về ngữ cảnh và ý nghĩa của văn bản. LSTM là một biến thể của RNN có khả năng xử lý các chuỗi dài hơn và tránh được vấn đề biến mất gradient, giúp cải thiện hiệu suất phân loại.

3.3. Mô Hình Transformer và BERT Trong Xử Lý Ngôn Ngữ Tự Nhiên

Transformer và BERT là các mô hình ngôn ngữ mạnh mẽ dựa trên cơ chế attention. Transformer có khả năng xử lý các chuỗi dài một cách hiệu quả và song song, giúp tăng tốc quá trình huấn luyện. BERT là một mô hình được huấn luyện trước trên một lượng lớn dữ liệu văn bản, có thể được fine-tuning cho các nhiệm vụ cụ thể, như phân loại ý kiến. BERT đã đạt được kết quả vượt trội trong nhiều bài toán xử lý ngôn ngữ tự nhiên.

IV. Ứng Dụng Thực Tiễn Của Học Sâu Trong Phân Loại Ý Kiến

Học sâu đã được ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm thương mại điện tử, mạng xã hội, dịch vụ khách hàng, và phân tích thị trường. Các ứng dụng này giúp các doanh nghiệp và tổ chức hiểu rõ hơn về ý kiến khách hàng, cải thiện chất lượng sản phẩm và dịch vụ, và đưa ra các quyết định kinh doanh chính xác hơn.

4.1. Phân Tích Ý Kiến Khách Hàng Trong Thương Mại Điện Tử

Trong thương mại điện tử, phân tích ý kiến khách hàng đóng vai trò quan trọng trong việc đánh giá sản phẩm, cải thiện dịch vụ, và tăng doanh số. Học sâu có thể được sử dụng để tự động phân tích các đánh giá sản phẩm, bình luận, và phản hồi của khách hàng, giúp các doanh nghiệp hiểu rõ hơn về những gì khách hàng thích và không thích về sản phẩm của họ. Thông tin này có thể được sử dụng để cải thiện chất lượng sản phẩm, điều chỉnh chiến lược marketing, và tăng cường sự hài lòng của khách hàng.

4.2. Giám Sát Mạng Xã Hội và Quản Lý Danh Tiếng

Mạng xã hội là một nguồn thông tin quan trọng về ý kiến và cảm xúc của công chúng. Học sâu có thể được sử dụng để giám sát mạng xã hội và phát hiện các xu hướng cảm xúc và ý kiến tiêu cực, giúp các doanh nghiệp và tổ chức ứng phó kịp thời với các khủng hoảng truyền thông và bảo vệ danh tiếng của mình. Phân tích cảm xúc trên mạng xã hội cũng có thể được sử dụng để phân tích đối thủ cạnh tranh và xác định các cơ hội thị trường mới.

V. Kết Luận và Hướng Phát Triển Của Học Sâu Trong Phân Loại

Học sâu đã chứng minh được hiệu quả vượt trội trong bài toán phân loại ý kiến, mở ra nhiều cơ hội để tự động hóa quy trình phân tích và đưa ra các insight giá trị từ dữ liệu. Tuy nhiên, vẫn còn nhiều thách thức cần vượt qua, bao gồm việc xử lý các sắc thái tinh tế của ngôn ngữ, sự thiếu hụt dữ liệu huấn luyện, và vấn đề giải thích mô hình. Các nghiên cứu trong tương lai sẽ tập trung vào việc phát triển các mô hình học sâu mạnh mẽ hơn, có khả năng giải thích và thích nghi với các loại dữ liệu và ứng dụng khác nhau.

5.1. Tối Ưu Hóa Mô Hình Học Sâu và Tăng Cường Dữ Liệu

Việc tối ưu hóa mô hình học sâu và tăng cường dữ liệu là hai hướng nghiên cứu quan trọng để cải thiện hiệu suất phân loại ý kiến. Các kỹ thuật tối ưu hóa như fine-tuning, transfer learning, và regularization có thể giúp cải thiện độ chính xác và tính ổn định của mô hình. Các kỹ thuật tăng cường dữ liệu như back translation, random word deletion, và synonym replacement có thể giúp tăng cường tính đa dạng và độ mạnh mẽ của mô hình.

5.2. Phát Triển Các Mô Hình Có Khả Năng Giải Thích

Một trong những thách thức lớn nhất của học sâu là vấn đề giải thích mô hình. Các mô hình học sâu thường được coi là "hộp đen", gây khó khăn cho việc hiểu rõ lý do tại sao mô hình đưa ra một quyết định cụ thể. Việc phát triển các mô hình có khả năng giải thích là rất quan trọng để tăng cường sự tin cậy và khả năng ứng dụng của học sâu trong các lĩnh vực quan trọng như y tế và tài chính. Các kỹ thuật như attention visualization, LIME, và SHAP có thể được sử dụng để giải thích các quyết định của mô hình học sâu.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ dữ liệu văn bản trên các nền tảng mạng xã hội, báo chí và thương mại điện tử, việc phân loại ý kiến phản hồi trở thành một bài toán quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên và trí tuệ nhân tạo. Theo ước tính, mỗi ngày có hàng triệu bình luận, đánh giá được tạo ra trên các website và mạng xã hội, tạo ra nguồn dữ liệu phong phú nhưng cũng đầy thách thức trong việc khai thác và phân tích. Bài toán phân loại ý kiến phản hồi nhằm tự động xác định thái độ tích cực, tiêu cực hoặc trung tính của các đoạn văn bản, giúp các tổ chức, doanh nghiệp và cơ quan quản lý nhanh chóng nắm bắt tâm lý người dùng, cải thiện sản phẩm, dịch vụ và chính sách.

Mục tiêu nghiên cứu của luận văn là xây dựng hệ thống phân loại ý kiến phản hồi tiếng Việt ứng dụng phương pháp học sâu, đặc biệt là mạng nơron tích chập (CNN) và mạng bộ nhớ dài-ngắn (LSTM). Phạm vi nghiên cứu tập trung vào dữ liệu văn bản tiếng Việt thu thập từ các trang báo và website, với hai bộ dữ liệu thử nghiệm gồm 16.000 và 5.000 câu phản hồi đã được gán nhãn tích cực hoặc tiêu cực. Nghiên cứu nhằm nâng cao độ chính xác phân loại, đồng thời so sánh hiệu quả giữa các mô hình học sâu phổ biến.

Ý nghĩa của nghiên cứu được thể hiện qua việc cung cấp giải pháp tự động, chính xác cho bài toán phân loại ý kiến, góp phần thúc đẩy ứng dụng trí tuệ nhân tạo trong xử lý ngôn ngữ tự nhiên tại Việt Nam. Kết quả nghiên cứu có thể hỗ trợ các doanh nghiệp trong việc khai thác dữ liệu khách hàng, các cơ quan quản lý trong việc giám sát dư luận xã hội, đồng thời mở rộng hướng phát triển cho các ứng dụng phân tích dữ liệu văn bản khác.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng lý thuyết của trí tuệ nhân tạo (AI), học máy (Machine Learning) và học sâu (Deep Learning). Trí tuệ nhân tạo được hiểu là lĩnh vực nghiên cứu các hệ thống có khả năng nhận biết, lập luận và hành động tương tự con người. Học máy là nhánh của AI tập trung phát triển các thuật toán học từ dữ liệu để giải quyết các bài toán cụ thể. Học sâu là sự phát triển của mạng nơron nhân tạo với nhiều lớp ẩn, cho phép trích xuất đặc trưng phức tạp từ dữ liệu.

Hai mô hình học sâu chính được áp dụng là mạng nơron tích chập (CNN) và mạng bộ nhớ dài-ngắn (LSTM). CNN nổi bật với khả năng trích xuất đặc trưng không gian từ dữ liệu dạng chuỗi hoặc ảnh thông qua các lớp tích chập, hàm kích hoạt ReLU và lớp pooling giúp giảm kích thước dữ liệu. LSTM là dạng mạng hồi quy sâu (RNN) có khả năng ghi nhớ thông tin dài hạn, phù hợp với dữ liệu chuỗi có phụ thuộc ngữ cảnh như văn bản.

Các khái niệm chính bao gồm:

• Mạng nơron nhân tạo (ANN): Mô hình xử lý thông tin dựa trên cấu trúc nơron sinh học.
• Học có giám sát: Phương pháp học từ dữ liệu đã gán nhãn để xây dựng mô hình phân loại.
• Word embedding: Kỹ thuật chuyển đổi từ ngữ sang vector số, bao gồm Word2Vec và FastText, giúp biểu diễn ngữ nghĩa từ ngữ.
• Thuật toán back-propagation: Thuật toán huấn luyện mạng nơron bằng cách điều chỉnh trọng số dựa trên sai số đầu ra.

Phương pháp nghiên cứu

Nguồn dữ liệu sử dụng trong nghiên cứu gồm hai bộ dữ liệu chính: DL1 với 16.000 câu phản hồi và DL2 với 5.000 câu, thu thập từ các trang báo và website tiếng Việt, đã được gán nhãn tích cực hoặc tiêu cực. Dữ liệu được tiền xử lý bao gồm làm sạch, chuẩn hóa và chuyển đổi sang dạng vector số bằng các phương pháp Word2Vec và FastText.

Phương pháp phân tích chính là xây dựng và huấn luyện các mô hình học sâu CNN và LSTM. Mô hình CNN gồm 6 lớp tích chập 1D kết hợp với 6 lớp max pooling, đầu vào có kích thước (2852, 256), đầu ra (2852, 1). Mô hình LSTM được thiết kế để khai thác mối quan hệ ngữ cảnh dài hạn trong văn bản. Các mô hình được huấn luyện trên phần mềm TensorFlow và Keras, sử dụng GPU GTX1060, CPU Intel Core i5 9400F, RAM 16GB.

Quá trình nghiên cứu gồm các bước: thu thập và gán nhãn dữ liệu, tiền xử lý dữ liệu, xây dựng mô hình, huấn luyện và điều chỉnh tham số, kiểm thử và đánh giá kết quả. Thời gian nghiên cứu kéo dài trong năm 2020, tập trung vào dữ liệu tiếng Việt và ứng dụng trong lĩnh vực công nghệ thông tin.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình học sâu: Mạng CNN và LSTM đều đạt độ chính xác phân loại ý kiến trong khoảng 75% đến 90% theo chỉ số F1, phù hợp với các nghiên cứu quốc tế. Mạng LSTM cho kết quả tốt hơn mạng CNN khoảng 2-3% về độ chính xác, nhưng thời gian huấn luyện lâu hơn gấp đôi.

2. Tác động của phương pháp biểu diễn từ: Sử dụng FastText cải thiện độ chính xác phân loại khoảng 3% so với Word2Vec nhờ khả năng xử lý tốt các từ chưa xuất hiện trong tập huấn luyện và biểu diễn ngữ nghĩa chi tiết hơn.

3. Ảnh hưởng của cấu trúc mạng: Mạng CNN với 6 lớp tích chập và max pooling cho kết quả tốt hơn so với mạng có nhiều lớp hơn do tránh được hiện tượng overfitting. Mạng LSTM với cấu trúc 4 tầng cổng (input, forget, output, cell state) giúp duy trì thông tin ngữ cảnh dài hạn hiệu quả.

4. Thời gian huấn luyện: Mạng CNN có thời gian huấn luyện nhanh hơn mạng LSTM khoảng 40-50%, phù hợp với các ứng dụng cần xử lý nhanh và tài nguyên hạn chế.

Thảo luận kết quả

Nguyên nhân mạng LSTM cho kết quả phân loại tốt hơn là do khả năng ghi nhớ và xử lý phụ thuộc ngữ cảnh dài hạn trong văn bản, điều mà mạng CNN không thể làm tốt do tính chất trích xuất đặc trưng cục bộ. Tuy nhiên, cấu trúc phức tạp của LSTM dẫn đến thời gian huấn luyện lâu và yêu cầu tài nguyên tính toán cao hơn.

So sánh với các nghiên cứu quốc tế, kết quả đạt được tương đương hoặc vượt trội, đặc biệt trong ngữ cảnh tiếng Việt với đặc thù ngôn ngữ phức tạp. Việc sử dụng FastText giúp khắc phục hạn chế của các phương pháp biểu diễn từ truyền thống, nâng cao khả năng nhận diện ngữ nghĩa và từ mới.

Dữ liệu thử nghiệm được trình bày qua các bảng so sánh độ chính xác, thời gian huấn luyện và ví dụ phân loại sai, giúp minh họa rõ ràng hiệu quả và hạn chế của từng mô hình. Biểu đồ so sánh thời gian huấn luyện giữa CNN và LSTM cũng cho thấy sự khác biệt rõ rệt về hiệu suất.

Kết quả nghiên cứu khẳng định tính khả thi và hiệu quả của phương pháp học sâu trong phân loại ý kiến phản hồi tiếng Việt, đồng thời chỉ ra hướng phát triển tiếp theo là tối ưu cấu trúc mạng và mở rộng bộ dữ liệu huấn luyện.

Đề xuất và khuyến nghị

1. Tăng cường thu thập và làm sạch dữ liệu: Động từ hành động "mở rộng" tập dữ liệu phản hồi tiếng Việt với đa dạng chủ đề và phong cách ngôn ngữ nhằm nâng cao độ bao phủ và chất lượng huấn luyện. Chủ thể thực hiện là các nhóm nghiên cứu và doanh nghiệp công nghệ trong vòng 12 tháng tới.

2. Phát triển mô hình kết hợp CNN và LSTM: Đề xuất xây dựng mô hình lai nhằm tận dụng ưu điểm trích xuất đặc trưng cục bộ của CNN và khả năng ghi nhớ ngữ cảnh dài hạn của LSTM, hướng tới cải thiện độ chính xác phân loại trên 90%. Thời gian phát triển dự kiến 6-9 tháng, do các nhà nghiên cứu AI và kỹ sư phần mềm thực hiện.

3. Ứng dụng kỹ thuật tăng cường dữ liệu (data augmentation): Khuyến nghị áp dụng các phương pháp biến đổi dữ liệu văn bản như thay thế từ đồng nghĩa, đảo trật tự câu để tăng tính đa dạng dữ liệu huấn luyện, giảm hiện tượng overfitting. Chủ thể là nhóm phát triển mô hình, thực hiện song song với huấn luyện mô hình.

4. Tối ưu hóa tài nguyên tính toán: Đề xuất sử dụng các kỹ thuật giảm tham số mạng, pruning hoặc quantization để giảm thời gian huấn luyện và yêu cầu phần cứng, phù hợp với môi trường triển khai thực tế. Thời gian thực hiện 3-6 tháng, do đội ngũ kỹ thuật và nghiên cứu đảm nhiệm.

5. Phát triển hệ thống phân loại ý kiến tích hợp: Khuyến nghị xây dựng phần mềm ứng dụng phân loại ý kiến phản hồi tự động cho các doanh nghiệp và cơ quan quản lý, hỗ trợ ra quyết định nhanh chóng dựa trên dữ liệu thực tế. Chủ thể là các công ty công nghệ thông tin, thời gian triển khai 12 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức nền tảng và ứng dụng thực tiễn về học sâu trong xử lý ngôn ngữ tự nhiên, giúp phát triển các đề tài nghiên cứu liên quan.

2. Doanh nghiệp công nghệ và phát triển phần mềm: Các công ty phát triển sản phẩm phân tích dữ liệu khách hàng, chatbot, hệ thống gợi ý có thể áp dụng mô hình và phương pháp trong luận văn để nâng cao hiệu quả xử lý ý kiến người dùng.

3. Cơ quan quản lý và tổ chức nghiên cứu xã hội: Hỗ trợ trong việc khai thác dữ liệu mạng xã hội, báo chí để giám sát dư luận, đánh giá chính sách và phản hồi xã hội một cách tự động, nhanh chóng.

4. Chuyên gia phân tích dữ liệu và marketing: Giúp hiểu rõ hơn về kỹ thuật phân loại ý kiến, từ đó xây dựng chiến lược tiếp thị, cải tiến sản phẩm dựa trên phản hồi khách hàng được phân loại chính xác.

Câu hỏi thường gặp

1. Phân loại ý kiến phản hồi là gì và tại sao quan trọng?
   Phân loại ý kiến phản hồi là quá trình xác định thái độ tích cực, tiêu cực hoặc trung tính của các đoạn văn bản. Việc này giúp doanh nghiệp và tổ chức hiểu rõ hơn về cảm nhận khách hàng, từ đó cải thiện sản phẩm và dịch vụ. Ví dụ, phân tích bình luận trên mạng xã hội giúp phát hiện nhanh các vấn đề tiêu cực.

2. Tại sao chọn phương pháp học sâu thay vì học máy truyền thống?
   Học sâu có khả năng tự động trích xuất đặc trưng phức tạp từ dữ liệu, cho kết quả chính xác hơn so với các phương pháp truyền thống như SVM hay cây quyết định. Nghiên cứu cho thấy mạng CNN và LSTM đạt độ chính xác từ 75% đến 90%, vượt trội hơn các phương pháp cũ.

3. Mạng CNN và LSTM khác nhau như thế nào trong bài toán này?
   CNN tập trung trích xuất đặc trưng cục bộ và có tốc độ huấn luyện nhanh, phù hợp với dữ liệu có cấu trúc không gian. LSTM có khả năng ghi nhớ thông tin dài hạn, xử lý tốt dữ liệu chuỗi có phụ thuộc ngữ cảnh như văn bản, nhưng tốn nhiều tài nguyên hơn. LSTM thường cho kết quả chính xác hơn CNN.

4. Làm thế nào để biểu diễn văn bản thành vector số?
   Các phương pháp như Word2Vec và FastText được sử dụng để chuyển đổi từ ngữ thành vector số, giữ được ngữ nghĩa và mối quan hệ giữa các từ. FastText cải tiến bằng cách sử dụng n-gram ký tự, giúp nhận diện từ mới và tăng độ chính xác phân loại.

5. Làm sao để cải thiện độ chính xác phân loại ý kiến?
   Có thể mở rộng bộ dữ liệu huấn luyện, áp dụng kỹ thuật tăng cường dữ liệu, kết hợp mô hình CNN và LSTM, tối ưu cấu trúc mạng và sử dụng các phương pháp biểu diễn từ tiên tiến như FastText. Việc này giúp mô hình học sâu hiểu sâu hơn về ngữ cảnh và ngữ nghĩa văn bản.

Kết luận

• Luận văn đã xây dựng thành công hệ thống phân loại ý kiến phản hồi tiếng Việt sử dụng phương pháp học sâu CNN và LSTM, đạt độ chính xác từ 75% đến 90%.
• Mạng LSTM cho kết quả phân loại tốt hơn mạng CNN nhưng yêu cầu tài nguyên tính toán cao hơn.
• Phương pháp biểu diễn từ FastText giúp nâng cao hiệu quả phân loại so với Word2Vec.
• Nghiên cứu cung cấp cơ sở lý thuyết và thực nghiệm cho ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên tại Việt Nam.
• Đề xuất phát triển mô hình kết hợp, mở rộng dữ liệu và tối ưu hóa tài nguyên để nâng cao hiệu quả và khả năng ứng dụng thực tế.

Tiếp theo, nghiên cứu sẽ tập trung vào phát triển mô hình lai CNN-LSTM, mở rộng bộ dữ liệu đa dạng và xây dựng hệ thống phân loại ý kiến tích hợp cho các ứng dụng thực tế. Độc giả và các nhà nghiên cứu được khuyến khích áp dụng và phát triển thêm dựa trên kết quả này nhằm thúc đẩy ứng dụng trí tuệ nhân tạo trong lĩnh vực xử lý ngôn ngữ tự nhiên.

Trích đoạn nội dung tài liệu

Mở đầu Ngày nay, với sự phát triển vượt bậc của khoa học và công nghệ, đặc biệt là sự bùng nổ của Internet với các phương tiện truyền thông xã hội, thương mại điện tử,. đã cho phép mọi người không chỉ chia sẻ thông tin mà còn có thể thể hiện thái độ, quan điểm của mình đối với các sản phẩm, dịch vụ và các vấn đề xã hội khác nhau. Vì vậy, Internet đã trở nên vô cùng quan trọng và là nguồn cung cấp một lượng lớn thông tin. Với công nghệ Web 2.0 đã làm cho việc xây dựng các website, các blog, các diễn đàn trở nên dễ dàng và từ đó nhu cầu trao đổi ý kiến, bình luận trên mạng đã trở nên rất phổ biến.

Dữ liệu tạo ra từ các bình luận rất lớn và phong phú về các chủ đề khác nhau sẽ là một kênh quan trọng giúp cho các nhà quản lý, chính phủ, doanh nghiệp trong việc hoạch định chính sách, kinh doanh, xây dựng sản phẩm, dự đoán xu thế thị trường,. Khai phá dữ liệu văn bản sẽ hỗ trợ trong các hệ thống gợi ý, trong các chiến lược truyền thông,.Gần đây nhất, chủ đề về lắng nghe mạng xã hội và báo chí cũng luôn được nhắc đến trong các hội thảo về chuyển đổi số, về chính phủ điện tử tại Việt Nam. Rất nhiều sự việc trên mạng nhận được sự bình luận, ý kiến của công chúng đã được các nhà quản lý lắng nghe và giải quyết nhanh chóng hơn. Có thể nói, hiện nay các tổ chức đều coi các thông tin trên mạng như một kênh rất quan trọng để điều chỉnh, cải tiến các công việc của mình.

Một trong những bài toán khai phá loại dữ liệu văn bản này là bài toán phân loại ý kiến (sentiment classification). Bài toán này cũng có thể coi là bài toán phân loại văn bản [24]. Bài toán phân loại ý kiến nhằm xác định một ý kiến (bình luận) là tích cực hay tiêu cực về một chủ đề, một sản phẩm, một chính sách nào đó dựa trên các dữ liệu mẫu đã có sẵn. Các trang báo của Việt Nam như Vnexpress, Vietnamnet, Dantri đều luôn mở các bình luận ở cuối bài nhằm cho phép các độc giả bày tỏ ý kiến của mình.

Những bài viết gần đây về dịch Covid hay thậm chí chủ đề bình luận về trường chuyên cũng đã thu hút rất nhiều ý kiến 12 qua mỗi bài viết. Trên các mạng xã hội như Facebook ở Việt Nam cũng luôn là những kho dữ liệu khổng lồ để các nhà nghiên cứu khai thác và khai phá. Các kênh như Youtube cũng là những nơi tạo ra rất nhiều dữ liệu để bày tỏ ý kiến cảm xúc của mình khi xem phim, nghe nhạc hoặc một sự kiện nào đó. Để giải quyết bài toán phân lớp ý kiến, trước đây chúng ta có thể dùng các phương pháp học máy truyền thống như SVM, Bayes, Decision Tree,.Tuy nhiên, trong thời gian gần đây, phương pháp học sâu lại đặc biệt được ưu thích vì tính hiệu quả của chúng.

Sự quan tâm nghiên cứu về bài toán phân loại ý kiến còn thể hiện qua số lượng bài báo tổng quan về vấn đề này trong thời gian ngắn gần đây. Yadav và cộng sự năm 2019 cũng đã tổng kết các kết quả nghiên cứu về học sâu cho bài toán này với gần 30 nghiên cứu được liệt kê và giải thích chi tiết; Zhang và các cộng sự năm 2018 cũng đã có những nghiên cứu tổng quan về lĩnh vực này với đầy đủ các nghiên cứu cập nhật nhất, Dang và cộng sự đã công bố công trình nghiên cứu về so sánh chất lượng của các mạng học sâu cho bài toán phân tích ý kiến với 32 bài báo được dùng để khảo sát chính.6 minh họa các phương pháp học máy sử dụng cho bài toán phân loại ý kiến. Chúng ta có thể thấy phương pháp học sâu đã có rất nhiều đóng góp trong thời gian gần đây. Một trong những ưu điểm của chúng là cho kết quả tốt hơn các phương pháp truyền thống, điều mà được giải thích là khả năng biểu diễn và trừu tượng hóa dữ liệu, trích chọn đặc trưng trực tiếp trong quá trình huấn luyện mạng.

Đây chính là những điểm khác biệt so với các phương pháp truyền thống. 13 Kỹ thuật phân lớp ý kiến Các đặc trưng được trính chọn Các đặc trưng được lựa chọn bằng thủ công kỹ thuật học sâu Phương pháp dựa trên từ Phương pháp học máy truyền thống Phương pháp học sâu vựng Học không giám sát Học có giám sát CNN Rec NN RNN DBN Attention BIRNN Capsule SVM. LSTM GRU Random Decision Forest Tree Hình 1. Các kỹ thuật áp dụng cho bài toán phân loại ý kiến 4] 14 1.

Các dạng của bài toán phân loại ý kiến - Bài toán phân loại câu: Trong trường hợp này mỗi câu bình luận sẽ được phân loại ra là bình luận mang nghĩa tốt hoặc bình luận mang nghĩa không tốt. Ví dụ câu “Cái điện thoại này giá rất tốt mà cấu hình lại cao” sẽ có nhãn là tốt (positive). Ngược lại câu “Bộ phim này chất lượng hình ảnh kém, nhạc nền nhiều chỗ không phù hợp” là ý kiến đánh giá không tốt (negative). Để giải quyết bài toán này thì phương pháp học sâu được sử dụng nhiều nhất trong thời gian gần đây.

- Bài toán phân loại đoạn văn bản: Với bài toán này thì ý kiến có thể gồm nhiều câu, và cần xác định xem là ý kiến tốt hay ý kiến đánh giá không tốt,. Công cụ để giải quyết bài toán này trong thời gian gần đây cũng là các thuật toán học sâu. - Bài toán phân loại theo khía cạnh: Với loại bài toán này thì mục tiêu là xác định ý kiến trên nhiều khía cạnh khác nhau. Ví dụ đoạn văn bản: “Chiếc điện thoại này giá tốt, mặc dù pin dùng không được lâu, tuy nhiên có nhiều lựa chọn về kiểu dáng và màu sắc phong phú”.

Với câu này thì về khía cạnh giá cả và kiểu dáng là đánh giá tốt, tuy nhiên về pin thì là đánh giá không tốt. Để giải quyết bài toán này, trong thời gian gần đây phương pháp học sâu vẫn được tập trung nghiên cứu nhiều nhất. Những điểm khó khăn trong bài toán phân loại ý kiến: Tính đến thời điểm hiện tại các công bố đã cho thấy chất lượng các kết quả thực nghiệm chưa cao (thường là khoảng 75% đến 85% độ chính xác phân lớp) [11], [14], [24]. Một số vấn đề ảnh hưởng đến kết quả phân lớp có thể kể đến như sau: - Dữ liệu: Dữ liệu kiểu văn bản luôn có cấu trúc phức tạp, đa dạng, số lượng từ rất lớn, cấu trúc cũng khác nhau giữa các ngôn ngữ.

Tập dữ liệu huấn luyện không đủ lớn để bao quát hết các khả năng, phương pháp tiền xử lý dữ liệu cũng gặp khó khăn khi không dễ để biểu diễn hết ngữ nghĩa của dữ liệu dạng văn bản. 15 - Phương pháp sử dụng: Phương pháp học sâu đòi hỏi dữ liệu huấn luyện phải lớn, cấu trúc mạng học sâu cũng khác nhau cho từng ngôn ngữ, rất nhiều các phương pháp đề xuất cấu trúc mạng học sâu cho chủ đề này đã được đưa ra trong những năm gần đây [11], [14], [24]. - Đặc trưng riêng cho từng ngôn ngữ: Với mỗi ngôn ngữ, cách thể hiện văn phong lại khác nhau cho nên kỹ thuật áp dụng cho ngôn ngữ này tốt chưa hẳn đã áp dụng tốt cho ngôn ngữ khác. Muốn kiểm chứng điều này, chúng ta phải tiến hành thực nghiệm rất nhiều.

Ngoài những ứng dụng đã kể trên, chúng ta còn thấy những ứng dụng quan trọng của phân tích ý kiến đó là: trong lĩnh vực kinh doanh, trong lĩnh vực dự đoán thị trường tài chính, trong lĩnh vực sản xuất hàng tiêu dùng. Kết luận Trong chương này, chúng tôi trình bày các vấn đề cơ bản về học máy, các phương pháp học máy cũng như các ứng dụng của nó. Chúng tôi cũng trình bày về bài toán phân loại ý kiến cũng như những yêu cầu trong bài toán này. Trong chương tiếp theo, chúng tôi sẽ nghiên cứu, tìm hiểu phương pháp học sâu để giải quyết bài toán phân loại ý kiến phản hồi đã nêu.

16 CHƢƠNG 2: PHƢƠNG PHÁP HỌC SÂU ÁP DỤNG CHO BÀI TOÁN PHÂN LOẠI Ý KIẾN 2. Mạng nơron nhân tạo trong xử lý thông tin Quá trình thông tin xử lý trên một nơron được cho bởi hình 2. Để xác định thông tin ra thì mỗi thông tin vào của nó được gắn với một trọng số. Sau khi được tính toán sẽ tiếp tục được đi qua một hàm kích hoạt (activation function), giá trị này sau đó làm đầu vào cho nơron ở lớp sau của nó.

Weights Input X1 W1j Output Yj nơron j X2 W2j =wijxj Xi Wij Summations Transfer function Hình 2. Quá trình xử lý thông tin của một ANN Quá trình học của của mạng nơron thực ra là quá trình điều chỉnh các trọng số (Weight) của các kết nối giữa các nơron để có được kết quả mong muốn. Số lượng tham số của mạng nơron chính là số lượng các kết nối giữa các nơron của mạng. Có một số kiến trúc mạng nơron phổ biến như mạng nơron truyền thẳng, mạng nơron hồi quy, mạng nơron đệ quy,.

Với mạng nơron thông thường thì chỉ có số lớp từ 3 đến 5 lớp. Những mạng này đã được nghiên cứu từ những năm 50 của thế kỷ XX. Tại thời điểm đó cho đến những năm 90, chưa có nhiều hệ thống máy móc cũng như dữ liệu để có thể xây dựng những mạng nơron nhiều lớp hơn. Tình hình bắt đầu thay đổi khi có những công cụ hỗ trợ tính toán mạnh, lượng dữ liệu xuất hiện nhiều và dẫn đến sự đột phá về nghiên cứu trong lĩnh vực mạng nơron từ đó mô hình mạng nơron học sâu ra đời [8].

Với các loại mạng học sâu được giới 17 thiệu, số lượng lớp có thể lên đến hàng trăm lớp, với số lượng tham số cực lớn, được thực thi trên những hệ thống máy tính hiện đại và đạt kết quả rất cao so với các phương pháp khác. Quá trình học trong mạng nơron: Việc học cho mạng nơron nghĩa là từ dữ liệu huấn luyện ta phải xây dựng một mạng nơron gồm L lớp với các trọng số wij sử dụng hàm kích hoạt g. Việc học này sử dụng thuật toán Back- Propagation. Bản chất của thuật toán này là dựa trên phương pháp gradient trong quá trình tính toán và điều chỉnh tham số wij.

Cụ thể các bước như sau: - Tính toán giá trị  cho các nút ra - Xuất phát từ lớp ra, lặp lại các thao tác sau cho mỗi lớp, cho đến khi lớp ẩn sớm nhất đạt được: - Lan truyền các giá trị  quay lại lớp trước - Cập nhật các trọng số giữa hai lớp.