Bối cảnh và vấn đề nghiên cứu
Sự bùng nổ của Internet, các nền tảng mạng xã hội, diễn đàn và trang thương mại điện tử đã thúc đẩy người dùng liên tục tạo lập khối lượng khổng lồ các bình luận, nhận xét trực tuyến. Các phản hồi này chứa đựng trải nghiệm thực tế về sản phẩm, dịch vụ, địa điểm du lịch, nhà hàng, khách sạn hay các vấn đề xã hội. Khai thác nguồn dữ liệu này mang lại giá trị quan trọng cho doanh nghiệp trong việc thấu hiểu nhận thức khách hàng, cải tiến sản phẩm và hoạch định chiến lược kinh doanh thông minh (Business Intelligence). Đồng thời, phân tích cảm xúc (Sentiment Analysis) còn được ứng dụng trong các hệ thống gợi ý (Recommendation Systems), hỗ trợ chính phủ theo dõi phản ứng chính sách (Government Intelligence) và giám sát phản hồi điều trị trong lĩnh vực y tế.
Tuy nhiên, việc đọc hiểu thủ công hàng ngàn đến hàng triệu bình luận là bất khả thi đối với con người. Bên cạnh đó, các giải pháp phân tích cảm xúc hiện có chủ yếu được phát triển cho tiếng Anh và phần lớn chỉ dừng lại ở việc gán nhãn đơn lẻ (tích cực, trung lập, tiêu cực). Việc chỉ cung cấp nhãn phân loại mà thiếu đi sự tổng hợp đa chiều khiến người quản lý khó nắm bắt được bức tranh toàn cảnh cũng như các chủ đề cốt lõi (insights) mà khách hàng đang quan tâm. Hơn nữa, tiếng Việt có đặc trưng ngôn ngữ học phức tạp (từ ghép, từ láy, hiện tượng đa nghĩa theo ngữ cảnh) cùng với văn phong mạng xã hội chứa nhiều từ viết tắt, tiếng lóng và lỗi chính tả.
Từ thực tiễn đó, đề tài khóa luận tốt nghiệp kỹ sư ngành Hệ thống Thông tin của tác giả Đoàn Thục Quyên xác định các nhiệm vụ nghiên cứu cụ thể:
-
Mục tiêu nghiên cứu:
- Mục tiêu thứ nhất: Đánh giá, phân tích, lựa chọn quy trình và thuật toán tối ưu phục vụ ba bài toán: phân tích cảm xúc (Sentiment Analysis), đám mây từ (Word Cloud) và mô hình chủ đề (Topic Modeling) dành riêng cho dữ liệu văn bản tiếng Việt.
- Mục tiêu thứ hai: Trực quan hóa kết quả phân tích dưới nhiều khía cạnh và góc nhìn, từ tổng quan đến chi tiết thông qua các dạng biểu đồ, sơ đồ và đồ thị.
- Mục tiêu thứ ba: Xây dựng hoàn chỉnh một hệ thống thực hiện toàn bộ quy trình từ xử lý dữ liệu, phân tích mô hình đến hiển thị trực quan trên nền tảng web, có khả năng tích hợp thực tế.
-
Đối tượng nghiên cứu:
- Các bình luận, phản hồi bằng tiếng Việt thu thập từ mạng xã hội, diễn đàn, sàn thương mại điện tử (Shopee, Tiki, Facebook, Foody, Tripadvisor, Reviewty...) và khảo sát sinh viên.
- Các mô hình học sâu dựa trên kiến trúc Transformers (BERT, PhoBERT) cho bài toán phân loại cảm xúc.
- Thuật toán học không giám sát LDA (Latent Dirichlet Allocation) cho bài toán khai phá chủ đề ẩn.
- Các kỹ thuật tiền xử lý, lọc từ dừng (stop words) và tách từ tiếng Việt.
-
Phạm vi nghiên cứu:
- Ngữ liệu tập trung vào các câu bình luận tiếng Việt thể hiện cảm xúc, phân loại theo ba nhãn: tích cực (1), trung lập (0), tiêu cực (-1).
- Cấp độ phân tích: Tập trung vào cấp độ toàn bộ câu và văn bản bình luận (sentence/document level).
Cơ sở lý thuyết và phương pháp
Đề tài kết hợp phương pháp nghiên cứu lý thuyết ngôn ngữ học tính toán với phương pháp thực nghiệm mô hình học máy và học sâu:
1. Cơ sở lý thuyết ngôn ngữ và tách từ tiếng Việt
Tiếng Việt là ngôn ngữ đơn lập, ranh giới từ không trùng với khoảng trắng và ngữ pháp phụ thuộc chặt chẽ vào trật tự từ. Khóa luận phân tích cấu trúc cấu tạo từ tiếng Việt bao gồm từ đơn (đơn âm tiết, đa âm tiết) và từ phức (từ ghép đẳng lập, từ ghép chính phụ, từ láy toàn bộ, từ láy bộ phận). Tác giả so sánh ba phương pháp tách từ (Tokenization):
| Phương pháp tách từ |
Cơ chế hoạt động |
Ưu điểm |
Hạn chế |
| Dựa trên từ (Word-based) |
Tách từ dựa trên khoảng trắng và dấu phân cách |
Đơn vị từ có nghĩa rõ ràng |
Kích thước từ vựng quá lớn, dễ gặp lỗi từ ngoài từ điển (OOV), nhạy cảm với lỗi chính tả |
| Dựa trên ký tự (Character-based) |
Tách văn bản thành từng ký tự riêng lẻ |
Kích thước từ vựng nhỏ, không bị OOV |
Chuỗi biểu diễn quá dài, từng ký tự độc lập không mang ngữ nghĩa trọn vẹn |
| Dựa trên từ phụ (Subword-based / BPE) |
Tách các từ hiếm thành các đơn vị subword, giữ nguyên từ phổ biến |
Cân bằng kích thước từ vựng, xử lý tốt từ mới/hiếm, học được ngữ cảnh sâu |
Đòi hỏi thuật toán mã hóa phức tạp hơn |
Để hỗ trợ tiền xử lý tiếng Việt, khóa luận khảo sát các bộ công cụ chuyên dụng như PyVi, Underthesea và VnCoreNLP.
2. Kiến trúc Transformers và mô hình PhoBERT
Tác giả phân tích sự chuyển dịch từ các mạng nơ-ron hồi quy cổ điển (RNN, LSTM) sang kiến trúc Transformers (công bố năm 2017 bởi Vaswani và cộng sự). Mạng RNN và LSTM bị giới hạn bởi việc xử lý tuần tự chậm, khó tận dụng tính toán song song trên GPU và gặp hiện tượng suy giảm đạo hàm (Gradient Vanishing) khi xử lý chuỗi dài. Transformers giải quyết triệt để vấn đề này nhờ cơ chế Self-Attention và kiến trúc gồm các khối Encoder - Decoder độc lập.
Trên nền tảng Transformers, mô hình tiền huấn luyện PhoBERT (dựa trên cấu trúc RoBERTa/BERT) được lựa chọn cho bài toán phân loại cảm xúc nhờ việc tối ưu hóa không gian biểu diễn ngữ nghĩa cho tiếng Việt và sử dụng kỹ thuật mã hóa Byte-Pair Encoding (BPE).
[Văn bản bình luận]
[Tiền xử lý & Chuẩn hóa: Lowercase, Regex, Lọc ký tự lạ]
[Tách từ tiếng Việt & Subword Tokenization (BPE)]
[Mô hình PhoBERT Pre-trained / Fine-tuning]
[Phân loại cảm xúc: Tích cực (1) | Trung lập (0) | Tiêu cực (-1)]
3. Mô hình chủ đề (Topic Modeling) và thuật toán LDA
Mô hình chủ đề là phương pháp học không giám sát nhằm phát hiện cấu trúc ngữ nghĩa tiềm ẩn trong tập văn bản phi cấu trúc. Tác giả đánh giá sự phát triển từ LSA (Latent Semantic Analysis), pLSA (Probabilistic LSA) đến LDA (Latent Dirichlet Allocation do Blei và cộng sự đề xuất năm 2003). LDA khắc phục nhược điểm tăng tuyến tính tham số theo kích thước dữ liệu của pLSA bằng cách đưa vào phân phối Dirichlet tiên nghiệm.
| Mô hình chủ đề |
Đặc điểm mô hình |
Nhược điểm chính |
Đánh giá lựa chọn |
| LSA |
Phân tích giá trị suy biến (SVD) trên ma trận thuật ngữ - tài liệu |
Thiếu nền tảng xác suất thống kê vững chắc |
Không phù hợp cho ngữ nghĩa phức tạp |
| pLSA |
Mô hình hóa xác suất đồng xuất hiện giữa từ và tài liệu |
Số lượng tham số tăng tuyến tính theo tập dữ liệu, dễ quá khớp (overfitting) |
Chưa tối ưu cho tài liệu mới |
| LDA |
Phân phối xác suất Dirichlet ba cấp độ (tài liệu, chủ đề, từ vựng) |
Đòi hỏi tinh chỉnh siêu tham số ($K$, $\alpha$, $\beta$) |
Được chọn: Khả năng tổng quát hóa cao, xác định chủ đề ổn định |
Thiết kế và triển khai hệ thống
Hệ thống được thiết kế hướng tới khả năng ứng dụng thực tế với kiến trúc module hóa:
1. Kiến trúc tổng thể và cơ chế xử lý
- Cơ chế xử lý dữ liệu: Áp dụng mô hình xử lý theo lô (Batch Processing) nhằm tiếp nhận, chuẩn hóa và xử lý song song khối lượng lớn bình luận đầu vào từ nhiều nguồn dữ liệu.
- Cơ sở dữ liệu: Thiết kế cơ sở dữ liệu quan hệ lưu trữ thông tin bình luận, nhãn cảm xúc dự đoán, danh mục từ khóa đám mây từ, và phân bổ xác suất của các chủ đề ẩn.
- Công nghệ phát triển: Sử dụng các framework công nghệ web hiện đại để xây dựng giao diện tương tác và API xử lý nền tảng.
2. Giao diện trực quan hóa dữ liệu (Dashboard)
Hệ thống triển khai hai màn hình Dashboard chính:
- Dashboard 1: Cung cấp bức tranh tổng quan với các biểu đồ tròn và cột thể hiện tỷ lệ phân bố cảm xúc (tích cực, tiêu cực, trung lập), tổng số lượng tương tác theo thời gian và bảng tóm tắt chỉ số đo lường.
- Dashboard 2: Trực quan hóa chuyên sâu nội dung văn bản thông qua biểu đồ đám mây từ (Word Cloud) đã loại bỏ từ dừng và sơ đồ phân phối các chủ đề (Topics) khai phá được từ thuật toán LDA.
Nội dung chính theo từng chương
Chương 1: Mở đầu
Chương này tập trung trình bày tính cấp thiết của việc khai phá ý kiến người dùng trên mạng xã hội và thương mại điện tử. Tác giả dẫn chứng dữ liệu Google Trends phản ánh sự quan tâm mạnh mẽ của giới nghiên cứu toàn cầu đối với phân tích cảm xúc từ năm 2004, và sự gia tăng vượt bậc tại Việt Nam từ năm 2011 đến đỉnh điểm giai đoạn 2018–2021. Chương 1 xác định rõ ba mục tiêu của khóa luận, định vị đối tượng là bình luận tiếng Việt và giới hạn phạm vi nghiên cứu ở ba bài toán tích hợp: Sentiment Analysis, Word Cloud và Topic Modeling.
Chương 2: Cơ sở lý thuyết
Chương 2 cung cấp nền tảng học thuật toàn diện về xử lý ngôn ngữ tự nhiên. Tác giả phân tích các cấp độ phân tích cảm xúc (tài liệu, câu, khía cạnh), so sánh ba trường phái tiếp cận: dựa trên từ điển ngữ nghĩa (Lexicon-based), học máy truyền thống (Naïve Bayes, SVM, KNN, Random Forest) và học sâu (RNN, LSTM, Transformers). Chương này cũng giải thích chi tiết cấu trúc từ tiếng Việt, các cấp độ tách từ, cơ chế hoạt động của Transformers (Self-Attention, Encoder-Decoder) và thuật toán phân bổ chủ đề Dirichlet (LDA).
Chương 3: Thuật toán và giải pháp đề xuất
Chương 3 chi tiết hóa quy trình giải quyết ba bài toán thành phần:
- Quy trình phân tích cảm xúc: Bao gồm tiền xử lý (chuyển chữ thường, chuẩn hóa emoji, xử lý teencode/từ viết tắt, loại bỏ ký tự nhiễu), tách từ và mã hóa BPE, đưa vào huấn luyện và tinh chỉnh mô hình PhoBERT. Quá trình huấn luyện được theo dõi qua các hàm tối ưu, chỉ số độ chính xác (accuracy/val_accuracy) và độ mất mát (loss/val_loss).
- Quy trình xây dựng đám mây từ: Lọc từ dừng tiếng Việt (Stop words chiếm khoảng 25% dung lượng văn bản), tính toán tần suất xuất hiện và trực quan hóa qua thư viện WordCloud.
- Quy trình Topic Modeling: Triển khai thuật toán LDA trên tập ngữ liệu (thực nghiệm trên các tỷ lệ 75% và 100% văn bản), tinh chỉnh siêu tham số $K$ (số lượng chủ đề), $\alpha$, $\beta$ nhằm tối ưu hóa điểm số mạch lạc (Coherence Score - CS) và giảm thiểu độ hỗn loạn (Perplexity).
Chương 4: Thiết kế và triển khai hệ thống
Chương 4 mô tả kiến trúc phần mềm, quy trình kết nối giữa các module xử lý dữ liệu theo lô và cơ sở dữ liệu. Tác giả trình bày cấu trúc các bảng dữ liệu, các công nghệ được sử dụng và thiết kế chi tiết giao diện người dùng (Dashboard 1 và Dashboard 2) nhằm hiển thị trực quan các biểu đồ thống kê, đám mây từ và các chủ đề phân tích.
Chương 5: Kết luận và hướng phát triển
Chương cuối tổng hợp các kết quả thực nghiệm đã đạt được, đánh giá mức độ hoàn thành so với ba mục tiêu đề ra ban đầu, đồng thời chỉ ra các điểm hạn chế kỹ thuật và định hướng nâng cấp hệ thống trong tương lai.
Kết quả và đóng góp
1. Kết quả kỹ thuật và thực nghiệm
- Xây dựng thành công quy trình tiền xử lý và tinh chỉnh mô hình học sâu PhoBERT cho bài toán phân loại cảm xúc câu tiếng Việt đạt độ chính xác cao trên tập kiểm thử (validation accuracy) và kiểm soát tốt hàm mất mát (loss/val_loss).
- Thiết lập thuật toán LDA cho bài toán Topic Modeling, thực nghiệm đối sánh giữa các phân tập dữ liệu (75% và 100% ngữ liệu), tìm ra số lượng chủ đề $K$ tối ưu dựa trên tương quan Coherence Score cao nhất và Perplexity thấp nhất.
- Xây dựng module tự động trích xuất và trực quan hóa đám mây từ sau khi loại bỏ hiệu quả danh sách từ dừng (stop words) đặc thù của tiếng Việt.
2. Đóng góp của đề tài
- Đóng góp giải pháp tích hợp: Khóa luận không dừng lại ở việc dự đoán nhãn cảm xúc đơn lẻ mà tích hợp đồng thời ba bài toán (Sentiment Analysis, Word Cloud, Topic Modeling) để tạo nên bức tranh phân tích toàn diện.
- Đóng góp về mặt công nghệ: Đưa mô hình pre-trained tiên tiến cho tiếng Việt (PhoBERT) vào ứng dụng thực tế kết hợp giải thuật LDA.
- Đóng góp ứng dụng: Xây dựng hoàn chỉnh hệ thống hướng ứng dụng với giao diện web Dashboard trực quan, giúp các tổ chức và doanh nghiệp nhanh chóng nắm bắt insight từ lượng lớn bình luận mà không cần đọc thủ công từng văn bản.
Hạn chế và hướng nghiên cứu tiếp
Dựa trên phạm vi và nội dung trình bày của tác giả, khóa luận ghi nhận một số hạn chế và định hướng phát triển:
Giá trị tham khảo
Khóa luận là tài liệu tham khảo có giá trị chuyên môn cao đối với:
- Sinh viên, học viên ngành Hệ thống Thông tin, Khoa học Dữ liệu, Công nghệ Thông tin: Cung cấp tài liệu tham khảo đầy đủ từ lý thuyết xử lý ngôn ngữ tiếng Việt (cấu trúc từ, tokenization, subword BPE) đến triển khai thực nghiệm các mô hình hiện đại như Transformers, BERT, PhoBERT và LDA.
- Các nhà phát triển hệ thống và doanh nghiệp: Cung cấp mẫu kiến trúc hoàn chỉnh từ khâu tiền xử lý dữ liệu thô, xây dựng mô hình AI đến triển khai Dashboard hiển thị web phục vụ Business Intelligence và phân tích phản hồi khách hàng.
Câu hỏi thường gặp
1. Tại sao khóa luận lại kết hợp cả ba bài toán Sentiment Analysis, Word Cloud và Topic Modeling thay vì chỉ phân loại cảm xúc?
Trả lời: Việc chỉ gán nhãn cảm xúc (tích cực/tiêu cực/trung lập) không cung cấp đủ insight để người quản trị hiểu rõ nguyên nhân và chi tiết vấn đề khách hàng đang phản ánh. Kết hợp Sentiment Analysis với Word Cloud (thống kê từ khóa nổi bật) và Topic Modeling (khám phá nhóm chủ đề tiềm ẩn) giúp người đọc có cái nhìn vừa tổng quát vừa chi tiết mà không phải đọc thủ công hàng ngàn bình luận.
2. Vì sao mô hình PhoBERT được lựa chọn cho bài toán phân loại cảm xúc trong đề tài?
Trả lời: PhoBERT là mô hình tiền huấn luyện (pre-trained) dựa trên kiến trúc Transformers được tối ưu hóa riêng cho dữ liệu tiếng Việt. Mô hình này sử dụng cơ chế tách từ subword BPE và Self-Attention, khắc phục được các hạn chế về phụ thuộc xa và tốc độ huấn luyện của mạng RNN/LSTM, đồng thời xử lý tốt các đặc thù ngữ nghĩa phức tạp của tiếng Việt.
3. Thuật toán LDA trong bài toán mô hình chủ đề được đánh giá và tối ưu bằng các tiêu chí nào?
Trả lời: Thuật toán LDA được tối ưu hóa thông qua việc điều chỉnh các siêu tham số bao gồm số lượng chủ đề ($K$), phân phối $\alpha$, $\beta$ và corpus văn bản. Tiêu chuẩn đánh giá dựa trên việc tìm điểm cân bằng sao cho chỉ số Coherence Score đạt mức cao nhất và độ hỗn loạn Perplexity đạt mức thấp nhất.
4. Kỹ thuật tách từ (Tokenization) cho tiếng Việt gặp phải những khó khăn đặc thù nào được nêu trong văn bản?
Trả lời: Tiếng Việt thuộc loại hình ngôn ngữ đơn lập, từ không biến đổi hình thái và ranh giới từ không phân tách bằng khoảng trắng. Một câu tiếng Việt có thể được tách từ theo nhiều cách khác nhau dẫn đến hiểu sai hoàn toàn ngữ nghĩa (ví dụ: "Xoài / phun thuốc / sâu / không / ăn" khác với "Xoài / phun / thuốc sâu / không / ăn"), đòi hỏi phải sử dụng các công cụ tách từ và phân đoạn từ chuyên dụng như PyVi, VnCoreNLP hay BPE.
Kết luận
Khóa luận tốt nghiệp của tác giả Đoàn Thục Quyên đã giải quyết trọn vẹn bài toán xây dựng hệ thống phân tích cảm xúc và khai phá tri thức từ bình luận tiếng Việt. Bằng việc kết hợp hiệu quả mô hình học sâu tiên tiến PhoBERT với giải thuật học không giám sát LDA và kỹ thuật trực quan hóa Word Cloud, đề tài đã chuyển hóa dữ liệu phản hồi phi cấu trúc thành các biểu đồ insight trực quan trên nền tảng web. Công trình thể hiện quy trình nghiên cứu chuẩn mực, kết nối chặt chẽ giữa lý thuyết ngôn ngữ học tính toán và khả năng triển khai ứng dụng thực tế trong quản trị thông tin doanh nghiệp.
