Phát Hiện Các Bình Luận Có Tính Xây Dựng Cho Bài Báo

Luận văn về phát hiện bình luận xây dựng cho bài báo khoa học. Nghiên cứu sử dụng mô hình học máy, học sâu và ngôn ngữ học để phân tích, đánh giá bình luận.

• Tác giả: Đỗ Trường Giang
• Người hướng dẫn: TS. Hoàng Tuấn Anh
• Trường học: Trường Đại học Khoa học Tự nhiên
• Chuyên ngành: Khoa học Dữ liệu
• Đề tài: Phát hiện các bình luận có tính xây dựng cho bài báo
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Thu thập dữ liệu
• 1.2. Định nghĩa bình luận xây dựng
• 1.3. Tính tiêu cực trong bình luận
• 1.4. Xây dựng bộ dữ liệu
• 1.5. Gán nhãn dữ liệu
• 1.6. Phân tích dữ liệu
• 2. CHƯƠNG 2: PHƯƠNG PHÁP TIẾP CẬN
• 2.1. Phương pháp tiếp cận ngôn ngữ học
• 2.2. Mô hình học máy
• 2.2.1. Mô hình tham số
• 2.2.2. Mô hình phi tham số
• 2.2.3. Biểu diễn từ thành vector
• 2.2.3.1. Biểu diễn từ thành vector truyền thống
• 2.2.3.1.1. Biểu diễn theo số lượng từ
• 2.2.3.1.2. Biểu diễn từ theo vectơ
• 2.2.3.2. Biểu diễn từ thành vector sử dụng lớp mô hình BERT
• 2.2.3.2.1. Mô hình huấn luyện biểu diễn đa ngôn ngữ
• 2.2.3.2.2. Mô hình huấn luyện biểu diễn tiếng Việt
• 2.2.4. Mô hình học sâu
• 2.2.4.1. Convolutional Neural Network (CNN)
• 2.2.4.2. Long Short-term Memory (LSTM)
• 2.2.4.3. Gated Recurrent Unit (GRU)
• 2.2.5. BARTpho-Ling - mô hình phát hiện bình luận xây dựng
• 2.2.6. Kỹ thuật tăng độ chính xác của mô hình
• 2.2.6.1. Kỹ thuật học chuyển giao (transfer learning)
• 2.2.6.2. Kỹ thuật tăng cường dữ liệu (data augmentation)
• 2.2.6.3. Kỹ thuật kiểm tra chéo (k-fold cross validation)
• 3. CHƯƠNG 3: KẾT QUẢ THỰC NGHIỆM
• 3.1. Phương pháp tiếp cận ngôn ngữ học
• 3.2. Mô hình học máy
• 3.3. Tham số mô hình học máy
• 3.4. Giải thích mô hình (Explainable AI)
• 3.5. Phương pháp Biểu diễn từ thành vector truyền thống
• 3.6. So sánh Mô hình đa ngôn ngữ và mô hình cho tiếng Việt
• 3.7. Cách tiếp cận kết hợp thêm thông tin tiêu đề
• 3.8. Mô hình học sâu cho bài toán phân loại câu
• 3.9. Kỹ thuật tinh chỉnh lớp mô hình BERT
• 3.10. Tổng kết các phương pháp tiếp cận
• PHỤ LỤC: XÂY DỰNG ỨNG DỤNG
• TÀI LIỆU THAM KHẢO TIẾNG ANH
• TRÍCH DẪN KHOA HỌC
• LỜI MỞ ĐẦU
• LỜI CAM ĐOAN

Tóm tắt

I. Tổng Quan Phát Hiện Bình Luận Xây Dựng Khoa Học Dữ Liệu

Trong bối cảnh không gian mạng ngày càng phát triển, việc phát hiện bình luận xây dựng trở nên vô cùng quan trọng. Các bình luận xây dựng đóng vai trò then chốt trong việc thúc đẩy tri thức mới, giải quyết vấn đề, và cải thiện chất lượng nội dung trên các nền tảng trực tuyến. Luận văn này tập trung vào việc phát hiện các bình luận có tính xây dựng cho bài báo và luận văn thạc sĩ khoa học dữ liệu, một lĩnh vực đầy tiềm năng nhưng còn nhiều thách thức. Sự gia tăng của các mạng xã hội và trang báo mạng tạo điều kiện cho việc bày tỏ ý kiến, nhưng không phải tất cả các bình luận đều mang tính xây dựng. Một số bình luận có thể dẫn đến tranh cãi, ngôn ngữ tục tĩu, hoặc thậm chí thù địch. Do đó, việc phát triển các phương pháp phân tích bình luận để xác định bình luận xây dựng là rất cần thiết để xây dựng một không gian mạng an toàn và hiệu quả. Hầu hết các nghiên cứu hiện tại tập trung vào phân loại cảm xúc (tích cực/tiêu cực), luận văn này tiếp cận vấn đề dưới một góc nhìn mới: bình luận xây dựng và bình luận không xây dựng.

1.1. Tầm Quan Trọng của Bình Luận Xây Dựng với Khoa Học Dữ Liệu

Bình luận xây dựng đóng vai trò quan trọng trong sự phát triển của tri thức, giải quyết các vấn đề, hay cải thiện sản phẩm hoặc chất lượng của báo chí, ấn phẩm xuất bản. Thay vì chỉ trích nặng nề, bình luận xây dựng đưa ra các phân tích, gợi ý, ví dụ, hoặc lập luận chính xác để cải thiện vấn đề và tạo không gian mạng bổ ích. Việc phân tích bình luận hiệu quả không chỉ giúp lọc bỏ những ý kiến tiêu cực mà còn tạo ra một môi trường trao đổi học thuật lành mạnh. Trong khoa học dữ liệu, phân tích bình luận có thể cung cấp thông tin giá trị để cải thiện mô hình học máy, thuật toán, và các ứng dụng liên quan.

1.2. Điểm Khác Biệt Bình Luận Xây Dựng và Phân Loại Cảm Xúc

Luận văn này tiếp cận các bình luận trên không gian mạng dưới một góc nhìn khác: bình luận xây dựng và bình luận không xây dựng. Khi đọc một bình luận trên mạng, việc phân loại đó là tích cực hay tiêu cực thường rất dễ dàng. Tuy nhiên, việc xác định một bình luận có tính xây dựng hay không đòi hỏi sự phân tích sâu hơn, xem xét bối cảnh và chủ đề của bình luận. Do đó, việc phát hiện bình luận xây dựng là một nhiệm vụ phức tạp hơn nhiều so với đánh giá cảm xúc thông thường. Sự khác biệt này tạo ra một thách thức thú vị trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) và học máy (Machine Learning).

II. Thách Thức Phát Hiện Bình Luận Xây Dựng Cho Tiếng Việt

Một trong những thách thức lớn nhất trong lĩnh vực nghiên cứu bình luận xây dựng là sự thiếu hụt dữ liệu đã được gán nhãn để huấn luyện mô hình học máy. Trong lĩnh vực xử lý ngôn ngữ tự nhiên, hiện tại mới chỉ có hai bộ dữ liệu tiếng Anh về bình luận xây dựng, đó là Constructive Comments Corpus (C3) và YJ Constructive Comment Ranking Dataset. Tuy nhiên, đối với tiếng Việt, nguồn tài nguyên này còn rất hạn chế. Điều này đòi hỏi các nhà nghiên cứu phải tự thu thập và gán nhãn dữ liệu, một quá trình tốn nhiều thời gian và công sức. Hơn nữa, đặc thù của tiếng Việt với cấu trúc ngữ pháp và ngữ nghĩa phức tạp cũng đặt ra những khó khăn riêng trong việc phân tích và phát hiện bình luận xây dựng.

2.1. Sự Thiếu Hụt Dữ Liệu Gán Nhãn Cho Ngôn Ngữ Tiếng Việt

Trong lĩnh vực xử lý ngôn ngữ tự nhiên, hiện tại mới chỉ có hai bộ dữ liệu tiếng Anh về bình luận xây dựng đó là Constructive Comments Corpus (C3) và YJ Constructive Comment Ranking Dataset. Hiện nay về bài toán phân loại bình luận xây dựng tiếng Việt chưa có bộ dữ liệu nào công khai cho cộng đồng xử lý ngôn ngữ tự nhiên. Do đó luận văn này đã thu thập dữ liệu và tiến hành gán nhãn cho bộ dữ liệu bình luận xây dựng tiếng Việt. Bộ dữ liệu bình luận xây dựng tiếng Việt được xây dựng nhằm mục đích nghiên cứu cho luận văn tốt nghiệp, cũng như đóng góp như một dữ liệu mở cho cộng đồng xử lý ngôn ngữ tự nhiên của Việt Nam.

2.2. Khó Khăn Trong Xử Lý Ngôn Ngữ Tiếng Việt Ngữ Cảnh và Văn Hóa

Việc phân tích bình luận trong tiếng Việt phức tạp hơn do sự ảnh hưởng của ngữ cảnh và văn hóa. Các yếu tố như sắc thái ngôn ngữ, ẩn ý, và sự khác biệt trong cách diễn đạt ý kiến có thể làm cho việc phát hiện bình luận xây dựng trở nên khó khăn hơn. Ngoài ra, việc xử lý các bình luận mang tính phê bình hoặc phản biện cũng đòi hỏi sự nhạy bén và hiểu biết sâu sắc về ngữ cảnh để tránh đánh giá sai lệch.

III. Phương Pháp Tiếp Cận Ngôn Ngữ Mô Hình Học Máy NLP

Luận văn này tiếp cận bài toán phát hiện bình luận xây dựng bằng cách kết hợp phương pháp tiếp cận ngôn ngữ học và mô hình học máy. Phương pháp ngôn ngữ học tập trung vào việc phân tích cấu trúc ngữ pháp, ngữ nghĩa, và các đặc trưng ngôn ngữ của bình luận để xác định tính xây dựng. Trong khi đó, mô hình học máy sử dụng các thuật toán và kỹ thuật học sâu để tự động học cách phân loại bình luận dựa trên dữ liệu đã được gán nhãn. Sự kết hợp này giúp tận dụng ưu điểm của cả hai phương pháp, nâng cao độ chính xác và hiệu quả của việc phát hiện bình luận xây dựng.

3.1. Phân Tích Ngôn Ngữ Học Tìm Kiếm Đặc Trưng Của Bình Luận

Phương pháp tiếp cận ngôn ngữ học bao gồm việc xác định các đặc trưng ngôn ngữ cụ thể của bình luận xây dựng, chẳng hạn như sự hiện diện của lập luận, dẫn chứng, ví dụ, hoặc giải pháp. Các đặc trưng này có thể được sử dụng để xây dựng các quy tắc hoặc mô hình dựa trên tri thức để phân loại bình luận. Bên cạnh đó, việc phân tích cú pháp và ngữ nghĩa của câu cũng có thể giúp hiểu rõ hơn ý nghĩa và mục đích của bình luận.

3.2. Ứng Dụng Mô Hình Học Máy Xây Dựng Mô Hình NLP Hiệu Quả

Luận văn sử dụng các mô hình học máy như SVM, Gradient Boosting, và các mô hình học sâu như LSTM và BERT để phân loại bình luận xây dựng. Các mô hình này được huấn luyện trên bộ dữ liệu đã được gán nhãn và tinh chỉnh để đạt được độ chính xác cao nhất. Kỹ thuật học chuyển giao (transfer learning) cũng được áp dụng để tận dụng kiến thức từ các mô hình đã được huấn luyện trên các ngôn ngữ khác.

3.3. Biểu diễn từ thành vector sử dụng lớp mô hình BERT

BERT được xây dựng dựa trên kiến trúc Transformer và sử dụng các lớp biến đổi Encoder (trong Transformer). Kiến trúc của BERT dựa trên khái niệm Attention (Cơ chế tự chú ý) BERT có thể xem xét mối quan hệ giữa tất cả các từ trong một câu (ngữ cảnh của tất cả các từ trong một câu). Sau khi xem xét tất cả các từ, chúng ta có thể hiểu rõ hơn ngữ cảnh của từng từ trong câu. BERT có hai phiên bản, BERT-Base với 12 lớp, 12 đầu chú ý, 110 triệu tham số và BERT-Large với 24 lớp, 16 đầu chú ý, 340 triệu tham số. BERT được huấn luyện trên 2 “task” chính là “Masked Language Model” và “Next Sentence Prediction”

IV. BARTpho Ling Mô Hình Phát Hiện Bình Luận Xây Dựng Tiên Tiến

Luận văn giới thiệu mô hình BARTpho-Ling, một mô hình mới kết hợp mô hình biểu diễn tiếng Việt BARTpho và các đặc trưng ngôn ngữ học. Mô hình này đạt độ chính xác 0.903 F1-score trên tập dữ liệu bình luận xây dựng tiếng Việt. Sự kết hợp giữa BARTpho, một mô hình được huấn luyện trước trên một lượng lớn dữ liệu tiếng Việt, và các đặc trưng ngôn ngữ học giúp mô hình hiểu rõ hơn ngữ cảnh và ý nghĩa của bình luận, từ đó cải thiện khả năng phân loại.

4.1. Kết Hợp BARTpho Sức Mạnh Của Mô Hình Tiền Huấn Luyện Tiếng Việt

BARTpho là một mô hình biểu diễn ngôn ngữ tiếng Việt được huấn luyện trước trên một lượng lớn dữ liệu văn bản tiếng Việt. Việc sử dụng BARTpho giúp mô hình tận dụng kiến thức về ngôn ngữ và ngữ nghĩa đã được học trước đó, giảm bớt nhu cầu về dữ liệu huấn luyện và tăng cường khả năng tổng quát hóa.

4.2. Tích Hợp Đặc Trưng Ngôn Ngữ Học Nâng Cao Độ Chính Xác Mô Hình

Việc tích hợp các đặc trưng ngôn ngữ học như từ loại, cú pháp, và ngữ nghĩa giúp mô hình hiểu rõ hơn cấu trúc và ý nghĩa của bình luận. Các đặc trưng này cung cấp thông tin bổ sung cho mô hình và giúp nó đưa ra quyết định phân loại chính xác hơn.

V. Kết Quả Đánh Giá và So Sánh Hiệu Suất Mô Hình NLP

Luận văn trình bày kết quả thực nghiệm về hiệu suất của các mô hình học máy và mô hình học sâu trong việc phát hiện bình luận xây dựng. Các mô hình được đánh giá trên tập dữ liệu bình luận xây dựng tiếng Việt và so sánh với các phương pháp tiếp cận khác. Kết quả cho thấy mô hình BARTpho-Ling đạt hiệu suất tốt nhất, chứng tỏ tính khả thi của việc sử dụng mô hình học máy và học sâu để giải quyết bài toán này.

5.1. So Sánh Các Mô Hình SVM Gradient Boosting và Mô Hình Học Sâu

Các mô hình học máy như SVM và Gradient Boosting cho thấy hiệu suất khá tốt trên tập dữ liệu bình luận xây dựng, đặc biệt khi kết hợp với các đặc trưng ngôn ngữ học. Tuy nhiên, các mô hình học sâu như LSTM và BARTpho-Ling cho thấy tiềm năng vượt trội, đặc biệt trong việc xử lý các bình luận phức tạp và dài.

5.2. Độ Chính Xác và F1 Score Tiêu Chí Đánh Giá Hiệu Quả

Độ chính xác (accuracy) và F1-score là hai tiêu chí quan trọng để đánh giá hiệu suất của các mô hình phân loại. Độ chính xác đo tỷ lệ các bình luận được phân loại đúng, trong khi F1-score là trung bình điều hòa của độ chính xác và độ phủ (recall). Mô hình BARTpho-Ling đạt được độ chính xác cao nhất (0.903 F1-score), cho thấy khả năng phân loại bình luận xây dựng hiệu quả.

VI. Ứng Dụng Xây Dựng Website Phân Loại Bình Luận Thực Tế

Để chứng minh tính ứng dụng của nghiên cứu, luận văn xây dựng một ứng dụng website cho phép người dùng phân loại bình luận xây dựng từ văn bản hoặc URL. Ứng dụng này sử dụng mô hình BARTpho-Ling đã được huấn luyện để tự động phân loại các bình luận, giúp người dùng dễ dàng xác định các ý kiến có giá trị và đóng góp vào cuộc thảo luận.

6.1. Giao Diện Website Phân Loại Bình Luận Từ Văn Bản và URL

Ứng dụng website cung cấp giao diện thân thiện, cho phép người dùng nhập văn bản hoặc URL chứa bình luận để phân loại. Mô hình BARTpho-Ling sẽ tự động phân loại các bình luận và hiển thị kết quả cho người dùng.

6.2. Tiềm Năng Ứng Dụng Quản Lý Bình Luận Cải Thiện Nội Dung

Ứng dụng này có tiềm năng ứng dụng rộng rãi trong việc quản lý bình luận trên các nền tảng trực tuyến, giúp lọc bỏ các ý kiến tiêu cực và tập trung vào các bình luận xây dựng. Ngoài ra, kết quả phân tích bình luận cũng có thể được sử dụng để cải thiện chất lượng nội dung và tạo ra một không gian trao đổi thông tin tích cực.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh sự phát triển nhanh chóng của mạng xã hội và các trang báo mạng, việc phân tích và đánh giá các bình luận trực tuyến trở thành một vấn đề quan trọng. Theo ước tính, trang báo mạng vnexpress.net có lượng bình luận lên đến hàng chục nghìn lượt trong giai đoạn từ tháng 01/2020 đến tháng 03/2021, với tổng số 15,595 bình luận được thu thập từ 15 chuyên mục khác nhau. Vấn đề nghiên cứu tập trung vào việc phát hiện các bình luận có tính xây dựng trong số các bình luận trực tuyến, nhằm tạo ra một không gian mạng an toàn, hiệu quả và bổ ích hơn. Mục tiêu cụ thể của luận văn là xây dựng bộ dữ liệu bình luận xây dựng tiếng Việt, phát triển và đánh giá các mô hình học máy và học sâu để phân loại bình luận xây dựng, đồng thời đề xuất một mô hình mới kết hợp biểu diễn ngôn ngữ và đặc trưng ngôn ngữ học nhằm nâng cao độ chính xác phát hiện bình luận xây dựng. Phạm vi nghiên cứu tập trung vào bình luận tiếng Việt trên các trang báo mạng trong khoảng thời gian 15 tháng, với ý nghĩa quan trọng trong việc cải thiện chất lượng tương tác trên không gian mạng, hỗ trợ phát triển tri thức mới và nâng cao trải nghiệm người dùng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính trong xử lý ngôn ngữ tự nhiên (NLP) và học máy:

1. Lý thuyết phân loại nhị phân trong NLP: Bài toán phát hiện bình luận xây dựng được tiếp cận như một bài toán phân loại câu nhị phân, trong đó đầu vào là câu bình luận và đầu ra là xác suất câu đó mang tính xây dựng hay không. Các khái niệm chính bao gồm: bình luận xây dựng (có lập luận, dẫn chứng, giải pháp cụ thể), bình luận không xây dựng, tính tiêu cực trong bình luận, và các đặc trưng ngôn ngữ học như số lượng từ, tỷ lệ từ tiêu cực, số từ viết hoa, v.v.

2. Mô hình học máy và học sâu: Luận văn áp dụng các mô hình học máy truyền thống như SVM, Logistic Regression, Gradient Boosting, cũng như các mô hình học sâu hiện đại như LSTM, GRU, CNN và đặc biệt là các mô hình Transformer dựa trên kiến trúc BERT và BARTpho. Ngoài ra, kỹ thuật học chuyển giao (transfer learning), tăng cường dữ liệu (data augmentation) và kiểm tra chéo (k-fold cross validation) được sử dụng để nâng cao hiệu quả và độ chính xác của mô hình.

Các khái niệm chuyên ngành quan trọng bao gồm: biểu diễn từ thành vector (bag of words, TF-IDF, word2vec, BERT embeddings), mô hình Transformer, attention mechanism, và các kỹ thuật giải thích mô hình (Explainable AI).

Phương pháp nghiên cứu

Nguồn dữ liệu chính là 15,595 bình luận tiếng Việt thu thập từ trang báo vnexpress.net trong giai đoạn từ tháng 01/2020 đến tháng 03/2021, trải dài trên 15 chuyên mục khác nhau. Dữ liệu được gán nhãn bởi hai người đánh giá độc lập với tỷ lệ đồng thuận cao (hệ số Krippendorff α = 0.74), đảm bảo độ tin cậy của bộ dữ liệu.

Phương pháp phân tích bao gồm:

• Tiền xử lý dữ liệu: làm sạch văn bản, loại bỏ thẻ HTML, dấu câu, và các ký hiệu không cần thiết.
• Trích xuất đặc trưng thủ công dựa trên các yếu tố ngôn ngữ học như số lượng từ, số từ viết hoa, tỷ lệ từ tiêu cực, số lượt like, chuyên mục, thời gian bình luận.
• Biểu diễn từ thành vector bằng các phương pháp truyền thống (bag of words, TF-IDF), mô hình word2vecVN và các mô hình học sâu dựa trên BERT và BARTpho.
• Huấn luyện và đánh giá các mô hình học máy và học sâu với kỹ thuật kiểm tra chéo 5-fold cross validation.
• Tinh chỉnh tham số mô hình bằng thư viện hyperopt để tối ưu hiệu suất.
• Giải thích mô hình bằng thư viện SHAP để hiểu rõ đóng góp của từng đặc trưng.

Timeline nghiên cứu kéo dài trong khoảng 1 năm, từ thu thập dữ liệu, gán nhãn, xây dựng mô hình đến đánh giá và hoàn thiện luận văn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Phân bố dữ liệu không cân bằng: Chỉ khoảng 28% bình luận trong bộ dữ liệu tiếng Việt mang tính xây dựng, trong khi 72% là bình luận không xây dựng. Điều này tạo ra thách thức lớn cho bài toán phân loại.

2. Đặc trưng số lượng từ và lượt like có ảnh hưởng tích cực: Bình luận xây dựng thường có số từ nhiều hơn bình luận không xây dựng và có xu hướng nhận được nhiều lượt like hơn, tuy không phải tuyệt đối.

3. Hiệu quả mô hình học máy và học sâu: Mô hình Gradient Boosting (CatBoost) đạt F1-score 0.87, trong khi mô hình học sâu BARTpho-Ling đạt F1-score cao nhất là 0.903, cho thấy sự vượt trội của mô hình kết hợp biểu diễn ngôn ngữ hiện đại và đặc trưng ngôn ngữ học.

4. Giải thích mô hình cho thấy đặc trưng quan trọng: Các đặc trưng như số từ duy nhất, số lượng từ trong câu và tỷ lệ từ tiêu cực đóng vai trò quan trọng trong dự đoán. Đặc biệt, tính tiêu cực không hoàn toàn đồng nghĩa với bình luận không xây dựng, mà có mối liên hệ phức tạp.

Thảo luận kết quả

Kết quả cho thấy việc phát hiện bình luận xây dựng là một bài toán phức tạp do tính không cân bằng của dữ liệu và sự đa dạng trong cách thể hiện ý kiến của người dùng. Việc bổ sung thông tin tiêu đề bài báo vào mô hình giúp cải thiện độ chính xác, minh chứng cho tầm quan trọng của ngữ cảnh trong phân loại bình luận. So với các nghiên cứu trước đây chủ yếu tập trung vào phân loại tích cực - tiêu cực, luận văn đã mở rộng góc nhìn sang phân loại bình luận xây dựng, góp phần làm phong phú thêm lĩnh vực xử lý ngôn ngữ tự nhiên cho tiếng Việt. Các biểu đồ phân bố số từ, lượt like và biểu đồ giải thích mô hình (SHAP) minh họa rõ ràng ảnh hưởng của từng đặc trưng, giúp người nghiên cứu và thực hành hiểu sâu hơn về cơ chế hoạt động của mô hình.

Đề xuất và khuyến nghị

1. Phát triển hệ thống lọc và phân loại bình luận xây dựng tự động: Áp dụng mô hình BARTpho-Ling vào các nền tảng báo mạng và mạng xã hội để tự động nhận diện và ưu tiên hiển thị bình luận mang tính xây dựng, nâng cao chất lượng tương tác. Thời gian triển khai dự kiến trong 6-12 tháng, do các đơn vị phát triển phần mềm và quản lý nội dung thực hiện.

2. Mở rộng và cập nhật bộ dữ liệu bình luận xây dựng tiếng Việt: Thu thập thêm dữ liệu từ nhiều nguồn khác nhau, đa dạng chủ đề và thời gian để cải thiện độ bao phủ và tính đại diện của bộ dữ liệu, giúp mô hình học sâu tránh hiện tượng quá khớp. Khuyến nghị thực hiện liên tục hàng năm bởi các tổ chức nghiên cứu và cộng đồng NLP.

3. Tăng cường đào tạo và nâng cao nhận thức về bình luận xây dựng cho người dùng: Tổ chức các chiến dịch truyền thông, hướng dẫn người dùng cách viết bình luận có tính xây dựng, góp phần tạo môi trường mạng lành mạnh. Thời gian thực hiện trong 3-6 tháng, do các cơ quan truyền thông và mạng xã hội phối hợp thực hiện.

4. Nghiên cứu và phát triển các mô hình giải thích và minh bạch hơn: Đẩy mạnh ứng dụng Explainable AI để người dùng và quản trị viên hiểu rõ hơn về cách mô hình phân loại bình luận, từ đó tăng cường sự tin tưởng và hiệu quả kiểm duyệt. Thời gian nghiên cứu và phát triển khoảng 1-2 năm, do các nhóm nghiên cứu chuyên sâu về AI thực hiện.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và học giả trong lĩnh vực xử lý ngôn ngữ tự nhiên và học máy: Luận văn cung cấp bộ dữ liệu mở và phương pháp tiếp cận mới, hỗ trợ phát triển các nghiên cứu tiếp theo về phân loại bình luận xây dựng, đặc biệt cho tiếng Việt.

2. Các tổ chức báo chí và truyền thông số: Áp dụng mô hình phát hiện bình luận xây dựng để nâng cao chất lượng bình luận trên các nền tảng báo mạng, cải thiện trải nghiệm người đọc và giảm thiểu các bình luận tiêu cực, gây hấn.

3. Nhà phát triển phần mềm và công nghệ AI: Tham khảo kiến trúc mô hình BARTpho-Ling và các kỹ thuật tăng cường dữ liệu, học chuyển giao để phát triển các sản phẩm lọc và phân loại bình luận tự động hiệu quả.

4. Cơ quan quản lý và chính sách về an toàn mạng: Sử dụng kết quả nghiên cứu để xây dựng các chính sách, quy định về quản lý nội dung trên không gian mạng, góp phần tạo môi trường mạng lành mạnh, an toàn.

Câu hỏi thường gặp

1. Bình luận xây dựng khác gì so với bình luận tích cực hay tiêu cực?
   Bình luận xây dựng không chỉ đơn thuần là tích cực hay tiêu cực mà phải có lập luận, dẫn chứng hoặc giải pháp cụ thể. Ví dụ, một bình luận tiêu cực có thể không mang tính xây dựng nếu chỉ trích mà không đề xuất giải pháp.

2. Tại sao bộ dữ liệu bình luận xây dựng tiếng Việt lại không cân bằng?
   Theo phân tích, chỉ khoảng 28% bình luận mang tính xây dựng, phần lớn còn lại là bình luận không xây dựng hoặc tiêu cực, do thói quen và cách thức người dùng thể hiện ý kiến trên mạng xã hội.

3. Mô hình BARTpho-Ling có ưu điểm gì so với các mô hình khác?
   Mô hình kết hợp biểu diễn ngôn ngữ hiện đại BARTpho với các đặc trưng ngôn ngữ học giúp đạt F1-score 0.903, cao hơn so với các mô hình học máy truyền thống và các mô hình học sâu khác như LSTM.

4. Làm thế nào để đảm bảo chất lượng gán nhãn dữ liệu?
   Luận văn sử dụng hai người gán nhãn độc lập với tỷ lệ đồng thuận 92% và hệ số Krippendorff α = 0.74, đảm bảo độ tin cậy và chính xác của nhãn dữ liệu.

5. Có thể áp dụng mô hình này cho các ngôn ngữ khác không?
   Mô hình được thiết kế đặc thù cho tiếng Việt với các đặc trưng ngôn ngữ học riêng, tuy nhiên kiến trúc và phương pháp có thể được điều chỉnh để áp dụng cho các ngôn ngữ khác với bộ dữ liệu phù hợp.

Kết luận

• Luận văn đã xây dựng thành công bộ dữ liệu bình luận xây dựng tiếng Việt gồm gần 16,000 câu, với độ tin cậy cao (Krippendorff α = 0.74).
• Đã phát triển và đánh giá nhiều mô hình học máy và học sâu, trong đó mô hình BARTpho-Ling đạt F1-score 0.903, vượt trội so với các mô hình khác.
• Đề xuất cách tiếp cận mới kết hợp thông tin tiêu đề bài báo giúp cải thiện độ chính xác phân loại bình luận xây dựng.
• Kết quả nghiên cứu góp phần nâng cao chất lượng tương tác trên không gian mạng, hỗ trợ phát triển tri thức và môi trường mạng lành mạnh.
• Hướng nghiên cứu tiếp theo tập trung vào mở rộng bộ dữ liệu, phát triển mô hình giải thích và ứng dụng thực tiễn trong các nền tảng mạng xã hội và báo mạng.

Để tiếp tục phát triển lĩnh vực này, các nhà nghiên cứu và tổ chức có thể áp dụng mô hình và dữ liệu từ luận văn nhằm nâng cao hiệu quả phân loại bình luận xây dựng, đồng thời góp phần tạo ra môi trường mạng tích cực và bổ ích hơn.

Trích đoạn nội dung tài liệu

chương 1, luận văn sẽ đề cập các công trình đã từng nghiên cứu về bình luận xây dựng và trình bày chi tiết về bộ dữ liệu, cách thu thập và gán nhãn dữ liệu. Chương 2 sẽ đề cập các phương pháp tiếp cận cũng như giới thiệu các phương pháp học máy và học sâu tiên tiến cho bài toán phân loại bình luận. Tiếp theo luận văn sẽ trình bày quá trình huấn luyện, đánh giá các mô hình cũng như kết quả thực nghiệm trong chương 3. Cuối cùng là bài nghiên cứu sẽ trình bày phần tổng kết luận văn cũng như hướng nghiên cứu tiếp theo.2 Định nghĩa bình luận xây dựng Ý tưởng sơ khai về đánh giá bình luận được giới thiệu vào năm 2016 của nhóm tác giả Deokjin Park, trường đại học Maryland, Hoa Kỳ qua bài báo “Supporting Comment Moderators in Identifying High Quality Online New Comments”3 công bố trong hội nghị CHI’16.

Nhóm tác giả định nghĩa “bình luận chất lượng” là những bình luận cung cấp những phản hồi hoặc phê bình có giá trị, nêu ra quan điểm cá nhân hay đưa ra những gợi ý giúp cải thiện chất lượng của bài báo, ấn phẩm, sản phẩm hay dịch vụ. Năm 2017, nhóm tác giả Courtney Napoles từ trung tâm nghiên cứu Yahoo đã đưa ra định nghĩa bình luận mang tính xây dựng trong bài báo “Finding Good Conversations Online: The Yahoo News Annotated Comments Corpus”4 , là những bình luận mang tính chất lôi cuốn, tôn trọng hoặc đưa ra một ý tưởng, ý kiến rõ ràng hay một thông tin hữu ích. Cùng năm đó, trong workshop "Natural Language Processing meets Journalism" (EMNLP), nhóm tác giả Varada Kolhatkar trường đại học Simon Fraser, Canada trong bài báo “Using New York Times Picks to Identify Constructive Comments”,5 đã định nghĩa bình luận mang tính xây dựng là bình luận đóng góp vào bài báo hay sản phẩm những chứng cứ liên quan, có thể đưa ra các bằng chứng cụ thể. Bài báo của nhóm tác Varada Kolhatkar đưa ra 2 ví dụ (a) về bình luận mang tính chất xây dựng và (b) là bình luận không có tính xây dựng: (a) Có điều gì đó vốn dĩ phân biệt giới tính khi cho rằng phụ nữ liêm khiết và tự nhiên được chuẩn bị chu đáo để trở thành những nhà lãnh đạo tốt hơn các đồng nghiệp nam của họ nhờ là phụ nữ.

Thật đáng lo ngại khi thấy những phụ nữ thông minh phân biệt giới tính tiếp tục quan niệm tiêu chuẩn đáng lo ngại rằng bất chấp lịch sử đầy sai sót và thẳng thắn gây rắc rối của Hillary Clinton, điều này ở đây phải được tôn kính bằng mọi giá. Phụ nữ bình đẳng theo luật pháp và như vậy phải tuân theo các tiêu chuẩn pháp lý, đạo đức và thực hiện công việc như nhau - bất kể giới tính hay quyền lực của họ. (b) Nếu bạn nghĩ rằng cô ấy thua vì cô ấy là phụ nữ thì bạn thực sự đang đi ăn trưa. Giới tính không liên quan gì đến nó.

11 Bình luận (a), người viết đã đưa ra quan điểm về bình đẳng giới và đưa ra các lập luận về bình đẳng giới có liên hệ với luật pháp, trong khi bình luận (b) thì chỉ đưa ra quan điểm phản đối nhưng không đưa ra được bất cứ phân tích, lập luận hay chứng cơ nào chứng minh quan điểm đó. Trong bài báo "Constructive Language in News Comments",6 trên First Workshop on Abusive Language Online, nhóm tác giả Varada Kolhatkar trường đại học Simon Fraser University, Canada đã sử dụng survey trên SurveyMonkey để có câu trả lời cho định nghĩa bình luận mang tính chất xây dựng là: “Là những bình luận dự định tạo một cuộc đối thoại cá nhân thông qua các nhận xét có liên quan vào bài báo và không nhằm mục đích kích động hay chỉ trích. Họ thường được nhắm mục tiêu đến các điểm cụ thể và được hỗ trợ bởi các bằng chứng thích hợp. Đến năm 2018, nhóm tác giả Varada Kolhatkar trường đại học Simon Fraser University, Canada đã đưa ra được định nghĩa đầy đủ về bình luận mang tính xây dựng và bình luận không có tính xây dựng, trong bài báo "A Corpus for the Analysis of Online News Comments",7 đăng trên NAACL Workshop.

Bình Luận Tính Xây Dựng Bình Luận Không Xây Dựng (1) Nhắm vào các điểm cụ thể và (1) Trình bày ý kiến mà không có cung cấp bằng chứng thích hợp chứng cứ hỗ trợ (2) Đưa ra giải pháp cho các vấn (2) Bác bỏ các điều khoản tranh đề được thảo luận trong bài viết luận (3) Chia sẻ một câu chuyện hoặc (3) Khiêu khích hoặc tâng bốc kinh nghiệm cá nhân có liên quan quá mức (4) Khuyến khích các độc giả (4) Không liên quan hoặc không khác tham gia thảo luận quan trọng Bảng 2: Định nghĩa bình luận mang tính xây dựng Sau khi tham khảo và chắt lọc các nghiên cứu đi trước, luận văn đã đưa ra định nghĩa đầy đủ cho bình luận xây dựng: bình luận xây dựng là bình luận đưa ra quan 12 điểm với các lập luận, dẫn chứng, ví dụ đi kèm hoặc đưa ra các giải pháp, ý tưởng hay các khuyến nghị cụ thể có thể thực hiện được.3 Tính tiêu cực trong bình luận Phân loại bình luận tích cực và bình luận tiêu cực là một trong những bài toán phổ biến trong xử lý ngôn ngữ tự nhiên. Câu hỏi đặt ra rằng, liệu các bình luận tiêu cực có phải là các bình luận không xây dựng, hay bài toán phân loại bình luận xây dựng có trùng với bài toán phân loại bình luận tích cực và bình luận tiêu cực? Trong bài báo “Constructiveness and Toxicity in Online News Comments”,8 nhóm tác giả Vasundhara Gautam thuộc trường đại học Simon Fraser Canada, đã đưa ra câu trả lời đầy đủ cho câu hỏi này bằng một biểu đồ trực quan. Hình 1: Đánh giá bình luận theo khía cạnh xây dựng và tiêu cực Tính xây dựng và tính tiêu cực là hai khía cạnh đánh giá bình luận. Trong khi bài toán phát hiện bình luận tiêu cực giúp lọc đi những bình luận có lời lẽ nặng nề khó nghe, giúp không gian mạng ngày một trong lành và giúp tăng trải nghiệm của người dùng, thì bài toán phát hiện bình luận xây dựng hay phân loại bình luận xây dựng, giúp tìm ra những ý kiến thuyết phục, giải quyết các vấn đề hoặc tìm ra các tri thức mới.4 Xây dựng bộ dữ liệu Một trong những vấn đề quan trọng nhất của bài toán phân loại bình luận xây dựng là thiếu dữ liệu có nhãn sử dụng để huấn luyện mô hình.

Các mô hình học máy 13 như SVM hay Gradient Boosting có thể học được tính tổng quát của dữ liệu từ một lượng dữ liệu nhỏ, nhưng các mô hình học sâu như LSTM hay BERT thường có lượng tham số từ vài triệu đến vài trăm triệu tham số cần huấn luyện, nên rất dễ gặp tình trạng quá khớp hay “overfitting” với bộ dữ liệu nhỏ. Hiện nay về bài toán phân loại bình luận xây dựng tiếng Việt chưa có bộ dữ liệu nào công khai cho cộng đồng xử lý ngôn ngữ tự nhiên. Vì vậy luận văn đã thu thập dữ liệu và tiến hành gán nhãn cho bộ dữ liệu bình luận xây dựng tiếng Việt. Bộ dữ liệu bình luận xây dựng tiếng Việt được xây dựng nhằm mục đích nghiên cứu cho luận văn tốt nghiệp, cũng như đóng góp như một dữ liệu mở cho cộng đồng xử lý ngôn ngữ tự nhiên của Việt Nam.1 Thu thập dữ liệu Dựa vào ý tưởng của bộ dữ liệu xây dựng tiếng anh, do nhóm tác giả Maite Taboada, trường đại học Simon Fraser Canada xây dựng, luận văn tập trung thu thập những dữ liệu bình luận trên báo mạng.

Hiện nay tại Việt Nam, trang báo mạng có lượt đọc, bình luận nhiều nhất là trang báo vnexpress.net và may mắn thay trang web này cũng cung cấp API miễn phí cho phép người dùng thu thập dữ liệu nội dung và bình luận. Bộ dữ liệu được thu thập các bài báo và bình luận trong giai đoạn từ tháng 01/2020 đến tháng 03/2021, gồm 15,595 bình luận trong 15 chuyên mục. Nhìn vào hình 20, có thể thấy góc nhìn là chuyên mục có lượt bình luận cao nhất, trong khi góc nhìn, thời sự và sức khỏe là các chuyên mục được đọc giả quan tâm khi có số lượng bình luận trung bình mỗi bài báo là cao nhất. 14 Hình 2: Số lượt bình luận theo chuyên mục 1.2 Gán nhãn dữ liệu Bài toán phân loại dữ liệu xây dựng là được xếp vào nhóm học có giám sát hay còn gọi là “supervised learning”.

Với những dạng bài học có giám sát, thì gán nhãn dữ liệu là một công đoạn vô cùng quan trọng, cũng là công đoạn đầu tư nhiều công sức nhất. Trong số 15,595 bình luận thu thập được, dựa vào định nghĩa bình luận xây dựng, nhóm đã tiến hình gán nhãn 15,595 dữ liệu, đạt tỷ lệ 100% trên tổng số lượng bình luận. Để bảo đảm chất lượng của dữ liệu, nhóm gán nhãn dữ liệu gồm 2 người, mỗi người gán nhãn 9,000 bình luận, trong đó có 2,405 bình luận là trùng nhau. Kết quả kiểm tra trên 2,405 bình luận cùng gán nhãn, số lỗi hay số bình luận gán nhãn lệch nhau là 199 bình luận, tương ứng với tỷ lệ 8%.

Để đo chất lượng gán nhãn dữ liệu, bài nghiên cứu sử dụng hệ số Krippendorff 9 , được giới thiệu năm 2011 bởi Krippendorff, trường đại học Pennsylvania, Hoa Kỳ. Hệ số Krippendorff 𝛼 là hệ số đo độ tin cậy của dữ liệu được gán nhãn, hệ số này sử dụng rộng rãi trong xử lý ngôn ngữ tự nhiên. Công thức Krippendorff 𝛼 cho bài toán 𝑂01 phân loại nhị phân có dạng: 𝛼 = 1 - (n -1). , với O01 là số lượng là 1 nhưng được 𝑛0 .𝑛1 gán nhãn 0, n0 là số lượng nhãn tin cậy là 0 và n1 là số lượng nhãn tin cậy là 1.

Tính theo công thức Krippendorff trên bộ dữ liệu bình luận xây dựng tiếng Việt: 𝛼 = 0.74, 15 so sánh với bộ dữ liệu bình luận xây dựng do nhóm tác giả Maite Taboada, trường đại học Simon Fraser Canada có 𝛼 = 0.71 cho thấy kết quả gán nhãn có thể tin cậy.3 Phân tích dữ liệu Trước khi bắt tay vào xây dựng mô hình, thì việc quan trọng cần làm đó là tiền xử lý dữ liệu. Ví dụ một đoạn dữ liệu thô: <title>Giá sàn vé máy bay</title><meta content="Gần 31 triệu đồng, tương đương 1.090 Euro, là số tiền tôi đã trả cho chuyến bay hồi hương một chiều của VietnamAirlines (VNA) từ Paris về TP HCM tháng 9 năm ngoái.