Luận văn thạc sĩ về phát hiện lập trường sử dụng kỹ thuật học sâu

• Tác giả: Đặng Thị Ngọc Yến
• Người hướng dẫn: TS. Trần Thị Oanh
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phát hiện lập trường sử dụng kỹ thuật học sâu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• 1. CHƯƠNG I: BÀI TOÁN PHÁT HIỆN LẬP TRƯỜNG
• 1.1. Giới thiệu bài toán phát hiện lập trường
• 1.2. Một số nghiên cứu liên quan
• 1.3. Tính thời sự của bài toán
• 1.4. Kết luận chương
• 2. CHƯƠNG II: CÁC PHƯƠNG PHÁP HỌC MÁY SỬ DỤNG TRONG BÀI TOÁN PHÁT HIỆN LẬP TRƯỜNG
• 3. CHƯƠNG III: ĐỀ XUẤT PHƯƠNG PHÁP, GIẢI PHÁP
• 4. CHƯƠNG IV: KẾT QUẢ THỰC NGHIỆM VÀ ĐÁNH GIÁ
• TÀI LIỆU THAM KHẢO

I. Giới thiệu bài toán phát hiện lập trường

Bài toán phát hiện lập trường là một lĩnh vực nghiên cứu quan trọng trong học sâu và xử lý ngôn ngữ tự nhiên. Với sự phát triển mạnh mẽ của Internet, việc phân tích và tổng hợp ý kiến dư luận trở nên cần thiết. Lập trường (stance) được hiểu là ý kiến của cá nhân về một chủ đề hoặc sự kiện. Việc phát hiện lập trường có nhiều ứng dụng thực tiễn, từ khảo sát ý kiến đến phát hiện tin giả. Theo báo cáo của WeAreSocial, Việt Nam có 68.72 triệu người dùng Internet, cho thấy nhu cầu phân tích dư luận ngày càng cao. Việc tự động hóa phát hiện lập trường giúp thu thập và phân loại ý kiến một cách nhanh chóng và hiệu quả. Một nghiên cứu cho thấy, việc phát hiện lập trường có thể hỗ trợ kiểm tra tính xác thực của thông tin, từ đó giúp người dùng đưa ra quyết định chính xác hơn. Các ứng dụng khác bao gồm phân loại tin đồn và dự đoán xu hướng thị trường.

II. Các phương pháp học máy sử dụng trong bài toán phát hiện lập trường

Trong nghiên cứu này, các phương pháp học máy được chia thành hai nhóm chính: phương pháp truyền thống và phương pháp học sâu. Phương pháp truyền thống bao gồm các thuật toán như naïve Bayes, cây quyết định (Decision Tree), và SVM. Những phương pháp này đã được áp dụng thành công trong nhiều nghiên cứu trước đây. Ngược lại, các phương pháp học sâu như mạng nơ-ron hồi quy (RNN) và mạng bộ nhớ dài-ngắn (LSTM) đang trở thành xu hướng mới trong việc phát hiện lập trường. Các mô hình này cho phép xử lý dữ liệu phức tạp và cải thiện độ chính xác trong việc phân loại lập trường. Việc áp dụng các mô hình học sâu đã cho thấy hiệu quả vượt trội so với các phương pháp truyền thống, đặc biệt trong việc xử lý ngôn ngữ tự nhiên.

III. Đề xuất phương pháp giải pháp

Để phát hiện lập trường trong tiếng Việt, nghiên cứu đề xuất một phương pháp kết hợp giữa các mô hình học máy truyền thống và học sâu. Đầu tiên, dữ liệu cần được tiền xử lý để loại bỏ nhiễu và chuẩn hóa. Sau đó, các đặc trưng sẽ được trích xuất từ văn bản để phục vụ cho việc phân loại. Mô hình BiLSTM được sử dụng để cải thiện khả năng nhận diện ngữ cảnh trong văn bản. Các bước thực hiện bao gồm xây dựng bộ dữ liệu, huấn luyện mô hình và đánh giá kết quả. Việc áp dụng mô hình học sâu không chỉ giúp cải thiện độ chính xác mà còn tạo ra những hiểu biết sâu sắc hơn về lập trường của người dùng. Nghiên cứu này hy vọng sẽ đóng góp vào việc phát triển các ứng dụng thực tiễn trong phân tích dư luận xã hội.

IV. Kết quả thực nghiệm và đánh giá

Kết quả thực nghiệm cho thấy mô hình LSTM và RNN đạt được độ chính xác cao trong việc phát hiện lập trường. Các mô hình này đã được thử nghiệm trên bộ dữ liệu được xây dựng từ các bình luận trên mạng xã hội và các bài viết tin tức. Đặc biệt, mô hình BiLSTM cho thấy hiệu suất vượt trội trong việc phân loại lập trường so với các phương pháp truyền thống. Thống kê cho thấy độ chính xác của mô hình đạt trên 80%, cho thấy khả năng áp dụng thực tiễn cao. Việc phân tích lỗi cũng chỉ ra những điểm cần cải thiện, như việc xử lý các trường hợp ngữ nghĩa phức tạp. Kết quả này không chỉ khẳng định tính khả thi của phương pháp mà còn mở ra hướng nghiên cứu mới trong lĩnh vực xử lý ngôn ngữ tự nhiên cho tiếng Việt.

Tổng quan nghiên cứu

Trong bối cảnh công nghệ thông tin phát triển mạnh mẽ, việc xử lý và phân tích lượng lớn dữ liệu văn bản trên mạng Internet trở thành một thách thức quan trọng. Tại Việt Nam, theo báo cáo “Digital 2021”, có khoảng 68,72 triệu người dùng Internet, chiếm 70,3% dân số, cùng với 72 triệu người dùng mạng xã hội, chiếm khoảng 73%. Các nền tảng như Facebook, YouTube, Zalo, và các trang báo điện tử như Vnexpress, Dantri đóng vai trò quan trọng trong việc truyền tải thông tin và ý kiến dư luận. Trong bối cảnh đó, bài toán phát hiện lập trường (stance detection) nhằm xác định quan điểm của người dùng đối với một tuyên bố hoặc chủ đề cụ thể trở nên cấp thiết. Mục tiêu nghiên cứu là xây dựng hệ thống phát hiện lập trường cho tiếng Việt, phân loại các bình luận thành bốn nhóm: đồng ý, không đồng ý, thảo luận và không liên quan. Nghiên cứu tập trung trên dữ liệu thu thập từ các trang mạng xã hội và báo điện tử trong khoảng thời gian gần đây, với tổng số 500 tiêu đề và hơn 11.250 bình luận. Việc phát hiện lập trường không chỉ giúp tổng hợp ý kiến dư luận mà còn hỗ trợ các ứng dụng như phát hiện tin giả, khảo sát ý kiến, dự báo xu hướng xã hội, góp phần nâng cao hiệu quả quản lý và nghiên cứu xã hội.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên hai nhóm lý thuyết chính trong học máy và xử lý ngôn ngữ tự nhiên (NLP):

1. Phương pháp học máy truyền thống: Bao gồm các thuật toán phân lớp như Naïve Bayes và cây quyết định (Decision Tree). Naïve Bayes dựa trên định lý Bayes với giả định các đặc trưng đầu vào độc lập, tính xác suất hậu nghiệm để phân loại. Cây quyết định xây dựng mô hình phân cấp dựa trên các câu hỏi phân loại, dễ hiểu và hiệu quả với dữ liệu có cấu trúc rõ ràng.

2. Phương pháp học sâu (Deep Learning): Tập trung vào các mô hình mạng nơ-ron hồi quy (RNN) và mạng bộ nhớ dài-ngắn (LSTM). RNN có khả năng xử lý dữ liệu chuỗi tuần tự, ghi nhớ thông tin trước đó để dự đoán đầu ra hiện tại. LSTM cải tiến RNN bằng cách sử dụng các cổng (input, forget, output gate) để kiểm soát thông tin lưu giữ hoặc loại bỏ, giải quyết vấn đề gradient biến mất, giúp ghi nhớ thông tin dài hạn hiệu quả hơn. Ngoài ra, mô hình BiLSTM (LSTM hai chiều) được sử dụng để khai thác thông tin ngữ cảnh từ cả hai hướng của câu, nâng cao độ chính xác phát hiện lập trường.

Các khái niệm chính bao gồm: lập trường (stance), phân lớp (classification), mạng nơ-ron hồi quy (RNN), mạng bộ nhớ dài-ngắn (LSTM), BiLSTM, vector từ (word embeddings), và hàm kích hoạt ReLU.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ các trang mạng xã hội (Facebook, Twitter) và các trang báo điện tử lớn tại Việt Nam như Vnexpress, VTV24, Dantri, Beat.vn, Webtretho. Bộ dữ liệu gồm 500 tiêu đề và 11.252 bình luận, tập trung vào các chủ đề chính trị, đời sống, giáo dục và thời sự.

Quy trình nghiên cứu gồm các bước:

• Tiền xử lý dữ liệu: Chuẩn hóa văn bản (loại bỏ dấu câu, chuyển chữ thường), tách từ (tokenization) phù hợp với đặc thù tiếng Việt, mã hóa từ thành vector số bằng phương pháp Word2Vec và Glove.

• Gán nhãn dữ liệu: Bình luận được phân loại thành bốn nhóm: Agree (đồng ý), Disagree (không đồng ý), Discuss (thảo luận), Unrelated (không liên quan). Quá trình gán nhãn được thực hiện thủ công bởi ba người, kiểm tra độ tương đồng bằng hệ số Cohen’s kappa đạt 99,2%, đảm bảo tính nhất quán.

• Phân tích và xây dựng mô hình: Sử dụng các thuật toán học máy truyền thống (Naïve Bayes, Decision Tree) và mô hình học sâu (LSTM, BiLSTM). Mỗi mô hình được huấn luyện và đánh giá trên 5 bộ dữ liệu ngẫu nhiên, kết quả trung bình được sử dụng để đánh giá hiệu quả.

• Đánh giá mô hình: Sử dụng các chỉ số precision, recall và F1-score để đo lường hiệu suất phân loại.

Thời gian nghiên cứu tập trung trong giai đoạn từ năm 2019 đến 2021, tại Việt Nam, với công cụ chính là Google Colab hỗ trợ xử lý và huấn luyện mô hình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình học sâu vượt trội: Mô hình LSTM đạt độ chính xác trung bình khoảng 85%, trong khi RNN đạt khoảng 80%. Các mô hình học máy truyền thống như Decision Tree và Naïve Bayes có độ chính xác lần lượt khoảng 75% và 70%. Điều này cho thấy khả năng xử lý ngữ cảnh và chuỗi của LSTM giúp cải thiện đáng kể kết quả phát hiện lập trường.

2. BiLSTM cải thiện ngữ cảnh hai chiều: Việc sử dụng BiLSTM giúp mô hình khai thác thông tin từ cả phía trước và phía sau của từ trong câu, nâng cao độ chính xác phân loại lên khoảng 87%, cao hơn so với LSTM đơn chiều.

3. Phân bố nhãn trong dữ liệu: Trong tổng số 11.250 bình luận, tỷ lệ bình luận đồng ý (Agree) chiếm khoảng 26%, không đồng ý (Disagree) chiếm 23%, thảo luận (Discuss) chiếm 29,6%, và không liên quan (Unrelated) chiếm 21,4%. Sự phân bố này phản ánh tính đa dạng và phức tạp của ý kiến người dùng trên mạng xã hội.

4. Độ tương đồng gán nhãn cao: Độ đo Cohen’s kappa giữa ba người gán nhãn đạt 99,2%, cho thấy tính nhất quán và độ tin cậy cao của dữ liệu gán nhãn, đảm bảo chất lượng cho quá trình huấn luyện và đánh giá mô hình.

Thảo luận kết quả

Kết quả cho thấy các mô hình học sâu, đặc biệt là BiLSTM, có khả năng xử lý tốt các đặc trưng ngữ cảnh phức tạp trong tiếng Việt, vượt trội hơn so với các phương pháp học máy truyền thống. Điều này phù hợp với các nghiên cứu quốc tế về phát hiện lập trường trên các ngôn ngữ khác, trong đó mạng nơ-ron hồi quy và các biến thể LSTM được đánh giá cao về hiệu quả.

Sự khác biệt về đặc điểm ngôn ngữ tiếng Việt như từ đa âm tiết, không gian từ không phân tách bằng dấu cách như tiếng Anh, đòi hỏi các bước tiền xử lý và biểu diễn từ phù hợp, góp phần nâng cao chất lượng mô hình. Việc xây dựng kho ngữ liệu tiếng Việt với hơn 11.000 bình luận có gán nhãn chi tiết là đóng góp quan trọng, bổ sung tài nguyên cho lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt.

Dữ liệu có thể được trình bày qua biểu đồ phân bố tỷ lệ các nhãn, bảng so sánh độ chính xác các mô hình, và biểu đồ F1-score theo từng mô hình để minh họa hiệu quả của các phương pháp.

Đề xuất và khuyến nghị

1. Phát triển hệ thống phát hiện lập trường tích hợp BiLSTM: Triển khai mô hình BiLSTM vào các nền tảng phân tích dư luận xã hội nhằm nâng cao độ chính xác và tốc độ xử lý, hướng tới mục tiêu đạt F1-score trên 85% trong vòng 12 tháng, do các tổ chức nghiên cứu và doanh nghiệp công nghệ thực hiện.

2. Mở rộng và cập nhật kho ngữ liệu tiếng Việt: Thu thập thêm dữ liệu từ các nguồn đa dạng như diễn đàn, blog, mạng xã hội để tăng tính đại diện và phong phú, cải thiện khả năng tổng quát của mô hình, thực hiện liên tục hàng năm bởi các viện nghiên cứu và trường đại học.

3. Tối ưu hóa tiền xử lý và biểu diễn từ: Nghiên cứu và áp dụng các kỹ thuật tách từ, chuẩn hóa và biểu diễn từ mới như transformer-based embeddings (BERT, PhoBERT) để nâng cao chất lượng đặc trưng đầu vào, dự kiến hoàn thành trong 6-9 tháng, do nhóm nghiên cứu NLP đảm nhiệm.

4. Ứng dụng phát hiện lập trường trong phát hiện tin giả và giám sát dư luận: Phát triển công cụ hỗ trợ kiểm tra tính xác thực thông tin dựa trên lập trường, giúp cơ quan quản lý và báo chí nhanh chóng phân loại và xử lý thông tin sai lệch, triển khai thử nghiệm trong 1 năm, phối hợp giữa các cơ quan truyền thông và công nghệ.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và học giả trong lĩnh vực xử lý ngôn ngữ tự nhiên và học máy: Có thể sử dụng kết quả và phương pháp nghiên cứu để phát triển các mô hình NLP cho tiếng Việt, đặc biệt trong bài toán phân loại văn bản và phát hiện lập trường.

2. Doanh nghiệp công nghệ và phát triển phần mềm: Áp dụng mô hình và giải pháp đề xuất để xây dựng các sản phẩm phân tích dư luận, giám sát mạng xã hội, hỗ trợ marketing và quản lý thương hiệu.

3. Cơ quan báo chí và truyền thông: Sử dụng công cụ phát hiện lập trường để phân tích ý kiến độc giả, phát hiện tin giả, nâng cao chất lượng thông tin và phản hồi nhanh chóng các vấn đề xã hội.

4. Cơ quan quản lý nhà nước và tổ chức xã hội: Ứng dụng kết quả nghiên cứu để giám sát dư luận xã hội, hỗ trợ ra quyết định chính sách dựa trên phân tích ý kiến công chúng, đặc biệt trong các lĩnh vực chính trị, giáo dục và y tế.

Câu hỏi thường gặp

1. Phát hiện lập trường là gì và tại sao quan trọng?
   Phát hiện lập trường là quá trình xác định quan điểm của người dùng đối với một tuyên bố hoặc chủ đề cụ thể. Nó quan trọng vì giúp tổng hợp ý kiến dư luận, hỗ trợ phân tích xã hội, phát hiện tin giả và dự báo xu hướng.

2. Tại sao cần xây dựng mô hình riêng cho tiếng Việt?
   Tiếng Việt có đặc điểm ngôn ngữ khác biệt như từ đa âm tiết, không gian từ không phân tách bằng dấu cách, cấu trúc câu khác biệt so với tiếng Anh. Do đó, mô hình riêng giúp xử lý chính xác hơn các đặc trưng ngôn ngữ này.

3. Mô hình học sâu nào được sử dụng và ưu điểm của nó?
   Mô hình BiLSTM được sử dụng vì khả năng khai thác thông tin ngữ cảnh từ cả hai hướng trong câu, giúp cải thiện độ chính xác phát hiện lập trường so với các mô hình truyền thống và LSTM đơn chiều.

4. Dữ liệu nghiên cứu được thu thập từ đâu?
   Dữ liệu gồm 500 tiêu đề và hơn 11.250 bình luận thu thập từ các trang mạng xã hội như Facebook, Twitter và các trang báo điện tử lớn tại Việt Nam như Vnexpress, Dantri, VTV24, Beat.vn, Webtretho.

5. Làm thế nào để đánh giá hiệu quả mô hình?
   Hiệu quả được đánh giá qua các chỉ số precision, recall và F1-score trên tập dữ liệu kiểm thử. Mô hình BiLSTM đạt F1-score khoảng 87%, vượt trội so với các mô hình học máy truyền thống.

Kết luận

• Đã xây dựng thành công bộ dữ liệu tiếng Việt gồm 500 tiêu đề và hơn 11.250 bình luận có gán nhãn lập trường, đảm bảo độ tin cậy với hệ số Cohen’s kappa 99,2%.
• So sánh các phương pháp học máy truyền thống và học sâu cho thấy BiLSTM đạt hiệu quả cao nhất với độ chính xác và F1-score vượt trội.
• Nghiên cứu góp phần làm phong phú tài nguyên ngôn ngữ và phương pháp xử lý ngôn ngữ tự nhiên cho tiếng Việt, mở rộng ứng dụng trong phát hiện tin giả và phân tích dư luận.
• Đề xuất phát triển hệ thống ứng dụng thực tiễn, mở rộng kho dữ liệu và áp dụng các kỹ thuật biểu diễn từ hiện đại để nâng cao hiệu quả.
• Khuyến nghị các nhà nghiên cứu, doanh nghiệp và cơ quan quản lý khai thác kết quả để phát triển các công cụ hỗ trợ phân tích và giám sát dư luận xã hội.

Tiếp theo, việc triển khai các giải pháp đề xuất và mở rộng nghiên cứu sẽ góp phần nâng cao chất lượng và ứng dụng của bài toán phát hiện lập trường tiếng Việt trong thực tế. Độc giả và các chuyên gia được khuyến khích tham khảo và áp dụng kết quả nghiên cứu này để phát triển các ứng dụng phù hợp.