Luận văn: Xác định tỷ lệ tin xấu trên báo điện tử tiếng Việt bằng học sâu

Luận văn thạc sĩ kỹ thuật phân tích kỹ thuật xác định tỷ lệ tin xấu trên báo điện tử tiếng việt bằng phương pháp học sâu, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp

Chuyên ngành

Khoa Học Máy Tính

Người đăng

Ẩn danh

Thể loại

Luận Văn Thạc Sĩ

2020

63
2
0

Phí lưu trữ

30 Point

Tóm tắt

I. Luận văn AI Hướng dẫn xác định tin xấu bằng học sâu

Sự bùng nổ của báo điện tử đã biến Internet thành nguồn thông tin chủ đạo, phản ánh mọi khía cạnh của đời sống xã hội. Tuy nhiên, việc kiểm soát nội dung, đặc biệt là tỷ lệ tin tức tiêu cực (tin xấu), là một thách thức lớn. Theo quan điểm của Bộ Thông tin và Truyền thông, tỷ lệ tin xấu cao có thể làm sai lệch nhận thức của độc giả về xã hội và "xói mòn niềm tin". Do đó, việc xây dựng một hệ thống tự động để xác định tỷ lệ tin xấu trên báo điện tử tiếng Việt là vô cùng cấp thiết. Luận văn thạc sĩ kỹ thuật này đề xuất một giải pháp đột phá, sử dụng các phương pháp học sâu để giải quyết bài toán. Cách tiếp cận này thuộc lĩnh vực phân loại văn bản tiếng Việt, một nhánh quan trọng của xử lý ngôn ngữ tự nhiên (NLP). Thay vì dựa vào các phương pháp thống kê truyền thống, luận văn tập trung vào khả năng tự động học đặc trưng của các mô hình học sâu như mạng nơ-ron tích chập (CNN)mạng nơ-ron hồi quy (RNN/LSTM/GRU). Mục tiêu chính là xây dựng và đánh giá các mô hình có khả năng phân biệt chính xác giữa tin tức tiêu cực và tin tức thông thường, từ đó cung cấp một công cụ mạnh mẽ cho các cơ quan quản lý và tòa soạn. Đây là một tài liệu tham khảo giá trị cho các khóa luận tốt nghiệp CNTTluận văn AI liên quan đến fake news detection.

1.1. Tầm quan trọng của việc phát hiện tin giả và tin xấu

Việc đánh giá tỷ lệ tin xấu trên báo điện tử không chỉ là một yêu cầu quản lý mà còn là trách nhiệm xã hội. Tin tức tiêu cực, thông tin sai lệch (misinformation), và thông tin xuyên tạc (disinformation) khi xuất hiện với tần suất lớn có thể gây ra những hệ lụy nghiêm trọng, ảnh hưởng đến tâm lý công chúng và sự ổn định xã hội. Với hàng ngàn bài báo được xuất bản mỗi ngày, việc giám sát thủ công là bất khả thi. Do đó, một hệ thống tự động dựa trên Trí tuệ nhân tạo, cụ thể là các ứng dụng NLP, trở thành giải pháp tối ưu. Hệ thống này giúp phân tích nhanh chóng và khách quan, cung cấp số liệu đáng tin cậy để các cơ quan chức năng và tòa soạn có thể điều chỉnh định hướng nội dung, đảm bảo môi trường thông tin lành mạnh.

1.2. Mục tiêu và phạm vi nghiên cứu của luận văn thạc sĩ

Mục đích chính của luận văn là nghiên cứu và ứng dụng các phương pháp học sâu để xây dựng một mô hình hiệu quả cho bài toán xác định tỷ lệ tin xấu trên báo điện tử tiếng Việt. Đối tượng nghiên cứu là các mô hình học sâu hiện đại và dữ liệu văn bản từ báo chí. Phạm vi nghiên cứu được giới hạn trong các bài viết thuộc các chuyên mục cụ thể như “đời sống” và “kinh doanh” trên các trang báo điện tử lớn. Phương pháp nghiên cứu bao gồm hai phần chính: (1) Lý thuyết: Khảo sát, phân tích các tài liệu, nghiên cứu khoa học về tin giả và các kỹ thuật học sâu liên quan. (2) Thực nghiệm: Xây dựng một bộ dữ liệu tiếng Việt (Vietnamese fake news dataset), cài đặt, huấn luyện và đánh giá mô hình học máy để tìm ra phương pháp tối ưu nhất cho bài toán.

II. Vấn đề xác định tin xấu và thách thức trong NLP tiếng Việt

Bài toán xác định tin xấu về bản chất là một bài toán phân loại văn bản tiếng Việt nhị phân (tin xấu/tin tốt). Tuy nhiên, nó không đơn giản như phân tích cảm xúc (sentiment analysis), vốn tập trung vào quan điểm chủ quan của người viết. Tin xấu thường là những bản tin tường thuật khách quan về các sự kiện tiêu cực. Thách thức lớn nhất nằm ở sự phức tạp và đa dạng của ngôn ngữ tự nhiên, đặc biệt là tiếng Việt. Một mô hình hiệu quả phải có khả năng "hiểu" được ngữ nghĩa, bối cảnh và các sắc thái tinh tế trong văn bản. Các phương pháp học máy truyền thống thường đòi hỏi quá trình trích chọn đặc trưng thủ công, tốn nhiều công sức và phụ thuộc vào kiến thức chuyên gia. Ngược lại, mô hình học sâu có khả năng tự động học các biểu diễn đặc trưng từ dữ liệu thô, mở ra một hướng đi đầy hứa hẹn. Tuy nhiên, việc áp dụng thành công các mô hình này đòi hỏi phải giải quyết các vấn đề về thu thập dữ liệu báo chí, tiền xử lý dữ liệu văn bản, và lựa chọn kiến trúc mạng n-ron phù hợp cho một ngôn ngữ giàu ngữ cảnh như tiếng Việt. Đây là một chủ đề phức tạp, thường xuất hiện trong các đồ án nhận dạng tin tức giả.

2.1. Phân biệt tin xấu phân tích cảm xúc và trích rút chủ đề

Cần phân biệt rõ bài toán này với các lĩnh vực liên quan. Trích rút chủ đề (topic extraction) chỉ xác định nội dung chính (ví dụ: kinh tế, thể thao) chứ không đánh giá tính chất tốt/xấu. Phân tích cảm xúc (opinion mining) lại tập trung vào cảm tính, quan điểm chủ quan (ví dụ: một bài review phim tiêu cực). Trong khi đó, "tin xấu" trong luận văn này được định nghĩa là các thông tin thời sự khách quan phản ánh những sự việc, hiện tượng tiêu cực như thiên tai, tội phạm, khó khăn kinh tế. Một bài báo có thể thuộc chủ đề kinh tế nhưng lại là tin xấu nếu nói về suy thoái. Do đó, mô hình cần nắm bắt ngữ nghĩa sâu hơn là chỉ dựa vào các từ khóa cảm xúc.

2.2. Overfitting Cạm bẫy khi huấn luyện mô hình học sâu

Một trong những thách thức lớn nhất khi huấn luyện các mô hình học sâu là hiện tượng overfitting. Đây là tình trạng mô hình hoạt động cực kỳ tốt trên dữ liệu huấn luyện nhưng lại cho kết quả kém trên dữ liệu mới chưa từng thấy. Nguyên nhân có thể do mô hình quá phức tạp hoặc dữ liệu huấn luyện không đủ lớn và đa dạng. Để khắc phục, các kỹ thuật như Dropout (ngẫu nhiên vô hiệu hóa một phần nơ-ron trong quá trình huấn luyện) và Early Stopping (dừng huấn luyện sớm khi hiệu quả trên tập kiểm thử không còn cải thiện) thường được áp dụng. Việc lựa chọn kiến trúc và tham số phù hợp là rất quan trọng để đảm bảo khả năng tổng quát hóa của mô hình.

III. Cách thu thập tiền xử lý dữ liệu báo chí cho luận văn

Chất lượng của mô hình học máy phụ thuộc rất lớn vào chất lượng và số lượng của dữ liệu huấn luyện. Giai đoạn chuẩn bị dữ liệu là một trong những bước quan trọng và tốn nhiều thời gian nhất trong một luận văn AI. Quá trình này bao gồm hai công đoạn chính: thu thập dữ liệu báo chítiền xử lý dữ liệu văn bản. Dữ liệu được thu thập tự động từ các trang báo điện tử lớn bằng các công cụ crawler. Sau đó, dữ liệu thô sẽ trải qua nhiều bước làm sạch và chuẩn hóa để loại bỏ nhiễu và đưa về định dạng phù hợp cho mô hình. Các bước này bao gồm gán nhãn thủ công, loại bỏ mã HTML, chuyển đổi chữ thường, xóa các ký tự đặc biệt và dấu câu. Bước cuối cùng và quan trọng nhất là vector hóa văn bản, tức là chuyển đổi chuỗi ký tự thành các vector số học mà máy tính có thể hiểu được. Đây là nền tảng để xây dựng một Vietnamese fake news dataset chất lượng cao, phục vụ cho việc huấn luyện và đánh giá mô hình học máy một cách chính xác. Các phương pháp này là kiến thức nền tảng cho sinh viên thực hiện khóa luận tốt nghiệp CNTT.

3.1. Kỹ thuật thu thập và gán nhãn dữ liệu tự động và thủ công

Luận văn đã xây dựng một công cụ thu thập tin tự động (crawler) để lấy dữ liệu từ chuyên mục "Thời sự" của báo điện tử VnExpress. Công cụ này bao gồm hai phần: URL Crawler để lấy danh sách đường dẫn bài viết và Content Crawler để trích xuất nội dung, tiêu đề, và tóm tắt. Dữ liệu sau đó được lưu vào cơ sở dữ liệu MySQL. Quá trình gán nhãn được thực hiện thủ công dựa trên một bộ tiêu chí rõ ràng, phân loại các bài viết thành hai lớp "Tin xấu" và "Tin bình thường". Việc gán nhãn thủ công đảm bảo chất lượng và độ tin cậy cho bộ dữ liệu huấn luyện.

3.2. Các bước tiền xử lý dữ liệu văn bản tiếng Việt hiệu quả

Dữ liệu thô sau khi thu thập chứa rất nhiều thông tin không cần thiết. Quá trình tiền xử lý bao gồm: (1) Gộp tiêu đề, tóm tắt và nội dung thành một văn bản duy nhất. (2) Chuyển toàn bộ văn bản về dạng chữ viết thường (lower-casing) để giảm sự đa dạng của từ vựng. (3) Loại bỏ các định dạng HTML, các ký tự đặc biệt, dấu câu (punctuations) và các khoảng trắng thừa. (4) Tách từ (word segmentation), một bước cực kỳ quan trọng trong xử lý ngôn ngữ tự nhiên tiếng Việt. Kết quả của quá trình này là một bộ dữ liệu sạch, sẵn sàng cho bước vector hóa.

IV. Top 3 mô hình học sâu ứng dụng phân loại văn bản tiếng Việt

Luận văn này không chỉ dừng lại ở lý thuyết mà còn tiến hành thực nghiệm so sánh hiệu quả của ba kiến trúc mô hình học sâu tiêu biểu cho bài toán phân loại văn bản tiếng Việt. Mỗi mô hình đại diện cho một cách tiếp cận khác nhau trong việc biểu diễn và học hỏi từ dữ liệu văn bản. Đầu tiên là mô hình MLP (Multilayer Perceptron) cơ bản, hoạt động trên biểu diễn "túi từ" (bag-of-words). Tiếp theo là mạng nơ-ron hồi quy (RNN/LSTM/GRU), một kiến trúc mạnh mẽ có khả năng xử lý dữ liệu tuần tự và ghi nhớ các phụ thuộc dài hạn trong câu. Cuối cùng là mô hình lai BI-LSTM-CNN, kết hợp ưu điểm của cả mạng LSTM hai chiều và mạng nơ-ron tích chập (CNN) để nắm bắt thông tin ngữ cảnh và các đặc trưng cục bộ. Việc vector hóa văn bản thông qua kỹ thuật word embedding (cụ thể là Word2Vec) đóng vai trò then chốt, giúp chuyển đổi từ ngữ thành các vector dày đặc, mang thông tin ngữ nghĩa. Những mô hình này là trọng tâm của các nghiên cứu khoa học về tin giảfake news detection hiện đại.

4.1. Mô hình MLP Mạng nơ ron truyền thẳng cơ bản

MLP là kiến trúc mạng nơ-ron đơn giản nhất, bao gồm nhiều lớp kết nối toàn phần (fully-connected layers). Trong luận văn, mô hình MLP sử dụng đầu vào là vector one-hot encoding, đại diện cho sự hiện diện của 3000 từ phổ biến nhất trong từ vựng. Dù không xem xét thứ tự từ, MLP vẫn có thể học được các mẫu phức tạp dựa trên tần suất xuất hiện của từ ngữ. Mô hình này được huấn luyện bằng thuật toán tối ưu Adam và hàm chi phí Mean Squared Error (MSE), đóng vai trò là một mô hình cơ sở (baseline) để so sánh với các kiến trúc phức tạp hơn.

4.2. Mô hình LSTM Xử lý văn bản dưới dạng chuỗi tuần tự

Khác với MLP, mạng bộ nhớ tạm dài hạn (LSTM) được thiết kế đặc biệt để xử lý dữ liệu dạng chuỗi. Nó đọc văn bản theo đúng thứ tự từ, từ đầu đến cuối, và sử dụng các "cổng" (gate) bên trong để quyết định thông tin nào cần ghi nhớ và thông tin nào cần quên đi. Điều này cho phép LSTM nắm bắt được ngữ cảnh và các mối quan hệ ngữ pháp phức tạp. Đầu vào của mô hình LSTM là một chuỗi các vector từ được tạo ra bởi lớp word embedding, giúp mô hình hiểu được mối quan hệ ngữ nghĩa giữa các từ.

4.3. Mô hình BI LSTM CNN Kết hợp sức mạnh của mạng hồi quy và tích chập

Đây là kiến trúc tiên tiến nhất được thử nghiệm. BI-LSTM (Bidirectional LSTM) cho phép mạng đọc văn bản theo cả hai chiều (từ trái sang phải và từ phải sang trái), giúp nắm bắt ngữ cảnh một cách toàn diện hơn. Đầu ra của lớp BI-LSTM là một ma trận đặc trưng. Ma trận này sau đó được xem như một "hình ảnh" và được đưa vào các lớp của mạng nơ-ron tích chập (CNN). CNN có khả năng trích xuất các đặc trưng cục bộ hiệu quả (ví dụ: các cụm từ quan trọng gồm 2-3 từ). Sự kết hợp này tận dụng thế mạnh của cả hai kiến trúc để tạo ra một mô hình phân loại cực kỳ mạnh mẽ.

V. Hướng dẫn đánh giá mô hình học máy Accuracy F1 score

Việc xây dựng mô hình chỉ là một nửa chặng đường; đánh giá mô hình học máy một cách khách quan và khoa học là yếu tố quyết định sự thành công của một dự án. Luận văn đã thiết lập một quy trình thực nghiệm chặt chẽ để so sánh hiệu suất của các phương pháp đề xuất. Toàn bộ thí nghiệm được thực hiện trên nền tảng TensorFlow và Gensim. Để đảm bảo kết quả đánh giá đáng tin cậy và không bị phụ thuộc vào cách chia dữ liệu, kỹ thuật kiểm chứng chéo k-fold (k-fold cross-validation) đã được áp dụng. Các mô hình được đánh giá dựa trên một tập hợp các độ đo tiêu chuẩn trong bài toán phân loại. Các độ đo này không chỉ cho biết tỷ lệ dự đoán đúng chung mà còn phân tích sâu hơn về khả năng của mô hình trong việc nhận diện đúng lớp "tin xấu" và tránh các cảnh báo nhầm. Đây là kiến thức cốt lõi cho bất kỳ ai làm việc trong lĩnh vực khoa học dữ liệu và là phần không thể thiếu trong các tài liệu tham khảo luận văn thạc sĩ.

5.1. Thiết kế thực nghiệm và kỹ thuật kiểm chứng chéo

Thí nghiệm được thiết kế để so sánh ba mô hình: MLP, LSTM, và BI-LSTM-CNN trên cùng một bộ dữ liệu đã được xử lý. Kỹ thuật kiểm chứng chéo với k=5 được sử dụng. Cụ thể, bộ dữ liệu được chia thành 5 phần bằng nhau. Mô hình sẽ được huấn luyện 5 lần, mỗi lần sử dụng 4 phần để huấn luyện và 1 phần còn lại để kiểm thử. Kết quả cuối cùng là trung bình cộng của 5 lần chạy, giúp đánh giá hiệu năng của mô hình một cách ổn định và tổng quát, giảm thiểu yếu tố may rủi do việc phân chia dữ liệu.

5.2. Các độ đo hiệu năng Độ chính xác Accuracy Precision Recall và F1 score

Luận văn sử dụng các độ đo phổ biến để đánh giá mô hình. Độ chính xác (accuracy) đo lường tỷ lệ dự đoán đúng trên tổng số mẫu. Precision (Độ chuẩn) đo lường mức độ tin cậy của các dự đoán "tin xấu" (trong số những tin được gán nhãn xấu, có bao nhiêu tin thực sự là xấu?). Recall (Độ phủ) đo lường khả năng phát hiện của mô hình (trong số tất cả các tin xấu thực tế, mô hình tìm ra được bao nhiêu?). F1-score là trung bình điều hòa của Precision và Recall, cung cấp một cái nhìn cân bằng về hiệu suất của mô hình, đặc biệt hữu ích khi dữ liệu giữa các lớp bị mất cân bằng.

VI. Kết luận Tương lai nghiên cứu khoa học về tin giả

Luận văn thạc sĩ "Xác định tỷ lệ tin xấu trên báo điện tử tiếng Việt bằng phương pháp học sâu" đã thành công trong việc áp dụng các kỹ thuật AI tiên tiến vào một vấn đề thực tiễn và cấp thiết. Công trình đã chứng minh rằng các mô hình học sâu, đặc biệt là các kiến trúc phức hợp như BI-LSTM-CNN, có tiềm năng rất lớn trong việc tự động hóa quá trình phân tích và giám sát nội dung báo chí. Kết quả thực nghiệm cho thấy các phương pháp này vượt trội so với các cách tiếp cận truyền thống, mở ra một hướng đi mới cho việc quản lý thông tin trong kỷ nguyên số. Đây là một luận văn AI mang tính ứng dụng cao, đóng góp một bộ dữ liệu và các kết quả thực nghiệm ban đầu giá trị cho cộng đồng nghiên cứu khoa học về tin giả tại Việt Nam. Nghiên cứu này không chỉ là một tài liệu tham khảo luận văn thạc sĩ hữu ích mà còn là nền tảng cho các phát triển trong tương lai.

6.1. Đóng góp chính và kết quả nổi bật của luận văn

Luận văn đã thực hiện thành công các mục tiêu đề ra. Đóng góp quan trọng nhất là việc xây dựng một quy trình hoàn chỉnh từ thu thập, xử lý dữ liệu đến xây dựng và đánh giá mô hình cho bài toán xác định tin xấu tiếng Việt. Luận văn đã cung cấp một phân tích so sánh chi tiết về hiệu quả của ba kiến trúc học sâu khác nhau, chỉ ra ưu và nhược điểm của từng phương pháp. Kết quả này khẳng định tính khả thi và hiệu quả của việc ứng dụng xử lý ngôn ngữ tự nhiên và học sâu để giải quyết các vấn đề phức tạp trong lĩnh vực truyền thông.

6.2. Hướng phát triển cho đồ án nhận dạng tin tức giả trong tương lai

Hướng nghiên cứu này còn rất nhiều tiềm năng để phát triển. Trong tương lai, các đồ án nhận dạng tin tức giả có thể được cải tiến bằng cách: (1) Mở rộng bộ dữ liệu huấn luyện để bao quát nhiều chủ đề và văn phong báo chí hơn. (2) Ứng dụng các mô hình Transformer tiên tiến hơn như BERT và đặc biệt là PhoBERT (một phiên bản BERT được huấn luyện riêng cho tiếng Việt) để cải thiện khả năng hiểu ngữ cảnh. (3) Phân tích đa phương thức, kết hợp cả nội dung văn bản và hình ảnh để đưa ra quyết định chính xác hơn. (4) Triển khai mô hình thành một hệ thống thời gian thực để hỗ trợ các biên tập viên và nhà quản lý.

05/10/2025

Trích đoạn nội dung tài liệu

Chương 1 – SƠ LƯỢC VỀ HỌC MÁY, HỌC SÂU VÀ BÀI TOÁN XÁC ĐỊNH TỶ LỆ TIN XẤU 1. GIỚI THIỆU BÀI TOÁN XÁC ĐỊNH TỶ LỆ TIN XẤU Để xác định tỷ lệ tin xấu của một trang báo điện tử, bài toán đặt ra đó là làm sao để gán nhãn tốt/xấu cho mỗi bài viết trên trang báo đó. Thông tin trên mỗi bài báo điện tử thường bao gồm cả chữ viết, hình ảnh, âm thanh và video. Trong đó, phần lớn các bài báo điện tử có chứa cả nội dung chữ viết và hình ảnh.

Nội dung video ngày càng trở lên phổ biến nhưng chưa chiếm đa số trong các trang báo điện tử. Trên hầu hết các trang báo điện tử, hình ảnh trong bài viết đều được ghi chú bằng phụ đề miêu tả nội dung bức ảnh. Trong phạm vi thời gian cho phép của luận văn, học viên lựa chọn tập trung nghiên cứu về nội dung văn bản của các bài báo.1: Ví dụ về phụ đề của hình ảnh trên một bài báo điện tử. (Nguồn: Báo điện tử VnExpress) Bài toán tổng quát mà luận văn cần giải quyết đó là bài toán phân loại với một nhãn và hai lớp.

Giải pháp cần đưa ra được nhãn chính xác đối với đầu vào là nội dung dạng 6 text của một bài báo, từ đó tính được tỷ lệ phần trăm tin xấu trong tổng số các bài viết trên một trang báo điện tử. Sai số gây ra bởi mô hình phân loại được chia làm hai trường hợp: một tin xấu được dự đoán là tin tốt (bỏ sót) và một tin tốt được dự đoán là tin xấu (cảnh báo nhầm). Trong nhiều bài toán phân loại, tổn thất gây ra bởi hai loại sai số nói trên là khác nhau. Ví dụ trong bài toán lọc thư rác thì cảnh báo nhầm là trường hợp dự đoán sai nghiêm trọng, gây ra thiệt hại lớn.

Trong khi đó điều ngược lại xảy ra ở bài toán phát hiện xâm nhập, người ta thường cho phép tỷ lệ cảnh báo nhầm cao để có thể giảm xác suất của trường hợp bỏ sót bởi vì bỏ sót hành vi xâm nhập là sai số có tổn thất lớn hơn. Với bài toán xác định tỷ lệ tin xấu, cảnh báo nhầm làm kết quả tổng hợp về tỷ lệ tin xấu của một trang báo điện tử tăng cao, khiến cho nhiều trang báo có khả năng bị vượt ngưỡng tin xấu cho phép hơn. Ngược lại, sai số bỏ sót làm tỷ lệ tin xấu bị hạ thấp, năng một trang báo bất kỳ bị vượt ngưỡng tin xấu sẽ giảm xuống. Sự cân bằng giữa hai loại sai số này có thể được kiểm soát nhờ điều chỉnh tham số của mô hình phân loại, nếu giảm tỷ lệ sai số này thì sẽ làm tăng tỷ lệ kia và ngược lại.

Định nghĩa về tin xấu Tin nói về sự việc, hiện tượng tiêu cực (không phân biệt trong nước hay thế giới), nói về những sự việc mang tính chất phản cảm, không hay, không đẹp, gây tác hại đến môi trường, kinh tế, xã hội… Tin xấu là tin nói về thực trạng đáng buồn của xã hội, khó khăn của nền kinh tế, thiên tai. Ta không thể coi cái xấu và cái tốt là các chủ đề vì khi nói đến cùng một chủ đề, một bài viết có thể phản ánh mặt tốt trong khi bài viết khác có thể phản ánh mặt xấu. Hơn nữa, cái tốt/cái xấu trong nội dung các bài báo mạng về bản chất không phải là quan điểm chủ quan (mang tính cảm xúc) của tác giả bài viết, mà là các thông tin thời sự khách quan. Cái xấu/cái tốt ở đây không phải là ý kiến cá nhân của tác giả bài báo mạng về một sự vật, hiện tượng, mà là một bản tin tường thuật, phản ánh chính xác một sự việc xảy 7 ra trong xã hội.

Tuy vậy, khi nói về một sự việc mang tính tiêu cực, việc sử dụng những từ ngữ mang tính tiêu cực là không thể tránh khỏi. Đây là cơ sở để hình thành luận điểm rằng các mô hình học máy có khả năng phân biệt được cái tốt, cái xấu trong bài viết, đặc biệt là các mô hình học máy có khả năng nhớ được thông tin theo trục tọa độ thời gian (temporal). Luận văn không có mục đích đưa ra định nghĩa chuẩn về tin xấu. Thay vào đó, nghiên cứu này đặt mục tiêu thử nghiệm hiệu quả của các mô hình học máy trong việc phân biệt/phát hiện tin xấu theo một định nghĩa cụ thể.

Phân loại văn bản Phân loại văn bản là bài toán cổ điển và phổ biến trong khoa học máy tính nói chung và trong lĩnh vực học máy nói riêng. Mục tiêu của bài toán là xây dựng mô hình phần mềm để tự động phân loại văn bản thành hai hoặc nhiều lớp. Đây là một tác vụ được coi là dễ đối với con người nhưng khó đối với máy tính bởi sự phức tạp về logic của nó. Độ khó của bài toán phân loại văn bản phụ thuộc trực tiếp vào đối tượng dữ liệu của bài toán.

Trong đó, nội dung cụ thể của văn bản, ngôn ngữ của văn bản, độ dài văn bản, kích thước tập dữ liệu, chất lượng của quá trình gán nhãn… tất cả đều góp phần quyết định độ khó của bài toán phân loại. Bài toán xác định tỷ lệ tin xấu có khối lượng dữ liệu lớn và sẵn có đó là những tin tức đã được xuất bản trên báo điện tử. Độ dài văn bản ở mức trung bình (khoảng 200 - 500 từ), dài hơn so với các ý kiến bình luận (một vài câu) nhưng ngắn hơn so với các văn bản chuyên ngành hoặc tác phẩm văn học (chẳng hạn, trong bài toán phát hiện đạo văn). Các bài báo điện tử thường thông qua quy trình soạn thảo, kiểm duyệt và xuất bản nên nhìn chung đều tuân thủ quy tắc ngữ pháp, sử dụng từ ngữ theo chuẩn mực cao so với những dữ liệu khác như các bài viết, bình luận trên mạng xã hội hoặc các review sản phẩm.

Về ngôn ngữ, Tiếng Việt được xếp vào nhóm có ngữ pháp khó trong các ngôn ngữ trên thế giới. 8 Bài toán phân loại văn bản được giải quyết phổ biến với các phương pháp học máy. Phương pháp này đặt mục tiêu mô phỏng cách mà con người tiếp nhận và xử lý thông tin để đưa ra kết luận về loại của văn bản. Mỗi mô hình học máy sẽ mô phỏng tư duy của con người theo một cơ chế nhất định.

Mô hình này có chức năng tiếp nhận và xử lý văn bản theo cơ chế đã đặt ra, và đưa ra kết luận của nó về loại của văn bản. Để giúp mô hình đưa ra được các dự đoán đúng hơn, nó sẽ được huấn luyện bằng dữ liệu mẫu. Tùy vào cấu tạo bên trong của một mô hình mà khả năng học tập của nó có thể khả nhau. Một mô hình với cơ chế không phù hợp sẽ không có khả năng ghi nhận kiến thức từ dữ liệu.

Mô hình học máy không nhất thiết phải mô phỏng toàn bộ chức năng của não bộ con người, mà chỉ cần mô phỏng cơ chế đủ để nó “hiểu” được dữ liệu của bài toán. Gần đây, học sâu đã trở thành một phương pháp phổ biến để giải quyết bài toán này. Nó đã nổi lên như một kỹ thuật học máy mạnh mẽ, có khả năng học nhiều hình thái biểu diễn khác nhau của dữ liệu hay nói cách khác đó là có thể tự động học được đặc trưng của dữ liệu với thành công vượt trội so với những phương pháp cũ. Cùng với sự thành công của học sâu trong nhiều lĩnh vực ứng dụng khác, học sâu cũng được sử dụng phổ biến trong phân loại văn bản những năm gần đây.

Phân tích cảm xúc Phân tích cảm xúc hoặc khai phá quan điểm là nghiên cứu tính toán về ý kiến của con người, tình cảm, cảm xúc, đánh giá và thái độ đối với các thực thể như sản phẩm, dịch vụ, tổ chức, cá nhân, vấn đề, sự kiện, chủ đề và thuộc tính của họ. Sự khởi đầu và sự phát triển nhanh chóng của lĩnh vực này trùng khớp với các phương tiện truyền thông xã hội trên web. Lần đầu tiên trong lịch sử của ngành khoa học máy tính, chúng ta có một khối lượng lớn quan điểm được ghi lại dưới dạng dữ liệu số. Từ đầu những năm 2000, phân tích cảm xúc đã trở thành một trong những lĩnh vực nghiên cứu được quan tâm nhất trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP).

Nó cũng được nghiên cứu rộng 9 rãi trong các lĩnh vực khác như khai phá dữ liệu, khai phá web, khai phá văn bản và truy xuất thông tin. Các nhà nghiên cứu đang ngày càng trở nên quan tâm hơn trong việc tự động phân tích cảm xúc của công chúng về một chủ đề cụ thể. Thách thức của vấn đề nghiên cứu này đó là phải trích xuất được chiều hướng cảm xúc từ các dữ liệu văn bản. Đây là một bài toán trong lĩnh vực khai phá quan điểm (opinion mining) hoặc phân tích cảm xúc (sentiment analysis).

Những khó khăn cụ thể trong bài toán này bao gồm: (1) tính chủ quan trong việc định nghĩa quan điểm và (2) các hiện tượng ngôn ngữ ảnh hưởng đến tính phân cực của câu từ. Trên thực tế, do tầm quan trọng của nó đối với toàn bộ doanh nghiệp và xã hội, nó đã lan rộng từ khoa học máy tính sang khoa học quản lý và khoa học xã hội như tiếp thị, tài chính, khoa học chính trị, truyền thông, khoa học y tế và thậm chí cả lĩnh vực lịch sử. Sự phổ biến này đến từ thực tế các ý kiến là trung tâm của hầu hết các hoạt động của con người và là nhân tố chính ảnh hưởng đến hành vi của chúng ta. Niềm tin và nhận thức của chúng ta về thực tế, và những lựa chọn chúng ta đưa ra, ở một mức độ đáng kể, dựa trên cách người khác nhìn và đánh giá thế giới.

Vì lý do này, bất cứ khi nào chúng ta cần đưa ra quyết định, chúng ta thường tìm kiếm ý kiến của người khác. Điều này không chỉ đúng với cá nhân mà còn đúng với các tổ chức [11]. SƠ LƯỢC VỀ HỌC MÁY Nền tảng của trí tuệ nhân tạo là khả năng máy móc có thể nhận thức như con người nhờ việc “học” từ các ví dụ. Việc học của một cỗ máy thông minh có nhiều điểm tương đồng với quá trình học của con người.

Để học một khái niệm mới, chúng ta ghi nhớ các đặc điểm của đối tượng và gắn đối tượng đó với một khái niệm mà ta được dạy. Ta hình thành khả năng khái quát khi được học nhiều bảm thể của một khái niệm nào đó.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ