Luận văn thạc sĩ: Phân loại văn bản dựa trên mô hình Transformer trong khoa học máy tính

Luận văn thạc sĩ phân tích máy tính phân loại văn bản dựa trên mô hình tiền xử lý transfomer, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Từ Lãng Phiêu
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Quốc gia TP.HCM
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phân loại văn bản dựa trên mô hình tiền xử lý Transformer
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• Nhiệm vụ luận văn
• Lời cảm ơn
• Tóm tắt luận văn
• Abstract
• Lời cam đoan
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.1.1. Giới thiệu sơ lược
• 1.1.2. Lý do chọn đề tài
• 1.1.3. Mục tiêu, đối tượng phạm vi nghiên cứu
• 1.1.3.1. Mục tiêu
• 1.1.3.2. Đối tượng
• 1.1.3.3. Phạm vi nghiên cứu
• 1.1.4. Ý nghĩa thực tiễn và ý nghĩa khoa học
• 1.1.4.1. Ý nghĩa thực tiễn
• 1.1.4.2. Ý nghĩa khoa học
• 2. CHƯƠNG 2: TỔNG QUAN
• 2.1. Các công trình liên quan
• 2.1.1. Mô hình học nông- shallow learning model
• 2.1.2. Mô hình học sâu - Deep learning model
• 2.1.3. Vấn đề chung còn tồn tại
• 2.1.4. Hướng giải quyết
• 2.1.5. Kết quả dự kiến của đề tài
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT VÀ PHƯƠNG PHÁP THỰC NGHIỆM
• 3.1. Mạng neural nhân tạo - Artificial Neural Network (ANN)
• 3.2. Mạng hồi quy - Recurrent Neural Network (RNN)
• 3.3. Lan truyền ngược theo thời gian - Back Propagation Through Time (BPTT)
• 3.4. Long Short Term Memory (LSTM)
• 3.4.1. Cấu trúc mạng LSTM
• 3.4.2. Cơ chế tập trung(Attention)[2]
• 3.5. Mô hình chuyển đổi-(Transformer)
• 3.5.1. Biểu diễn vị trí (Positional Encoding)
• 3.5.2. Cơ chế tự chú ý trong Transformer (Self-Attention)
• 3.5.2.1. Cách tính Cơ chế tự chú ý trong Transformer
• 3.5.2.2. Cơ chế tập trung đa đầu (Multi Head Attention)
• 3.5.2.3. Residuals Connection và Normalization Layer
• 3.5.3. Đại diện bộ mã hóa hai chiều từ Transformer encoder- Bidirectional Encoder Representation from Transformer (BERT)
• 3.5.3.1. Đại diện bộ mã hóa hai chiều từ Transformer encoder
• 3.5.3.2. Masked Language Modeling
• 3.5.3.3. Phương pháp Fine-tuning BERT
• 3.6. Phương pháp thực nghiệm
• 3.6.1. Phương pháp thu thập dữ liệu
• 3.6.2. Phương pháp xử lý tiếng Việt
• 3.6.3. Phương pháp mô hình học sâu
• 3.6.3.1. Xây dựng mô hình
• 3.6.3.2. Đánh giá mô hình
• 3.6.4. Phương pháp nghiên cứu khoa học
• 3.6.5. Đánh giá kết quả
• 3.7. Mô hình ngôn ngữ - Language Model (LM)
• 3.7.1. Mô hình Word2vec-LSTM
• 3.7.2. Mô hình dựa trên kiến trúc Transformer Encoder
• 4. CHƯƠNG 4: HIỆN THỰC VÀ ĐÁNH GIÁ
• 4.1. Hiện thực đề tài
• 4.1.1. Mô hình bài toán
• 4.1.2. Giải thích chi tiết mô hình
• 4.1.2.1. Mô hình Word2Vec-LSTM
• 4.1.2.2. Mô hình Word2Vec-CNN
• 4.1.2.3. Mô hình tiền xử lý dựa trên Transformer
• 4.1.2.3.1. Tập dữ liệu
• 4.1.2.3.2. Cách đánh giá
• 5. CHƯƠNG 5: KẾT LUẬN VÀ KIẾN NGHỊ HƯỚNG MỞ RỘNG CỦA ĐỀ TÀI
• 5.1. Kết luận
• 5.2. Hướng mở rộng của đề tài
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Phân loại văn bản trong khoa học máy tính

Phân loại văn bản là một lĩnh vực quan trọng trong khoa học máy tính, đặc biệt trong xử lý ngôn ngữ tự nhiên (NLP). Quá trình này liên quan đến việc phân loại tài liệu vào các danh mục dựa trên nội dung của chúng. Các ứng dụng của phân loại văn bản rất đa dạng, từ phân loại email spam đến phân loại nội dung bài báo. Trong bối cảnh hiện đại, việc sử dụng các mô hình học sâu, đặc biệt là mô hình Transformer, đã trở thành xu hướng chính trong việc cải thiện độ chính xác của các hệ thống phân loại văn bản. Việc áp dụng mô hình Transformer như BERT đã mang lại những bước tiến vượt bậc trong lĩnh vực này, cho thấy khả năng xử lý ngôn ngữ tự nhiên với độ chính xác cao hơn so với các phương pháp cổ điển.

1.1. Các mô hình phân loại văn bản

Các mô hình phân loại văn bản truyền thống như Naive Bayes và Support Vector Machine (SVM) thường gặp khó khăn khi xử lý các tập dữ liệu lớn và phức tạp. Những mô hình này có thể đạt được độ chính xác tốt trên các tập dữ liệu nhỏ, nhưng khi đối mặt với lượng dữ liệu lớn, hiệu suất của chúng giảm sút đáng kể. Ngược lại, mô hình học sâu như BERT, dựa trên kiến trúc Transformer, cho phép xử lý song song và cải thiện độ chính xác. BERT đã được chứng minh là một trong những mô hình tốt nhất cho các bài toán phân loại văn bản, nhờ vào khả năng hiểu ngữ nghĩa trong ngữ cảnh tốt hơn so với các mô hình cổ điển. Việc áp dụng các mô hình này không chỉ giúp nâng cao hiệu suất mà còn tiết kiệm thời gian và công sức trong quá trình phân loại.

II. Mô hình Transformer và ứng dụng trong phân loại văn bản

Mô hình Transformer, được giới thiệu lần đầu vào năm 2018, đã cách mạng hóa cách thức xử lý ngôn ngữ tự nhiên. Mô hình này sử dụng cơ chế tự chú ý (self-attention) để xác định mối quan hệ giữa các từ trong câu mà không cần phải xử lý tuần tự như các mô hình trước đó như RNN hay LSTM. Điều này không chỉ giúp tăng tốc độ huấn luyện mà còn cải thiện độ chính xác của các dự đoán. Việc sử dụng BERT (Bidirectional Encoder Representations from Transformers) là một trong những ứng dụng nổi bật của mô hình này. BERT cho phép hiểu ngữ nghĩa của từ trong ngữ cảnh và đã đạt được nhiều thành tựu trong các bài toán phân loại văn bản, từ phân loại cảm xúc đến phân loại chủ đề.

2.1. Cơ chế hoạt động của mô hình Transformer

Cơ chế hoạt động của Transformer dựa trên việc sử dụng các lớp attention để tạo ra các biểu diễn ngữ nghĩa cho từng từ trong câu. Điều này cho phép mô hình nắm bắt được các mối quan hệ phức tạp giữa các từ mà không cần phải dựa vào thứ tự xuất hiện của chúng. Bằng cách này, mô hình ngữ nghĩa có thể tạo ra các vector đặc trưng cho từng từ, từ đó giúp cải thiện độ chính xác của các nhiệm vụ phân loại. Các phương pháp như fine-tuning BERT cho phép áp dụng mô hình này vào các bài toán cụ thể, từ đó tối ưu hóa hiệu suất và độ chính xác trong phân loại văn bản.

III. Đánh giá và ứng dụng thực tiễn

Việc áp dụng các mô hình phân loại văn bản dựa trên mô hình Transformer không chỉ mang lại hiệu quả cao trong nghiên cứu mà còn có ý nghĩa thực tiễn lớn trong các lĩnh vực như thương mại điện tử, truyền thông và giáo dục. Các ứng dụng thực tế bao gồm phân loại nội dung trên các trang web, tự động hóa quy trình xử lý thông tin và nâng cao trải nghiệm người dùng. Hệ thống phân loại tự động giúp tiết kiệm thời gian và công sức cho người biên tập, đồng thời cải thiện khả năng tiếp cận thông tin cho người dùng.

3.1. Lợi ích từ việc tự động hóa phân loại văn bản

Tự động hóa quá trình phân loại văn bản mang lại nhiều lợi ích cho doanh nghiệp và tổ chức. Đầu tiên, nó giúp giảm thiểu thời gian xử lý thông tin, cho phép nhân viên tập trung vào các nhiệm vụ quan trọng hơn. Thứ hai, việc phân loại chính xác giúp nâng cao trải nghiệm người dùng, giúp họ dễ dàng tìm thấy thông tin cần thiết. Cuối cùng, ứng dụng của các mô hình học sâu trong phân loại văn bản không chỉ cải thiện hiệu suất mà còn tạo ra các cơ hội mới trong nghiên cứu và phát triển công nghệ xử lý ngôn ngữ tự nhiên.

Nội dung chính

Tổng quan nghiên cứu

Phân loại văn bản là một bài toán trọng yếu trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), với ứng dụng rộng rãi trong việc phân loại nội dung bài báo điện tử, phát hiện thư rác, và phân tích cảm xúc từ mạng xã hội. Theo ước tính, khối lượng dữ liệu văn bản trên các nền tảng số ngày càng tăng nhanh, đòi hỏi các giải pháp tự động hóa phân loại hiệu quả để giảm tải công việc thủ công và nâng cao độ chính xác. Mục tiêu nghiên cứu của luận văn là xây dựng và đánh giá các mô hình phân loại văn bản dựa trên mô hình tiền xử lý Transformer, đặc biệt là BERT, so sánh với các mô hình học máy truyền thống như Naive Bayes, SVM, và các mô hình học sâu như LSTM, CNN. Nghiên cứu tập trung trên dữ liệu tiếng Việt thu thập từ các trang báo điện tử và mạng xã hội, với phạm vi thời gian thu thập dữ liệu trong năm 2021 tại Việt Nam. Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao độ chính xác phân loại, giảm thời gian xử lý, đồng thời cung cấp nền tảng cho các ứng dụng thực tiễn trong thương mại điện tử, truyền thông và quản lý nội dung số.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai nhóm lý thuyết chính: mô hình học máy truyền thống và mô hình học sâu hiện đại.

• Mô hình học máy truyền thống (Shallow Learning Models): Bao gồm Naive Bayes, Support Vector Machine (SVM), và cây quyết định (Decision Tree). Các mô hình này dựa trên việc trích xuất đặc trưng thủ công từ văn bản và thường phù hợp với tập dữ liệu nhỏ, tuy nhiên hạn chế về độ chính xác và khả năng mở rộng.

• Mô hình học sâu (Deep Learning Models): Tập trung vào mạng nơ-ron nhân tạo (ANN), mạng hồi quy (RNN), mạng LSTM, CNN và đặc biệt là mô hình Transformer. Transformer sử dụng cơ chế self-attention và xử lý song song, giúp cải thiện tốc độ huấn luyện và hiệu quả mô hình. BERT (Bidirectional Encoder Representations from Transformers) là mô hình tiền huấn luyện dựa trên Transformer encoder, được huấn luyện trên tập dữ liệu lớn với kỹ thuật Masked Language Modeling, cho phép hiểu ngữ cảnh hai chiều của từ trong câu.

Các khái niệm chính bao gồm:

• Self-Attention: Cơ chế cho phép mô hình tập trung vào các phần quan trọng trong chuỗi dữ liệu.
• Positional Encoding: Cung cấp thông tin vị trí từ trong câu cho mô hình Transformer.
• Fine-tuning BERT: Điều chỉnh mô hình BERT cho bài toán phân loại văn bản cụ thể bằng cách thêm lớp phân loại trên token [CLS].

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ các trang báo điện tử phổ biến tại Việt Nam như Báo Mới, VnExpress, cùng với dữ liệu từ Wikipedia tiếng Việt. Tổng số mẫu dữ liệu gồm khoảng 20.000 mẫu huấn luyện, 12.000 mẫu xác nhận và 20.000 mẫu kiểm thử. Dữ liệu được xử lý tiền xử lý bao gồm làm sạch, tách từ bằng thư viện Pyvi, loại bỏ ký tự đặc biệt và stop words.

Phương pháp phân tích sử dụng các mô hình học sâu gồm:

• Mô hình Word2Vec kết hợp LSTM và CNN để trích xuất đặc trưng và phân loại.
• Mô hình dựa trên kiến trúc Transformer encoder (BERT) với kỹ thuật fine-tuning.

Quá trình nghiên cứu được thực hiện từ tháng 2 đến tháng 6 năm 2021, với việc huấn luyện mô hình trên nền tảng Keras và TensorFlow, sử dụng GPU để tăng tốc độ xử lý. Đánh giá mô hình dựa trên các chỉ số Precision, Recall, F1-score và Accuracy, áp dụng phương pháp phân chia dữ liệu 80% huấn luyện và 20% kiểm thử.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất mô hình BERT vượt trội: Mô hình BERT đạt độ chính xác (Precision) 0.98 trên tập kiểm thử, cao hơn đáng kể so với Word2Vec-LSTM (0.59) và Word2Vec-CNN (0.4).
2. Khả năng xử lý ngữ cảnh hai chiều: BERT với cơ chế self-attention và positional encoding giúp mô hình hiểu sâu sắc hơn về ngữ cảnh, cải thiện đáng kể độ chính xác phân loại.
3. Thời gian huấn luyện và tài nguyên: Mô hình BERT yêu cầu thời gian huấn luyện lâu hơn và cần cấu hình máy tính cao hơn so với các mô hình truyền thống và LSTM, tuy nhiên kết quả đạt được bù đắp cho chi phí này.
4. Ứng dụng thực tế: Hệ thống phân loại tự động giúp tăng năng suất công việc, giảm thời gian phân loại thủ công, đồng thời nâng cao trải nghiệm người dùng trên các trang thương mại điện tử và báo điện tử.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu quả vượt trội của BERT là do mô hình được tiền huấn luyện trên tập dữ liệu lớn, sử dụng kiến trúc Transformer cho phép xử lý song song và chú ý đến toàn bộ ngữ cảnh trong câu. So với các mô hình học máy truyền thống như Naive Bayes hay SVM, BERT không cần trích xuất đặc trưng thủ công mà học trực tiếp từ dữ liệu thô, giúp giảm sai số và tăng khả năng tổng quát hóa. Kết quả này phù hợp với các nghiên cứu quốc tế về NLP, đồng thời khẳng định tính khả thi của việc áp dụng mô hình Transformer cho tiếng Việt. Tuy nhiên, việc huấn luyện mô hình đòi hỏi tài nguyên tính toán lớn và thời gian dài, là thách thức cần được giải quyết trong các nghiên cứu tiếp theo. Biểu đồ so sánh độ chính xác giữa các mô hình sẽ minh họa rõ nét sự khác biệt về hiệu suất.

Đề xuất và khuyến nghị

1. Tối ưu hóa mô hình BERT: Áp dụng các kỹ thuật giảm kích thước mô hình như DistilBERT hoặc pruning để giảm thời gian huấn luyện và yêu cầu tài nguyên, hướng tới triển khai trên các thiết bị có cấu hình thấp hơn.
2. Mở rộng tập dữ liệu huấn luyện: Thu thập thêm dữ liệu đa dạng từ nhiều nguồn khác nhau, bao gồm các từ ngữ địa phương và ngôn ngữ tuổi teen để cải thiện khả năng nhận diện và phân loại chính xác hơn.
3. Phát triển giao diện người dùng thân thiện: Xây dựng ứng dụng web hoặc mobile tích hợp mô hình phân loại để hỗ trợ biên tập viên và người dùng cuối trong việc phân loại và tìm kiếm nội dung nhanh chóng.
4. Nghiên cứu các mô hình tiên tiến khác: Thử nghiệm và so sánh các mô hình mới như XLNet, GPT-2 để tìm ra giải pháp tối ưu hơn cho bài toán phân loại văn bản tiếng Việt.
5. Đào tạo và chuyển giao công nghệ: Tổ chức các khóa đào tạo cho các doanh nghiệp và tổ chức sử dụng mô hình phân loại tự động nhằm nâng cao hiệu quả quản lý nội dung số.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, NLP: Nghiên cứu các mô hình học sâu, đặc biệt là ứng dụng Transformer trong xử lý ngôn ngữ tiếng Việt.
2. Doanh nghiệp thương mại điện tử và truyền thông số: Áp dụng mô hình phân loại tự động để quản lý nội dung, quảng cáo và cải thiện trải nghiệm người dùng.
3. Các tổ chức báo chí và biên tập viên: Tự động hóa quá trình phân loại bài viết, giảm tải công việc thủ công và tăng tốc độ xử lý tin tức.
4. Nhà phát triển phần mềm và kỹ sư AI: Tham khảo phương pháp xây dựng, huấn luyện và đánh giá mô hình học sâu cho bài toán phân loại văn bản, từ đó phát triển các ứng dụng thực tế.

Câu hỏi thường gặp

1. Mô hình BERT có ưu điểm gì so với các mô hình truyền thống?
   BERT sử dụng kiến trúc Transformer với cơ chế self-attention, cho phép hiểu ngữ cảnh hai chiều của từ trong câu, từ đó nâng cao độ chính xác phân loại so với các mô hình như Naive Bayes hay SVM.

2. Tại sao mô hình học sâu cần nhiều dữ liệu hơn mô hình học máy truyền thống?
   Mô hình học sâu học trực tiếp từ dữ liệu thô và các đặc trưng phức tạp, do đó cần lượng lớn dữ liệu để tránh overfitting và đảm bảo khả năng tổng quát hóa.

3. Làm thế nào để xử lý đặc thù ngôn ngữ tiếng Việt trong phân loại văn bản?
   Sử dụng các công cụ tách từ chuyên biệt như Pyvi, kết hợp kỹ thuật tiền xử lý như loại bỏ ký tự đặc biệt, stop words và áp dụng mô hình tiền huấn luyện phù hợp với tiếng Việt như phoBERT.

4. Mô hình có thể áp dụng cho các loại văn bản nào?
   Mô hình có thể áp dụng cho nhiều loại văn bản như bài báo điện tử, email, bình luận mạng xã hội, tin nhắn quảng cáo, với khả năng phân loại đa nhãn.

5. Thời gian huấn luyện mô hình BERT mất bao lâu?
   Thời gian huấn luyện phụ thuộc vào cấu hình phần cứng và kích thước dữ liệu, thường kéo dài từ vài giờ đến vài ngày trên GPU mạnh, do đó cần tối ưu hóa mô hình để giảm chi phí tính toán.

Kết luận

• Luận văn đã xây dựng thành công mô hình phân loại văn bản dựa trên kiến trúc Transformer, cụ thể là BERT, với độ chính xác đạt 98% trên tập kiểm thử.
• So sánh với các mô hình Word2Vec-LSTM và Word2Vec-CNN, BERT cho hiệu suất vượt trội nhờ khả năng xử lý ngữ cảnh hai chiều và cơ chế self-attention.
• Nghiên cứu đã triển khai quy trình tiền xử lý dữ liệu tiếng Việt hiệu quả, kết hợp các công cụ tách từ và chuẩn hóa dữ liệu.
• Hệ thống phân loại tự động giúp giảm thiểu công sức thủ công, tăng năng suất và có thể ứng dụng rộng rãi trong thương mại điện tử, báo chí và truyền thông số.
• Hướng phát triển tiếp theo bao gồm tối ưu hóa mô hình, mở rộng dữ liệu, phát triển giao diện ứng dụng và thử nghiệm các mô hình học sâu tiên tiến hơn.

Để tiếp tục phát triển, đề nghị các nhà nghiên cứu và doanh nghiệp quan tâm áp dụng mô hình này vào thực tế, đồng thời tham gia các dự án mở rộng nhằm nâng cao hiệu quả và tính ứng dụng của công nghệ phân loại văn bản hiện đại.

Trích đoạn nội dung tài liệu

MỞ ĐẦU làm bộ nhận dạng cơ sở cho ứng dụng hỗ trợ người dùng sau này như phân loại thư spam, lọc các nhãn thuộc chủ đề khác nhau như chủ đề về từ thiện, chủ đề chăm sóc sắc đẹp, quảng cáo, tin tức .2 Đối tượng Đối tượng nghiên cứu của đề tài là các chủ đề liên quan tới ngôn ngữ Tiếng Việt, Các bài viết hoặc các bình luận từ các nguồn internet trên trang các web. Đặc thù của ngôn ngữ tiếng việt gồm từ tạo thành bởi mộtcâu và có sự đa dạng về nghĩa. Với một từ ngữ trong câu trong mỗi ngữ cảnh khác nhau thì chúng mang nghĩa khác nhau.3 Phạm vi nghiên cứu Phạm vi nghiên cứu của đề tài này của chúng tôi dùng phương pháp học máy trong đó cụ thể là các mô hình mạng nơ ron học sâu (deep neural network), chúng tôi sẽ dùng kết quả tiến tiến của mô hình học sâu để phân loại văn bản một cách tương đối chính xác và kết quả của bài toán thực hiện được so sánh với các mô hình học máy khác nhằm đánh giá mô hình nào tốt hơn để lựa chọn phù hợp với mỗi bài toán trong thực tiễn. • Nguồn dữ liệu chủ yếu lấy từ các trang web trên internet, các bài báo mạng, các trang du lịch,.

• Từ, câu nghĩa của tiếng việt phức tạp nên ảnh hưởng kết quả huấn luyện. • Các từ ngữ địa phương hay các từ có nghĩa xu hướng tuổi teen cũng có xuất hiện trong tập dữ liệu nên có thể gây ra xác sụất dự đoán của mô hình giảm đi. • Mặc dù có độ chính xác tốt, nhưng thời gian training mô hình chạy hơi lâu.3 Ý nghĩa thực tiễn và ý nghĩa khoa học 1.1 Ý nghĩa thực tiễn Tốc độ phát triển về thương mại điện tử đòi hỏi người quản lý của một trang web mà có khối lượng lớn nội dung cần phải phân loại sắp xếp chủ đề một cách nhanh chóng và hợp lý, việc này sẽ giúp người đọc dễ dàng tiếp cận nội dụng mình muốn đọc hoặc tìm kiếm một cách nhanh chóng. Kết quả nghiên cứu trong luận văn này có thể áp dụng để xây dựng một ứng dụng thực tế giúp cho các doanh nghiệp tiết kiệm được thời gian xử lý công việc trong phân loại nội dung theo chủ đề, lợi ích chúng ta đạt được như sau: • Quảng cáo sản phẩm, dịch vụ,.

của tổ chức, công ty thương mại nào đó. • Nhằm giúp khách hàng hoặc người đọc chú ý đến những chi tiết cần quan tâm tới đối tượng mà bản thân cần thiết để xem xét. • Loại bỏ được nội dung không có ích cho người dùng. • Tăng thêm tiện ích cho các trang thương mại điện tử, góp phần tăng tính chuyên nghiệp của trang web và thu hút người được người đọc, hoặc khách hàng sử dụng dịch vụ.

Vì vậy mục đích xây dựng đề tài giúp người dùng phát hiện những thể loại nào có lợi, cần thiết để người dùng quan tâm (ví dụ: khuyến mại sản phẩm, giới thiệu mặt hàng mới, tin tức mới liên quan: Từ thiện, y tế. ) và thể loại nào không có lợi cho người dùng sẽ được bỏ qua.2 Ý nghĩa khoa học Đối với ý nghĩa về mặt khoa học, luận văn đóng góp những nội dung như sau: • Củng cố kiến thức phương pháp học sâu cho hướng nghiên cứu Xử lý ngôn ngữ tự nhiên • Xu hướng phát triển bài toán phân loại văn bản trong và ngoài nước. • Thử nghiệm và so sánh các loại mô hình học máy bằng phương pháp học sâu khác nhau. • Đánh giá và phân tích kết quả và hướng phát triển tiếp theo của đề tài.1 Các công trình liên quan 2.1 Mô hình học nông- shallow learning model • A Survey on Text Classification: From Shallow to Deep Learning[3] Trong bài báo này tác giả đề cập đến việc phân loại dữ liệu lớn bằng thủ công sẽ tốn nhiều thời gian không đảm bảo chính xác do yếu tố từ con người như mệt mỏi hoặc do chuyên môn.

Vì vậy phân loại văn bản bằng học máy sẽ mang lại kết quả đáng tin cậy và ít chủ quan hơn nữa việc này giúp nâng cao hiệu quả truy xuất thông tin và giảm bớt quá tải thông tin bằng cách xác định vị trí cần thiết.1: Lưu đồ phân loại văn bản bằng mô hình cổ điển và học sâu Theo bài báo mô hình học nông - Shallow Learning Models bao gồm Naive Bayes, k-NN, SVM tác giả có thống kê các phương pháp phân loại bao gồm các ứng dụng ứng dụng trong bảng này bao gồm phân tích cảm xúc, gán nhãn theo chủ đề, phân loại tin tức, trả lời câu hỏi, phân loại hành động hội thoại, suy luận ngôn ngữ tự nhiên, phân loại quan hệ và dự đoán sự kiện. Mô hình học nông được huấn luyện trong việc phân loại văn bản dựa trên đặc điểm văn bản khác nhau được trích xuất từ văn bản thô. Kỹ thuật tính năng là công việc khó khăn. Trước khi huấn luyện lại bộ phân loại, chúng ta cần thu thập kiến thức hoặc kinh nghiệm để trích xuất các tính năng từ văn bản gốc.

Phương pháp này hướng tới các bộ dữ liệu nhỏ, thì mô hình này đạt hiệu suất cao hơn so với mô hình học sâu. Các phương pháp phân loại bằng thuật toán cổ điển thường bị hạn chế, mô hình học sâu khác với mô hình học nông là tích hợp kỹ thuật tính năng vào quy trình điều chỉnh mô hình bằng cách học một tập hợp các phép biến đổi phi tuyến để anh xạ trực tiếp các đối tượng đến kết quả đầu ra. Tác giả so sánh kiến trúc giữa ELMo, OpenAI GPT và BERT. ELMo là một phương pháp dựa trên tính năng sử dụng LSTM, và BERT và OpenAI GPT là các phương pháp tinh chỉnh sử dụng Transformer.

Hơn nữa, ELMo và BERT là mô hình huấn luyện hai chiều Do đó, mô hình dựa trên kiến trúc Transformer nhận được kết quả tốt hơn so với mô hình truyền thống khác. • Text Categorization with Support Vector Machines: Learning with Many Relevant Fea- tures[4] 5 TỔNG QUAN Trong bài báo này tác giả Joachims, lần đầu tiên, sử dụng phương pháp SVM để phân loại văn bản biểu thị mỗi văn bản dưới dạng vectơ. Bài báo này giới thiệu phương pháp SVM để phân loại văn bản. Tác giả đề cập tới khả năng tổng quát hóa tốt trong không gian đặc trưng có chiều cao, SVM loại bỏ nhu cầu lựa chọn đặc trưng, làm cho việc áp dụng phân loại văn bản dễ dàng hơn đáng kể.

Tác giả cho thấy phương pháp SVM so với các phương pháp khác là có hiệu suất tốt trong tất cả các thử nghiệm, Hơn nữa, SVM không yêu cầu bất kỳ điều chỉnh thông số nào, vì chúng có thể tự động cài đặt thông số tốt. Tuy nhiên trong bài báo chưa thể hiện việc tính xác suất của một thành viên trong một nhóm để phân loại một cách chính xác hơn mà chỉ thể hiện việc phân lớp của SVM chỉ là việc cố gắng tách các đối tượng vào hai lớp được phân tách bởi siêu phẳng SVM. • A new feature selection score for multinomial naive Bayes text classification based on KL- divergence[5] Trong bài báo này, tác giả đã sử dụng Multinomial Naive Bayes để phân loại nội dung văn bản tác giả nghiên cứu cả 2 phương pháp KL (Kullback-Leibler divergence), và dKL (là biến thể KL) Thử nghiệm với 20 nhóm tin được thực hiện với xác thực chéo 5 lần, sử dụng 80% dữ liệu để huấn luyện và 20% để kiểm tra kết quả dKL đều đạt giá trị cao hơn một chút đối với KL hoạt động tốt nhất ở 20000 từ với 90, 1% recall trung bình vi mô, so với 89, 3% đối với thông tin lẫn nhau. So sánh độ chính xác (accuracy) của phân loại dKL vượt trội hơn đặc biệt là đối với kích thước từ vựng nhỏ hơn.

• Nearest neighbor pattern classification[6] Là thuật toán đi tìm đầu ra của một điểm dữ liệu mới bằng cách chỉ dựa trên thông tin của K điểm dữ liệu gần nhất trong tập huấn luyện. Thuật toán này được xếp vào loại lazy learning, không học một điều gì từ dữ liệu huấn luyện mọi tính toán được thực hiện khi nó cần dự đoán kết quả của dữ liệu mới. Tác giả cho rằng việc tính khoảng cách tới từng điểm dữ liệu trong tập huấn luyện tốn kém rất nhiều thời gian cho tập dữ liệu, đặc biệt là với các cơ sở dữ liệu có số chiều lớn và có nhiều điểm dữ liệu. • A decision-tree-based symbolic rule induction system for text categorization [7] Trong bài báo này, tác giả mô tả một quy trình, thay vì cắt tỉa cây đã phát triển đầy đủ, ước tính lại xác suất của mọi nút lá bằng cách lấy trung bình các ước lượng xác suất dọc theo đường dẫn từ nút gốc đến nút lá này.

Tác giả cho thấy so với thuật toán tiêu chuẩn, không chỉ có thể nhanh hơn hàng trăm lần trên một số dữ liệu văn bản mà còn có thể xử lý các tập hợp tính năng lớn hơn, do đó dẫn đến các quy tắc chính xác hơn. Trong bài báo này tác giả so sánh cách phân loại văn bản bằng thuật toán tiêu chuẩn (ID3, C4.5) trong phương pháp này gồm ba ý chính: – Tận dụng cấu trúc thưa mà thuật toán tiêu chuẩn không có. – Sử dụng entropy biến đổi làm thước đo độ hỗn tạp. – Sử dụng làm mịn để cắt tỉa.

Tuy nhiên, với dữ liệu quá lớn phức tạp và nhiều biến với thuộc tính khác nhau thì sẽ tốn nhiều thời gian cho sự tính toán và kết quả phân loại sẽ không chính xác khi áp dụng cho dữ liệu kiểm tra (test) và dữ liệu mới.2 Mô hình học sâu - Deep learning model • Actionable and Political Text Classification using Word Embeddings and LSTM [8] Trong bài báo này, tác giả đã áp dụng mô hình nhúng từ (Word embedding) và mạng nơ-ron với bộ nhớ ngắn dài (Long Short-Term Memory) cho bài toán phân loại văn bản về chủ đề hành động và chính trị. Mô hình đầu tiên là mô hình phân loại cho văn bản về chủ đề hoạt động: xem xét trong ngữ cảnh hỗ trợ khách hàng trên phương tiện truyền thống xã hội, nơi phản hồi ý kiến qua các bài đăng của khách hàng trên nền tảng tin nhắn khách hàng trên facebook, Twitter và Google+. Đại lý phản hồi cho khách hàng là hành động được gán nhãn là 1 hoặc không hành động được gán nhã là 0, kích thước tin nhắn từ 270 nghìn đến 8,5 triệu tin nhắn. Trong thí nghiệm, với mỗi ngôn ngữ tác giả phân làm hai loại, kích thước từ vững nhỏ là 20.000 từ và kích thước từ vững lớn là 100.