Chương 1: Giới thiệu lý do, mục tiêu, phạm vi và đối tượng nghiên cứu. Từ đó, đưa ra phương pháp giải quyết bài toán trong đề tài và tóm tắt một số kết quả sau khi hoàn thành luận văn. • Chương 2: Tìm hiểu, phân tích các công trình nghiên cứu liên quan đến đề tài. Khái quát hóa các chủ đề liên quan đến mô hình BERT, RoBERTa và PhoBERT.
Lý thuyết cơ sở trước khi áp dụng thuật toán tối ưu và hàm trung bình mũ vào trong luận văn. • Chương 3: Mô tả quy trình thiết kế của ứng dụng gom cụm các bài báo khoa học gồm ba khối chính là tiền xử lý văn bản, phân lớp dữ liệu và đánh giá mô hình. Ngoài ra luận văn cũng trình bày sơ đồ khối dùng để lên ý tưởng thiết kế trang Web cho ứng dụng này. • Chương 4: Mô tả các thông tin về máy tính dùng để huấn luyện mô hình, môi trường phát triển ứng dụng, các tham số dùng để tinh chỉnh mô hình BERT, PhoBERT; và kết quả dự đoán.
• Chương 5: Tóm tắt nội dung, đưa ra kết luận, nhấn mạnh kết quả đạt được và cũng đưa ra hướng phát triển cho luận văn. 4 CHƯƠNG 2: BERT VÀ MỘT SỐ VẤN ĐỀ LIÊN QUAN TRONG VIỆC PHÂN LOẠI 2.1 Các công trình nghiên cứu Để giải quyết một số nội dung liên quan, có các công trình như sau: Công trình Susie X. và cộng sự [1]. Công trình này đã đặt ra 4 thách thức gồm đánh giá dữ liệu danh sách từ khóa tham chiếu, đánh giá các từ khóa được trích xuất, số lượng bài báo khoa học, trích xuất từ khóa theo miền cụ thể.
Bài báo dựa vào bộ dữ liệu gồm 46985 bản ghi trên trang Web of Science Dataset (WOS) với cấu trúc như bảng 2.1 Bảng dữ liệu mẫu của WOS Y1 Y2 Y Domain Area Keywords Abstract Elastic therapeutic The aim of this study was Sport tape; 5 50 122 Medical to analyze stabilometry Injuries Material in athletes. properties; Tension test This study examined the Sport injury influence of range of Senior Athletes; motion of the ankle 5 48 120 Medical Health Postural koints on elderly stability people’s balance ability. Công trình này có các ưu điểm là: • So sánh giữa thuật toán TextRank và các phương pháp trích xuất cụm từ không giám sát. • So sánh giữa thuật toán TextRank và các phương pháp trích xuất cụm từ không giám sát.
• Cung cấp cơ sở nền tảng các cách trích xuất từ khóa. 5 • Xây dựng các phương pháp để mở rộng sang trích xuất từ khóa cho các lĩnh vực như pháp lý, tin tức,. Tuy nhiên đây chỉ là tiền đề tìm giải các giải pháp vượt qua những thách thức được nêu ra trong công trình này. Công trình Thaer và cộng sự (2022) [2] đã phát triển công cụ để phát hiện thư rác, đã được đánh giá về hiệu suất dựa trên bộ dữ liệu của Enron, SpamAssasin, Ling-spam, bộ dữ liệu SMS rác v.2), và đã thu được kết quả F1-Score lần lượt là 98.
Các con số trên là kết quả của việc sử dụng mô hình được pre-training của BERT, cho phép phát hiện thư rác theo nhiều ngữ cảnh khác nhau trong nội dung, từ đó phân loại tốt hơn với nhiều thể loại thư.2 Bảng thống kê kho ngữ liệu công trình phân loại thư rác Corpus Emails/SMSs Spam Ham SMS Spam Collection v.1 5572 747 4825 SpamAssasin 5796 3900 1896 Ling-Spam 2893 481 2412 Enron 33716 16852 16493 Công trình này có ưu điểm là phát hiện được thư rác với tỉ lệ khá cao (trong khoảng từ 98 đến 99%) nhờ vào sử dụng mô hình BERT pre-trained cho phép hệ thống phát hiện thư rác dựa trên nội dung và ngữ cảnh của từng câu trong thư. Bên cạnh đó công trình còn một hạn chế là chưa đưa ra sự so sánh giữa các mô hình như BERT, PhoBERT và SVM. Tuy nhiên, để áp dụng cho tiếng Việt, còn nhiều vấn đề cần phải giải quyết như xử lý từ ngữ, văn phong sao cho phù hợp với ngữ cảnh của từng câu trong phần tóm tắt. Với tiếng Việt, có đề tài Phân loại câu hỏi pháp quy tiếng Việt sử dụng mô hình BERT (2021) [3].
Luận văn này xây dựng hệ thống câu hỏi và trả lời tự động liên quan đến ba lĩnh vực chính: xử lý ngôn ngữ tự nhiên, truy xuất thông tin và khai thác thông tin. Phân loại câu hỏi là quá trình đầu tiên trong kiến trúc chung của hệ thống hỏi đáp, có nhiệm vụ tìm kiếm thông tin cần thiết làm đầu vào cho quá trình 6 xử lý các quá trình sau (trích xuất tài liệu, trích xuất câu, v. Hệ thống hỗ trợ hỏi và trả lời một vấn đề pháp lý cần phải tra cứu, tìm kiếm nhiều văn bản pháp luật có liên quan. Qua đó giúp rút ngắn thời gian, cần phân loại câu hỏi pháp luật theo các lĩnh vực pháp luật.
Luận văn thực hiện phân loại câu hỏi bằng cách tiếp cận học máy có giám sát, cụ thể là sử dụng một số mô hình SVM truyền thống và mô hình BERT. Công trình có các ưu điểm là: • Là tiền đề đánh thực hiện các nghiên cứu tiếp theo với bộ dữ liệu được xây dựng trên nền tảng này. • Đưa ra kết quả thực nghiệm so sánh 3 mô hình SVM, PHOBERT và BERT đa ngôn ngữ thông qua 3 chỉ số đánh giá chất lượng là độ chính xác (Prescision), độ bao phủ (Recall) và độ đo F1 (F1-score). • Kết quả thực nghiệm tốt nhất đạt được khi sử dụng mô hình BERT là 89,47% (độ đo F1), tiếp theo là SVM 87.39% và cuối cùng là PhoBERT 86.
Tuy nhiên, công trình vẫn còn một số hạn chế như sau: • Với một số chủ đề như “Cán bộ, công chức, viên chức”, kết quả dự đoán bằng 0%, chủ đề “Tổ chức cơ quan, chính quyền”,., kết quả dự đoán không chính xác khi sử dụng mô hình BERT. Đối với mô hình SVM và BERT có kết quả khá thấp (khoảng 36%). • Bộ dữ liệu huấn luyện và test còn ít và phân bố không đồng đều dẫn đến kết quả dự đoán thấp. Trong việc phân loại bài báo khoa học có công trình Giải pháp phân loại bài báo khoa học bằng kĩ thuật máy học (2019).
Trong công trình này, tác giả đề xuất các giải pháp để rút trích thông tin và phân loại bài báo dựa 3 kỹ thuật sau như kỹ thuật máy học véc-tơ hồ trợ (SVM), Bayes thơ ngây (Navïe Bayes), và k-láng giềng gần (kNN). Mặc dù tỉ lệ cao (khoảng 91%) với kỹ thuật SVM, nhưng không phải tất cả lĩnh vực đều có sự phân lớp tốt, vấn đề này đặc biệt có liên quan đến việc cùng một bài báo có thể liên quan nhiều lĩnh vực khác nhau dẫn đến sự chồng lấn 7 trong quá trình phân loại bài báo. Đối với các lĩnh vực có tính đặc thù, riêng biệt, tỉ lệ chính xác và độ bao phủ đạt được khá cao. Công trình này có các ưu điểm là: • Đánh giá kết quả dựa trên 3 kỹ thuật phân loại SVM, Navïe Bayes và kNN.
• Kết quả thu được cho thấy kỹ thuật SVM đã đạt được tỉ lệ chính xác trung bình hơn 91%, Navïe Bayes đạt 80.9% và kNN chỉ đạt 76. Bên cạnh đó bộ dữ liệu còn tương đối nhỏ, do vậy để đạt độ chính xác hơn mô hình cần được thực nghiệm trên bộ dữ liệu lớn hơn. Ngoài ra bài báo cũng chưa đưa ra hướng giải quyết cho trường hợp chồng lấn nêu trên.2 Một số phương pháp phân loại câu Với các vấn đề phân loại truyền thống khi có hai chủ đề có thể được giải quyết dễ dàng bằng tác vụ phân loại nhị phân. Nhưng trong nhiều bài toán hiện này, số lượng chủ đề không chỉ giới hạn ở hai chủ đề.
Vì vậy, phương pháp máy học NLP cho phân lớp đa chủ đề (Multilabel Classification) là sự lựa chọn hợp lý. Để hiểu rõ hơn một số phương pháp phân loại từ và phân loại câu, các phần dưới đây sẽ mô tả một số phương pháp như: túi đựng từ (BoW), máy học truyền thống, mạng nơ-ron.1 Túi đựng từ và TF-IDF Quá trình véc-tơ hóa túi đựng từ có thể được sử dụng để đếm tất cả các từ trong tài liệu. Kết quả của một ma trận thưa thớt có kích thước lớn tỉ lệ thuận với số lượng từ. Nhưng nhược điểm chính của việc biểu diễn trong ma trận như vậy là các từ thường xuất hiện trong câu sẽ được biểu diễn trong ma trận, mặc dù chúng không liên quan đến câu đang đề cập.
Hay nói cách khác, đặc trưng của một văn bản sẽ được thể hiện thông qua sự xuất hiện của các từ thuộc văn bản đó trong túi đựng từ. Ví dụ, ta có túi đựng từ trong câu là {“vui”:0, “mừng”:1, “tuyệt vời”:2, “không”:3}. Xét hai câu “Hôm nay tôi không vui nhưng anh ta vui” và “Hôm nay thật tuyệt vời” sẽ được biểu diễn dưới dạng véc-tơ lần lượt như sau [2,0,0,1] và [0,0,1,0]. Trong hầu hết các ngôn ngữ, ta luôn thấy có một số từ ngữ có tần suất xuất hiện thường xuyên, ví dụ như trong tiếng Anh là “is”, “the”, “a” …, đối với tiếng Việt 8 có các từ như “là”, “của” … Chính vì thế, nếu chúng ta chỉ xét theo số lần hiện hữu của từng từ thì việc phân loại văn bản rất khó đạt được kết quả mong đợi, thậm chí là tỉ lệ sai cao, độ chính xác và độ bao phủ cũng sẽ rất thấp.
Vì vậy, một trong các phương pháp được sử dụng phổ biến được gọi là phương pháp thống kê tần suất xuất hiện của từ và nghịch đảo tần suất văn bản (TF-IDF) [5]. Trọng số TF-IDF được sử dụng để đánh giá tầm quan trọng của một từ trong một văn bản. Giá trị cao thể hiện độ quan trọng cao và nó phụ thuộc vào số lần từ xuất hiện trong văn bản nhưng bù lại bởi tần suất của từ đó trong bộ dữ liệu. Một vài biến thể của TF-IDF thường được sử dụng trong các hệ thống tìm kiếm như một công cụ chính để đánh giá và sắp xếp văn bản dựa vào truy vấn của người dùng.
TF-IDF cũng được sử dụng để lọc những từ dừng (Stopwords) trong các bài toán như tóm tắt văn bản và phân loại văn bản. Định dạng véc-tơ của các từ được tạo bằng phương pháp BoW hoặc TF-IDF có thể được sử dụng làm đầu vào cho các mô hình máy học. Dữ liệu đầu vào như vậy cho phép sử dụng các mô hình máy học, chẳng hạn như tác vụ phân loại nhiều chủ đề để phân loại tài liệu hoặc câu thành các lớp mục tiêu khác nhau.2 Nhúng từ (Word Embeddings) Một cách tiếp cận khác để biểu diễn tính năng là sử dụng phương pháp ngữ nghĩa véc-tơ thay vì BOW.