Đặt vấn đề Hầu hết mọi hoạt động của con người hiện nay đều phải diễn ra thông qua hình thức online do chịu sự ảnh hưởng của đại dịch Covid-19. Ngoài việc học tại trường, mọi sinh viên — đặt biệt là sinh viên năm cuối — đều có nhu cầu muốn đọc khóa luận tốt nghiệp. Tuy nhiên, do điều kiện không cho phép nên việc tiếp cận đến các khóa luận là rất khó khăn. Trang web thư viện của trường cũng có đăng tải khóa luận nhưng đa số khóa luận đều khá cũ, trang web khó thao tác và khả năng tìm kiếm cũng còn hạn ché.
Những khóa luận có thể kiếm được trên mạng cũng rất hạn chế và những chủ đề cũng không còn mới nữa. Điều này dẫn đến nhu cầu tham khảo những đề tài khóa luận mới nhất của các sinh viên hiện đang và sẽ làm khóa luận. Ứng dung Theses Share ra đời dé sinh viên UIT có thé chia sẻ khóa luận của mình cho mọi sinh viên tham khảo. Việc có nhiều nguồn tài liệu dé tham khảo sẽ giúp những đề tài của các khóa sau ngày càng đa dang hơn và chin chu hơn.
Ngoài việc chia sẻ, ứng dụng còn chú trọng vào việc sử dung máy học dé gán nhãn các đề tài, giúp sinh viên tìm kiếm khóa luận theo những chủ đề mình mong muốn một cách dễ dàng hơn. Mục tiêu Đê tài này với nhăm tới những mục tiêu cụ thê như sau: e Xây dựng một ứng dụng web cho phép mọi sinh viên UIT chia sẻ luận van cũng như đọc luận văn của nhau. Trang web sẽ cho phép mọi đối tượng tham khảo, giúp mọi sinh viên đều có thể được đọc những luận văn mới nhất cũng như hiểu được các chủ đề luận văn xu hướng hiện nay. © Đề tài này sẽ là một giải pháp tuyệt vời dé sinh viên có thể tham khảo luận văn trong thời điểm hạn chế di chuyên và tiếp xúc khi dai dịch Covid-19 van đang diễn ra.
© Đề tài giải quyết việc phân loại các khóa luận, đây là điều mà website thư viện trường chưa ứng dụng. Đối tượng và phạm vi nghiên cứu 1. Đối tượng Khóa luận này hướng đến nghiên cứu những đối tượng sau: e Xây dựng nén tảng lưu trữ và chia sẻ luận văn của sinh viên UIT. Nền tang phân quyền chức năng giữa người dùng ấn danh và người dùng đăng ký.
e Nghiên cứu hệ thống tự động gán nhãn dựa theo tiêu đề và nội dung văn bản. e Tích hợp hệ thống vào nền tảng dé tối ưu việc phân loại tag. Phạm vi nghiên cứu se Nền tảng sẽ có những chức năng tìm kiếm, lọc, đọc luận văn cho người dùng. Cung cấp thêm chức năng đánh dấu và chức năng xóa, sửa luận văn đã đăng tải cho người dùng đăng ký.
e Tìm hiểu về hệ thống tự động gán nhãn dựa trên tiêu đề và nội dung luận văn. Đầu vào là luận văn được người dùng đăng tải và đầu ra là các nhãn liên quan tới nội dung luận văn. Phương pháp thực hiện e Áp dụng học có giám sát. e Tim hiêu những model liên quan về lĩnh vực xử lí ngôn ngữ tự nhiên.
e Chọn lọc và chỉnh sửa các thuật toán dé có tính chính xác cao nhất. e Tích hợp model vào ứng dung web. e_ Đánh giá kết quả. Kết quả mong đợi e Xây dựng ứng dụng web hoàn chỉnh, giúp cho sinh viên đóng góp luận văn cho những thế hệ sinh viên trẻ và những người thích nghiên cứu.
e_ Tích hợp hệ thống tự động gán nhãn giúp sinh viên dé dàng tìm kiếm thé loại luận văn mình đang nghiên cứu. Công trình nghiên cứu trước đó 1. Đề tài nghiên cứu của trường đại học Budi Luhur ở Indonesia Đề tài [17] là công trình nghiên cứu phân loại khóa luận của trường đại học Budi Luhur ở Indonesia của tác giả Achmad Solichin. Đề tài sử dụng ba phương thức phân loại là Decision Tree, Naive Bayes, k-Nearest Neighbors (KNN) và đạt được sự đánh giá cao với phương thức kNN.
78,20% 80,32% 96,49% Tác gia đã có một model có các diém sô với tỉ lệ phân trăm cao. Tuy nhiên, bài toán này thuộc phân loại binary nghĩa là đâu vào là I khóa luận và đâu ra sẽ là đạt hay không đạt, đây không phải là định hướng bài toán của nhóm. Đề tài nghiên cứu của trường đại học Bumigora ở Malaysia Đề tài [23] của nhóm tác giả Hairani Hairani của trưởng đại học Bumigora ở Malaysia. Họ sử dụng naive Bayes với trọng số TF-IDF và không có trọng số TF-IDF và có kết quả như sau: 81,74% 86,1% 80,15% Bang 1.3: Bảng đánh gia model của trường đại hoc Bumigora không có TF-IDF 88,69% 89,76% 90,49% Đây là một bài toán có thê là gần nhất với bài toán của nhóm.
Tuy nhiên, hướng đi của đề tài này là những khóa luận tiếng Anh và nhóm không thể xác định được phân loại theo multi-label hay multi-class. Nhưng nhóm nghĩ rằng với độ chính xác (accuracy_score) cao như vậy khả năng cao, nhóm tác gia sẽ phân loại khóa luận theo multi-class, nghĩa là mỗi khóa luận chỉ có 1 topic mà thôi. Đề tài nghiên cứu của trường đại học UIT Đề tài [24] của nhóm tác giả Hieu Trung Tran của trường UIT, nhóm tác giả nhìn thấy vấn đề về các tin tức tuyên dụng rất nhiều và họ muốn phân loại theo nhiều nhãn (multi-label) bằng 2 ngôn ngữ tiếng Anh và tiếng Việt để ứng cử viên dễ dàng tìm được công việc phù hợp và nhà tuyển dụng cũng tiết kiệm được nhiều thời gian hơn. Đề tài sử dụng multi-label cộng với Phobert đúng với hướng nghiên cứu của nhóm và bên cạnh đó nhóm tác giả sử dụng rất nhiều model để có sự so sánh và lựa chọn model phù hợp nhất bao gồm W2V, fastText, Bert_Base, ELMO and MULTI_WC_F_E_B, Pho2WV, BERT (m-BERT), XLM-R, DistIBERT, và PhoBERT.
Type Pre-trained models Fi-srore TA) ELMO 5765 | 41.44 Transformer models XLM-R 61.1: Đánh giá các model trong dé tài của trường đại học UIT Hình 1.2: Số đánh giá đúng/sai lượng label trong đề tài của trường đại học UIT Model hiện tại của họ sẽ không đoán chính xác những tin tức tuyên dung nào nhiều hơn 5 nhãn. Và nhóm tác giả lựa chọn F1-score dé so sánh vì bài toán multi-label thường accuracy_score sẽ không cao và hoàn toàn không đúng trong nhiều hoàn cảnh. Với dataset bao gồm xấp sỉ 22000 tin tức tuyên dụng thì, model của họ tốt nhất là BERT (62,2%) cho tiếng Anh và PhoBert (61,29%) cho tiếng Việt. Day là một con số trên mức trung bình nhưng vẫn chưa phải là cao.
Với các công trình nghiên cứu liên quan trên, nhóm đã quyết định chọn PhoBert — một biến thé tiếng Việt của BERT (một model SOTA ở thời điểm hiện tại trong lĩnh vực NLP) để ứng dụng cho bài toán phân loại khóa luận theo nhiều nhãn. Đóng góp của nhóm trong khóa luận này chính là một bộ dữ liệu gồm 700 khóa luận đã được gán nhãn và áp dụng mô hình có kết quả tốt nhất cho bài toán tự động gán nhãn. CƠ SỞ LÝ THUYET Trong chương này, nhóm sẽ trình bày về cơ sở lý thuyết, các khái niệm cũng như ưu điểm của những công nghệ đã được nhóm sử dụng trong đề tài. Machine Learning Machine learning (ML) hay máy học là một nhánh của trí tuệ nhân tạo (AI), nó là một lĩnh vực nghiên cứu cho phép máy tính có khả năng cải thiện chính bản thân chúng dựa trên dữ liệu mẫu (training data) hoặc dựa vào kinh nghiệm (những gì đã được học).
Machine learning có thể tự dự đoán hoặc đưa ra quyết định mà không cần được lập trình cụ thể. Bài toán machine learning thường được chia làm hai loại là dự đoán (prediction) và phân loại (classification). Các bài toán dự đoán như dự đoán giá nhà, giá xe. Các bài toán phân loại như nhận diện chữ viết tay, nhận diện đồ vật.
[7] Machine Learning Workflow ARTICLE AT KHIEMLE.1: Workflow của machine learning 2. NLP Xu lý ngôn ngữ tự nhiên là một nhánh cua trí tuệ nhân tao, tập trung vào việc nghiên cứu sự tương tác giữa máy tính và ngôn ngữ tự nhiên của con người, dưới dạng tiêng nói (speech) hoặc văn bản (text). Mục tiêu của lĩnh vực nay là giúp máy tính hiéu và thực hiện hiệu quả những nhiệm vụ liên quan đên ngôn ngữ của con người như: tương tác giữa người va máy, cải thiện hiệu qua giao tiép giữa con người với con người, hoặc đơn giản là nâng cao hiệu quả xử lý văn bản và lời nói. [16] Các ứng dụng cơ bản của NLP: 1.
Chế tạo các hệ thống Máy dịch, ví dụ như Google translation. Xử lý văn bản và ngôn ngữ. SFAYmN Tìm kiếm thông tin. Trích xuất thông tin.
Phan loai van ban. là Data mining, web mining. Và nhóm sử dụng NLP cho ứng dụng phân loại văn bản Multi-class Classifier K>2 Binary (Default) Classifier Multi-label C=1 Classifier K=2 C>0 C=1 K = Total number of classes in the problem statement € = Number of classes an item maybe assigned to Hinh 2.2: Cac dang bai toan phan loai 2. Ngữ cảnh (Contextual) và vai tro trong NLP Ngữ cảnh trong câu có một sự ảnh hưởng rất lớn trong việc giải thích ý nghĩa của từ.
Hiểu được vai trò mau chốt đó, các thuật toán NLP SOTA đều cố gắng đưa ngữ cảnh vào mô hình nhắm tạo ra sự đột phá và cải tiên. Phân cấp mức độ phát triển của các phương pháp embedding từ trong NLP có thé bao gôm các nhóm: Non-context (không bối cảnh): Là các thuật toán không tồn tại bối cảnh trong biểu diễn từ. Đó là các thuật toán NLP đời đầu như “word2vec, GLoVe, fasttext”. Chúng ta chỉ có duy nhất một biéu diễn véc tơ cho mỗi một từ mà không thay đối theo bối cảnh.
Ví dụ, ta có 2 câu sau: e Câu A: Đơn vi tiền tệ của Việt Nam là [đồng] e_ Câu B: Tôi [đồng] ý với ý kiến của anh Thi từ “đồng” sẽ mang 2 ý nghĩa khác nhau nên phải có hai biểu diễn từ riêng biệt. Các thuật toán non-context đã không đáp ứng được sự đa dạng về ngữ nghĩa của từ trong NLP. Uni-directional (một chiều): Là các thuật toán đã bắt đầu xuất hiện bối cảnh của từ. Các kết quả biểu diễn từ đã có bối cảnh nhưng chỉ được giải thích bởi một chiều từ trái qua phải hoặc từ phải qua trái.
Ví dụ: e Câu C: Hôm nay tôi mang 200 ty [gửi] ở ngân hàng. e Câu D: Hôm nay tôi mang 200 ty [gui]. Nhu vậy véc tơ biểu diễn của từ “gửi” được xác định thông qua các từ liền trước với nó. Nêu chỉ dựa vào các từ liên trước “Hôm nay tôi mang 200 tỷ” thì ta có thê nghĩ từ phù hợp ở vi trí hiện tại là cho vay, mua, thanh toán,.
ELMo là một ví dụ cho phương pháp một chiều.