Chương 1. _ Lý do chọn để tài. Đối tượng nghiên CU .essssasssesseseesesneieeieeiennsissieeiesesnsiaenatataetaessensees Phạm vi nghiên CỨU.s‹ce+-ce vn Chương 2.rrrrrrrr Phân tích và đánh giá các hướng nghiên cứu trước đó. Phương pháp sinh câu.
Phân loại câu hỏi 2. Những van đề còn tôn tại. Những nội dung nghiên Cứu.eeccceeeeceeeeeeeeeeeeeeeeesesesesesssrsraosrooorO Chương 3. NGHIÊN CỨU LÝ THUYẾT VÀ PHƯƠNG PHÁP THỰC NGHIỆM.
Mô tả các phương pháp. Các phương pháp EDA. Phương pháp diễn giải câu hỏi (QP) ssssssseessnesnesneieenetnetnenetetaeee 12 3. Phương pháp dịch ngược (BT).
Các mô hình phân loại sử dụng. Mô hình KNN. Mô hình Naive Bayes. Mô hình SVM.
Mô hình Logistic Regression. Mô hình LSTM. Mô hình BiLSTM. Mô hình CNN.
Mô hình PhoBERT. Các phương pháp đánh giá. XÂY DỰNG DỮ LIEU wssssssssssnesnsssesssnessussussiesusstiasnanistuseasssensenees LO AA. Bộ dữ liệu ViQP.
— Bộ dữ liệu ViTREC. XÂY DỰNG MÔ HÌNH DIỄN GIẢI CÂU HỎI. Mô hình đề xuất. Mô tả bài toán.
_ Tiền xử lý dữ liệu. Huấn luyện mô hình.«ecevveeeeeeeersrrirrrseeorue 4D) Chương 6. THU NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ. — Kết qua thử nghiệm.
Phan loại nhãn COARSE 53 6. Phân loại nhãn FINE. Phan tch lỗi. Lỗi diễn giải câu hỏi.
Lỗi phân loại câu hỏi.«eceeeeerererererrereeeeeree OB Chương 7.--sscseeeeereereererrerrerrerrererrsereroe OD An Ket Ua hố. HƯỚNG PHAT TRIỂN.-222t2teEttztrrerrirrrrre 67 DANH MỤC HÌNH Hình 3.1: Phương pháp RD. ®Bw©CPW&RN Hình 3.2: Ví dụ cách hoạt động của RD.3: Phương pháp RS.4: Ví dụ cách hoạt động của RS.5: Phương pháp RÌ.6: Ví dụ cách hoạt động của RÌ.7: Phương pháp SR.---ccccccsccrrrrrrtrtrtririiiiiiiiiiiiiiiiiiirrirrrrer RoRi Hình 3.8: Ví dụ cách hoạt động của RÌ.9: Phương pháp QPu.10: Phương pháp BT.11: Ví dụ cách hoạt động của BÍT.1: Quy trình xây dựng bộ dữ liệu ViQP.e-cccccceeeeerrrrer NRBuYr?ECFSƠWOPĐI Hình 4.2: Ví dụ về mẫu huấn luyện trong bộ dữ liệu .3: Phân loại câu hỏi theo chuẩn TREC.1: Kiến trúc mô hình VïTS5.2: Phương pháp QP.3:Cấu trúc dữ liệu cho một mẫu dữ liệu huấn luyện.4: Ví dụ về dữ liệu trong bộ dữ liệu ViQP.5: Ví dụ về cách tạo cặp câu.6: Ví du 1 về cách hoạt động của mô hình ViTS (QP).7: Ví dụ 2 về cách hoạt động của mô hình ViT5 (QP).1: Biểu đồ sự phụ thuộc vào alpha của các phương pháp EDA.2: Biểu đồ đánh giá chung các phương pháp tăng cường.3: Tác động của QP đối với nhãn COARSE (Accuracy).4: Tác động của QP đối với nhãn COARSE (FI).5: Tác động QP đối với nhãn FINE (Á CCUTACY).6: Tác động của QP đối với nhãn FINE (F1).7: Lỗi diễn giải câu hỏi I.-cecceeeeeeeereeereeersereerreererer OL Hình 6.8: Lỗi diễn giải câu hỏi 2.-csscceeeeieereeereerrrsrrsersrresrosecu, OD Hình 6.9: Lỗi diễn giải câu hỏi 3.-sscsreeeeeeereerreerrerrrerreeroeeooeoov OZ Hình 6.10: Lỗi phân loại câu hỏi dài.e--seeeereeeeeereereereerreeeov OD Hình 6.11: Lỗi phân loại câu hỏi đa nghĩa.ee OD Hình 6.12: Lỗi phân loại câu hỏi sai nghĩa.s-ceereeeeeeeeeereeeeeeeov OD Hình 6.13: Lỗi phân loại câu hỏi có nhiều cách hiều. DANH MUC BANG Bang 4.1: Phân bố các câu hỏi trong bộ đữ liệu VIQP.-c--cc-reerreerriee 20 Bang 4.2: Thống kê số lượng các loại câu hỏi tính theo nhãn thô.3: Thống kê số lượng các loại câu hỏi tính theo nhãn mịn.4: Bảng phân loại câu hỏi theo TREC.----e--cc<cscserxerrrerererrrrrre 25 Bang 4.5: Phân bồ các nhãn thô trong bộ dữ liệu VITFREC.6: Phân bồ các nhãn mịn trong bộ dif liệu VïTREC.1: Kết quả huấn luyện mô hình VïT5 trên bộ dữ liệu ViQP.1: Kết quả đánh giá đầu ra phương pháp tăng cường dit liệu.2: Đánh giá các mô hình khi huấn luyện thông thường.3: Đánh giá các mô hình huấn luyện có sử dụng QP, tính theo độ đo Accuracy (nhãn COARSEE).
HH HH HH này 54 Bang 6.4: Đánh giá các mô hình huấn luyện có sử dụng QP, tính theo độ đo F1 (mh&in COARSE). 54 DANH MỤC TỪ VIET TAT Từ viết tắt Y nghia EDA Easy Data Augmentation TREC Text Retrieval Conference BT Back Translation QP Question Paraphrasing QR Question Rewriting RD Random Delection RS Random Swap RI Random Insertion SR Synonym Replacement BLEU Bilingual Evaluation Understudy TOM TAT KHÓA LUẬN Việc tăng cường dữ liệu dé sử dụng cho một nghiên cứu nào đó là đề tài rat đáng được mong đợi. Bởi vì dit liệu chính là cái quan trọng, là thứ cốt lõi dé giải quyết được một bài toán khoa học, hay vấn đề trong cuộc song. Trong dé tai khóa luan nay, chúng tôi tập trung vào nghiên cứu các phương pháp tăng cường dữ liệu va xây dựng mô hình diễn giải câu hỏi tiếng Việt.
Dựa trên nguyên tắc xây dựng bộ dữ liệu TREC-QC (Text Retrieval Conference), chúng tôi tạo nên 2 bộ dữ liệu là ViQP (dùng cho diễn giải câu hỏi) và ViTREC (dùng cho phân loại câu hỏi). Về ViQP, đây là bộ dữ liệu gồm 13411 câu hỏi, có thể tạo thành 56068 cặp câu, đây là bộ dữ liệu đầu tiên và lớn nhất về diễn giải câu hỏi trong Tiếng Việt. Về ViTREC, gồm 6 nhãn thé (coarse) và 50 nhãn mịn (fine), đây là bộ dữ liệu được xây dựng dựa trên lý thuyết của bộ dữ liệu TREC-QC (Tiếng Anh) trong Tiếng Việt. Sau khi có được dit liệu chúng tôi tiến hành, xây dựng phương pháp diễn giải câu hỏi cho Tiếng Việt (QP).
Kết quả thử nghiệm trên tập kiểm thử của bộ đữ liệu ViQP cho thay đầu ra của phương pháp này gần với cách đặt câu hỏi của con người nhất khi cùng so sánh với các phương pháp dịch ngược của Bing, Google hay phương pháp diễn giải của ChatGPT. Dé khai thác tiềm năng của phương pháp diễn giải câu hỏi (QP) chúng tôi tiến hành so sánh kết quả của các mô hình như Naive Bayes, Logistic Regression, SVM, KNN, LSTM, BiLSTM, CNN, PhoBERT,. khi huấn luyện thông thường vả sau khi đã được huấn luyện trên tap dit liệu tăng cường. Ở bài toán phân loại nhãn thô, kết quả tốt nhất ở mô hình PhoBERT với độ đo Accuracy đạt 90.
Ở bài toán phân loại nhãn mịn, mặc dù kết quả tốt nhất thuộc về mô hình SVM với độ do Accuracy đạt 77.05 sau khi tang cường, nhưng nếu thống kê theo độ đo Accuracy, biên độ tăng nằm trong khoảng 0.8, thống kê theo độ do Fl, biên độ tăng năm trong khoảng 0.46, điều này cho thấy phương pháp diễn giải đã có tác động rất nhiều trong bài toán này. Kết qua cho thấy tiềm năng cửa phương pháp diễn giải dit liệu có thé giúp cải thiện độ chính xác của mô hình phân loại. Tuy nhiên tiềm năng của phương pháp này không dừng lại ở đó mà còn có ích đối với các bài toán có thành phần là câu hỏi ở ngôn ngữ Tiếng Việt. Lý do chọn đề tài Kỹ thuật tăng cường dữ liệu được sử dụng để mở rộng kích thước của tập huấn luyện bằng cách tạo sinh thêm nhiều dữ liệu mới từ dữ liệu ban đầu.
Bằng cách tăng kích thước tập huấn luyện, các mô hình phân loại có thé cải thiện và tăng độ chính xác. Tăng cường dữ liệu giúp khắc phục các sự cố như thiếu dit liệu, overfitting và giúp mô hình có thé xử lý các mẫu dữ liệu khác nhau một cách hiệu quả hơn. Đối với ngôn ngữ Tiếng Việt các kỹ thuật này vẫn còn nhiều hạn chế, còn nếu nhắc tới phạm vi nhỏ hơn là tăng cường dữ liệu câu hỏi thì lại càng ít ỏi hơn. Chính vì thế chúng tôi lựa chọn dé tài này với mục tiêu đóng góp bộ dữ liệu diễn giải câu hỏi và xây dựng một phương pháp tăng cường dữ liệu câu hỏi cho Tiếng Việt.
Mục đích Thông qua phương pháp tạo ra các câu hỏi tương đồng dựa trên phương pháp tăng cường dữ liệu tự động. Mô hình sau khi được huấn luyện trên bộ dữ liệu được tăng cường có thể phân loại được các câu hỏi tương tự với độ chính xác cao hơn so với việc huấn luyện bằng bộ dữ liệu thông thường. Đối tượng nghiên cứu Đối tượng chính được hướng đến trong khóa luận này là phương pháp tăng cường dữ liệu câu hỏi tương đồng và sự tác động của nó đối với mô hình phân loại. Vì thế chúng tôi tiến hành nghiên cứu phương pháp sinh câu tự động.
Huan luyện các mô hình học máy và học sâu đề đánh giá hiệu suất của các phương pháp này. Phạm vi nghiên cứu Để so sánh một cách khách quan sự tác động của các phương pháp cường dữ liệu đối với mô hình phân loại, chúng tôi tiến hành thử nghiệm trên các mô hình học máy và các mô hình học sâu kết hợp với việc sử dụng các phương pháp sinh câu tự động như: EDA, Back translation, Question Paraphrasing. Phân tích và đánh gia các hướng nghiên cứu trước đó 2. Phuong pháp sinh câu Trong nghiên cứu của trước đó của Jason Wei va Kai Zou [1], họ trình bày phương pháp sinh câu tự động có tên là EDA, trong đó có đề cập đến 4 phương pháp tăng cường dữ liệu RD (Random Delete), RI (Random Insert), RS (Random Swap), SR (Symnonym Replace).
Hau hết được áp dụng trên bộ dữ liệu bằng tiếng Anh. Sử dụng các mô hình phân loại để đánh giá trực quan về dữ liệu như: RNN, LSTM- RNN, CNN. Độ chính xác F1 từ phương pháp sinh câu bằng EDA đạt được trung bình khoảng 88. Tuy nhiên, nhóm nghiên cứu nhận thấy rằng việc áp dụng EDA cần cân nhắc kỹ lưỡng để tránh tạo ra những câu vô nghĩa hoặc mâu thuẫn.
Điều này đặc biệt quan trọng đối với các bộ dữ liệu chuyên ngành đòi hỏi sự chính xác và ngữ cảnh rõ ràng. Tổng kết lại, phương pháp sinh câu tự động EDA đã được chứng minh là một công cụ mạnh mẽ trong việc tăng cường dữ liệu và cải thiện hiệu suất phân loại. Nhóm nghiên cứu đề xuất tiếp tục nghiên cứu và ứng dụng EDA trên các bộ dữ liệu đa ngôn ngữ và chuyên ngành, với hy vọng mang lại những tiến bộ đáng kể trong lĩnh vực này. Trong nghiên cứu của Marzieh Fadaee và cộng sự [2].
có đề cập đến việc xác định các từ khó và lấy mẫu chúng, với mục tiêu là tăng số lần xuất hiện của những từ này, đồng thời xác định các ngữ cảnh mà những từ khó này có mặt để dự đoán chúng, sau đó lấy các câu mẫu tương tự nằm trong các ngữ cảnh khó khác. Với việc lấy mẫu câu có mục tiêu để dịch ngược, bài báo có đề cập đến số điểm BLEU đạt được lên tới 1,7 điểm so với dịch ngược bằng cách sử dụng lấy mẫu ngẫu nhiên. Trong nghiên cứu của Quentin và cộng sự [3], trình bày mộ phương pháp mới để cải thiện chất lượng của các câu hỏi trong hệ thống hỏi đáp theo dạng đối thoại (CQA). Trong phương pháp này, các câu hỏi gốc từ CoQA được chú thích với ít nhất hai đến ba sự viết lại ngữ cảnh khác nhau.
Điều này dẫn đến tổng cộng 4,1 nghìn cuộc trò chuyện được chú thích trong tập huấn luyện CoQA và tất cả 500 cuộc trò chuyện trong tập phát triển. Sau khi tổng hợp sé lượng chú thích, tập huấn luyện và tập phát triển của CoQAR bao gồm 45 nghìn và 8 nghìn câu hỏi.