Chương 1. Tổng quan đề tài 1.1 Động lực nghiên cứu.1 Ngữâm vàphươngngữ. Định dạng của transcript.5 Nhập nhằng trong tiếng Việt.6 Khả năng diễn đạt của người trình bay .3 Định nghĩa táểvụ. Giới thiệu Chương 3.
Những công trình nghiên cứu liên quan Chương 4. Bộ dữ liệu cho tác vụ đọc hiểu trên dữ liệu nói 4.1 Hướng dẫn gán nhãn - Annotation guidelines .1 Các độ đo dành cho tính toán độ đồng thuận giữa những người gán nhãn dữ liệu. Các độ do đánh giá mức độ trùng khớp của thông tin ii MỤC LỤC 4.3 Các độ do đánh giá hiệu suất các mô hình ngôn ngữ trên tác vụ hỏi dap. Quá trình xây dựng bộ dữ liệu - Corpus creation.2 Sinh cặp câuhỏi-đấáp.3 Hiệu chỉnh bộ dữliệu .4 Kiểm nghiệm bộ dữ liệu.
Xử lí và phân tích bộ dữ liệu 22 5.1 Phân tích thống kê tổng quan. Phân tích sơ bộ trên tập từ vựng.3 Phân tích thống kê dựa trên thời lượng .4 Phân tích thống kê dựa trên loại câu hỏi .5 Độ đồng thuận giữa người gin nhãn - Inter-rater agreement. Mô hình ngôn ngữ 30 6.1 Mô hình đangônngữ.2 Mô hình đơn ngônngữ. Kết quả thực nghiệm 33 7.1 Môi trường thực nghiệm .2 Kết quả thực nghệm .1 Huấn luyện trên bộ dữ liệu của chúng tôi.
Huấn luyện chéo trên bộ dữ liệu UIT-ViQuAD.ẶẶ ee 36 Chương 8. Ứng dụng web cho mô hình ngôn ngữ 39 §.1 Giới thiệu về ứng dụng web và chức năng chính. c2 SẺ ca 45 Chương 9.2 Thuận lợi oo. eect eens iii MỤC LỤC 93 Khókhăn .4 Phuong hướng phát triển.- Tài liệu tham khảo iv Danh sách bảng 41 Thông tin về các kênh Youtube được chon để thu thập Transcript.1 Các số liệu thống kê tổng quan của bộ dữ liệu chúng tôi và bộ UIT- ViQuAD.2 Thống kê độ dài video dựa trên thể loại (đơn vị: giây).3 Phân phối của video theo chủ đề dựa trên độ dài (đơn vị: giây).4 Phân phối của transcript dựa trên độ dài.5 Tỉ lệ các câu hỏi trong bộ dữ liệu UIT-ViQuAD và bộ dữ liệu của chúng tôi.
Trong bộ dữ liệu của chúng tôi, Ti lệ của câu hỏi loại How là kết quả tổng hợp từ loại câu hỏi How-quantity (25.59%) và How-quality (6.6 Kết quả đánh giá độ đồng thuận.1 Kết quả của các mô hình ngôn ngữ Transformer khi được huấn luyện trên bộ dữ liệu của chúng tôi và được kiểm trên tập kiểm thử (test) và tập phát triển (dev) trên độ đo EM và F1, cùng với kết quả của con người.ÕỖ ỀỒÖỘỒỘợ©œ ees 33 7.2 Kết quả của các mô hình ngôn ngữ Transformer ở 2 độ đo EM và FI-score khi đã được huấn luyện trên tập dữ liệu UIT-ViQuAD.3 Số lượng va ti lệ câu trả lời sai trên từng loại câu hỏi của các mô hình ngôn ngữ Transformer ở độ đo EM.4 Một số lỗi cho từng loại câu hỏi của mô hình XLM-Rjarge, cùng với bản dịch (tương đối) tiếng Anh.- Danh sach hinh vé 41 Vi dụ được lay từ bộ dữ liệu, bao gồm cả những lỗi nhận dang giọng nói được gạch chân. Phần phiên dịch tiếng Anh tương ứng được trình bày bằng chữ xanh.2 Quy trình xây dựng bộ dữ liệu.1 Đám mây từ của các từ riêng (đã được mã hóa thành token) trong bộ dữ liệu của chúng tôi so với tập từ vựng chung.2 Đám mây từ của các từ riêng (đã được mã hóa thành token) trong bộ dữ liệu UIT-ViQuAD so với tập từ vựng chung.3 Đám mây từ vựng trên bộ dữ liệu của chúng tôi (không có mã hóa thành token).4 Đám mây từ vựng trên bộ dữ liệu UIT-ViQuAD (không có mã hóa thành token), .1 Trang chủ của ứng dụng web dành cho tiếng Anh-1.2 Trang chủ của ứng dụng web dành cho tiếng Anh-2.3 Trang chủ của ứng dụng web dành cho tiếng Viét-1.4 Trang chủ của ứng dụng web dành cho tiếng Việt-2.5 Giao diện mặc định của trang hỏi đáp.6 Một phản hồi thành công của mô hình đến với người dùng.7 Phản hồi của ứng dụng web trả về cho người dùng khi độ tin cậy cho phản hồi quá thấp.8 Luéng dữ liệu sau khi người dùng nhập đường dẫn đến một video 8.9 vi DANH MỤC TU VIET TAT EM Exact match score GPU Graphics Processing Unit RAM Random Access Memory SOTA state of the art QA Question Answering vii TÓM TẮT KHÓA LUẬN Ở khóa luận này, chúng tôi trình bày về tác vụ, bộ dif liệu, và mô hình ngôn ngữ trên ngôn ngữ nói tiếng Việt dành cho tác vụ đọc hiểu tự động. Quá trình xây dựng bộ dữ liệu của chúng tôi bao gồm các bước từ thu thập và xử lí transcript, xây dựng bộ các câu hỏi-đáp, hiệu chỉnh bộ dữ liệu và đánh giá bộ dữ liệu. Bên cạnh đó, chúng tôi cũng sẽ trình bày tổng quan về những vấn đề, cơ hội, và thách thức mà chúng tôi gặp phải trong quá trình ứng dụng dữ liệu thực tế cho tác vụ đọc hiểu tự động.
Tính đến hiện tại, hầu hết các bộ dữ liệu cho tác vụ đọc hiểu tự động trên ngôn ngữ tiếng Việt tập trung vào các hình thức văn bản chính quy, chẳng hạn như các bài viết trên nền tang bách khoa toàn thư mở Wikipedia, các trang báo trực tuyến đến từ các đơn vị uy tín, hoặc các văn bản lấy ra từ sách giáo khoa. Tuy nhiên, yêu cầu cho tác vụ đọc hiểu tự động, trên thực tế không chỉ gói gọn ở các định dạng văn bản thông thường. Do đó, chúng tôi đã sử dụng một cách tiếp cận khác khác, trong đó bộ dữ liệu của chúng tôi bao gồm 10.076 cặp câu hỏi-đáp được xây dựng từ 1.230 tập tin transcript thu thập từ các vlog trên nền tảng trực tuyến YouTube. YouTube là một nền tang chia sẻ video trực tuyến, có khối lượng lượng dif liệu da dạng, bao gồm nhiều loại hình nội dung khác nhau được tạo ra bởi người dùng như vlog, chương trình giải trí, phim xuất bản trên nền tảng web (web-drama), các video ca nhạc và các loại hình giải trí khác.
Bộ dữ liệu của chúng tôi chủ yếu khai thác các nội dung nằm ở các chủ đề Ẩm thực và Du lịch từ các vlog hướng dẫn nấu ăn và du lịch khám phá. Trên bộ dữ liệu của chúng tôi, các mô hình học sâu đã cho ra kết quả trên độ đo F1 score cao nhất là 75,34%, thành tựu này đã thể hiện được tính khả dung và kha năng của bộ dữ liệu trong tác vụ đọc hiểu tự động trên dạng dữ liệu nói. Tuy nhiên, trên độ đo EM, kết quả khả quan nhất mà mô hình đạt được chỉ ở ngưỡng 53.97%, cách khá xa so với khả năng đánh giá trên độ đo F1. Kết quả này để lại cơ hội và thách thức cho những cải thiện, cải tiễn trong các nghiên cứu khoa học tiếp nối sau này, cũng như khẳng định nhu cầu cho một bộ dữ liệu, và một mô hình ngôn ngữ dành cho ngôn ngữ nói là hoàn toàn phù hợp.
Tổng quan, bộ dữ liệu của chúng tôi đã truyền tải được những đặc điểm của ngôn Vili DANH SÁCH HÌNH VẼ ngữ nói của người bản ngữ Việt Nam, trong các môi trường hết sức tự nhiên. Đây là một chu đê chưa nhận được nhiều sự quan tâm từ giới nghiên cứu. Chúng tôi tin rằng đây sẽ là một nguồn tư liệu đáng giá cho những công trinh nghiên cứu trong lĩnh vực đọc hiểu sau này, đặc biệt là trên ngôn ngữ có nguồn tư liệu hạn chế. Tổng quan đề tài Giới thiệu động lực cho bài nghiên cứu, đi kèm với những khó khăn trong quá nghiên cứu và phát biểu định nghĩa cho tác vụ.1 Động lực nghiên cứu Trong thời đại của nền tảng truyền thông hiện nay, lượng thông tin ngày càng tăng, và việc phải liên tục cập nhật thông tin mới trở nên khó khăn đối với con người.
Việc tìm kiếm, truy cập và xác định thông tin môt cach hiêu qua đang trở thành một thách thức lớn, đặc biệt đối với các nguồn thông tin lớn, gây lãng phí thời gian và công sức. Với sự phổ biến của các mạng xã hội, thông tin không chỉ được truyền tải dưới dạng văn bản mà còn là âm thanh (như podcast, radio, và âm nhạc) và hình ảnh kĩ thuật số trên Internet. Thậm chí, một lượng lớn thông tin trên Internet, đặc biệt là các trang mạng xã hội, được truyền tải kết hợp cả âm thanh và hình ảnh, chẳng hạn như các đoạn phim hoặc đoạn video ngắn. Tuy nhiên, truy xuất thông tin trên video lại gặp phải nhiều khó khăn, đặc biệt là trường hợp của các đoạn video dài.
Người dùng phải xem và nghe toàn bộ nội dung của video để có thể nắm bắt được đầy đủ thông tin trong đó, việc này sẽ tốn rất nhiều thời gian và công sức khi các đoạn ghi âm hội thoại hay video có thể kéo dài hàng giờ liền. Với sự phát triển của khoa học và kỹ thuật ngày nay, đa co nhiêu mô hinh xuât hiên co kha năng xư ly cac tác vụ hỏi đáp tự động dựa trên đoạn văn và câu hỏi mà chúng ta đưa vào. Tuy nhiên, những mô hình này chỉ có thể xử lý tốt trên một đoạn văn bản ngắn và trả lời trên các văn bản chính quy có mức độ chặt chẽ cao về mặt ngôn từ lẫn hình thức. Trong khi đó, ngôn ngữ trong các video thường sử dụng ngôn ngữ nói, có nhiều điểm khác biệt và độc nhất so với ngôn ngữ viết.
Ngôn ngữ nói không chỉ chịu ảnh hưởng bởi ngữ nghĩa đơn thuần như văn bản của ngôn ngữ viết, mà còn bởi nhiều yếu tô khác chang hạn như giọng địa phương, từ đồng âm, từ trái âm, ngắt câu. Văn bản chính quy thường có các quy tắc ngữ pháp cụ thể, các từ ngữ được sắp xếp và kết hợp với nhau để tạo ra các câu hoàn chỉnh và chính xác. Ngược lại, podcast và vlog thường sử dụng ngôn ngữ tự nhiên và thông thường, không tuân theo các quy 1. THÁCH THUC tac ngữ pháp cu thé.
Các từ ngữ thường được sử dung theo cảm tính và cách nói của người nói, và có thể có sự lặp lại và ngắt quãng trong cách sử dụng. Ngoài ra, vlog còn có thể sử dụng các từ ngữ địa phương, từ đồng âm, từ trái âm và các từ lóng, đặc biệt là trong các video về văn hóa, giải trí và cuộc sống hàng ngày. Điều này đôi khi có thể làm cho nội dung của vlog khó hiểu hoặc khó xử lý bởi các mô hình xử lý ngôn ngữ tự động. Do đó, việc xử lý và truy xuất thông tin trên các video trực tuyến, đặc biệt là những nguồn đậm chất ngôn ngữ nói, như vlog và podcast, đang trở thành một thách thức lớn đối với các hệ thống xử lý ngôn ngữ tự động.