Nghiên cứu hội thoại trong tiếng Việt sử dụng phương pháp seq2seq và attention

Nghiên cứu ứng dụng mô hình seq2seq và attention trong phân tích hội thoại tiếng Việt, đóng góp vào lĩnh vực khoa học máy tính và xử lý ngôn ngữ tự nhiên.

• Tác giả: Nguyễn Hoàng Tín
• Người hướng dẫn: GS.TS Phan Thị Tươi
• Trường học: Đại học Quốc gia TP. HCM
• Chuyên ngành: Khoa học máy tính
• Đề tài: Hội thoại Dialog trong tiếng Việt dùng phương pháp Seq-to-seq và Attention
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• TÓM TẮT
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG
• DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT
• NỘI DUNG LUẬN VĂN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Giới thiệu đề tài
• 1.2. Mục tiêu của đề tài
• 1.3. Ý nghĩa khoa học của đề tài
• 1.4. Phạm vi của đề tài
• 1.5. Những công trình nghiên cứu liên quan
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Kiến trúc Transformer
• 2.1.1. Encoder và Decoder
• 2.1.2. Scale Dot Product Attention
• 2.1.3. Multi-head Attention
• 2.1.4. Masked Multi-head Attention
• 2.2. Mô hình BERT
• 2.2.1. Các kiến trúc của mô hình BERT
• 2.2.2. Fine-tuning mô hình BERT
• 3. CHƯƠNG 3: PHƯƠNG PHÁP ĐỀ XUẤT
• 3.1. Xây dựng tập dữ liệu hội thoại
• 3.1.1. Thu thập dữ liệu hội thoại
• 3.1.2. Làm sạch dữ liệu
• 3.2. Mô hình hội thoại cho tiếng Việt
• 4. CHƯƠNG 4: HIỆN THỰC VÀ KẾT QUẢ
• 4.1. Dữ liệu và công cụ thực nghiệm
• 4.1.1. Công cụ thực nghiệm
• 4.2. Cài đặt mô hình
• 4.3. Tiêu chí đánh giá
• 4.4. Kết quả thực nghiệm
• Hướng phát triển tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu đề tài

Bài toán xây dựng hệ thống hội thoại hay hệ thống trả lời tự động là một thách thức lớn trong lĩnh vực xử lý ngôn ngữ tự nhiên. Tính phức tạp của ngôn ngữ tự nhiên, với sự đa nghĩa và ngữ cảnh phong phú, tạo ra nhiều khó khăn trong việc phát hiện câu trả lời phù hợp nhất. Hệ thống đối thoại, còn gọi là chatbot, được ứng dụng rộng rãi trong nhiều lĩnh vực như hỗ trợ kỹ thuật và giáo dục. Các nền tảng như Xenioo, Aivo, và Microsoft Bot Framework cho phép phát triển các chatbot trên nền tảng web và mạng xã hội. Tại Việt Nam, Ki-Ki, trợ lý ảo đầu tiên do Zalo phát triển, đã cho thấy tiềm năng của ngành AI trong việc tương tác với người dùng qua giọng nói tiếng Việt. Việc phát triển các trợ lý ảo có khả năng hiểu và tương tác tự nhiên với con người là một mục tiêu quan trọng.

II. Mục tiêu của đề tài

Mục tiêu của luận văn là nghiên cứu và phát triển một mô hình hội thoại cho tiếng Việt dựa trên phương pháp Sequence-to-sequence (seq2seq) và Attention. Mô hình này sẽ sử dụng các mạng học sâu để tạo ra các câu trả lời từ các câu hỏi đầu vào. Việc áp dụng attention mechanism giúp mô hình chú ý đến các thành phần quan trọng trong câu, từ đó cải thiện chất lượng đầu ra. Dữ liệu huấn luyện sẽ được lấy từ kho dữ liệu mở OpenSubtitles 2018, nhằm tạo ra một mô hình hội thoại đơn giản nhưng hiệu quả cho tiếng Việt. Mục tiêu cuối cùng là phát triển một hệ thống có thể áp dụng vào các bài toán thực tế như hỗ trợ y tế và tư vấn mua sắm.

III. Ý nghĩa khoa học của đề tài

Nghiên cứu về hệ thống hội thoại cho tiếng Việt có ý nghĩa quan trọng trong việc phát triển công nghệ xử lý ngôn ngữ tự nhiên tại Việt Nam. Mặc dù đã có một số nghiên cứu trước đây, nhưng vẫn còn nhiều hạn chế như thời gian huấn luyện lâu và khả năng trả lời chưa cao. Việc kết hợp seq2seq và attention trong nghiên cứu này không chỉ giúp cải thiện hiệu suất của mô hình mà còn mở ra hướng đi mới cho các nghiên cứu tiếp theo. Hệ thống hội thoại hiệu quả có thể được áp dụng trong nhiều lĩnh vực như giáo dục, thương mại điện tử và dịch vụ khách hàng, từ đó nâng cao trải nghiệm người dùng và hiệu quả công việc.

IV. Phạm vi của đề tài

Luận văn này tập trung vào việc nghiên cứu hội thoại tiếng Việt thông qua các phương pháp học sâu, đặc biệt là mô hình seq2seq kết hợp với attention mechanism. Dữ liệu huấn luyện sẽ được thu thập từ OpenSubtitles 2018, với đầu vào là các câu hỏi hoặc câu tường thuật bằng tiếng Việt. Đầu ra sẽ là các câu trả lời tương ứng. Phạm vi nghiên cứu sẽ giới hạn trong việc phát triển mô hình hội thoại cho tiếng Việt, nhằm đảm bảo tính khả thi và hiệu quả trong việc áp dụng vào thực tế.

V. Những công trình nghiên cứu liên quan

Nghiên cứu về hệ thống trả lời tự động đã được thực hiện từ lâu, với nhiều công trình nổi bật trên thế giới. Một số nghiên cứu gần đây đã áp dụng mô hình Transformer và BERT để phát triển hệ thống hội thoại cho các ngôn ngữ khác nhau. Tuy nhiên, nghiên cứu cho tiếng Việt vẫn còn hạn chế. Các công trình như của Nhữ Bảo Vũ đã chỉ ra những khó khăn trong việc huấn luyện mô hình và khả năng trả lời câu hỏi. Việc áp dụng seq2seq và attention trong nghiên cứu này sẽ giúp khắc phục những hạn chế đó và mở ra hướng đi mới cho các nghiên cứu tiếp theo.

Nội dung chính

Tổng quan nghiên cứu

Thị trường trợ lý ảo và trí tuệ nhân tạo đối thoại tại Việt Nam ghi nhận sự bùng nổ mạnh mẽ với hơn 70% doanh nghiệp dịch vụ định hướng tích hợp giải pháp tự động hóa tương tác khách hàng. Tuy nhiên, việc phát triển các hệ thống hội thoại tiếng Việt thông minh vẫn đối mặt với rào cản lớn do tính nhập nhằng, cấu trúc ngữ pháp đa nghĩa và sự khan hiếm của các bộ ngữ liệu hội thoại miền mở chuẩn hóa. Trước năm 2020, phần lớn các chatbot tiếng Việt truyền thống phụ thuộc vào tập luật thủ công hoặc kiến trúc mạng hồi quy đơn giản, khiến hệ thống thường xuyên rơi vào trạng thái bế tắc với phản hồi mặc định.

Luận văn thạc sĩ chuyên ngành Khoa học Máy tính của tác giả Nguyễn Hoàng Tín, dưới sự hướng dẫn khoa học của GS.TS Phan Thị Tươi tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh, đã giải quyết bài toán phát sinh hội thoại tự động dạng văn bản cho tiếng Việt. Mục tiêu trọng tâm của đề tài là xây dựng mô hình hội thoại miền mở (open-domain dialogue) có khả năng sinh câu trả lời tự nhiên theo ngữ cảnh mà không cần phụ thuộc vào hệ thống quy tắc viết tay phức tạp. Phạm vi nghiên cứu tập trung vào việc tiền xử lý kho ngữ liệu gồm 1.488.239 câu văn bản tiếng Việt từ nguồn mở, sau đó thiết lập mô hình học sâu kết hợp giữa mạng biến đổi và cơ chế chú ý hai chiều.

Nghiên cứu mang lại ý nghĩa học thuật và ứng dụng thực tiễn to lớn khi chứng minh tính khả thi của việc tái sử dụng các mô hình ngôn ngữ lớn đa ngữ phục vụ xử lý tiếng Việt. Kết quả thực nghiệm mở ra giải pháp tối ưu hóa tài nguyên phần cứng, rút ngắn chu kỳ huấn luyện xuống còn khoảng 55 đến 62 giờ trên hệ thống điện toán đám mây, đồng thời cung cấp nền tảng kỹ thuật vững chắc để triển khai các hệ thống hỏi đáp thông minh trong y tế, giáo dục và thương mại điện tử.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu vận dụng nền tảng kiến trúc Chuỗi-sang-Chuỗi (Sequence-to-Sequence) kết hợp với mô hình mạng biến đổi Transformer và cơ chế Tự chú ý (Self-Attention). Khác với các mạng nơ-ron hồi quy truyền thống như LSTM hay GRU vốn bị giới hạn bởi việc xử lý tuần tự và khó nắm bắt quan hệ ngữ nghĩa tầm xa, kiến trúc Transformer tiếp nhận toàn bộ chuỗi đầu vào song song, loại bỏ hoàn toàn các bước thời gian tuần tự.

Trong mô hình đề xuất, khung lý thuyết tập trung vào ba khái niệm then chốt:

• Cơ chế Chú ý tích vô hướng chuẩn hóa (Scaled Dot-Product Attention): Tính toán độ tương quan ngữ nghĩa giữa các cặp từ thông qua ba ma trận trọng số đại diện cho truy vấn (Query), khóa (Key) và giá trị (Value), giúp mô hình tập trung vào các thành phần quan trọng trong câu.
• Cơ chế Chú ý đa đầu (Multi-Head Attention): Chia tách không gian biểu diễn thành nhiều nhánh chú ý độc lập (sử dụng 12 heads), cho phép mô hình đồng thời nắm bắt nhiều khía cạnh ngữ cảnh khác nhau ở các vị trí từ vựng riêng biệt.
• Biểu diễn ngôn ngữ hai chiều từ Transformer (BERT): Sử dụng mô hình tiền huấn luyện Multilingual BERT với 12 khối lớp ẩn, kích thước vector nhúng 768 chiều và 110 triệu tham số được huấn luyện trên 104 ngôn ngữ để làm bộ mã hóa (Encoder), thay thế hoàn toàn các lớp nhúng từ tĩnh trước đây.

Phương pháp nghiên cứu

Dữ liệu thực nghiệm được trích xuất từ kho ngữ liệu phụ đề phim mở OpenSubtitles 2018 với quy mô ban đầu đạt 1.488.239 câu văn bản tiếng Việt. Phương pháp chọn mẫu áp dụng quy trình lọc ngẫu nhiên có phân tầng và chuẩn hóa làm sạch qua 9 bước nghiêm ngặt trên nền tảng đám mây Google Cloud Storage kết hợp công cụ xử lý phân tán Apache Beam. Toàn bộ các nhiễu ngoại lai như mã nhúng HTML, tên nhóm dịch giả, ký tự đặc biệt không thuộc bảng mã Unicode tiếng Việt và các từ ngữ thô tục đều bị loại bỏ triệt để.

Quy mô mẫu sau khi làm sạch được phân chia theo tỷ lệ chuẩn:

• Tập huấn luyện (Training set): 1.053.017 cặp câu hội thoại ngữ cảnh - phản hồi.
• Tập kiểm tra (Test set): 263.909 cặp câu độc lập dùng để đánh giá năng lực suy diễn.
• Tập thẩm định (Validation set): 263.004 cặp câu (chiếm 20% trích xuất từ tập huấn luyện) phục vụ việc giám sát hiện tượng quá khớp (overfitting).

Lý do lựa chọn phương pháp huấn luyện hai giai đoạn (Two-stage training) là nhằm kế thừa tối đa tri thức ngôn ngữ phong phú từ mô hình Multilingual BERT mà không làm phá vỡ các trọng số đã được tối ưu hóa. Trong giai đoạn 1, hệ thống cố định bộ mã hóa BERT và chỉ tập trung tối ưu bộ giải mã Transformer Decoder với tốc độ học 0.15 và thuật toán tối ưu hóa Adam. Giai đoạn 2 tiến hành tinh chỉnh sâu (fine-tuning) toàn bộ các tham số của cả mạng trên phần cứng máy chủ GPU Nvidia Tesla P100 16GB thuộc môi trường Google Colaboratory Pro.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã cung cấp các số liệu định lượng chi tiết về hiệu năng huấn luyện và chất lượng phát sinh ngôn ngữ của hệ thống hội thoại:

• Về thời gian xử lý: Ở lần thực nghiệm thứ nhất với giới hạn 5.000 tokens mỗi batch, giai đoạn 1 hoàn thành 20 epochs trong 19,17 giờ và giai đoạn 2 hoàn thành 35 epochs trong 43,00 giờ (tổng thời gian 62,17 giờ). Ở lần thực nghiệm thứ hai khi nâng giới hạn lên 10.000 tokens, thời gian giai đoạn 1 rút xuống còn 18,52 giờ và giai đoạn 2 hoàn thành 30 epochs trong 36,52 giờ (tổng thời gian 55,04 giờ), giúp tiết kiệm hơn 11,4% thời gian tính toán.
• Về thước đo dịch máy truyền thống: Điểm số BLEU-4 ghi nhận ở mức 1,03 trong lần thử nghiệm thứ nhất và 0,87 trong lần thử nghiệm thứ hai. Điểm số này tương đồng với các công bố quốc tế khi áp dụng mô hình sinh văn bản tự do cho hội thoại miền mở.
• Về các độ đo tương đồng ngữ nghĩa embedding: Hệ thống đạt điểm trung bình nhúng từ (Embedding Average - AVG) là 0,380; độ đo cực trị nhúng từ (Embedding Extrema - EXT) đạt 0,360 và độ đo đối sánh tham lam (Embedding Greedy - GRE) đạt 0,197.
• Về độ đa dạng từ vựng: Chỉ số phân biệt đơn từ Distinct-1 đạt 0,003 và đa từ Distinct-2 đạt 0,029, phản ánh cấu trúc phản hồi bắt đầu hình thành sự phong phú nhất định.

Thảo luận kết quả

Khi phân tích kết quả qua biểu đồ phân phối điểm số và bảng so sánh các chỉ số đo lường học máy, sự chênh lệch giữa điểm số BLEU và các thước đo nhúng từ thể hiện rõ đặc thù của bài toán đối thoại. Thước đo BLEU vốn được thiết kế cho bài toán dịch máy dựa trên sự trùng khớp chính xác của các n-gram từ vựng. Trong khi đó, một câu thoại tiếng Việt có thể có hàng chục cách phản hồi hợp lý về mặt ngữ nghĩa nhưng hoàn toàn khác biệt về mặt từ vựng so với câu mẫu chuẩn. Do đó, điểm BLEU thấp không đồng nghĩa với việc mô hình sinh câu kém chất lượng.

Minh chứng thực tế từ bảng kết quả đối thoại cho thấy hệ thống có khả năng nắm bắt ngữ cảnh hội thoại xuất sắc. Khi nhận chuỗi đầu vào về độ tuổi như "lúc đó cậu ấy bao nhiêu tuổi", mô hình đã phát sinh phản hồi chính xác về mặt phạm trù ngữ nghĩa là "5 tuổi", thay vì đưa ra các câu vô nghĩa. Khả năng trả lời các câu chào hỏi, thể hiện cảm xúc ("tôi thích bóng chày", "rất vui được gặp anh") đạt độ tự nhiên cao, cải thiện vượt bậc so với các mô hình mạng nơ-ron hồi quy thế hệ trước vốn chỉ đạt tỷ lệ phản hồi chính xác dưới 40% trên cùng tập dữ liệu.

Tuy nhiên, bảng thống kê lỗi cũng chỉ ra hiện tượng hệ thống vẫn trả về câu trả lời an toàn "tôi không biết" khi gặp các câu hỏi có cấu trúc phức tạp. Nguyên nhân chủ yếu xuất phát từ đặc tính của tập dữ liệu phụ đề phim ảnh, nơi các đoạn hội thoại thường mang tính văn nói, bị ngắt quãng theo diễn biến hình ảnh và còn tồn tại khoảng 5% đến 8% từ dính liền hoặc lỗi chính tả chưa được xử lý triệt để.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được và những hạn chế còn tồn tại, nghiên cứu đưa ra 4 nhóm giải pháp chiến lược nhằm hoàn thiện hệ thống hội thoại tiếng Việt:

1. Chuẩn hóa và mở rộng kho ngữ liệu hội thoại chuyên biệt: Tiến hành thu thập và gán nhãn dữ liệu hội thoại đa lĩnh vực với mục tiêu nâng quy mô tập dữ liệu sạch lên trên 5.000.000 cặp câu chất lượng cao. Đơn vị nghiên cứu ngôn ngữ học phối hợp cùng các kỹ sư dữ liệu thực hiện trong lộ trình 6 tháng, tập trung vào việc lọc bỏ hoàn toàn các cấu trúc từ dính, lỗi sai chính tả và ngôn ngữ dịch thô.

2. Chuyển đổi và tích hợp các mô hình ngôn ngữ tiếng Việt đơn ngữ tiên tiến: Thay thế bộ mã hóa Multilingual BERT bằng các kiến trúc tối ưu riêng cho tiếng Việt như PhoBERT hoặc RoBERTa tiếng Việt nhằm tăng độ chính xác biểu diễn ngữ nghĩa lên khoảng 15% đến 20%. Nhóm phát triển thuật toán AI cần triển khai thử nghiệm so sánh trong vòng 3 tháng trên cùng hệ thống phần cứng.

3. Nâng cấp kiến trúc sinh phản hồi tự hồi quy: Nghiên cứu tích hợp các kỹ thuật giải mã tiên tiến và thử nghiệm các mô hình dạng Transformer hoàn chỉnh thế hệ mới giúp giảm tỷ lệ xuất hiện câu phản hồi "tôi không biết" xuống dưới mức 5%. Mục tiêu này do các chuyên gia xử lý ngôn ngữ tự nhiên thực hiện với thời gian biểu 9 tháng.

4. Xây dựng giao diện ứng dụng lập trình (API) và cổng tương tác người dùng: Phát triển hệ thống dịch vụ web hoàn chỉnh với độ trễ phản hồi dưới 200 mili-giây, cho phép doanh nghiệp dễ dàng tích hợp chatbot vào các nền tảng thương mại điện tử và cổng hỗ trợ y tế. Bộ phận kỹ thuật phần mềm đảm nhận triển khai trong vòng 4 tháng.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho nhiều nhóm độc giả chuyên môn:

• Các nhà nghiên cứu và học viên sau đại học ngành Khoa học Máy tính: Cung cấp tài liệu hệ thống hóa chi tiết về cách thức triển khai toán học của cơ chế Self-Attention, cấu trúc mạng Transformer và phương pháp tinh chỉnh mô hình BERT đa ngữ cho bài toán xử lý chuỗi.
• Kỹ sư phát triển Trí tuệ Nhân tạo và Xử lý Ngôn ngữ Tự nhiên: Nắm bắt toàn bộ quy trình công nghệ từ việc xử lý dữ liệu quy mô lớn bằng Apache Beam, thiết lập đường ống huấn luyện trên Google Cloud Platform đến việc tối ưu hóa bộ nhớ GPU.
• Các nhà quản lý công nghệ và chuyên gia giải pháp phần mềm: Định hình được bức tranh tổng thể về chi phí tính toán, yêu cầu tài nguyên phần cứng (RAM, GPU) và thời gian thực thi khi triển khai các dự án chatbot quy mô lớn trong thực tế.
• Doanh nghiệp phát triển dịch vụ chăm sóc khách hàng tự động: Tìm thấy định hướng giải pháp để nâng cấp hệ thống tổng đài tự động từ dạng kịch bản cứng nhắc sang mô hình hội thoại thông minh có khả năng hiểu ngữ cảnh tự nhiên.

Câu hỏi thường gặp

Tại sao nghiên cứu lại sử dụng mô hình Multilingual BERT thay vì các phiên bản BERT đơn ngữ?

Tại thời điểm thực hiện đề tài vào năm 2020, các mô hình ngôn ngữ lớn chuyên sâu cho tiếng Việt còn rất hạn chế. Multilingual BERT hỗ trợ 104 ngôn ngữ với 110 triệu tham số là giải pháp tiền huấn luyện tối ưu nhất, giúp chuyển giao tri thức biểu diễn từ vựng phong phú mà không cần tốn chi phí huấn luyện lại từ đầu.

Điểm số BLEU đạt 1,03 có phản ánh mô hình hoạt động kém hiệu quả hay không?

Hoàn toàn không. Điểm số BLEU chỉ phù hợp cho bài toán dịch máy với câu trả lời duy nhất. Trong hội thoại miền mở, một câu hỏi có thể có hàng trăm phản hồi đúng ngữ cảnh nhưng khác từ vựng. Kết quả thực nghiệm cho thấy các thước đo nhúng từ đạt mức khả quan từ 0,349 đến 0,380.

Quy trình làm sạch dữ liệu từ OpenSubtitles 2018 bao gồm những bước chính nào?

Quy trình gồm 9 bước: tải và giải nén 1.488.239 câu, chia nhỏ file, đưa lên Google Cloud Storage, xử lý tạo cặp hội thoại bằng Apache Beam, lọc bỏ ký tự đặc biệt, giải mã thực thể HTML, loại bỏ phụ đề rác, gán nhãn ngăn cách và phân tách tập dữ liệu thành ba phần độc lập.

Cần cấu hình phần cứng tối thiểu như thế nào để huấn luyện mô hình này?

Để huấn luyện mô hình ổn định trong khoảng 55 đến 62 giờ, hệ thống đòi hỏi máy chủ sử dụng hệ điều hành Linux, bộ nhớ RAM tối thiểu từ 12,72 GB đến 27,4 GB và trang bị card xử lý đồ họa chuyên dụng Nvidia Tesla P100 với dung lượng VRAM 16 GB trở lên.

Mô hình có thể ứng dụng trực tiếp vào các hệ thống chuyên ngành như y tế hay tài chính không?

Mô hình hiện tại được huấn luyện trên dữ liệu phim ảnh miền mở nên phù hợp nhất cho trò chuyện thông thường. Để ứng dụng vào y tế hoặc tài chính, doanh nghiệp chỉ cần giữ nguyên khung kiến trúc và tiến hành tinh chỉnh lại trên tập dữ liệu chuyên ngành với quy mô khoảng 100.000 cặp câu hội thoại.

Kết luận

• Đề tài đã nghiên cứu và hiện thực hóa thành công mô hình hội thoại tiếng Việt miền mở dựa trên sự kết hợp giữa kiến trúc Sequence-to-Sequence, cơ chế Multi-Head Attention và bộ mã hóa Multilingual BERT.
• Xây dựng hoàn chỉnh quy trình tiền xử lý và làm sạch tự động kho ngữ liệu quy mô hơn 1,48 triệu câu tiếng Việt, tạo tiền đề dữ liệu chuẩn cho các nghiên cứu xử lý ngôn ngữ tiếp theo.
• Chứng minh tính hiệu quả của phương pháp huấn luyện hai giai đoạn trên phần cứng GPU đám mây, đạt sự cân bằng tối ưu giữa thời gian tính toán và chất lượng sinh văn bản.
• Xác lập hệ thống tiêu chí đánh giá đa chiều cho chatbot tiếng Việt thông qua việc phân tích chuyên sâu 5 thước đo ngữ nghĩa nhúng từ thay vì phụ thuộc vào điểm số BLEU truyền thống.
• Lộ trình phát triển tiếp theo tập trung vào việc tích hợp các mô hình ngôn ngữ tiếng Việt chuyên biệt như PhoBERT và mở rộng kiến trúc tự hồi quy nhằm nâng cao độ chính xác và tính tương tác của hệ thống.

Quý độc giả, nhà nghiên cứu và doanh nghiệp quan tâm có thể khai thác các phát hiện trong luận văn để tiếp tục mở rộng, tối ưu hóa các giải pháp trợ lý ảo tiếng Việt phục vụ đời sống và sản xuất kinh doanh.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU 1. Giới thiệu đề tài Bài toán xây dựng hệ thống hội thoại hay hệ thống trả lời tự động là một bài toán khó thuộc lĩnh vực xử lý ngôn ngữ tự nhiên. Bởi vì tính nhập nhằng, đa nghĩa, đa ngữ cảnh của ngôn ngữ tự nhiên. Bài toán đặt ra nhiều thách thức để phát hiện ra được câu trả lời phù hợp nhất, thông tin hữu ích nhất.

Hệ thống đối thoại (dialogue system), còn được gọi là các tác nhân hội thoại tương tác, trợ lý ảo, hay chatbot, được ứng dụng rộng rãi từ các dịch vụ hỗ trợ kỹ thuật tới các công cụ học ngôn ngữ và giải trí. Các hệ thống đối thoại có thể được chia thành các hệ thống hướng mục tiêu trên một miền ứng dụng, ví dụ như các dịch vụ hỗ trợ kỹ thuật, tư vấn bán hàng, và các hệ thống không có định hướng mục tiêu, ví dụ như các công cụ học ngôn ngữ hoặc các nhân vật trò chơi máy tính. Trên thế giới, các nhóm nghiên cứu, các doanh nghiệp đã và đang cố gắng tạo ra các dịch vụ trợ lý ảo nhằm thay đổi cách khách hàng tương tác, nhằm trợ giúp người dùng, khách hàng của mình có những trải nghiệm tốt nhất về sản phẩm và các dịch vụ cung cấp. Nổi bật nhất trong đó phải kể đến các nền tảng cho phép tạo ra các AI chatbot như Xenioo, Aivo, Botsify, Chatfuel hay Microsoft Bot Framework cho phép các nhà phát triển tạo ra các chatbot trên nền tảng Web, hay Facebook cũng có Messenger Platform cho phép các nhà phát triển tích hợp vào Messenger.

Ở trong nước, mới đây vào cuối tháng 12 năm 2018, tại sự kiện Zalo AI Summit diễn ra tại TP Hồ Chí Minh, Ki-Ki, trợ lý ảo đầu tiên của người Việt do Zalo thuộc VNG phát triển, đã cho thấy những tín hiệu lạc quan của ngành AI Việt Nam. Hiện trợ lý ảo Ki-Ki có thể thực hiện các tác vụ quen thuộc như mở nhạc, đọc tin, gửi tin nhắn, tra cứu thời tiết, tra cứu kiến thức thông qua ra lệnh bằng giọng nói tiếng Việt mà không cần thao tác chạm, gõ với điện thoại. Đặc biệt, Ki-Ki còn có khả năng hiểu được giọng nói của ba miền Bắc, Trung, Nam.1: Trợ lý ảo Ki-Ki tại Zalo AI Summit 2018 [zingnews]. Hiện nay, rất nhiều công ty, cá nhân vẫn đang cố gắng cải thiện và phát triển các trợ lý ảo để có thể hiểu được ngôn ngữ tự nhiên của con người nhiều hơn nữa, có thể đối thoại và tương tác được với con người một cách tự nhiên.

Các phương pháp tiếp cận trước đây thường giới hạn trong một nhiệm vụ nhất định, một mục tiêu rất cụ thể, ví dụ như đặt vé trực tuyến, hệ thống hỗ trợ kỹ thuật (Technical Customer Support) hay tư vấn và hỗ trợ mua hàng (Shopping Assistants), … Các hệ thống này yêu cầu phải thiết kế được các bộ luật học bằng tay, mất nhiều công sức mà hiệu quả đạt được không cao, khó mở rộng mô hình. Việc sử dụng kỹ thuật xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP) và các kỹ thuật học sâu (Deep Learning – DL) để làm tăng chất lượng và hiệu quả của hệ thống. Tuy nhiên từ lý thuyết đến thực tế là cả một chặng đường dài. Như vậy, hệ thống trả lời tự động hay hệ thống hội thoại có những nhiệm vụ và vai trò quan trọng, là cơ sở để xây dựng các trợ lý ảo để có thể trợ giúp được con người rất nhiều lĩnh vực: y tế, giáo dục, thương mại điện tử, …, xứng đáng để nghiên cứu và đưa ra các sản phẩm phù hợp với thực tế.

Với sự ra đời của mô hình Sequence-to-sequence (seq2seq) vào năm 2014 được giới thiệu bởi Google [3], nhiều hệ thống huấn luyện đã sử dụng các mạng nơ-ron để sinh ra các câu trả lời mới khi đưa vào mạng một câu hỏi hoặc một thông điệp. Lợi thế của phương pháp này là mô hình có thể được huấn luyện end-to-end trên tập dữ liệu có sẵn, và yêu cầu ít hơn các luật bằng tay. Đây là một hướng tiếp cận có nhiều triển vọng trong việc xây dựng một hệ thống đối thoại. Do đó, luận văn sẽ nghiên cứu dựa trên phương pháp Sequence-to-sequence và kết hợp với kỹ thuật Attention, để xây dựng mô hình đối thoại cho tiếng Việt, từ đó có thể áp dụng được vào các bài toán thực tế.

Mục tiêu của đề tài Với cơ sở thực tiễn trên, mục tiêu của luận văn là nghiên cứu các mô hình có thể phát sinh văn bản (Generative-based) sử dụng các mạng học sâu Deep Neural Networks, dựa trên phương pháp Sequence-to-sequence và Attention. Từ đó xây dựng một mô hình hội thoại Dialog thử nghiệm đơn giản cho tiếng Việt sử dụng kho dữ liệu phụ đề nguồn mở OpenSubtitles 2018. Ý nghĩa khoa học của đề tài Bài toán xây dựng hệ thống hội thoại hay chatbot đã được nghiên cứu và áp dụng nhiều cho tiếng Anh bởi tính phổ biến của nó và kho dữ liệu phong phú. Trong những năm gần đây bắt đầu có một số nghiên cứu để xây dựng hệ thống hội thoại cho tiếng Việt, điển hình là nghiên cứu của tác giả Nhữ Bảo Vũ [10].

Tuy nhiên, các nghiên cứu còn nhiều hạn chế và gặp rất nhiều khó khăn như thời gian huấn luyện rất lâu, chưa tận dụng được khả năng của GPU, hay chưa 14 trả lời được những câu hỏi khó, thường xuyên trả lời câu “tôi không biết”. Thực tế hiện nay, kho dữ liệu hội thoại cho tiếng Việt còn rất hạn chế. Kết hợp phương pháp Sequence-to-sequence và Attention, tác giả mong muốn tạo ra một hệ thống hội thoại cho tiếng Việt hiệu quả hơn. Từ đó, có khả năng áp dụng vào các bài toán thực tế, ví dụ như các hệ thống hỗ trợ hỏi đáp về y khoa, tư vấn mua hàng, hỗ trợ giải đáp kỹ thuật và các dịch vụ khác.

Phạm vi của đề tài Trong khuôn khổ của luận văn, tác giả giới hạn phương pháp nghiên cứu hội thoại với máy tính trong ngôn ngữ tự nhiên bằng văn bản trong tiếng Việt theo hướng học sâu sử dụng mô hình Sequence-to-sequence kết hợp kỹ thuật Attention. Dữ liệu huấn luyện và kiểm tra cho mô hình được lấy từ kho dữ liệu phụ đề nguồn mở OpenSubtitles 2018. Đầu vào hệ thống là văn bản tiếng Việt chuẩn unicode có thể là câu hỏi hoặc câu tường thuật trực tiếp, đầu ra là câu trả lời tương ứng. Những công trình nghiên cứu liên quan Hệ thống trả lời tự động đã được các nhà nghiên cứu quan tâm từ rất lâu, bao gồm các trường đại học, các viện nghiên cứu và các doanh nghiệp.

Việc nghiên cứu về hệ thống trả lời tự động có ý nghĩa trong khoa học và thực tế. Tình hình nghiên cứu ngoài nước: Công trình gần nhất 2019 của một tác giả với nickname reppy4620 hay ilikeniku1 trên Twitter - một sinh viên ở Nhật, là một hệ thống hội thoại cho tiếng Nhật sử dụng mô hình Transformer với BERT làm Encoder kết hợp với phương pháp Attention. Kiến trúc hệ thống gồm: • Encoder: BERT cl-tohoku/bert-base-japanese-whole-word-masking • Decoder: Vanilla Transformer's Decoder • Loss: CrossEntropy • Optimizer: AdamW • Tokenizer: BertJapaneseTokenizer • Epoch: 2 • Nguồn bài báo: https://qiita.com/reppy4620/items/e4305f22cd8f6962e00a • Blog cá nhân: https://jweb.asia/26-it/ai/51-bert-chatbot.html Theo bài viết, dữ liệu được tác giả thu thập từ Twitter có nhiều hạn chế nên hệ thống không có câu trả lời thích hợp (hình 1.2) và hệ thống vẫn còn trả lời “ngớ ngẩn” (hình 1.3) như: • Luôn trả lời “Chào buổi sáng” cho tất cả các câu tiếng Anh. • Nhiều câu trả lời “Hả?”.2: Kết quả của hệ thống hội thoại tiếng Nhật [reppy4620].3: Bản dịch tiếng Việt của kết quả của hệ thống hội thoại tiếng Nhật.

Một công trình khác cũng vào 2019 của nhóm tác giả Kenji Imamura và Eiichiro Sumita [14] là một hệ thống dịch máy để dịch tiếng Anh sang tiếng Đức. Hệ thống cũng sử dụng mô hình Transformer với 𝐵𝐸𝑅𝑇𝐵𝑎𝑠𝑒,𝑈𝑛𝑐𝑎𝑠𝑒𝑑 làm Encoder và có hai giai đoạn gồm: huấn luyện Decoder và fine-tuning toàn bộ mô hình. Dữ liệu được sử dụng để huấn luyện mô hình là WMT-2014 En-De Corpus của nhóm nghiên cứu NLP tại trường đại học Stanford. Hệ thống cho kết quả khá tốt mặc dù điểm BLEU cực kỳ thấp.

16 Tình hình nghiên cứu trong nước Công trình gần nhất với lĩnh vực của đề tài này cũng dựa trên mô hình Sequence-to-sequence, tác giả Nhữ Bảo Vũ [10] đã xây dựng “mô hình đối thoại cho tiếng Việt trên miền mở dựa vào phương pháp chuỗi học liên tiếp” vào 2016. Dữ liệu được sử dụng để huấn luyện mô hình là OpenSubtitles 2016. Tuy nhiên, công trình này còn nhiều hạn chế và gặp rất nhiều khó khăn như thời gian huấn luyện rất lâu, chưa tận dụng được khả năng của GPU, chưa kết hợp kỹ thuật Attention, hay chưa trả lời được những câu hỏi khó, thường xuyên trả lời câu “tôi không biết”. Tác giả đã sử dụng kiến trúc Recurrent Neural Networks (RNNs).

Điểm yếu của phương pháp này là sự phụ thuộc xa giữa các từ trong câu và tốc độ huấn luyện chậm do phải xử lý dữ liệu đầu vào một cách tuần tự, mặc dù đã sử dụng phiên bản Long-short Term Memory (LSTM) nhưng việc cải thiện cũng không đáng kể. Công trình gần đây nhất vào năm 2019 của một tác giả với nickname là mailong25 tại doanh nghiệp hoặc nhóm Solve AGI. Tác giả đã xây dựng một hệ thống hỏi đáp tiếng Việt với mô hình BERT (hình 1.4: Kiến trúc hỏi đáp với BERT [github.com] Ý tưởng của hệ thống là tác giả phát triển thêm một hệ thống phụ hỗ trợ tìm tài liệu, đoạn văn bản liên quan với câu hỏi đầu vào bằng cách sử dụng Google Search API. Tiếp theo, hệ thống xếp hạng các văn bản dựa vào độ liên quan các từ khóa trích theo n-gram (bigram, trigram, fourgram…).

Sau đó sử dụng lớp sẵn có BertForQuestionAnswering của thư viện PyTorch với mô hình học sẵn BERT để trích xuất câu trả lời trong các văn bản. Theo tác giả mailong25 thì hệ thống vẫn còn hạn chế về số lượng dữ liệu và chỉ hỗ trợ các câu hỏi liên quan đến con người bởi vì phụ thuộc độ tốt của hệ thống phụ. 17 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2. Kiến trúc Transformer Thời gian gần đây, hầu hết các tác vụ xử lý ngôn ngữ tự nhiên, đặc biệt là dịch máy (Machine Translation) thường sử dụng kiến trúc Recurrent Neural Networks (RNNs).

Điểm yếu của phương pháp này là rất khó bắt được sự phụ thuộc xa giữa các từ trong câu và tốc độ huấn luyện chậm do phải xử lý dữ liệu đầu vào một cách tuần tự, mặc dù đã sử dụng phiên bản Truncated Backpropagation Through Time, Long-short Term Memory (LSTM) hay Gated Recurrent Unit (GRU) nhưng việc cải thiện cũng không đáng kể.