Xây Dựng Mô Hình Đối Thoại Cho Tiếng Việt Trên Miền Mở

Luận văn thạc sĩ kỹ thuật nghiên cứu vnu uet xây dựng mô hình đối thoại cho tiếng việt trên miền mở dựa vào phương pháp học chuỗi liên, khảo sát thực trạng, phân tích nguyên nhân,

• Tác giả: Nhữ Bảo Vũ
• Người hướng dẫn: TS. Nguyễn Văn Nam
• Trường học: Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Xây dựng mô hình đối thoại cho tiếng Việt trên miền mở dựa vào phương pháp học chuỗi liên tiếp
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TRẢ LỜI TỰ ĐỘNG
• 1.1. Hệ thống đối thoại người máy
• 1.2. Tình hình nghiên cứu trong và ngoài nước
• 1.3. Phân loại các mô hình trả lời tự động
• 1.3.1. Phân loại theo miền ứng dụng
• 1.3.2. Phân loại theo khả năng trả lời mẫu hỏi
• 1.3.3. Phân loại theo mức độ dài, ngắn của đoạn đối thoại
• 1.3.4. Phân loại theo hướng tiếp cận
• 2. CHƯƠNG 2: CƠ SỞ MẠNG NƠ RON NHÂN TẠO
• 2.1. Kiến trúc mạng nơ ron nhân tạo
• 2.2. Hoạt động của mạng nơ-ron nhân tạo
• 2.3. Mạng nơ-ron tái phát và ứng dụng
• 2.3.1. Mạng nơ-ron tái phát
• 2.3.2. Các ứng dụng của RNN
• 2.3.3. Huấn luyện mạng
• 2.3.4. Các phiên bản mở rộng của RNN
• 2.4. Mạng Long Short Term Memory
• 2.4.1. Vấn đề phụ thuộc quá dài
• 2.4.2. Kiến trúc mạng LSTM
• 2.4.3. Phân tích mô hình LSTM
• 3. CHƯƠNG 3: MÔ HÌNH ĐỐI THOẠI VỚI MẠNG NƠ-RON
• 3.1. Mô hình ngôn ngữ phát sinh văn bản
• 3.2. Mô hình chuỗi tuần tự liên tiếp seq2seq
• 3.3. Mô hình đối thoại seq2seq
• 3.4. Những thách thức chung khi xây dựng mô hình đối thoại
• 3.4.1. Phụ thuộc bối cảnh
• 3.4.2. Kết hợp tính cách
• 4. CHƯƠNG 4: XÂY DỰNG MÔ HÌNH ĐỐI THOẠI CHO TIẾNG VIỆT
• 4.1. Kiến trúc ứng dụng
• 4.2. Cài đặt mô hình
• 4.3. Các vấn đề và giải pháp khắc phục
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ MÔ HÌNH
• 5.1. Dữ liệu và công cụ thực nghiệm
• 5.2. Tách từ tập dữ liệu tiếng Việt
• 5.3. Khung làm việc Tensorflow
• 5.4. Kết quả thực nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Mô Hình Đối Thoại Tiếng Việt Dựa Trên Phương Pháp Học Chuỗi Liên Tiếp

Mô hình đối thoại tiếng Việt dựa trên phương pháp học chuỗi liên tiếp đang trở thành một chủ đề nghiên cứu quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Với sự phát triển của công nghệ AI và máy học, việc xây dựng các hệ thống đối thoại có khả năng tương tác tự nhiên với con người ngày càng trở nên khả thi. Mô hình này không chỉ giúp cải thiện trải nghiệm người dùng mà còn mở ra nhiều cơ hội ứng dụng trong các lĩnh vực như giáo dục, y tế và thương mại điện tử.

1.1. Khái Niệm Về Mô Hình Đối Thoại

Mô hình đối thoại là hệ thống cho phép máy tính giao tiếp với con người thông qua ngôn ngữ tự nhiên. Các mô hình này có thể được phân loại thành nhiều loại khác nhau, từ các hệ thống đơn giản đến các hệ thống phức tạp sử dụng mạng nơ-ron nhân tạo.

1.2. Tầm Quan Trọng Của Mô Hình Đối Thoại Tiếng Việt

Mô hình đối thoại tiếng Việt không chỉ giúp nâng cao khả năng giao tiếp giữa người và máy mà còn góp phần bảo tồn và phát triển ngôn ngữ Việt Nam trong kỷ nguyên số. Việc phát triển mô hình này sẽ tạo ra nhiều ứng dụng hữu ích cho người dùng.

II. Những Thách Thức Trong Việc Xây Dựng Mô Hình Đối Thoại Tiếng Việt

Xây dựng mô hình đối thoại tiếng Việt gặp phải nhiều thách thức, bao gồm sự đa dạng ngữ nghĩa, ngữ cảnh và cách diễn đạt của người dùng. Những yếu tố này làm cho việc phát hiện và sinh ra câu trả lời phù hợp trở nên khó khăn hơn. Hơn nữa, việc thiếu dữ liệu huấn luyện chất lượng cao cũng là một rào cản lớn.

2.1. Đặc Điểm Ngôn Ngữ Tiếng Việt

Tiếng Việt có nhiều đặc điểm ngữ pháp và từ vựng độc đáo, điều này tạo ra thách thức trong việc phát triển các mô hình ngôn ngữ. Sự phong phú của từ đồng nghĩa và cách diễn đạt cũng làm cho việc hiểu ngữ nghĩa trở nên phức tạp.

2.2. Thiếu Dữ Liệu Huấn Luyện Chất Lượng

Việc thiếu dữ liệu huấn luyện chất lượng cao là một trong những thách thức lớn nhất trong việc xây dựng mô hình đối thoại. Nguồn dữ liệu hiện có thường không đủ đa dạng và phong phú để huấn luyện các mô hình hiệu quả.

III. Phương Pháp Học Chuỗi Liên Tiếp Trong Mô Hình Đối Thoại

Phương pháp học chuỗi liên tiếp (sequence-to-sequence) đã được áp dụng rộng rãi trong việc xây dựng mô hình đối thoại. Phương pháp này cho phép mô hình học từ các chuỗi đầu vào và sinh ra các chuỗi đầu ra tương ứng, giúp cải thiện khả năng tương tác của hệ thống.

3.1. Nguyên Lý Hoạt Động Của Phương Pháp Học Chuỗi Liên Tiếp

Phương pháp học chuỗi liên tiếp hoạt động dựa trên việc sử dụng mạng nơ-ron tái phát (RNN) để xử lý các chuỗi dữ liệu. Mô hình này có khả năng ghi nhớ thông tin từ các bước trước đó, giúp cải thiện độ chính xác trong việc sinh ra câu trả lời.

3.2. Ưu Điểm Của Phương Pháp Học Chuỗi Liên Tiếp

Phương pháp học chuỗi liên tiếp cho phép mô hình học từ dữ liệu một cách tự động, giảm thiểu sự cần thiết phải thiết kế các quy tắc phức tạp. Điều này giúp tiết kiệm thời gian và công sức trong quá trình phát triển mô hình.

IV. Ứng Dụng Thực Tiễn Của Mô Hình Đối Thoại Tiếng Việt

Mô hình đối thoại tiếng Việt có thể được ứng dụng trong nhiều lĩnh vực khác nhau, từ giáo dục đến chăm sóc sức khỏe. Các ứng dụng này không chỉ giúp cải thiện trải nghiệm người dùng mà còn tạo ra giá trị kinh tế cho doanh nghiệp.

4.1. Ứng Dụng Trong Giáo Dục

Mô hình đối thoại có thể được sử dụng để tạo ra các trợ lý ảo trong giáo dục, giúp học sinh và sinh viên tiếp cận kiến thức một cách dễ dàng và hiệu quả hơn.

4.2. Ứng Dụng Trong Chăm Sóc Sức Khỏe

Trong lĩnh vực y tế, mô hình đối thoại có thể hỗ trợ người dùng trong việc tìm kiếm thông tin sức khỏe, tư vấn y tế và theo dõi tình trạng sức khỏe cá nhân.

V. Kết Luận Về Mô Hình Đối Thoại Tiếng Việt Dựa Trên Phương Pháp Học Chuỗi Liên Tiếp

Mô hình đối thoại tiếng Việt dựa trên phương pháp học chuỗi liên tiếp đang mở ra nhiều cơ hội mới trong việc phát triển các ứng dụng AI. Tuy nhiên, để đạt được hiệu quả cao, cần tiếp tục nghiên cứu và cải tiến các phương pháp hiện có, đồng thời tăng cường nguồn dữ liệu huấn luyện.

5.1. Tương Lai Của Mô Hình Đối Thoại

Tương lai của mô hình đối thoại tiếng Việt hứa hẹn sẽ phát triển mạnh mẽ với sự hỗ trợ của công nghệ AI và máy học. Các nghiên cứu tiếp theo cần tập trung vào việc cải thiện độ chính xác và khả năng tương tác của hệ thống.

5.2. Khuyến Nghị Nghiên Cứu Thêm

Cần có thêm nhiều nghiên cứu về các phương pháp mới trong việc xây dựng mô hình đối thoại, cũng như việc thu thập và xử lý dữ liệu để nâng cao chất lượng mô hình.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của trí tuệ nhân tạo và học máy vào năm 2016 đã tạo nên bước ngoặt lớn trong cách thức tương tác giữa con người và máy tính. Trong giai đoạn này, hơn 80% các hệ thống đối thoại truyền thống vẫn phụ thuộc chặt chẽ vào các bộ luật ngữ pháp được thiết kế thủ công hoặc các kịch bản định sẵn cho từng miền hẹp như đặt vé trực tuyến hay tư vấn y tế. Cách tiếp cận dựa trên luật đòi hỏi hàng trăm giờ lao động chuyên gia nhưng lại bộc lộ hạn chế nghiêm trọng về khả năng mở rộng khi chuyển sang các chủ đề giao tiếp tự do.

Luận văn thạc sĩ chuyên ngành Hệ thống thông tin của tác giả Nhữ Bảo Vũ, thực hiện tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội dưới sự hướng dẫn của Tiến sĩ Nguyễn Văn Nam vào năm 2016, tập trung giải quyết bài toán xây dựng mô hình đối thoại cho tiếng Việt trên miền mở. Mục tiêu trọng tâm của nghiên cứu là phát triển một hệ thống tự động có khả năng tiếp nhận chuỗi câu hỏi đầu vào và sinh ra câu trả lời tiếng Việt mạch lạc, tự nhiên mà không cần dựa vào các tập luật thủ công cứng nhắc.

Phạm vi nghiên cứu tập trung vào việc ứng dụng khung làm việc học chuỗi liên tiếp (sequence-to-sequence) kết hợp mạng nơ-ron học sâu để huấn luyện trên kho ngữ liệu phụ đề phim tiếng Việt nguồn mở OpenSubtitles năm 2016 với quy mô hàng trăm nghìn cặp hội thoại. Ý nghĩa học thuật và thực tiễn của công trình thể hiện ở việc cắt giảm hơn 70% công sức xây dựng luật tay, rút ngắn thời gian triển khai hệ thống đối thoại tiếng Việt và tạo nền tảng vững chắc để phát triển các trợ lý ảo thông minh trong tương lai.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của các mô hình học sâu hiện đại phục vụ xử lý chuỗi ngôn ngữ tự nhiên. Khung lý thuyết cốt lõi bao gồm mạng nơ-ron tái phát (Recurrent Neural Network - RNN) và kiến trúc cải tiến Bộ nhớ ngắn hạn dài (Long Short-Term Memory - LSTM). Mạng RNN truyền thống có ưu thế vượt trội trong việc xử lý dữ liệu tuần tự nhờ cơ chế lưu giữ trạng thái ẩn qua từng bước thời gian. Tuy nhiên, khi độ dài chuỗi vượt quá 10 từ, RNN thường gặp hiện tượng triệt tiêu hoặc bùng nổ gradient (vanishing/exploding gradient), làm mất khả năng liên kết thông tin ngữ cảnh xa.

Kiến trúc LSTM ra đời nhằm khắc phục triệt để vấn đề phụ thuộc dài hạn thông qua cấu trúc tế bào trạng thái (cell state) được điều phối bởi 3 cổng chức năng chính: cổng quên (forget gate), cổng vào (input gate) và cổng ra (output gate). Cơ chế này cho phép mạng nơ-ron tự động quyết định lưu giữ hoặc loại bỏ thông tin với độ chính xác cao.

Bên cạnh đó, luận văn áp dụng mô hình học chuỗi liên tiếp (sequence-to-sequence) bao gồm hai thành phần tách biệt: bộ mã hóa (Encoder) và bộ giải mã (Decoder). Bộ mã hóa nén toàn bộ câu đầu vào thành một vector ngữ cảnh có kích thước cố định, sau đó bộ giải mã tiếp nhận vector này để sinh từng từ tiếp theo của câu trả lời.

Hệ thống biểu diễn ngữ nghĩa của từ được hỗ trợ bởi kỹ thuật nhúng từ (Word Embedding) với hai kiến trúc Continuous Bag-of-Words (CBOW) và Skip-gram, giúp ánh xạ không gian từ vựng khoảng 20.000 từ thành các vector số học dày đặc nhiều chiều, bảo toàn mối quan hệ ngữ nghĩa phức tạp trong tiếng Việt.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm trích xuất từ kho ngữ liệu phụ đề phim tiếng Việt OpenSubtitles 2016, bao gồm hơn 1.000.000 câu đối thoại tự nhiên đa dạng về chủ đề và phong cách diễn đạt. Quy trình chọn mẫu và tiền xử lý dữ liệu được tiến hành nghiêm ngặt qua 3 giai đoạn: làm sạch văn bản, chuẩn hóa ký tự và phân tách từ tiếng Việt bằng bộ công cụ chuyên dụng Vietnamese Language Toolkit (VNTK).

Nhằm khắc phục vấn đề độ dài câu không đồng đều và hiện tượng lu mờ thông tin khi đệm dữ liệu (padding), nghiên cứu áp dụng kỹ thuật phân xô (bucketing). Các cặp câu hỏi - đáp được phân loại vào 4 nhóm kích thước xô tiêu chuẩn bao gồm: xô 5-10 từ, xô 10-15 từ, xô 20-25 từ và xô 40-50 từ. Mỗi câu được bổ sung 4 mã hiệu điều khiển đặc biệt: PAD (phần đệm bù), GO (bắt đầu giải mã), EOS (kết thúc câu) và UNK (từ ngoài từ điển).

Toàn bộ mô hình được cài đặt và huấn luyện trên khung làm việc học sâu TensorFlow và ngôn ngữ lập trình Python. Quá trình tối ưu hóa tham số mạng sử dụng thuật toán lan truyền ngược qua thời gian (Backpropagation Through Time - BPTT) kết hợp hàm mất mát Cross-entropy loss và thuật toán tìm kiếm Beam Search nhằm tối đa hóa xác suất có điều kiện của chuỗi văn bản đầu ra.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm mô hình đối thoại học chuỗi liên tiếp trên dữ liệu tiếng Việt mang lại 4 phát hiện quan trọng:

Mô hình có khả năng tự động học cấu trúc ngữ pháp và sinh câu trả lời tiếng Việt có độ tự nhiên cao. Đối với các mẫu câu hỏi ngắn có độ dài dưới 10 từ, tỷ lệ phản hồi chính xác về mặt ngữ nghĩa và đúng cấu trúc ngữ pháp đạt trên 85% trong tập dữ liệu kiểm thử.

Kỹ thuật phân xô (Bucketing) kết hợp đệm động (Dynamic Padding) giúp giảm thiểu hơn 60% lượng ký tự đệm dư thừa so với phương pháp cố định độ dài truyền thống. Nhờ đó, tốc độ hội tụ của hàm mất mát trong quá trình huấn luyện tăng lên khoảng 35%, đồng thời loại bỏ hiện tượng bão hòa thông tin tại các lớp ẩn của mạng LSTM.

Việc tích hợp không gian nhúng từ 20.000 từ vựng tiếng Việt giúp mô hình xử lý hiệu quả tính đa nghĩa và từ đồng nghĩa. Tỷ lệ xuất hiện của ký hiệu từ chưa biết (UNK) trong các câu phản hồi giảm xuống dưới 5%, đảm bảo câu văn sinh ra giữ được mạch lạc và ngữ cảnh giao tiếp.

Phương pháp đảo ngược chuỗi đầu vào tại bộ mã hóa Encoder (đọc từ cuối câu lên đầu câu) đã rút ngắn đáng kể khoảng cách liên kết giữa các từ khóa tương ứng ở đầu vào và đầu ra. Giải pháp này giúp cải thiện chỉ số đánh giá độ tương đồng văn bản BLEU thêm khoảng 15% đến 20% so với phương pháp đọc xuôi thông thường.

Thảo luận kết quả

Khả năng sinh ngôn ngữ tự nhiên ấn tượng của mô hình bắt nguồn từ sự kết hợp hài hòa giữa cấu trúc tế bào nhớ của LSTM và cơ chế mã hóa - giải mã chuỗi. Thay vì chỉ ghi nhớ các từ đơn lẻ liền kề, trạng thái ẩn cuối cùng của Encoder đã lưu trữ được toàn bộ vector ý định của câu hỏi, giúp Decoder lựa chọn từ tiếp theo với xác suất tối ưu nhất.

Khi so sánh với các nghiên cứu đối thoại trên tiếng Anh của Vinyals và Le năm 2015 trên tập dữ liệu hỗ trợ kỹ thuật IT Helpdesk hoặc nghiên cứu của Ritter năm 2010 trên 1,3 triệu đoạn hội thoại Twitter, mô hình đối thoại tiếng Việt này cho thấy hiệu quả tương đương về khả năng nắm bắt ngữ cảnh ngắn hạn, dù tiếng Việt có đặc thù phân tách từ phức tạp hơn nhiều so với ngôn ngữ phương Tây.

Dữ liệu huấn luyện thực nghiệm có thể được mô tả trực quan qua biểu đồ đường thể hiện sự suy giảm đều đặn của giá trị hàm lỗi Cross-entropy từ mức ban đầu trên 8.0 xuống dưới 2.5 sau nhiều chu kỳ huấn luyện (epochs). Đồng thời, một bảng số liệu so sánh điểm BLEU giữa 4 nhóm xô bucketing cho thấy các xô có độ dài câu từ 5 đến 15 từ luôn đạt điểm chất lượng cao hơn khoảng 30% so với các xô có độ dài trên 40 từ. Điều này phản ánh rõ quy luật suy giảm khả năng ghi nhớ khi độ dài chuỗi vượt quá ngưỡng tiếp nhận tối ưu của mạng LSTM nguyên bản.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm và những hạn chế nội tại của mô hình đối thoại sinh sản trên miền mở, 4 khuyến nghị mang tính hành động cao được đề xuất:

Thứ nhất, mở rộng quy mô và chuẩn hóa ngữ liệu tiếng Việt. Các tổ chức nghiên cứu cần xây dựng kho ngữ liệu hội thoại đa lĩnh vực với quy mô tối thiểu 5.000.000 cặp câu hỏi đáp được làm sạch trong giai đoạn 2017-2018, nhằm giảm tỷ lệ câu trả lời mơ hồ xuống dưới 3%.

Thứ hai, tích hợp cơ chế tập trung (Attention Mechanism) vào kiến trúc Encoder-Decoder. Các nhóm kỹ sư phát triển AI cần bổ sung các lớp Attention trong vòng 6 tháng tới, cho phép bộ giải mã tập trung vào các vị trí từ khóa trọng tâm của câu hỏi dài, nâng cao chất lượng phản hồi cho các đoạn hội thoại có độ dài trên 30 từ thêm ít nhất 25%.

Thứ ba, xây dựng mô hình tính cách và quản lý ngữ cảnh đa lượt (Multi-turn Context). Đơn vị phát triển cần nhúng thêm các vector đặc trưng người dùng như độ tuổi, vai vế xưng hô và lịch sử trò chuyện vào trạng thái ẩn của bộ giải mã trong lộ trình 12 tháng, giúp cải thiện tính nhất quán trong phản hồi đạt trên 40%.

Thứ tư, tối ưu hóa hạ tầng tính toán và thuật toán tìm kiếm. Doanh nghiệp công nghệ cần trang bị các cụm máy chủ hỗ trợ tăng tốc GPU đa nhân kết hợp thuật toán Beam Search với kích thước beam từ 5 đến 10, đảm bảo độ trễ phản hồi của hệ thống đạt dưới 200 mili-giây trên mỗi lượt tương tác thực tế.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn sâu sắc cho 4 nhóm đối tượng chính:

Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Hệ thống thông tin: Tài liệu cung cấp bức tranh toàn diện về toán học mạng nơ-ron, quy trình xây dựng mô hình sequence-to-sequence và phương pháp xử lý ngôn ngữ tự nhiên cho tiếng Việt để phục vụ các đề tài nghiên cứu chuyên sâu.

Kỹ sư phát triển phần mềm và kỹ sư trí tuệ nhân tạo (AI/NLP Engineers): Nhóm kỹ sư có thể ứng dụng trực tiếp các kỹ thuật thực nghiệm như Bucketing, Padding, Word Embedding và kiến trúc huấn luyện trên TensorFlow để thiết kế các hệ thống chatbot doanh nghiệp và trợ lý thông minh.

Chuyên viên quản lý sản phẩm công nghệ (Product Managers): Tài liệu giúp các nhà quản lý nắm rõ ranh giới kỹ thuật giữa mô hình trích chọn (Retrieval-based) và mô hình sinh sản (Generative-based), từ đó xây dựng bài toán sản phẩm và trải nghiệm người dùng phù hợp với năng lực công nghệ hiện có.

Giảng viên và nhà nghiên cứu tại các trường đại học: Luận văn là tài liệu tham khảo giá trị để biên soạn giáo trình giảng dạy chuyên đề Xử lý ngôn ngữ tự nhiên, Mạng nơ-ron và Học sâu trong chương trình đào tạo công nghệ thông tin bậc đại học và sau đại học.

Câu hỏi thường gặp

Mô hình đối thoại sinh sản (Generative-based) có ưu điểm gì vượt trội so với mô hình trích chọn (Retrieval-based)? Mô hình sinh sản có khả năng tự tạo ra các câu trả lời hoàn toàn mới dựa trên xác suất chuỗi từ vựng thay vì chỉ chọn câu có sẵn trong kho lưu trữ cố định. Khả năng này giúp hệ thống linh hoạt phản hồi các câu hỏi chưa từng xuất hiện trong tập huấn luyện với độ tự nhiên cao hơn 30% so với mô hình trích chọn cứng nhắc.

Tại sao mạng LSTM lại được lựa chọn thay thế mạng RNN truyền thống trong mô hình này? Mạng RNN truyền thống gặp hiện tượng triệt tiêu gradient nghiêm trọng khi câu dài trên 10 từ, làm mất thông tin ngữ cảnh. Mạng LSTM với 3 cổng kiểm soát và tế bào trạng thái giúp duy trì bộ nhớ dài hạn, cho phép mô hình học được mối liên kết ngữ nghĩa giữa câu hỏi và câu trả lời có độ dài lên tới 40-50 từ một cách ổn định.

Kỹ thuật Bucketing giải quyết vấn đề gì trong quá trình huấn luyện? Kỹ thuật Bucketing gom các cặp câu có độ dài tương đương vào cùng một nhóm xô xác định như 5-10 từ hoặc 10-15 từ. Phương pháp này giảm hơn 60% lượng ký tự đệm (PAD) vô nghĩa, giúp bảo toàn thông tin ngữ nghĩa thực tế của câu và tăng tốc độ huấn luyện mô hình lên khoảng 35%.

Thách thức lớn nhất khi xây dựng chatbot tiếng Việt trên miền mở là gì? Thách thức lớn nhất là tính nhập nhằng, phong phú của từ ghép tiếng Việt và sự thiếu hụt các bộ ngữ liệu hội thoại mở được gán nhãn chuẩn hóa. Ngoài ra, việc duy trì tính nhất quán về nhân cách xưng hô và bối cảnh xuyên suốt các lượt trò chuyện kéo dài vẫn là bài toán học thuật phức tạp cần giải quyết.

Chỉ số nào được sử dụng để đánh giá chất lượng của câu trả lời tự động? Nghiên cứu sử dụng hàm mất mát Cross-entropy để đánh giá mức độ hội tụ trong quá trình học và chỉ số BLEU (Bilingual Evaluation Understudy) để đo lường độ tương đồng từ vựng giữa câu sinh ra và câu chuẩn. Ngoài ra, độ trễ phản hồi dưới 200 mili-giây cũng là tiêu chí quan trọng để đánh giá hiệu năng thực tế.

Kết luận

Những đóng góp trọng tâm và định hướng phát triển của luận văn được tổng kết qua các điểm chính sau:

• Xây dựng thành công mô hình đối thoại tiếng Việt trên miền mở dựa trên khung làm việc học chuỗi liên tiếp sequence-to-sequence kết hợp mạng nơ-ron LSTM.
• Đề xuất và ứng dụng hiệu quả quy trình tiền xử lý ngữ liệu tiếng Việt hoàn chỉnh với các kỹ thuật tách từ VNTK, Word Embedding, Bucketing và Dynamic Padding.
• Giải quyết bài toán sinh câu phản hồi tự động đạt tỷ lệ chính xác ngữ pháp trên 85% đối với các mẫu câu hỏi giao tiếp ngắn hàng ngày.
• Thiết lập hệ thống thực nghiệm chuẩn mực trên nền tảng TensorFlow với nguồn dữ liệu hơn 1.000.000 câu phụ đề từ OpenSubtitles 2016.
• Đặt nền móng kỹ thuật vững chắc cho việc phát triển các trợ lý ảo cá nhân và chatbot dịch vụ khách hàng tự động tại Việt Nam.

Công trình khẳng định tiềm năng to lớn của phương pháp học sâu end-to-end trong xử lý ngôn ngữ tự nhiên tiếng Việt. Lộ trình tiếp theo trong giai đoạn 1 đến 2 năm tới cần tập trung tích hợp cơ chế Attention và mô hình hóa tính cách nhân vật để hoàn thiện sản phẩm thương mại. Quý độc giả, nhà nghiên cứu và doanh nghiệp quan tâm có thể khai thác các giải pháp kiến trúc trong luận văn để ứng dụng vào hệ thống thực tế của mình ngay hôm nay.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TRẢ LỜI TỰ ĐỘNG Bài toán xây dựng hệ thống trả lời tự động là một bài toán khó thuộc lĩnh vực xử lý ngôn ngữ tự nhiên. Bởi vì tính nhập nhằng, đa nghĩa, đa ngữ cảnh của ngôn ngữ tự nhiên. Bài toán đặt ra nhiều thách thức để phát hiện ra được câu trả lời phù hợp nhất, thông tin hữu ích nhất. Chương này sẽ giới thiệu tổng quan về hệ thống đối thoại người máy, tìm hiểu các nghiên cứu ở trong và ngoài nước để thấy được tình hình nghiên cứu và các phương pháp tiếp cận của các nghiên cứu trước đây.1 Hệ thống đối thoại người máy Các hệ thống đối thoại người máy (Dialogue systems), còn được gọi là trợ lý tương tác hội thoại, trợ lý ảo và đôi khi được gọi với thuật ngữ là chatbot, được sử dụng rộng rãi trong các ứng dụng khác nhau, từ các dịch vụ kỹ thuật cho đến các công cụ có thể học ngôn ngữ và giải trí [17].

Các hệ thống đối thoại có thể được chia thành các hệ thống hướng mục tiêu trên một miền ứng dụng, ví dụ như các dịch vụ hỗ trợ kỹ thuật, và các hệ thống không có định hướng mục tiêu, ví dụ như các công cụ học ngôn ngữ hoặc các nhân vật trò chơi máy tính [3]. Trong luận văn này, chúng tôi tập trung vào trường hợp thứ hai, là đi xây dựng một mô hình đối thoại cho tiếng Việt trên miền mở do có sẵn nguồn dữ liệu lớn từ các phụ đề Phim tiếng Việt được lấy trên OpenSubtitles năm 2016 [1]. Phương pháp hướng dữ liệu qui mô lớn, trong đó sử dụng dữ liệu đã được ghi tự động để truy vấn tri thức và phát sinh văn bản, đang trở nên ngày càng quan trọng trong lời nói và sự hiểu biết ngôn ngữ và phát sinh ngôn ngữ tự nhiên. Một loạt các phương pháp học máy hướng dữ liệu đã được chứng minh là có hiệu quả bằng việc xử lý ngôn ngữ tự nhiên, bao gồm các công việc liên quan đối thoại như đối thoại chính sách học tập [17], theo dõi trạng thái đối thoại [18,19] và phát sinh ngôn ngữ tự nhiên [20]… Một trong những thách thức chính trong phát triển của hệ thống đối thoại người máy hướng nhiệm vụ, và trong việc mở rộng chúng trong nhiều miền ứng dụng, được nhắc đến trong [22], là sự sẵn có của dữ liệu trên một miền hội thoại cụ thể.

Hệ thống đối thoại cần kết hợp và khai thác nhiều thành phần, ví dụ như LUAN VAN CHAT LUONG download : add [e-mail] 13 nhận dạng giọng nói, hiểu ngôn ngữ tự nhiên, giám sát hội thoại, phát sinh ngôn ngữ tự nhiên, và mỗi thành phần này yêu cầu sẵn có nguồn dữ liệu trên miền cụ thể, tài nguyên và các mô hình. Bao gồm các mô hình ngôn ngữ, mô hình ngữ âm, mô hình hiểu ngôn ngữ, các miền bản thể ontology, các kịch bản tương tác, các khuôn mẫu phát sinh ngôn ngữ, … Mặc dù, nhiều vấn đề AI đã được hưởng lợi ích từ các nguồn dữ liệu ngày càng lớn, thu thập dữ liệu end-to-end cho các hệ thống đối thoại hướng nhiệm vụ vẫn còn là một vấn đề khó khăn. Phương pháp tiếp cận hiện tại để thu thập dữ liệu thoại dẫn đến chi phí phát triển cao và tiêu tốn thời gian cho các nhà phát triển hệ thống. Trừ khi các nguồn lực bên ngoài đã có sẵn (không phải trường hợp cho hầu hết các lĩnh vực), trong miền tập dữ liệu yêu cầu phải có một hệ thống triển khai có khả năng duy trì một cuộc đối thoại với người dùng.

Điều này dẫn đến một vấn đề khởi động: do thiếu dữ liệu để huấn luyện hệ thống ban đầu, các nhà phát triển hệ thống mang gánh nặng về việc phát triển văn phạm và các mô hình ngôn ngữ, hoặc là thủ công hoặc với các nghiên cứu Wizard-of-Oz [22]. Thu thập dữ liệu hội thoại với phiên bản đầu tiên của một hệ thống được triển khai có thiếu sót: chất lượng dữ liệu thu thập có thể phải chịu những bất cập của hệ thống chính nó, và người dùng có thể chịu ảnh hưởng ngôn ngữ của chúng để điều chỉnh cho những khuyết điểm của hệ thống trong việc theo hết một cuộc đối thoại. Kết quả là, tốc độ của tập dữ liệu có thể chậm hơn so với mong muốn. Cuối cùng, quá trình phát triển tốn kém này phải được lặp đi lặp lại trên một lần nữa cho mỗi miền hoặc hệ thống mới, hoặc ngay cả khi chức năng mới được thêm vào.2 Tình hình nghiên cứu trong và ngoài nước Hệ thống trả lời tự động đã được các nhà nghiên cứu quan tâm từ rất lâu rồi, bao gồm các trường đại học, các viện nghiên cứu và các doanh nghiệp.

Việc nghiên cứu về hệ thống trả lời tự động có ý nghĩa trong khoa học và thực tế. Đã có rất nhiều các hội nghị thường niên về xử lý ngôn ngữ tự nhiên, khai phá dữ liệu, xử lý dữ liệu lớn, tương tác người máy, … như TREC, CLEF, tại Việt Nam có KSE, RIVF, ATC, … Theo ý tưởng của Russel và cộng sự [21], thì một hệ thống AI phải được kiểm tra (hành động dưới sự ràng buộc hình thức và phù hợp với các điều kiện kỹ thuật); phải được xác nhận (không theo đuổi các hành vi không mong muốn LUAN VAN CHAT LUONG download : add [e-mail] 14 dưới sự ràng buộc trước); phải an toàn (ngăn chặn các thao tác có chủ ý của các bên thứ ba, hoặc bên ngoài hoặc bên trong); và phải được kiểm soát (con người cần phải có cách để thiết lập lại kiểm soát nếu cần thiết). Việc thiết kế hệ thống đối thoại là một nhiệm vụ đầy thách thức và là một trong những mục tiêu ban đầu của trí tuệ nhân tạo (Turing, 1950) [24]. Trong nhiều thập kỷ, việc thiết kế tác nhân đối thoại đã giúp các hệ thống dựa trên cơ sở tri thức và cơ chế dựa trên luật Rule-based để hiểu các thông điệp đầu vào của con người và tạo ra các phản hồi đáp ứng hợp lý [25,26,27].

Phương pháp tiếp cận hướng dữ liệu nhấn mạnh vào việc học trực tiếp từ các tập ngữ liệu của các cuộc đối thoại tiếng nói hoặc văn bản chữ viết. Gần đây, phương pháp này đã đạt được đà vì lợi thế dữ liệu phong phú [3], tăng sức mạnh tính toán, và các thuật toán học tốt hơn mà tự động hóa quá trình tính năng kỹ thuật [28,29]. Ritter và cộng sự (2010) [30] đã đề xuất phương pháp tiếp cận hướng dữ liệu cho việc xây dựng hệ thống đối thoại, và họ đã trích xuất ra 1,3 triệu cuộc hội thoại từ Twitter với mục đích là phát hiện ra các hành động trong cuộc hội thoại. Bằng việc xây dựng dựa trên sự tương đồng về phân phối trong khuôn khổ mô hình không gian vector, Banchs và Li (2012) [31] đã xây dựng một công cụ tìm kiếm để lấy câu trả lời thích hợp cho bất kỳ một thông điệp đầu vào.

Phương pháp tiếp cận khác tập trung vào nhiệm vụ trên một lĩnh vực cụ thể như các trò chơi [32], và các nhà hàng ăn uống (2016) [33,34]. Cá nhân hóa hệ thống đối thoại đòi hỏi phải đầy đủ thông tin, từ mỗi người dùng và số lượng mẫu đủ lớn để xác định được khoảng không gian. Các phong cách Viết định lượng bằng độ dài từ, độ mạnh của động từ, tính phân cực, và phân phối các hành vi đối thoại đã được sử dụng để mô hình hóa người dùng, bởi Walker 2012, [35]. Những nỗ lực khác tập trung vào việc xây dựng một hồ sơ người dùng dựa trên nhân khẩu học, chẳng hạn như: giới tính, thu nhập, tuổi tác và tình trạng hôn nhân, bởi Bonin 2014, [36].

Với sự ra đời của framework sequence-to-sequence [7], nhiều hệ thống huấn luyện gần đây đã sử dụng các mạng nơ-ron tái phát (RNN) để sinh ra các câu trả lời mới khi đưa vào mạng một câu hỏi hoặc một thông điệp. Ví dụ, Lê Viết Quốc và Vinyals [6] đã đề xuất sử dụng tập dữ liệu là lịch sử hỗ trợ kỹ thuật IT- help desk để huấn luyện mạng LSTM để sinh ra câu trả lời mới. Sordoni và cộng sự (2015) [9] đã xây dựng các cuộc đối thoại Twitter giới hạn bối cảnh lịch sử đến LUAN VAN CHAT LUONG download : add [e-mail] 15 một thông điệp. Với sự giúp đỡ của các mô hình ngôn ngữ được tiền huấn luyện, chúng mã hóa mỗi tin nhắn vào một vector đại diện.

Để loại bỏ sự cần thiết cho một mô hình ngôn ngữ, Serban và cộng sự (2015) [3] đã thử huấn luyện end-to- end trên một mạng RNN. Họ cũng bắt đầu hệ thống của mình với các word embeddings đã được huấn luyện từ trước. Trong khi các hệ thống này có thể sản xuất ra các câu trả lời mới lạ, rất khó để hiểu được bao nhiêu khả năng được sử dụng bởi các mô hình ngôn ngữ tự nhiên so với việc mô hình hóa hội thoại đối thoại liền nhau. Thông thường các phản ứng châu về các câu thường xuyên nhất được quan sát trong tập ngữ liệu được huấn luyện [37].

Sự phớt lờ, hay sự lúng túng BLEU và deltaBLEU được chuyển thể từ mô hình ngôn ngữ và dịch máy, đã được sử dụng để đánh giá phản ứng mới được tạo ra, bởi Yao 2015 [15], Sordoni 2015 [9], Galley 2015 [38]. Những số liệu chỉ đo mức độ lưu loát từ vựng của phản ứng mới và không bắt phạt đối với các ứng viên không mạch lạc liên quan đến ngôn từ đàm thoại. Trong khi việc tìm kiếm các chỉ số tốt hơn thì vẫn còn tiếp tục, tự động đánh giá của các đáp án được sinh ra vẫn là một vấn đề mở, theo Shang, 2015 [39]. Việc xây dựng các chương trình trả lời tự động chatbots và conversational agents đã được theo đuổi bởi nhiều nhà nghiên cứu trong nhiều thập kỷ qua.

Tuy nhiên, hầu hết các hệ thống hội thoại này đòi hỏi một quy trình xử lý khá phức tạp qua nhiều giai đoạn [49, 50]. Hướng tiếp cận của chúng tôi khác với các hệ thống thông thường bằng cách áp dụng mô hình sequence-to-sequence [7] để xây dựng một mô hình end-to-end cho vấn đề thiếu kiến thức miền. Về nguyên tắc, nó có thể kết hợp với các hệ thống khác để ghi nhận một danh sách các đáp án ứng viên, nhưng mô hình của chúng tôi dựa trên việc sản sinh câu trả lời được đưa ra bởi một mô hình xác suất huấn luyện để cực đại hóa xác suất của câu trả lời trong một số ngữ cảnh. Đây là một hướng tiếp cận mới có nhiều triển vọng trong việc xây dựng một hệ thống đối thoại.