Nghiên Cứu và Phát Triển Phương Pháp Dịch Tự Động Ngôn Ngữ Ký Hiệu Việt Nam

• Tác giả: Nguyễn Thị Bích Điệp
• Người hướng dẫn: TS. Vũ Tất Thắng
• Trường học: Học viện Khoa học và Công nghệ
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Phương Pháp Dịch Tự Động Ngôn Ngữ Ký Hiệu Việt Nam
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN DỊCH NGÔN NGỮ KÝ HIỆU VIỆT NAM
• 1.1. Tổng quan về ngôn ngữ ký hiệu
• 1.2. Lịch sử và phân loại ngôn ngữ ký hiệu trên thế giới
• 1.3. Đặc điểm về cú pháp trong câu ngôn ngữ ký hiệu Việt Nam
• 1.4. Các nghiên cứu liên quan
• 1.5. Bài toán dịch ngôn ngữ ký hiệu Việt Nam
• 1.6. Kết luận chương
• 2. CHƯƠNG 2: CÁC KIẾN THỨC CƠ SỞ
• 2.1. Kiến thức cơ sở về dịch máy
• 2.2. Dịch dựa trên luật
• 2.3. Các hướng tiếp cận chính
• 2.4. Nguyên tắc cơ bản của RBMT
• 2.5. Các thành phần của một hệ thống RBMT
• 2.6. Ưu và nhược điểm của RBMT
• 2.7. Dịch máy thống kê
• 2.8. Dịch máy dựa trên mạng rơron
• 2.9. Mô hình Sequence to Sequence
• 2.10. Mô hình Transformer
• 2.11. Đánh giá chất lượng bản dịch máy
• 2.12. Khái quát về đánh giá chất lượng bản dịch máy
• 2.13. Điểm đánh giá BLEU
• 2.14. Điểm đánh giá hiệu suất mô hình ngôn ngữ Perplexity
• 2.15. Kết luận chương
• 3. CHƯƠNG 3: PHƯƠNG PHÁP TIẾP CẬN DỰA TRÊN CẤU TRÚC TRONG DỊCH TỰ ĐỘNG NGÔN NGỮ KÝ HIỆU VIỆT NAM
• 3.1. Giới thiệu về bài toán
• 3.2. Xây dựng cơ sở dữ liệu ban đầu cho bài toán
• 3.3. Tập từ điển VSL-Lexicon
• 3.4. Bộ dữ liệu song ngữ Vie-VSL10k
• 3.5. Vấn đề tổng hợp luật
• 3.6. Tính chất rút gọn trong câu VSL
• 3.7. Tập hợp đặc điểm cú pháp câu VSL
• 3.8. Xây dựng hệ thống dịch dựa trên luật
• 3.9. Các thực nghiệm và đánh giá hệ thống dịch dựa trên luật
• 3.10. Kết luận chương
• 4. CHƯƠNG 4: LÀM GIÀU DỮ LIỆU CHO BÀI TOÁN DỊCH TỰ ĐỘNG NGÔN NGỮ KÝ HIỆU VIỆT NAM
• 4.1. Giới thiệu chung về kỹ thuật làm giàu dữ liệu trong dịch máy
• 4.2. Cơ sở của phương pháp đề xuất
• 4.3. Quy trình làm giàu dữ liệu
• 4.4. Kết quả thực nghiệm và đánh giá
• 4.5. Kết luận chương
• 5. CHƯƠNG 5: PHƯƠNG PHÁP TIẾP CẬN DỰA TRÊN THỐNG KÊ VÀ MẠNG NORON TRONG DỊCH TỰ ĐỘNG NGÔN NGỮ KÝ HIỆU VIỆT NAM
• 5.1. Cải tiến mô hình dịch IBM cho bài toán dịch Vie-VSL
• 5.2. Mô hình Sequence to Sequence cho bài toán
• 5.3. Mô hình bộ mã hóa và giải mã
• 5.4. Huấn luyện mạng
• 5.5. Tiến trình dịch
• 5.6. Mô hình Transformer cho bài toán dịch
• 5.7. Quá trình mã hóa và giải mã
• 5.8. Khởi tạo mô hình Transformer
• 5.9. Đánh giá các kết quả thực nghiệm
• 5.10. Kết luận chương
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN NGHIÊN CỨU
• DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Dịch Tự Động Ngôn Ngữ Ký Hiệu Việt Giới Thiệu Tổng Quan 55 ký tự

Nghiên cứu về dịch tự động ngôn ngữ ký hiệu Việt Nam (VSL) còn hạn chế, gây khó khăn trong việc truyền tải thông tin đến người khiếm thính và giao tiếp giữa họ với cộng đồng. Bài toán dịch VSL, đặc biệt là từ ngôn ngữ thông thường sang VSL, trở nên cấp thiết. Các nghiên cứu quốc tế đã có những nỗ lực đáng kể, ví dụ như dịch ASL-tiếng Anh, hỗ trợ dịch ngôn ngữ ký hiệu quốc tế, và ứng dụng trong giáo dục. Tuy nhiên, việc cải thiện hiệu suất và chất lượng của các hệ thống dịch VSL là cần thiết để tạo điều kiện giao tiếp tốt hơn và giúp người khiếm thính hòa nhập vào xã hội và giáo dục. Bài toán dịch ngôn ngữ kí hiệu Việt Nam được thể hiện qua bối cảnh xã hội và các nghiên cứu quốc tế đã đưa ra một số vấn đề nghiên cứu chính. Trên thế giới, đã có những nỗ lực đáng kể trong việc nghiên cứu và triển khai các hệ thống dịch ngôn ngữ kí hiệu: ASL-English Translation, International Sign Language, Educational Sign Language Translation...

1.1. Tầm Quan Trọng Của Dịch VSL Trong Giáo Dục Xã Hội

Dịch VSL đóng vai trò then chốt trong việc giúp người khiếm thính tiếp cận thông tin, kiến thức và tham gia đầy đủ vào các hoạt động xã hội. Theo tài liệu gốc, "trong lĩnh vực giáo dục, dịch ngôn ngữ kí hiệu đóng vai trò quan trọng để đảm bảo rằng người khiếm thính có quyền truy cập vào kiến thức." Việc phát triển các công cụ hỗ trợ dịch VSL hiệu quả sẽ giúp thu hẹp khoảng cách giao tiếp và tạo điều kiện cho người khiếm thính hòa nhập cộng đồng. Các dự án nghiên cứu ban đầu về bài toán này hầu hết đều là trên các mô hình dịch dựa trên cấu trúc. Các nghiên cứu gần đây đang tận dụng tối đa những tiến bộ kỹ thuật trong các lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP) và Dịch máy (MT), với mục đích phát triển các hệ thống có khả năng dịch giữa ngôn ngữ ký hiệu và ngôn ngữ nói nhằm lấp đầy khoảng cách giao tiếp giữa cộng đồng nói tiếng SL và cộng đồng sử dụng ngôn ngữ nói.

1.2. Các Hướng Nghiên Cứu Dịch VSL Trên Thế Giới Hiện Nay

Các nghiên cứu trên thế giới tập trung vào cả phương pháp cổ điển (dựa trên luật và thống kê) và hiện đại (học sâu). Phương pháp học sâu, mặc dù hứa hẹn, đòi hỏi lượng dữ liệu lớn và ít chú trọng đến đánh giá từ người dùng khiếm thính. Đáng chú ý, hầu hết các đặc điểm của bài toán dịch SL mang những tính chất tương đồng như vấn đề của các bài toán dịch ngôn ngữ khác. Chúng đều là quá trình sử dụng trí tuệ nhân tạo để tự động dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác mà không cần sự tham gia của con người. Tuy nhiên, trong bài toán dịch VSL là bài toán với 3 đầu vào là câu tiếng Việt thông thường, đầu ra cuối cùng là hình ảnh, video, các mô hình diễn họa 3D. Nhưng một bước trung gian quan trọng của quá trình dịch là từ câu tiếng Việt thông thường sang câu dạng đúng cú pháp trong VSL.

II. Thách Thức Dịch Tự Động VSL Cú Pháp và Dữ Liệu 58 ký tự

Bài toán dịch VSL đối mặt với nhiều thách thức. VSL có cú pháp đặc trưng, khác biệt so với tiếng Việt, bao gồm tính giản lược, nhấn mạnh trọng tâm và trật tự từ. Ngoài ra, thiếu hụt dữ liệu song ngữ VSL-tiếng Việt chất lượng cao là một rào cản lớn. Các công trình nghiên cứu cần tập trung vào việc xây dựng bộ dữ liệu phong phú, từ điển VSL chuyên dụng và phát triển các mô hình dịch máy phù hợp với đặc điểm của VSL. Quan điểm của người dùng khiếm thính phải được phân tích chính xác và việc thực thi công nghệ đối với cộng đồng người khiếm thính sẽ không hiệu quả. Do vậy, việc chú trọng đến cấu trúc cú pháp trong ngôn ngữ ký hiệu là quan trọng, nhưng trong nhiều nghiên cứu lại xem nhẹ vấn đề này.

2.1. Đặc Điểm Cú Pháp Riêng Biệt Của Ngôn Ngữ Ký Hiệu VSL

VSL có những đặc trưng cơ bản như tính giản lược, nhấn mạnh trọng tâm và thay đổi trật tự từ so với tiếng Việt thông thường. Việc nắm bắt và xử lý các đặc điểm này là then chốt để dịch VSL chính xác. Theo tài liệu, VSL có một số đặc trưng cơ bản như tính giản lược, nhấn mạnh trọng tâm và thay đổi trật tự từ so với ngôn ngữ tiếng Việt thông thường. Ngoài ra, việc biểu diễn từ câu đúng cú pháp trong VSL sang các dạng hình ảnh, mô hình 3D đã có những phương pháp kỹ thuật được đề xuất và có kết quả tốt.

2.2. Vấn Đề Thiếu Dữ Liệu Song Ngữ Chất Lượng Cao Cho VSL

Sự thiếu hụt dữ liệu song ngữ VSL-tiếng Việt chất lượng cao là một trong những trở ngại lớn nhất cho việc phát triển hệ thống dịch VSL. Việc xây dựng các bộ dữ liệu lớn và đáng tin cậy là cần thiết để đào tạo các mô hình dịch máy hiệu quả. Các nghiên cứu về dịch Ngôn ngữ ký hiệu trên thế giới quan tâm đến bài toán dịch text-to-text thường áp dụng cả những phương pháp cổ điển và hiện đại. Một số phương pháp dịch máy dựa trên luật và thống kê cổ điển với cách tiếp cận đơn giản nhưng vẫn mang lại những hiệu quả nhất định bới những đặc trưng trong cú pháp ngôn ngữ ký hiệu.

III. Phương Pháp Dịch Dựa Trên Luật Cho VSL Hướng Dẫn 54 ký tự

Mô hình dịch dựa trên luật (Rule-Based Machine Translation - RBMT) là một phương pháp cổ điển nhưng vẫn hiệu quả trong dịch VSL. Phương pháp này dựa trên việc xây dựng các quy tắc ngữ pháp và từ vựng để chuyển đổi từ tiếng Việt sang VSL. Ưu điểm của RBMT là dễ hiểu, dễ kiểm soát, đảm bảo tính chính xác về cú pháp. Tuy nhiên, nhược điểm là tốn nhiều công sức xây dựng quy tắc và khó mở rộng. Các phương pháp hiện đại dựa trên học sâu (Deep Learning) trong các nghiên cứu gần đây với các ưu điểm nổi bật như tự động học các đặc trưng của ngôn ngữ ký hiệu từ dữ liệu đầu vào mà không cần đến các quy tắc cụ thể; độ chính xác cao; có khả năng mở rộng với tốc độ xử lý nhanh. Tuy nhiên nhược điểm của hầu hết các nghiên cứu này là chưa có một bộ dữ liệu đủ lớn để đào tạo cũng như ít xem xét đến quan điểm và đánh giá của người khiếm thính.

3.1. Các Bước Xây Dựng Hệ Thống Dịch RBMT Cho Ngôn Ngữ VSL

Quá trình xây dựng hệ thống dịch RBMT bao gồm các bước: xây dựng từ điển VSL, phân tích cú pháp câu tiếng Việt, xây dựng các quy tắc chuyển đổi cú pháp, và tạo ra câu VSL. Cần chú trọng đến các đặc điểm cú pháp riêng của VSL để xây dựng quy tắc chuyển đổi phù hợp. Trọng tâm của bài toán dịch ngôn ngữ ký hiệu Việt Nam vẫn là vấn đề dịch ngôn ngữ thông thường dạng văn bản sang văn bản đúng cấu trúc cú pháp trong ngôn ngữ ký hiệu Việt Nam (text-to-text). Tóm lại, bài toán đặt ra trong luận án này bao gồm việc triển khai, đề xuất và cải tiến các mô hình dịch máy trong việc dịch ngôn ngữ thông thường dạng văn bản sang văn bản đúng cấu trúc cú pháp trong ngôn ngữ ký hiệu Việt Nam.

3.2. Ưu Điểm Hạn Chế Của Phương Pháp RBMT Trong Dịch VSL

RBMT có ưu điểm là dễ kiểm soát, đảm bảo tính chính xác về cú pháp, nhưng nhược điểm là tốn nhiều công sức xây dựng quy tắc và khó mở rộng. RBMT phù hợp với các bài toán dịch VSL đơn giản, có phạm vi hẹp. Mặc dù mô hình dựa trên mạng neuron là tiến bộ và mạnh mẽ, nhưng cũng có thể kết hợp phương pháp dịch dựa trên luật. Điều này đặc biệt hữu ích khi chúng ta cần đảm bảo tính chính xác và đúng cú pháp trong ngôn ngữ kí hiệu. Phương pháp dịch dựa trên luật có thể xác định các quy tắc cụ thể để ánh xạ từ ngôn ngữ thông thường sang VSL và ngược lại.

IV. Dịch VSL Dựa Trên Thống Kê Mạng Neuron Giải Pháp 59 ký tự

Các phương pháp dịch máy thống kê (Statistical Machine Translation - SMT) và dịch máy dựa trên mạng neuron (Neural Machine Translation - NMT) sử dụng các mô hình học máy để dịch từ tiếng Việt sang VSL. SMT dựa trên thống kê các cặp từ/cụm từ tương ứng, còn NMT sử dụng mạng neuron sâu để học biểu diễn ngữ nghĩa của câu. NMT thường cho kết quả tốt hơn SMT, đặc biệt với các câu phức tạp. Mô hình dịch máy dựa trên mạng neuron hiện đại (Neural Network-Based Machine Translation): Mô hình này sử dụng tiến bộ trong lĩnh vực học máy và xử lý ngôn ngữ tự nhiên (NLP) để xây dựng một hệ thống dịch ngôn ngữ kí hiệu hiệu quả.

4.1. Cải Tiến Mô Hình Dịch Thống Kê IBM Cho Bài Toán Dịch VSL

Mô hình IBM có thể được cải tiến bằng cách điều chỉnh các tham số, sử dụng các kỹ thuật làm mịn để giảm thiểu sự cố dữ liệu thưa thớt, và kết hợp thông tin cú pháp để cải thiện chất lượng dịch. - Xây dựng mô hình dịch máy: Luận án sử dụng nhiều mô hình dịch máy khác nhau cho bài toán này, bao gồm mô hình dựa trên mạng nơ-ron (neural networks) như Transformer, Seq2Seq, mô hình dựa trên cấu trúc và luật ngữ pháp của ngôn ngữ ký hiệu. Mô hình sẽ được đào tạo trên dữ liệu đã thu thập và tiền xử lý để học cách dịch giữa hai ngôn ngữ.

4.2. Ứng Dụng Mô Hình Sequence to Sequence Và Transformer

Mô hình Sequence-to-Sequence và Transformer là hai kiến trúc mạng neuron phổ biến trong NMT. Cả hai mô hình đều có khả năng học các biểu diễn ngữ nghĩa phức tạp và tạo ra các câu VSL có ngữ pháp chính xác. Các đóng góp chính của luận án gồm: 1) Đề xuất một phương án dịch đơn giản và hiệu quả cho bài toán sử dụng mô hình dịch dựa trên luật. Tuy là một phương pháp cổ điển nhưng phù hợp với bài toán đặt ra. 2) Đề xuất một phương pháp làm giàu dữ liệu dựa trên mạng từ cho dữ liệu song ngữ câu tiếng Việt – câu đúng cú pháp trong VSL. 3) Cải tiến một mô hình dịch thống kê cơ bản và một số mô hình dịch hiện đại dựa trên mạng Noron cho bài toán.

V. Làm Giàu Dữ Liệu Cho Dịch Tự Động VSL Bí Quyết 57 ký tự

Làm giàu dữ liệu là một kỹ thuật quan trọng để cải thiện hiệu suất của các mô hình dịch máy, đặc biệt khi dữ liệu huấn luyện còn hạn chế. Các phương pháp làm giàu dữ liệu bao gồm: tạo ra các biến thể của câu gốc, sử dụng từ điển đồng nghĩa, và dịch ngược (back-translation). Phương pháp nghiên cứu cho bài toán dịch ngôn ngữ ký hiệu Việt Nam là một quá trình bao gồm các bước từ thu thập dữ liệu, xây dựng mô hình, đánh giá, tối ưu hóa. Các phương pháp dựa trên mạng nơ-ron và dựa trên luật có thể giúp đảm bảo tính chính xác và hiệu quả của hệ thống dịch ngôn ngữ ký hiệu.

5.1. Kỹ Thuật Tạo Dữ Liệu Mới Từ Dữ Liệu VSL Hiện Có

Sử dụng từ điển đồng nghĩa để thay thế các từ trong câu gốc, tạo ra các câu mới có ý nghĩa tương đương. Áp dụng các quy tắc ngữ pháp để tạo ra các biến thể của câu gốc. Luận án đã xây dựng các bộ dữ liệu: từ điển ngôn ngữ ký hiệu Việt Nam VSL-Lexicon; dữ liệu “song ngữ” Vie-VSL10k, Vie-VSL60k công bố cho cộng đồng nghiên cứu sử dụng.

5.2. Dịch Ngược Back Translation Phương Pháp Hiệu Quả

Dịch ngược là phương pháp dịch từ VSL sang tiếng Việt, sau đó dịch ngược lại từ tiếng Việt sang VSL. Quá trình này tạo ra các câu VSL mới, giúp mô hình học được các biểu diễn ngữ nghĩa tốt hơn. Phạm vi của luận án tập trung vào các phương pháp dịch máy cho bài toán dịch câu tiếng Việt sang câu đúng cú pháp trong ngôn ngữ ký hiệu Việt Nam. Các mô hình diễn hoạ 3D hay các đầu ra cuối cùng khác của ngôn ngữ ký hiệu Việt Nam không được đề cập đến trong luận án này.

VI. Kết Luận và Hướng Phát Triển Dịch Tự Động VSL 54 ký tự

Nghiên cứu về dịch tự động VSL còn nhiều tiềm năng phát triển. Các hướng nghiên cứu tiếp theo có thể tập trung vào việc kết hợp các phương pháp RBMT và NMT, xây dựng bộ dữ liệu VSL lớn hơn và đa dạng hơn, và phát triển các mô hình dịch VSL chuyên dụng cho các lĩnh vực cụ thể (ví dụ: y tế, giáo dục).

6.1. Kết Hợp Phương Pháp RBMT và NMT Tương Lai

Kết hợp ưu điểm của cả RBMT và NMT có thể tạo ra các hệ thống dịch VSL mạnh mẽ hơn, đảm bảo tính chính xác về cú pháp và khả năng học hỏi từ dữ liệu. Các mô hình dựa trên mạng nơ-ron và dựa trên luật có thể giúp đảm bảo tính chính xác và hiệu quả của hệ thống dịch ngôn ngữ ký hiệu.

6.2. Xây Dựng Bộ Dữ Liệu VSL Lớn Đa Dạng Hơn

Cần xây dựng các bộ dữ liệu VSL lớn hơn và đa dạng hơn, bao gồm nhiều lĩnh vực, phong cách và ngữ cảnh khác nhau. Điều này giúp các mô hình dịch máy học được các biểu diễn ngữ nghĩa phong phú hơn và tạo ra các bản dịch chính xác hơn. Xây dựng các bộ tự liệu từ điển VSL và các bộ dữ liệu song ngữ từ việc thử nghiệm và phát triển phương pháp làm giàu dữ liệu cho bài toán. Mục tiêu của bài toán là giúp cộng đồng người khiếm thính tại Việt Nam có cơ hội truyền đạt thông điệp, tham gia vào xã hội và học tập một cách dễ dàng và hiệu quả hơn.