Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Ngôn ngữ ký hiệu tiếng Việt (VSL - Vietnamese Sign Language) cũng như các hệ thống ngôn ngữ ký hiệu nói chung hiện chưa có nhiều tài liệu chuyên môn và công trình nghiên cứu chính thống về mặt ngôn ngữ học, cấu trúc ngữ pháp và từ điển chuẩn hóa. Sự thiếu hụt này tạo ra rào cản lớn đối với quá trình tiếp nhận tri thức và giao tiếp của cộng đồng người khiếm thính với xã hội. Trên bình diện quốc tế, việc nghiên cứu các hệ thống dịch ngôn ngữ ký hiệu như từ tiếng Anh sang ngôn ngữ ký hiệu Mỹ (ASL), ngôn ngữ ký hiệu quốc tế (International Sign Language), hay các hệ thống dịch trong giáo dục đã được triển khai nhằm hỗ trợ hòa nhập cộng đồng.

Tại Việt Nam, việc nghiên cứu dịch tự động ngôn ngữ ký hiệu còn mới và chưa được khai thác toàn diện. Phần lớn các nghiên cứu xử lý ngôn ngữ ký hiệu trên thế giới thường đối mặt với hai vấn đề: thiếu hụt bộ dữ liệu song ngữ quy mô lớn và xem nhẹ các đặc trưng cấu trúc cú pháp riêng biệt của ngôn ngữ ký hiệu. Quá trình dịch từ ngôn ngữ tự nhiên sang ngôn ngữ ký hiệu bao gồm ba giai đoạn: (1) nhận dạng tiếng nói thành văn bản, (2) chuyển đổi văn bản thông thường sang dạng văn bản đúng cú pháp ngôn ngữ ký hiệu, và (3) mô phỏng văn bản cú pháp thành hình ảnh/video/mô hình diễn họa 3D. Trong đó, giai đoạn thứ hai (text-to-text) đóng vai trò trung tâm trong việc truyền đạt chính xác thông điệp nhưng lại thiếu các mô hình chuyển đổi chuyên biệt và ngữ liệu chuẩn hóa cho tiếng Việt.

Mục tiêu nghiên cứu

Luận án xác định mục tiêu tổng quát là xây dựng hệ thống dịch máy hiệu quả và đáng tin cậy để chuyển đổi văn bản tiếng Việt thông thường sang dạng văn bản đúng cấu trúc cú pháp của ngôn ngữ ký hiệu Việt Nam (VSL). Mục tiêu cụ thể được triển khai qua hai hướng tiếp cận:

  1. Xây dựng mô hình dịch máy dựa trên mạng nơ-ron (Neural Machine Translation - NMT) nhằm tự động học các đặc trưng cú pháp, ngữ nghĩa và từ vựng của VSL từ dữ liệu huấn luyện.
  2. Xây dựng phương pháp dịch dựa trên luật (Rule-Based Machine Translation - RBMT) nhằm xác định các quy tắc ánh xạ cú pháp tường minh giữa tiếng Việt và VSL, bảo đảm tính chính xác ngữ pháp trong điều kiện tài nguyên hạn chế.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các phương pháp, kỹ thuật dịch máy (dựa trên cấu trúc luật, mô hình thống kê, mô hình mạng nơ-ron) và các kỹ thuật làm giàu dữ liệu phục vụ bài toán dịch tự động từ câu tiếng Việt sang câu đúng cú pháp VSL.
  • Phạm vi nghiên cứu: Luận án tập trung vào bài toán dịch văn bản sang văn bản (text-to-text) từ tiếng Việt sang VSL. Các khâu nhận dạng tiếng nói đầu vào và mô phỏng cử chỉ 3D ở đầu ra cuối cùng không thuộc phạm vi xử lý trực tiếp của công trình.
  • Thời gian và địa bàn nghiên cứu: Công trình được hoàn thành năm 2023 tại Học viện Khoa học và Công nghệ thuộc Viện Hàn lâm Khoa học và Công nghệ Việt Nam, khảo sát các đặc trưng ngữ pháp VSL trên các biến thể phương ngữ tại Hà Nội, Hải Phòng và Thành phố Hồ Chí Minh.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước đây

Tác giả đã hệ thống hóa lịch sử phát triển của ngôn ngữ ký hiệu và các phương pháp dịch máy chuyên biệt cho ngôn ngữ ký hiệu trên thế giới và tại Việt Nam:

  • Lịch sử và ngôn ngữ học ký hiệu: Luận thuyết của Juan Bonet (1620) đặt tiền đề cho nghiên cứu ngôn ngữ ký hiệu. Ngôn ngữ ký hiệu được khẳng định là ngôn ngữ tự nhiên có cấu trúc ngữ pháp độc lập, không phải là ngôn ngữ cơ thể phi ngôn ngữ. Tại Việt Nam, các nhà ngôn ngữ học đã phân chia VSL thành 3 vùng miền chính: Hà Nội, Hải Phòng và Thành phố Hồ Chí Minh.
  • Phương pháp tiếp cận dựa trên cấu trúc (RBMT): Hệ thống TESSA dịch tiếng nói sang ngôn ngữ ký hiệu Anh (BSL); trình dịch ViSiCAST dịch tiếng Anh sang BSL; dự án SignSynth dùng mô hình ASCII-Stokoe; ASL Workbench dịch văn bản sang ASL; dự án TEAM dịch văn bản sang ASL bằng cây đồng bộ ngữ pháp liền kề (STAG). Tác giả Porta và cộng sự nghiên cứu chuyển dịch cấu trúc cho ngôn ngữ ký hiệu Tây Ban Nha (LSE); Kouremenos và cộng sự (2018) nghiên cứu mô hình ngôn ngữ cho ngôn ngữ ký hiệu Hy Lạp (GSL).
  • Phương pháp thống kê cổ điển (SMT): Dự án dịch tiếng Anh sang ngôn ngữ ký hiệu Hà Lan (DSL, 2005) dùng công cụ chú thích ELAN; Lopez và cộng sự (2012) dịch tiếng Tây Ban Nha sang LSE dựa trên mô hình cụm từ; nghiên cứu dịch ngôn ngữ ký hiệu Thổ Nhĩ Kỳ (2019) dùng phân tích cú pháp thống kê cho miền dữ liệu tiểu học.
  • Phương pháp dịch kết hợp (Hybrid MT): Được tóm lược qua các công trình tiêu biểu theo bảng sau:
Tài liệu trích dẫn Cặp ngôn ngữ Mô tả kỹ thuật Ưu điểm Hạn chế Năm
Nghiên cứu [18] Tiếng Hy Lạp sang GSL Kết hợp dịch dựa trên luật và dịch máy thống kê (RBMT + SMT) Quy trình không cần kiến thức ngữ pháp sâu về GSL Dữ liệu huấn luyện nhỏ, chỉ áp dụng cho tiếng Hy Lạp 2018
Nghiên cứu [19] Tiếng Anh sang ASL Thuật toán IBM tăng cường bằng khoảng cách Jaro-Winkler Tăng độ chính xác nhờ quy tắc phụ thuộc ngữ pháp Cần độ chính xác cao trong thu thập và tiền xử lý 2019
Nghiên cứu [20] Tiếng Ả Rập sang ArSL Kết hợp quy tắc dịch và cơ sở dữ liệu ký hiệu Tăng độ chính xác dịch thuật và đánh vần tên riêng Chưa có hệ thống đánh giá định lượng đầy đủ 2019
Nghiên cứu [21] Tiếng Thổ Nhĩ Kỳ sang TSL Quy tắc ngữ pháp lọc kết quả trung gian trước khi đưa vào SMT Tăng hiệu suất tổng thể nhờ quy tắc riêng cho ngôn ngữ Dữ liệu nhỏ, chất lượng dịch còn hạn chế 2019
  • Phương pháp mạng nơ-ron (NMT) và học sâu: Manzano và cộng sự dịch tiếng Anh sang BSL; Muhammad và cộng sự (2021) phát triển hệ thống Sign4PSL dịch sang ngôn ngữ ký hiệu Pakistan; Galina Angelova và cộng sự (2022) so sánh mô hình RNN và Transformer trên tập ngữ liệu PHOENIX14T và DGS.
  • Các nghiên cứu tại Việt Nam: Quách Luỹ Dạ và cộng sự (2018-2020) nghiên cứu dịch dựa trên từ loại (POS tagging), ứng dụng cây quyết định để chuyển đổi câu tiếng Việt rút gọn sang biểu diễn HamNoSys và các thuật toán phân loại cho VSL. Hạn chế chung của các nghiên cứu này là thời gian xử lý chậm, tập dữ liệu thử nghiệm nhỏ và chưa bao quát đầy đủ các quy tắc cú pháp của VSL.

Khoảng trống luận án giải quyết

Luận án tập trung giải quyết tình trạng thiếu hụt dữ liệu song ngữ chuẩn cho bài toán Vie-VSL bằng cách tự xây dựng tập từ điển VSL-Lexicon, tập câu song ngữ Vie-VSL10k và phát triển phương pháp làm giàu dữ liệu lên quy mô 60.000 câu (Vie-VSL60k). Đồng thời, luận án kết hợp hài hòa giữa việc mô hình hóa các quy tắc cú pháp đặc thù của VSL (rút gọn và thay đổi trật tự từ) với các mô hình máy học hiện đại (IBM tối ưu hóa, Seq2Seq, Transformer).

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

Luận án xây dựng trên các nền tảng lý thuyết xử lý ngôn ngữ tự nhiên và dịch máy:

  1. Dịch máy dựa trên luật (RBMT): Khung kiến trúc gồm ba tiếp cận: trực tiếp (Direct MT), chuyển đổi (Transfer MT), và qua ngôn ngữ trung gian (Interlingual MT). Cấu trúc hệ thống bao gồm máy phân tích hình thái/cú pháp ngôn ngữ nguồn, từ điển song ngữ, bộ chuyển đổi cấu trúc, và trình tạo lập ngôn ngữ đích.
  2. Dịch máy thống kê (SMT): Mô hình kênh nhiễu (noisy channel) dựa trên công thức Bayes: $$e^* = \arg\max_e p(e) p(f|e)$$ Trong đó $p(e)$ là mô hình ngôn ngữ đích, $p(f|e)$ là mô hình dịch. Luận án khảo cứu chuỗi mô hình IBM (IBM Model 1, 2, 3) để căn chỉnh từ và tính toán xác suất dịch.
  3. Dịch máy dựa trên mạng nơ-ron (NMT):
    • Mô hình chuỗi sang chuỗi (Seq2Seq): Kiến trúc Encoder-Decoder sử dụng mạng nơ-ron hồi quy hai chiều (Bidirectional RNN/LSTM/GRU) để mã hóa chuỗi đầu vào $X = (x_1, \dots, x_T)$ thành các trạng thái ẩn và giải mã thành chuỗi đích $Y = (y_1, \dots, y_m)$.
    • Mô hình Transformer: Cơ chế Self-Attention dựa trên công thức tính toán ma trận truy vấn (Query - $Q$), khóa (Key - $K$), và giá trị (Value - $V$): $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$
  4. Hệ thống chỉ số đánh giá:
    • Điểm BLEU (Bilingual Evaluation Understudy): Đo lường độ trùng khớp của các $n$-gram giữa bản dịch máy và bản dịch tham chiếu chuẩn có tính đến hình phạt độ dài (Brevity Penalty): $$\text{Score} = \exp\left{\sum_{i=1}^N w_i \log(P_i) - \max\left(\frac{L_{\text{ref}}}{L_{\text{tra}}} - 1, 0\right)\right}$$
    • Độ hỗn loạn (Perplexity): Đánh giá chất lượng của mô hình ngôn ngữ trên đoạn văn bản kiểm tra gồm $N$ từ: $$\text{Perplexity}(W) = \sqrt[N]{\frac{1}{P(w_1, w_2, \dots, w_N)}}$$

Phương pháp nghiên cứu thực tế

  • Phương pháp định tính và ngôn ngữ học: Phân tích cấu trúc câu tiếng Việt và câu VSL để xác định các đặc trưng ngữ pháp: lược bỏ giới từ, liên từ, từ tình thái; thay đổi vị trí của danh từ - số từ, động từ - từ phủ định, và cấu trúc câu nghi vấn, câu mệnh lệnh.
  • Phương pháp định lượng và thực nghiệm máy học:
    • Thu thập và chuẩn hóa dữ liệu: Xây dựng tập từ điển hình thái và tập cặp câu song ngữ.
    • Tiền xử lý văn bản: Phân tích tách từ tiếng Việt, gán nhãn từ loại (POS tagging), gán nhãn cụm từ (Chunking) và phân tích cây cú pháp bằng công cụ PARSE.
    • Làm giàu dữ liệu tự động: Sử dụng mạng từ vựng tiếng Việt (WordNet) khai thác cấu trúc phân cấp thượng danh (Hypernym) và hạ danh (Hyponym) để nhân bản và sinh các mẫu câu song ngữ mới.
    • Cải tiến thuật toán: Tối ưu hóa mô hình căn chỉnh từ IBM bằng cách tích hợp khoảng cách Jaro và Jaro-Winkler.
    • Huấn luyện và kiểm thử: Huấn luyện các mô hình RBMT, IBM 1-3 cải tiến, Seq2Seq và Transformer; kiểm thử chéo trên các tập dữ liệu chuyên ngành y học và văn học.

Nội dung chính theo từng chương

Chương 1: Tổng quan về bài toán dịch ngôn ngữ ký hiệu Việt Nam

Chương 1 phân tích bức tranh tổng thể về ngôn ngữ ký hiệu trên thế giới và tại Việt Nam. Tác giả chỉ ra bản chất của ngôn ngữ ký hiệu là ngôn ngữ tự nhiên độc lập với ngôn ngữ nói. Luận án phân tích chi tiết hai đặc điểm ngôn ngữ học then chốt của VSL:

  1. Tính chất rút gọn (simplification): Do vốn từ vựng của người khiếm thính có giới hạn, các hư từ không mang trọng tâm ngữ nghĩa như giới từ, liên từ và từ tình thái biểu cảm sẽ bị lược bỏ.
Mẫu câu tiếng Việt thông thường Mẫu câu rút gọn trong VSL Thành phần bị lược bỏ
Viết bằng bút chì Viết bút chì Giới từ "bằng"
Ăn và mặc là nhu cầu của mọi người Ăn mặc là nhu cầu mọi người Liên từ "và", giới từ "của"
Tôi và anh đi học Tôi anh đi học Liên từ "và"
Anh ăn cháo hay ăn cơm? Anh ăn cháo ăn cơm? Liên từ "hay"
Mặc dầu trời mưa, tôi vẫn đi học Trời mưa, tôi đi học Liên từ "Mặc dầu", phó từ "vẫn"
Lấy hộ chị quyển sách Lấy chị quyển sách Động từ/giới từ trợ giúp "hộ"
Buổi sáng anh dắt xe giúp tôi ra cổng Buổi sáng anh dắt xe tôi ra cổng Từ trợ giúp "giúp", giới từ "ra"
Áo của anh màu xanh Áo anh màu xanh Giới từ "của"
  1. Đặc điểm về trật tự cú pháp (reordering): VSL có xu hướng đưa thông tin trọng tâm lên đầu câu. Trong câu tường thuật, danh từ thường đứng trước số từ; trong câu nghi vấn, đại từ nghi vấn được chuyển xuống cuối câu; trong câu phủ định, từ phủ định đặt ở cuối câu; trong câu mệnh lệnh, từ tình thái bị giản lược và vị trí các thành phần bị đảo ngược.

Chương 1 kết luận bằng việc mô hình hóa bài toán dịch Vie-VSL dạng text-to-text và xác định kịch bản thực nghiệm gồm 6 bước: thu thập dữ liệu, tiền xử lý/làm giàu dữ liệu, xây dựng mô hình, phân chia tập dữ liệu, huấn luyện và đánh giá bằng độ đo BLEU/Perplexity.

Chương 2: Các kiến thức cơ sở

Chương 2 trình bày tổng quan lý thuyết dịch máy từ năm 1949 đến nay. Nội dung tập trung phân tích các mốc phát triển: từ hệ thống Georgetown (1954), báo cáo ALPAC (1966), hệ thống METEO (1982), sự xuất hiện của mô hình SMT thập niên 1990, mô hình Hiero dựa trên ngữ pháp phi ngữ cảnh phân cấp (Chiang, 2005), cho đến sự dịch chuyển sang mạng nơ-ron (NMT) từ năm 2016.

Chương này trình bày chi tiết cơ chế hoạt động của ba trường phái dịch máy:

  • Hệ thống RBMT với các thành phần phân tích hình thái, phân tích cú pháp và từ điển chuyển đổi.
  • Hệ thống SMT với mô hình dịch kênh nhiễu và các thuật toán giải mã như Beam Search, Viterbi Beam, A* Stack.
  • Hệ thống NMT gồm mô hình ngôn ngữ RNN giải quyết vấn đề bằng hàm Softmax, kiến trúc Seq2Seq (Encoder-Decoder) xử lý hiện tượng triệt tiêu hoặc bùng nổ gradient qua các đơn vị LSTM/GRU, và mô hình Transformer với cơ chế Multi-Head Self-Attention triệt tiêu khái niệm bước thời gian tuần tự (timestep), cho phép tính toán song song hóa trên phần cứng GPU.
  • Trình bày công thức toán học và nguyên lý tính toán của chỉ số đánh giá bản dịch BLEU và độ hỗn loạn ngôn ngữ Perplexity.

Chương 3: Phương pháp tiếp cận dựa trên cấu trúc trong dịch tự động ngôn ngữ ký hiệu Việt Nam

Chương 3 triển khai phương pháp tiếp cận dựa trên luật cho bài toán dịch Vie-VSL. Tác giả tiến hành xây dựng hai tài nguyên ban đầu:

  1. Từ điển VSL-Lexicon: Lưu trữ các mục từ/cụm từ tiếng Việt kèm mã định danh liên kết trực tiếp với mô hình cử chỉ 3D tương ứng.
  2. Bộ ngữ liệu song ngữ Vie-VSL10k: Tập hợp 10.000 cặp câu tiếng Việt và câu chuẩn cú pháp VSL tương ứng.

Quá trình tổng hợp luật cú pháp được thực hiện thông qua công cụ phân tích cú pháp PARSE, trích xuất các bộ nhãn từ loại và nhãn cụm từ để xây dựng tập luật chuyển đổi:

  • Tập luật lược bỏ liên từ, giới từ, trợ từ, tình thái từ.
  • Tập luật hoán vị cú pháp: chuyển đổi cụm Danh từ - Số từ (Noun - Numeral), Động từ - Từ phủ định (Verb - Negation), cấu trúc câu hỏi nghi vấn và câu mệnh lệnh.

Hệ thống RBMT hoàn chỉnh được thử nghiệm trên các tập dữ liệu thuộc miền y học và văn học. Điểm BLEU trung bình được thống kê chi tiết nhằm chứng minh tính hiệu quả của phương pháp dịch dựa trên cấu trúc đối với ngôn ngữ ít tài nguyên như VSL.

Chương 4: Làm giàu dữ liệu cho bài toán dịch tự động ngôn ngữ ký hiệu Việt Nam

Chương 4 đề xuất giải pháp kỹ thuật giải quyết bài toán thiếu hụt dữ liệu cho các mô hình học sâu thông qua mạng từ vựng (WordNet tiếng Việt). Quy trình làm giàu dữ liệu thực hiện theo các bước:

  1. Phân tích cú pháp và xác định các từ khóa danh từ, động từ trong tập ngữ liệu gốc Vie-VSL10k.
  2. Truy xuất cây phân cấp Synset trong WordNet để tìm kiếm các quan hệ thượng danh (Hypernym) và hạ danh (Hyponym) của từ khóa (ví dụ: chuỗi phân cấp của từ "con chó", "quả cam").
  3. Thiết lập các tiêu chuẩn lọc ngữ cảnh để tạo tập từ thay thế $T$, ngăn chặn việc sinh dữ liệu không phù hợp về mặt kết hợp ngữ nghĩa với động từ và vị ngữ.
  4. Tự động sinh các cặp câu song ngữ mới, mở rộng quy mô từ tập dữ liệu gốc Vie-VSL10k lên tập dữ liệu lớn Vie-VSL60k (gồm 60.000 cặp câu).

Chất lượng của kho ngữ liệu được kiểm chứng định lượng thông qua chỉ số Perplexity: chỉ số Perplexity duy trì ở mức ổn định chứng minh tập dữ liệu mở rộng bảo đảm tính tự nhiên và phân bố xác suất của ngôn ngữ.

Chương 5: Phương pháp tiếp cận dựa trên thống kê và mạng nơron trong dịch tự động ngôn ngữ ký hiệu Việt Nam

Chương 5 trình bày các thực nghiệm dịch máy thống kê cải tiến và dịch máy mạng nơ-ron trên hai tập dữ liệu (Vie-VSL10k và Vie-VSL60k):

  1. Cải tiến mô hình thống kê IBM: Tích hợp thuật toán so khớp chuỗi khoảng cách Jaro và Jaro-Winkler vào quá trình tính toán xác suất chuyển đổi từ và xác suất căn chỉnh trong mô hình IBM 1, IBM 2 và IBM 3. Kết quả các bước lặp huấn luyện cho thấy các mô hình IBM tối ưu hóa cải thiện rõ rệt tốc độ hội tụ và độ chính xác của ma trận căn chỉnh từ giữa tiếng Việt và VSL.
  2. Thực nghiệm mô hình Seq2Seq: Thiết lập mô hình Encoder-Decoder với các khối mạng hồi quy hai chiều BRNN (sử dụng LSTM/GRU), kết hợp biểu diễn từ Word Embedding.
  3. Thực nghiệm mô hình Transformer: Khởi tạo kiến trúc Transformer với cơ chế Self-Attention đa đầu, tối ưu hóa các siêu tham số huấn luyện.

Kết quả đánh giá tổng hợp bằng điểm BLEU khẳng định: các mô hình NMT (đặc biệt là Transformer) khi được huấn luyện trên tập dữ liệu đã làm giàu (Vie-VSL60k) đạt điểm BLEU vượt trội so với khi chỉ huấn luyện trên tập dữ liệu gốc Vie-VSL10k. Đồng thời, kết quả dịch máy được so sánh tham chiếu với các công bố quốc tế trên các bộ dữ liệu ngôn ngữ ký hiệu khác (như PHOENIX14T).

Kết quả và những đóng góp mới

Các đóng góp mới về mặt khoa học và thực tiễn

Luận án đã đạt được 3 đóng góp khoa học chính:

  1. Đề xuất giải pháp dịch máy dựa trên luật (RBMT) tối ưu cho cặp ngôn ngữ Vie-VSL: Xây dựng hệ thống các quy tắc hình thái học và cú pháp đặc thù (rút gọn hư từ, đảo trật tự từ cho các loại câu tường thuật, phủ định, nghi vấn, mệnh lệnh), chứng minh tính hiệu quả của phương pháp tiếp cận cấu trúc đối với ngôn ngữ hạn chế tài nguyên số.
  2. Đề xuất phương pháp làm giàu dữ liệu song ngữ dựa trên mạng từ vựng (WordNet): Xây dựng thuật toán tự động mở rộng ngữ liệu câu song ngữ tiếng Việt - VSL thông qua quan hệ ngữ nghĩa thượng danh/hạ danh kết hợp bộ lọc ngữ cảnh, nâng quy mô tập dữ liệu từ 10.000 lên 60.000 cặp câu mà vẫn duy trì chỉ số Perplexity ổn định.
  3. Cải tiến mô hình dịch thống kê và làm chủ các mô hình dịch máy mạng nơ-ron: Cải tiến mô hình IBM truyền thống bằng độ đo khoảng cách Jaro-Winkler; triển khai và tinh chỉnh thành công các mô hình học sâu Seq2Seq và Transformer trên bài toán dịch Vie-VSL.
  4. Xây dựng và công bố bộ tài nguyên ngữ liệu phục vụ cộng đồng nghiên cứu:
    • Từ điển ngôn ngữ ký hiệu Việt Nam VSL-Lexicon tích hợp định danh biểu diễn 3D.
    • Bộ dữ liệu câu song ngữ Vie-VSL10k (10.000 cặp câu).
    • Bộ dữ liệu câu song ngữ mở rộng Vie-VSL60k (60.000 cặp câu).

Kiến nghị và giải pháp đề xuất

  • Ứng dụng mô hình dịch tự động văn bản tiếng Việt sang văn bản đúng cú pháp VSL làm mô-đun lõi trung gian để tích hợp vào các phần mềm giao tiếp trợ năng, ứng dụng giáo dục chuyên biệt và cổng thông tin dịch vụ công hỗ trợ người khiếm thính.
  • Đề xuất áp dụng quy trình tăng cường dữ liệu dựa trên WordNet cho các bài toán xử lý ngôn ngữ ít tài nguyên khác tại Việt Nam.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

  • Luận án giới hạn phạm vi nghiên cứu ở bài toán dịch văn bản sang văn bản (text-to-text); chưa tích hợp liên kết trực tiếp hệ thống dịch văn bản với bộ diễn hoạt mô hình 3D cử chỉ bàn tay/khuôn mặt thành một hệ thống đầu-cuối (end-to-end) hoàn chỉnh trong thời gian thực.
  • Quy mô kho ngữ liệu ban đầu (Vie-VSL10k) còn hạn chế về độ bao phủ các chủ đề chuyên sâu; các dữ liệu làm giàu bằng WordNet dù đạt độ ổn định về Perplexity nhưng vẫn cần mở rộng thêm các ngữ cảnh thành ngữ và biểu đạt phức tạp.

Hướng nghiên cứu tiếp theo

  • Tiếp tục mở rộng quy mô từ điển VSL-Lexicon và thu thập ngữ liệu thực tế từ cộng đồng người khiếm thính ở các miền địa phương khác nhau.
  • Tích hợp mô hình dịch văn bản VSL với các công nghệ mô phỏng cử chỉ 3D, ứng dụng kỹ thuật nội suy chuyển động mềm mại để tạo ra đầu ra video/hoạt họa hoàn chỉnh.
  • Nghiên cứu bài toán dịch theo chiều ngược lại: từ video cử chỉ/hình ảnh ngôn ngữ ký hiệu sang văn bản hoặc tiếng nói tiếng Việt.

Giá trị tham khảo

Đối tượng thụ hưởng

  • Nghiên cứu sinh, học viên cao học và nhà nghiên cứu: Trong các chuyên ngành Khoa học máy tính, Xử lý ngôn ngữ tự nhiên (NLP), Trí tuệ nhân tạo (AI) và Ngôn ngữ học tính toán.
  • Giảng viên và cơ sở giáo dục chuyên biệt: Tham khảo cấu trúc ngữ pháp VSL và nguồn ngữ liệu phục vụ giảng dạy, biên soạn tài liệu cho học sinh khiếm thính.
  • Kỹ sư phát triển phần mềm và các tổ chức xã hội: Khai thác các bộ dữ liệu công bố và mã nguồn mô hình để xây dựng các ứng dụng trợ năng, thiết bị hỗ trợ giao tiếp cho người khuyết tật.

Nội dung có giá trị tham khảo nổi bật

  • Hệ thống hóa các luật cú pháp VSL (tính chất giản lược và quy tắc hoán vị trật tự từ) được phân loại theo cấu trúc câu tiếng Việt.
  • Phương pháp luận và thuật toán làm giàu dữ liệu song ngữ thông qua mạng từ WordNet dành cho các cặp ngôn ngữ nghèo tài nguyên.
  • Bộ ngữ liệu chuẩn VSL-Lexicon, Vie-VSL10k và Vie-VSL60k.

Câu hỏi thường gặp

1. Trọng tâm nghiên cứu của luận án nằm ở công đoạn nào trong toàn bộ quá trình dịch ngôn ngữ ký hiệu?

Toàn bộ quá trình thông dịch ngôn ngữ ký hiệu gồm 3 bước: (1) Nhận dạng tiếng nói thành văn bản, (2) Chuyển văn bản thông thường sang văn bản đúng cú pháp VSL, và (3) Mô phỏng văn bản VSL thành hình ảnh/video/mô hình 3D. Trọng tâm của luận án giải quyết trọn vẹn bước thứ hai (text-to-text), tức là biến đổi một câu tiếng Việt thông thường thành một câu đúng cấu trúc ngữ pháp trong ngôn ngữ ký hiệu Việt Nam.

2. Hai đặc điểm ngữ pháp cơ bản nhất của VSL được luận án mô hình hóa là gì?

Hai đặc điểm ngữ pháp cốt lõi của VSL được luận án xác định là:

  • Tính chất giản lược: Tự động lược bỏ các thành phần không mang trọng tâm ngữ nghĩa gồm giới từ (như: bằng, của, ra...), liên từ (như: và, hay, mặc dầu...) và các từ tình thái biểu cảm.
  • Thay đổi trật tự cú pháp (nhấn mạnh trọng tâm): Đưa thông tin chính lên trước, thể hiện qua việc hoán đổi vị trí danh từ trước số từ, chuyển từ phủ định xuống cuối câu trong câu phủ định, và đưa đại từ nghi vấn xuống cuối câu trong câu hỏi.

3. Tác giả đã xây dựng và công bố những bộ dữ liệu nào trong luận án?

Tác giả đã xây dựng 3 bộ tài nguyên dữ liệu chính:

  • Từ điển VSL-Lexicon chứa các mục từ vựng VSL được chú thích và ánh xạ trực tiếp với mô hình cử chỉ 3D.
  • Bộ ngữ liệu song ngữ gốc Vie-VSL10k gồm 10.000 cặp câu tiếng Việt - câu đúng cú pháp VSL.
  • Bộ ngữ liệu song ngữ mở rộng Vie-VSL60k gồm 60.000 cặp câu được sinh tự động từ thuật toán làm giàu dữ liệu dựa trên WordNet.

4. Thuật toán làm giàu dữ liệu trong luận án hoạt động như thế nào và đánh giá bằng thước đo nào?

Thuật toán trích xuất các từ khóa (danh từ, động từ) trong câu gốc của tập Vie-VSL10k, sau đó tra cứu mạng từ vựng WordNet tiếng Việt để tìm các tập từ đồng nghĩa/thượng danh/hạ danh phù hợp với ngữ cảnh, thay thế vào câu để sinh ra các cặp câu song ngữ mới. Chất lượng và tính tự nhiên của tập dữ liệu sau khi làm giàu được đánh giá thông qua chỉ số độ hỗn loạn mô hình ngôn ngữ (Perplexity).

5. Thuật toán căn chỉnh từ trong mô hình thống kê IBM được luận án cải tiến bằng kỹ thuật gì?

Trong mô hình dịch thống kê cổ điển, tác giả đã tích hợp độ đo khoảng cách chuỗi Jaro và khoảng cách Jaro-Winkler vào quá trình tính toán xác suất chuyển đổi từ và xác suất căn chỉnh của các mô hình IBM 1, IBM 2 và IBM 3, giúp tối ưu hóa ma trận căn chỉnh từ giữa câu tiếng Việt và câu VSL.

Kết luận

Luận án của nghiên cứu sinh Nguyễn Thị Bích Điệp đã giải quyết bài toán dịch tự động dạng văn bản từ tiếng Việt sang dạng văn bản đúng cú pháp ngôn ngữ ký hiệu Việt Nam (Vie-VSL). Tác giả đã kết hợp giữa việc mô hình hóa các quy tắc cú pháp đặc thù của VSL với các phương pháp dịch máy dựa trên luật (RBMT), mô hình thống kê cải tiến (IBM kết hợp Jaro-Winkler) và mô hình học sâu (Seq2Seq, Transformer). Đồng thời, công trình đóng góp cho cộng đồng nghiên cứu phương pháp làm giàu dữ liệu qua mạng từ WordNet cùng các bộ dữ liệu giá trị gồm VSL-Lexicon, Vie-VSL10k và Vie-VSL60k, tạo tiền đề cho việc phát triển các ứng dụng hỗ trợ giao tiếp cho người khiếm thính tại Việt Nam.