Luận án tiến sĩ: Nghiên cứu kỹ thuật thích ứng miền trong dịch máy thống kê Anh-Việt

Luận án tiến sĩ kỹ thuật phân tích công nghệ thông tin nghiên cứu một số kỹ thuật thích ứng miền trong dịch máy thống kê anh việt, xây dựng cơ sở lý luận, kiểm chứng thực nghiệm,

• Tác giả: Phạm Nghĩa Luân
• Người hướng dẫn: TS. Nguyễn Văn Vinh
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên Cứu Kỹ Thuật Thích Ứng Miền Trong Dịch Máy Thống Kê Anh-Việt
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT
• MỤC LỤC
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ
• MỞ ĐẦU. MỞ ĐẦU
• 1.1. Tính cấp thiết của luận án
• 1.2. Mục tiêu của luận án
• 1.3. Đóng góp của luận án
• 1.4. Cấu trúc của luận án
• 1. TỔNG QUAN VỀ VẤN ĐỀ NGHIÊN CỨU
• 1.1. Tổng quan về dịch máy
• 1.1.1. Khái niệm dịch máy
• 1.1.2. Lịch sử dịch máy
• 1.1.3. Dịch máy thống kê
• 1.1.3.1. Dịch máy thống kê dựa vào từ
• 1.1.3.2. Dịch máy thống kê dựa vào cụm từ
• 1.1.4. Dịch máy mạng nơ-ron
• 1.1.4.1. Kiến trúc Encoder-Decoder
• 1.1.4.2. Kiến trúc Transformer
• 1.1.5. Những thách thức trong dịch máy
• 1.1.6. Đánh giá chất lượng mô hình dịch máy
• 1.1.6.1. Phương pháp đánh giá chủ quan
• 1.1.6.2. Phương pháp đánh giá khách quan
• 1.1.7. Thích ứng miền trong dịch máy
• 1.1.7.1. Thích ứng miền
• 1.1.7.2. Thích ứng miền trong dịch máy
• 1.1.8. Ứng dụng dịch tự động Google Translate
• 1.1.9. Các nghiên cứu liên quan
• 1.1.10. Các tập dữ liệu thử nghiệm
• 1.1.11. Kết luận
• 2. PHƯƠNG PHÁP TINH CHỈNH BẢNG CỤM TỪ
• 2.1. Bảng dịch cụm từ
• 2.2. Phân loại văn bản
• 2.3. Phương pháp tinh chỉnh bảng dịch cụm từ
• 2.4. Tập dữ liệu và cài đặt thực nghiệm
• 2.5. Tiền xử lý dữ liệu
• 2.6. Kết quả thực nghiệm
• 2.7. Kết luận
• 3. PHƯƠNG PHÁP SINH TỰ ĐỘNG DỮ LIỆU SONG NGỮ
• 3.1. Kỹ thuật dịch ngược trong dịch máy
• 3.2. Phương pháp sinh tự động dữ liệu song ngữ
• 3.3. Tập dữ liệu và cài đặt thực nghiệm
• 3.4. Tiền xử lý dữ liệu
• 3.5. Kết quả thực nghiệm
• 3.6. Phân tích và thảo luận
• 3.7. Kết luận
• 4. CẢI TIẾN CHẤT LƯỢNG CỦA PHƯƠNG PHÁP SINH TỰ ĐỘNG DỮ LIỆU SONG NGỮ
• 4.1. Giới thiệu
• 4.2. Cải tiến chất lượng của phương pháp sinh tự động dữ liệu song ngữ
• 4.3. Thực nghiệm
• 4.3.1. Tập dữ liệu và cài đặt thực nghiệm
• 4.3.2. Cài đặt thực nghiệm
• 4.3.3. Kết quả thực nghiệm
• 4.3.4. Kết luận
• 5. KẾT LUẬN
• 5.1. Tóm lược các kết quả và đóng góp của luận án
• 5.2. Hạn chế và hướng phát triển của luận án
• DANH MỤC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN ĐẾN LUẬN ÁN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tính cấp thiết của luận án

Nghiên cứu về dịch máy đã trở thành một lĩnh vực quan trọng trong trí tuệ nhân tạo, đặc biệt là trong bối cảnh toàn cầu hóa ngày càng gia tăng. Dịch máy thống kê (SMT) và dịch máy mạng nơ-ron (NMT) là hai phương pháp chính được áp dụng, mỗi phương pháp đều có những ưu điểm và nhược điểm riêng. SMT được biết đến với khả năng xử lý chính xác các văn bản có cấu trúc rõ ràng, trong khi NMT lại thể hiện được khả năng dịch tự nhiên và trôi chảy hơn. Tuy nhiên, cả hai phương pháp đều gặp phải vấn đề lớn khi đối diện với các miền ngữ nghĩa khác nhau, đặc biệt là trong trường hợp thiếu dữ liệu song ngữ. Điều này dẫn đến việc cần thiết phải nghiên cứu về kỹ thuật thích ứng miền để cải thiện chất lượng dịch máy cho các miền đặc thù, như y tế hay pháp luật. Các nghiên cứu trước đây chủ yếu tập trung vào các cặp ngôn ngữ phổ biến, trong khi cặp ngôn ngữ Anh-Việt vẫn còn thiếu sót đáng kể trong lĩnh vực này.

1.1. Vấn đề thiếu tài nguyên song ngữ

Tình trạng thiếu tài nguyên song ngữ cho cặp ngôn ngữ Anh-Việt đã được nhiều nghiên cứu chỉ ra. Các bộ dữ liệu hiện có thường chỉ tập trung vào miền chung, không đủ để phục vụ cho việc huấn luyện các mô hình dịch máy trong các miền chuyên biệt. Việc này không chỉ làm giảm chất lượng bản dịch mà còn gây khó khăn cho việc áp dụng các phương pháp thích ứng miền hiệu quả. Nghiên cứu này nhằm mục đích xây dựng và cải thiện các kỹ thuật để tối ưu hóa quy trình dịch máy cho cặp ngôn ngữ này, từ đó nâng cao chất lượng bản dịch trong các miền cụ thể.

II. Mục tiêu của luận án

Mục tiêu chính của luận án là nghiên cứu và đề xuất các phương pháp thích ứng miền trong dịch máy thống kê cho cặp ngôn ngữ Anh-Việt. Đặc biệt, luận án sẽ tập trung vào việc cải thiện chất lượng bản dịch thông qua hai hướng tiếp cận: (1) Hướng mô hình, nơi mà các phương pháp cải tiến mô hình sẽ được phát triển nhằm tối ưu hóa khả năng dịch trong miền đích; (2) Hướng dữ liệu, trong đó các phương pháp tăng cường dữ liệu sẽ được áp dụng để bổ sung và cải thiện chất lượng dữ liệu huấn luyện. Sự kết hợp giữa hai hướng này sẽ giúp giải quyết các thách thức hiện tại trong dịch máy, đặc biệt là cho các miền đặc thù, từ đó nâng cao độ chính xác và sự tự nhiên của bản dịch.

2.1. Nghiên cứu và phát triển phương pháp

Luận án sẽ tiến hành thu thập và phân tích các tập dữ liệu song ngữ Anh-Việt, đồng thời nghiên cứu các phương pháp dịch máy hiện có để đề xuất các cải tiến phù hợp. Mục tiêu là xây dựng một hệ thống dịch máy có khả năng tự động điều chỉnh và cải thiện chất lượng dịch trong các miền cụ thể, từ đó giảm thiểu sự khác biệt giữa miền nguồn và miền đích. Các phương pháp này sẽ được thử nghiệm và đánh giá để xác định tính hiệu quả và khả năng áp dụng trong thực tế.

III. Đóng góp của luận án

Luận án này đã đóng góp ba phương pháp chính trong việc thích ứng miền cho dịch máy thống kê Anh-Việt. Thứ nhất, phương pháp tinh chỉnh bảng cụm từ nhằm cải thiện xác suất dịch cho các cụm từ trong miền đích. Thứ hai, phương pháp sinh tự động dữ liệu song ngữ nhằm tăng cường kho ngữ liệu cho mô hình dịch máy, đặc biệt là trong các miền thiếu tài nguyên. Cuối cùng, phương pháp cải tiến chất lượng dữ liệu giả song ngữ sinh tự động, giúp giảm nhiễu trong quá trình dịch. Những đóng góp này không chỉ nâng cao chất lượng dịch máy mà còn mở ra hướng đi mới cho nghiên cứu trong lĩnh vực dịch máy, đặc biệt là cho các cặp ngôn ngữ ít tài nguyên.

3.1. Phương pháp tinh chỉnh bảng cụm từ

Đề xuất này tập trung vào việc phân loại miền cho các cụm từ trong bảng dịch, từ đó điều chỉnh xác suất dịch theo hướng ưu tiên cho miền đích. Kết quả từ phương pháp này đã cho thấy sự cải thiện đáng kể về chất lượng dịch, đặc biệt trong các văn bản thuộc miền chuyên biệt. Phương pháp này không chỉ giúp tối ưu hóa quy trình dịch mà còn có thể áp dụng cho các miền khác nhau, mở rộng khả năng ứng dụng của dịch máy thống kê.

Nội dung chính

Tổng quan luận án

Luận án tiến sĩ với đề tài "Nghiên cứu một số kỹ thuật thích ứng miền trong dịch máy thống kê Anh - Việt" do nghiên cứu sinh Phạm Nghĩa Luân thực hiện tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, dưới sự hướng dẫn khoa học của TS. Nguyễn Văn Vinh và TS. Phạm Việt Thắng, thuộc chuyên ngành Hệ thống thông tin (Mã số: 9480104.01), bảo vệ năm 2023.

Tính cấp thiết và khoảng trống nghiên cứu

Dịch máy (Machine Translation - MT) là một lĩnh vực nghiên cứu lâu đời trong trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên. Các phương pháp dịch máy dựa trên dữ liệu (Data-Driven Machine Translation - DDMT), bao gồm dịch máy thống kê dựa trên cụm từ (Phrase-Based Statistical Machine Translation - PBSMT) và dịch máy mạng nơ-ron (Neural Machine Translation - NMT), phụ thuộc trực tiếp vào số lượng và chất lượng của kho ngữ liệu song ngữ (parallel corpus) phục vụ huấn luyện.

Khi hệ thống dịch các văn bản thuộc miền chuyên ngành hẹp hoặc miền đặc thù (như miền pháp luật, miền y tế), mô hình đối mặt với hiện tượng suy giảm chất lượng dịch do tập từ vựng và cấu trúc câu trong miền kiểm thử không cùng phân bố xác suất với dữ liệu huấn luyện ở miền chung. Bài toán thích ứng miền (domain adaptation) đặt ra nhằm giảm sự khác biệt về phân phối dữ liệu giữa miền nguồn và miền đích.

Đối với cặp ngôn ngữ Anh - Việt, các rào cản và khoảng trống nghiên cứu chính được tác giả chỉ ra bao gồm:

1. Thiếu hụt tài nguyên ngữ liệu song ngữ chất lượng cao, đặc biệt là ngữ liệu song ngữ chuyên miền;
2. Dữ liệu đơn ngữ dồi dào nhưng chưa được khai thác hiệu quả để phục vụ cho các mô hình dịch máy thống kê và dịch máy mạng nơ-ron;
3. Các nghiên cứu về thích ứng miền trên thế giới chủ yếu tập trung vào các cặp ngôn ngữ phổ biến (Anh - Pháp, Anh - Đức, Anh - Trung), trong khi các kỹ thuật chuyên biệt cho cặp ngôn ngữ ít tài nguyên như Anh - Việt còn hạn chế;
4. Văn bản đơn ngữ thu thập từ các nguồn mở thường chứa nhiều nhiễu về chính tả và ngữ pháp, làm giảm chất lượng dữ liệu giả song ngữ khi sinh tự động bằng kỹ thuật dịch ngược (back-translation).

Mục tiêu nghiên cứu

Luận án xác định mục tiêu tổng quát là cung cấp bức tranh tổng quan về thích ứng miền trong dịch máy Anh - Việt, đồng thời nghiên cứu và đề xuất các phương pháp nâng cao chất lượng bản dịch theo từng miền cụ thể.

Các mục tiêu cụ thể gồm:

1. Nghiên cứu đề xuất các phương pháp giải quyết bài toán thích ứng miền trong dịch máy thống kê dựa vào cụm từ (PBSMT) theo hướng tiếp cận mô hình, áp dụng cho cặp ngôn ngữ Anh - Việt.
2. Nghiên cứu đề xuất các phương pháp giải quyết bài toán thích ứng miền trong dịch máy mạng nơ-ron (NMT) theo hướng tiếp cận dữ liệu, áp dụng cho cặp ngôn ngữ Anh - Việt.

Để hoàn thành các mục tiêu trên, luận án triển khai bốn nội dung nhiệm vụ:

• Nhiệm vụ 1: Thu thập dữ liệu song ngữ Anh - Việt thuộc miền chung và miền chuyên ngành (ưu tiên miền pháp luật); thu thập dữ liệu đơn ngữ tiếng Việt thuộc miền chung và miền pháp luật.
• Nhiệm vụ 2: Nghiên cứu kiến trúc, cơ chế sinh bảng cụm từ và quá trình giải mã trong PBSMT; đề xuất phương pháp phân loại miền cụm từ nhằm hỗ trợ bộ giải mã ưu tiên các giả thuyết dịch trong miền đích.
• Nhiệm vụ 3: Nghiên cứu kỹ thuật tăng cường dữ liệu; đề xuất phương pháp sinh tự động dữ liệu giả song ngữ cho cặp Anh - Việt thông qua dịch ngược sử dụng hệ dịch Google Translate.
• Nhiệm vụ 4: Nghiên cứu kỹ thuật tiền xử lý và chuẩn hóa dữ liệu; đề xuất mô hình sửa lỗi chính tả và ngữ pháp tự động cho văn bản đơn ngữ tiếng Việt trước khi đưa vào pipeline dịch ngược.

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Các mô hình dịch máy thống kê dựa trên cụm từ (PBSMT), mô hình dịch máy mạng nơ-ron (NMT), kỹ thuật phân loại miền cụm từ, kỹ thuật dịch ngược (back-translation) và mô hình sửa lỗi ngữ pháp tiếng Việt.
• Phạm vi ngôn ngữ: Cặp ngôn ngữ Anh - Việt (theo cả hai chiều dịch, trọng tâm là chiều Anh - Việt và Việt - Anh).
• Phạm vi miền dữ liệu: Miền chung (tin tức, báo chí, blog, bài trình bày đa chủ đề) và miền đặc thù (trọng tâm là văn bản quy phạm pháp luật tiếng Việt và bản dịch tiếng Anh tương ứng).

---

Tổng quan tài liệu và vị trí của luận án

Luận án đã hệ thống hóa lịch sử phát triển của ngành dịch máy và phân loại các công trình nghiên cứu liên quan đến thích ứng miền theo hai trục tiếp cận chính: hướng mô hình (model-centric) và hướng dữ liệu (data-centric).

Dịch máy (Machine Translation)

Các hướng nghiên cứu trước được tác giả tổng hợp

1. Nghiên cứu về nền tảng dịch máy thống kê và nơ-ron:

   • Brown và cộng sự (1990, 1993) xây dựng nền tảng toán học cho SMT và đề xuất năm mô hình dịch dựa trên từ (IBM Models 1-5).
   • Al-Onaizan và cộng sự (1999) xây dựng bộ công cụ EGYPT và GIZA; Franz Och (2000, 2003) phát triển công cụ gióng hàng từ GIZA++.
   • Philipp Koehn và cộng sự (2003) chuẩn hóa mô hình dịch máy thống kê dựa trên cụm từ (PBSMT).
   • Sutskever và cộng sự (2014) đề xuất mô hình Seq2Seq với mạng tích chập và hồi quy; Vaswani và cộng sự (2017) tại Google AI công bố kiến trúc Transformer sử dụng cơ chế tự chú ý (self-attention).

2. Nghiên cứu thích ứng miền trong SMT (Hướng mô hình và hướng dữ liệu):

   • Hướng dữ liệu: Axelrod và cộng sự (2011), Foster và cộng sự chọn lọc câu ngoài miền dựa trên mô hình ngôn ngữ (Language Model - LM); Schwenk (2008), Snover và cộng sự tạo câu song ngữ nhân tạo.
   • Hướng mô hình: Foster và Kuhn (2007), Koehn và Schroeder (2007) thực hiện nội suy mô hình dịch và mô hình ngôn ngữ; Haddow (2013), Cuong và Sima'an (2014) tích hợp thông tin miền vào bảng cụm từ; Chen và cộng sự (2016), Zhang và cộng sự (2018) can thiệp trực tiếp vào cấu trúc bảng dịch cụm từ.

3. Nghiên cứu thích ứng miền trong NMT và kỹ thuật dịch ngược:

   • Sennrich, Haddow và Birch (2016) đề xuất kỹ thuật dịch ngược (back-translation) kinh điển, sử dụng hệ dịch nơ-ron cơ sở để dịch dữ liệu đơn ngữ đích thành dữ liệu giả song ngữ.
   • Gülçehre và cộng sự (2015), Domhan và Hieber (2017) tích hợp mô hình ngôn ngữ đơn ngữ vào bộ giải mã NMT.
   • Park và cộng sự (2017), Edunov và cộng sự (2018), Cong Duy Vu Hoang và cộng sự (2018) đánh giá tác động của các phương pháp sinh dữ liệu giả song ngữ và kỹ thuật dịch ngược lặp lại (iterative back-translation).
   • Poncelas và cộng sự (2018), Bojar và Tamchyna (2017) kết hợp dịch ngược vào mô hình PBSMT; Stahlberg và cộng sự (2018) chỉ ra ngưỡng bão hòa hiệu quả của kích thước dữ liệu dịch ngược.

4. Hiện trạng tài nguyên ngữ liệu cho cặp ngôn ngữ Anh - Việt:

   • IWSLT (2015): Bộ ngữ liệu 133.137 cặp câu Anh - Việt từ TED Talks.
   • VLSP (2020): Bộ ngữ liệu khoảng 4,2 triệu cặp câu, phân bổ từ nhiều nguồn khác nhau.
   • VinAI (2021): Tập dữ liệu 3,02 triệu cặp câu Anh - Việt thuộc miền chung.
   • VietAI (2022): Tập dữ liệu đa miền MTet gồm gần 4,2 triệu cặp câu trên 11 miền.
   • Nguyễn Tiến Hà (2020): Nghiên cứu xây dựng tài nguyên song ngữ Việt - Anh ứng dụng trong dịch máy miền du lịch.

Tên bộ dữ liệu	Năm công bố	Quy mô (cặp câu)	Thành phần / Đặc điểm miền
IWSLT 2015	2015	133.137	Dữ liệu phiên âm bài trình bày TED Talks đa chủ đề
VLSP 2020	2020	~4.200.000	Open Subtitles (3,5M), TED-like (546k), EVBcorpus (45k), Wiki-ALT (20k), Tin tức (20k), Thoại ngắn (8,8k)
VinAI	2021	3.020.000	Ngữ liệu miền chung thu thập từ tin tức báo chí, blog, Wikipedia
VietAI (MTet)	2022	~4.200.000	Ngữ liệu đa miền bao phủ 11 lĩnh vực chuyên biệt
Nguyễn Tiến Hà	2020	-	Tài nguyên song ngữ chuyên biệt cho miền du lịch

Khoảng trống luận án giải quyết

Mặc dù dữ liệu song ngữ Anh - Việt đã tăng lên, số lượng ngữ liệu chuyên miền (nhất là miền pháp luật) vẫn rất khan hiếm. Luận án định vị trọng tâm vào việc giải quyết tình trạng thiếu hụt này thông qua việc:

• Hiệu chỉnh trực tiếp bảng cụm từ của hệ PBSMT bằng phân loại miền, không yêu cầu tái huấn luyện toàn bộ mô hình;
• Tận dụng hệ dịch thương mại có sẵn chất lượng cao (Google Translate) làm thành phần sinh dữ liệu giả song ngữ từ đơn ngữ tiếng Việt;
• Xây dựng mô hình xử lý nhiễu ngữ pháp/chính tả (vnCheck) đặt trước quy trình dịch ngược để nâng cao chất lượng ngữ liệu giả được sinh ra.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

Luận án vận dụng các lý thuyết toán học và mô hình hóa tính toán trong xử lý ngôn ngữ tự nhiên:

1. Mô hình toán học của dịch máy thống kê: Dựa trên định lý Bayes, bài toán tìm câu đích $T$ tối ưu từ câu nguồn $S$ được mô tả qua công thức: $$\hat{T} = \arg\max_{T} P(T \mid S) = \arg\max_{T} P(T) \cdot P(S \mid T)$$ Trong đó:

   • $P(T)$ là xác suất mô hình ngôn ngữ (Language Model), đo lường tính tự nhiên và đúng ngữ pháp của câu đích.
   • $P(S \mid T)$ là xác suất mô hình dịch (Translation Model), tính toán sự tương đương ngữ nghĩa thông qua bảng dịch cụm từ (phrase-table) được trích xuất từ dữ liệu gióng hàng song ngữ.

2. Khung phân tích thích ứng miền: Theo định thức hóa của Jan Niehues (2019), bài toán học máy tìm hàm ánh xạ $f: X \to Y$ từ tập huấn luyện $D = {(x_n, y_n)} \in X \times Y$ tuân theo phân phối xác suất $p$. Trong bài toán thích ứng miền, tập kiểm thử $D_t$ tuân theo phân phối xác suất $p_t$ với $p_t \neq p$. Thích ứng miền là tập hợp các phương pháp biến đổi nhằm tối ưu hóa $f$ trên phân phối $p_t$.

3. Cơ chế dịch máy mạng nơ-ron (NMT):

   • Mô hình Encoder - Decoder: Mã hóa chuỗi từ ngôn ngữ nguồn thành véc-tơ ngữ cảnh liên tục (sử dụng RNN, LSTM hoặc GRU), sau đó giải nén thành chuỗi từ ngôn ngữ đích.
   • Mô hình Transformer: Sử dụng cơ chế tự chú ý đa đầu (Multi-Head Self-Attention) kết hợp mã hóa vị trí (Positional Encoding) và các kết nối dư (Residual Connections), cho phép xử lý song song toàn bộ chuỗi ký hiệu.

4. Chỉ số đánh giá chất lượng dịch máy (BLEU): Luận án sử dụng độ đo khách quan BLEU (Papineni et al., 2001) dựa trên tỷ lệ trùng khớp n-gram giữa bản dịch máy và bản dịch chuẩn của con người: $$\text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^{N} w_n \ln p_n\right)$$ Trong đó $p_n$ là độ chính xác của $n$-gram, $w_n$ là trọng số độ dài $n$-gram (thường chọn $N=4, w_n=1/4$), và $\text{BP}$ là hệ số phạt độ dài câu dịch ngắn (Brevity Penalty).

Phương pháp nghiên cứu thực nghiệm

Luận án kết hợp nghiên cứu lý thuyết mô hình và kiểm chứng thực nghiệm trên máy tính theo các bước:

• Xây dựng tập dữ liệu: Thu thập ngữ liệu song ngữ miền chung và miền pháp luật; thu thập văn bản đơn ngữ tiếng Việt từ các cổng thông tin pháp luật và báo chí.
• Tiền xử lý văn bản: Tách từ tiếng Việt, chuẩn hóa chữ thường/chữ hoa, loại bỏ ký tự đặc biệt, lọc trùng lặp và gióng hàng câu.
• Phân loại miền cụm từ: Áp dụng thuật toán học máy phân loại văn bản để gắn nhãn nhị phân (thuộc miền / ngoài miền) cho từng cụm từ trong bảng cụm từ của Moses SMT.
• Xây dựng mô hình sửa lỗi (vnCheck): Xây dựng bộ quy tắc và mô hình thống kê kết hợp từ điển cụm từ để nhận diện, thay thế các biến thể lỗi chính tả/ngữ pháp tiếng Việt.
• Huấn luyện và đánh giá: Huấn luyện các mô hình SMT (Moses toolkit) và NMT (Transformer), tiến hành giải mã trên tập kiểm thử và đo điểm BLEU tự động.

---

Nội dung chính theo từng chương

Cấu trúc thực hiện nghiên cứu của luận án:
Chương 1: Tổng quan lý thuyết, thách thức và dữ liệu nghiên cứu

Chương 1: Tổng quan về vấn đề nghiên cứu

Chương 1 trình bày chi tiết bức tranh toàn cảnh về công nghệ dịch máy qua các thời kỳ: từ tam giác Vauquois (dịch trực tiếp, dịch chuyển đổi, dịch liên ngữ) đến các mô hình dựa trên dữ liệu (SMT và NMT). Chương này phân tích chi tiết cơ chế toán học của mô hình dịch dựa trên từ (IBM 1-5) và mô hình dịch dựa trên cụm từ (PBSMT), chỉ ra hạn chế của PBSMT trong việc xử lý ngữ pháp và trật tự từ xa.

Đối với NMT, chương phân tích cấu trúc Encoder - Decoder với các lớp nhúng (embedding), lớp ẩn (hidden layers) và lớp chiếu (projection layer), cùng với ưu điểm vượt trội của kiến trúc Transformer khi loại bỏ sự phụ thuộc tuần tự thời gian của mạng hồi quy RNN. Chương 1 cũng hệ thống hóa các thách thức cố hữu của dịch máy (từ ngoài từ vựng - OOV, tính chất "hộp đen", yêu cầu tài nguyên phần cứng lớn) và các phương pháp đánh giá (chủ quan và khách quan: BLEU, SacreBLEU, WER, PER, TER). Phần cuối chương tổng kết chi tiết các công trình thích ứng miền trong nước và quốc tế, làm rõ cơ sở lựa chọn đề tài.

Chương 2: Phương pháp tinh chỉnh bảng cụm từ

Chương 2 giải quyết bài toán thích ứng miền cho hệ dịch thống kê dựa trên cụm từ (PBSMT) theo hướng tiếp cận mô hình:

• Cơ chế bảng dịch cụm từ: Trong SMT, bảng dịch cụm từ chứa danh sách các cặp cụm từ $(e, f)$ kèm theo 4 giá trị xác suất cơ bản: xác suất dịch ngược $p(f|e)$, trọng số từ ngược lex$(f|e)$, xác suất dịch xuôi $p(e|f)$, và trọng số từ xuôi lex$(e|f)$.
• Phương pháp đề xuất: Luận án đề xuất quy trình phân loại miền cho từng mục trong bảng cụm từ. Với mỗi cụm từ tiếng Anh và tiếng Việt, mô hình phân loại sẽ xác định xác suất thuộc về miền đích (miền pháp luật). Dựa trên kết quả phân loại, hệ thống thực hiện hiệu chỉnh và tính toán lại các trọng số xác suất dịch, tăng trọng số cho các cụm từ đặc trưng miền đích để bộ giải mã ưu tiên lựa chọn trong quá trình tìm kiếm không gian nghiệm (decoding).
• Thực nghiệm và kết quả: Tác giả tiến hành tiền xử lý, huấn luyện mô hình phân loại cụm từ và tích hợp bảng cụm từ đã tinh chỉnh vào hệ dịch. Đánh giá thực nghiệm cho thấy phương pháp tinh chỉnh bảng cụm từ giúp mô hình PBSMT cải thiện độ chính xác dịch thuật trên tập dữ liệu kiểm thử miền pháp luật so với mô hình cơ sở không thích ứng.

Chương 3: Phương pháp sinh tự động dữ liệu song ngữ

Chương 3 chuyển hướng sang tiếp cận theo hướng dữ liệu nhằm bổ sung tài nguyên cho dịch máy mạng nơ-ron (NMT):

• Hạn chế của kỹ thuật dịch ngược truyền thống: Kỹ thuật dịch ngược thông thường đòi hỏi phải tự huấn luyện một hệ dịch nơ-ron từ ngôn ngữ đích sang ngôn ngữ nguồn. Đối với các cặp ngôn ngữ ít tài nguyên như Việt - Anh, hệ dịch ngược tự xây dựng thường có chất lượng thấp, dẫn đến việc sinh ra dữ liệu giả song ngữ chứa nhiều câu dịch sai, làm giảm hiệu năng của mô hình đích.
• Đề xuất giải pháp: Luận án đề xuất quy trình tận dụng ứng dụng dịch tự động Google Translate như một mô hình thành phần trung gian để thực hiện dịch ngược kho ngữ liệu đơn ngữ tiếng Việt sang tiếng Anh. Phương pháp này tận dụng được chất lượng dịch tương đối ổn định của hệ dịch thương mại lớn, giúp giảm chi phí thời gian huấn luyện hệ dịch ngược riêng biệt.
• Thực nghiệm: Dữ liệu đơn ngữ tiếng Việt thuộc miền pháp luật và miền chung được đưa qua Google Translate để sinh ra kho ngữ liệu giả song ngữ Anh - Việt. Sau đó, tập dữ liệu tổng hợp này được trộn với tập dữ liệu song ngữ thực theo các tỷ lệ khác nhau để huấn luyện mô hình NMT. Kết quả thực nghiệm khẳng định chất lượng bản dịch trong miền pháp luật đạt điểm BLEU cao hơn rõ rệt so với khi chỉ sử dụng dữ liệu song ngữ ban đầu.

Chương 4: Cải tiến chất lượng của phương pháp sinh tự động dữ liệu song ngữ

Chương 4 tiếp tục hoàn thiện hướng tiếp cận dữ liệu của Chương 3 bằng cách xử lý triệt để bài toán nhiễu trong dữ liệu đầu vào:

• Vấn đề tồn tại: Văn bản đơn ngữ tiếng Việt thu thập từ internet thường mắc các lỗi gõ chính tả, sai dấu câu, sai từ vựng hoặc cấu trúc ngữ pháp. Khi các câu lỗi này đi qua Google Translate, hệ thống sẽ sinh ra các bản dịch tiếng Anh sai lệch hoặc vô nghĩa, làm suy giảm chất lượng của tập ngữ liệu giả song ngữ.
• Đề xuất mô hình vnCheck: Tác giả xây dựng công cụ sửa lỗi chính tả và ngữ pháp tự động dành riêng cho văn bản tiếng Việt (vnCheck) kết hợp với quy trình trích xuất và tạo từ điển cụm từ tiếng Việt.
• Quy trình kết hợp:
  1. Văn bản đơn ngữ tiếng Việt được đưa qua mô hình vnCheck để chuẩn hóa, loại bỏ lỗi chính tả và chỉnh sửa ngữ pháp;
  2. Văn bản tiếng Việt sạch sau khi xử lý nhiễu được đưa vào Google Translate để dịch ngược sang tiếng Anh;
  3. Dữ liệu giả song ngữ chất lượng cao được ghép nối với dữ liệu song ngữ gốc;
  4. Áp dụng kỹ thuật cắt tỉa bảng cụm từ (phrase-table pruning) để loại bỏ các cặp cụm từ có xác suất thấp hoặc nhiễu.
• Kết quả thực nghiệm: Các bảng đánh giá BLEU trong chương chứng minh mô hình NMT và SMT được huấn luyện trên tập dữ liệu đã qua tiền xử lý bởi vnCheck đạt điểm số BLEU vượt trội so với mô hình không sử dụng vnCheck, đồng thời kỹ thuật cắt tỉa bảng cụm từ giúp giảm đáng kể kích thước mô hình mà vẫn duy trì chất lượng dịch.

---

Kết quả và những đóng góp mới

Những đóng góp mới về mặt khoa học và kỹ thuật

Theo công bố của luận án, công trình đạt được ba đóng góp chính:

1. Phương pháp tinh chỉnh bảng cụm từ cho SMT (Hướng mô hình): Đề xuất giải pháp phân loại miền cho các cụm từ trong mô hình dịch của PBSMT và cập nhật lại phân phối xác suất dịch theo hướng ưu tiên miền đích, giúp cải thiện chất lượng dịch chuyên miền mà không làm phá vỡ cấu trúc của hệ dịch thống kê.
2. Quy trình sinh tự động dữ liệu song ngữ cho cặp ngôn ngữ ít tài nguyên (Hướng dữ liệu): Đề xuất giải pháp tích hợp Google Translate vào pipeline dịch ngược để tạo dữ liệu giả song ngữ chất lượng cao từ nguồn dữ liệu đơn ngữ, khắc phục điểm nghẽn thiếu hụt dữ liệu song ngữ miền đặc thù cho cặp ngôn ngữ Anh - Việt.
3. Phương pháp khử nhiễu văn bản đầu vào cho kỹ thuật dịch ngược (Hướng dữ liệu): Xây dựng mô hình sửa lỗi chính tả và ngữ pháp tiếng Việt (vnCheck) kết hợp tạo từ điển cụm từ, làm sạch dữ liệu đơn ngữ trước khi dịch ngược, qua đó nâng cao chất lượng ngữ liệu tổng hợp dùng cho huấn luyện NMT và SMT.

Các kết quả nghiên cứu trong luận án đã được công bố trong 08 công trình khoa học, bao gồm:

• 03 báo cáo trong kỷ yếu hội nghị quốc tế có phản biện (xuất bản bởi IEEE và Springer);
• 03 báo cáo trong kỷ yếu hội thảo quốc gia có phản biện;
• 01 bài báo trên tạp chí khoa học chuyên ngành trong nước có phản biện;
• 01 bài báo trên tạp chí khoa học quốc tế có phản biện.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu

• Phạm vi miền thực nghiệm: Nghiên cứu thực nghiệm chủ yếu tập trung vào miền văn bản quy phạm pháp luật và miền tin tức chung; chưa đánh giá toàn diện trên các miền có độ phức tạp thuật ngữ cao khác như y tế, cơ khí, tài chính chuyên sâu.
• Phụ thuộc hệ dịch trung gian: Việc sử dụng Google Translate trong khâu dịch ngược phụ thuộc vào tính ổn định và chính sách giao diện của nhà cung cấp dịch vụ bên ngoài.
• Phạm vi mô hình sửa lỗi: Công cụ vnCheck chủ yếu giải quyết các dạng lỗi chính tả, dấu câu và các lỗi ngữ pháp bề mặt phổ biến trong tiếng Việt, chưa xử lý triệt để các cấu trúc ngữ nghĩa phức tạp hoặc câu văn biến thể ngữ dụng học.

Hướng phát triển tiếp theo

• Mở rộng phạm vi thử nghiệm các kỹ thuật thích ứng miền trên nhiều lĩnh vực chuyên ngành đặc thù khác (y tế, giáo dục, kỹ thuật).
• Nghiên cứu tối ưu hóa và tinh chỉnh trực tiếp các mô hình ngôn ngữ lớn (LLMs) và kiến trúc Transformer đa nhiệm cho bài toán dịch máy đa miền Anh - Việt.
• Nâng cấp mô hình sửa lỗi tiếng Việt vnCheck bằng các kiến trúc học sâu hiện đại nhằm tăng khả năng nhận diện và chuẩn hóa ngữ pháp theo ngữ cảnh dài.

---

Giá trị tham khảo

Luận án có giá trị tham khảo chuyên môn trong các lĩnh vực:

• Đối với nghiên cứu sinh và học viên cao học ngành Công nghệ thông tin, Khoa học máy tính, Xử lý ngôn ngữ tự nhiên: Cung cấp tài liệu tổng quan hệ thống về lý thuyết SMT, NMT, cơ chế toán học của mô hình dịch dựa trên cụm từ, và các kỹ thuật can thiệp vào bảng dịch cụm từ.
• Đối với các kỹ sư phát triển hệ thống dịch máy: Tham khảo quy trình pipeline kết hợp dịch ngược bằng công cụ có sẵn và cơ chế lọc nhiễu văn bản đơn ngữ trước khi đưa vào huấn luyện mô hình NMT trong điều kiện khan hiếm tài nguyên.
• Đối với các đơn vị biên dịch và tin học hóa văn bản pháp luật: Cung cấp phương pháp luận và giải pháp kỹ thuật nâng cao chất lượng dịch thuật tự động cho các văn bản pháp quy Anh - Việt.

---

Câu hỏi thường gặp

1. Luận án giải quyết vấn đề gì của bài toán thích ứng miền trong dịch máy Anh - Việt?

Luận án giải quyết hiện tượng suy giảm chất lượng dịch máy khi áp dụng mô hình huấn luyện từ miền chung sang miền chuyên ngành hẹp (cụ thể là miền pháp luật) do sự khác biệt về phân phối từ vựng và cấu trúc câu, trong bối cảnh cặp ngôn ngữ Anh - Việt thiếu hụt nghiêm trọng dữ liệu song ngữ chuyên miền.

2. Ba đóng góp kỹ thuật cốt lõi của tác giả là gì?

Ba đóng góp gồm: (1) Phương pháp tinh chỉnh xác suất bảng cụm từ trong SMT dựa trên phân loại miền; (2) Phương pháp sinh tự động dữ liệu giả song ngữ qua kỹ thuật dịch ngược sử dụng Google Translate; (3) Phương pháp làm sạch và sửa lỗi chính tả/ngữ pháp tiếng Việt (mô hình vnCheck) cho dữ liệu đơn ngữ trước khi dịch ngược.

3. Tại sao tác giả sử dụng Google Translate trong quy trình dịch ngược thay vì tự huấn luyện hệ dịch riêng?

Đối với các cặp ngôn ngữ ít tài nguyên như Việt - Anh, việc tự huấn luyện một hệ dịch ngược riêng thường cho kết quả kém do thiếu dữ liệu song ngữ ban đầu, dẫn đến dữ liệu giả song ngữ sinh ra có chất lượng thấp. Việc sử dụng Google Translate giúp tận dụng chất lượng dịch ổn định của hệ dịch quy mô lớn, tiết kiệm thời gian và tạo ra tập dữ liệu giả song ngữ tốt hơn.

4. Mô hình vnCheck đóng vai trò gì trong Chương 4 của luận án?

Mô hình vnCheck thực hiện chuẩn hóa và tự động sửa các lỗi chính tả, lỗi ngữ pháp trong văn bản đơn ngữ tiếng Việt thu thập từ môi trường mạng. Việc làm sạch dữ liệu đầu vào giúp giảm thiểu hiện tượng sinh câu dịch sai lệch khi chuyển qua Google Translate, từ đó nâng cao chất lượng dữ liệu huấn luyện cho mô hình dịch đích.

---

Kết luận

Luận án "Nghiên cứu một số kỹ thuật thích ứng miền trong dịch máy thống kê Anh - Việt" của nghiên cứu sinh Phạm Nghĩa Luân đã giải quyết bài toán thích ứng miền cho dịch máy thông qua việc kết hợp hài hòa giữa hướng tiếp cận mô hình (tinh chỉnh bảng cụm từ cho PBSMT) và hướng tiếp cận dữ liệu (sinh dữ liệu giả song ngữ chất lượng cao qua dịch ngược và công cụ lọc nhiễu vnCheck). Các kết quả lý thuyết và thực nghiệm được công bố trong 08 công trình khoa học, cung cấp giải pháp kỹ thuật thiết thực để nâng cao chất lượng dịch máy chuyên ngành cho các cặp ngôn ngữ ít tài nguyên.

Trích đoạn nội dung tài liệu

Chương 1. Tổng quan vé van đề nghiên cứu 11 1.2 được tác giả Bernard Vauquois [124] trình bày, mô tả các phương pháp dịch máy. phân tích sinh Chuyển đổi —— Dịch trực tiếp nguồn Hình 1.2 : Tam giác Vauquois mô tả các phương pháp dịch Hình 1.2 mô tả quá trình dịch văn bản từ ngôn ngữ nguồn sang ngôn ngữ đích theo ba phương pháp khác nhau: 1. Phương pháp dịch trực tiếp, hệ thống sẽ dịch bằng cách thay thế đơn giản những từ hoặc cụm từ trong ngôn ngữ nguồn bằng những từ hoặc cụm từ tương ứng trong ngôn ngữ đích.

Phương pháp dịch chuyển đổi, hệ thống thực hiện theo ba bước, đầu tiên là chuyển đổi văn bản ở ngôn ngữ nguồn thành một dạng biểu diễn trung gian (thường là cây phân tích cú pháp), sau đó thực hiện chuyển các biểu diễn trung gian này thành dạng văn bản tương ứng trong ngôn ngữ đích, cuối cùng là sinh ra văn bản ở ngôn ngữ đích. Phương pháp dịch liên ngữ, hệ thống thực hiện chuyển đổi văn bản từ ngôn ngữ nguồn sang văn ban 6 ngôn ngữ trung gian trước Chương 1. Tổng quan vé van đề nghiên cứu 12 khi thực hiện chuyển văn bản từ ngôn ngữ trung gian thành văn bản ở ngôn ngữ đích. Đầu năm 1990, một bước ngoặt lớn là có sự quan tâm nhiều hơn của nhiều nhà nghiên cứu trong dịch máy dựa vào dit liệu.

Với sự phát triển mạnh mẽ của Internet, nhu cầu trao đổi thông tin bùng no cùng với sự tích lũy kiến thức về mặt ngôn ngữ, sức mạnh của máy tính tăng lên và có nhiều kết quả mới về mặt lý thuyết, cho nên việc phát triển các mô hình dịch tự động trở nên rất cần thiết. Dịch dựa trên ví dụ là một trong những phương pháp tiếp cận sớm được đưa ra trong dịch máy theo hướng dữ liệu [107]. Nó cỗ gắng tim một câu tương tự với đầu vào đã cho trong ví dụ được dịch trước đó. Sau đó, tạo ra những thay đổi thích hợp cho bản dịch được lựa chọn.

Phương pháp này nhanh hơn dựa trên luật nhưng không đảm bảo bản dịch tốt hơn. Do sự gia tăng sức mạnh tính toán và khả năng tiếp cận các dữ liệu lớn, phương pháp thống kê đã được đề xuất để thực hiện phân tích sâu hơn so với các phương pháp tiếp cận dựa trên ví dụ. Năm 1990, Brown và cộng sự đã trình bày mô hình toán học của dịch máy thống kê [97], tới năm 1993 thì các tác giả giới thiệu năm mô hình thống kê được gọi là mô hình IBM và đưa ra các thuật toán để ước lượng các tham số của mô hình [S]. Mặc dù nhóm tác giả nghiên cứu trên một nền tảng toán học vững chắc nhưng vẫn chưa có nhiều nghiên cứu tập trung cho dịch máy.

Năm 1999, nhiều nhà nghiên cứu đã cùng nhau cài đặt lại các mô hình IBM tại hội thao mùa hè tại Dai học Johns Hopkins, nhóm tác giả Al-Onaizan và cộng sự trong sáu tuần tại hội thảo đã cài đặt công cụ dịch máy thống kê (SMT) (gọi là EGYPT) [3] và công cụ GIZA [90] Chương 1. Tổng quan vé van đề nghiên cứu 13 được đề cập trong báo cáo kỹ thuật cho việc gióng từ. Franz Och sau đó mở rộng các công cụ gióng từ thành GIZA++ [57], bổ sung thêm nhiều tính năng cho việc học mô hình dịch thống kê từ dữ liệu văn bản va được cài đặt như trong mô tả của Brown và cộng sự năm 1993 [8], của Vogel và cộng sự năm 1996 [125] và của Och năm 2000 [90, 91].