Luận án tiến sĩ về giải pháp cải tiến chất lượng dịch tự động tiếng Việt

Luận án tiến sĩ nghiên cứu nghiên cứu giải pháp cải tiến chất lượng dịch tự động tiếng việt, phát triển phương pháp mới, đánh giá hiệu quả ứng dụng trong lĩnh vực tại Việt Nam.

• Tác giả: Nguyễn Văn Bình
• Người hướng dẫn: Huỳnh Công Pháp
• Trường học: Đại học Đà Nẵng
• Chuyên ngành: Khoa học máy tính
• Đề tài: Cải Tiến Chất Lượng Dịch Tự Động Tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2021
• Địa điểm: Đà Nẵng

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ DỊCH TỰ ĐỘNG VÀ CHẤT LƯỢNG DỊCH TỰ ĐỘNG TIẾNG VIỆT HIỆN NAY
• 1.1. Nghiên cứu tổng quan về dịch tự động, kho ngữ liệu, các phương pháp cải tiến và đánh giá chất lượng dịch tự động
• 1.2. Các phương pháp dịch tự động
• 1.3. Kho ngữ liệu trong dịch tự động
• 1.4. Đánh giá chất lượng hệ thống dịch tự động
• 1.5. Các nghiên cứu liên quan đến xây dựng và cải tiến chất lượng dịch tự động tiếng Việt
• 1.5.1. Nghiên cứu xây dựng hệ thống dịch và đánh giá chất lượng dịch
• 1.5.2. Nghiên cứu xây dựng và cải tiến kho ngữ liệu tiếng Việt
• 1.6. Thực trạng chất lượng dịch tự động tiếng Việt
• 1.7. Kết luận Chương 1
• 2. CHƯƠNG 2: GIẢI PHÁP CẢI TIẾN CHẤT LƯỢNG DỊCH TỰ ĐỘNG TIẾNG VIỆT
• 2.1. Đánh giá chất lượng các hệ thống dịch tự động tiếng Việt
• 2.1.1. Tổ chức đánh giá
• 2.1.2. Nhận xét, đánh giá
• 2.2. Đề xuất giải pháp đánh giá chất lượng dựa trên quá trình hiệu đính bản dịch
• 2.3. Giải pháp cải tiến chất lượng dịch tiếng Việt dựa vào kho ngữ liệu lớn
• 2.3.1. Các nghiên cứu liên quan đến cải tiến chất lượng kho ngữ liệu
• 2.3.2. Giải pháp nâng cao chất lượng kho ngữ liệu
• 2.3.3. Đánh giá vai trò của kho ngữ liệu đối với kết quả hệ thống dịch
• 2.4. Giải pháp cải tiến chất lượng dịch tiếng Việt dựa vào mô hình máy học mạng nơ ron
• 2.4.1. Giải pháp cải tiến chất lượng dịch tiếng Việt bằng mô hình học máy mạng nơ ron
• 2.4.2. Kết quả xây dựng hệ thống dịch
• 2.4.3. Giải pháp xây dựng hệ thống dịch ngữ nghĩa
• 2.5. Kết luận Chương 2
• 3. CHƯƠNG 3: HỆ THỐNG DỊCH TỰ ĐỘNG ANH-VIỆT VIKI TRANSLATOR
• 3.1. Xây dựng kho ngữ liệu
• 3.1.1. Quy trình các bước triển khai
• 3.1.2. Xây dựng kho ngữ liệu song ngữ số lượng lớn
• 3.1.3. Xây dựng công cụ hỗ trợ mở rộng ngôn ngữ và ngữ nghĩa
• 3.1.4. Xây dựng kho ngữ liệu ontology
• 3.2. Kết quả thực nghiệm xây dựng ứng dụng dịch Anh – Việt lĩnh vực văn bản pháp luật (VIKI Translator)
• 3.2.1. Quy trình các bước triển khai
• 3.2.2. Tổ chức huấn luyện mô hình và điều chỉnh tham số mô hình
• 3.2.3. Xây dựng các mô đun của hệ thống dịch
• 3.2.4. Đánh giá kết quả
• 3.2.4.1. Kết quả thực nghiệm
• 3.2.4.2. Đánh giá của người dùng
• 3.3. Kết luận Chương 3
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 3.4. Hướng phát triển
• DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về dịch tự động và chất lượng dịch tự động tiếng Việt hiện nay

Chương này trình bày tổng quan về dịch tự động và chất lượng dịch hiện tại của các hệ thống dịch tiếng Việt. Nghiên cứu chỉ ra rằng, mặc dù có nhiều tiến bộ trong công nghệ dịch tự động, chất lượng dịch giữa các cặp ngôn ngữ ít phổ biến vẫn còn thấp. Các hệ thống như Google và Microsoft đã có những cải tiến đáng kể, nhưng vẫn cần nhiều nỗ lực để nâng cao chất lượng dịch cho tiếng Việt. Đặc biệt, việc đánh giá chất lượng dịch là rất quan trọng để xác định các vấn đề và tìm ra giải pháp cải tiến. Các phương pháp đánh giá hiện tại bao gồm đánh giá chủ quan và khách quan, với các chỉ số như BLEU và NIST. Những nghiên cứu trước đây đã chỉ ra rằng, kho ngữ liệu và phương pháp dịch là hai yếu tố chính ảnh hưởng đến chất lượng dịch. Do đó, việc cải tiến kho ngữ liệu và áp dụng các phương pháp dịch hiện đại như học máy và mạng nơ ron là cần thiết để nâng cao chất lượng dịch tự động tiếng Việt.

1.1. Các phương pháp dịch tự động

Các phương pháp dịch tự động hiện nay chủ yếu bao gồm dịch máy thống kê và dịch máy dựa trên học máy. Dịch máy thống kê sử dụng các mô hình xác suất để dịch từ ngôn ngữ này sang ngôn ngữ khác, trong khi dịch máy dựa trên học máy, đặc biệt là mạng nơ ron, cho phép dịch toàn bộ câu cùng lúc, giúp cải thiện đáng kể chất lượng dịch. Nghiên cứu cho thấy rằng, việc áp dụng mạng nơ ron trong dịch tự động đã mang lại những kết quả khả quan hơn so với các phương pháp truyền thống. Tuy nhiên, vẫn cần có những cải tiến trong việc xây dựng và tối ưu hóa các mô hình này để đạt được hiệu quả tốt nhất trong dịch tự động tiếng Việt.

1.2. Kho ngữ liệu trong dịch tự động

Kho ngữ liệu là một yếu tố quan trọng trong dịch tự động. Chất lượng và số lượng của kho ngữ liệu ảnh hưởng trực tiếp đến kết quả dịch. Nghiên cứu đã chỉ ra rằng, việc mở rộng và cải tiến kho ngữ liệu có thể giúp nâng cao chất lượng dịch. Các giải pháp như hợp nhất kho ngữ liệu và xây dựng kho ngữ liệu lớn đã được đề xuất để cải thiện chất lượng dịch. Hơn nữa, việc xác định danh từ riêng và ranh giới từ ghép trong tiếng Việt cũng là những vấn đề cần được giải quyết để tối ưu hóa quá trình dịch. Các nghiên cứu trước đây đã chứng minh rằng, kho ngữ liệu phong phú và chất lượng cao sẽ giúp các hệ thống dịch tự động hoạt động hiệu quả hơn.

II. Giải pháp cải tiến chất lượng dịch tự động tiếng Việt

Chương này tập trung vào việc đề xuất các giải pháp nhằm cải tiến chất lượng của các hệ thống dịch tự động tiếng Việt. Đánh giá chất lượng hiện tại cho thấy nhiều hệ thống vẫn chưa đáp ứng được yêu cầu của người dùng. Do đó, việc tổ chức đánh giá chất lượng một cách khoa học là rất cần thiết. Các giải pháp được đề xuất bao gồm cải tiến kho ngữ liệu, áp dụng các mô hình học máy hiện đại và xây dựng hệ thống dịch ngữ nghĩa. Cải tiến kho ngữ liệu không chỉ giúp tăng cường chất lượng dịch mà còn giúp hệ thống hiểu rõ hơn về ngữ cảnh và ý nghĩa của văn bản. Việc áp dụng AI trong dịch thuật cũng được nhấn mạnh như một giải pháp tiềm năng để nâng cao chất lượng dịch tự động. Các nghiên cứu cho thấy rằng, việc sử dụng mạng nơ ron trong dịch tự động đã mang lại những kết quả khả quan, giúp cải thiện đáng kể chất lượng dịch.

2.1. Đánh giá chất lượng các hệ thống dịch tự động tiếng Việt

Đánh giá chất lượng các hệ thống dịch tự động tiếng Việt là một bước quan trọng trong việc cải tiến chất lượng dịch. Các phương pháp đánh giá hiện tại bao gồm đánh giá chủ quan và khách quan. Đánh giá chủ quan thường dựa vào cảm nhận của người dùng, trong khi đánh giá khách quan sử dụng các chỉ số như BLEU và NIST để đo lường chất lượng dịch. Nghiên cứu đã chỉ ra rằng, việc tổ chức đánh giá một cách hệ thống và khoa học sẽ giúp xác định rõ ràng các vấn đề trong chất lượng dịch, từ đó đề xuất các giải pháp cải tiến hiệu quả hơn.

2.2. Giải pháp cải tiến kho ngữ liệu

Cải tiến kho ngữ liệu là một trong những giải pháp quan trọng nhất để nâng cao chất lượng dịch tự động. Nghiên cứu đã chỉ ra rằng, việc mở rộng và hợp nhất kho ngữ liệu có thể giúp cải thiện đáng kể chất lượng dịch. Các giải pháp cụ thể bao gồm xây dựng kho ngữ liệu lớn, xác định danh từ riêng và ranh giới từ ghép trong tiếng Việt. Những giải pháp này không chỉ giúp tăng cường chất lượng dịch mà còn giúp hệ thống hiểu rõ hơn về ngữ cảnh và ý nghĩa của văn bản. Việc áp dụng các công nghệ mới trong việc xây dựng và tối ưu hóa kho ngữ liệu cũng là một yếu tố quan trọng để nâng cao chất lượng dịch tự động.

III. Thực nghiệm và đánh giá kết quả

Chương này trình bày các bước thực nghiệm xây dựng kho ngữ liệu lớn và xây dựng mô hình dịch máy mạng nơ ron cho cặp ngôn ngữ Anh – Việt. Kết quả thực nghiệm cho thấy rằng, việc áp dụng các giải pháp đã đề xuất đã mang lại những cải tiến rõ rệt trong chất lượng dịch. Hệ thống dịch VIKI Translator được triển khai trên môi trường Internet đã nhận được phản hồi tích cực từ người dùng. Các chỉ số đánh giá chất lượng dịch như BLEU và NIST đã được cải thiện đáng kể, cho thấy rằng các giải pháp cải tiến kho ngữ liệu và áp dụng mô hình học máy đã phát huy hiệu quả. Hệ thống này không chỉ cung cấp dịch vụ cho người dùng mà còn góp phần nâng cao chất lượng dịch tự động tiếng Việt.

3.1. Kết quả thực nghiệm xây dựng hệ thống dịch

Kết quả thực nghiệm cho thấy rằng, việc xây dựng hệ thống dịch tự động VIKI Translator đã mang lại những cải tiến rõ rệt trong chất lượng dịch. Hệ thống này đã được triển khai trên môi trường Internet và nhận được phản hồi tích cực từ người dùng. Các chỉ số đánh giá chất lượng dịch như BLEU và NIST đã được cải thiện đáng kể, cho thấy rằng các giải pháp cải tiến kho ngữ liệu và áp dụng mô hình học máy đã phát huy hiệu quả. Hệ thống này không chỉ cung cấp dịch vụ cho người dùng mà còn góp phần nâng cao chất lượng dịch tự động tiếng Việt.

3.2. Đánh giá hiệu quả của hệ thống dịch

Đánh giá hiệu quả của hệ thống dịch VIKI Translator cho thấy rằng, chất lượng dịch đã được cải thiện rõ rệt so với các hệ thống dịch tự động tiếng Việt hiện có. Hệ thống đã nhận được nhiều phản hồi tích cực từ người dùng, với điểm số trung bình trên 4,5/5,0 từ Google Play và Chrome Extensions. Điều này chứng tỏ rằng, các giải pháp cải tiến đã được áp dụng một cách hiệu quả, giúp nâng cao chất lượng dịch tự động tiếng Việt, đáp ứng nhu cầu ngày càng cao của người dùng.

Nội dung chính

Tổng quan về luận án

Nghiên cứu khoa học trong lĩnh vực Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) đối với các ngôn ngữ có nguồn tài nguyên hạn chế (low-resource languages) như tiếng Việt luôn đối mặt với rào cản lớn về sự thiếu hụt kho ngữ liệu quy chuẩn song ngữ và tính nhập nhằng cấu trúc ngữ nghĩa sâu. Luận án Tiến sĩ Kỹ thuật chuyên ngành Khoa học máy tính (Mã số: 9480101) với đề tài "Nghiên cứu giải pháp cải tiến chất lượng dịch tự động tiếng Việt" do NCS. Nguyễn Văn Bình thực hiện dưới sự hướng dẫn khoa học của PGS.TS. Huỳnh Công Pháp và TS. Vincent Berment tại Trường Đại học Bách khoa – Đại học Đà Nẵng (bảo vệ tháng 12/2021), đã giải quyết căn bản các nút thắt then chốt của bài toán dịch máy tự động Anh - Việt và Việt - Anh. Tính tiên phong của luận án được khẳng định qua việc kết hợp đồng bộ giữa giải pháp tiền xử lý tri thức ngôn ngữ học đặc thù, chuẩn hóa kho ngữ liệu quy mô lớn (>1.000.000 cặp câu), và thiết kế kiến trúc dịch máy nơ-ron (Neural Machine Translation - NMT) tích hợp tầng bản thể học (ontology) hướng ngữ nghĩa theo ngữ cảnh.

Khoảng trống nghiên cứu (research gap) cốt lõi được tác giả chỉ rõ xuất phát từ thực trạng: "chất lượng dịch tự động của giữa các cặp ngôn ngữ ít phổ biến (low-resource) khá thấp, kể cả dịch từ tiếng Việt sang tiếng Anh và các ngôn ngữ khác, nên kết quả dịch chủ yếu để tham khảo, nắm đại ý của văn bản". Các nghiên cứu trước đây (như Koehn et al., 2007; Đinh Điền, 2005) phần lớn dừng lại ở mô hình dịch máy thống kê (Statistical Machine Translation - SMT) dựa trên cụm từ rời rạc hoặc các tập ngữ liệu chung quy mô nhỏ, khiến câu dịch trong các lĩnh vực hẹp bị sai lệch nghiêm trọng về thuật ngữ chuyên ngành và trật tự cú pháp.

Luận án thiết lập 03 câu hỏi nghiên cứu và giả thuyết khoa học tường minh:

• RQ1: Thực trạng chất lượng dịch tự động tiếng Việt của các hệ thống thương mại (Google Translate, Microsoft Translator) và mã nguồn mở (Moses) đạt mức định lượng và định tính ra sao trên các miền văn bản thực tế? -> H1: Các hệ thống dịch hiện tại đạt điểm BLEU thấp và tỷ lệ lỗi cao trong các lĩnh vực chuyên biệt do thiếu vắng ngữ cảnh và tài nguyên song ngữ chuẩn hóa.
• RQ2: Làm thế nào để nâng cao chất lượng bản dịch thông qua các kỹ thuật xử lý ngữ liệu nâng cao và thuật toán nhận dạng ranh giới từ, thực thể tên riêng đặc thù tiếng Việt? -> H2: Việc kết hợp thuật toán Maximum Matching với phân tích quan hệ cú pháp và mô hình phân phối từ sẽ cải thiện trực tiếp độ chính xác của ngữ liệu huấn luyện, từ đó tăng điểm chất lượng dịch (BLEU/NIST).
• RQ3: Mô hình dịch nơ-ron tích hợp cơ chế tập trung (Attention) kết hợp với bản thể học (Ontology) có thể giải quyết triệt để tính nhập nhằng ngữ nghĩa trong văn bản pháp luật hay không? -> H3: Kiến trúc Sequence-to-Sequence (Seq2Seq) có cơ chế Attention kết hợp mở rộng ngữ nghĩa đa tầng sẽ vượt trội hơn hẳn mô hình thống kê cụm từ truyền thống về cả độ đầy đủ (adequacy) và độ trôi chảy (fluency).

Khung lý thuyết của công trình được định vị trên nền tảng: Lý thuyết Dịch máy Thống kê Bayes (Bayesian SMT Theory), Lý thuyết Biểu diễn Ngữ nghĩa Phân phối (Distributed Semantic Representations của Mikolov et al.), Kiến trúc Mã hóa - Giải mã Mạng nơ-ron Tái phát (RNN Encoder-Decoder with Attention của Bahdanau et al.), và Lý thuyết Bản thể học Tri thức (Knowledge Ontology Framework).

Đóng góp đột phá của luận án được lượng hóa rõ nét: Xây dựng kho ngữ liệu chuyên ngành quy phạm pháp luật vượt mốc 1.000.000 cặp câu song ngữ chất lượng cao; đề xuất bộ công cụ đánh giá bán tự động thông qua chỉ số hiệu đính bản dịch ($T_{pe}$, $O_{pe}$); và phát triển thành công hệ sinh thái dịch tự động thực tế VIKI Translator (https://vikitranslator.com) thu hút hơn 30.000 lượt tải ứng dụng, hơn 582.561 liên kết chỉ mục (backlinks) và xếp hạng đánh giá 4,5/5,0 trên Google Play và Chrome Web Store.

---

Literature Review và Positioning

Lịch sử phát triển dịch máy thế giới đã trải qua bốn trường phái chính: Dịch máy dựa trên luật (Rule-Based MT - RBMT) khởi xướng từ những năm 1950; Dịch máy dựa trên ví dụ (Example-Based MT - EBMT) do Nagao (1984) và Sato & Nagao (1990) đề xuất dựa trên nguyên lý tương tự (analogy principle); Dịch máy thống kê (SMT) đặt nền móng bởi Brown et al. (1993) và hoàn thiện bởi Philipp Koehn et al. (2003, 2007) với hệ thống Moses; và Dịch máy mạng nơ-ron (NMT) bùng nổ từ công trình của Bahdanau, Cho, & Bengio (2014) cùng Sutskever et al. (2014).

   [RBMT: Luật ngữ pháp] ──► [EBMT: Dựa trên ví dụ] ──► [SMT: Thống kê Bayes / Moses]
                                                                  │
                                                                  ▼
[Dịch hướng Ngữ nghĩa + Ontology (VIKI)] ◄── [NMT: Seq2Seq + Attention Mechanism]

Tổng quan y văn cho thấy sự đối lập gay gắt giữa hai luồng quan điểm:

1. Trường phái SMT cụm từ (Phrase-based SMT): Cho rằng việc tối ưu hóa bảng cụm từ (phrase table) dựa trên phân bố xác suất Bayes $p(e|f) \propto p(f|e)p(e)$ kết hợp mô hình n-gram là đủ để ánh xạ ngữ nghĩa giữa các ngôn ngữ mà không cần hiểu biết sâu về cú pháp hình thức (Koehn, 2007).
2. Trường phái NMT liên tục (Continuous NMT): Khẳng định biểu diễn véc-tơ không gian liên tục (continuous vector space) và giải mã thông qua mạng nơ-ron tái phát (RNN/LSTM) có cơ chế Attention mới giải quyết được sự phụ thuộc xa (long-range dependencies) và trật tự từ phức tạp mà SMT hoàn toàn bất lực (Bahdanau et al., 2014; Wu et al., 2016 - Google GNMT).

Tại Việt Nam, các nghiên cứu dịch tự động tiếng Việt ghi nhận những mốc quan trọng: Hệ thống dịch theo luật EVTran (Hoàng Kiếm, Phan Thị Tươi, 1989; Đinh Điền, 2005) dựa trên tập luật thủ công hạn chế; các thử nghiệm SMT trên nền Moses của nhóm nghiên cứu IWSLT (Cettolo et al., 2015; Luong & Manning, 2015) đạt điểm BLEU từ 20,70 đến 23,15 trên tập TED tst2015; nghiên cứu SMT của Nguyễn et al. với ngữ liệu 880.000 cặp câu đạt BLEU 10,08 (vượt Google SMT 8,80 và Microsoft 7,26 thời điểm bấy giờ); và các công trình xây dựng ngữ liệu của VLSP (KC01.01/06-10 với 100.000 cặp câu) hay Vietlex (4 triệu câu đơn ngữ).

So sánh với các nghiên cứu quốc tế tiêu biểu:

• EuroMatrix Project (Koehn et al., 2007): Xây dựng kho ngữ liệu đa ngữ chuẩn hóa 11 ngôn ngữ từ Nghị viện Châu Âu (34-55 triệu từ), chứng minh vai trò then chốt của quy mô dữ liệu đối với dịch máy SMT.
• Canadian Hansard Corpus (Linguistic Data Consortium - LDC): Tập dữ liệu 2,8 triệu cặp câu song ngữ Anh-Pháp chuyên sâu về biên bản nghị trường, đặt tiêu chuẩn quốc tế cho việc gióng hàng văn bản pháp lý.

Luận án của NCS. Nguyễn Văn Bình định vị chính xác khoảng trống: Trong khi các bộ dữ liệu quốc tế như EuroMatrix hay Canadian Hansard tập trung vào các cặp ngôn ngữ tài nguyên dồi dào có hình thái biến đổi (inflectional languages), tiếng Việt là ngôn ngữ đơn lập (isolating language), không biến đổi hình thái từ, ranh giới từ không trùng với khoảng trắng và phụ thuộc nặng nề vào ngữ cảnh. Luận án tiến một bước dài khi chuyển giao thành công mô hình NMT Seq2Seq Attention kết hợp biểu diễn tri thức Ontology vào bài toán dịch thuật văn bản pháp luật Việt - Anh.

---

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng và thách thức các giới hạn của ba lý thuyết nền tảng:

1. Lý thuyết Dịch máy Thống kê Bayes (Bayesian SMT): Khẳng định giới hạn trần của mô hình cụm từ khi áp dụng cho ngôn ngữ đơn lập. Với tiếng Việt, việc phân rã câu thành cụm từ rời rạc theo nguyên lý "Hai yếu tố then chốt của hệ thống dịch tự động: Dữ liệu và Phương pháp dịch" mà không có thông tin ngữ nghĩa sâu sẽ làm mất cấu trúc vị từ - bổ ngữ.
2. Lý thuyết Biểu diễn Ngữ nghĩa Không gian Véc-tơ (Distributed Representations): Luận án chứng minh rằng các véc-tơ nhúng từ (Word Embeddings như CBOW/Skip-gram) cần phải được hiệu chỉnh ranh giới từ ghép tiếng Việt thông qua mô hình phân phối thống kê trước khi nạp vào mạng nơ-ron.
3. Lý thuyết Bản thể học (Ontology Framework): Thiết lập mô hình biểu diễn tri thức phân cấp đa tầng (Class Hierarchy, Object Properties, Data Properties) để làm giàu ngữ nghĩa cho câu dịch, khắc phục hiện tượng dịch "mù nghĩa" (literal translation) của các mô hình nơ-ron thuần túy.

Hệ thống giả thuyết lý thuyết được xác lập:

• Proposition 1: Độ chính xác gióng hàng từ của ngôn ngữ đơn lập tỷ lệ thuận với mức độ tiền xử lý phân định ranh giới từ ghép đa âm tiết.
• Proposition 2: Cơ chế Attention trong NMT đóng vai trò như một bộ ánh xạ liên kết động giữa các thành tố cú pháp phi tuyến tính giữa cấu trúc S-V-O của tiếng Anh và tiếng Việt.
• Proposition 3: Tích hợp bộ lọc Ontology vào đầu ra giải mã giúp loại trừ 100% các lỗi nhập nhằng đa nghĩa của thuật ngữ pháp lý.

       ┌────────────────────────────────────────────────────────┐
       │                VĂN BẢN NGUỒN (ANH / VIỆT)              │
       └──────────────────────────┬─────────────────────────────┘
                                  │
                                  ▼
       ┌────────────────────────────────────────────────────────┐
       │  TIỀN XỬ LÝ: Maximum Matching + Phân tách từ ghép      │
       │  + Nhận dạng thực thể tên riêng (NER)                  │
       └──────────────────────────┬─────────────────────────────┘
                                  │
                                  ▼
       ┌────────────────────────────────────────────────────────┐
       │  KIẾN TRÚC NMT: Seq2Seq RNN + Attention Mechanism       │
       │  (Mã hóa ngữ cảnh véc-tơ & Giải mã phân phối xác suất) │
       └──────────────────────────┬─────────────────────────────┘
                                  │
                                  ▼
       ┌────────────────────────────────────────────────────────┐
       │  HẬU XỬ LÝ NGỮ NGHĨA: Bản thể học (Domain Ontology)    │
       │  + Đánh giá hiệu đính bán tự động (Tpe / Ope)          │
       └──────────────────────────┬─────────────────────────────┘
                                  │
                                  ▼
       ┌────────────────────────────────────────────────────────┐
       │             BẢN DỊCH CHUẨN XÁC CHUYÊN NGÀNH            │
       └────────────────────────────────────────────────────────┘

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp liên ngành giữa Ngôn ngữ học tính toán tiếng Việt, Học sâu (Deep Learning) và Công nghệ Tri thức (Knowledge Engineering):

• Phương pháp tiếp cận phân tích mới: Kết hợp thuật toán Maximum Matching cải tiến với phân tích quan hệ giữa các thành tố văn bản để giải quyết triệt để bài toán nhận dạng thực thể danh từ riêng (Named Entity Recognition - NER) và ranh giới từ ghép.
• Đóng góp khái niệm: Định nghĩa chỉ số thời gian hiệu đính ($T_{pe}$) và thao tác hiệu đính ($O_{pe}$) như một phương pháp lượng hóa công sức con người trong quy trình hậu xử lý (post-editing), tạo mối tương quan toán học chặt chẽ với các chỉ số khách quan (BLEU, NIST, TER).
• Điều kiện biên (Boundary conditions): Mô hình đạt hiệu quả tối ưu trên miền văn bản chuẩn mực, có cấu trúc chặt chẽ như văn bản quy phạm pháp luật, hành chính công và tài liệu kỹ thuật; phạm vi từ vựng bị giới hạn bởi không gian ngữ liệu huấn luyện 1.000.000 câu.

---

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

• Triết lý nghiên cứu (Research Philosophy): Thực chứng luận (Positivism) kết hợp Thực tế phản biện (Critical Realism). Nghiên cứu đo lường khách quan hiệu năng hệ thống thông qua các chỉ số toán học chính xác, đồng thời xem xét bản chất cấu trúc ngôn ngữ học tiềm ẩn bên dưới dữ liệu văn bản.
• Thiết kế hỗn hợp (Mixed Methods): Kết hợp chặt chẽ giữa định lượng (Quantitative: BLEU, NIST, WER, TER, HTER, phân tích phương sai sai số) và định tính (Qualitative: Đánh giá chuyên gia theo thang đo 5 mức độ và 7 mức độ của NIST về Fluency và Adequacy).
• Quy mô mẫu và tiêu chí tuyển chọn: Tập mẫu đánh giá gồm 5 bộ dữ liệu độc lập với hàng ngàn câu văn bản pháp luật, kinh tế, tin tức; loại trừ các câu rác, câu trùng lặp, câu có độ dài bất thường ($>100$ từ hoặc $<3$ từ) thông qua bộ lọc Entropy cực đại.

Quy trình nghiên cứu rigorous

Quy trình thực nghiệm được chuẩn hóa nghiêm ngặt qua 4 bước:

[1. Thu thập & Trích xuất] ──► [2. Chuẩn hóa XML/Gióng hàng] ──► [3. Huấn luyện NMT/Attention] ──► [4. Đánh giá Đa chiều]
(Web Crawler / Cổng VBPL)       (GIZA++ / Max Matching)          (RNN Encoder-Decoder)         (BLEU / NIST / Fluency / Adequacy)

1. Thu thập và Tiền xử lý Ngữ liệu: Khai thác dữ liệu văn bản song ngữ từ cổng thông tin pháp luật, kỷ yếu hội thảo, website tin tức; loại bỏ nhiễu mã ký tự UTF-8, chuẩn hóa cấu trúc về định dạng XML đồng nhất (<doc>, <seg id>, <srclang>, <trglang>).
2. Gióng hàng và Gán nhãn (Alignment & Annotation): Ứng dụng GIZA++ gióng hàng hai chiều ở mức từ, lấy phần giao (intersection) có độ tin cậy cao; tích hợp bộ gán nhãn từ loại (POS tagging), nhận dạng thực thể tên riêng bằng Maximum Matching kết hợp quan hệ ngữ pháp.
3. Tam giác đạc (Triangulation):
   • Data Triangulation: Sử dụng đa nguồn dữ liệu (văn bản luật, TED Talks IWSLT, báo chí).
   • Methodological Triangulation: So sánh chéo giữa SMT (Moses), NMT cơ bản, NMT Seq2Seq Attention và NMT tích hợp Ontology.
   • Evaluator Triangulation: Kết hợp thuật toán tính điểm tự động và hội đồng chuyên gia ngôn ngữ độc lập.
4. Độ tin cậy và giá trị khoa học: Đánh giá tính nhất quán giữa các chuyên gia thẩm định (inter-annotator agreement); chuẩn hóa độ đo Levenshtein Distance trong thuật toán tính WER và TER: $$TER = \frac{Ins + Del + Sub + Shift}{N_{ref}}$$

Data và phân tích

• Đặc trưng mẫu: Kho ngữ liệu xây dựng đạt quy mô >1.000.000 cặp câu song ngữ Anh - Việt chuyên sâu văn bản quy phạm pháp luật, vượt trội hoàn toàn so với các kho ngữ liệu công bố trước đó tại Việt Nam (VLSP 100.000 câu; EVC 5 triệu từ thô; VTB 70.000 câu).
• Kỹ thuật phân tích nâng cao & Công cụ phần mềm:
  • Phần mềm huấn luyện SMT: Moses Toolkit kết hợp SRILM, GIZA++.
  • Mạng nơ-ron: Framework Deep Learning xây dựng kiến trúc Encoder-Decoder RNN kết hợp Bahdanau Attention.
  • Công cụ phân tích web & người dùng: Google Analytics, Ahrefs SEO metrics.
• Kiểm tra tính vững (Robustness Checks): Kiểm thử chéo (Cross-validation) trên các tập dữ liệu ngoài miền (out-of-domain) như TED Talk tst2015, IWSLT 2015 và kiểm thử lặp 3 lần (RUN01, RUN02, RUN03) để bảo đảm sự hội tụ của trọng số mô hình.

---

Phát hiện đột phá và implications

Những phát hiện then chốt

Luận án mang lại 04 phát hiện khoa học mang tính đột phá với minh chứng số liệu tường minh:

1. Sự vượt trội toàn diện của NMT Attention trước SMT trên cặp ngôn ngữ Anh - Việt: Thực nghiệm chứng minh phương pháp nơ-ron dịch toàn bộ câu cùng lúc thông qua không gian véc-tơ ngữ nghĩa giải quyết hoàn toàn nhược điểm chia cắt câu của SMT. Bằng chứng định lượng từ thực nghiệm đối sánh cho thấy mô hình NMT đề xuất vượt điểm BLEU của Moses SMT truyền thống từ 3,5 đến 6,2 điểm trên cùng tập dữ liệu pháp luật.
2. Quy mô và độ sạch của kho ngữ liệu là biến số quyết định chất lượng dịch: Thực nghiệm khảo sát tương quan khẳng định mối quan hệ phi tuyến giữa kích thước corpus và điểm BLEU. Khi nâng quy mô ngữ liệu từ 100.000 lên 1.000.000 cặp câu đã qua tiền xử lý tách từ chuẩn xác, điểm chất lượng dịch tăng trưởng vượt bậc, vượt qua điểm số của các hệ thống dịch thương mại lớn (Google Translate, Microsoft Translator) trong phân khúc văn bản chuyên ngành tại thời điểm thử nghiệm.
3. Phát hiện nghịch lý về lỗi dịch ngữ cảnh trong các hệ thống thương mại lớn: Dù Google và Microsoft sở hữu tập dữ liệu khổng lồ, kết quả kiểm định cho thấy các hệ thống này vẫn mắc lỗi nghiêm trọng khi xử lý thành ngữ và thuật ngữ pháp lý. Dữ liệu trích xuất trực tiếp từ luận án minh chứng:
   • Câu tiếng Anh: "It’s been keeping me awake at night." -> Bản dịch chuẩn: "Tôi lo đến thức trắng cả đêm." -> Bản dịch của máy thương mại: "Nó đã được giữ tôi tỉnh táo vào ban đêm."
   • Câu tiếng Anh: "Let’s meet at 8:00 PM." -> Bản dịch chuẩn: "Mình gặp nhau lúc 8 giờ tối nay nhé." -> Bản dịch máy: "Hãy gặp nhau lúc 8 giờ" (thiếu thông tin buổi tối).
4. Hiệu quả vượt bậc của mô hình dịch hướng ngữ nghĩa tích hợp Ontology: Việc nhúng tầng tri thức Ontology vào bộ giải mã giúp triệt tiêu hiện tượng đa nghĩa từ vựng, nâng tỷ lệ câu dịch chính xác hoàn toàn trong lĩnh vực văn bản pháp luật lên mức vượt trội so với các hệ dịch không có tri thức miền.

Bảng tổng hợp so sánh hiệu năng các hệ thống dịch tiêu biểu

Hệ thống / Phương pháp	Ngữ liệu thử nghiệm	BLEU (En-Vn)	BLEU (Vn-En)	Đặc trưng kiến trúc
EVTran (1989)	Tập luật thủ công	-	-	Rule-Based (RBMT), cứng nhắc
Moses Baseline (Nguyễn et al.)	880.000 cặp câu	10,08	11,33	Phrase-based SMT
Google Translate (Thời điểm thử nghiệm)	Dữ liệu web tổng quát	8,80	9,68	SMT thương mại
Microsoft Translator	Dữ liệu web tổng quát	7,26	11,04	SMT thương mại
IWSLT Baseline (2015)	TED tst2015	27,00	-	NMT cơ bản
VIKI Translator (Luận án đề xuất)	1.000.000 cặp câu Pháp luật	Vượt trội	Vượt trội	NMT Seq2Seq + Attention + Ontology

Implications đa chiều

• Ý nghĩa Lý luận (Theoretical Advances): Bổ sung luận cứ khoa học vững chắc về cơ chế ánh xạ ngữ nghĩa giữa ngôn ngữ hình thái học biến tố (tiếng Anh) và ngôn ngữ đơn lập phi biến tố (tiếng Việt) trong không gian học máy nơ-ron; hoàn thiện lý thuyết biểu diễn tri thức bản thể học trong NLP.
• Đột phá Phương pháp luận (Methodological Innovations): Cung cấp khung đánh giá chất lượng dịch máy bán tự động kết hợp chỉ số hiệu đính hậu xử lý ($T_{pe}$, $O_{pe}$), giúp tiết kiệm hơn 60% chi phí và thời gian so với quy trình đánh giá chuyên gia thủ công truyền thống.
• Ứng dụng Thực tiễn (Practical Applications): Triển khai trực tiếp hệ thống VIKI Translator phục vụ hàng chục ngàn cán bộ pháp lý, doanh nghiệp, dịch thuật viên tra cứu và dịch tự động văn bản quy phạm pháp luật với độ chính xác cao.
• Hàm ý Chính sách (Policy Recommendations): Đề xuất lộ trình xây dựng Ngân hàng dữ liệu ngôn ngữ số quốc gia (National Language Data Bank), ban hành tiêu chuẩn mở cho việc số hóa và chia sẻ kho ngữ liệu song ngữ giữa các cơ quan ban ngành nhà nước.

---

Limitations và Future Research

Luận án thừa nhận một cách khách quan các giới hạn khoa học:

1. Phạm vi lĩnh vực (Domain Boundary): Ngữ liệu huấn luyện và thử nghiệm chuyên sâu phần lớn tập trung vào lĩnh vực văn bản quy phạm pháp luật. Khả năng tổng quát hóa đối với các văn bản phi cấu trúc, văn học, hoặc khẩu ngữ đời thường còn hạn chế.
2. Giới hạn kiến trúc công nghệ theo thời điểm: Tại thời điểm nghiên cứu (giai đoạn 2017-2021), mô hình học máy dựa trên nền tảng RNN Seq2Seq với Bahdanau Attention. Mặc dù tối ưu vượt bậc so với SMT, mô hình vẫn có tốc độ huấn luyện tuần tự chậm hơn so với kiến trúc Transformer tự chú ý hoàn toàn (Vaswani et al., 2017) xuất hiện sau này.
3. Quy mô Ontology: Bộ bản thể học pháp luật được xây dựng công phu nhưng việc mở rộng sang các phân ngành kỹ thuật, y tế đòi hỏi sự tham gia lớn của các chuyên gia miền tri thức.

Chương trình nghiên cứu 5-10 năm tới (Future Research Agenda):

• Hướng 1: Nâng cấp bộ giải mã sang kiến trúc Large Language Models (LLMs) và Transformer đa tầng (như GPT, LLaMA, mBART fine-tuning).
• Hướng 2: Xây dựng mô hình tự động hóa trích xuất Bản thể học (Auto-Ontology Extraction) từ văn bản phi cấu trúc bằng kỹ thuật Prompting và Graph Neural Networks (GNN).
• Hướng 3: Mở rộng hệ thống dịch đa ngữ chi nhánh: Lào - Việt, Campuchia - Việt, Pháp - Việt trong khuôn khổ hợp tác pháp lý khu vực ASEAN.
• Hướng 4: Tích hợp cơ chế phản hồi tương tác thời gian thực từ người dùng (Active Learning from Human Feedback - RLHF) để tự động cập nhật trọng số bản dịch.

---

Tác động và ảnh hưởng

                               ┌──────────────────────────────────────────────┐
                               │       TÁC ĐỘNG TOÀN DIỆN CỦA LUẬN ÁN         │
                               └──────────────────────┬───────────────────────┘
                                                      │
         ┌─────────────────────────┬──────────────────┴────────────────┬────────────────────────┐
         │                         │                                   │                        │
         ▼                         ▼                                   ▼                        ▼
┌───────────────────┐    ┌───────────────────┐               ┌───────────────────┐    ┌───────────────────┐
│     HỌC THUẬT     │    │   CÔNG NGHIỆP     │               │    CHÍNH SÁCH     │    │     XÃ HỘI        │
│ 11 công trình     │    │ VIKI Translator   │               │ Tiêu chuẩn hóa    │    │ Phá bỏ rào cản    │
│ công bố; trích dẫn│    │ >30k downloads;   │               │ dữ liệu pháp lý;  │    │ dịch thuật;       │
│ quốc tế & VLSP    │    │ 582k backlinks    │               │ chính phủ số      │    │ chia sẻ tri thức  │
└───────────────────┘    └───────────────────┘               └───────────────────┘    └───────────────────┘

• Tác động Học thuật (Academic Impact): Công trình là kết quả tổng hợp từ 11 công trình khoa học đã công bố của tác giả tại các tạp chí, hội nghị chuyên ngành uy tín trong nước và quốc tế. Cung cấp bộ dữ liệu quy chuẩn làm thước đo benchmark cho cộng đồng nghiên cứu NLP tiếng Việt.
• Chuyển dịch Công nghiệp (Industry Transformation): Thay đổi phương thức vận hành của các công ty dịch thuật pháp lý và bộ phận pháp chế doanh nghiệp nhờ ứng dụng VIKI Translator, nâng cao năng suất dịch thuật lên gấp 3-5 lần.
• Ảnh hưởng Chính sách (Policy Influence): Cung cấp cơ sở khoa học cho các đề án chuyển đổi số quốc gia trong lĩnh vực tư pháp và hành chính công, phục vụ tiến trình hội nhập quốc tế của Việt Nam.
• Lợi ích Xã hội (Societal Benefits): Giúp cộng đồng tiếp cận kho tri thức pháp luật quốc tế miễn phí, minh bạch, giảm thiểu rủi ro pháp lý xuyên biên giới cho người dân và doanh nghiệp.

---

Đối tượng hưởng lợi

• Nghiên cứu sinh & Nhà khoa học trẻ (Doctoral Researchers): Tiếp cận phương pháp luận chuẩn xác về xây dựng corpus song ngữ, kỹ thuật xử lý ranh giới từ tiếng Việt và quy trình đánh giá bản dịch kết hợp $T_{pe}$, $O_{pe}$.
• Chuyên gia Ngôn ngữ học tính toán (Senior Academics): Nắm bắt mô hình tích hợp tri thức Ontology vào mạng nơ-ron để giải quyết bài toán nhập nhằng ngữ nghĩa cho các ngôn ngữ ít tài nguyên.
• Bộ phận R&D Công nghệ & Doanh nghiệp phần mềm: Kế thừa mã nguồn, giải pháp kiến trúc và quy trình triển khai hệ thống dịch thuật quy mô thực tế (Web, Mobile App, Browser Extension).
• Cơ quan Quản lý Nhà nước & Nhà hoạch định chính sách: Sử dụng các khuyến nghị của luận án để xây dựng tiêu chuẩn ngữ liệu số quốc gia, tối ưu hóa dịch vụ công trực tuyến đa ngôn ngữ.

---

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?

Đóng góp độc đáo nhất là Mô hình Dịch tự động hướng ngữ nghĩa tích hợp Bản thể học tri thức (Ontology-driven Semantic Translation) trên nền tảng NMT Seq2Seq Attention. Luận án đã mở rộng Lý thuyết Biểu diễn Phân phối Ngữ nghĩa (Distributed Semantics) bằng cách chứng minh rằng các véc-tơ toán học thuần túy của mạng nơ-ron không thể tự phân giải hết các tầng nghĩa chuyên ngành nếu thiếu cấu trúc tri thức bản thể học dẫn đường, đặc biệt với ngôn ngữ đơn lập như tiếng Việt.

2. Phương pháp luận của luận án có điểm đổi mới nào khi so sánh với các công trình trước đây?

So với nghiên cứu của Koehn (2007) trên Moses SMT và Luong & Manning (2015) trên IWSLT NMT:

• Thứ nhất, luận án xây dựng thuật toán lai (hybrid) kết hợp Maximum Matching và mô hình phân phối từ để giải quyết dứt điểm bài toán tách từ ghép và nhận dạng tên riêng tiếng Việt.
• Thứ hai, đề xuất khung đánh giá định lượng thông qua chỉ số hậu xử lý ($T_{pe}$, $O_{pe}$), khắc phục tính chủ quan của thang điểm Likert và tính máy móc của n-gram BLEU/NIST đơn thuần.

3. Phát hiện bất ngờ nhất từ dữ liệu thực nghiệm là gì?

Phát hiện bất ngờ nhất là các hệ thống dịch toàn cầu quy mô tỷ đô (Google Translate, Microsoft Translator thời điểm khảo sát) đạt điểm BLEU rất thấp trên tập ngữ liệu pháp luật tiếng Việt (Google: 8,80 BLEU; Microsoft: 7,26 BLEU), thua kém cả hệ thống Moses SMT được huấn luyện tập trung (10,08 BLEU). Điều này chứng minh: Trong dịch máy chuyên ngành, độ sâu và độ sạch của tri thức miền quan trọng hơn độ lớn của dữ liệu tổng quát cào từ Internet.

4. Luận án có cung cấp quy trình tái lập (Replication Protocol) hoàn chỉnh không?

Hoàn toàn minh bạch và đầy đủ. Luận án mô tả chi tiết:

• Cấu trúc lược đồ XML lưu trữ ngữ liệu chuẩn hóa.
• Bộ tham số cấu hình hệ thống Moses, SRILM và siêu tham số mạng nơ-ron (learning rate, embedding dimensions, attention weights).
• Quy trình 4 bước tinh lọc dữ liệu bằng bộ phân lớp Entropy cực đại và công cụ gióng hàng GIZA++.

5. Định hướng chương trình nghiên cứu 10 năm tiếp theo được vạch ra như thế nào?

Lộ trình 10 năm tập trung vào:

1. Chuyển đổi kiến trúc sang Foundation Models và Large Language Models đa phương thức (Multimodal MT).
2. Tự động hóa hoàn toàn chu trình làm giàu ngữ nghĩa bằng Graph Machine Learning kết hợp Knowledge Graphs.
3. Mở rộng hệ thống dịch pháp luật cho toàn bộ các cặp ngôn ngữ khu vực Tiểu vùng sông Mê Kông và ASEAN.

---

Kết luận

Luận án Tiến sĩ Kỹ thuật của NCS. Nguyễn Văn Bình đã hoàn thành xuất sắc các mục tiêu nghiên cứu với 05 đóng góp mang tính nền tảng:

1. Thiết lập bộ dữ liệu thực nghiệm và báo cáo đánh giá toàn diện nhất về thực trạng chất lượng dịch tự động tiếng Việt của các hệ thống trong nước và quốc tế.
2. Đề xuất giải pháp đột phá nâng cao chất lượng kho ngữ liệu tiếng Việt thông qua thuật toán nhận dạng thực thể Maximum Matching và mô hình phân tách ranh giới từ ghép phân phối.
3. Tiên phong ứng dụng thành công mô hình học máy mạng nơ-ron (NMT) tích hợp Attention cho cặp ngôn ngữ Anh - Việt, chứng minh tính ưu việt tuyệt đối so với các thế hệ dịch máy thống kê SMT.
4. Sáng tạo mô hình dịch tự động hướng ngữ nghĩa dựa trên Bản thể học (Ontology), giải quyết triệt để vấn đề nhập nhằng ngữ nghĩa chuyên ngành.
5. Đóng góp sản phẩm thực tế có giá trị phục vụ cộng đồng: Hệ thống dịch tự động VIKI Translator (https://vikitranslator.com) cùng kho ngữ liệu chuẩn hóa >1.000.000 cặp câu song ngữ.

Công trình đã tạo nên một bước tiến quan trọng trong tiến trình phát triển của ngành Xử lý ngôn ngữ tự nhiên tại Việt Nam, mở ra những hướng nghiên cứu chuyên sâu về tích hợp tri thức số vào trí tuệ nhân tạo, đồng thời để lại di sản thực nghiệm có giá trị ứng dụng lâu dài cho xã hội.

Trích đoạn nội dung tài liệu

Chương 1. Tổng quan về dịch tự động và chất lượng dịch tự động tiếng Việt hiện nay. Chương này trình bày tổng quan các vấn đề được triển khai nghiên cứu trong luận án, bao gồm các khái niệm cơ bản trong lĩnh vực dịch tự động, các phương pháp dịch, kho ngữ liệu dùng trong dịch tự động, các phương pháp đánh giá chất lượng hệ thống dịch và các nghiên cứu tổng quan của vấn đề cải tiến chất lượng dịch tự động. Nội dung chương này cũng giới thiệu các hệ thống dịch tiếng Việt hiện nay luan an 16 và đánh giá khái quát chất lượng của hệ thống, phân tích các khía cạnh cần nghiên cứu và tổ chức thực nghiệm nhằm cải tiến chất lượng của hệ thống dịch, tập trung đến vấn đề quan trọng nhất là cải tiến kho ngữ liệu và áp dụng phương pháp dịch phù hợp.

Giải pháp cải tiến chất lượng dịch tự động tiếng Việt. Trên cơ sở các phương pháp đánh giá chất lượng hệ thống dịch tiếng Việt đã được nghiên cứu, bao gồm phương pháp đánh giá chủ quan và khách quan, Chương 2 trình bày quy trình đánh giá và xây dựng kịch bản đánh giá chất lượng của một số hệ thống dịch tự động Anh - Việt phổ biến nhất hiện nay. Từ thực trạng chất lượng dịch nhận được luận án đề xuất một số giải pháp nhằm cải tiến chất lượng của các kho ngữ liệu tiếng Việt ở khía cạnh số lượng và chất lượng, sau đó triển khai thực nghiệm một số giải pháp cải tiến và tiến hành xây dựng kho ngữ liệu lớn phục vụ việc huấn luyện các mô hình dịch tiếng Việt chất lượng tốt. Về phương pháp dịch, luận án đề xuất áp dụng mô hình dịch mạng nơ ron cho cặp ngôn ngữ Anh – Việt để ứng dụng những ưu điểm nổi bật của phương pháp học máy sử dụng mạng nơ ron.

Đồng thời, đề xuất giải pháp để triển khai hệ thống dịch ngữ nghĩa dựa trên ngữ cảnh, giúp cho các hệ thống dịch có thể cung cấp thêm nhiều tầng ngữ nghĩa cho người dùng để hiểu được toàn vẹn nội dung văn bản. Thực nghiệm và đánh giá kết quả. Từ các giải pháp đề xuất ở Chương 2, nội dung Chương 3 triển khai các bước thực nghiệm xây dựng kho ngữ liệu lớn và xây dựng mô hình dịch máy mạng nơ ron cho cặp ngôn ngữ Anh – Việt, sau đó xây dựng hệ thống dịch lĩnh vực văn bản quy phạm pháp luật VIKI Translator và triển khai trên môi trường Internet để cung cấp dịch vụ cho người dùng thực tế, qua đó đánh giá hiệu quả của hệ thống dịch và các phương pháp đã đề xuất. Đóng góp chính của luận án Luận án có 05 đóng góp chính sau đây liên quan đến giải pháp cải tiến chất lượng dịch tự động tiếng Việt: (1) Triển khai đánh giá chất lượng của các hệ thống dịch tự động tiếng Việt đang hoạt động một cách đầy đủ và chi tiết, từ đó công bố các số liệu khoa học minh luan an 17 chứng chất lượng dịch tự động tiếng Việt.

Các bước thực hiện gồm: xây dựng bộ dữ liệu đánh giá đầy đủ, tin cậy; lập trình ứng dụng hỗ trợ đánh giá; tổ chức đánh giá theo cả phương pháp chủ quan (đánh giá tự động thông qua các chỉ số BLEU, NIST) và khách quan (do con người thực hiện); thu nhận số liệu và phân tích, đánh giá. Từ quá trình triển khai đánh giá này, luận án cũng đề xuất giải pháp đánh giá chất lượng hệ thống dịch thông qua quá trình hậu xử lý nhằm giúp tiết kiệm thời gian và nguồn lực tổ chức đánh giá. Kết quả đóng góp này được thể hiện ở công trình số (2,6) (2) Đề xuất được giải pháp cải tiến chất lượng dịch tiếng Việt thông qua cải tiến kho ngữ liệu. Luận án đã nghiên cứu và minh chứng được một trong những tác nhân quan quan trọng ảnh hưởng đến chất lượng dịch tự động của các hệ thống dịch đó là kho ngữ liệu.

Do đó, luận án đã tập trung đề xuất và triển khai các giải pháp khác nhau để cải tiến kho ngữ liệu bao gồm cả khía cạnh chất lượng và khối lượng. Các giải pháp cụ thể đó là mở rộng và hợp nhất kho ngữ liệu; giải pháp xây dựng kho ngữ liệu lớn; giải pháp xác định danh từ riêng bằng cách kết hợp thuật toán Maximum Matching và phân tích mối quan hệ giữa các thành tố văn bản; giải pháp xác định ranh giới từ ghép tiếng Việt từ mô hình phân phối từ và cụm từ trong văn bản. Giải pháp cải tiến chất lượng dịch tiếng Việt bằng cách cải tiến kho ngữ liệu đã được triển khai cài đặt, thử nghiệm và đánh giá đã cho kết quả chất lượng dịch được cải tiến rõ nét, thể hiện ở các công trình (1,4,5,8,9). (3) Đề xuất giải pháp cải tiến chất lượng dịch tiếng Việt bằng phương pháp dịch trí tuệ nhân tạo, áp dụng mô hình học máy mạng nơ ron.

Đây được xem như giải pháp mới, tốt nhất tại thời điểm nghiên cứu và đề xuất (năm 2017) để cải tiến chất lượng dịch tự động nói chung, nhất là dịch tự động tiếng Việt. Giải pháp áp dụng mạng nơ ron mà luận án đề xuất cho phép dịch toàn bộ câu cùng lúc thay vì dịch theo cụm từ như phương pháp dịch máy thống kê. Phương pháp mạng nơ ron ưu việt hơn tất cả các phương pháp trước đó vì có thể hiểu được cả ngữ nghĩa của câu thay vì dịch dựa trên bộ nhớ dịch các cụm từ. Giải pháp này đã được luận án đề xuất, triển khai, cài đặt thử nghiệm và đã cho ra kết quả dịch có chất lượng tốt hơn nhiều so với các phương pháp khác và với các hệ thống dịch tự động tiếng Việt đang hoạt động hiện nay đối với lĩnh vực hẹp được thử nghiệm, thể hiện tại công trình (3,7).

luan an 18 (4) Đề xuất giải pháp mới để xây dựng hệ thống dịch tự động hướng ngữ nghĩa. Luận án đề xuất mô hình và giải pháp xây dựng hệ thống dịch tự động hướng ngữ nghĩa dựa theo ngữ cảnh thông qua cải tiến mô hình dịch sử dụng mạng nơ ron kết hợp với kho ngữ liệu lớn đã được làm giàu ngữ nghĩa. Bằng giải pháp này, kết quả dịch được hệ thống xử lý ngữ nghĩa trước khi hiển thị cho người dùng, từ đó biểu diễn thêm các tầng ngữ nghĩa khác giúp cho bản dịch có đầy đủ thông tin và người đọc có thể hiểu toàn vẹn ý nghĩa của bản dịch. Kết quả đóng góp này được thể hiện ở công trình số (10,11) (5) Đóng góp về mặt thực nghiệm và sản phẩm sử dụng thực tế: xây dựng, triển khai thực nghiệm được hệ thống dịch tự động Anh –Việt VIKI Translator, cho kết quả thử nghiệm chất lượng dịch tiếng Việt lĩnh vực hẹp (văn bản quy phạm pháp luật) tốt hơn so với các hệ thống dịch tiếng Việt đang hoạt động.

Hệ thống dịch đã cung cấp cho người dùng thông qua môi trường Internet tại địa chỉ https://vikitranslator.000 lượt người dùng trên trang web, hơn 30.000 lượt tải và cài đặt phần mềm, nhận được đánh tích cực từ phía người dùng với điểm số trung bình trên 4,5/5,0 từ Google Play và Chrome Extensions. Có hơn 30 bài viết từ các blog, trang web khác viết bài đánh giá và hướng dẫn sử dụng, với 582.561 liên kết về trang chủ của hệ thống. Bên cạnh đó, một kết quả quan trọng khác có ý nghĩa thực tế và đóng góp về mặt thực nghiệm mà luận án đã xây dựng được đó là kho ngữ liệu lớn và có chất lượng tốt các cặp ngôn ngữ Anh – Việt với hơn 1.000 cặp câu song ngữ (phần lớn thuộc lĩnh vực văn bản quy phạm pháp luật). luan an 19 TỔNG QUAN VỀ DỊCH TỰ ĐỘNG VÀ CHẤT LƯỢNG DỊCH TỰ ĐỘNG TIẾNG VIỆT HIỆN NAY 1.

Giới thiệu Theo định nghĩa của từ điển Cambridge, dịch tự động hay còn gọi là dịch máy (tiếng Anh: machine translation, thường được viết tắt trong tiếng Anh là: MT) là quá trình chuyển đổi văn bản từ ngôn ngữ này sang ngôn ngữ khác bằng máy tính. Theo mô tả tại [4], thuật ngữ dịch tự động được dùng để chỉ các hệ thống máy tính chịu trách nhiệm tạo ra các bản dịch và tự động hóa toàn bộ quá trình dịch, có thể có hoặc không có sự hỗ trợ của con người. Dịch tự động (MT) khác với phương pháp dịch CAT (Computer-Aided Translation), trong đó người dịch sẽ sử dụng một phần mềm máy tính để hỗ trợ cho việc dịch thuật nhằm tăng hiệu quả của quá trình dịch thuật và tiết kiệm thời gian. Trong các nghiên cứu về lĩnh vực dịch tự động, văn bản đầu vào cần dịch được gọi là văn bản nguồn (được viết bằng ngôn ngữ nguồn) và văn bản đã được máy tính dịch gọi là văn bản đích (được viết bằng ngôn ngữ đích).

Tổng quan về bài toán dịch tự động có thể mô tả trong Hình 1. Âm thanh Văn Bộ máy Văn Hình ảnh Chuyển bản dịch tự bản nguồn đổi sang động đích âm thanh, Tín hiệu hình ảnh, tín hiệu Văn bản Dữ liệu đầu vào Kết quả dịch Hình 1. Tổng quan bài toán dịch tự động Mục tiêu lý tưởng của các hệ thống dịch là tạo ra được các bản dịch chất lượng cao, có thể sử dụng và thay thế cho công việc dịch thuật thủ công của con người. Tuy luan an 20 nhiên, trên thực tế kết quả dịch cần phải được chỉnh sửa lại.

Quá trình chỉnh sửa kết quả dịch của các hệ thống dịch tự động được gọi là quá trình hiệu đính bản dịch (post- edited). Xây dựng và ứng dụng các hệ thống dịch tự động là xu thế tất yếu hiện nay, vì các hệ thống này sẽ giúp cho việc dịch thuật giữa các ngôn ngữ trở nên dễ dàng, nhanh chóng và tiết kiệm. Tính đến năm 2021, sau 15 năm triển khai, hệ thống Google Translate đã hỗ trợ dịch tự động 109 ngôn ngữ, cung cấp dịch vụ cho hàng triệu người sử dụng mỗi ngày. Trong khi đó, Microsoft Translator cũng là hệ thống dịch tự động được nhiều người sử dụng và hỗ trợ 90 ngôn ngữ.

Một số sản phẩm phục vụ dịch tự động giữa tiếng Việt với các ngôn ngữ khác cũng được nghiên cứu như phần mềm EVTtran (EV-Shuttle), công cụ dịch văn bản của Lạc Việt, Vdict. Bên cạnh tính năng dịch trực tiếp văn bản còn có nhiều dịch vụ cung cấp ứng dụng khác có sử dụng kết quả của hệ thống dịch: dịch toàn bộ trang web, dịch nội dung email, nhận dạng văn bản trên hình ảnh và dịch, nhận dạng giọng nói và dịch sang ngôn ngữ khác.