Dịch Máy Mạng Neural Anh-Việt Sử Dụng Đồ Thị Tri Thức

Luận văn tốt nghiệp nghiên cứu Dịch máy mạng neural anh việt sử dụng đồ thị tri thức khóa luận tốt nghiệp chuyên ngành khoa học, điều tra thực trạng, phân tích số liệu, đề xuất

• Đề tài: Dịch Máy Mạng Neural Anh-Việt Sử Dụng Đồ Thị Tri Thức

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI ĐẦU
• 1. CHƯƠNG MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn
• 1.6. Cấu trúc của khóa luận
• 2. CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU
• 2.1. Tổng quan
• 2.2. Các phương pháp tiếp cận dịch máy
• 2.2.1. Dịch máy dựa trên quy tắc
• 2.2.2. Dịch máy dựa trên ví dụ
• 3. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 3.1. Mô hình Sequence
• 3.2. Mô hình Sequence-to-Sequence với cơ chế chú ý
• 3.3. Mô hình Transformer
• 3.4. Mô hình BERT
• 3.5. Phương pháp nhúng đồ thị tri thức
• 4. CHƯƠNG 3: PHƯƠNG PHÁP ĐỀ XUẤT
• 4.1. Tổng quan phương pháp
• 4.2. Xử lý ngữ liệu
• 4.2.1. Tỷ lệ nghiệt ngữ nền
• 4.2.2. Xử lý ngữ tri thức
• 4.3. Dịch máy mạng neural Anh-Việt kết hợp đồ thị tri thức mô hình
• 4.3.1. Nhận dạng thực thể
• 4.3.2. Tích hợp đồ thị tri thức vào dịch máy
• 4.3.3. Mô hình dịch máy mạng neural
• 5. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. Cài đặt môi trường thực nghiệm
• 5.2. Thiết bị, ngôn ngữ lập trình
• 5.3. Cấu hình huấn luyện
• 5.4. Phương thức đánh giá
• 5.5. Kết quả thực nghiệm
• 5.6. Đánh giá và phân tích
• 5.7. Đánh giá mô hình khi có thức
• 5.8. Phân tích ảnh hưởng độ dài câu lên hiệu suất
• 6. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết luận
• 6.2. Ý nghĩa về mặt học thuật
• 6.3. Ý nghĩa về mặt thực tiễn
• 6.4. Hướng phát triển trong tương lai
• TÀI LIỆU THAM KHẢO
• DANH MỤC CHỮ VIẾT TẮT
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH ẢNH

Tóm tắt

I. Toàn cảnh Dịch máy Mạng Neural tích hợp Đồ thị Tri thức

Trong bối cảnh toàn cầu hóa, nhu cầu dịch thuật nhanh chóng và chính xác ngày càng trở nên cấp thiết. Dịch máy Mạng Neural (NMT), hay còn gọi là dịch máy thần kinh, đã tạo ra một cuộc cách mạng, vượt qua các phương pháp dịch máy thống kê (SMT) truyền thống nhờ khả năng nắm bắt ngữ cảnh và tạo ra các bản dịch tự nhiên hơn. Các mô hình NMT hiện đại, đặc biệt là Mô hình Transformer với cơ chế Attention, đã đạt được những thành tựu ấn tượng. Tuy nhiên, hiệu suất của chúng phụ thuộc rất lớn vào khối lượng dữ liệu song ngữ khổng lồ. Một hạn chế cố hữu của NMT là khả năng xử lý các từ vựng hiếm, đặc biệt là dịch thuật ngữ và tên riêng – những thực thể thường không có trong kho dữ liệu huấn luyện. Điều này dẫn đến các bản dịch sai lệch, làm giảm độ chính xác ngữ nghĩa và trải nghiệm người dùng. Để giải quyết thách thức này, một hướng tiếp cận đột phá đã ra đời: tích hợp Đồ thị Tri thức (Knowledge Graph - KG) vào quá trình dịch máy. Đồ thị Tri thức là một mạng lưới dữ liệu có cấu trúc, biểu diễn các thực thể trong thế giới thực và mối quan hệ giữa chúng. Việc tích hợp đồ thị tri thức vào NMT hứa hẹn sẽ cung cấp kiến thức nền cần thiết, giúp mô hình hiểu sâu hơn về các thực thể, từ đó cải thiện chất lượng dịch thuật, đặc biệt là với các cặp ngôn ngữ ít tài nguyên như Anh-Việt. Nghiên cứu này tập trung vào việc xây dựng một hệ thống dịch Anh-Việt tiên tiến, tận dụng sức mạnh của Knowledge-aware NMT để vượt qua các rào cản của mô hình truyền thống.

1.1. Sự phát triển từ SMT đến Dịch máy Mạng Neural NMT

Lịch sử dịch máy đã trải qua nhiều giai đoạn, từ dịch dựa trên quy tắc (RBMT) đến dịch máy thống kê (SMT). SMT dựa vào việc phân tích các kho ngữ liệu song ngữ lớn để học các mô hình xác suất. Tuy nhiên, SMT thường dịch theo từng cụm từ, dẫn đến các bản dịch thiếu mạch lạc và tự nhiên. Sự ra đời của Dịch máy Mạng Neural (NMT) đã thay đổi hoàn toàn cuộc chơi. Các mô hình NMT, như mô hình sequence-to-sequence, xử lý toàn bộ câu nguồn như một thể thống nhất thông qua kiến trúc bộ mã hóa - giải mã (Encoder-Decoder). Điều này cho phép mô hình nắm bắt được các phụ thuộc ngữ nghĩa xa, tạo ra các bản dịch trôi chảy và chính xác hơn hẳn. Các kiến trúc như LSTM, GRU, và đặc biệt là Mô hình Transformer đã liên tục cải thiện chất lượng dịch máy, đưa NMT trở thành tiêu chuẩn vàng trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP).

1.2. Vai trò của Đồ thị Tri thức Knowledge Graph trong NLP

Một Đồ thị Tri thức (Knowledge Graph - KG) là một cơ sở tri thức (Knowledge Base) biểu diễn các thực thể (như người, địa điểm, sự kiện) và mối quan hệ ngữ nghĩa giữa chúng dưới dạng các bộ ba (head, relation, tail). Ví dụ: (Hà Nội, là_thủ_đô_của, Việt Nam). Trong lĩnh vực NLP tiếng Việt và quốc tế, KG đóng vai trò như một bộ não bên ngoài, cung cấp kiến thức có cấu trúc mà các mô hình ngôn ngữ khó có thể học được từ văn bản thuần túy. Việc ứng dụng KG giúp giải quyết các vấn đề như nhập nhằng từ ngữ, suy luận logic và trả lời câu hỏi phức tạp. Bằng cách biểu diễn tri thức dưới dạng vector thông qua các kỹ thuật như Graph embeddings, các mô hình học máy có thể dễ dàng tiếp thu và tận dụng nguồn kiến thức quý giá này, mở ra tiềm năng lớn cho các hệ thống AI thông minh hơn.

II. Vén màn thách thức của Dịch máy Mạng Neural truyền thống

Mặc dù Dịch máy Mạng Neural (NMT) đã đạt được thành công vượt trội, các mô hình này vẫn đối mặt với những thách thức đáng kể, đặc biệt là khi xử lý các cặp ngôn ngữ có nguồn lực thấp như Anh-Việt. Thách thức lớn nhất đến từ sự khan hiếm dữ liệu huấn luyện song ngữ chất lượng cao. Các mô hình NMT, đặc biệt là các kiến trúc phức tạp như Mô hình Transformer, đòi hỏi hàng triệu cặp câu để có thể học được các quy luật dịch thuật một cách hiệu quả. Một vấn đề nghiêm trọng khác là việc xử lý các từ ngoài từ vựng (Out-of-Vocabulary - OOV), chủ yếu là các thực thể và thuật ngữ chuyên ngành. Khi gặp một tên riêng hoặc một thuật ngữ kỹ thuật chưa từng thấy, mô hình NMT thường dịch sai hoặc giữ nguyên từ gốc, làm giảm đáng kể độ chính xác ngữ nghĩa của bản dịch. Tài liệu nghiên cứu gốc nhấn mạnh rằng: "sự khan hiếm, các từ không có từ vựng, chủ yếu là các thực thể và biểu thức thuật ngữ, đặt ra một thách thức khó khăn cho các hệ thống Dịch máy mạng neural". Hơn nữa, các mô hình NMT truyền thống thường gặp khó khăn trong việc duy trì sự nhất quán khi dịch các văn bản dài, vì chúng chỉ dựa vào ngữ cảnh cục bộ của câu hiện tại. Việc thiếu kiến thức nền về thế giới thực khiến mô hình không thể suy luận và giải quyết các trường hợp mơ hồ về nghĩa, dẫn đến các bản dịch có thể đúng về mặt ngữ pháp nhưng sai về mặt logic và ngữ nghĩa.

2.1. Vấn đề từ hiếm Rare Words và tên riêng trong dịch thuật

Các từ hiếm, tên riêng, và thuật ngữ chuyên ngành là gót chân Achilles của nhiều hệ thống dịch Anh-Việt. Do tần suất xuất hiện thấp trong kho dữ liệu huấn luyện, các Word embeddings cho những từ này thường không được tối ưu, dẫn đến việc biểu diễn ngữ nghĩa không chính xác. Điều này đặc biệt problemat khi dịch thuật ngữ và tên riêng. Một mô hình NMT có thể dịch đúng câu "Apple released a new phone" nhưng lại gặp khó khăn với câu "Apple Inc. is headquartered in Cupertino". Việc thiếu kiến thức về "Apple Inc." là một công ty và "Cupertino" là một địa danh khiến mô hình dễ tạo ra các bản dịch vô nghĩa. Đây là lúc tích hợp đồ thị tri thức trở nên vô giá, vì nó cung cấp mối liên kết rõ ràng giữa các thực thể này.

2.2. Hạn chế về suy luận và kiến thức nền của mô hình NMT

Các mô hình Dịch máy Mạng Neural về bản chất là những cỗ máy học mẫu xác suất từ dữ liệu. Chúng không thực sự "hiểu" được thế giới. Hạn chế này thể hiện rõ khi cần suy luận dựa trên kiến thức nền. Ví dụ, để dịch chính xác câu "The President flew to Washington", mô hình cần biết "Washington" có thể ám chỉ cả một tiểu bang và thủ đô D.C. của Hoa Kỳ. Một Đồ thị Tri thức (KG) có thể cung cấp ngữ cảnh này, giúp mô hình đưa ra lựa chọn dịch thuật phù hợp hơn. Nếu không có nguồn kiến thức ngoài này, NMT chỉ có thể dựa vào các mẫu câu tương tự trong dữ liệu huấn luyện, vốn không thể bao quát hết mọi tình huống trong thực tế. Điều này làm nổi bật sự cần thiết của các mô hình Knowledge-aware NMT.

III. Hướng dẫn tích hợp Đồ thị Tri thức vào Dịch máy Mạng Neural

Phương pháp đề xuất trong nghiên cứu này là một quy trình gồm nhiều bước nhằm tích hợp đồ thị tri thức vào hệ thống dịch Anh-Việt một cách hiệu quả. Mục tiêu cốt lõi là làm giàu ngữ nghĩa cho các thực thể được xác định trong câu nguồn trước khi đưa vào mô hình dịch. Quá trình này bắt đầu bằng việc tiền xử lý cả bộ dữ liệu song ngữ và cơ sở tri thức. Dữ liệu song ngữ được làm sạch, chuẩn hóa và token hóa bằng kỹ thuật Byte Pair Encoding (BPE) để xử lý các từ hiếm. Song song đó, Đồ thị Tri thức (ví dụ YAGO, WN18) cũng được xử lý để sẵn sàng cho việc truy vấn. Bước đột phá của phương pháp này là một quy trình hai giai đoạn: Nhận dạng thực thể và Nhúng tri thức. Đầu tiên, một mô hình Nhận dạng Thực thể có tên (Named Entity Recognition - NER) được sử dụng để quét câu nguồn và xác định các thực thể quan trọng. Sau đó, các thực thể này được dùng để truy vấn Knowledge Graph (KG), trích xuất các bộ ba tri thức liên quan. Các thông tin tri thức này, bao gồm các mối quan hệ và các thực thể liên kết, được chuyển đổi thành các vector nhúng (embeddings) và tích hợp trực tiếp vào biểu diễn của câu nguồn. Quá trình này giúp mô hình NMT "nhìn thấy" không chỉ từ ngữ mà còn cả mạng lưới tri thức ngữ nghĩa đằng sau chúng, từ đó cải thiện chất lượng dịch máy.

3.1. Nguyên tắc nhận dạng thực thể NER làm tiền đề

Bước đầu tiên và quan trọng nhất trong việc kết nối văn bản với Đồ thị Tri thức là Nhận dạng Thực thể có tên (NER). NER là một tác vụ trong Xử lý ngôn ngữ tự nhiên (NLP) nhằm xác định và phân loại các thực thể như tên người, tổ chức, địa điểm trong một đoạn văn bản. Trong khuôn khổ của phương pháp này, một mô hình NER hiệu suất cao được áp dụng lên câu nguồn (tiếng Anh). Kết quả là một danh sách các thực thể đã được định danh. Ví dụ, trong câu "Mr. Trump flew from New York to Washington", NER sẽ xác định "Mr. Trump" là PERSON, "New York" và "Washington" là LOCATION. Các thực thể này chính là "chìa khóa" để mở cánh cửa vào kho biểu diễn tri thức của KG.

3.2. Truy vấn và nhúng tri thức bằng thuật toán TransE

Sau khi có danh sách thực thể từ NER, bước tiếp theo là truy vấn Đồ thị Tri thức để lấy thông tin liên quan. Mỗi thực thể được dùng để tìm các bộ ba (head, relation, tail) mà nó tham gia. Ví dụ, với thực thể "New York", KG có thể trả về các bộ ba như (New York, is_in_country, USA). Để mô hình NMT có thể hiểu được thông tin này, các thực thể và quan hệ được nhúng vào một không gian vector chiều thấp bằng thuật toán TransE. TransE học cách biểu diễn tri thức sao cho vector(head) + vector(relation) ≈ vector(tail). Các vector tri thức này sau đó được tích hợp vào các Word embeddings của các từ tương ứng trong câu nguồn. Quá trình này làm giàu biểu diễn đầu vào, cung cấp cho Mô hình Transformer một ngữ cảnh sâu sắc hơn để tạo ra bản dịch.

IV. Phương pháp làm giàu ngữ nghĩa cho Dịch máy với BERT và KG

Để tối ưu hóa việc tận dụng tri thức, nghiên cứu đã lựa chọn một kiến trúc nền tảng mạnh mẽ là BERT-NMT, một sự kết hợp giữa mô hình BERT và kiến trúc Transformer tiêu chuẩn. Trong kiến trúc này, mô hình BERT đã được huấn luyện trước (pre-trained) được sử dụng làm bộ mã hóa (encoder). BERT, với khả năng học biểu diễn tri thức hai chiều, cung cấp một vector ngữ cảnh cực kỳ phong phú cho từng từ trong câu nguồn. Bằng cách sử dụng BERT, mô hình không chỉ hiểu nghĩa của một từ mà còn hiểu vai trò của nó trong mối quan hệ với toàn bộ câu. Sau khi câu nguồn đã được làm giàu bằng thông tin từ Đồ thị Tri thức (Knowledge Graph - KG) như đã mô tả ở phần trước, nó sẽ được đưa vào bộ mã hóa BERT. Bộ giải mã (decoder) vẫn giữ nguyên kiến trúc của Mô hình Transformer tiêu chuẩn, sử dụng cơ chế Attention và self-attention để tạo ra câu dịch trong ngôn ngữ đích. Sự kết hợp giữa tri thức có cấu trúc từ KG và tri thức ngôn ngữ sâu rộng từ BERT tạo ra một hiệu ứng cộng hưởng mạnh mẽ. Mô hình kết quả, được gọi là Bert-NMT+KG, có khả năng xử lý các trường hợp dịch khó, đặc biệt là các câu chứa nhiều thực thể và thuật ngữ, qua đó cải thiện chất lượng dịch máy một cách đáng kể. Toàn bộ hệ thống được tinh chỉnh (fine-tuned) đồng thời trên bộ dữ liệu dịch Anh-Việt, đảm bảo cả mô-đun tri thức và mô-đun dịch thuật hoạt động hài hòa với nhau.

4.1. Kiến trúc BERT NMT làm nền tảng cho hệ thống dịch

Mô hình BERT-NMT kế thừa những ưu điểm vượt trội của cả BERT và Transformer. Theo nghiên cứu "Incorporating BERT into Neural Machine Translation" của Zhu và cộng sự, việc sử dụng BERT làm encoder giúp mô hình khởi đầu với một sự am hiểu sâu sắc về ngôn ngữ. Thay vì phải học từ đầu, mô hình tận dụng được hàng tỷ tham số đã được tối ưu trên kho dữ liệu khổng lồ. Điều này đặc biệt hữu ích cho các cặp ngôn ngữ ít tài nguyên như trong NLP tiếng Việt. Kiến trúc này đã chứng minh hiệu quả trong việc nắm bắt các mối quan hệ ngữ nghĩa phức tạp, tạo ra một nền tảng vững chắc để tích hợp thêm các nguồn tri thức bên ngoài.

4.2. Mạng nơ ron đồ thị GNN và tiềm năng tương lai

Mặc dù phương pháp hiện tại tích hợp tri thức bằng cách cộng trực tiếp các vector nhúng, một hướng phát triển đầy hứa hẹn trong tương lai là sử dụng Mạng nơ-ron đồ thị (GNN). GNN là một lớp các mạng nơ-ron được thiết kế đặc biệt để xử lý dữ liệu có cấu trúc đồ thị. Thay vì chỉ lấy thông tin từ các bộ ba trực tiếp, một GNN có thể lan truyền thông tin qua nhiều bước trên Đồ thị Tri thức, thu thập một ngữ cảnh tri thức rộng hơn và phong phú hơn cho mỗi thực thể. Việc áp dụng GNN để mã hóa KG trước khi tích hợp vào NMT có thể giúp mô hình hiểu được các mối quan hệ bắc cầu và suy luận phức tạp hơn, mở ra một kỷ nguyên mới cho các hệ thống Knowledge-aware NMT.

V. Bằng chứng hiệu quả Đánh giá Dịch máy NMT với Đồ thị Tri thức

Để chứng minh tính hiệu quả của phương pháp đề xuất, các thực nghiệm chi tiết đã được tiến hành trên bộ dữ liệu IWSLT'15 Anh-Việt. Chất lượng bản dịch được đánh giá bằng thước đo tiêu chuẩn Điểm BLEU (Bilingual Evaluation Understudy). Mô hình đề xuất (Bert-NMT+KG) được so sánh với các mô hình nền mạnh mẽ khác bao gồm Transformer cơ bản, ConvS2S, và Bert-NMT (không tích hợp KG). Kết quả thực nghiệm cho thấy một sự cải thiện rõ rệt và nhất quán. Theo bảng 4.2 của tài liệu nghiên cứu, mô hình Bert-NMT không có KG đạt điểm BLEU là 26.99. Tuy nhiên, khi tích hợp đồ thị tri thức, hiệu suất đã tăng vọt. Cụ thể, mô hình Bert-NMT kết hợp với Knowledge Graph YAGO đạt 28.05 điểm BLEU. Đặc biệt ấn tượng, khi sử dụng KG WN18, mô hình đạt tới 28.59 điểm BLEU, tăng 1.6 điểm so với phiên bản gốc. Sự cải thiện này khẳng định rằng việc cung cấp kiến thức nền có cấu trúc giúp mô hình cải thiện chất lượng dịch máy một cách hiệu quả, đặc biệt trong việc xử lý các thực thể. Phân tích sâu hơn về ảnh hưởng của độ dài câu cũng cho thấy mô hình hoạt động tốt nhất với các câu ngắn, nơi các thực thể thường đóng vai trò then chốt.

5.1. Phân tích điểm BLEU trên bộ dữ liệu IWSLT 15 Anh Việt

Điểm số BLEU là chỉ số quan trọng để định lượng chất lượng dịch. Việc mô hình Bert-NMT+KG (WN18) đạt 28.59 điểm BLEU trên bộ dữ liệu IWSLT'15 Anh-Việt là một kết quả rất đáng khích lệ. Nó không chỉ vượt qua mô hình Transformer cơ bản (24.71 điểm) một khoảng cách lớn mà còn vượt qua cả phiên bản Bert-NMT không tích hợp KG. Điều này chứng tỏ rằng lợi ích từ việc tích hợp đồ thị tri thức là thực tế và có thể đo lường được. Độ chính xác ngữ nghĩa được nâng cao vì mô hình giờ đây có thể dịch các tên riêng và thuật ngữ một cách nhất quán và chính xác hơn dựa trên các mối quan hệ được định nghĩa trong KG.

5.2. So sánh hiệu quả giữa KG YAGO và WN18 trong dịch thuật

Một phát hiện thú vị từ thực nghiệm là sự khác biệt về hiệu suất khi sử dụng hai cơ sở tri thức khác nhau: YAGO và WN18. Mô hình sử dụng WN18 (28.59 BLEU) cho kết quả cao hơn một chút so với YAGO (28.05 BLEU). Điều này có thể được giải thích bởi bản chất của hai KG này. YAGO là một ontology khổng lồ chứa kiến thức về thế giới thực, trong khi WN18 tập trung vào các mối quan hệ ngữ nghĩa và từ vựng trong ngôn ngữ (ví dụ: từ đồng nghĩa, từ trái nghĩa). Đối với tác vụ dịch thuật, việc hiểu các mối quan hệ từ vựng của WN18 có thể mang lại lợi ích trực tiếp hơn trong việc lựa chọn từ ngữ phù hợp. Kết quả này cho thấy việc lựa chọn Đồ thị Tri thức phù hợp với tác vụ cụ thể là một yếu tố quan trọng để tối ưu hóa hiệu suất.

VI. Tương lai của Dịch máy Mạng Neural và vai trò của Đồ thị Tri thức

Nghiên cứu về Dịch máy Mạng Neural Anh-Việt Sử Dụng Đồ Thị Tri Thức đã mở ra một hướng đi đầy tiềm năng, khẳng định rằng tương lai của dịch máy không chỉ nằm ở các mô hình lớn hơn mà còn ở khả năng tích hợp và suy luận từ các nguồn kiến thức bên ngoài. Việc kết hợp thành công Đồ thị Tri thức (Knowledge Graph) đã giải quyết một phần các hạn chế cố hữu của NMT, đặc biệt là vấn đề dịch thuật ngữ và tên riêng, qua đó nâng cao độ chính xác ngữ nghĩa. Hướng phát triển trong tương lai sẽ tập trung vào việc xây dựng các phương pháp tích hợp tinh vi hơn. Thay vì chỉ làm giàu biểu diễn đầu vào, các kiến trúc mới có thể cho phép mô hình tương tác động với KG trong suốt quá trình giải mã, cho phép nó truy vấn và suy luận "theo yêu cầu". Hơn nữa, việc phát triển các KG song ngữ hoặc đa ngôn ngữ sẽ là một bước đột phá, giúp mô hình ánh xạ trực tiếp các khái niệm giữa các ngôn ngữ thay vì chỉ dựa vào KG của ngôn ngữ nguồn. Các kỹ thuật như Mạng nơ-ron đồ thị (GNN) sẽ đóng vai trò trung tâm trong việc mô hình hóa các suy luận phức tạp trên đồ thị. Cuối cùng, việc ứng dụng phương pháp này cho các lĩnh vực chuyên ngành hẹp như y tế, pháp luật, kỹ thuật sẽ mang lại giá trị thực tiễn to lớn, tạo ra các công cụ dịch thuật chuyên biệt, đáng tin cậy và thực sự thông minh.

6.1. Hướng phát triển các mô hình Knowledge aware NMT

Các mô hình Knowledge-aware NMT trong tương lai cần vượt qua việc chỉ "biết" các sự kiện riêng lẻ. Chúng cần có khả năng suy luận trên chuỗi các mối quan hệ trong Đồ thị Tri thức. Ví dụ, nếu KG chứa thông tin (A, là con của, B) và (B, sống tại, C), mô hình nên có khả năng suy luận rằng A có thể có liên quan đến địa điểm C. Việc phát triển các cơ chế attention có cấu trúc đồ thị (graph-structured attention) hoặc tích hợp các mô-đun bộ nhớ có khả năng truy cập KG sẽ là những hướng nghiên cứu quan trọng để hiện thực hóa khả năng này. Điều này sẽ giúp các hệ thống dịch Anh-Việt xử lý các câu phức tạp và các văn bản yêu cầu sự hiểu biết sâu sắc.

6.2. Thách thức xây dựng Đồ thị Tri thức cho NLP tiếng Việt

Một trong những rào cản lớn nhất cho việc áp dụng rộng rãi phương pháp này là sự thiếu hụt các Đồ thị Tri thức chất lượng cao và quy mô lớn dành riêng cho tiếng Việt. Hầu hết các KG nổi tiếng như DBpedia, YAGO đều tập trung chủ yếu vào tiếng Anh. Do đó, một hướng đi cấp thiết là xây dựng và làm giàu các cơ sở tri thức cho NLP tiếng Việt. Điều này đòi hỏi nỗ lực chung từ cộng đồng nghiên cứu trong việc trích xuất thông tin tự động từ các nguồn văn bản tiếng Việt, liên kết thực thể và chuẩn hóa dữ liệu. Một KG tiếng Việt mạnh mẽ không chỉ thúc đẩy lĩnh vực dịch máy mà còn là nền tảng cho nhiều ứng dụng AI khác như trợ lý ảo, tìm kiếm thông minh và phân tích dữ liệu.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong tiến trình toàn cầu hóa và hội nhập quốc tế, nhu cầu trao đổi thông tin, tiếp cận tài liệu khoa học và giao tiếp đa ngôn ngữ ngày càng gia tăng. Dịch máy tự động (Machine Translation - MT) đóng vai trò then chốt trong việc phá vỡ rào cản ngôn ngữ, hỗ trợ dịch thuật tài liệu, phụ đề truyền thông và các hệ thống hội thoại thời gian thực. Mặc dù các hệ thống dịch máy mạng nơ-ron (Neural Machine Translation - NMT) đã đạt được nhiều bước tiến lớn, mô hình vẫn đối mặt với những thách thức nội tại:

1. NMT đòi hỏi khối lượng dữ liệu song ngữ rất lớn để huấn luyện, dẫn đến hiện tượng thưa thớt dữ liệu (data sparsity) ở các cặp ngôn ngữ tài nguyên hạn chế.
2. Khó khăn trong việc xử lý các từ hiếm và từ chưa từng xuất hiện trong tập từ vựng (Out-Of-Vocabulary - OOV), đặc biệt là các thực thể tên riêng, thuật ngữ khoa học và biểu thức chuyên ngành.
3. Việc dịch sai hoặc thiếu nhất quán các thực thể ngữ nghĩa làm suy giảm nghiêm trọng độ chính xác và tính tự nhiên của toàn bộ câu dịch.

Để giải quyết các rào cản trên, tác giả đề xuất phương pháp tích hợp đồ thị tri thức (Knowledge Graph - KG) vào quá trình dịch máy mạng nơ-ron nhằm làm giàu thông tin ngữ cảnh, bổ sung tri thức ngoài và giảm áp lực dữ liệu cho mô hình NMT.

Mục tiêu nghiên cứu:

• Nghiên cứu cơ sở lý thuyết về dịch máy mạng nơ-ron và các kỹ thuật biểu diễn, nhúng đồ thị tri thức.
• Xây dựng mô hình dịch máy tự động Anh-Việt dựa trên kiến trúc Bert-NMT có tích hợp tri thức từ các đồ thị tri thức ngoài.
• Đánh giá định lượng và định tính hiệu năng của mô hình đề xuất trên bộ ngữ liệu thực nghiệm, so sánh với các mô hình dịch máy cơ sở.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Cặp câu song ngữ Anh-Việt trích xuất từ các đoạn hội thoại, văn bản và các bộ ba tri thức (triples) từ đồ thị tri thức.
• Phạm vi nghiên cứu: Bài toán dịch máy mạng nơ-ron một chiều từ tiếng Anh sang tiếng Việt, sử dụng tập ngữ liệu chuẩn IWSLT 2015 kết hợp với hai cơ sở tri thức là WN18 (WordNet-18) và YAGO.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình tiếp cận

Khóa luận hệ thống hóa toàn diện các giai đoạn phát triển của công nghệ dịch máy và các kỹ thuật đồ thị tri thức:

• Tiến trình phát triển dịch máy:
  • Dịch máy dựa trên quy tắc (RBMT): Sử dụng từ điển và các tập luật cú pháp, ngữ nghĩa do chuyên gia xây dựng; triển khai qua ba phương pháp tiếp cận gồm phương pháp trực tiếp (Direct Method), phương pháp chuyển đổi (Transfer Method) và phương pháp ngôn ngữ trung gian (Interlingua).
  • Dịch máy dựa trên ví dụ (EBMT): Tận dụng cơ sở dữ liệu song ngữ có sẵn thông qua ba bước: so khớp (Matching) bằng độ đo cosin hoặc khoảng cách Levenshtein, chuyển đổi/căn chỉnh (Alignment) và tái tạo câu đích (Recombination).
  • Dịch máy thống kê (SMT): Dựa trên công thức định lý Bayes để phân rã bài toán tìm câu đích $e$ tối ưu cho câu nguồn $f$: $$\hat{e} = \arg\max_{e} p(e|f) = \arg\max_{e} p(f|e)p(e)$$ Trong đó $p(f|e)$ là mô hình chuyển ngữ (translation model) và $p(e)$ là mô hình ngôn ngữ (language model).
  • Dịch máy mạng nơ-ron (NMT): Áp dụng kiến trúc Encoder-Decoder học chuỗi-sang-chuỗi (Seq2Seq) dạng end-to-end với mạng hồi quy (RNN, LSTM, GRU), cơ chế chú ý (Attention), kiến trúc Transformer dựa trên cơ chế tự chú ý (Self-Attention) và mô hình ngôn ngữ tiền huấn luyện BERT.
• Lý thuyết đồ thị tri thức (Knowledge Graphs):
  • Biểu diễn tri thức dưới dạng các bộ ba (triples) có hướng $ (h, r, t) $ gồm thực thể đầu (Head), quan hệ (Relation) và thực thể đuôi (Tail) theo chuẩn RDF hoặc Labeled Property Graphs (LPGs).
  • Kỹ thuật nhúng đồ thị tri thức (KGE): Nhóm phân tích tensor (RESCAL, DistMult, ComplEx); nhóm mô hình tịnh tiến không gian vector (TransE, TransH, TransR, TransD, RotatE, QuatE); nhóm mạng nơ-ron học sâu (ConvE, ConvKB).
  • Các tác vụ trên KG: Thu thập tri thức (Knowledge Acquisition), Tổng hợp tri thức (Knowledge Fusion / Entity Alignment), Hoàn thiện đồ thị (Knowledge Graph Completion qua Link Prediction và Entity Prediction) và Suy luận tri thức (Knowledge Graph Reasoning).

Phương pháp nghiên cứu

• Phương pháp nghiên cứu lý thuyết: Khảo sát và tổng hợp tài liệu học thuật về xử lý ngôn ngữ tự nhiên, kỹ thuật phân đoạn từ con BPE (Byte Pair Encoding), cơ chế nhúng BERT và các giải pháp tích hợp KG vào NMT.
• Phương pháp nghiên cứu thực nghiệm:
  • Tiền xử lý dữ liệu song ngữ và đồ thị tri thức.
  • Xây dựng mô hình Bert-NMT kết hợp biểu diễn ngữ nghĩa từ KG.
  • Huấn luyện mô hình với hàm mất mát Label Smoothing Cross Entropy (LSCE).
  • Đo lường và đánh giá chất lượng bằng điểm số BLEU, độ mất mát log-likelihood âm (NLL loss) và độ phức tạp mô hình (Perplexity - PPL).

Nguồn dữ liệu sử dụng

• Bộ ngữ liệu song ngữ Anh-Việt IWSLT 2015: Tập dữ liệu chuẩn gồm các bản ghi phụ đề hội thoại thu thập từ Hội nghị Khoa học Công nghệ quốc tế về Dịch thuật Ngôn ngữ nói (IWSLT lần thứ 12 tại Đà Nẵng).
• Bộ ngữ liệu đồ thị tri thức:
  • WN18: Tập dữ liệu con trích xuất từ WordNet, chứa các mối quan hệ ngữ nghĩa và phân loại từ vựng.
  • YAGO: Cơ sở tri thức quy mô lớn xây dựng từ sự kết hợp giữa Wikipedia và WordNet, tập trung vào các thực thể và sự kiện thế giới thực.

---

Thiết kế và triển khai

Hệ thống được thiết kế và thực nghiệm với cấu hình kỹ thuật và môi trường tính toán cụ thể:

Môi trường phần cứng và công cụ lập trình

• Môi trường tính toán: Google Colab Pro.
  • Vi xử lý (CPU): Intel® Xeon® CPU @ 2.20GHz.
  • Bộ nhớ RAM: 56 GB.
  • Card đồ họa (GPU): NVIDIA Tesla A100 dung lượng 16 GB.
• Môi trường phần mềm: Ngôn ngữ lập trình Python 3.13; tự động hóa quy trình tiền xử lý và thực nghiệm bằng Bash Script.

Cấu hình siêu tham số huấn luyện (Hyperparameters)

Tham số cấu hình	Giá trị thiết lập
Thuật toán tối ưu hóa (Optimizer)	Adam
Tốc độ học khởi tạo (Learning Rate)	0.0005
Tốc độ học nhỏ nhất (Min Learning Rate)	$10^{-9}$
Số lượng chu kỳ huấn luyện (Epochs)	30
Kích thước batch (Tokens per batch)	4000
Tỷ lệ loại bỏ nơ-ron (Dropout)	0.3
Hệ số suy giảm trọng số (Weight Decay)	0.0001
Hàm mất mát (Loss Function)	Label Smoothing Cross Entropy (LSCE)
Hệ số làm mịn nhãn (Label Smoothing)	0.1
Hạt giống ngẫu nhiên (Seed)	1

Phương thức đánh giá

• Độ đo BLEU (Bilingual Evaluation Understudy): Đánh giá độ trùng khớp cụm từ $n$-gram ($n=1 \dots 4$) giữa câu sinh ra ($c$) và câu tham chiếu ($r$), kết hợp với hệ số phạt độ dài ngắn (Brevity Penalty - BP): $$BP = \min\left(1, \exp\left(1 - \frac{r}{c}\right)\right)$$ $$BLEU = BP \times \exp\left(\sum_{n=1}^{4} w_n \ln p_n\right) \quad \text{với } w_n = 0.25$$
• Hàm mất mát và độ phức tạp: Giám sát sự hội tụ của mô hình thông qua Negative Log-Likelihood Loss ($NLL_loss$) và chỉ số Perplexity ($PPL = \exp(NLL_loss)$).

---

Nội dung chính theo từng chương

Chương mở đầu

Trình bày tính cấp thiết của đề tài trong bối cảnh toàn cầu hóa; xác định mục tiêu xây dựng hệ thống NMT kết hợp đồ thị tri thức; giới thiệu đối tượng, phạm vi nghiên cứu Anh-Việt, phương pháp tiếp cận lý thuyết kết hợp thực nghiệm và tóm tắt cấu trúc năm chương của khóa luận.

Chương 1: Tổng quan nghiên cứu

• Tổng kết lịch sử phát triển của các phương pháp dịch máy: RBMT (trực tiếp, chuyển đổi, interlingua), EBMT (so khớp, căn chỉnh, tái tạo), SMT (mô hình ngôn ngữ, mô hình chuyển ngữ) và NMT.
• Khảo sát các công trình cải tiến NMT tiêu biểu nhằm giải quyết bài toán OOV và dịch thực thể: phương pháp biểu diễn từ con FastText của Bojanowski, kiến trúc KG-NMT của Diego Moussallem, phương pháp học đa nhiệm ở mức độ phân đoạn thực thể con của Yang Zou.
• Phân tích các bộ ngữ liệu song ngữ chuẩn (Europarl, IWSLT) và cấu trúc các đồ thị tri thức lớn (Google Knowledge Graph, YAGO, DBpedia, Freebase).
• Tổng hợp các phương pháp nhúng đồ thị tri thức (KGE) và các ứng dụng của KG trong hệ thống hỏi đáp, gợi ý và truy xuất thông tin.

Chương 2: Cơ sở lý thuyết

• Phân tích chi tiết nguyên lý hoạt động của mô hình chuỗi Sequence-to-Sequence dựa trên các khối mạng nơ-ron hồi quy RNN, LSTM và GRU.
• Trình bày toán học cơ chế chú ý (Attention Mechanism) của Bahdanau và sự phát triển của cơ chế tự chú ý (Self-Attention) trong Transformer.
• Phân tích kiến trúc Transformer gồm các lớp Multi-Head Attention, Positional Encoding, Residual Connection và Feed-Forward Networks.
• Trình bày kiến trúc mô hình ngôn ngữ BERT (Bidirectional Encoder Representations from Transformers) và nguyên lý nhúng ngữ cảnh hai chiều.

Chương 3: Phương pháp đề xuất

• Xây dựng quy trình tổng quan tích hợp đồ thị tri thức vào mô hình dịch máy mạng nơ-ron Bert-NMT.
• Thiết lập quy trình tiền xử lý ngữ liệu: chuẩn hóa văn bản, làm sạch dữ liệu, áp dụng thuật toán tách từ con Byte Pair Encoding (BPE) để đánh dấu ranh giới subword.
• Triển khai kỹ thuật nhận dạng và liên kết thực thể (Entity Linking) từ câu nguồn với các nút trong đồ thị tri thức.
• Cơ chế tiêm nhúng ngữ nghĩa thực thể từ KG (WN18, YAGO) vào các tầng biểu diễn của bộ mã hóa/bộ giải mã Bert-NMT.

Chương 4: Thực nghiệm và đánh giá

• Thiết lập môi trường thực nghiệm phần cứng (A100 16GB, RAM 56GB) và siêu tham số huấn luyện (Adam, 30 epochs, batch 4000 tokens).
• So sánh định lượng điểm BLEU giữa các mô hình chuẩn và mô hình đề xuất.
• Phân tích ảnh hưởng của từng loại đồ thị tri thức (WN18 và YAGO) đến chất lượng dịch.
• Đánh giá sự biến thiên của điểm BLEU theo các nhóm độ dài câu (ngắn, trung bình, dài).
• Phân tích định tính các ca dịch thực tế, chỉ ra điểm cải thiện về độ trôi chảy cũng như hiện tượng nhầm lẫn ngữ nghĩa địa danh do liên kết tri thức.

Chương 5: Kết luận và hướng phát triển

• Khẳng định tính hiệu quả của việc tích hợp đồ thị tri thức trong việc nâng cao điểm số dịch thuật tự động.
• Tổng kết các ý nghĩa học thuật trong nghiên cứu NMT và ý nghĩa thực tiễn khi ứng dụng dịch đa ngữ.
• Đề xuất các giải pháp khắc phục hạn chế về tài nguyên tính toán và cải thiện chất lượng dịch trên các câu dài.

---

Kết quả và đóng góp

Kết quả thực nghiệm định lượng

Mô hình đề xuất được huấn luyện qua 30 epoch và so sánh trực tiếp với các mô hình cơ sở không sử dụng đồ thị tri thức.

Bảng so sánh điểm BLEU giữa các mô hình:

STT	Mô hình	Đồ thị tri thức (KG)	Điểm BLEU	Mức chênh lệch
1	Transformer	Không	24.71	Baseline
2	ConvS2S	Không	27.82	+3.11 so với Transformer
3	Bert-NMT	Không	26.99	+2.28 so với Transformer
4	Bert-NMT + KG (Đề xuất)	YAGO	28.05	+1.06 so với Bert-NMT gốc
5	Bert-NMT + KG (Đề xuất)	WN18	28.59	+1.60 so với Bert-NMT gốc

Nhận xét: Việc tích hợp WN18 mang lại điểm BLEU cao nhất (28.59 điểm), vượt qua cả mô hình tích hợp YAGO (28.05 điểm) và mô hình tích chập tuần tự ConvS2S (27.82 điểm).

Bảng đánh giá ảnh hưởng của độ dài câu lên điểm BLEU:

Nhóm câu	Độ dài (số từ)	Số lượng câu	BLEU (Bert-NMT + WN18)	BLEU (Bert-NMT + YAGO)
Câu ngắn	1 - 30 từ	943	30.80	30.02
Câu trung bình	31 - 60 từ	279	27.70	27.73
Câu dài	61 - 100 từ	45	23.86	23.90
Toàn bộ tập kiểm tra	Tất cả	1267	28.59	28.05

Nhận xét: Điểm BLEU đạt mức cao nhất trên tập câu ngắn (30.80 điểm với WN18, cao hơn điểm tổng thể 2.21 điểm) và có xu hướng giảm dần khi độ dài câu tăng lên do cấu trúc ngữ pháp và ngữ nghĩa trở nên phức tạp hơn.

Phân tích định tính và phát hiện thực nghiệm

• Tăng cường tính tự nhiên: Mô hình Bert-NMT tích hợp KG có khả năng tái tạo câu dịch tiếng Việt mạch lạc, thoát nghĩa và tự nhiên hơn so với phương pháp dịch từng từ cơ sở.
• Hiện tượng suy diễn tri thức quá mức: Khi dịch câu nguồn chứa cụm thực thể phân đoạn BPE "1@@ w@@ ate P@@ ref@@ ecture" (Iwate Prefecture), do đồ thị tri thức chứa bộ ba quan hệ địa lý ("Iwate_Prefecture", "city_of", "Japan"), mô hình đề xuất đã dịch từ này thành "Nhật Bản" thay vì giữ nguyên hoặc chuyển tự thành tỉnh "Iwate". Điều này chứng minh mô hình đã tiếp nhận tri thức nền từ KG, nhưng đồng thời chỉ ra nguy cơ sai lệch chi tiết địa danh nếu trọng số tri thức không được kiểm soát chặt chẽ.

Đóng góp của đề tài

1. Đề xuất quy trình kết hợp đồ thị tri thức ngoài (WN18, YAGO) vào mô hình dịch máy mạng nơ-ron Bert-NMT cho cặp ngôn ngữ Anh-Việt.
2. Chứng minh bằng thực nghiệm định lượng rằng việc bổ sung biểu diễn ngữ nghĩa từ KG giúp tăng từ 1.06 đến 1.60 điểm BLEU so với mô hình Bert-NMT không tích hợp tri thức.
3. Cung cấp phân tích thực nghiệm chi tiết về tác động của độ dài câu và loại đồ thị tri thức đối với chất lượng bản dịch.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

• Độ phức tạp tính toán cao: Quá trình trích xuất, nhúng và kết hợp dữ liệu từ đồ thị tri thức làm gia tăng đáng kể chi phí tính toán và thời gian huấn luyện mô hình.
• Độ bao phủ tri thức giới hạn: Các đồ thị tri thức như WN18 và YAGO chưa thể bao quát toàn bộ thực thể và khái niệm của mọi lĩnh vực chuyên ngành.
• Suy giảm hiệu năng trên câu dài: Hiệu suất dịch giảm rõ rệt khi xử lý các câu có độ dài từ 61 đến 100 từ (điểm BLEU giảm xuống mức 23.86 - 23.90 điểm).

Hướng phát triển trong tương lai

• Nghiên cứu các phương pháp tích hợp tri thức tối ưu hơn nhằm giảm độ phức tạp tính toán.
• Mở rộng quy mô thử nghiệm sang các cặp ngôn ngữ khác và các miền dữ liệu chuyên ngành hẹp.
• Nâng cao năng lực xử lý và duy trì tính liên kết ngữ nghĩa đối với các câu có cấu trúc dài và phức tạp.

---

Giá trị tham khảo

Tài liệu là nguồn tham khảo hữu ích cho:

• Sinh viên và học viên cao học ngành Khoa học Máy tính, Trí tuệ Nhân tạo và Ngôn ngữ học tính toán: Cung cấp bức tranh toàn cảnh về tiến trình kỹ thuật dịch máy từ RBMT, EBMT, SMT đến Transformer, BERT và NMT.
• Các nhóm nghiên cứu xử lý ngôn ngữ tự nhiên (NLP): Tham khảo chi tiết về quy trình kỹ thuật nhúng đồ thị tri thức (KGE), phương pháp căn chỉnh phân đoạn thực thể con (sub-entity) và cách thiết lập thực nghiệm huấn luyện trên nền tảng GPU Tesla A100.
• Kỹ sư triển khai hệ thống dịch thuật: Cung cấp các thông số thực nghiệm, phân tích lỗi dịch thực thể và các đánh giá về sự ảnh hưởng của độ dài văn bản đến chất lượng bản dịch.

---

Câu hỏi thường gặp

1. Khóa luận sử dụng mô hình nền tảng nào và tích hợp thêm thành phần gì?

Tác giả sử dụng mô hình dịch máy mạng nơ-ron Bert-NMT làm nền tảng chính, sau đó tích hợp thêm các vector biểu diễn ngữ nghĩa thực thể được trích xuất từ các đồ thị tri thức ngoài (Knowledge Graphs) gồm WN18 và YAGO.

2. Kết quả điểm số BLEU của mô hình đề xuất thay đổi như thế nào so với các mô hình cơ sở?

Mô hình Bert-NMT + KG (WN18) đạt 28.59 điểm BLEU, cao hơn mô hình Transformer cơ sở (24.71 điểm), ConvS2S (27.82 điểm) và Bert-NMT không có KG (26.99 điểm). Khi tích hợp KG YAGO, mô hình đạt 28.05 điểm BLEU.

3. Đồ thị tri thức WN18 và YAGO khác nhau như thế nào trong thực nghiệm này?

YAGO tập trung vào các thực thể và sự kiện thế giới thực, trong khi WN18 tập trung vào các quan hệ ngữ nghĩa và phân loại từ vựng. Trong thực nghiệm với tập ngữ liệu IWSLT 2015, WN18 mang lại điểm BLEU cao hơn một chút so với YAGO (28.59 so với 28.05).

4. Độ dài của câu ảnh hưởng như thế nào đến hiệu suất dịch của mô hình?

Điểm BLEU đạt cao nhất ở nhóm câu ngắn từ 1-30 từ (30.80 điểm với WN18 và 30.02 điểm với YAGO), giảm xuống ở nhóm câu trung bình 31-60 từ (khoảng 27.70 - 27.73 điểm) và thấp nhất ở nhóm câu dài 61-100 từ (23.86 - 23.90 điểm).

5. Hiện tượng dịch nhầm thực thể "Iwate Prefecture" thành "Nhật Bản" xuất phát từ nguyên nhân nào?

Do mô hình học được thông tin liên kết trong đồ thị tri thức chỉ ra "Iwate Prefecture" là một tỉnh/thành phố thuộc "Nhật Bản" qua bộ ba ("Iwate_Prefecture", "city_of", "Japan"). Khi tổng hợp ngữ nghĩa, mô hình đã suy diễn và sinh ra từ "Nhật Bản", làm thay đổi địa danh cụ thể trong câu nguồn.

---

Kết luận

Khóa luận tốt nghiệp của tác giả Lê Công Trí đã nghiên cứu và triển khai thành công mô hình dịch máy mạng nơ-ron Anh-Việt tích hợp đồ thị tri thức dựa trên kiến trúc Bert-NMT. Kết quả thực nghiệm trên tập dữ liệu IWSLT 2015 chứng minh việc bổ sung tri thức từ WN18 và YAGO giúp cải thiện chất lượng dịch thuật, nâng điểm BLEU lên mức 28.59 điểm. Mặc dù vẫn còn hạn chế về chi phí tính toán và sự suy giảm hiệu năng trên câu dài, công trình đã khẳng định tiềm năng của hướng tiếp cận kết hợp tri thức có cấu trúc vào các mô hình học sâu xử lý ngôn ngữ tự nhiên.

Trích đoạn nội dung tài liệu

Chương I: Tổng quan nghiên cứu Chương này giới thiệu tổng quan trình hình nghiên cứu trong lĩnh vực địch máy, giới thiệu về các tập dữ liệu tiêu chuẩn đang được các nhà nghiên cứu sử dụng, trình bảy các. phương pháp học sâu vả những công trình tiêu biễu tương ứng với tìng phương pháp Chương 2: Cơ sở lí thuyết Chương này chúng lôi sẽ trình bảy lẫn lượt tổng quan các phương pháp dịch máy Đồng thời trong từng phương pháp, chúng tôi cũng nêu ra khái niệm cũng như tu-khuyẾt điểm về một số thuật toán, kiến trúc mô hình tiêu biểu để làm cơ sở chọn lựa mô hình phù hợp với Chương 3: Phương pháp đề xuất Trình bây chỉ iết phương pháp mà chúng tôi sử dụng trong dịch máy Anh: Việt Phương pháp chính là tich hợp đồ thịt thức vào mô hình dịch máy mang neural Chương 4: Thực nghiệm và đánh giá. Chương này so sánh và đánh giá kết quảđạt được khi thục hiện chương trình với một số pre-trained model trên tập ngữ liệu Anh-Việt và các tập ngữ liệu song ngữ khác. Chương 5: Kết luận và hướng phát triển “Tổng kết lại kết quả đã đạt được và chưa đạt được sau quá trình nghiên cứu, tiền hành.

Từ đó nêu lên những hướng nghiên cứu và phát triển tiếp theo trong tương lai 48 nâng cao hiệu suất địch thuật cũng như để khắc phục các hạn chế hiện ti. CHƯƠNG ‘ONG QUAN NGHIEN 1-1 Tổng quan a tit Dịch may (Machine Translation) li mt bai ton quan trong trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), với nhiệm vụ chính là đạy cho máy tính có khả năng học và địch tự động một văn bản từ ngôn ngữ nguồn sang ngôn ngữ dịch mà không cần sự can thiệp của con người vào quá trình dịch. Đây là một thách thức lớn bởi sự đa dạng của các ngôn ngữ: tên thể giới, Hiện nay có hơn 7000 ngôn ngữ khe nhau đang được sử đụng, ngôn ngữ đều có cấu trúc ngữ pháp, ngữ nghĩa và cách biểu đạt riêng biệt. Khả năng dich thuật giữa sắc ngôn ngữ này một cách chính xác và tồi chảy là mục tiêu then chốt của dịch mấy.

Đạt được điều này sẽ tạo nên những đột phá to lớn, giúp con người vượt qua ào củn ngôn ngữ, thie day sy giao lưu văn hỏa và hợp tác trên phạm vỉ toàn cầu. Ngoài ra, địch máy còn mở. xa nhiều ứng dụng thực ế quan trọng khác như dịch tài liệu, phụ đề phim, website đa ngôn ngũ, hỗ trợ giao tiếp qua biên dịch giọng nói, Do tim quan trọng to lớn đó, dịch mấy luôn được coi là một trong những lĩnh vực nghiên cứu trọng điểm và được đầu tư mạnh mẽ nhân lực cũng như tài chinh trong NLP. "Nhiễu phương pháp tiếp cặn khác nhau đã được đề xuất và phát iển qua các th kỹ khác nhau, từ dịch mấy dựa trên quy tắc (RBMT), dịch máy thống kế (SMT) đến dịch may mang eural (NMT) phổ biết ngày nay, 12 Cúc phương pháp tếp cận địch máy Mặc dù địch máy đã được nghiên cứu và ra đờ năm thập niên 50 của thể kỹ trước, nhưng ban đầu các nhà nghiên cứu đã tận dụng từ điễn và sử dụn: Wy được tạo ra bởi chuyên gia để sắc định nghĩa chính xác của các t.

Tuy nhiễn, cách tiếp cận nảy gặp hạn chế li không thể phát triển một hệ thông luật hoàn chinh cho tắt cả các ngôn ngữ có sẵn. Đến những năm 1990 mô hình địch máy thống kê xuất hiện, mô hình này sử đụng một kho ngữ liệu song ngữ được thu thập bởi các chuyên gia ngôn ngữ trong quá trình huần luyện. Tuy nhiên, hiệu suất của các hệ thống địch máy thống kẻ đòi hỏi nhiễu vào cặp ngôn ngữ cu thế mã chúng được áp dụng [3], [4] RBMT SMT NMT | ! h 1.1 Quá trình phát triển địch máy 1.1 Dịch máy dựa trên quy tắc Dịch máy dựa trên quy tắc (RBMT) là hệ thống địch máy đâu tiên và dựa trên thông tin ngôn ngữ về ngôn ngữ nguồn và ngôn ngữ đích về cơ bản được lẫy từ từ điển và ngữ pháp bao gồm các quy tắc về ngữ nghĩa, hình thấi và củ pháp chính của từng ngôn ngữ tương ứng [5]. Nguyên lý hoạt động của nó dựa trên việc sử dụng các quy tắc ngôn ngữ học sự thể để bigu diễn kiến thức về ngôn ngữ nguồn và ngôn ngữ địch.

Quả trình dịch máy RBMT diễn ra theo từng bước sau: + Phân tích ngôn ngờ nguồn: Quá tình này bắt đầu với một văn bản đầu vào, được tiền xử lý bằng cách tích từ, ấn nhân từ loại và phân đoạn câu. Sau đó, vấn bản được phân tích cú pháp đẻ xác định các thành phần câu và mỗi quan hệ cú pháp giữa chúng, dựa trên suy ắc ngữ pháp của ngôn ngữ nguồn. Tiếp theo, phân ích ngữ nghĩa được thực hiện để xác định ý nghĩa của các từ và cụm từ, dựa trên từ điển ngữ nghĩa và quy tắc ngữ nghĩa của ngôn ngữ nguồn. Kết qua là một biều diễn ngữ nghĩa-cú pháp độc lập với ngôn ngữ nguồn.

+ Chuyén tai (Transfer): Bigu didn gtr nghia-ci phap của ngôn ngữ nguồn được chuyên đổi sang biểu diễn trung gian không phụ thuộc ngôn ngữ bằng cách áp dụng quy túc chuyỂn tải ngữ nghĩa và cả pháp, Quy tắc chuyển tả này xử lý các hiện tượng ngôn ngữ khác nhau giữa ngôn ngữ nguồn và ngôn ngữ đích như trật tự từ, đảo ngữ, số [sổ nhu, + Tổng hợp ngôn ngữ đích (Target Language Generaion): Từ biễu diễn trung gian, suy tắc ngữ pháp và ngữ nghĩa của ngôn ngữ đích được ấp dụng để ạo ra biểu diễn ngữ nghĩa-cú pháp của ngôn ngữ đích. Biểu diễn này sau đó được sử dụng để tổng hợp văn bản đầu m bằng ngôn ngữ đích thông qua các bước như xây dựng cụm từ và diễn ngữ hoá các thành phần đầu ra cuối cũng 'Có ba phương pháp tiếp cận dịch máy dựa trên quy tắc sau: phương pháp trực tiếp. (Đirset Method), phương pháp chuyển đổi (Transisr Method) và phương pháp Inleringua Phương pháp trực tiếp: Là phương pháp dịch từng từ rong văn bản nguồn thành rõ rằng nhưngcl cần một từ trong văn bản đích. Nó đòi hỏi phân tích hình thái một cách chút phân tích củ pháp và ngữ nghĩa Phương pháp chuyển đối: Đây là phương pháp phỏ biến nhất trong RBMT, Trong phương phip này, ngôn ngữ nguồn được chuyển đổi thành một biểu diễn trừu tượng, ít ngôn ngữ cụ thể hơn, Văn bản được phân ích ở cấp độ ngữ pháp và ngữ nghĩa tong ngôn "ngữ nguồn, sau đó được chuyỂn đổi sang một biểu diễn trung gian không phụ thuộc ngôn neữ.

Cuỗi cùng, một biễu diễn tương đương được tạo ra cho ngôn ngữ đích bằng cách sử cđụng từ điễn song ngữ và các quy tắc ngữ pháp, Phương pháp Iterlingua: Trong ngôn ngữ nguồn Intedingua được chuyển đổi thành ngôn ngữ trung gian, độc lập với bat ky ngôn ngữ nảo liên quan đến dịch thuật. Bán dịch được địch cho ngôn ngữ đích sau đô được lấy từ ngôn ngữ trung giam Phương pháp dịch máy dựa trên luật (RBMT) có một số ưu điểm đáng kể, Nếu bộ luật được xây dựng tốt, RBMT có thể tạo ra ban dich chính xác và trung thực về mặt ngữ pháp. Phương pháp này cũng phủ hợp để dịch những văn bản có cấu trúc và từ vựng giới hạn như hướng dẫn sử dụng, tải liệu ky thugt (A Survey of Current Paradigms in Machine Translation). Dng thoi, RBMT cho phép kiểm soát tốt quả tình dịch, điều chỉnh và bổ sung luật một cách linh hoạt.

"uy nhiên, RBMT cũng có những hạn chế nhất định. Việc xây dựng một hệ thống RBMT hoàn chỉnh đòi hỏi thời gian đài, các quy tắc thường do nhà ngôn ngữ học phát triển Do vậy hạn chế chính của phương pháp nảy là nó đỏi hỏi rắt nhiều nguồn lực về chuyên mmôn/ chuyên gia (có thểrắt tốn kém) để xây dựng rất ắt nhiều quy tắc và ngoại lẽ, đồng thời nó không khái quất được cho những ngôn ngữ khácj6]. Hệ thẳng chỉ có th dịch tốt những mẫu câu và từ vựng nằm trong tập luật. Những câu quá dài, phức tạp sẽ dễ bị dịch sai, khó xử lý tốt các, óa, ngữ cảnh, ảm ý trong giao tiếp ngôn ngữ.

Chỉ phí xây dựng và duy trì hệ thống cũng cao. Mỗi cặp ngôn ngữ cẳn có một hệ thống luật riêng. Dịch máy dựa trên ví dụ Dịch máy dựa trên ví dụ (Example-Based Machine Translation - EBMT) là một phương pháp địch máy được giới thiệu lần đầu tiên vào năm 1984 bởi Makoto Nagao từ ai học Kyoto, Nhật Bản [7]. Dịch máy dựa trên ví dụ (EBMT) là một phương pháp dịch máy đồi hỏi nhiều công đoạn tiền xử lý đữ liệu như làm sạch, chuẩn hóa vả gắn nhãn thông tin ngữ pháp cho các cặp câu trong cơ sở dữ liệu song ngữ.

Điều này giúp cải thiện hiệu “quả tìm kiếm và chuyển đổi trong quá trình dịch, Có nhiều phương pháp tìm kiếm các ví cdụ tương tự như sử dụng độ đo tương tự chị +okhốp mẫu, hoặc kết hợp với các kỹ thật ích xuất đặc trưng ngôn ngữ. Bên cạnh đó, việc chuyển đổi vả tá tạo câu địch cũng đồi hỏi phải giải quyết các ấn để như điều chỉnh thứ tự từ, thay đổi hình thai từ và đảm báo. tính đúng đắn ngữ pháp bằng các kỹ thuật như quy tắc chuyển đổi, mô h th ngôn ngũ, và các thuật toán tối ưu hóa. Ý tưởng cốt lõi của EBMT là sử dụng một cơ sở dữ liệu song ngữ: gằm các cặp câu đã được dịch trước đó để dịch một câu mới chư từng gặp.

Cách tiếp cận của EBMT gồm ba bước chính: ~ So khớp (Matching): Trong bước so khớp, hệ thống EBMT sẽ ign hành tìm kiểm trong cơ sở dữ liệu song ngữ để xác định những cặp câu có độ trơng tự cao nhất với câu cẩn dịch. Quá trình tìm kiểm này dựa trên việc so sánh các đặc trưng ngôn ngữ như tử vựng, cm từ và cẫu trúc cú pháp giữa câu đầu vào và các câu rong cơ sở dữ liệu. Hệ thẳng sẽ sử dụng các thuật toán đo độ tương tự, chẳng hạn như độ đo cosin hoặc khoảng cách Levenshiein, để tỉnh toán mức độ trùng khớp giữa các câu. Kết quả của bước này là một tập hợp các cặp câu song ngữ có liên quan và tương tự nhất với câu edn địch.

~ Chuyển đổi (Alignment): 6 bude nay he théng EBMT sẽ phân ích và xác định sự tương ứng giữa cúc cụm từ, thành phần trong câu nguồn và câu đích của các cặp ví dụ đã tim được ở bước trước. Quả trình này nhằm thiết lập một ánh xạ giữa các phần tử của hai "ngôn ngữ, cho phép hệ thống hiểu được cách các cụm từ và thành phần trong câu nguồn được biễu đạt tương ứng trong câu địch.