Dịch Máy Mạng Neural Anh-Việt Sử Dụng Đồ Thị Tri Thức

Luận văn tốt nghiệp nghiên cứu Dịch máy mạng neural anh việt sử dụng đồ thị tri thức khóa luận tốt nghiệp chuyên ngành khoa học, điều tra thực trạng, phân tích số liệu, đề xuất

• Đề tài: Dịch Máy Mạng Neural Anh-Việt Sử Dụng Đồ Thị Tri Thức

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI ĐẦU
• 1. CHƯƠNG MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn
• 1.6. Cấu trúc của khóa luận
• 2. CHƯƠNG 1: TỔNG QUAN NGHIÊN CỨU
• 2.1. Tổng quan
• 2.2. Các phương pháp tiếp cận dịch máy
• 2.2.1. Dịch máy dựa trên quy tắc
• 2.2.2. Dịch máy dựa trên ví dụ
• 3. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 3.1. Mô hình Sequence
• 3.2. Mô hình Sequence-to-Sequence với cơ chế chú ý
• 3.3. Mô hình Transformer
• 3.4. Mô hình BERT
• 3.5. Phương pháp nhúng đồ thị tri thức
• 4. CHƯƠNG 3: PHƯƠNG PHÁP ĐỀ XUẤT
• 4.1. Tổng quan phương pháp
• 4.2. Xử lý ngữ liệu
• 4.2.1. Tỷ lệ nghiệt ngữ nền
• 4.2.2. Xử lý ngữ tri thức
• 4.3. Dịch máy mạng neural Anh-Việt kết hợp đồ thị tri thức mô hình
• 4.3.1. Nhận dạng thực thể
• 4.3.2. Tích hợp đồ thị tri thức vào dịch máy
• 4.3.3. Mô hình dịch máy mạng neural
• 5. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. Cài đặt môi trường thực nghiệm
• 5.2. Thiết bị, ngôn ngữ lập trình
• 5.3. Cấu hình huấn luyện
• 5.4. Phương thức đánh giá
• 5.5. Kết quả thực nghiệm
• 5.6. Đánh giá và phân tích
• 5.7. Đánh giá mô hình khi có thức
• 5.8. Phân tích ảnh hưởng độ dài câu lên hiệu suất
• 6. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết luận
• 6.2. Ý nghĩa về mặt học thuật
• 6.3. Ý nghĩa về mặt thực tiễn
• 6.4. Hướng phát triển trong tương lai
• TÀI LIỆU THAM KHẢO
• DANH MỤC CHỮ VIẾT TẮT
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH ẢNH

Tóm tắt

I. Toàn cảnh Dịch máy Mạng Neural tích hợp Đồ thị Tri thức

Trong bối cảnh toàn cầu hóa, nhu cầu dịch thuật nhanh chóng và chính xác ngày càng trở nên cấp thiết. Dịch máy Mạng Neural (NMT), hay còn gọi là dịch máy thần kinh, đã tạo ra một cuộc cách mạng, vượt qua các phương pháp dịch máy thống kê (SMT) truyền thống nhờ khả năng nắm bắt ngữ cảnh và tạo ra các bản dịch tự nhiên hơn. Các mô hình NMT hiện đại, đặc biệt là Mô hình Transformer với cơ chế Attention, đã đạt được những thành tựu ấn tượng. Tuy nhiên, hiệu suất của chúng phụ thuộc rất lớn vào khối lượng dữ liệu song ngữ khổng lồ. Một hạn chế cố hữu của NMT là khả năng xử lý các từ vựng hiếm, đặc biệt là dịch thuật ngữ và tên riêng – những thực thể thường không có trong kho dữ liệu huấn luyện. Điều này dẫn đến các bản dịch sai lệch, làm giảm độ chính xác ngữ nghĩa và trải nghiệm người dùng. Để giải quyết thách thức này, một hướng tiếp cận đột phá đã ra đời: tích hợp Đồ thị Tri thức (Knowledge Graph - KG) vào quá trình dịch máy. Đồ thị Tri thức là một mạng lưới dữ liệu có cấu trúc, biểu diễn các thực thể trong thế giới thực và mối quan hệ giữa chúng. Việc tích hợp đồ thị tri thức vào NMT hứa hẹn sẽ cung cấp kiến thức nền cần thiết, giúp mô hình hiểu sâu hơn về các thực thể, từ đó cải thiện chất lượng dịch thuật, đặc biệt là với các cặp ngôn ngữ ít tài nguyên như Anh-Việt. Nghiên cứu này tập trung vào việc xây dựng một hệ thống dịch Anh-Việt tiên tiến, tận dụng sức mạnh của Knowledge-aware NMT để vượt qua các rào cản của mô hình truyền thống.

1.1. Sự phát triển từ SMT đến Dịch máy Mạng Neural NMT

Lịch sử dịch máy đã trải qua nhiều giai đoạn, từ dịch dựa trên quy tắc (RBMT) đến dịch máy thống kê (SMT). SMT dựa vào việc phân tích các kho ngữ liệu song ngữ lớn để học các mô hình xác suất. Tuy nhiên, SMT thường dịch theo từng cụm từ, dẫn đến các bản dịch thiếu mạch lạc và tự nhiên. Sự ra đời của Dịch máy Mạng Neural (NMT) đã thay đổi hoàn toàn cuộc chơi. Các mô hình NMT, như mô hình sequence-to-sequence, xử lý toàn bộ câu nguồn như một thể thống nhất thông qua kiến trúc bộ mã hóa - giải mã (Encoder-Decoder). Điều này cho phép mô hình nắm bắt được các phụ thuộc ngữ nghĩa xa, tạo ra các bản dịch trôi chảy và chính xác hơn hẳn. Các kiến trúc như LSTM, GRU, và đặc biệt là Mô hình Transformer đã liên tục cải thiện chất lượng dịch máy, đưa NMT trở thành tiêu chuẩn vàng trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP).

1.2. Vai trò của Đồ thị Tri thức Knowledge Graph trong NLP

Một Đồ thị Tri thức (Knowledge Graph - KG) là một cơ sở tri thức (Knowledge Base) biểu diễn các thực thể (như người, địa điểm, sự kiện) và mối quan hệ ngữ nghĩa giữa chúng dưới dạng các bộ ba (head, relation, tail). Ví dụ: (Hà Nội, là_thủ_đô_của, Việt Nam). Trong lĩnh vực NLP tiếng Việt và quốc tế, KG đóng vai trò như một bộ não bên ngoài, cung cấp kiến thức có cấu trúc mà các mô hình ngôn ngữ khó có thể học được từ văn bản thuần túy. Việc ứng dụng KG giúp giải quyết các vấn đề như nhập nhằng từ ngữ, suy luận logic và trả lời câu hỏi phức tạp. Bằng cách biểu diễn tri thức dưới dạng vector thông qua các kỹ thuật như Graph embeddings, các mô hình học máy có thể dễ dàng tiếp thu và tận dụng nguồn kiến thức quý giá này, mở ra tiềm năng lớn cho các hệ thống AI thông minh hơn.

II. Vén màn thách thức của Dịch máy Mạng Neural truyền thống

Mặc dù Dịch máy Mạng Neural (NMT) đã đạt được thành công vượt trội, các mô hình này vẫn đối mặt với những thách thức đáng kể, đặc biệt là khi xử lý các cặp ngôn ngữ có nguồn lực thấp như Anh-Việt. Thách thức lớn nhất đến từ sự khan hiếm dữ liệu huấn luyện song ngữ chất lượng cao. Các mô hình NMT, đặc biệt là các kiến trúc phức tạp như Mô hình Transformer, đòi hỏi hàng triệu cặp câu để có thể học được các quy luật dịch thuật một cách hiệu quả. Một vấn đề nghiêm trọng khác là việc xử lý các từ ngoài từ vựng (Out-of-Vocabulary - OOV), chủ yếu là các thực thể và thuật ngữ chuyên ngành. Khi gặp một tên riêng hoặc một thuật ngữ kỹ thuật chưa từng thấy, mô hình NMT thường dịch sai hoặc giữ nguyên từ gốc, làm giảm đáng kể độ chính xác ngữ nghĩa của bản dịch. Tài liệu nghiên cứu gốc nhấn mạnh rằng: "sự khan hiếm, các từ không có từ vựng, chủ yếu là các thực thể và biểu thức thuật ngữ, đặt ra một thách thức khó khăn cho các hệ thống Dịch máy mạng neural". Hơn nữa, các mô hình NMT truyền thống thường gặp khó khăn trong việc duy trì sự nhất quán khi dịch các văn bản dài, vì chúng chỉ dựa vào ngữ cảnh cục bộ của câu hiện tại. Việc thiếu kiến thức nền về thế giới thực khiến mô hình không thể suy luận và giải quyết các trường hợp mơ hồ về nghĩa, dẫn đến các bản dịch có thể đúng về mặt ngữ pháp nhưng sai về mặt logic và ngữ nghĩa.

2.1. Vấn đề từ hiếm Rare Words và tên riêng trong dịch thuật

Các từ hiếm, tên riêng, và thuật ngữ chuyên ngành là gót chân Achilles của nhiều hệ thống dịch Anh-Việt. Do tần suất xuất hiện thấp trong kho dữ liệu huấn luyện, các Word embeddings cho những từ này thường không được tối ưu, dẫn đến việc biểu diễn ngữ nghĩa không chính xác. Điều này đặc biệt problemat khi dịch thuật ngữ và tên riêng. Một mô hình NMT có thể dịch đúng câu "Apple released a new phone" nhưng lại gặp khó khăn với câu "Apple Inc. is headquartered in Cupertino". Việc thiếu kiến thức về "Apple Inc." là một công ty và "Cupertino" là một địa danh khiến mô hình dễ tạo ra các bản dịch vô nghĩa. Đây là lúc tích hợp đồ thị tri thức trở nên vô giá, vì nó cung cấp mối liên kết rõ ràng giữa các thực thể này.

2.2. Hạn chế về suy luận và kiến thức nền của mô hình NMT

Các mô hình Dịch máy Mạng Neural về bản chất là những cỗ máy học mẫu xác suất từ dữ liệu. Chúng không thực sự "hiểu" được thế giới. Hạn chế này thể hiện rõ khi cần suy luận dựa trên kiến thức nền. Ví dụ, để dịch chính xác câu "The President flew to Washington", mô hình cần biết "Washington" có thể ám chỉ cả một tiểu bang và thủ đô D.C. của Hoa Kỳ. Một Đồ thị Tri thức (KG) có thể cung cấp ngữ cảnh này, giúp mô hình đưa ra lựa chọn dịch thuật phù hợp hơn. Nếu không có nguồn kiến thức ngoài này, NMT chỉ có thể dựa vào các mẫu câu tương tự trong dữ liệu huấn luyện, vốn không thể bao quát hết mọi tình huống trong thực tế. Điều này làm nổi bật sự cần thiết của các mô hình Knowledge-aware NMT.

III. Hướng dẫn tích hợp Đồ thị Tri thức vào Dịch máy Mạng Neural

Phương pháp đề xuất trong nghiên cứu này là một quy trình gồm nhiều bước nhằm tích hợp đồ thị tri thức vào hệ thống dịch Anh-Việt một cách hiệu quả. Mục tiêu cốt lõi là làm giàu ngữ nghĩa cho các thực thể được xác định trong câu nguồn trước khi đưa vào mô hình dịch. Quá trình này bắt đầu bằng việc tiền xử lý cả bộ dữ liệu song ngữ và cơ sở tri thức. Dữ liệu song ngữ được làm sạch, chuẩn hóa và token hóa bằng kỹ thuật Byte Pair Encoding (BPE) để xử lý các từ hiếm. Song song đó, Đồ thị Tri thức (ví dụ YAGO, WN18) cũng được xử lý để sẵn sàng cho việc truy vấn. Bước đột phá của phương pháp này là một quy trình hai giai đoạn: Nhận dạng thực thể và Nhúng tri thức. Đầu tiên, một mô hình Nhận dạng Thực thể có tên (Named Entity Recognition - NER) được sử dụng để quét câu nguồn và xác định các thực thể quan trọng. Sau đó, các thực thể này được dùng để truy vấn Knowledge Graph (KG), trích xuất các bộ ba tri thức liên quan. Các thông tin tri thức này, bao gồm các mối quan hệ và các thực thể liên kết, được chuyển đổi thành các vector nhúng (embeddings) và tích hợp trực tiếp vào biểu diễn của câu nguồn. Quá trình này giúp mô hình NMT "nhìn thấy" không chỉ từ ngữ mà còn cả mạng lưới tri thức ngữ nghĩa đằng sau chúng, từ đó cải thiện chất lượng dịch máy.

3.1. Nguyên tắc nhận dạng thực thể NER làm tiền đề

Bước đầu tiên và quan trọng nhất trong việc kết nối văn bản với Đồ thị Tri thức là Nhận dạng Thực thể có tên (NER). NER là một tác vụ trong Xử lý ngôn ngữ tự nhiên (NLP) nhằm xác định và phân loại các thực thể như tên người, tổ chức, địa điểm trong một đoạn văn bản. Trong khuôn khổ của phương pháp này, một mô hình NER hiệu suất cao được áp dụng lên câu nguồn (tiếng Anh). Kết quả là một danh sách các thực thể đã được định danh. Ví dụ, trong câu "Mr. Trump flew from New York to Washington", NER sẽ xác định "Mr. Trump" là PERSON, "New York" và "Washington" là LOCATION. Các thực thể này chính là "chìa khóa" để mở cánh cửa vào kho biểu diễn tri thức của KG.

3.2. Truy vấn và nhúng tri thức bằng thuật toán TransE

Sau khi có danh sách thực thể từ NER, bước tiếp theo là truy vấn Đồ thị Tri thức để lấy thông tin liên quan. Mỗi thực thể được dùng để tìm các bộ ba (head, relation, tail) mà nó tham gia. Ví dụ, với thực thể "New York", KG có thể trả về các bộ ba như (New York, is_in_country, USA). Để mô hình NMT có thể hiểu được thông tin này, các thực thể và quan hệ được nhúng vào một không gian vector chiều thấp bằng thuật toán TransE. TransE học cách biểu diễn tri thức sao cho vector(head) + vector(relation) ≈ vector(tail). Các vector tri thức này sau đó được tích hợp vào các Word embeddings của các từ tương ứng trong câu nguồn. Quá trình này làm giàu biểu diễn đầu vào, cung cấp cho Mô hình Transformer một ngữ cảnh sâu sắc hơn để tạo ra bản dịch.

IV. Phương pháp làm giàu ngữ nghĩa cho Dịch máy với BERT và KG

Để tối ưu hóa việc tận dụng tri thức, nghiên cứu đã lựa chọn một kiến trúc nền tảng mạnh mẽ là BERT-NMT, một sự kết hợp giữa mô hình BERT và kiến trúc Transformer tiêu chuẩn. Trong kiến trúc này, mô hình BERT đã được huấn luyện trước (pre-trained) được sử dụng làm bộ mã hóa (encoder). BERT, với khả năng học biểu diễn tri thức hai chiều, cung cấp một vector ngữ cảnh cực kỳ phong phú cho từng từ trong câu nguồn. Bằng cách sử dụng BERT, mô hình không chỉ hiểu nghĩa của một từ mà còn hiểu vai trò của nó trong mối quan hệ với toàn bộ câu. Sau khi câu nguồn đã được làm giàu bằng thông tin từ Đồ thị Tri thức (Knowledge Graph - KG) như đã mô tả ở phần trước, nó sẽ được đưa vào bộ mã hóa BERT. Bộ giải mã (decoder) vẫn giữ nguyên kiến trúc của Mô hình Transformer tiêu chuẩn, sử dụng cơ chế Attention và self-attention để tạo ra câu dịch trong ngôn ngữ đích. Sự kết hợp giữa tri thức có cấu trúc từ KG và tri thức ngôn ngữ sâu rộng từ BERT tạo ra một hiệu ứng cộng hưởng mạnh mẽ. Mô hình kết quả, được gọi là Bert-NMT+KG, có khả năng xử lý các trường hợp dịch khó, đặc biệt là các câu chứa nhiều thực thể và thuật ngữ, qua đó cải thiện chất lượng dịch máy một cách đáng kể. Toàn bộ hệ thống được tinh chỉnh (fine-tuned) đồng thời trên bộ dữ liệu dịch Anh-Việt, đảm bảo cả mô-đun tri thức và mô-đun dịch thuật hoạt động hài hòa với nhau.

4.1. Kiến trúc BERT NMT làm nền tảng cho hệ thống dịch

Mô hình BERT-NMT kế thừa những ưu điểm vượt trội của cả BERT và Transformer. Theo nghiên cứu "Incorporating BERT into Neural Machine Translation" của Zhu và cộng sự, việc sử dụng BERT làm encoder giúp mô hình khởi đầu với một sự am hiểu sâu sắc về ngôn ngữ. Thay vì phải học từ đầu, mô hình tận dụng được hàng tỷ tham số đã được tối ưu trên kho dữ liệu khổng lồ. Điều này đặc biệt hữu ích cho các cặp ngôn ngữ ít tài nguyên như trong NLP tiếng Việt. Kiến trúc này đã chứng minh hiệu quả trong việc nắm bắt các mối quan hệ ngữ nghĩa phức tạp, tạo ra một nền tảng vững chắc để tích hợp thêm các nguồn tri thức bên ngoài.

4.2. Mạng nơ ron đồ thị GNN và tiềm năng tương lai

Mặc dù phương pháp hiện tại tích hợp tri thức bằng cách cộng trực tiếp các vector nhúng, một hướng phát triển đầy hứa hẹn trong tương lai là sử dụng Mạng nơ-ron đồ thị (GNN). GNN là một lớp các mạng nơ-ron được thiết kế đặc biệt để xử lý dữ liệu có cấu trúc đồ thị. Thay vì chỉ lấy thông tin từ các bộ ba trực tiếp, một GNN có thể lan truyền thông tin qua nhiều bước trên Đồ thị Tri thức, thu thập một ngữ cảnh tri thức rộng hơn và phong phú hơn cho mỗi thực thể. Việc áp dụng GNN để mã hóa KG trước khi tích hợp vào NMT có thể giúp mô hình hiểu được các mối quan hệ bắc cầu và suy luận phức tạp hơn, mở ra một kỷ nguyên mới cho các hệ thống Knowledge-aware NMT.

V. Bằng chứng hiệu quả Đánh giá Dịch máy NMT với Đồ thị Tri thức

Để chứng minh tính hiệu quả của phương pháp đề xuất, các thực nghiệm chi tiết đã được tiến hành trên bộ dữ liệu IWSLT'15 Anh-Việt. Chất lượng bản dịch được đánh giá bằng thước đo tiêu chuẩn Điểm BLEU (Bilingual Evaluation Understudy). Mô hình đề xuất (Bert-NMT+KG) được so sánh với các mô hình nền mạnh mẽ khác bao gồm Transformer cơ bản, ConvS2S, và Bert-NMT (không tích hợp KG). Kết quả thực nghiệm cho thấy một sự cải thiện rõ rệt và nhất quán. Theo bảng 4.2 của tài liệu nghiên cứu, mô hình Bert-NMT không có KG đạt điểm BLEU là 26.99. Tuy nhiên, khi tích hợp đồ thị tri thức, hiệu suất đã tăng vọt. Cụ thể, mô hình Bert-NMT kết hợp với Knowledge Graph YAGO đạt 28.05 điểm BLEU. Đặc biệt ấn tượng, khi sử dụng KG WN18, mô hình đạt tới 28.59 điểm BLEU, tăng 1.6 điểm so với phiên bản gốc. Sự cải thiện này khẳng định rằng việc cung cấp kiến thức nền có cấu trúc giúp mô hình cải thiện chất lượng dịch máy một cách hiệu quả, đặc biệt trong việc xử lý các thực thể. Phân tích sâu hơn về ảnh hưởng của độ dài câu cũng cho thấy mô hình hoạt động tốt nhất với các câu ngắn, nơi các thực thể thường đóng vai trò then chốt.

5.1. Phân tích điểm BLEU trên bộ dữ liệu IWSLT 15 Anh Việt

Điểm số BLEU là chỉ số quan trọng để định lượng chất lượng dịch. Việc mô hình Bert-NMT+KG (WN18) đạt 28.59 điểm BLEU trên bộ dữ liệu IWSLT'15 Anh-Việt là một kết quả rất đáng khích lệ. Nó không chỉ vượt qua mô hình Transformer cơ bản (24.71 điểm) một khoảng cách lớn mà còn vượt qua cả phiên bản Bert-NMT không tích hợp KG. Điều này chứng tỏ rằng lợi ích từ việc tích hợp đồ thị tri thức là thực tế và có thể đo lường được. Độ chính xác ngữ nghĩa được nâng cao vì mô hình giờ đây có thể dịch các tên riêng và thuật ngữ một cách nhất quán và chính xác hơn dựa trên các mối quan hệ được định nghĩa trong KG.

5.2. So sánh hiệu quả giữa KG YAGO và WN18 trong dịch thuật

Một phát hiện thú vị từ thực nghiệm là sự khác biệt về hiệu suất khi sử dụng hai cơ sở tri thức khác nhau: YAGO và WN18. Mô hình sử dụng WN18 (28.59 BLEU) cho kết quả cao hơn một chút so với YAGO (28.05 BLEU). Điều này có thể được giải thích bởi bản chất của hai KG này. YAGO là một ontology khổng lồ chứa kiến thức về thế giới thực, trong khi WN18 tập trung vào các mối quan hệ ngữ nghĩa và từ vựng trong ngôn ngữ (ví dụ: từ đồng nghĩa, từ trái nghĩa). Đối với tác vụ dịch thuật, việc hiểu các mối quan hệ từ vựng của WN18 có thể mang lại lợi ích trực tiếp hơn trong việc lựa chọn từ ngữ phù hợp. Kết quả này cho thấy việc lựa chọn Đồ thị Tri thức phù hợp với tác vụ cụ thể là một yếu tố quan trọng để tối ưu hóa hiệu suất.

VI. Tương lai của Dịch máy Mạng Neural và vai trò của Đồ thị Tri thức

Nghiên cứu về Dịch máy Mạng Neural Anh-Việt Sử Dụng Đồ Thị Tri Thức đã mở ra một hướng đi đầy tiềm năng, khẳng định rằng tương lai của dịch máy không chỉ nằm ở các mô hình lớn hơn mà còn ở khả năng tích hợp và suy luận từ các nguồn kiến thức bên ngoài. Việc kết hợp thành công Đồ thị Tri thức (Knowledge Graph) đã giải quyết một phần các hạn chế cố hữu của NMT, đặc biệt là vấn đề dịch thuật ngữ và tên riêng, qua đó nâng cao độ chính xác ngữ nghĩa. Hướng phát triển trong tương lai sẽ tập trung vào việc xây dựng các phương pháp tích hợp tinh vi hơn. Thay vì chỉ làm giàu biểu diễn đầu vào, các kiến trúc mới có thể cho phép mô hình tương tác động với KG trong suốt quá trình giải mã, cho phép nó truy vấn và suy luận "theo yêu cầu". Hơn nữa, việc phát triển các KG song ngữ hoặc đa ngôn ngữ sẽ là một bước đột phá, giúp mô hình ánh xạ trực tiếp các khái niệm giữa các ngôn ngữ thay vì chỉ dựa vào KG của ngôn ngữ nguồn. Các kỹ thuật như Mạng nơ-ron đồ thị (GNN) sẽ đóng vai trò trung tâm trong việc mô hình hóa các suy luận phức tạp trên đồ thị. Cuối cùng, việc ứng dụng phương pháp này cho các lĩnh vực chuyên ngành hẹp như y tế, pháp luật, kỹ thuật sẽ mang lại giá trị thực tiễn to lớn, tạo ra các công cụ dịch thuật chuyên biệt, đáng tin cậy và thực sự thông minh.

6.1. Hướng phát triển các mô hình Knowledge aware NMT

Các mô hình Knowledge-aware NMT trong tương lai cần vượt qua việc chỉ "biết" các sự kiện riêng lẻ. Chúng cần có khả năng suy luận trên chuỗi các mối quan hệ trong Đồ thị Tri thức. Ví dụ, nếu KG chứa thông tin (A, là con của, B) và (B, sống tại, C), mô hình nên có khả năng suy luận rằng A có thể có liên quan đến địa điểm C. Việc phát triển các cơ chế attention có cấu trúc đồ thị (graph-structured attention) hoặc tích hợp các mô-đun bộ nhớ có khả năng truy cập KG sẽ là những hướng nghiên cứu quan trọng để hiện thực hóa khả năng này. Điều này sẽ giúp các hệ thống dịch Anh-Việt xử lý các câu phức tạp và các văn bản yêu cầu sự hiểu biết sâu sắc.

6.2. Thách thức xây dựng Đồ thị Tri thức cho NLP tiếng Việt

Một trong những rào cản lớn nhất cho việc áp dụng rộng rãi phương pháp này là sự thiếu hụt các Đồ thị Tri thức chất lượng cao và quy mô lớn dành riêng cho tiếng Việt. Hầu hết các KG nổi tiếng như DBpedia, YAGO đều tập trung chủ yếu vào tiếng Anh. Do đó, một hướng đi cấp thiết là xây dựng và làm giàu các cơ sở tri thức cho NLP tiếng Việt. Điều này đòi hỏi nỗ lực chung từ cộng đồng nghiên cứu trong việc trích xuất thông tin tự động từ các nguồn văn bản tiếng Việt, liên kết thực thể và chuẩn hóa dữ liệu. Một KG tiếng Việt mạnh mẽ không chỉ thúc đẩy lĩnh vực dịch máy mà còn là nền tảng cho nhiều ứng dụng AI khác như trợ lý ảo, tìm kiếm thông minh và phân tích dữ liệu.

Trích đoạn nội dung tài liệu

Chương I: Tổng quan nghiên cứu Chương này giới thiệu tổng quan trình hình nghiên cứu trong lĩnh vực địch máy, giới thiệu về các tập dữ liệu tiêu chuẩn đang được các nhà nghiên cứu sử dụng, trình bảy các. phương pháp học sâu vả những công trình tiêu biễu tương ứng với tìng phương pháp Chương 2: Cơ sở lí thuyết Chương này chúng lôi sẽ trình bảy lẫn lượt tổng quan các phương pháp dịch máy Đồng thời trong từng phương pháp, chúng tôi cũng nêu ra khái niệm cũng như tu-khuyẾt điểm về một số thuật toán, kiến trúc mô hình tiêu biểu để làm cơ sở chọn lựa mô hình phù hợp với Chương 3: Phương pháp đề xuất Trình bây chỉ iết phương pháp mà chúng tôi sử dụng trong dịch máy Anh: Việt Phương pháp chính là tich hợp đồ thịt thức vào mô hình dịch máy mang neural Chương 4: Thực nghiệm và đánh giá. Chương này so sánh và đánh giá kết quảđạt được khi thục hiện chương trình với một số pre-trained model trên tập ngữ liệu Anh-Việt và các tập ngữ liệu song ngữ khác. Chương 5: Kết luận và hướng phát triển “Tổng kết lại kết quả đã đạt được và chưa đạt được sau quá trình nghiên cứu, tiền hành.

Từ đó nêu lên những hướng nghiên cứu và phát triển tiếp theo trong tương lai 48 nâng cao hiệu suất địch thuật cũng như để khắc phục các hạn chế hiện ti. CHƯƠNG ‘ONG QUAN NGHIEN 1-1 Tổng quan a tit Dịch may (Machine Translation) li mt bai ton quan trong trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), với nhiệm vụ chính là đạy cho máy tính có khả năng học và địch tự động một văn bản từ ngôn ngữ nguồn sang ngôn ngữ dịch mà không cần sự can thiệp của con người vào quá trình dịch. Đây là một thách thức lớn bởi sự đa dạng của các ngôn ngữ: tên thể giới, Hiện nay có hơn 7000 ngôn ngữ khe nhau đang được sử đụng, ngôn ngữ đều có cấu trúc ngữ pháp, ngữ nghĩa và cách biểu đạt riêng biệt. Khả năng dich thuật giữa sắc ngôn ngữ này một cách chính xác và tồi chảy là mục tiêu then chốt của dịch mấy.

Đạt được điều này sẽ tạo nên những đột phá to lớn, giúp con người vượt qua ào củn ngôn ngữ, thie day sy giao lưu văn hỏa và hợp tác trên phạm vỉ toàn cầu. Ngoài ra, địch máy còn mở. xa nhiều ứng dụng thực ế quan trọng khác như dịch tài liệu, phụ đề phim, website đa ngôn ngũ, hỗ trợ giao tiếp qua biên dịch giọng nói, Do tim quan trọng to lớn đó, dịch mấy luôn được coi là một trong những lĩnh vực nghiên cứu trọng điểm và được đầu tư mạnh mẽ nhân lực cũng như tài chinh trong NLP. "Nhiễu phương pháp tiếp cặn khác nhau đã được đề xuất và phát iển qua các th kỹ khác nhau, từ dịch mấy dựa trên quy tắc (RBMT), dịch máy thống kế (SMT) đến dịch may mang eural (NMT) phổ biết ngày nay, 12 Cúc phương pháp tếp cận địch máy Mặc dù địch máy đã được nghiên cứu và ra đờ năm thập niên 50 của thể kỹ trước, nhưng ban đầu các nhà nghiên cứu đã tận dụng từ điễn và sử dụn: Wy được tạo ra bởi chuyên gia để sắc định nghĩa chính xác của các t.

Tuy nhiễn, cách tiếp cận nảy gặp hạn chế li không thể phát triển một hệ thông luật hoàn chinh cho tắt cả các ngôn ngữ có sẵn. Đến những năm 1990 mô hình địch máy thống kê xuất hiện, mô hình này sử đụng một kho ngữ liệu song ngữ được thu thập bởi các chuyên gia ngôn ngữ trong quá trình huần luyện. Tuy nhiên, hiệu suất của các hệ thống địch máy thống kẻ đòi hỏi nhiễu vào cặp ngôn ngữ cu thế mã chúng được áp dụng [3], [4] RBMT SMT NMT | ! h 1.1 Quá trình phát triển địch máy 1.1 Dịch máy dựa trên quy tắc Dịch máy dựa trên quy tắc (RBMT) là hệ thống địch máy đâu tiên và dựa trên thông tin ngôn ngữ về ngôn ngữ nguồn và ngôn ngữ đích về cơ bản được lẫy từ từ điển và ngữ pháp bao gồm các quy tắc về ngữ nghĩa, hình thấi và củ pháp chính của từng ngôn ngữ tương ứng [5]. Nguyên lý hoạt động của nó dựa trên việc sử dụng các quy tắc ngôn ngữ học sự thể để bigu diễn kiến thức về ngôn ngữ nguồn và ngôn ngữ địch.

Quả trình dịch máy RBMT diễn ra theo từng bước sau: + Phân tích ngôn ngờ nguồn: Quá tình này bắt đầu với một văn bản đầu vào, được tiền xử lý bằng cách tích từ, ấn nhân từ loại và phân đoạn câu. Sau đó, vấn bản được phân tích cú pháp đẻ xác định các thành phần câu và mỗi quan hệ cú pháp giữa chúng, dựa trên suy ắc ngữ pháp của ngôn ngữ nguồn. Tiếp theo, phân ích ngữ nghĩa được thực hiện để xác định ý nghĩa của các từ và cụm từ, dựa trên từ điển ngữ nghĩa và quy tắc ngữ nghĩa của ngôn ngữ nguồn. Kết qua là một biều diễn ngữ nghĩa-cú pháp độc lập với ngôn ngữ nguồn.

+ Chuyén tai (Transfer): Bigu didn gtr nghia-ci phap của ngôn ngữ nguồn được chuyên đổi sang biểu diễn trung gian không phụ thuộc ngôn ngữ bằng cách áp dụng quy túc chuyỂn tải ngữ nghĩa và cả pháp, Quy tắc chuyển tả này xử lý các hiện tượng ngôn ngữ khác nhau giữa ngôn ngữ nguồn và ngôn ngữ đích như trật tự từ, đảo ngữ, số [sổ nhu, + Tổng hợp ngôn ngữ đích (Target Language Generaion): Từ biễu diễn trung gian, suy tắc ngữ pháp và ngữ nghĩa của ngôn ngữ đích được ấp dụng để ạo ra biểu diễn ngữ nghĩa-cú pháp của ngôn ngữ đích. Biểu diễn này sau đó được sử dụng để tổng hợp văn bản đầu m bằng ngôn ngữ đích thông qua các bước như xây dựng cụm từ và diễn ngữ hoá các thành phần đầu ra cuối cũng 'Có ba phương pháp tiếp cận dịch máy dựa trên quy tắc sau: phương pháp trực tiếp. (Đirset Method), phương pháp chuyển đổi (Transisr Method) và phương pháp Inleringua Phương pháp trực tiếp: Là phương pháp dịch từng từ rong văn bản nguồn thành rõ rằng nhưngcl cần một từ trong văn bản đích. Nó đòi hỏi phân tích hình thái một cách chút phân tích củ pháp và ngữ nghĩa Phương pháp chuyển đối: Đây là phương pháp phỏ biến nhất trong RBMT, Trong phương phip này, ngôn ngữ nguồn được chuyển đổi thành một biểu diễn trừu tượng, ít ngôn ngữ cụ thể hơn, Văn bản được phân ích ở cấp độ ngữ pháp và ngữ nghĩa tong ngôn "ngữ nguồn, sau đó được chuyỂn đổi sang một biểu diễn trung gian không phụ thuộc ngôn neữ.

Cuỗi cùng, một biễu diễn tương đương được tạo ra cho ngôn ngữ đích bằng cách sử cđụng từ điễn song ngữ và các quy tắc ngữ pháp, Phương pháp Iterlingua: Trong ngôn ngữ nguồn Intedingua được chuyển đổi thành ngôn ngữ trung gian, độc lập với bat ky ngôn ngữ nảo liên quan đến dịch thuật. Bán dịch được địch cho ngôn ngữ đích sau đô được lấy từ ngôn ngữ trung giam Phương pháp dịch máy dựa trên luật (RBMT) có một số ưu điểm đáng kể, Nếu bộ luật được xây dựng tốt, RBMT có thể tạo ra ban dich chính xác và trung thực về mặt ngữ pháp. Phương pháp này cũng phủ hợp để dịch những văn bản có cấu trúc và từ vựng giới hạn như hướng dẫn sử dụng, tải liệu ky thugt (A Survey of Current Paradigms in Machine Translation). Dng thoi, RBMT cho phép kiểm soát tốt quả tình dịch, điều chỉnh và bổ sung luật một cách linh hoạt.

"uy nhiên, RBMT cũng có những hạn chế nhất định. Việc xây dựng một hệ thống RBMT hoàn chỉnh đòi hỏi thời gian đài, các quy tắc thường do nhà ngôn ngữ học phát triển Do vậy hạn chế chính của phương pháp nảy là nó đỏi hỏi rắt nhiều nguồn lực về chuyên mmôn/ chuyên gia (có thểrắt tốn kém) để xây dựng rất ắt nhiều quy tắc và ngoại lẽ, đồng thời nó không khái quất được cho những ngôn ngữ khácj6]. Hệ thẳng chỉ có th dịch tốt những mẫu câu và từ vựng nằm trong tập luật. Những câu quá dài, phức tạp sẽ dễ bị dịch sai, khó xử lý tốt các, óa, ngữ cảnh, ảm ý trong giao tiếp ngôn ngữ.

Chỉ phí xây dựng và duy trì hệ thống cũng cao. Mỗi cặp ngôn ngữ cẳn có một hệ thống luật riêng. Dịch máy dựa trên ví dụ Dịch máy dựa trên ví dụ (Example-Based Machine Translation - EBMT) là một phương pháp địch máy được giới thiệu lần đầu tiên vào năm 1984 bởi Makoto Nagao từ ai học Kyoto, Nhật Bản [7]. Dịch máy dựa trên ví dụ (EBMT) là một phương pháp dịch máy đồi hỏi nhiều công đoạn tiền xử lý đữ liệu như làm sạch, chuẩn hóa vả gắn nhãn thông tin ngữ pháp cho các cặp câu trong cơ sở dữ liệu song ngữ.

Điều này giúp cải thiện hiệu “quả tìm kiếm và chuyển đổi trong quá trình dịch, Có nhiều phương pháp tìm kiếm các ví cdụ tương tự như sử dụng độ đo tương tự chị +okhốp mẫu, hoặc kết hợp với các kỹ thật ích xuất đặc trưng ngôn ngữ. Bên cạnh đó, việc chuyển đổi vả tá tạo câu địch cũng đồi hỏi phải giải quyết các ấn để như điều chỉnh thứ tự từ, thay đổi hình thai từ và đảm báo. tính đúng đắn ngữ pháp bằng các kỹ thuật như quy tắc chuyển đổi, mô h th ngôn ngũ, và các thuật toán tối ưu hóa. Ý tưởng cốt lõi của EBMT là sử dụng một cơ sở dữ liệu song ngữ: gằm các cặp câu đã được dịch trước đó để dịch một câu mới chư từng gặp.

Cách tiếp cận của EBMT gồm ba bước chính: ~ So khớp (Matching): Trong bước so khớp, hệ thống EBMT sẽ ign hành tìm kiểm trong cơ sở dữ liệu song ngữ để xác định những cặp câu có độ trơng tự cao nhất với câu cẩn dịch. Quá trình tìm kiểm này dựa trên việc so sánh các đặc trưng ngôn ngữ như tử vựng, cm từ và cẫu trúc cú pháp giữa câu đầu vào và các câu rong cơ sở dữ liệu. Hệ thẳng sẽ sử dụng các thuật toán đo độ tương tự, chẳng hạn như độ đo cosin hoặc khoảng cách Levenshiein, để tỉnh toán mức độ trùng khớp giữa các câu. Kết quả của bước này là một tập hợp các cặp câu song ngữ có liên quan và tương tự nhất với câu edn địch.

~ Chuyển đổi (Alignment): 6 bude nay he théng EBMT sẽ phân ích và xác định sự tương ứng giữa cúc cụm từ, thành phần trong câu nguồn và câu đích của các cặp ví dụ đã tim được ở bước trước. Quả trình này nhằm thiết lập một ánh xạ giữa các phần tử của hai "ngôn ngữ, cho phép hệ thống hiểu được cách các cụm từ và thành phần trong câu nguồn được biễu đạt tương ứng trong câu địch.