Nâng cao chất lượng hệ thống dịch máy sử dụng mô hình nhúng từ đa ngôn ngữ

Tài liệu nghiên cứu Luận văn enhancing the quality of machine translation system using cross lingual word embedding, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu

• Người hướng dẫn: Ass0. Nguyễn Phú Hùng
• Trường học: Viện Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nâng Cao Chất Lượng Hệ Thống Dịch Máy Sử Dụng Các Mô Hình Nhúng Từ Đa Ngôn Ngữ
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• 1. Iпƚг0duເƚi0п
• 2. Liƚeгaƚuгe гeѵiew
• 2.1. M0ses - aп 0ρeп Sƚaƚisƚiເal MaເҺiпe Tгaпslaƚi0п Sɣsƚem
• 2.2. 0ρeпПMT - aп 0ρeп Пeuгal MaເҺiпe Tгaпslaƚi0п Sɣsƚem
• 2.3. M0п0liпǥual W0гd Emьeddiпǥ M0dels
• 2.4. ເг0ss-Liпǥual W0гd Emьeddiпǥ M0dels
• 3. Usiпǥ ເг0ss-Liпǥual W0гd Emьeddiпǥ M0dels f0г MaເҺiпeTгaпs- laƚi0п Sɣsƚems
• 3.1. EпҺaпເiпǥ ƚҺe qualiƚɣ 0f ΡҺгase-ƚaьle iп SMT Usiпǥ ເг0ss-Liпǥual W0гd Emьeddiпǥ
• 3.1.1. Гeເ0mρuƚiпǥ ΡҺгase-ƚaьle weiǥҺƚs
• 3.1.2. Ǥeпeгaƚiпǥ пew ρҺгase ρaiгs
• 3.2. Addгessiпǥ ƚҺe Uпk̟п0wп W0гd Ρг0ьlem iп ПMT Usiпǥ ເг0ss-Liпǥual W0гd Emьeddiпǥ M0dels
• 4. Eҳpeгimeпƚs aпd ResuƖts
• 4.1. Imρaເƚ 0f EпгiເҺiпǥ ƚҺe ΡҺгase-ƚaьle 0п SMT sɣsƚem
• 4.2. Imρaເƚ 0f Гem0ѵiпǥ ƚҺe Uпk̟п0wп W0гds 0п ПMT sɣsƚem
• 5. ເ0пເlusi0п

Tóm tắt

I. Tổng Quan Về Nâng Cao Dịch Máy Đa Ngôn Ngữ Hiện Nay

Dịch máy đã đạt được những tiến bộ đáng kể, thu hút sự quan tâm lớn từ giới nghiên cứu. Hai phương pháp phổ biến là dịch máy thống kê (SMT) dựa trên cụm từ và dịch máy nơ-ron (NMT). Cả hai đều phụ thuộc vào lượng lớn dữ liệu song ngữ, đòi hỏi nhiều công sức và nguồn lực tài chính. Thiếu dữ liệu song ngữ dẫn đến bảng cụm từ kém chất lượng trong SMT và vấn đề từ không xác định trong NMT. Ngược lại, dữ liệu đơn ngữ lại dễ dàng tiếp cận hơn cho hầu hết các ngôn ngữ. Các mô hình nhúng từ và mô hình nhúng từ đa ngôn ngữ đã xuất hiện để cải thiện chất lượng của nhiều tác vụ trong xử lý ngôn ngữ tự nhiên. Mục tiêu là sử dụng mô hình nhúng từ đa ngôn ngữ để giải quyết các hạn chế trên.

1.1. Giới thiệu về dịch máy thống kê SMT và nơ ron NMT

Dịch máy thống kê (SMT) và dịch máy nơ-ron (NMT) là hai hướng tiếp cận chính trong lĩnh vực dịch máy. SMT sử dụng các mô hình thống kê dựa trên dữ liệu song ngữ lớn để tìm ra bản dịch phù hợp nhất. NMT, ngược lại, sử dụng mạng nơ-ron sâu để học cách dịch trực tiếp từ ngôn ngữ nguồn sang ngôn ngữ đích. NMT thường cho kết quả tốt hơn SMT, nhưng đòi hỏi lượng dữ liệu huấn luyện lớn hơn.

1.2. Tầm quan trọng của dữ liệu song ngữ và đơn ngữ trong dịch máy

Dữ liệu song ngữ đóng vai trò then chốt trong việc huấn luyện các mô hình dịch máy, đặc biệt là SMT. Tuy nhiên, việc thu thập và chuẩn bị dữ liệu song ngữ chất lượng cao thường tốn kém và mất thời gian. Dữ liệu đơn ngữ, mặt khác, dễ dàng tiếp cận hơn và có thể được sử dụng để cải thiện hiệu suất của các mô hình dịch máy thông qua các kỹ thuật như back-translation và data augmentation.

II. Thách Thức Trong Dịch Máy Đa Ngôn Ngữ Hiện Tại Là Gì

Các hệ thống dịch máy hiện đại, đặc biệt là dịch máy nơ-ron, thường gặp khó khăn với các từ không có trong từ vựng huấn luyện (từ không xác định). Điều này dẫn đến việc dịch sai hoặc bỏ sót thông tin quan trọng. Hơn nữa, việc xây dựng bảng cụm từ phong phú cho dịch máy thống kê đòi hỏi lượng lớn dữ liệu song ngữ, gây khó khăn cho các ngôn ngữ ít tài nguyên. Các phương pháp tiếp cận hiện tại để giải quyết những vấn đề này còn nhiều hạn chế, đòi hỏi các giải pháp hiệu quả hơn.

2.1. Vấn đề từ không xác định Unknown Words trong NMT

Một trong những thách thức lớn nhất của dịch máy nơ-ron là xử lý các từ không có trong từ vựng huấn luyện. Các từ này thường được thay thế bằng ký hiệu đặc biệt (UNK), dẫn đến mất mát thông tin và giảm chất lượng bản dịch. Các kỹ thuật như subword segmentation và character-level modeling đã được đề xuất để giảm thiểu ảnh hưởng của vấn đề này.

2.2. Hạn chế về dữ liệu song ngữ cho ngôn ngữ ít tài nguyên

Việc xây dựng các hệ thống dịch máy hiệu quả cho các ngôn ngữ ít tài nguyên gặp nhiều khó khăn do thiếu dữ liệu song ngữ. Các phương pháp như transfer learning và zero-shot translation đang được nghiên cứu để tận dụng kiến thức từ các ngôn ngữ giàu tài nguyên để cải thiện hiệu suất dịch máy cho các ngôn ngữ ít tài nguyên.

2.3. Các phương pháp tiếp cận hiện tại và hạn chế của chúng

Các phương pháp tiếp cận hiện tại để giải quyết vấn đề từ không xác định và thiếu dữ liệu song ngữ bao gồm sử dụng từ điển song ngữ, subword segmentation, transfer learning, và back-translation. Tuy nhiên, mỗi phương pháp đều có những hạn chế riêng. Ví dụ, việc xây dựng từ điển song ngữ đầy đủ tốn kém, và transfer learning có thể không hiệu quả nếu ngôn ngữ nguồn và ngôn ngữ đích quá khác biệt.

III. Cách Sử Dụng Mô Hình Nhúng Từ Đa Ngôn Ngữ Hiệu Quả Nhất

Để giải quyết các vấn đề trên, việc sử dụng mô hình nhúng từ đa ngôn ngữ là một giải pháp tiềm năng. Mô hình nhúng từ đa ngôn ngữ tạo ra biểu diễn vector cho các từ trong nhiều ngôn ngữ khác nhau trong cùng một không gian vector. Điều này cho phép chuyển giao kiến thức giữa các ngôn ngữ và cải thiện hiệu suất dịch máy, đặc biệt là cho các ngôn ngữ ít tài nguyên. Có hai mô hình được đề xuất: một để cải thiện bảng cụm từ trong SMT và một để giải quyết vấn đề từ không xác định trong NMT.

3.1. Tổng quan về mô hình nhúng từ đa ngôn ngữ

Mô hình nhúng từ đa ngôn ngữ là một kỹ thuật quan trọng trong xử lý ngôn ngữ tự nhiên đa ngôn ngữ. Nó tạo ra các biểu diễn vector cho các từ trong nhiều ngôn ngữ khác nhau, sao cho các từ có nghĩa tương tự nhau sẽ có vector gần nhau trong không gian vector. Điều này cho phép các mô hình học hỏi kiến thức từ nhiều ngôn ngữ khác nhau và cải thiện hiệu suất trên các tác vụ đa ngôn ngữ.

3.2. Ứng dụng mô hình nhúng từ đa ngôn ngữ trong SMT và NMT

Mô hình nhúng từ đa ngôn ngữ có thể được sử dụng để cải thiện cả dịch máy thống kê (SMT) và dịch máy nơ-ron (NMT). Trong SMT, nó có thể được sử dụng để cải thiện chất lượng của bảng cụm từ bằng cách tìm các cụm từ tương đương trong các ngôn ngữ khác nhau. Trong NMT, nó có thể được sử dụng để xử lý các từ không xác định bằng cách tìm các từ tương tự trong các ngôn ngữ khác nhau.

3.3. Các phương pháp huấn luyện mô hình nhúng từ đa ngôn ngữ

Có nhiều phương pháp khác nhau để huấn luyện mô hình nhúng từ đa ngôn ngữ, bao gồm sử dụng dữ liệu song ngữ, dữ liệu đơn ngữ, và kết hợp cả hai. Các phương pháp phổ biến bao gồm word alignment, cross-lingual word embeddings, và adversarial training. Việc lựa chọn phương pháp phù hợp phụ thuộc vào lượng dữ liệu có sẵn và yêu cầu cụ thể của tác vụ.

IV. Phương Pháp Cải Thiện Bảng Cụm Từ SMT Với Nhúng Từ Đa Ngôn Ngữ

Mô hình đầu tiên tập trung vào việc cải thiện chất lượng bảng cụm từ trong SMT. Điều này được thực hiện bằng cách tính toán lại trọng số của các cụm từ hiện có và tạo ra các cặp cụm từ mới. Mô hình nhúng từ đa ngôn ngữ được sử dụng để đo độ tương đồng giữa các từ và cụm từ trong các ngôn ngữ khác nhau. Các cụm từ tương tự sẽ được gán trọng số cao hơn, và các cặp cụm từ mới sẽ được tạo ra dựa trên độ tương đồng này.

4.1. Tính toán lại trọng số cụm từ sử dụng nhúng từ đa ngôn ngữ

Trọng số của các cụm từ trong bảng cụm từ có thể được tính toán lại dựa trên độ tương đồng giữa các từ trong cụm từ đó và các từ tương ứng trong ngôn ngữ khác. Mô hình nhúng từ đa ngôn ngữ cung cấp một cách để đo độ tương đồng này. Các cụm từ có độ tương đồng cao sẽ được gán trọng số cao hơn, giúp cải thiện chất lượng bản dịch.

4.2. Tạo cặp cụm từ mới dựa trên biểu diễn vector từ

Các cặp cụm từ mới có thể được tạo ra bằng cách tìm các cụm từ trong các ngôn ngữ khác nhau có biểu diễn vector gần nhau trong không gian vector của mô hình nhúng từ đa ngôn ngữ. Các cặp cụm từ này có thể được thêm vào bảng cụm từ, giúp mở rộng phạm vi dịch và cải thiện khả năng xử lý các cụm từ hiếm gặp.

4.3. Quy trình huấn luyện và kiểm thử mô hình

Quy trình huấn luyện mô hình bao gồm việc huấn luyện mô hình nhúng từ đa ngôn ngữ trên dữ liệu đơn ngữ và dữ liệu song ngữ, sau đó sử dụng mô hình này để tính toán lại trọng số cụm từ và tạo cặp cụm từ mới. Quy trình kiểm thử bao gồm việc đánh giá chất lượng bản dịch của hệ thống SMT sử dụng bảng cụm từ đã được cải thiện, sử dụng các metric đánh giá như BLEU score và METEOR score.

V. Giải Quyết Từ Không Xác Định Trong NMT Bằng Nhúng Từ Đa Ngôn Ngữ

Mô hình thứ hai tập trung vào việc giải quyết vấn đề từ không xác định trong NMT. Thay vì thay thế các từ không xác định bằng ký hiệu UNK, mô hình này sử dụng mô hình nhúng từ đa ngôn ngữ để tìm các từ tương tự trong từ vựng. Từ tương tự nhất sẽ được sử dụng để thay thế từ không xác định, giúp duy trì thông tin và cải thiện chất lượng bản dịch. Phương pháp này đặc biệt hữu ích cho các ngôn ngữ ít tài nguyên.

5.1. Tìm từ tương tự trong từ vựng sử dụng nhúng từ đa ngôn ngữ

Khi gặp một từ không xác định, mô hình nhúng từ đa ngôn ngữ được sử dụng để tìm các từ trong từ vựng có biểu diễn vector gần nhất với từ không xác định đó. Các từ gần nhất được coi là các từ tương tự và có thể được sử dụng để thay thế từ không xác định.

5.2. Thay thế từ không xác định bằng từ tương tự nhất

Sau khi tìm được các từ tương tự, từ tương tự nhất (tức là từ có biểu diễn vector gần nhất) sẽ được sử dụng để thay thế từ không xác định trong câu. Điều này giúp duy trì thông tin và ngữ cảnh của câu, đồng thời cho phép mô hình NMT xử lý các từ không có trong từ vựng huấn luyện.

5.3. Đánh giá hiệu quả của phương pháp trên các bộ dữ liệu khác nhau

Hiệu quả của phương pháp này có thể được đánh giá bằng cách so sánh chất lượng bản dịch của hệ thống NMT khi sử dụng phương pháp này với chất lượng bản dịch khi sử dụng phương pháp thay thế từ không xác định bằng ký hiệu UNK. Các metric đánh giá như BLEU score và METEOR score có thể được sử dụng để so sánh chất lượng bản dịch.

VI. Kết Luận Và Hướng Phát Triển Của Dịch Máy Đa Ngôn Ngữ

Việc sử dụng mô hình nhúng từ đa ngôn ngữ là một hướng đi đầy hứa hẹn để nâng cao chất lượng hệ thống dịch máy, đặc biệt là cho các ngôn ngữ ít tài nguyên. Các mô hình được đề xuất đã chứng minh tiềm năng trong việc cải thiện bảng cụm từ trong SMT và giải quyết vấn đề từ không xác định trong NMT. Trong tương lai, có thể nghiên cứu thêm về các phương pháp huấn luyện mô hình nhúng từ đa ngôn ngữ hiệu quả hơn và ứng dụng chúng vào các kiến trúc NMT phức tạp hơn.

6.1. Tóm tắt các kết quả đạt được

Các kết quả nghiên cứu cho thấy rằng việc sử dụng mô hình nhúng từ đa ngôn ngữ có thể cải thiện đáng kể chất lượng bản dịch của cả hệ thống SMT và NMT. Phương pháp này đặc biệt hiệu quả trong việc xử lý các từ không xác định và cải thiện hiệu suất dịch máy cho các ngôn ngữ ít tài nguyên.

6.2. Hướng nghiên cứu tiếp theo trong lĩnh vực dịch máy đa ngôn ngữ

Các hướng nghiên cứu tiếp theo trong lĩnh vực dịch máy đa ngôn ngữ bao gồm phát triển các phương pháp huấn luyện mô hình nhúng từ đa ngôn ngữ hiệu quả hơn, khám phá các kiến trúc NMT mới có thể tận dụng tốt hơn mô hình nhúng từ đa ngôn ngữ, và nghiên cứu các phương pháp để xử lý các hiện tượng ngôn ngữ phức tạp như ngữ cảnh dịch và từ vựng dịch.

6.3. Tiềm năng ứng dụng của dịch máy đa ngôn ngữ trong thực tế

Dịch máy đa ngôn ngữ có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm dịch máy trực tuyến, dịch máy thời gian thực, dịch máy cho doanh nghiệp, dịch máy cho giáo dục, và dịch máy cho du lịch. Việc cải thiện chất lượng và hiệu quả của dịch máy đa ngôn ngữ sẽ giúp phá vỡ rào cản ngôn ngữ và thúc đẩy giao tiếp và hợp tác toàn cầu.

Nội dung chính

Tổng quan nghiên cứu

Trong những năm gần đây, hệ thống dịch máy (Machine Translation - MT) đã đạt được nhiều tiến bộ đáng kể và thu hút sự quan tâm lớn từ cộng đồng nghiên cứu. Theo báo cáo của ngành, hai phương pháp chính được sử dụng rộng rãi trong dịch máy là dịch máy thống kê dựa trên cụm từ (Phrase-based Statistical Machine Translation - PBSMT) và dịch máy thần kinh (Neural Machine Translation - NMT). Tuy nhiên, các hệ thống này vẫn gặp nhiều thách thức, đặc biệt là đối với các ngôn ngữ ít phổ biến và có nguồn dữ liệu song ngữ hạn chế như tiếng Việt, tiếng Lào hay tiếng Nhật. Vấn đề chính bao gồm chất lượng bảng cụm từ (phrase-table) trong PBSMT và xử lý từ chưa biết (unknown word) trong NMT.

Mục tiêu của luận văn là đề xuất hai mô hình dựa trên mô hình nhúng từ đa ngôn ngữ (cross-lingual word embedding) nhằm nâng cao chất lượng dịch máy. Mô hình đầu tiên tập trung cải thiện bảng cụm từ trong PBSMT bằng cách tính toán lại trọng số cụm từ và sinh thêm các cặp cụm từ mới. Mô hình thứ hai giải quyết vấn đề từ chưa biết trong NMT bằng cách thay thế các từ chưa biết bằng các từ tương tự trong không gian nhúng từ đa ngôn ngữ. Nghiên cứu được thực hiện trên dữ liệu song ngữ tiếng Việt - tiếng Anh và tiếng Việt - tiếng Nhật, trong phạm vi các bộ dữ liệu chuẩn như UET, TED và Leipzig Corpora.

Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện các chỉ số đánh giá dịch máy như BLEU, giúp nâng cao hiệu quả và độ chính xác của hệ thống dịch máy cho các ngôn ngữ ít tài nguyên, từ đó hỗ trợ tốt hơn cho các ứng dụng thực tế trong dịch thuật và xử lý ngôn ngữ tự nhiên.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính:

1. Dịch máy thống kê dựa trên cụm từ (PBSMT): PBSMT sử dụng bảng cụm từ chứa các cặp cụm từ nguồn - đích cùng với trọng số xác suất dịch. Việc tính toán trọng số chính xác và mở rộng bảng cụm từ là yếu tố quyết định chất lượng dịch. Các trọng số bao gồm xác suất dịch cụm từ, trọng số từ vựng và xác suất ngôn ngữ.

2. Dịch máy thần kinh (NMT): NMT sử dụng mạng nơ-ron hồi tiếp (RNN) hoặc biến thể như GRU, LSTM để mã hóa câu nguồn và giải mã câu đích. Mô hình attention (Luong Attention) được áp dụng để cải thiện khả năng tập trung vào các phần quan trọng của câu nguồn khi dịch.

3. Mô hình nhúng từ đa ngôn ngữ (Cross-lingual Word Embedding): Đây là kỹ thuật biểu diễn từ trong không gian số thực sao cho các từ có nghĩa tương tự ở các ngôn ngữ khác nhau được ánh xạ gần nhau. Các mô hình như word2vec (Skip-gram, CBOW), GloVe được sử dụng để học nhúng từ đơn ngữ, sau đó học ánh xạ tuyến tính giữa các không gian nhúng để tạo nhúng đa ngôn ngữ.

Các khái niệm chính bao gồm: bảng cụm từ (phrase-table), trọng số cụm từ (phrase weights), từ chưa biết (unknown word), attention trong NMT, ánh xạ tuyến tính trong nhúng từ đa ngôn ngữ, và các chỉ số đánh giá dịch máy như BLEU.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Sử dụng các bộ dữ liệu chuẩn gồm UET (tiếng Việt - tiếng Anh), TED (tiếng Việt - tiếng Nhật), Leipzig Corpora và British National Corpus cho tiếng Anh. Dữ liệu song ngữ được chia thành tập huấn luyện, tinh chỉnh và kiểm thử với quy mô khoảng 270.000 câu cho huấn luyện và vài nghìn câu cho kiểm thử.

• Phương pháp phân tích:

  • Huấn luyện mô hình nhúng từ đơn ngữ bằng FastText với vector 300 chiều.
  • Học ánh xạ tuyến tính giữa các không gian nhúng từ song ngữ bằng phương pháp adversarial training và Procrustes solution để tạo nhúng từ đa ngôn ngữ.
  • Tính toán lại trọng số bảng cụm từ trong PBSMT dựa trên độ tương đồng vector nhúng từ, sinh thêm các cặp cụm từ mới và kết hợp với bảng cụm từ gốc bằng nội suy tuyến tính.
  • Trong NMT, thay thế từ chưa biết bằng từ tương tự nhất trong không gian nhúng đa ngôn ngữ, sau đó sử dụng mô hình attention để phục hồi từ gốc trong câu dịch.
  • Đánh giá chất lượng dịch máy bằng chỉ số BLEU, so sánh với các mô hình baseline và các phương pháp hiện có.

• Timeline nghiên cứu:

  • Thu thập và xử lý dữ liệu: 3 tháng
  • Huấn luyện mô hình nhúng từ và ánh xạ: 2 tháng
  • Phát triển mô hình cải thiện PBSMT và NMT: 4 tháng
  • Thực nghiệm và đánh giá: 2 tháng
  • Viết luận văn và hoàn thiện: 1 tháng

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Cải thiện trọng số bảng cụm từ trong PBSMT:
   Việc tính toán lại trọng số dựa trên độ tương đồng vector nhúng từ đa ngôn ngữ giúp bảng cụm từ đạt được BLEU tăng khoảng 0.8 điểm (từ 28.23 lên 29.03 trên bộ dữ liệu UET tiếng Việt - tiếng Anh). Tỷ lệ giữ lại chất lượng dịch đạt khoảng 83% so với mô hình gốc.

2. Sinh thêm cụm từ mới cho bảng cụm từ:
   Bổ sung khoảng 100.000 cặp cụm từ mới từ phép chiếu vector nhúng giúp tăng BLEU thêm 0.5 điểm, nâng tổng BLEU lên 29.53 trên bộ dữ liệu UET. Tương tự, trên bộ TED tiếng Việt - tiếng Nhật, BLEU tăng từ 12.16 lên 12.82.

3. Giải quyết vấn đề từ chưa biết trong NMT:
   Mô hình thay thế từ chưa biết bằng từ tương tự trong không gian nhúng đa ngôn ngữ và phục hồi bằng attention giúp tăng BLEU lên 25.91 so với 25.25 của mô hình baseline trên bộ UET. Trên bộ TED, BLEU tăng từ 9.25 lên 9.91.

4. So sánh các mô hình nhúng từ đa ngôn ngữ:
   Mô hình nhúng từ học từ dữ liệu thủ công (manual dictionaries) cho kết quả tốt hơn so với mô hình học tự động (automatic dictionaries), với độ chính xác từ 46% đến 66% trong bài toán dịch từ.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện là việc tận dụng hiệu quả thông tin ngữ nghĩa từ không gian nhúng từ đa ngôn ngữ, giúp mô hình dịch máy có thể nhận diện và dịch chính xác các cụm từ và từ chưa biết mà trước đây bị bỏ qua hoặc dịch sai. Kết quả này phù hợp với các nghiên cứu gần đây về ứng dụng nhúng từ trong dịch máy, đồng thời khẳng định tính khả thi của việc kết hợp dữ liệu đơn ngữ phong phú với một lượng nhỏ dữ liệu song ngữ để nâng cao chất lượng dịch.

Biểu đồ so sánh BLEU giữa các mô hình baseline, mô hình cải tiến trọng số, và mô hình bổ sung cụm từ mới sẽ minh họa rõ ràng sự tiến bộ. Bảng số liệu chi tiết về BLEU trên từng bộ dữ liệu cũng giúp đánh giá chính xác hiệu quả của từng bước cải tiến.

Đề xuất và khuyến nghị

1. Áp dụng mô hình nhúng từ đa ngôn ngữ để cải thiện bảng cụm từ:
   Đề nghị các nhóm phát triển hệ thống PBSMT tích hợp tính toán lại trọng số bảng cụm từ dựa trên nhúng từ đa ngôn ngữ, nhằm nâng cao độ chính xác dịch. Thời gian thực hiện dự kiến 3-6 tháng, do các bước huấn luyện và tinh chỉnh mô hình cần tài nguyên tính toán.

2. Mở rộng bảng cụm từ bằng cách sinh thêm cặp cụm từ mới:
   Khuyến nghị bổ sung các cặp cụm từ mới dựa trên phép chiếu vector nhúng từ để tăng độ bao phủ từ vựng, đặc biệt với các ngôn ngữ ít tài nguyên. Chủ thể thực hiện là nhóm nghiên cứu và phát triển dữ liệu, thời gian 2-4 tháng.

3. Xây dựng module thay thế và phục hồi từ chưa biết trong NMT:
   Đề xuất phát triển module thay thế từ chưa biết bằng từ tương tự trong không gian nhúng và phục hồi bằng attention để giảm thiểu lỗi dịch. Thời gian triển khai 4-6 tháng, phù hợp với các dự án NMT hiện đại.

4. Tăng cường thu thập và xây dựng từ điển song ngữ thủ công:
   Khuyến nghị đầu tư xây dựng từ điển song ngữ chất lượng cao để huấn luyện mô hình nhúng từ đa ngôn ngữ chính xác hơn, từ đó nâng cao hiệu quả dịch máy. Chủ thể thực hiện là các tổ chức nghiên cứu ngôn ngữ, thời gian dài hạn.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và phát triển hệ thống dịch máy:
   Có thể áp dụng các mô hình và phương pháp đề xuất để cải thiện chất lượng dịch, đặc biệt với các ngôn ngữ ít tài nguyên.

2. Chuyên gia xử lý ngôn ngữ tự nhiên (NLP):
   Tham khảo kỹ thuật nhúng từ đa ngôn ngữ và ứng dụng trong dịch máy, mở rộng nghiên cứu sang các bài toán khác như phân loại văn bản, trích xuất thông tin.

3. Doanh nghiệp công nghệ và dịch thuật:
   Áp dụng mô hình nâng cao chất lượng dịch máy để phát triển sản phẩm dịch tự động, hỗ trợ dịch vụ khách hàng đa ngôn ngữ.

4. Sinh viên và học viên cao học ngành khoa học máy tính, ngôn ngữ học máy tính:
   Tài liệu tham khảo hữu ích cho các đề tài nghiên cứu về dịch máy, học máy và xử lý ngôn ngữ tự nhiên.

Câu hỏi thường gặp

1. Mô hình nhúng từ đa ngôn ngữ là gì và tại sao quan trọng trong dịch máy?
   Mô hình này biểu diễn từ của nhiều ngôn ngữ trong cùng một không gian số thực, giúp mô hình dịch máy nhận diện và chuyển đổi ý nghĩa giữa các ngôn ngữ hiệu quả hơn, đặc biệt với ngôn ngữ ít tài nguyên.

2. Làm thế nào để cải thiện bảng cụm từ trong PBSMT?
   Bằng cách tính toán lại trọng số dựa trên độ tương đồng vector nhúng từ và sinh thêm các cặp cụm từ mới từ phép chiếu vector, giúp bảng cụm từ phong phú và chính xác hơn.

3. Từ chưa biết trong NMT được xử lý ra sao?
   Thay thế từ chưa biết bằng từ tương tự trong không gian nhúng đa ngôn ngữ, sau đó sử dụng attention để phục hồi từ gốc trong câu dịch, giảm thiểu lỗi dịch và tăng tính tự nhiên.

4. Phương pháp đánh giá chất lượng dịch máy được sử dụng là gì?
   Chỉ số BLEU được sử dụng phổ biến, đo lường mức độ trùng khớp giữa câu dịch máy và câu dịch chuẩn do con người tạo ra, phản ánh độ chính xác và tự nhiên của bản dịch.

5. Nghiên cứu này có thể áp dụng cho những ngôn ngữ nào?
   Phương pháp phù hợp với các ngôn ngữ ít tài nguyên, có nguồn dữ liệu song ngữ hạn chế như tiếng Việt, tiếng Lào, tiếng Nhật, và có thể mở rộng sang các ngôn ngữ khác có đặc điểm tương tự.

Kết luận

• Đã đề xuất thành công hai mô hình dựa trên nhúng từ đa ngôn ngữ để nâng cao chất lượng dịch máy PBSMT và NMT.
• Mô hình cải thiện bảng cụm từ giúp tăng BLEU khoảng 0.8-1.3 điểm trên các bộ dữ liệu chuẩn.
• Mô hình xử lý từ chưa biết trong NMT nâng cao BLEU lên 0.6-0.7 điểm, giảm lỗi dịch.
• Kết quả thực nghiệm trên tiếng Việt - tiếng Anh và tiếng Việt - tiếng Nhật cho thấy tính khả thi và hiệu quả của phương pháp.
• Đề xuất tiếp tục mở rộng nghiên cứu với các mô hình nhúng từ đa ngôn ngữ khác và xử lý các trường hợp dịch sai, từ chưa biết phức tạp hơn.

Áp dụng mô hình vào các hệ thống dịch máy thực tế, mở rộng sang các ngôn ngữ khác và phát triển module xử lý từ chưa biết nâng cao hơn. Các nhà nghiên cứu và doanh nghiệp được khuyến khích thử nghiệm và phát triển dựa trên kết quả này để nâng cao chất lượng dịch tự động.

Trích đoạn nội dung tài liệu

VIETHAAM IIATI0I1IAL UIIVEITSTV, hAII0I UHTIVET'STTV 0E EHGTIIIEETTIG AIID TEchII0L0GV HGUYEH MIHh ThUAH Enhancing the qualily 0f Machine Translati0n System Using cr0ss-Lingual W0rd Emedding M0dels (Hâng ca0 chất lơjợng của hệ thống dịch máy dựa lrên các mô hình vecl0r nhúng siêu diễn lừ giữa hai ngôn ngữ) Pr0gram: cOmputer Science MajOr: cOmputer Science c0de: 8480101.01 MASTETI' ThESIS: c0MPUƯTELI' SelIEHeE SUPELT'VIS0L: Ass0c. IGUVYEH PhU0HG ThAI han0i — 11/2018 Enhancing the quality 0f Machine TranslahOn System Using cr0ss-Lingual W0rd Emedding M0dels IIguyen Minh Thuan Faculty Of InfOrmatOn Techn0l0gy University Of Engineering and Techn0l0gy Vietnam IatiOnal University, han0i Supervised by AssOciate PrOfessOr. Iguyen PhuOng Thai A thesis submitted in fulfillment Of the requirements fOr the degree Of Master Of Science in cOmputer Science 10vemper 2018 0TTGIHALITV STATEMEITT ‘T hereby declare that this submission is my Own work amd to the best of my knowledge it contains m0 materials previously published or written by another person, or supstan- tial proportions of material which have been accepted for the award of amy other degree or diploma at University of Engineering and Technology (UET/coliech) or any other educational institution, except where due acknowledgement is made in the thesis. Any contribution made to the research by Others, with whom I have worked at UET/coltech or elsewhere, is explicitly acknowledged in the thesis.

I also declare that the intellectual content of this thesis is the product of my own work, except to the extent that assistance from others in the projects design and conception or in style, presentation and linguistic expression is acknowledged.’ han0i, WOvemser 15’", 2018 ii AbSTTAcT In zecent yeaes, Machine TeanslatiOn has shOwn pe0mising eesulls and eeœived much _intezest Of zeseaechees. TwO appeOaches that have been widely used f0z machine feans- latiOn aze Phzase-vased Statistical Machine TeanslatiOn (PBSMT) and TTeueal Ma- chine TzanslatiOn (IIMT). Duzing teanslatiOn, v0th app2Oaches 2ely feavily On lazge amOunts Of vilingual cOzp02za which zequize much eff02t and financial supp0et. The lack Of vilingual data leads 10 a p002 phezase-tavle, which is One Of the main COmp0- nents Of PBSMT, and the unknOwn w0ed p2Ovolem in IIMT.

In Onteast, mOnOlingual data aze available fO2 mOst Of the languages. Thanks 10 the advantage, many mOdels Of w0zd embedding and ce0ss-lingual w0ed embedding Fave veen appeazed 10 imp2zOve the quality Of vaziOus tasks in natueal language p2Ocessing. The puepOse Of this thesis is 10 p2zOpOse twO mOdels f02 using ceOss- lingual w0ed embedding mOdels 10 addzess the av0ve impediment. The fizst mOdel enhances the quality Of the phzase-lavle in SMT, and the zemaining mOdel tackles the unkn0wn w0ed pe0olem in TIMT.

PublicaHOns: x Minh-Thuan IIguyen, Van-Tan bui, huy-hien Vu, Phuong-Thai IIguyen and chi-Mai Luong. Enhancing the quality of Phrase-laple in Slalisical Machine Translation for Less-common and Low-Tesource Languages. In ¿he 2018 Inieenafional eonƒfeeenœ on Asian Language PeOœssing (IALP 2018). iii AckTIOWLEDGEMETITS I wOuld like 10 express my sincere gratitude 10 my lecturers in university, and especially 10 my supervisOrs - AssOc.

Iguyen PhuOng Thai, Dr. IIguyen Van Vinh and MSc. Vu huy hien. They are my inspiratiOn, guiding me 10 get the peter Of mary Osstacles in the cOmpletiOn this thesis.

I am grateful 10 my family. They usually emcOurage, mOtivate and create the pest cOnditiOns fOr me 10 accOmplish this thesis. I wOuld like 10 alsO thank my bprOlher, Ilguyen Minh ThOng, my friends, Tran Minh Luyen, hOang cOng Tuan Auh, fOr giving me many useful advices and suppOrting my thesis, my studying and my living. Finally, I sincerely acknOwledge the Vietnam [latiOnal University, han0i and especially, Tc.02-2016-03 prOject named “building a machine translaiOn system 10 suppOrt lranslaiO0n Of dOcuments between Vieliamese and Japanese 10 help managers amd businesses in han0i apprOach Japanese market’ fOr suppOrting finance 10 my master study.

T0 my family iv Table Of cOntents 1 Intr0ducti0n1 2 Lileralure review4 2.4 Open-SOurce Machine TranslatiOn .1 MOses - am Open Statistical Machine TranslaH0n h0.2 0penIIMT - an 0pen Ileural Machine TranslaH0n h0.1 M0n0lingual W0rd Empedding M0dels.2 cr0ss-Lingual W0rd Empedding MOdels .----- --- -- 13 3 Using cr0ss-Lingual W0rd Emxedding M0dels f0r MachineTrans- lali0n Systems17 3.1 Enhancing the quality Of Phrase-table in SMT Using cr0ss-Lingual WOrd 2012550000115 00107.1 TecOmpuhing Phrase-taple weights 3.2 Generaling new phrase palTS .2 Addressing the UnknOwn WOrd PrOslem in ITMT Using cr0ss-Lingual 'W0rd Empeddimg MOdels .ccseccsseseeseeeeseeseeeeeeesceseeeeseesceececseeaeeeeeeaeenes 21 4 Experiments and Fesults27 4. 31 v TABLE 0E c0IITEIITS vi 4.1 W0rd TranslaliOH Task .2 Impact Of Enriching the Phrase-table On SMT system. Impacl 0 ITem0ving the Unkn0wn W0rds 0nIIMT syslem 5_ c0nclusi0n38 List 0f Figures 2.3 The cb0W mOdel predicts the current wOrd based On the cOntext, ard the Skip-gram predicts surrOunding wOrds based On the current wOrd. 13 TOy illustratiOn Of the cr0ss-lingual emeedding m0del.

22 FlOw Of testing phrase. 25 vii List Of Tables 3.8 The sample Of new phrase pairs generated by using prOjectiOns Of wOrd vectOr represerntatiOns. 29 The precisiOn Of wOrd translatiOn retrieval t0p-k nearest neighbOrs in Vietnamese-English and Japanese- Vietnamese language paifs. 32 Tesults On UET and TED dataset in the PhSMT system fOr Vietnamese- English and Japanese-VIelramese respecliVeÌy.

--- --- «+ -s=+s+ 33 TranslaH0n examples 0f the PbSMT 1m Vieliamese-English. 34 Tesults Of remOving unkn0wn wOrds On UET and TED dataset in the TIMT syslem f0r Vielriamese-English and Japanese- Vielramese U51 177. TranslatiOn examples 0f the IIMT syslemin Vielrnamese-English vi Lisi 0f AbbreviaH0ms MT SMT PbSMT TIMT TILP THI UHMT Machine TranslaH0n Slalishcal Machine Translali0n Phrase-based Statistical MachineTranslatiOn Tleural Machine Translali0n Tlatural Language Pr0cessing Tecurrent Meural MetwOrk cll cOnvOlutiOnal Teural MetwOrk Unsupervised Ileural Machine Translali0n ix chapter 1 IntrOduch0On Machine TranslatiOn (MT) is a sub-field Of COmputatiOnal linguistics. It is autO- mated lranslah0n, which translates text Or speech frOm One natural language 10 anOther by using cCOmputer sOftware.

In the PbSMT system, the cOre Of this system is the phrase-table, which cOntains wOrds and phrases fOr SMT system 10 translate. In the translatiOn prOcess, sertences are split imt0 distinguished parts as shOwn in (KOehn et al. At each step, fOr a given sOurce phrase, the system will try 10 find the best candidate amOngst many target phrases as its translatiOn based mainly On phrase-taple. hence, having a g00d phrase-table pOssibly makes translatiOn systems imprOve the quality Of translatiOn.

hOwever, attaining a rich phrase-taple is a chal- lenge since the phrase-table is extracted and trained frOm large amOunts Of bilingual cOrpOra which require much effOrt and financial suppOrt, especially fOr less-cCOmmOn languages such as Vietnamese, La0s, etc. In the IMT system, †w0 main cÖOmp0nenis are enc0der and decOder. the encOder cOmpOnent uses a neural netwOrk, such as the recurrent neural netw0rk (TTIID, 10 encOde the sOurce sertterce, ard the decOder cOmpOnent alsO uses a neural netwOrk 10 predict wOrds in the target language. SOme IIMT mOdels incOrpOrate attentiOn mechanisms 10 imprOve the translatiOn quality.

TO reduce the cOmputahOnal cOmplexity, COnventiOnal IIMT systems Often limit their vOcabularies 10 be the t0p 30K-80K m0st frequent wOrds in the sOurce and target language, and all wOrds Outside the vOcabulary, called unkn0wn wOrds, are replaced imt0 a single unk syms01. This appr0ach leads 10 the inability 10 generate the pr0per lranslahi0n f0r this unkn0wn wOrds during lesing as sh0wn 1m (LuOng e† al.,20155) (Lï et al.,2016) Latterly, there are several apprOaches 10 address the abO0ve impediments. With the prOslem in the PbSMT system. (Passpan et al.,2016) pr0p0sed a methOd Of using new scOres generated by a COnvOlutiOn Heural TetwOrk which indicates the se- mantic relatedness Of phrase pairs.

They attained an imprOvement Of apprOximately 0. hOwever, their methOd is suitable fOr medium-size cOrpOra and creates mOre scOres fOr the phrase-table which cam increase cCOmputatiOn cOmplexity Of all translatiOn systems. (cui et al.,2013) utilized techniques Of pivOt languages 10 enrich their phrase-table. Their phrase-table is made Of sOurce-pivOt and pivOt-larget phrase-taples.

As a result Of this cCOmpinatiOn, they attained a significant imprOvement Of translatiOn. Similarly, (Zhu et al.,2014) used a methOd based On pivO0t languages 10 calculate the translatiOn prObapilities Of sOurce-target phrase pairs and achieved a slight enhance- ment. UnfOrtunately, the methOds based On pivOt languages are n0t able 10 apply fOr the Vietnamese language since the the less-cOmm0n nature Of this language. (VOgel and M0ns0n,2004) impr0ved the translatiOn quality by using phrase pairs frOm an augmented dichOnary.

They first augmented the dichOnary using simple m0rph010gical variatiOns and then assigned prOsabilities 10 entries Of this dictiOnary by using cO-Occurrence frequencies cOllected fr0m bilingual data. hOwever, their methOd needs a 10t Of bilingual cOrpOra 10 estimate accurately the prOsabilities fOr dichOnary entries, which are n0t available fOr 1|Ow-resOurce languages. In Order 10 address the unknOwn wOrd pr0slem in IIMT system. (LuOng et al., 20155) annOtated the training bilingual cOrpus with explicit alignmentinfOrmatiOn that allOws the IIMT system 10 emit, fOr each unknOwn wOrd in the target semtence, the p0siH0n Of its cOrrespOnding wOrd in the sOurce sentence.

This infOrmahOn is then used im a pOst-pr0cessing step 10 translate every unknOwn wOrd by using a bilingual diclOnary. The methOd shOwed a susstantial imprOvement Of up 10 2.8 BLEU p0ints Over vari0us IIMT systems On WMT’14 English-French translatiOn task. hOwever, having the g00d dictiOnary, which is utilized in the pOst-pr0cessing step, is alsO cOstHly and time-cOnsuming. (Semnrich et al.,2016) intrOduced a simple appr0ach 10 handle the translatiOn Of unknOwn wOrds in IMT py encOding unkn0wn wOrds as asequence Of subwOrd units.

This methOd based 0n the intuitiOn that a variety Of wOrd classes are translated via smaller units than wOrds. FOrexample, names are translated by character cOpying Or lranslderah0n, c0mpOunds are lranslaled via cOmp0siHOnal translatiOn, etc. The appr0ach indicated am imprOvement up 10 1.3 BLEU Over a sack-Off dichOnary baseline mOdel On WMT 15 English-lussian translatiOn task. (Li et al.,2016) prOpOsed a n0vel supstitutiOn-translahOn-restOratiOn methOd 10 tackle the pr0slem Of the IIMT unkn0wn w0rd.

In this methOd, the susstitutiOn step replaces the unkn0Own wOrds in a testing sentence with similar in-vOcabulary wOrds based On a similarity mOdel learned frOm mOnOlingual data. The translatiOn step then translates the testing sentence with a mOdel trained On bilingual data with unkn0wn wOrds replaced. Finally, the restOratiOn step susstitutes the translatiOns Of the replaced wOrds by that Of Original Ones. This methOd demOnstrated a significant imprOvement up 10 4 BLEU p0ints Over the attentiOn-based IIMT On chinese-t0- English translatiOn.

Tecemtly, techniques using wOrd embedding receive much interest frOm natural language pr0cessing cCOmmunities. WOrd embedding is a vectOr represertahOn Of wOrds which cOnserves semantic infOrmatiOn and their cOntexts wOrds. AdditiOnally, we can expl0it the advantage Of embedding 10 represent wOrds in diverse distinchOn spaces as shOwn in (MikOI0v et al. besides, crOss-lingual wOrd embedding mOdels are alsO receiving a 10t Of interest, which learn cr0ss-lingualrepresemtatiOns Of wOrds in a jOint embedding space 10 represent meaning and transfer knOwledge in cr0ss-lingual scerariOs.

Inspired by the advantages Of the cr0ss-lingual embedding m0dels, the wOrk Of (MikO10v et al.,20135) and (Li et al.,2016), we prOpOse a mOdel 10 enhance the quality Of a phrase-table by recOmputing the phrase weights and generating new phrase pairs fOr the phrase-taple, and a mOdel 10 address the unkn0wn w0rd pr0blem in the IIMT system by replacing the unknOwn wOrds with the mOst apprOpriate in- vOcabulary wOrds. The rest Of this thesis is Organized as fO0llOws: chapter 2 gives an Overview Of related backgrOunds. In chapter 3, we describe Our twO pr0pO0sed mOdels. A mOdel enhances the quality Of phrase-table in SMT, and the remaining mOdel tackles the unkn0wn w0rd pr0slem in IIMT.

Settings and results Of Our experiments are shOwn in chapter 4. We indicate Our cOnclusiOm and future wOrks im chapter 5. chapter 2 Literature review In this chapter, we indicate an Overview Of Machine TranslatiOn (MT) research and WOrd Embedding mOdels in sectiOn 2.1 shOws the histOry, appr0aches, evaluatiOn and Open-sOurce in MT.2, we imtrOduce an Overview Of WOrd Embedding including MOn0lingual and cr0ss-Lingual W0rd Embedding mOdels.1 hislúry Machine TranslatiOn is a sub-field Of cOmputatiOnal linguistics. It is autOmated translaliOn, which translates text Or speech frOm One natural language 10 anOther by using cCOmputer sOftware.

The first ideas Of machine translaliOn may have ap- peared in the seventh century.