Nâng cao chất lượng hệ thống dịch máy với mô hình nhúng từ đa ngôn ngữ

Luận văn thạc sĩ nghiên cứu nâng cao chất lượng hệ thống dịch máy bằng mô hình nhúng từ đa ngôn ngữ, ứng dụng trong công nghệ dịch thuật.

• Tác giả: Nguyen Minh Thuan
• Người hướng dẫn: Assoc. Nguyen Phuong Thai
• Trường học: Hanoi University of Engineering and Technology
• Chuyên ngành: Computer Science
• Đề tài: Nâng cao chất lượng hệ thống dịch máy bằng mô hình nhúng từ đa ngôn ngữ
• Loại tài liệu: master thesis
• Năm xuất bản: 2018
• Địa điểm: Hanoi

Mục lục chi tiết

• ORIGINALITY STATEMENT
• ABSTRACT
• ACKNOWLEDGEMENTS
• 1. Introduction
• 2. Literature review
• 2.1. History
• 2.2. Approaches
• 2.3. Evaluation
• 2.4. Open-Source Machine Translation
• 2.4.1. Moses - an Open Statistical Machine Translation System
• 2.4.2. OpenNMT - an Open Neural Machine Translation System
• 2.5. Monolingual Word Embedding Models
• 2.6. Cross-Lingual Word Embedding Models
• 3. Using Cross-Lingual Word Embedding Models for Machine Translation Systems
• 3.1. Enhancing the quality of Phrase-table in SMT Using Cross-Lingual Word Embedding
• 3.1.1. Recomputing Phrase-table weights
• 3.1.2. Generating new phrase pairs
• 3.2. Addressing the Unknown Word Problem in NMT Using Cross-Lingual Word Embedding Models
• 4. Experiments and Results
• 4.1. Word Translation Task
• 4.2. Impact of Enriching the Phrase-table on SMT system
• 4.3. Impact of Removing the Unknown Words on NMT system
• 5. Conclusion
• List of Figures
• List of Tables
• List of Abbreviations

Tóm tắt

I. Giới thiệu

Hệ thống dịch máy đã trở thành một phần quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Đặc biệt, việc nâng cao chất lượng dịch máy thông qua các mô hình nhúng từ đa ngôn ngữ là một thách thức lớn. Các phương pháp như dịch máy thống kê và dịch máy nơ-ron đã được áp dụng rộng rãi. Tuy nhiên, cả hai phương pháp này đều phụ thuộc vào khối lượng lớn dữ liệu song ngữ, điều này gây khó khăn cho các ngôn ngữ ít phổ biến. Việc thiếu dữ liệu song ngữ dẫn đến việc xây dựng bảng cụm từ kém chất lượng trong dịch máy thống kê và vấn đề từ không xác định trong dịch máy nơ-ron. Do đó, nghiên cứu này nhằm đề xuất các mô hình nhúng từ để cải thiện chất lượng dịch máy.

II. Tổng quan tài liệu

Chương này cung cấp cái nhìn tổng quan về các nghiên cứu liên quan đến dịch máy và các mô hình nhúng từ. Mô hình nhúng từ đơn ngôn ngữ và mô hình nhúng từ đa ngôn ngữ đã được nghiên cứu để cải thiện chất lượng dịch máy. Các nghiên cứu trước đây đã chỉ ra rằng việc sử dụng mô hình nhúng từ có thể giúp cải thiện độ chính xác của các hệ thống dịch máy. Đặc biệt, việc áp dụng mô hình nhúng từ đa ngôn ngữ có thể giúp giải quyết vấn đề thiếu dữ liệu song ngữ cho các ngôn ngữ ít phổ biến như tiếng Việt.

III. Sử dụng mô hình nhúng từ đa ngôn ngữ cho hệ thống dịch máy

Nghiên cứu này đề xuất hai mô hình sử dụng mô hình nhúng từ đa ngôn ngữ để cải thiện chất lượng dịch máy. Mô hình đầu tiên tập trung vào việc nâng cao chất lượng bảng cụm từ trong dịch máy thống kê bằng cách tính toán lại trọng số của bảng cụm từ và tạo ra các cặp cụm từ mới. Mô hình thứ hai giải quyết vấn đề từ không xác định trong dịch máy nơ-ron bằng cách thay thế các từ không xác định bằng các từ trong từ vựng có sẵn. Việc áp dụng các mô hình này đã cho thấy sự cải thiện đáng kể trong chất lượng dịch.

3.1 Nâng cao chất lượng bảng cụm từ

Mô hình đầu tiên được đề xuất nhằm cải thiện chất lượng bảng cụm từ trong dịch máy thống kê. Bằng cách tính toán lại trọng số của bảng cụm từ, mô hình này có thể tạo ra các cặp cụm từ mới từ dữ liệu đơn ngữ. Việc này không chỉ giúp tăng cường độ phong phú của bảng cụm từ mà còn cải thiện khả năng dịch cho các ngôn ngữ ít phổ biến. Các thử nghiệm cho thấy rằng việc làm giàu bảng cụm từ có thể dẫn đến sự gia tăng đáng kể trong độ chính xác của hệ thống dịch máy.

3.2 Giải quyết vấn đề từ không xác định

Mô hình thứ hai tập trung vào việc giải quyết vấn đề từ không xác định trong dịch máy nơ-ron. Bằng cách thay thế các từ không xác định bằng các từ trong từ vựng có sẵn, mô hình này giúp cải thiện khả năng dịch cho các câu có chứa từ không xác định. Kết quả thử nghiệm cho thấy rằng việc loại bỏ các từ không xác định có thể cải thiện đáng kể hiệu suất của hệ thống dịch máy, từ đó nâng cao chất lượng dịch máy tổng thể.

IV. Kết quả và thảo luận

Các thử nghiệm được thực hiện cho thấy rằng việc áp dụng mô hình nhúng từ đa ngôn ngữ đã mang lại những kết quả khả quan. Đặc biệt, việc cải thiện chất lượng bảng cụm từ và giải quyết vấn đề từ không xác định đã giúp nâng cao hiệu suất của hệ thống dịch máy. Các kết quả cho thấy rằng việc sử dụng công nghệ dịch máy hiện đại có thể giúp cải thiện đáng kể chất lượng dịch cho các ngôn ngữ ít phổ biến như tiếng Việt. Điều này mở ra hướng đi mới cho các nghiên cứu trong tương lai về dịch máy.

V. Kết luận

Nghiên cứu này đã chỉ ra rằng việc sử dụng mô hình nhúng từ đa ngôn ngữ có thể cải thiện chất lượng dịch máy một cách đáng kể. Các mô hình đề xuất không chỉ giải quyết được vấn đề thiếu dữ liệu song ngữ mà còn nâng cao khả năng dịch cho các ngôn ngữ ít phổ biến. Tương lai của dịch máy sẽ phụ thuộc vào việc phát triển và áp dụng các công nghệ mới, đặc biệt là trong bối cảnh toàn cầu hóa và sự gia tăng nhu cầu dịch thuật.

Nội dung chính

Tổng quan nghiên cứu

Machine Translation (MT) là lĩnh vực con của ngôn ngữ học tính toán, tập trung vào việc tự động dịch văn bản hoặc lời nói từ ngôn ngữ tự nhiên này sang ngôn ngữ tự nhiên khác bằng phần mềm máy tính. Trong những năm gần đây, MT đã đạt được nhiều tiến bộ đáng kể với hai phương pháp chính là Phrase-based Statistical Machine Translation (PBSMT) và Neural Machine Translation (NMT). Tuy nhiên, cả hai phương pháp này đều phụ thuộc nhiều vào lượng lớn dữ liệu song ngữ, điều này gây khó khăn cho các ngôn ngữ ít phổ biến hoặc có tài nguyên hạn chế như tiếng Việt hay tiếng Lào. Thiếu dữ liệu song ngữ dẫn đến bảng cụm từ (phrase-table) nghèo nàn trong PBSMT và vấn đề từ chưa biết (unknown word) trong NMT, làm giảm chất lượng dịch.

Mục tiêu của luận văn là đề xuất hai mô hình sử dụng các vector nhúng biểu diễn từ giữa hai ngôn ngữ (cross-lingual word embedding) nhằm nâng cao chất lượng hệ thống dịch máy. Mô hình đầu tiên tập trung cải thiện bảng cụm từ trong PBSMT bằng cách tái tính trọng số và sinh thêm các cặp cụm từ mới. Mô hình thứ hai giải quyết vấn đề từ chưa biết trong NMT bằng cách thay thế các từ chưa biết bằng các từ tương tự có trong từ vựng. Nghiên cứu được thực hiện trên các cặp ngôn ngữ tiếng Việt - tiếng Anh và tiếng Nhật - tiếng Việt, sử dụng dữ liệu song ngữ và đơn ngữ thu thập từ các nguồn như Leipzig Corpora và British National Corpus. Kết quả đánh giá bằng chỉ số BLEU cho thấy các mô hình đề xuất giúp cải thiện đáng kể chất lượng dịch, với mức tăng khoảng 0.16 điểm BLEU cho PBSMT và 0.66 điểm BLEU cho NMT.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Machine Translation (MT): Bao gồm các phương pháp dịch máy dựa trên quy tắc (Rule-based), thống kê (Statistical Machine Translation - SMT) và mạng nơ-ron (Neural Machine Translation - NMT). SMT sử dụng mô hình xác suất dựa trên dữ liệu song ngữ, trong khi NMT sử dụng mạng nơ-ron hồi tiếp (RNN) với cơ chế attention để dịch câu.

• Word Embedding: Kỹ thuật biểu diễn từ dưới dạng vector liên tục trong không gian đa chiều, bảo toàn ngữ nghĩa và ngữ cảnh. Các mô hình phổ biến gồm CBOW, Skip-gram (word2vec), GloVe.

• Cross-Lingual Word Embedding: Mở rộng word embedding sang không gian chung giữa hai ngôn ngữ, cho phép biểu diễn từ hai ngôn ngữ trong cùng một không gian vector. Các mô hình học ánh xạ tuyến tính giữa hai không gian embedding độc lập, bao gồm phương pháp học có giám sát (dựa trên từ điển song ngữ nhỏ) và không giám sát (dựa trên adversarial training).

• Phrase-table trong PBSMT: Là thành phần cốt lõi chứa các cặp cụm từ nguồn - đích cùng trọng số xác suất dịch. Chất lượng bảng cụm từ ảnh hưởng trực tiếp đến chất lượng dịch.

• Vấn đề từ chưa biết trong NMT: Do giới hạn kích thước từ vựng, các từ hiếm hoặc chưa xuất hiện được thay thế bằng ký hiệu <unk>, gây mất thông tin dịch.

Phương pháp nghiên cứu

• Nguồn dữ liệu:

  • Dữ liệu đơn ngữ: Leipzig Corpora (tiếng Việt, tiếng Nhật), British National Corpus (tiếng Anh).
  • Dữ liệu song ngữ: UET dataset (tiếng Việt - tiếng Anh), TED dataset (tiếng Nhật - tiếng Việt).
  • Từ điển song ngữ tự động và thủ công được trích xuất từ các bộ dữ liệu song ngữ và từ điển chính thức.

• Phương pháp phân tích:

  • Huấn luyện mô hình word embedding đơn ngữ bằng FastText CBOW với vector 300 chiều.
  • Học ánh xạ tuyến tính giữa không gian embedding hai ngôn ngữ bằng các phương pháp của Mikolov, Xing và Conneau.
  • Tái tính trọng số bảng cụm từ trong PBSMT dựa trên độ tương đồng cosine giữa vector cụm từ nguồn và đích sau khi ánh xạ.
  • Sinh thêm các cặp cụm từ mới bằng cách chiết xuất cụm từ nguồn, ánh xạ từng từ sang không gian đích, tìm các từ tương tự và sử dụng thuật toán Viterbi để chọn chuỗi từ đích hợp lý.
  • Thay thế từ chưa biết trong NMT bằng từ tương tự trong từ vựng dựa trên cross-lingual embedding và mô hình ngôn ngữ n-gram để chọn từ phù hợp trong ngữ cảnh.
  • Huấn luyện hệ thống PBSMT bằng Moses và NMT bằng OpenNMT với cấu hình chuẩn, đánh giá bằng chỉ số BLEU.

• Timeline nghiên cứu:

  • Thu thập và xử lý dữ liệu: 3 tháng.
  • Huấn luyện mô hình embedding và ánh xạ: 2 tháng.
  • Phát triển mô hình tái tính trọng số và sinh cụm từ mới: 2 tháng.
  • Phát triển mô hình xử lý từ chưa biết trong NMT: 2 tháng.
  • Thực nghiệm, đánh giá và hoàn thiện luận văn: 3 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của các mô hình cross-lingual embedding:

   • Mô hình của Xing et al. (2015) huấn luyện trên từ điển thủ công đạt độ chính xác top-1 trong bài toán dịch từ là 59% (tiếng Việt - tiếng Anh) và 20% (tiếng Nhật - tiếng Việt), cao hơn so với các mô hình khác và mô hình không dùng từ điển.
   • Mô hình không giám sát của Conneau et al. (2017) cũng đạt kết quả khả quan, chỉ thấp hơn một chút so với mô hình có giám sát.

2. Tác động của tái tính trọng số và sinh cụm từ mới trong PBSMT:

   • Việc tái tính trọng số bảng cụm từ dựa trên cross-lingual embedding đạt khoảng 80-83% điểm BLEU so với hệ thống Moses gốc.
   • Kết hợp trọng số mới với trọng số gốc cải thiện điểm BLEU lên trên baseline.
   • Thêm các cặp cụm từ mới sinh ra từ mô hình embedding giúp tăng điểm BLEU thêm 0.16 điểm cho cả hai cặp ngôn ngữ, cho thấy bảng cụm từ được làm giàu hiệu quả.

3. Giải quyết vấn đề từ chưa biết trong NMT:

   • Mô hình thay thế từ chưa biết bằng từ tương tự trong từ vựng dựa trên cross-lingual embedding và mô hình ngôn ngữ giúp tăng điểm BLEU lên 0.66 điểm so với baseline.
   • Mô hình dựa trên Xing et al. (2015) cho kết quả tốt hơn mô hình không giám sát của Conneau et al. (2017).
   • Ví dụ dịch cho thấy việc thay thế từ chưa biết giúp loại bỏ ký hiệu <unk> và tạo ra câu dịch có nghĩa hơn.

Thảo luận kết quả

• Việc sử dụng dữ liệu đơn ngữ phong phú kết hợp với một lượng nhỏ dữ liệu song ngữ và từ điển thủ công giúp học được ánh xạ embedding chính xác, từ đó cải thiện đáng kể chất lượng dịch cho các ngôn ngữ ít tài nguyên.
• Tái tính trọng số bảng cụm từ giúp khắc phục hạn chế do dữ liệu song ngữ hạn chế, đồng thời sinh thêm cụm từ mới làm giàu bảng dịch, tăng khả năng bao phủ và độ chính xác.
• Thay thế từ chưa biết trong NMT bằng từ tương tự trong từ vựng giúp giảm thiểu lỗi dịch do từ vựng giới hạn, cải thiện tính mạch lạc và ý nghĩa câu dịch.
• Kết quả so sánh với các nghiên cứu trước cho thấy phương pháp đề xuất có hiệu quả tương đương hoặc vượt trội, đặc biệt phù hợp với các ngôn ngữ ít phổ biến.
• Biểu đồ so sánh điểm BLEU giữa các cấu hình PBSMT và NMT minh họa rõ sự cải thiện khi áp dụng mô hình embedding.

Đề xuất và khuyến nghị

1. Mở rộng và cập nhật từ điển song ngữ:

   • Tăng cường thu thập và xây dựng từ điển song ngữ thủ công và tự động để nâng cao chất lượng ánh xạ embedding.
   • Thời gian: 6-12 tháng.
   • Chủ thể: Các nhóm nghiên cứu ngôn ngữ, tổ chức dịch thuật.

2. Tích hợp mô hình embedding vào hệ thống dịch thương mại:

   • Áp dụng mô hình tái tính trọng số và sinh cụm từ mới vào các hệ thống PBSMT hiện có để cải thiện chất lượng dịch cho các ngôn ngữ ít tài nguyên.
   • Thời gian: 3-6 tháng.
   • Chủ thể: Các công ty phát triển phần mềm dịch máy.

3. Phát triển module xử lý từ chưa biết cho NMT:

   • Triển khai mô hình thay thế từ chưa biết trong các hệ thống NMT thương mại, kết hợp với cơ chế attention để phục hồi từ gốc.
   • Thời gian: 3-6 tháng.
   • Chủ thể: Các nhóm nghiên cứu và phát triển NMT.

4. Nghiên cứu và thử nghiệm các mô hình embedding mới:

   • Thử nghiệm các mô hình embedding đa ngôn ngữ mới, bao gồm các phương pháp không giám sát và học sâu để nâng cao hiệu quả dịch.
   • Thời gian: 6-12 tháng.
   • Chủ thể: Các viện nghiên cứu, trường đại học.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Ngôn ngữ học tính toán:

   • Hiểu sâu về ứng dụng embedding trong dịch máy, phương pháp cải thiện chất lượng dịch cho ngôn ngữ ít tài nguyên.

2. Các công ty phát triển phần mềm dịch máy và xử lý ngôn ngữ tự nhiên:

   • Áp dụng các mô hình đề xuất để nâng cao hiệu quả dịch, đặc biệt với các ngôn ngữ ít phổ biến.

3. Các tổ chức dịch thuật và quản lý ngôn ngữ:

   • Tận dụng kết quả nghiên cứu để xây dựng hệ thống dịch hỗ trợ quản lý tài liệu đa ngôn ngữ.

4. Nhà phát triển hệ thống trí tuệ nhân tạo đa ngôn ngữ:

   • Nghiên cứu kỹ thuật embedding đa ngôn ngữ và ứng dụng trong các hệ thống AI có khả năng xử lý nhiều ngôn ngữ.

Câu hỏi thường gặp

1. Cross-lingual word embedding là gì và tại sao quan trọng trong dịch máy?
   Cross-lingual word embedding là kỹ thuật biểu diễn từ của hai ngôn ngữ trong cùng một không gian vector, giúp mô hình hiểu và chuyển đổi ngữ nghĩa giữa các ngôn ngữ. Điều này rất quan trọng để cải thiện chất lượng dịch, đặc biệt khi dữ liệu song ngữ hạn chế.

2. Làm thế nào để tái tính trọng số bảng cụm từ trong PBSMT?
   Bằng cách học ánh xạ tuyến tính giữa vector từ hai ngôn ngữ, sau đó tính độ tương đồng cosine giữa vector cụm từ nguồn và đích để ước lượng lại xác suất dịch, giúp bảng cụm từ chính xác hơn.

3. Phương pháp xử lý từ chưa biết trong NMT được thực hiện ra sao?
   Từ chưa biết trong câu nguồn được thay thế bằng từ tương tự có trong từ vựng dựa trên cross-lingual embedding và mô hình ngôn ngữ để chọn từ phù hợp trong ngữ cảnh, sau đó dịch câu đã thay thế và phục hồi từ gốc trong kết quả dịch.

4. Mô hình embedding nào cho kết quả tốt nhất trong nghiên cứu này?
   Mô hình của Xing et al. (2015) huấn luyện trên từ điển thủ công cho kết quả tốt nhất về độ chính xác dịch từ và cải thiện BLEU trong cả PBSMT và NMT.

5. Phương pháp này có áp dụng được cho các ngôn ngữ khác không?
   Có, đặc biệt hiệu quả với các ngôn ngữ ít tài nguyên, miễn là có dữ liệu đơn ngữ phong phú và một lượng nhỏ dữ liệu song ngữ hoặc từ điển để học ánh xạ embedding.

Kết luận

• Đã đề xuất thành công hai mô hình sử dụng cross-lingual word embedding để nâng cao chất lượng dịch máy cho PBSMT và NMT.
• Mô hình tái tính trọng số và sinh cụm từ mới giúp cải thiện bảng cụm từ trong PBSMT, tăng điểm BLEU thêm 0.16.
• Mô hình thay thế từ chưa biết trong NMT giúp tăng điểm BLEU thêm 0.66, giảm lỗi dịch do từ vựng giới hạn.
• Kết quả thực nghiệm trên cặp ngôn ngữ tiếng Việt - tiếng Anh và tiếng Nhật - tiếng Việt chứng minh hiệu quả của phương pháp.
• Hướng phát triển tiếp theo là xử lý các trường hợp dịch sai, mở rộng từ điển và thử nghiệm các mô hình embedding mới để nâng cao hơn nữa chất lượng dịch.

Các nhà nghiên cứu và phát triển hệ thống dịch máy nên áp dụng và tiếp tục cải tiến các mô hình embedding đa ngôn ngữ để hỗ trợ dịch cho các ngôn ngữ ít tài nguyên, góp phần thúc đẩy giao lưu văn hóa và kinh tế toàn cầu.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERISTY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY NGUYEN MINH THUAN Enhancing the quality of Machine Translation System Using Cross-Lingual Word Embedding Models (Nâng cao chất lượng của hệ thống dịch máy dựa trên các mô hình vector nhúng biểu diễn từ giữa hai ngôn ngữ) Program: Computer Science Major: Computer Science Code: 8480101.01 MASTER THESIS: COMPUTER SCIENCE SUPERVISOR: Assoc. NGUYEN PHUONG THAI Hanoi – 11/2018 z Enhancing the quality of Machine Translation System Using Cross-Lingual Word Embedding Models Nguyen Minh Thuan Faculty of Information Technology University of Engineering and Technology Vietnam National University, Hanoi Supervised by Associate Professor. Nguyen Phuong Thai A thesis submitted in fulfillment of the requirements for the degree of Master of Science in Computer Science November 2018 z 2 z ORIGINALITY STATEMENT ‘I hereby declare that this submission is my own work and to the best of my knowledge it contains no materials previously published or written by another person, or substan- tial proportions of material which have been accepted for the award of any other degree or diploma at University of Engineering and Technology (UET/Coltech) or any other educational institution, except where due acknowledgement is made in the thesis. Any contribution made to the research by others, with whom I have worked at UET/Coltech or elsewhere, is explicitly acknowledged in the thesis.

I also declare that the intellectual content of this thesis is the product of my own work, except to the extent that assistance from others in the project’s design and conception or in style, presentation and linguistic expression is acknowledged.’ Hanoi, November 15th , 2018 Signed. i z ii ABSTRACT In recent years, Machine Translation has shown promising results and received much interest of researchers. Two approaches that have been widely used for machine trans- lation are Phrase-based Statistical Machine Translation (PBSMT) and Neural Ma- chine Translation (NMT). During translation, both approaches rely heavily on large amounts of bilingual corpora which require much effort and financial support.

The lack of bilingual data leads to a poor phrase-table, which is one of the main compo- nents of PBSMT, and the unknown word problem in NMT. In contrast, monolingual data are available for most of the languages. Thanks to the advantage, many models of word embedding and cross-lingual word embedding have been appeared to improve the quality of various tasks in natural language processing. The purpose of this thesis is to propose two models for using cross-lingual word embedding models to address the above impediment.

The first model enhances the quality of the phrase-table in SMT, and the remaining model tackles the unknown word problem in NMT. Publications: ? Minh-Thuan Nguyen, Van-Tan Bui, Huy-Hien Vu, Phuong-Thai Nguyen and Chi-Mai Luong. Enhancing the quality of Phrase-table in Statistical Machine Translation for Less-Common and Low-Resource Languages. In the 2018 International Conference on Asian Language Processing (IALP 2018).

z iii ACKNOWLEDGEMENTS I would like to express my sincere gratitude to my lecturers in university, and especially to my supervisors - Assoc. Nguyen Phuong Thai, Dr. Nguyen Van Vinh and MSc. Vu Huy Hien.

They are my inspiration, guiding me to get the better of many obstacles in the completion this thesis. I am grateful to my family. They usually encourage, motivate and create the best conditions for me to accomplish this thesis. I would like to also thank my brother, Nguyen Minh Thong, my friends, Tran Minh Luyen, Hoang Cong Tuan Anh, for giving me many useful advices and supporting my thesis, my studying and my living.

Finally, I sincerely acknowledge the Vietnam National University, Hanoi and especially, TC.02-2016-03 project named “Building a machine translation system to support translation of documents between Vietnamese and Japanese to help managers and businesses in Hanoi approach Japanese market” for supporting finance to my master study. z To my family ♥ iv z Table of Contents 1 Introduction 1 2 Literature review 4 2.4 Open-Source Machine Translation .1 Moses - an Open Statistical Machine Translation System .2 OpenNMT - an Open Neural Machine Translation System .1 Monolingual Word Embedding Models .2 Cross-Lingual Word Embedding Models. 13 3 Using Cross-Lingual Word Embedding Models for Machine Trans- lation Systems 17 3.