Luận văn Thạc sĩ Nguyễn Minh Thuận: Cải thiện hệ thống dịch máy VNU-UET

Luận văn thạc sĩ nghiên cứu vnu uet enhancing the quality of machine translation system using cross lingual word embedding, khảo sát thực trạng, phân tích nguyên nhân, đề xuất

• Tác giả: Nguyen Minh Thuan
• Người hướng dẫn: Assoc. Nguyen Phuong Thai
• Trường học: Vietnam National University, Hanoi University of Engineering and Technology
• Chuyên ngành: Computer Science
• Đề tài: Enhancing the quality of Machine Translation System Using Cross-Lingual Word Embedding Models
• Loại tài liệu: master thesis
• Năm xuất bản: 2018
• Địa điểm: Hanoi

Mục lục chi tiết

• 1. Introduction
• 2. Literature review
• 2.1. History
• 2.2. Approaches
• 2.4. Open-Source Machine Translation
• 2.4.1. Moses - an Open Statistical Machine Translation System
• 2.4.2. OpenNMT - an Open Neural Machine Translation System
• 2.1. Monolingual Word Embedding Models
• 2.2. Cross-Lingual Word Embedding Models
• 3. Using Cross-Lingual Word Embedding Models for Machine Translation Systems
• 3.1. Enhancing the quality of Phrase-table in SMT Using Cross-Lingual Word Embedding
• 3.1.1. Recomputing Phrase-table weights
• 3.1.2. Generating new phrase pairs
• 3.2. Addressing the Unknown Word Problem in NMT Using Cross-Lingual Word Embedding Models
• 4. Experiments and Results
• 4.1. Word Translation Task
• 4.2. Impact of Enriching the Phrase-table on SMT system
• 4.3. Impact of Removing the Unknown Words on NMT system
• 5. Conclusion

Tóm tắt

I. Tổng quan về Luận văn thạc sĩ VNU UET trong dịch máy

Luận văn thạc sĩ của Nguyễn Minh Thuận tại VNU UET tập trung vào việc nâng cao chất lượng của hệ thống dịch máy thông qua các mô hình nhúng từ giữa hai ngôn ngữ. Nghiên cứu này không chỉ mang lại giá trị cho lĩnh vực dịch máy mà còn góp phần vào sự phát triển của ngôn ngữ tự nhiên và học sâu trong dịch thuật. Mục tiêu chính là cải thiện độ chính xác và hiệu quả của các hệ thống dịch máy hiện tại.

1.1. Mục tiêu nghiên cứu và tầm quan trọng

Mục tiêu của luận văn là phát triển các mô hình nhúng từ để giải quyết các vấn đề trong dịch máy, đặc biệt là trong việc cải thiện chất lượng dịch thuật cho các ngôn ngữ ít tài nguyên như tiếng Việt.

1.2. Đối tượng và phương pháp nghiên cứu

Luận văn sử dụng các mô hình nhúng từ giữa hai ngôn ngữ để cải thiện bảng cụm từ trong dịch máy thống kê và giải quyết vấn đề từ không xác định trong dịch máy thần kinh.

II. Vấn đề trong hệ thống dịch máy hiện tại và thách thức

Hệ thống dịch máy hiện tại gặp nhiều thách thức, đặc biệt là trong việc xử lý các ngôn ngữ ít tài nguyên. Việc thiếu dữ liệu song ngữ chất lượng cao dẫn đến bảng cụm từ kém, ảnh hưởng đến độ chính xác của dịch thuật. Ngoài ra, vấn đề từ không xác định trong dịch máy thần kinh cũng là một thách thức lớn.

2.1. Thiếu dữ liệu song ngữ và ảnh hưởng đến dịch máy

Thiếu dữ liệu song ngữ chất lượng cao dẫn đến việc tạo ra bảng cụm từ không đầy đủ, làm giảm hiệu quả của hệ thống dịch máy. Điều này đặc biệt nghiêm trọng đối với các ngôn ngữ ít được sử dụng.

2.2. Vấn đề từ không xác định trong dịch máy thần kinh

Trong hệ thống dịch máy thần kinh, từ không xác định thường bị thay thế bằng ký hiệu 'unk', dẫn đến việc không thể dịch chính xác các từ này. Điều này gây ra sự giảm sút đáng kể trong chất lượng dịch thuật.

III. Phương pháp cải thiện chất lượng dịch máy bằng nhúng từ

Luận văn đề xuất hai mô hình chính để cải thiện chất lượng dịch máy. Mô hình đầu tiên tập trung vào việc nâng cao bảng cụm từ trong dịch máy thống kê, trong khi mô hình thứ hai giải quyết vấn đề từ không xác định trong dịch máy thần kinh. Cả hai mô hình đều sử dụng mô hình nhúng từ giữa hai ngôn ngữ để tối ưu hóa quá trình dịch.

3.1. Nâng cao bảng cụm từ trong dịch máy thống kê

Mô hình đầu tiên sử dụng các phương pháp nhúng từ để tính toán lại trọng số của bảng cụm từ, từ đó tạo ra các cặp cụm từ mới, giúp cải thiện độ chính xác của dịch máy.

3.2. Giải quyết vấn đề từ không xác định trong dịch máy thần kinh

Mô hình thứ hai thay thế các từ không xác định bằng các từ trong từ vựng có sẵn, giúp cải thiện đáng kể chất lượng dịch cho các câu có chứa từ không xác định.

IV. Ứng dụng thực tiễn và kết quả nghiên cứu

Nghiên cứu đã chỉ ra rằng việc áp dụng các mô hình nhúng từ giữa hai ngôn ngữ có thể cải thiện đáng kể chất lượng dịch máy. Các thử nghiệm cho thấy sự gia tăng trong độ chính xác dịch thuật, đặc biệt là đối với các ngôn ngữ ít tài nguyên. Kết quả này mở ra hướng đi mới cho việc phát triển các hệ thống dịch máy hiệu quả hơn.

4.1. Kết quả thử nghiệm trên bảng cụm từ

Các thử nghiệm cho thấy việc làm giàu bảng cụm từ bằng cách sử dụng nhúng từ đã cải thiện đáng kể độ chính xác của hệ thống dịch máy thống kê.

4.2. Tác động của việc xử lý từ không xác định

Việc xử lý các từ không xác định đã cho thấy sự cải thiện rõ rệt trong chất lượng dịch của hệ thống dịch máy thần kinh, giúp tăng cường khả năng dịch cho các ngôn ngữ ít tài nguyên.

V. Kết luận và tương lai của nghiên cứu trong dịch máy

Luận văn đã chứng minh rằng việc sử dụng các mô hình nhúng từ giữa hai ngôn ngữ có thể nâng cao chất lượng dịch máy một cách hiệu quả. Tương lai của nghiên cứu này hứa hẹn sẽ mở ra nhiều cơ hội mới trong việc phát triển các hệ thống dịch máy thông minh hơn, đặc biệt là cho các ngôn ngữ ít tài nguyên.

5.1. Hướng đi tương lai cho nghiên cứu dịch máy

Nghiên cứu có thể mở rộng để khám phá thêm các mô hình nhúng từ mới và cải tiến hơn, nhằm nâng cao hơn nữa chất lượng dịch máy.

5.2. Tác động của nghiên cứu đến ngành dịch thuật

Kết quả nghiên cứu không chỉ có giá trị cho lĩnh vực dịch máy mà còn có thể áp dụng trong các lĩnh vực khác của ngôn ngữ tự nhiên, mở ra nhiều cơ hội mới cho các ứng dụng thực tiễn.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERISTY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY NGUYEN MINH THUAN Enhancing the quality of Machine Translation System Using Cross-Lingual Word Embedding Models (Nâng cao chất lượng của hệ thống dịch máy dựa trên các mô hình vector nhúng biểu diễn từ giữa hai ngôn ngữ) Program: Computer Science Major: Computer Science Code: 8480101.01 MASTER THESIS: COMPUTER SCIENCE SUPERVISOR: Assoc. NGUYEN PHUONG THAI Hanoi – 11/2018 LUAN VAN CHAT LUONG download : add [e-mail] Enhancing the quality of Machine Translation System Using Cross-Lingual Word Embedding Models Nguyen Minh Thuan Faculty of Information Technology University of Engineering and Technology Vietnam National University, Hanoi Supervised by Associate Professor. Nguyen Phuong Thai A thesis submitted in fulfillment of the requirements for the degree of Master of Science in Computer Science November 2018 LUAN VAN CHAT LUONG download : add [e-mail] 2 LUAN VAN CHAT LUONG download : add [e-mail] ORIGINALITY STATEMENT ‘I hereby declare that this submission is my own work and to the best of my knowledge it contains no materials previously published or written by another person, or substan- tial proportions of material which have been accepted for the award of any other degree or diploma at University of Engineering and Technology (UET/Coltech) or any other educational institution, except where due acknowledgement is made in the thesis. Any contribution made to the research by others, with whom I have worked at UET/Coltech or elsewhere, is explicitly acknowledged in the thesis.

I also declare that the intellectual content of this thesis is the product of my own work, except to the extent that assistance from others in the project’s design and conception or in style, presentation and linguistic expression is acknowledged.’ Hanoi, November 15th , 2018 Signed. i LUAN VAN CHAT LUONG download : add [e-mail] ii ABSTRACT In recent years, Machine Translation has shown promising results and received much interest of researchers. Two approaches that have been widely used for machine trans- lation are Phrase-based Statistical Machine Translation (PBSMT) and Neural Ma- chine Translation (NMT). During translation, both approaches rely heavily on large amounts of bilingual corpora which require much effort and financial support.

The lack of bilingual data leads to a poor phrase-table, which is one of the main compo- nents of PBSMT, and the unknown word problem in NMT. In contrast, monolingual data are available for most of the languages. Thanks to the advantage, many models of word embedding and cross-lingual word embedding have been appeared to improve the quality of various tasks in natural language processing. The purpose of this thesis is to propose two models for using cross-lingual word embedding models to address the above impediment.

The first model enhances the quality of the phrase-table in SMT, and the remaining model tackles the unknown word problem in NMT. Publications: ? Minh-Thuan Nguyen, Van-Tan Bui, Huy-Hien Vu, Phuong-Thai Nguyen and Chi-Mai Luong. Enhancing the quality of Phrase-table in Statistical Machine Translation for Less-Common and Low-Resource Languages. In the 2018 International Conference on Asian Language Processing (IALP 2018).

LUAN VAN CHAT LUONG download : add [e-mail] iii ACKNOWLEDGEMENTS I would like to express my sincere gratitude to my lecturers in university, and especially to my supervisors - Assoc. Nguyen Phuong Thai, Dr. Nguyen Van Vinh and MSc. Vu Huy Hien.

They are my inspiration, guiding me to get the better of many obstacles in the completion this thesis. I am grateful to my family. They usually encourage, motivate and create the best conditions for me to accomplish this thesis. I would like to also thank my brother, Nguyen Minh Thong, my friends, Tran Minh Luyen, Hoang Cong Tuan Anh, for giving me many useful advices and supporting my thesis, my studying and my living.

Finally, I sincerely acknowledge the Vietnam National University, Hanoi and especially, TC.02-2016-03 project named “Building a machine translation system to support translation of documents between Vietnamese and Japanese to help managers and businesses in Hanoi approach Japanese market” for supporting finance to my master study. LUAN VAN CHAT LUONG download : add [e-mail] To my family ♥ iv LUAN VAN CHAT LUONG download : add [e-mail] Table of Contents 1 Introduction 1 2 Literature review 4 2.4 Open-Source Machine Translation .1 Moses - an Open Statistical Machine Translation System .2 OpenNMT - an Open Neural Machine Translation System .1 Monolingual Word Embedding Models .2 Cross-Lingual Word Embedding Models. 13 3 Using Cross-Lingual Word Embedding Models for Machine Trans- lation Systems 17 3.1 Enhancing the quality of Phrase-table in SMT Using Cross-Lingual Word Embedding .1 Recomputing Phrase-table weights .2 Generating new phrase pairs .2 Addressing the Unknown Word Problem in NMT Using Cross-Lingual Word Embedding Models. 21 4 Experiments and Results 27 4.

31 v LUAN VAN CHAT LUONG download : add [e-mail] TABLE OF CONTENTS vi 4.1 Word Translation Task .2 Impact of Enriching the Phrase-table on SMT system .3 Impact of Removing the Unknown Words on NMT system. 35 5 Conclusion 38 LUAN VAN CHAT LUONG download : add [e-mail] List of Figures 2.1 The CBOW model predicts the current word based on the context, and the Skip-gram predicts surrounding words based on the current word.2 Toy illustration of the cross-lingual embedding model.1 Flow of training phrase.2 Flow of testing phrase.3 Example in testing phrase. 25 vii LUAN VAN CHAT LUONG download : add [e-mail] List of Tables 3.1 The sample of new phrase pairs generated by using projections of word vector representations .4 The precision of word translation retrieval top-k nearest neighbors in Vietnamese-English and Japanese-Vietnamese language pairs.5 Results on UET and TED dataset in the PBSMT system for Vietnamese- English and Japanese-Vietnamese respectively .6 Translation examples of the PBSMT in Vietnamese-English .7 Results of removing unknown words on UET and TED dataset in the NMT system for Vietnamese-English and Japanese-Vietnamese respectively .8 Translation examples of the NMT system in Vietnamese-English. 37 viii LUAN VAN CHAT LUONG download : add [e-mail] List of Abbreviations MT Machine Translation SMT Statistical Machine Translation PBSMT Phrase-based Statistical Machine Translation NMT Neural Machine Translation NLP Natural Language Processing RNN Recurrent Neural Network CNN Convolutional Neural Network UNMT Unsupervised Neural Machine Translation ix LUAN VAN CHAT LUONG download : add [e-mail] Chapter 1 Introduction Machine Translation (MT) is a sub-field of computational linguistics.

It is auto- mated translation, which translates text or speech from one natural language to another by using computer software. Nowadays, machine translation systems attain much success in practice, and two approaches that have been widely used for MT are Phrase-based statistical machine translation (PBSMT) and Neural Machine Trans- lation (NMT). In the PBSMT system, the core of this system is the phrase-table, which contains words and phrases for SMT system to translate. In the translation process, sentences are split into distinguished parts as shown in (Koehn et al.

At each step, for a given source phrase, the system will try to find the best candidate amongst many target phrases as its translation based mainly on phrase-table. Hence, having a good phrase-table possibly makes translation systems improve the quality of translation. However, attaining a rich phrase-table is a chal- lenge since the phrase-table is extracted and trained from large amounts of bilingual corpora which require much effort and financial support, especially for less-common languages such as Vietnamese, Laos, etc. In the NMT system, two main components are encoder and decoder.

the encoder component uses a neural network, such as the recurrent neural network (RNN), to encode the source sentence, and the decoder component also uses a neural network to predict words in the target language. Some NMT models incorporate attention mechanisms to improve the translation quality. To reduce the computational complexity, conventional NMT systems often limit their vocabularies to be the top 30K-80K most frequent words in the source and target language, and all words outside the vocabulary, called unknown words, are replaced into a single unk symbol. This approach leads to the inability to generate 1 LUAN VAN CHAT LUONG download : add [e-mail] 2 the proper translation for this unknown words during testing as shown in (Luong et al., 2015b) (Li et al., 2016) Latterly, there are several approaches to address the above impediments.

With the problem in the PBSMT system. (Passban et al., 2016) proposed a method of using new scores generated by a Convolution Neural Network which indicates the se- mantic relatedness of phrase pairs. They attained an improvement of approximately 0. However, their method is suitable for medium-size corpora and creates more scores for the phrase-table which can increase computation complexity of all translation systems.

(Cui et al., 2013) utilized techniques of pivot languages to enrich their phrase-table. Their phrase-table is made of source-pivot and pivot-target phrase-tables. As a result of this combination, they attained a significant improvement of translation. Similarly, (Zhu et al., 2014) used a method based on pivot languages to calculate the translation probabilities of source-target phrase pairs and achieved a slight enhance- ment.

Unfortunately, the methods based on pivot languages are not able to apply for the Vietnamese language since the the less-common nature of this language. (Vogel and Monson, 2004) improved the translation quality by using phrase pairs from an augmented dictionary. They first augmented the dictionary using simple morphological variations and then assigned probabilities to entries of this dictionary by using co-occurrence frequencies collected from bilingual data. However, their method needs a lot of bilingual corpora to estimate accurately the probabilities for dictionary entries, which are not available for low-resource languages.

In order to address the unknown word problem in NMT system. (Luong et al., 2015b) annotated the training bilingual corpus with explicit alignment information that allows the NMT system to emit, for each unknown word in the target sentence, the position of its corresponding word in the source sentence. This information is then used in a post-processing step to translate every unknown word by using a bilingual dictionary. The method showed a substantial improvement of up to 2.8 BLEU points over various NMT systems on WMT’14 English-French translation task.

However, having the good dictionary, which is utilized in the post-processing step, is also costly and time-consuming. (Sennrich et al., 2016) introduced a simple approach to handle the translation of unknown words in NMT by encoding unknown words as a sequence of subword units. This method based on the intuition that a variety of word classes are translated via smaller units than words. For example, names are translated by character copying or LUAN VAN CHAT LUONG download : add [e-mail] 3 transliteration, compounds are translated via compositional translation, etc.

The approach indicated an improvement up to 1.3 BLEU over a back-off dictionary baseline model on WMT 15 English-Russian translation task. (Li et al., 2016) proposed a novel substitution-translation-restoration method to tackle the problem of the NMT unknown word. In this method, the substitution step replaces the unknown words in a testing sentence with similar in-vocabulary words based on a similarity model learned from monolingual data. The translation step then translates the testing sentence with a model trained on bilingual data with unknown words replaced.

Finally, the restoration step substitutes the translations of the replaced words by that of original ones. This method demonstrated a significant improvement up to 4 BLEU points over the attention-based NMT on Chinese-to- English translation. Recently, techniques using word embedding receive much interest from natural language processing communities. Word embedding is a vector representation of words which conserves semantic information and their contexts words.

Additionally, we can exploit the advantage of embedding to represent words in diverse distinction spaces as shown in (Mikolov et al. Besides, cross-lingual word embedding models are also receiving a lot of interest, which learn cross-lingual representations of words in a joint embedding space to represent meaning and transfer knowledge in cross-lingual scenarios. Inspired by the advantages of the cross-lingual embedding models, the work of (Mikolov et al., 2013b) and (Li et al.