Luận Văn: Cải Tiến Chất Lượng Dịch Máy Thống Kê Bằng Kho Ngữ Liệu Đơn Ngữ Nguồn

Luận văn thạc sĩ: Cải tiến hệ dịch máy thống kê sử dụng kho ngữ liệu đơn ngữ nguồn. Nghiên cứu tập trung nâng cao chất lượng dịch thuật.

• Tác giả: Vu Huy Hien
• Người hướng dẫn: PhD. Nguyen Phuong Thai
• Trường học: Vietnam National University, Hanoi University Of Engineering And Technology
• Chuyên ngành: Computer Science
• Đề tài: Bootstrapping Smt Using Unannotated Corpora Of The Source Language
• Loại tài liệu: Master Thesis
• Năm xuất bản: 2014
• Địa điểm: Hanoi

Mục lục chi tiết

• 1. Introduction
• 2. Literature review
• 2.4. Moses - an Open Statistical Machine Translation System
• 2.2. Word Sense Disambiguation
• 3. Utilizing WSD for SMT
• 3.2. WSD Training Data Generation
• 3.2. Using Unlabelled Data
• 3.2. A new Algorithm with Sense Distribution Control
• 3.2. Using Clustering Context Information
• 3.1. Corpora and Tools
• 4. TABLE OF CONTENTS vi
• 4.1. Extend Labelled Data
• 4.2. WSD clustering task
• 4.3. The impact of context on WSD
• 4.4. Impact of WSD system on SMT translation system
• 5. Conclusion

Tóm tắt

I. Dịch Máy Thống Kê và Kho Ngữ Liệu Đơn Ngữ Tổng Quan 55 ký tự

Dịch máy thống kê (SMT) đã trở thành một lĩnh vực nghiên cứu hấp dẫn nhờ những ưu điểm vượt trội. Tuy nhiên, các phương pháp dựa trên thống kê thường xuyên đối mặt với sự thiếu hụt về song ngữ và kho ngữ liệu đặc thù theo lĩnh vực. Việc tạo ra những kho ngữ liệu song ngữ này đòi hỏi rất nhiều công sức và sự tham gia của các chuyên gia. Đáng tiếc là chỉ một số ít ngôn ngữ phổ biến trên thế giới nhận được sự hỗ trợ tài chính liên tục và sự quan tâm của các nhà nghiên cứu để phát triển các hệ thống dịch máy. Đối với hầu hết các ngôn ngữ còn lại, có rất ít nguồn tài trợ. Do đó, đây trở thành một trở ngại lớn để áp dụng các phương pháp dựa trên thống kê cho các ngôn ngữ này. Một giải pháp tiềm năng là khai thác kho ngữ liệu đơn ngữ, tận dụng nguồn dữ liệu phong phú sẵn có để cải thiện chất lượng dịch máy. Các phương pháp tiếp cận này tập trung vào việc sử dụng dữ liệu phi nhãn (unlabeled data) để bổ sung kiến thức cho mô hình dịch máy, đặc biệt là trong các tình huống khan hiếm ngữ liệu song ngữ. Các nghiên cứu gần đây đã chứng minh rằng việc kết hợp ngữ liệu đơn ngữ có thể cải thiện đáng kể hiệu suất của hệ thống dịch máy thống kê. Luận văn của Vu Huy Hien đã đề xuất một phương pháp sử dụng kho ngữ liệu không được chú thích để giải quyết vấn đề này, bằng cách tích hợp WSD (Word Sense Disambiguation) vào hệ thống SMT.

1.1. Giới thiệu về Dịch Máy Thống Kê Statistical Machine Translation

Dịch máy thống kê (SMT) là một phương pháp dịch máy dựa trên các mô hình thống kê được xây dựng từ kho ngữ liệu song ngữ. Thay vì sử dụng các quy tắc ngôn ngữ học rõ ràng như trong dịch máy dựa trên quy tắc (RBMT), SMT học các mối quan hệ giữa các ngôn ngữ một cách tự động từ dữ liệu. Các hệ thống SMT điển hình bao gồm các thành phần chính như mô hình dịch, mô hình ngôn ngữ và bộ giải mã. Mô hình dịch ước tính xác suất một cụm từ hoặc câu trong ngôn ngữ nguồn tương ứng với một cụm từ hoặc câu trong ngôn ngữ đích. Mô hình ngôn ngữ đánh giá tính trôi chảy và ngữ pháp của câu đầu ra. Bộ giải mã tìm kiếm bản dịch tốt nhất dựa trên sự kết hợp của mô hình dịch và mô hình ngôn ngữ.

1.2. Tầm quan trọng của Kho Ngữ Liệu Đơn Ngữ trong SMT

Sự thành công của SMT phụ thuộc rất lớn vào chất lượng và quy mô của kho ngữ liệu được sử dụng để huấn luyện các mô hình. Tuy nhiên, việc thu thập kho ngữ liệu song ngữ lớn và chất lượng cao có thể rất tốn kém và mất thời gian, đặc biệt là đối với các ngôn ngữ ít được quan tâm. Kho ngữ liệu đơn ngữ, mặt khác, thường dễ dàng thu thập hơn và có sẵn với số lượng lớn hơn nhiều. Việc sử dụng kho ngữ liệu đơn ngữ có thể giúp SMT giải quyết các vấn đề như khan hiếm dữ liệu, tính đặc thù của lĩnh vực và tính khái quát hóa. Bằng cách huấn luyện các mô hình ngôn ngữ trên kho ngữ liệu đơn ngữ, hệ thống SMT có thể cải thiện khả năng tạo ra các bản dịch trôi chảy và tự nhiên hơn.

1.3. Các phương pháp khai thác dữ liệu đơn ngữ trong dịch máy

Có nhiều phương pháp khác nhau để khai thác kho ngữ liệu đơn ngữ trong SMT. Một phương pháp phổ biến là sử dụng dữ liệu đơn ngữ để cải thiện mô hình ngôn ngữ. Bằng cách huấn luyện mô hình ngôn ngữ trên một lượng lớn dữ liệu đơn ngữ, hệ thống có thể học được các quy tắc ngữ pháp và phong cách viết của ngôn ngữ đích. Một phương pháp khác là sử dụng dữ liệu đơn ngữ để tạo ra dữ liệu song ngữ giả. Các kỹ thuật như back-translation có thể được sử dụng để tự động tạo ra các cặp câu song ngữ từ dữ liệu đơn ngữ. Các cặp câu này sau đó có thể được sử dụng để huấn luyện mô hình dịch.

II. Thách Thức và Vấn Đề trong Dịch Máy Thống Kê Hiện Tại 59 ký tự

Các phương pháp dựa trên thống kê liên tục đối mặt với những thiếu sót của kho ngữ liệu song ngữ và ngữ liệu chuyên ngành. Việc tạo ra kho ngữ liệu này đòi hỏi nỗ lực lớn của con người và sự sẵn có của các chuyên gia. Chỉ một số ít ngôn ngữ phổ biến trên thế giới nhận được sự hỗ trợ tài chính liên tục và sự quan tâm của các nhà nghiên cứu để phát triển các hệ thống dịch máy. Đối với hầu hết các ngôn ngữ còn lại, có rất ít nguồn tài trợ. Do đó, nó trở thành một trở ngại lớn để áp dụng các phương pháp dựa trên thống kê cho các ngôn ngữ như vậy. Một trong những thách thức chính là vấn đề đa nghĩa của từ ngữ. Một từ có thể có nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh. Việc xác định nghĩa chính xác của một từ trong ngữ cảnh cụ thể là rất quan trọng để tạo ra các bản dịch chính xác.

2.1. Hạn chế của Dữ liệu Song Ngữ và Nhu cầu về Ngữ Liệu Đơn Ngữ

Dữ liệu song ngữ là nguồn lực quan trọng để huấn luyện các mô hình dịch máy thống kê, nhưng thường rất khó kiếm được dữ liệu song ngữ lớn cho các cặp ngôn ngữ cụ thể. Các kho ngữ liệu song ngữ thường có chi phí tạo lập cao, đặc biệt khi cần phải có sự tham gia của các chuyên gia ngôn ngữ để đảm bảo chất lượng. Ngược lại, kho ngữ liệu đơn ngữ thường dễ tiếp cận hơn và có thể được thu thập từ nhiều nguồn khác nhau như trang web, sách báo và các tài liệu trực tuyến khác. Do đó, việc khai thác kho ngữ liệu đơn ngữ trở thành một giải pháp hấp dẫn để bổ sung cho dữ liệu song ngữ và cải thiện hiệu suất của các hệ thống dịch máy.

2.2. Vấn đề Đa Nghĩa của Từ và Sự Cần Thiết của WSD

Đa nghĩa là một thách thức lớn trong xử lý ngôn ngữ tự nhiên, đặc biệt là trong dịch máy. Một từ có thể có nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh sử dụng, và việc xác định nghĩa chính xác của từ đó là rất quan trọng để tạo ra các bản dịch chính xác. Word Sense Disambiguation (WSD) là quá trình xác định nghĩa chính xác của một từ trong một ngữ cảnh cụ thể. Các kỹ thuật WSD có thể được sử dụng để cải thiện hiệu suất của các hệ thống dịch máy thống kê bằng cách cung cấp thông tin ngữ nghĩa chính xác hơn cho các mô hình dịch.

2.3. Thách thức về Tính Khái quát hóa và Sự Thích ứng Miền

Một thách thức khác trong dịch máy thống kê là vấn đề tính khái quát hóa. Các mô hình dịch máy thường được huấn luyện trên một tập dữ liệu cụ thể và có thể hoạt động kém hiệu quả khi áp dụng cho các miền hoặc chủ đề khác. Điều này là do các mô hình có thể đã học được các mẫu và mối quan hệ cụ thể cho miền huấn luyện, và các mẫu này có thể không áp dụng được cho các miền khác. Việc sử dụng kho ngữ liệu đơn ngữ có thể giúp cải thiện tính khái quát hóa của các hệ thống dịch máy bằng cách cung cấp dữ liệu từ nhiều miền và chủ đề khác nhau.

III. Cách Kho Ngữ Liệu Đơn Ngữ Cải Thiện Chất Lượng Dịch Máy 60 ký tự

Gần đây, có một số phương pháp để giải quyết trở ngại này. (Pham et al., 2005) đã trình bày nghiên cứu của mình về các thuật toán học bán giám sát, cụ thể là co-training in (Blum and Mitchell, 1998), smooth cotraining in (Mihalcea, 2004), spectral graph transduction in (Joachims, 2003) và biến thể co-training của nó cho WSD. Ông đã sử dụng thông tin về các từ xung quanh và sự kết hợp cục bộ cho nhiệm vụ mẫu từ vựng tiếng Anh Senseval 2 và nhiệm vụ tất cả các từ tiếng Anh. Kết quả của ông cho thấy rằng việc sử dụng dữ liệu không được gắn nhãn có thể mang lại sự cải thiện đáng kể về độ chính xác của WSD. Tương tự, (Niu et al., 2005) đã sử dụng thuật toán lan truyền nhãn trong (Zhu and Ghahramani, 2002) cho WSD, trong đó dữ liệu không được gắn nhãn và dữ liệu được gắn nhãn được biểu thị bằng các đỉnh trong một biểu đồ được kết nối.

3.1. Tăng Cường Mô Hình Ngôn Ngữ với Dữ Liệu Đơn Ngữ

Các mô hình ngôn ngữ đóng vai trò quan trọng trong việc đảm bảo tính trôi chảy và tự nhiên của các bản dịch. Việc huấn luyện mô hình ngôn ngữ trên một lượng lớn kho ngữ liệu đơn ngữ cho phép mô hình học được các quy tắc ngữ pháp, phong cách viết và các đặc điểm ngôn ngữ khác. Điều này giúp cải thiện khả năng của hệ thống dịch máy trong việc tạo ra các bản dịch tự nhiên và dễ đọc hơn. Các kỹ thuật như n-gram, neural network language model (NNLM) và pretrained language models như BERT và GPT có thể được sử dụng để huấn luyện mô hình ngôn ngữ trên kho ngữ liệu đơn ngữ.

3.2. Kỹ Thuật Back Translation và Tạo Dữ Liệu Song Ngữ Giả

Kỹ thuật back-translation là một phương pháp phổ biến để tạo ra dữ liệu song ngữ giả từ kho ngữ liệu đơn ngữ. Trong phương pháp này, một hệ thống dịch máy được sử dụng để dịch dữ liệu đơn ngữ từ ngôn ngữ đích sang ngôn ngữ nguồn. Kết quả là một tập hợp các cặp câu, trong đó một câu là câu gốc trong ngôn ngữ đích và câu còn lại là bản dịch ngược trong ngôn ngữ nguồn. Các cặp câu này sau đó có thể được sử dụng để huấn luyện mô hình dịch. Kỹ thuật back-translation có thể giúp cải thiện hiệu suất của các hệ thống dịch máy bằng cách cung cấp thêm dữ liệu huấn luyện và giảm sự phụ thuộc vào dữ liệu song ngữ.

3.3. Fine tuning Pretrained Language Models trên Dữ liệu Đơn Ngữ

Các pretrained language models như BERT và GPT đã đạt được những thành công đáng kể trong nhiều nhiệm vụ xử lý ngôn ngữ tự nhiên, bao gồm cả dịch máy. Các mô hình này được huấn luyện trước trên một lượng lớn kho ngữ liệu đơn ngữ và có thể học được các biểu diễn ngôn ngữ phong phú. Sau đó, các mô hình này có thể được fine-tuning trên một tập dữ liệu nhỏ hơn cụ thể cho nhiệm vụ dịch máy. Việc fine-tuning các pretrained language models trên dữ liệu đơn ngữ có thể giúp cải thiện hiệu suất của các hệ thống dịch máy, đặc biệt là trong các tình huống khan hiếm dữ liệu song ngữ.

IV. Ứng Dụng Thực Tiễn Cải Thiện WSD và Dịch Máy 59 ký tự

Rõ ràng, vấn đề khó khăn nhất của phương pháp dựa trên thống kê là dữ liệu thưa thớt. Do đó, chúng ta cần một tính năng để khắc phục vấn đề này. (Harris, 1985) tuyên bố rằng các từ xuất hiện trong cùng một ngữ cảnh có xu hướng tương tự nhau. Theo trực giác này, hầu hết các hệ thống WSD được giám sát đều sử dụng các từ ngữ cảnh xung quanh từ mục tiêu và các WordNet (chẳng hạn như từ đồng nghĩa, từ siêu và từ đồng nghĩa) của từ mục tiêu làm tính năng. Chúng tôi đề xuất một phương pháp sử dụng thông tin phân cụm để mở rộng ngữ cảnh cho WSD. Đầu tiên, chúng tôi áp dụng phương pháp phân cụm từ trong (Brown et al., 1992) cho British National Corpus để tạo cụm.

4.1. Sử dụng Ngữ Cảnh Phân Cụm để Cải Thiện WSD

Một phương pháp để cải thiện độ chính xác của WSD là sử dụng thông tin phân cụm từ. Ý tưởng là các từ xuất hiện trong cùng ngữ cảnh có xu hướng mang nghĩa tương tự nhau. Do đó, việc phân cụm các từ có thể giúp xác định nghĩa chính xác của một từ trong ngữ cảnh cụ thể. Các thuật toán phân cụm từ khác nhau có thể được sử dụng để tạo ra các cụm từ, và các cụm này sau đó có thể được sử dụng làm tính năng trong mô hình WSD.

4.2. Ảnh hưởng của WSD được Cải Thiện lên Hệ Thống SMT

Việc cải thiện độ chính xác của WSD có thể có tác động đáng kể đến hiệu suất của các hệ thống SMT. Bằng cách cung cấp thông tin ngữ nghĩa chính xác hơn, WSD có thể giúp SMT tạo ra các bản dịch chính xác hơn và tự nhiên hơn. Ví dụ, nếu một từ có nhiều nghĩa khác nhau và WSD có thể xác định nghĩa chính xác trong ngữ cảnh cụ thể, thì SMT có thể chọn bản dịch phù hợp hơn cho từ đó.

4.3. Kết quả Nghiên Cứu và Đánh Giá Chất Lượng Dịch Máy

Các nghiên cứu đã chứng minh rằng việc kết hợp các kỹ thuật WSD vào SMT có thể cải thiện đáng kể chất lượng của các bản dịch. Các phương pháp đánh giá tự động như BLEU và METEOR có thể được sử dụng để đánh giá hiệu suất của các hệ thống SMT với và không có WSD. Các kết quả thường cho thấy rằng các hệ thống SMT có tích hợp WSD đạt được điểm số cao hơn, cho thấy rằng WSD có thể cải thiện độ chính xác và tính trôi chảy của các bản dịch.

V. Kết Luận và Hướng Nghiên Cứu Dịch Máy Trong Tương Lai 59 ký tự

Trong luận văn này, chúng tôi đã chứng minh một hiệu ứng đáng kể của WSD bootstrapped trên hệ thống SMT và cho thấy tác động của tính năng phân cụm cho WSD. Các phân tích và kết quả trên các thí nghiệm cũng chỉ ra rằng cách tiếp cận nâng cao chất lượng của mô hình WSD góp phần cải thiện chất lượng dịch. Theo đánh giá dựa trên nguồn dữ liệu song ngữ và hệ thống MOSES SMT mã nguồn mở, chất lượng dịch đã được cải thiện khoảng một điểm BLEU.

5.1. Tóm Tắt Kết Quả và Đóng Góp của Nghiên Cứu

Nghiên cứu này đã trình bày một phương pháp sử dụng kho ngữ liệu đơn ngữ để cải thiện hiệu suất của các hệ thống dịch máy thống kê. Các kết quả cho thấy rằng việc kết hợp dữ liệu đơn ngữ có thể cải thiện đáng kể chất lượng của các bản dịch, đặc biệt là trong các tình huống khan hiếm dữ liệu song ngữ. Nghiên cứu cũng đã khám phá các kỹ thuật khác nhau để khai thác kho ngữ liệu đơn ngữ, bao gồm tăng cường mô hình ngôn ngữ, back-translation và fine-tuning pretrained language models.

5.2. Hướng Nghiên Cứu Tiếp Theo và Tiềm Năng Phát Triển

Có nhiều hướng nghiên cứu tiềm năng trong lĩnh vực sử dụng kho ngữ liệu đơn ngữ cho dịch máy. Một hướng là khám phá các phương pháp mới để tạo ra dữ liệu song ngữ giả từ dữ liệu đơn ngữ. Một hướng khác là phát triển các mô hình WSD mạnh mẽ hơn có thể tận dụng kho ngữ liệu đơn ngữ để cải thiện độ chính xác. Ngoài ra, việc khám phá các phương pháp kết hợp dữ liệu đơn ngữ và song ngữ một cách hiệu quả hơn cũng là một hướng nghiên cứu quan trọng.

5.3. Tác động của Ngữ Liệu Đơn Ngữ đến Dịch Máy Tự Động

Việc sử dụng kho ngữ liệu đơn ngữ có tiềm năng cách mạng hóa lĩnh vực dịch máy tự động. Bằng cách giảm sự phụ thuộc vào dữ liệu song ngữ tốn kém và khó kiếm, kho ngữ liệu đơn ngữ có thể giúp các hệ thống dịch máy trở nên dễ tiếp cận hơn cho các ngôn ngữ ít được quan tâm và cho các ứng dụng chuyên biệt. Điều này có thể có tác động đáng kể đến việc giao tiếp và trao đổi thông tin trên toàn cầu.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY VU HUY HIEN BOOTSTRAPPING SMT USING UNANNOTATED CORPORA OF THE SOURCE LANGUAGE MASTER THESIS OF INFORMATION TECHNOLOGY Hanoi - 2014 TIEU LUAN MOI download : [e-mail] VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY VU HUY HIEN BOOTSTRAPPING SMT USING UNANNOTATED CORPORA OF THE SOURCE LANGUAGE Major: Computer science Code: 60 48 01 MASTER THESIS OF INFORMATION TECHNOLOGY SUPERVISOR: PhD. Nguyen Phuong Thai Hanoi - 2014 TIEU LUAN MOI download : [e-mail] 2 TIEU LUAN MOI download : [e-mail] ORIGINALITY STATEMENT ‘I hereby declare that this submission is my own work and to the best of my knowledge it contains no materials previously published or written by another person, or substan- tial proportions of material which have been accepted for the award of any other degree or diploma at University of Engineering and Technology (UET/Coltech) or any other educational institution, except where due acknowledgement is made in the thesis. Any contribution made to the research by others, with whom I have worked at UET/Coltech or elsewhere, is explicitly acknowledged in the thesis. I also declare that the intellectual content of this thesis is the product of my own work, except to the extent that assistance from others in the project’s design and conception or in style, presentation and linguistic expression is acknowledged.’ Hanoi, December 6th , 2014 Signed.

i TIEU LUAN MOI download : [e-mail] ABSTRACT Nowadays, statistical machine translation is derived diverse interest of researchers thanks to its advantages. However, approaches based on statistic constantly confront deficiencies of parallel and specific domain corpora. Generating these corpora re- quires intensive human effort and availability of experts. Unfortunately, only a few popular languages in the world are derived continuous financial support and interest of researchers for development of machine translation systems.

For most remaining languages, there is very small interest of funding available. Therefore it becomes an immense obstacle to apply approaches based on statistic for such languages. The purpose of this thesis is to propose a method for utilizing unannotated corpora to address this impediment. Publications: ? Hien Vu Huy, Phuong-Thai Nguyen, Tung-Lam Nguyen and M.

Bootstrapping Phrase- based Statistical Machine Translation via WSD Integration. In Proceedings of the Sixth Interna- tional Joint Conference on Natural Language Processing (IJCNLP 2013), pp. ii TIEU LUAN MOI download : [e-mail] ACKNOWLEDGEMENTS First and foremost, I would like to express my deepest gratitude to my supervi- sor, Dr. Nguyen Phuong Thai, for his patient guidance and continuous supports throughout the years.

He always appears when I need help, and responds to queries so helpfully and promptly. I would like to give my honest appreciation to my best friends in my home town for whatsoever they did for me. I sincerely acknowledge the Vietnam National University, Hanoi and especially, QG.49 project for sup- porting finance to my master study. Finally, this thesis would not have been possible without the support and love of my parents.

Thank you! iii TIEU LUAN MOI download : [e-mail] To my family ♥ iv TIEU LUAN MOI download : [e-mail] Table of Contents 1 Introduction 1 2 Literature review 4 2.4 Moses - an Open Statistical Machine Translation System .2 Word Sense Disambiguation. 11 3 Utilizing WSD for SMT 17 3.2 WSD Training Data Generation .2 Using Unlabelled Data .2 A new Algorithm with Sense Distribution Control .3 Using Clustering Context Information .1 Corpora and Tools. 26 v TIEU LUAN MOI download : [e-mail] TABLE OF CONTENTS vi 4.1 Extend Labelled Data .2 WSD clustering task .3 The impact of context on WSD .4 Impact of WSD system on SMT translation system. 32 5 Conclusion 35 TIEU LUAN MOI download : [e-mail] List of Figures 1.1 Integrating WSD into phrase-based SMT system .1 Integrating WSD into phrase-based SMT system .1 Sense distribution of interest.

24 vii TIEU LUAN MOI download : [e-mail] List of Tables 4.1 Statistics for training, testing and developing corpora .2 Statistics for training, testing and developing corpora for using clus- tering context information .3 Statistics for samples and features before extending and after extending 28 4.4 Expansion result with the word interest .5 Example translation of the test for hard .6 Example translation of the test for maturity .7 BLEU scores of phrase-based SMT systems with WSD and BNC- extended WSD .8 Accuracy of WSD system with the clustering feature and without the clustering feature for words hard, good, maturity and grow .9 Example translation of the test for late .10 BLEU scores of phrase-based SMT systems with WSD and WSD with the clustering feature .11 Sense distribution of since. 34 viii TIEU LUAN MOI download : [e-mail] List of Abbreviations SMT Statistical Machine Translation EBMT Example-based machine translation WSD Word Sense Disambiguation BLEU Bilingual Evaluation Understudy MERT Minimum Error Rate Training MEM Maximum Entropy Model BNC British National Corpus POS Part of Speech AI Artificial Intelligence ix TIEU LUAN MOI download : [e-mail] Chapter 1 Introduction Conventional phrase based systems use local context information from phrase table and language model. Although phrase based SMT achieves a jump in translation quality in comparison with word based SMT, there are still cases in which local context can not capture well the correct meaning of source words. WSD can use features from much larger contexts and those features can overlap each other.

The idea of integrating WSD and SMT rises naturally from this perspective. Previously, (Garcı́a-Varea et al., 2001) directly used context sensitive lexical models for SMT. Their SMT system was a word-based maximum entropy model (MEM). They reported significant decreases in perplexities of training and testing corpora.

Besides, they also used these lexical models for re-ranking n-best lists and achieved slight improvements in translation quality. (Chan et al., 2007) made use of WSD for hierarchical phrase-based translation. WSD training data was generated from bilingual corpus using word alignment in- formation. They used two new WSD features for SMT and proposed an algorithm for scoring synchronous rules.

Phrases which do not exceed a length of two were computed WSD models. Their experiments, carried out using a standard Chinese to English translation task, showed that WSD can improve SMT significantly. Simultaneously with (Chan et al., 2007), (Carpuat and Wu, 2007) used a similar approach to the problem. The main difference was that they focused on conventional phrase-based SMT in (Koehn et al., 2003) and used only one WSD feature for SMT.

The limit of phrase length was the same as the value used by their SMT system. Their experiments led to the same conclusion: WSD can improve SMT. However, approaches based on statistic constantly confront deficiencies of parallel 1 TIEU LUAN MOI download : [e-mail] 2 and specific domain corpora. Generating these corpora requires intensive human effort and availability of experts.

Only a few popular languages in the world are derived continuous financial support and interest of researchers for development of machine translation systems. For most remaining languages, there is very small interest of funding available. Therefore it becomes an immense obstacle to apply approaches based on statistic for such languages. Recently, there are several approaches to address this impediment.

(Pham et al., 2005) has shown his study on semi-supervised learning algorithms, namely cotraining in (Blum and Mitchell, 1998), smooth cotraining in (Mihalcea, 2004), spectral graph transduction in (Joachims, 2003) and its cotraining variant for WSD. He has used information of surrounding words and local collocations for Senseval 2 English lexical sample task and English all-words task. His results showed that using unlabelled data can bring significant improvement in WSD accuracy. Similarity, (Niu et al., 2005) has used label propagation algorithm in (Zhu and Ghahramani, 2002) for WSD in which unlabelled data and labelled data were represented by vertices in a connected graph.

Then label information was iteratively propagated from any vertex to nearby vertices through weighted edges. After the propagation process converged, unlabelled data was assigned labels. The result indicated that his method outperformed traditional supervised machine learning methods in WSD for sparse data problem. However, both (Pham et al., 2005) and (Niu et al., 2005) have merely used unlabelled data without observing sense distribution of words.

In addition to improve accuracy of WSD, various approaches focus directly on SMT to face sparse data problem. (Yang and Kirchhoff, 2010) utilized a graph-based unsupervised WSD algorithm to approach a lacking of specific domain data. They represented all word senses in a text as nodes in an undirected graph, applying PageRank algorithm to score edges in their graph for calculating correct senses and attaining a slight improvement in quality of translation. (Ambati et al., 2011) applied multi-strategy methods to active learning for ma- chine translation.

They combined several technique in sentences selection process in order to enhance quality of active learning approach. Results in their experiments indicated that their approach enhanced translation performance significantly when parallel training data was scarce. However, most of these mentioned above approaches focus on target language to improve translation quality. In this thesis, we present our study on this topic and propose a method to improve translation quality via source language.

TIEU LUAN MOI download : [e-mail] 3 The rest of this thesis is organized as following. First, we introduce an overview of related backgrounds in Chapter 2. Then by integrating WSD as a model of SMT system as shown in the Figure 1.1, we present how we use WSD for SMT in Chapter 3. We also demonstrate a method to bootstrap WSD models by using unlabelled data and to exploit words clustering information in this chapter.

In Chapter 4, we present our experiments and results. Finally, conclusion is shown in Chapter 5.1: Integrating WSD into phrase-based SMT system TIEU LUAN MOI download : [e-mail] Chapter 2 Literature review In this chapter, we introduce an overview of Machine Translation (MT) and Word Sense Disambiguation (WSD) in section 2. In the first section, we introduce the history, approaches in MT and Moses SMT tool-kit. In the remaining section, we introduce an overview of WSD.1 The history Machine Translation is a sub-field of computational linguistics which investigate methods to translate text or speech from one natural language to another by uti- lizing software.

The first idea of using machine to translate text came from Leibniz and Descartes in seventh century when they gave an idea to use a general language which can represent one idea in all different languages by one symbol. However, this proposal was not executed. The first invention for automatic translated application was executed in the mid of 1930s. At this time, Georges Artsruni created an bilingual dictionary for an auto- matic look up.

After that, Pyotr Troyanski continuously developed this invention with many complements including grammar rules based on constructed international auxiliary language (Esperanto). In 1950s, the history of modern machine transla- tion was officially recorded. In 1954, A Georgetown MT research team successfully translated automatically 60 Russian sentences into English. This initial succeed opened a new chance for research of machine translation.

At this time, the authors claimed that all issues of machine translation will be solved in next several years 4 TIEU LUAN MOI download : skknchat@gmail. Machine Translation 5 in (Hutchins et al. However, real progress was much slower than they ex- pected. In a report in (Pierce and Carroll, 1966) pointed out that after ten-year-long research had failed to fulfill expectations, due to which, funding for MT research was greatly reduced.

In the 1980s, research on MT typically relied on translation through some variety of intermediary linguistic representation involving morpholog- ical, syntactic, and semantic analysis. Until the end of 1980s, when computational power increased and became less expensive, more interest appeared and focused on statistical approach which was impossible in 1960s and 1970s. There was a large surge in a number of novel methods for MT in this time. Recently, research on MT has seen major changes.

A large amount of research is being done in statistical machine translation and example based machine transla- tion.