Luận văn thạc sĩ: Cải tiến chất lượng hệ dịch máy thống kê sử dụng kho ngữ liệu đơn ngữ

Luận văn thạc sĩ nghiên cứu vnu uet cải tiến chất lượng hệ dịch máy thống kê bằng cách sử dụng kho ngữ liệu đơn ngữ trong ngôn, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Vu Huy Hien
• Người hướng dẫn: PhD. Nguyen Phuong Thai
• Trường học: Vietnam National University, Hanoi University of Engineering and Technology
• Chuyên ngành: Computer Science
• Đề tài: Cải Tiến Chất Lượng Dịch Máy Thống Kê Bằng Kho Ngữ Liệu Đơn Ngữ
• Loại tài liệu: Master Thesis
• Năm xuất bản: 2014
• Địa điểm: Hanoi

Mục lục chi tiết

• 1. Introduction
• 2. Literature review
• 2.1. Moses - an Open Statistical Machine Translation System
• 2.2. Word Sense Disambiguation
• 3. Utilizing WSD for SMT
• 3.1. WSD Training Data Generation
• 3.2. Using Unlabelled Data
• 3.3. A new Algorithm with Sense Distribution Control
• 3.4. Using Clustering Context Information
• 3.5. Corpora and Tools
• 4. Experiments and Results
• 4.1. Extend Labelled Data
• 4.2. WSD clustering task
• 4.3. The impact of context on WSD
• 4.4. Impact of WSD system on SMT translation system
• 5. Conclusion

Tóm tắt

I. Tổng quan về cải tiến chất lượng dịch máy thống kê

Cải tiến chất lượng dịch máy thống kê là một lĩnh vực nghiên cứu quan trọng trong công nghệ dịch thuật tự động. Với sự phát triển của các phương pháp học máy, việc nâng cao độ chính xác của các hệ thống dịch máy trở nên khả thi hơn bao giờ hết. Một trong những thách thức lớn nhất là thiếu hụt dữ liệu song ngữ chất lượng cao. Do đó, việc sử dụng kho ngữ liệu đơn ngữ để cải thiện chất lượng dịch máy là một giải pháp tiềm năng.

1.1. Định nghĩa và vai trò của dịch máy thống kê

Dịch máy thống kê (SMT) là phương pháp dịch thuật dựa trên các mô hình thống kê, sử dụng dữ liệu song ngữ để xây dựng các quy tắc dịch. Phương pháp này đã chứng minh được hiệu quả trong việc cải thiện chất lượng dịch thuật, đặc biệt là khi có đủ dữ liệu.

1.2. Tại sao cần cải tiến chất lượng dịch máy

Chất lượng dịch máy cần được cải tiến để đáp ứng nhu cầu ngày càng cao của người dùng. Việc cải thiện này không chỉ giúp tăng độ chính xác mà còn nâng cao trải nghiệm người dùng trong việc sử dụng các ứng dụng dịch thuật.

II. Thách thức trong việc cải tiến chất lượng dịch máy thống kê

Mặc dù có nhiều tiến bộ trong lĩnh vực dịch máy, nhưng vẫn tồn tại nhiều thách thức lớn. Một trong những vấn đề chính là sự thiếu hụt dữ liệu song ngữ chất lượng cao, đặc biệt đối với các ngôn ngữ ít được sử dụng. Điều này dẫn đến việc các mô hình dịch máy không thể học được các quy tắc ngữ nghĩa phức tạp.

2.1. Thiếu hụt dữ liệu song ngữ

Nhiều ngôn ngữ không có đủ dữ liệu song ngữ để huấn luyện các mô hình dịch máy. Điều này gây khó khăn trong việc phát triển các hệ thống dịch máy chính xác cho các ngôn ngữ này.

2.2. Khó khăn trong việc xử lý ngữ nghĩa

Việc xử lý ngữ nghĩa trong dịch máy thống kê gặp nhiều khó khăn do sự đa nghĩa của từ và ngữ cảnh. Điều này làm cho việc dịch chính xác trở nên phức tạp hơn.

III. Phương pháp cải tiến chất lượng dịch máy bằng kho ngữ liệu đơn ngữ

Một trong những phương pháp hiệu quả để cải tiến chất lượng dịch máy là sử dụng kho ngữ liệu đơn ngữ. Phương pháp này cho phép khai thác thông tin từ các ngữ liệu không được chú thích để cải thiện độ chính xác của mô hình dịch máy.

3.1. Sử dụng kho ngữ liệu đơn ngữ

Kho ngữ liệu đơn ngữ có thể cung cấp thông tin ngữ cảnh phong phú, giúp cải thiện khả năng hiểu ngữ nghĩa của mô hình dịch máy. Việc này có thể giúp giảm thiểu các lỗi dịch do thiếu thông tin.

3.2. Kết hợp với các phương pháp học máy

Kết hợp kho ngữ liệu đơn ngữ với các phương pháp học máy hiện đại có thể tạo ra những mô hình dịch máy mạnh mẽ hơn. Các thuật toán học sâu có thể khai thác tốt hơn các đặc điểm ngữ nghĩa từ dữ liệu đơn ngữ.

IV. Ứng dụng thực tiễn của cải tiến chất lượng dịch máy thống kê

Việc cải tiến chất lượng dịch máy thống kê không chỉ có ý nghĩa lý thuyết mà còn có nhiều ứng dụng thực tiễn. Các hệ thống dịch máy được cải tiến có thể phục vụ cho nhiều lĩnh vực khác nhau như giáo dục, thương mại, và giao tiếp quốc tế.

4.1. Ứng dụng trong giáo dục

Các hệ thống dịch máy cải tiến có thể hỗ trợ học sinh và sinh viên trong việc học ngoại ngữ, giúp họ tiếp cận tài liệu học tập bằng ngôn ngữ mẹ đẻ của mình.

4.2. Ứng dụng trong thương mại

Trong lĩnh vực thương mại, các hệ thống dịch máy chính xác có thể giúp các doanh nghiệp mở rộng thị trường quốc tế, giao tiếp hiệu quả với khách hàng và đối tác nước ngoài.

V. Kết luận và tương lai của cải tiến chất lượng dịch máy thống kê

Cải tiến chất lượng dịch máy thống kê thông qua kho ngữ liệu đơn ngữ là một hướng đi đầy hứa hẹn. Với sự phát triển không ngừng của công nghệ học máy, tương lai của dịch máy sẽ ngày càng trở nên sáng sủa hơn.

5.1. Tương lai của dịch máy thống kê

Dự báo rằng trong tương lai, các hệ thống dịch máy sẽ ngày càng chính xác hơn nhờ vào việc khai thác hiệu quả các kho ngữ liệu đơn ngữ và các công nghệ học máy tiên tiến.

5.2. Những thách thức cần vượt qua

Mặc dù có nhiều tiến bộ, nhưng vẫn còn nhiều thách thức cần phải giải quyết, bao gồm việc cải thiện độ chính xác và khả năng xử lý ngữ nghĩa trong các hệ thống dịch máy.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa và toàn cầu hóa thông tin, dịch máy thống kê (Statistical Machine Translation - SMT) đã trở thành một công cụ then chốt trong xử lý ngôn ngữ tự nhiên. Tuy nhiên, các hệ thống SMT dựa trên cụm từ truyền thống thường gặp rào cản lớn khi xử lý các từ đa nghĩa do chỉ khai thác thông tin ngữ cảnh cục bộ hạn hẹp. Đối với các cặp ngôn ngữ có nguồn tài nguyên hạn chế như Anh - Việt, thách thức này càng trở nên nghiêm trọng bởi sự thiếu hụt trầm trọng của kho ngữ liệu song ngữ chuyên ngành được gán nhãn chuẩn xác. Việc xây dựng các kho ngữ liệu gán nhãn thủ công đòi hỏi chi phí tài chính khổng lồ cùng hàng nghìn giờ làm việc của các chuyên gia ngôn ngữ.

Nghiên cứu của tác giả Vũ Huy Hiển tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, dưới sự hướng dẫn của Tiến sĩ Nguyễn Phương Thái vào năm 2014, tập trung giải quyết triệt để bài toán này. Mục tiêu cốt lõi của đề tài là đề xuất giải pháp kỹ thuật tự khởi tạo và mở rộng (bootstrapping) mô hình định hướng nghĩa từ (Word Sense Disambiguation - WSD) bằng cách tận dụng kho ngữ liệu đơn ngữ chưa gán nhãn của ngôn ngữ nguồn, cụ thể là kho ngữ liệu quốc gia Anh (British National Corpus - BNC) với quy mô 100 triệu từ.

Phạm vi thực nghiệm được triển khai trên kho ngữ liệu song ngữ Anh - Việt gồm khoảng 135.000 cặp câu thuộc nhiều lĩnh vực đa dạng. Nghiên cứu mang ý nghĩa thực tiễn sâu sắc khi cung cấp giải pháp nâng cao chất lượng dịch thuật tự động mà không phụ thuộc vào nguồn kinh phí gán nhãn đắt đỏ, giúp cải thiện trực tiếp chỉ số BLEU lên tới 1,54 điểm và nâng độ chính xác của mô hình phân loại nghĩa từ lên trên 16% đối với các từ đa nghĩa phức tạp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của ba nền tảng lý thuyết và mô hình tính toán hiện đại trong xử lý ngôn ngữ tự nhiên:

Mô hình dịch máy thống kê dựa trên cụm từ (Phrase-based SMT): Hệ thống dịch mô phỏng xác suất chuyển dịch văn bản nguồn sang văn bản đích thông qua mô hình tuyến tính log (log-linear model). Mô hình này kết hợp hàm trọng số của nhiều thành phần như mô hình dịch cụm từ, mô hình ngôn ngữ n-gram và mô hình sắp xếp lại trật tự từ.

Mô hình Entropy cực đại (Maximum Entropy Model - MEM): Được áp dụng để xây dựng bộ phân loại WSD. MEM cho phép tích hợp linh hoạt 5 nhóm đặc trưng ngữ cảnh đa dạng, bao gồm: túi từ (bag-of-words với kích thước cửa sổ từ -100 đến +100), tập hợp từ kết hợp (collocations với độ dài tối đa 4 từ), chuỗi từ theo thứ tự, từ loại kết hợp (POS collocations) và chuỗi từ loại theo thứ tự.

Lý thuyết thông tin và khoảng cách phân kỳ Kullback-Leibler (KL-Divergence): Lý thuyết định lượng độ lệch giữa hai phân phối xác suất được ứng dụng để kiểm soát phân phối nghĩa của từ trong quá trình gán nhãn bán tự động cho dữ liệu chưa gắn nhãn, ngăn ngừa hiện tượng thiên lệch nghĩa chiếm ưu thế.

Thuật toán gom cụm từ Brown (Brown Clustering): Dựa trên giả thuyết phân bố ngôn ngữ học, phương pháp này gom 100 triệu từ ngữ liệu BNC thành 1.000 cụm ngữ nghĩa tương đồng để giải quyết hiện tượng dữ liệu thưa (data sparseness).

Phương pháp nghiên cứu

Nghiên cứu sử dụng quy trình thực nghiệm định lượng kết hợp học máy bán giám sát (Semi-supervised Learning) trên hệ thống mã nguồn mở tiêu chuẩn:

Nguồn dữ liệu thực nghiệm: Bộ ngữ liệu song ngữ Anh - Việt gồm 131.118 câu huấn luyện (chứa 2.236.847 từ tiếng Anh), 218 câu phát triển và 2.000 câu kiểm thử (chứa 38.814 từ tiếng Anh) cho các thử nghiệm mở rộng nhãn; cùng tập dữ liệu chuẩn hóa gồm 116.094 câu huấn luyện, 6.829 câu phát triển và 6.829 câu kiểm thử cho thử nghiệm tích hợp đặc trưng gom cụm. Ngoài ra, một tập dữ liệu kiểm thử miền ngoài gồm 123 câu chứa các từ đa nghĩa phức tạp được gán nhãn thủ công để đánh giá độc lập, với tỷ lệ từ chưa biết (Out-of-Vocabulary - OOV) duy trì ở mức xấp xỉ 2%.

Quy trình phân tích và công cụ triển khai: Quá trình tiền xử lý sử dụng công cụ tách từ tiếng Việt chuyên dụng kết hợp bộ phân tích hình thái học. Quá trình căn chỉnh từ (word alignment) sử dụng GIZA++ và MGIZA++, mô hình ngôn ngữ xây dựng qua SRILM, và giải mã dịch thuật tích hợp qua hệ thống Moses. Lý do lựa chọn mô hình Entropy cực đại và bộ giải mã Moses là khả năng tích hợp mô hình WSD như một đặc trưng không trạng thái (stateless feature), giúp việc tối ưu hóa trọng số MERT diễn ra đồng bộ và đạt hiệu năng tối đa.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã ghi nhận bốn phát hiện mang tính đột phá về mặt học thuật và ứng dụng:

Thứ nhất, việc khai thác kho ngữ liệu đơn ngữ BNC đã mở rộng quy mô dữ liệu huấn luyện WSD vượt bậc. Số lượng mẫu huấn luyện trung bình cho mỗi từ tăng gấp 5,56 lần (từ 153 mẫu lên 851 mẫu, với trường hợp tối đa tăng từ 29.512 lên 30.471 mẫu). Số lượng đặc trưng ngữ cảnh trung bình tăng gấp 4,23 lần (từ 2.637 đặc trưng lên 11.164 đặc trưng), giúp bao phủ sâu rộng không gian biểu diễn ngữ nghĩa.

Thứ hai, thuật toán kiểm soát phân phối nghĩa bằng khoảng cách Kullback-Leibler đã nâng cao rõ rệt độ chính xác phân loại WSD. Đối với từ đa nghĩa phức tạp "interest", độ chính xác phân loại tăng mạnh từ 35% lên 51% (tăng 16 điểm phần trăm), trong khi duy trì độ lệch phân phối KL ở mức tối ưu là 0,1768, triệt tiêu hoàn toàn sự áp đảo sai lệch của các nét nghĩa phổ thông.

Thứ ba, hệ thống SMT tích hợp mô hình WSD được mở rộng từ BNC ghi nhận sự gia tăng vượt trội về điểm BLEU. Chỉ số BLEU của hệ thống tăng thêm 1,54 điểm so với mô hình SMT gốc không có WSD (đạt mức trên 35,5 điểm BLEU), đồng thời vượt trội hoàn toàn so với mô hình chỉ tích hợp WSD trên dữ liệu song ngữ chưa mở rộng.

Thứ tư, việc bổ sung đặc trưng gom cụm ngữ cảnh với 1.000 cụm từ Brown giúp cải thiện độ chính xác phân loại nghĩa cho hàng loạt từ vựng then chốt: từ "hard" tăng từ 37,5% lên 42%, từ "good" tăng từ 41% lên 45%, từ "grow" tăng từ 56% lên 58%, đồng thời giúp hệ thống dịch máy tăng thêm 0,8 điểm BLEU trên tập kiểm thử mở rộng.

Thảo luận kết quả

Khi biểu diễn các kết quả thực nghiệm lên biểu đồ phân phối xác suất và bảng ma trận dịch thuật, sự khác biệt giữa các hệ thống được thể hiện vô cùng sắc nét. Các từ vựng đa nghĩa cao như "hard", "maturity", "late" đã được chuyển dịch chính xác tuyệt đối theo từng ngữ cảnh chuyên biệt: "hard water" được dịch chuẩn xác thành "nước cứng" thay vì "nước chăm chỉ" hay "nước khó"; "sexual maturity" được dịch thành "sự trưởng thành tình dục" thay vì dịch nhầm thành "hạn" hoặc "đáo hạn"; "late at night" được dịch nhuần nhuyễn thành "khuya" thay vì "muộn tại đêm".

Nguyên nhân chính dẫn đến sự cải thiện vượt bậc này là mô hình WSD đã khắc phục được nhược điểm cốt tử của mô hình dịch cụm từ truyền thống vốn chỉ nhìn thấy ngữ cảnh hạn hẹp từ 3 đến 5 từ lân cận. Tuy nhiên, phân tích sâu cũng chỉ ra một số hạn chế: hệ thống dịch máy xử lý theo từng câu độc lập nên không thể bao quát ngữ cảnh liên câu (cross-sentence context). Chẳng hạn, từ "interest" trong một văn bản tài chính dài vẫn có thể bị dịch thành "sự quan tâm" nếu câu văn đứng riêng lẻ không chứa đủ các từ khóa kích hoạt như "shares" hay "shareholder". So với các công trình kinh điển trên thế giới sử dụng WSD cho cặp ngôn ngữ Trung - Anh hay Ả Rập - Anh, giải pháp kiểm soát phân kỳ KL kết hợp ngữ liệu BNC cho tiếng Việt mang lại hiệu quả vượt trội trong điều kiện tài nguyên khan hiếm.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được từ luận văn, bốn giải pháp chiến lược được đề xuất nhằm nâng cao hiệu năng dịch máy tự động:

Thứ nhất, mở rộng quy mô ngữ liệu song ngữ chất lượng cao. Các nhóm nghiên cứu xử lý ngôn ngữ tự nhiên cần đặt mục tiêu gia tăng quy mô kho ngữ liệu song ngữ Anh - Việt lên trên 500.000 cặp câu chuẩn hóa trong vòng 12 tháng, ưu tiên các lĩnh vực chuyên ngành sâu như y tế, pháp luật và kinh tế tài chính để giảm thiểu tỷ lệ từ ngoài từ điển xuống dưới 1%.

Thứ hai, tích hợp cơ chế phân tích ngữ cảnh liên câu vào bộ giải mã. Các kỹ sư phát triển hệ thống dịch máy cần xây dựng module trích xuất đặc trưng ngữ nghĩa xuyên đoạn văn trong lộ trình 6 tháng, nhằm nâng cao độ chính xác dịch thuật của các từ phụ thuộc ngữ cảnh rộng lên thêm 25%.

Thứ ba, ứng dụng các mô hình gom cụm ngữ nghĩa sâu và véc-tơ nhúng từ. Nhóm kỹ thuật trí tuệ nhân tạo cần triển khai thử nghiệm các kỹ thuật biểu diễn từ hiện đại kết hợp dữ liệu thu thập tự động từ Internet, hướng tới mục tiêu tăng thêm từ 1,0 đến 2,0 điểm BLEU cho hệ thống dịch trong giai đoạn 9 tháng tiếp theo.

Thứ tư, chuẩn hóa công cụ tự động kiểm soát phân kỳ dữ liệu. Các chuyên gia dữ liệu cần đóng gói thuật toán kiểm soát khoảng cách Kullback-Leibler thành một thư viện độc lập, tự động hóa việc lọc và tối ưu hóa ngưỡng phân kỳ dưới 0,15 khi bổ sung dữ liệu phi cấu trúc, hoàn thành trong vòng 3 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và đóng góp học thuật của luận văn là tài liệu tham khảo đặc biệt giá trị cho 4 nhóm đối tượng:

Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính: Nắm bắt phương pháp luận nghiên cứu thực nghiệm, kỹ thuật trích xuất dữ liệu WSD từ ngữ liệu song ngữ và cách mạng hóa quy trình học bán giám sát với tài nguyên hạn chế.

Kỹ sư phát triển phần mềm và hệ thống trí tuệ nhân tạo: Ứng dụng trực tiếp cấu trúc tích hợp tính năng WSD vào các bộ giải mã dịch máy thực tế xử lý trên 100.000 truy vấn/ngày, tối ưu hóa độ chính xác bản dịch mà không làm suy giảm tốc độ xử lý.

Giảng viên và nhà nghiên cứu tại các viện, trường đại học công nghệ: Sử dụng làm tài liệu giảng dạy chuyên đề Xử lý ngôn ngữ tự nhiên, minh họa trực quan cho các bài toán phân loại Entropy cực đại, thuật toán Brown Clustering và tối ưu hóa hàm lỗi MERT.

Chuyên gia phát triển tài nguyên ngôn ngữ và kho ngữ liệu số: Vận dụng quy trình bootstrapping để làm giàu dữ liệu ngôn ngữ tự động từ các nguồn văn bản thô, giúp tiết kiệm ít nhất 40% chi phí và thời gian gắn nhãn thủ công.

Câu hỏi thường gặp

Tại sao dịch máy thống kê truyền thống thường dịch sai các từ đa nghĩa?
Các hệ thống SMT truyền thống chỉ dựa vào bảng cụm từ và mô hình ngôn ngữ cục bộ trong phạm vi hẹp từ 3 đến 5 từ. Khi gặp các từ đa nghĩa như "hard" hay "interest", hệ thống thiếu thông tin ngữ cảnh toàn câu để xác định đúng nghĩa, dẫn đến việc chọn nhầm từ dịch theo tần suất xuất hiện cao nhất.

Cơ chế Bootstrapping giải quyết bài toán thiếu hụt ngữ liệu như thế nào?
Bootstrapping sử dụng một tập dữ liệu gán nhãn nhỏ ban đầu để huấn luyện bộ phân loại sơ bộ, sau đó tự động dự đoán và gán nhãn cho kho dữ liệu đơn ngữ khổng lồ gồm 100 triệu từ BNC. Các mẫu có độ tin cậy cao được bổ sung ngược lại tập huấn luyện, giúp tăng quy mô mẫu lên hơn 5 lần.

Khoảng cách Kullback-Leibler đóng vai trò gì trong việc kiểm soát dữ liệu?
Khoảng cách Kullback-Leibler đo lường mức độ lệch phân phối xác suất nghĩa giữa tập dữ liệu gốc và tập mở rộng. Bằng cách loại bỏ dần các mẫu làm tăng phân kỳ KL vượt ngưỡng cho phép, thuật toán giữ cho tỷ lệ các nét nghĩa luôn cân bằng, tránh hiện tượng thiên lệch nghĩa áp đảo.

Đặc trưng gom cụm ngữ cảnh mang lại lợi ích gì cho mô hình?
Thuật toán gom cụm Brown phân chia hàng triệu từ vựng thành 1.000 cụm ngữ nghĩa tương đồng. Khi gặp các từ ngữ cảnh hiếm hoặc chưa từng xuất hiện trong tập huấn luyện, mô hình WSD vẫn có thể nhận diện ngữ nghĩa thông qua mã định danh cụm, giải quyết triệt để hiện tượng dữ liệu thưa.

Mô hình WSD được tích hợp vào hệ thống dịch Moses bằng cách nào?
Mô hình WSD được lập trình và tích hợp như một đặc trưng không trạng thái (stateless feature) bên trong bộ giải mã Moses. Trọng số đóng góp của mô hình WSD được tinh chỉnh tự động thông qua quy trình huấn luyện tỷ lệ lỗi tối thiểu (MERT) song song với các đặc trưng dịch thuật khác.

Kết luận

Luận văn đã giải quyết xuất sắc một trong những bài toán hóc búa nhất của dịch máy thống kê cho cặp ngôn ngữ ít tài nguyên Anh - Việt:

• Đề xuất thành công quy trình tự khởi tạo (bootstrapping) mô hình định hướng nghĩa từ WSD bằng cách khai thác hiệu quả kho ngữ liệu thô 100 triệu từ của BNC.
• Phát triển thuật toán kiểm soát phân phối nghĩa dựa trên khoảng cách phân kỳ Kullback-Leibler, giúp tăng độ chính xác WSD của các từ phức tạp lên tới 16%.
• Tích hợp 1.000 cụm ngữ nghĩa Brown vào mô hình WSD, khắc phục hoàn hảo hiện tượng dữ liệu thưa trong không gian ngữ cảnh.
• Cải thiện chất lượng bản dịch tổng thể của hệ thống dịch máy thống kê Moses với mức tăng ấn tượng 1,54 điểm BLEU.
• Mở ra hướng tiếp cận bền vững và tiết kiệm chi phí cho các hệ thống xử lý ngôn ngữ tự nhiên trong lộ trình nghiên cứu mở rộng 12 tháng tới.

Hãy áp dụng ngay phương pháp luận và kỹ thuật tích hợp WSD tiên tiến này vào các dự án nghiên cứu và hệ thống xử lý ngôn ngữ tự nhiên của bạn để nâng tầm chất lượng dịch thuật tự động.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY VU HUY HIEN BOOTSTRAPPING SMT USING UNANNOTATED CORPORA OF THE SOURCE LANGUAGE MASTER THESIS OF INFORMATION TECHNOLOGY Hanoi - 2014 LUAN VAN CHAT LUONG download : add [e-mail] VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY VU HUY HIEN BOOTSTRAPPING SMT USING UNANNOTATED CORPORA OF THE SOURCE LANGUAGE Major: Computer science Code: 60 48 01 MASTER THESIS OF INFORMATION TECHNOLOGY SUPERVISOR: PhD. Nguyen Phuong Thai Hanoi - 2014 LUAN VAN CHAT LUONG download : add [e-mail] 2 LUAN VAN CHAT LUONG download : add [e-mail] ORIGINALITY STATEMENT ‘I hereby declare that this submission is my own work and to the best of my knowledge it contains no materials previously published or written by another person, or substan- tial proportions of material which have been accepted for the award of any other degree or diploma at University of Engineering and Technology (UET/Coltech) or any other educational institution, except where due acknowledgement is made in the thesis. Any contribution made to the research by others, with whom I have worked at UET/Coltech or elsewhere, is explicitly acknowledged in the thesis. I also declare that the intellectual content of this thesis is the product of my own work, except to the extent that assistance from others in the project’s design and conception or in style, presentation and linguistic expression is acknowledged.’ Hanoi, December 6th , 2014 Signed.

i LUAN VAN CHAT LUONG download : add [e-mail] ABSTRACT Nowadays, statistical machine translation is derived diverse interest of researchers thanks to its advantages. However, approaches based on statistic constantly confront deficiencies of parallel and specific domain corpora. Generating these corpora re- quires intensive human effort and availability of experts. Unfortunately, only a few popular languages in the world are derived continuous financial support and interest of researchers for development of machine translation systems.

For most remaining languages, there is very small interest of funding available. Therefore it becomes an immense obstacle to apply approaches based on statistic for such languages. The purpose of this thesis is to propose a method for utilizing unannotated corpora to address this impediment. Publications: ? Hien Vu Huy, Phuong-Thai Nguyen, Tung-Lam Nguyen and M.

Bootstrapping Phrase- based Statistical Machine Translation via WSD Integration. In Proceedings of the Sixth Interna- tional Joint Conference on Natural Language Processing (IJCNLP 2013), pp. ii LUAN VAN CHAT LUONG download : add [e-mail] ACKNOWLEDGEMENTS First and foremost, I would like to express my deepest gratitude to my supervi- sor, Dr. Nguyen Phuong Thai, for his patient guidance and continuous supports throughout the years.

He always appears when I need help, and responds to queries so helpfully and promptly. I would like to give my honest appreciation to my best friends in my home town for whatsoever they did for me. I sincerely acknowledge the Vietnam National University, Hanoi and especially, QG.49 project for sup- porting finance to my master study. Finally, this thesis would not have been possible without the support and love of my parents.

Thank you! iii LUAN VAN CHAT LUONG download : add [e-mail] To my family ♥ iv LUAN VAN CHAT LUONG download : add [e-mail] Table of Contents 1 Introduction 1 2 Literature review 4 2.4 Moses - an Open Statistical Machine Translation System .2 Word Sense Disambiguation. 11 3 Utilizing WSD for SMT 17 3.2 WSD Training Data Generation .2 Using Unlabelled Data .2 A new Algorithm with Sense Distribution Control .3 Using Clustering Context Information .1 Corpora and Tools. 26 v LUAN VAN CHAT LUONG download : add [e-mail] TABLE OF CONTENTS vi 4.1 Extend Labelled Data .2 WSD clustering task .3 The impact of context on WSD .4 Impact of WSD system on SMT translation system. 32 5 Conclusion 35 LUAN VAN CHAT LUONG download : add [e-mail] List of Figures 1.1 Integrating WSD into phrase-based SMT system .1 Integrating WSD into phrase-based SMT system .1 Sense distribution of interest.

24 vii LUAN VAN CHAT LUONG download : add [e-mail] List of Tables 4.1 Statistics for training, testing and developing corpora .2 Statistics for training, testing and developing corpora for using clus- tering context information .