Luận văn Thạc sĩ: Bilingual Sentence Alignment dựa trên độ dài câu và dịch từ

Luận văn thạc sĩ: Nghiên cứu song ngữ hoá câu dựa trên độ dài và dịch từ. Tối ưu hoá căn chỉnh câu, nâng cao chất lượng dịch thuật.

• Tác giả: Hai-Long Trieu
• Người hướng dẫn: Phd. Phuong-Thai Nguyen
• Trường học: Vietnam National University, Hanoi University Of Engineering And Technology
• Chuyên ngành: Computer Science
• Đề tài: Bilingual Sentence Alignment Based On Sentence Length And Word Translation
• Loại tài liệu: Master Thesis
• Năm xuất bản: 2014
• Địa điểm: Hanoi

Mục lục chi tiết

• ORIGINALITY STATEMENT
• Acknowledgements
• Abstract
• Table of Contents
• List of Figures
• List of Tables
• 1. CHAPTER ONE Introduction
• 1. Background. Background
• 1. Aligned Parallel Corpora. Aligned Parallel Corpora
• 1. Types of Alignments. Types of Alignments
• 1. Objectives of the Thesis. Objectives of the Thesis
• 2. CHAPTER TWO Related Works
• 2. Overview of Approaches. Overview of Approaches
• 2. Length-based Methods. Length-based Methods
• 2. Word Correspondences Methods. Word Correspondences Methods
• 2. Some Important Problems. Some Important Problems
• 2. Noise of Texts. Noise of Texts
• 2. Length-based Proposals. Length-based Proposals
• 2. Brown et al. Vanilla: Gale and Church, 1993. Brown et al. Vanilla: Gale and Church, 1993
• 2. Word-based Proposals. Word-based Proposals
• 2. Kay and Roscheisen, 1993. Kay and Roscheisen, 1993
• 2. Microsoft’s Bilingual Sentence Aligner: Moore, 2002. Microsoft’s Bilingual Sentence Aligner: Moore, 2002
• 2. Hunalign: Varga et al. Hunalign: Varga et al
• 2. Deng et al. Deng et al
• 2. Gargantua: Braune and Fraser, 2010. Gargantua: Braune and Fraser, 2010
• 2. Fast-Champollion: Li et al. Fast-Champollion: Li et al
• 2. Bleu-align: Sennrich and Volk, 2010. Bleu-align: Sennrich and Volk, 2010
• 2. MSVM and HMM: Fattah, 2012. MSVM and HMM: Fattah, 2012
• 3. CHAPTER THREE Our Approach
• 3. Evaluation of Moore‟s Approach. Evaluation of Moore‟s Approach
• 4. CHAPTER FOUR Experiments
• 4. Word Clustering Data. Word Clustering Data
• 4. Discussion of Results. Discussion of Results
• 5. CHAPTER FIVE Conclusion and Future Work
• 5. Better Word Translation Models. Better Word Translation Models

Tóm tắt

I. Tổng Quan Về Đối Sánh Câu Song Ngữ Luận Văn Thạc Sĩ

Luận văn thạc sĩ về đối sánh câu song ngữ đóng vai trò quan trọng trong dịch máy và xử lý dữ liệu song ngữ. Alignment văn bản song ngữ là bước thiết yếu để tận dụng nguồn tài nguyên song ngữ phong phú trong xử lý ngôn ngữ tự nhiên (NLP). Quá trình này ánh xạ các câu trong văn bản nguồn sang các đơn vị tương ứng trong văn bản đích. Corpus song ngữ được đối sánh ở cấp độ câu trở thành nguồn tài nguyên hữu ích cho nhiều ứng dụng, bao gồm dịch máy thống kê, giải nghĩa từ, và truy xuất thông tin đa ngôn ngữ. Nhiệm vụ này cũng giúp trích xuất thông tin cấu trúc và thu thập các thông số thống kê từ bilingual corpora. Nhiều thuật toán đã được đề xuất với các cách tiếp cận khác nhau để đối sánh câu. Luận văn này tóm tắt các vấn đề chung liên quan đến sentence alignment, đánh giá các phương pháp tiếp cận khác nhau và tập trung vào phương pháp kết hợp, đặc biệt là đề xuất của Moore (2002), một phương pháp hiệu quả với độ chính xác cao. Từ việc phân tích các hạn chế của phương pháp này, một thuật toán mới sử dụng tính năng mới, bilingual word clustering, để cải thiện chất lượng của phương pháp Moore được đề xuất. Phương pháp cơ sở (Moore, 2002) sẽ được giới thiệu dựa trên phân tích khung, và mô tả những ưu điểm cũng như nhược điểm của phương pháp này. Ngoài ra, các kiến thức cơ bản, thuật toán bilingual word clustering, và tính năng mới được sử dụng trong sentence alignment được mô tả. Cuối cùng, các thử nghiệm được thực hiện trong nghiên cứu này được minh họa cũng như các đánh giá để chứng minh lợi ích của phương pháp được đề xuất.

1.1. Tầm quan trọng của Alignment Văn Bản Song Ngữ trong NLP

Đối sánh câu song ngữ là một bước quan trọng trong nhiều ứng dụng của xử lý ngôn ngữ tự nhiên, bao gồm dịch máy, truy xuất thông tin đa ngôn ngữ, và xây dựng từ điển song ngữ. Các phương pháp tiếp cận dựa trên dữ liệu trong NLP phụ thuộc rất nhiều vào dữ liệu song ngữ, và việc đối sánh các câu trong các cặp văn bản song ngữ là điều cần thiết để sử dụng hiệu quả những dữ liệu này. Corpus song ngữ được đối sánh cho phép trích xuất các quy tắc dịch, xây dựng các mô hình ngôn ngữ và cải thiện chất lượng của các hệ thống dịch thuật tự động.

1.2. Các Loại Alignment 1 1 1 n và n 1 trong Corpus Song Ngữ

Luận văn đi sâu vào các loại alignment khác nhau, bao gồm alignment một-một (1-1), một-nhiều (1-n) và nhiều-một (n-1). Alignment 1-1 là trường hợp đơn giản nhất, trong đó một câu trong ngôn ngữ nguồn tương ứng với một câu duy nhất trong ngôn ngữ đích. Tuy nhiên, trong nhiều trường hợp, một câu trong ngôn ngữ nguồn có thể được dịch thành nhiều câu trong ngôn ngữ đích (1-n), hoặc ngược lại (n-1). Luận văn thảo luận về các thách thức và phương pháp tiếp cận để xử lý các loại alignment phức tạp này.

1.3. Ứng dụng của Đối Sánh Câu Song Ngữ trong Dịch Máy Thống Kê

Đối sánh câu song ngữ là bước đầu tiên và quan trọng trong quy trình dịch máy thống kê (SMT). Các cặp câu được đối sánh được sử dụng để huấn luyện các mô hình dịch, trích xuất các cụm từ dịch và ước tính các tham số thống kê. Chất lượng của alignment trực tiếp ảnh hưởng đến chất lượng của các hệ thống SMT. Luận văn xem xét các phương pháp tiếp cận khác nhau để cải thiện độ chính xác của alignment và tác động của nó đến hiệu suất của SMT.

II. Thách Thức Trong Đối Sánh Câu Song Ngữ Luận Văn Thạc Sĩ

Việc đối sánh câu không phải là một nhiệm vụ đơn giản vì các câu không phải lúc nào cũng đối sánh 1-1. Đôi khi, một câu trong một ngôn ngữ có thể được dịch thành hai hoặc nhiều câu trong ngôn ngữ khác. Văn bản đầu vào cũng ảnh hưởng đến độ chính xác. Hiệu suất của các thuật toán đối sánh câu giảm đáng kể khi dữ liệu đầu vào trở nên quá nhiễu. Dữ liệu nhiễu có nghĩa là có nhiều alignment 1-0 và 0-1 hơn trong dữ liệu. Ví dụ: có 89% alignment 1-1 trong corpus tiếng Anh-Pháp (Gale và Church, 1991) và alignment 1-0 và 0-1 chỉ là 1,3% trong corpus này. Trong khi đó, trong corpus tiếng Trung-Anh của Liên Hợp Quốc (Ma, 2006), có 89% alignment 1-1, nhưng alignment 1-0 hoặc 0-1 là 6,4% trong corpus này. Mặc dù một số phương pháp hoạt động rất tốt trên dữ liệu sạch, nhưng hiệu suất của chúng giảm nhanh chóng khi dữ liệu trở nên nhiễu. Ngoài ra, rất khó để đạt được alignment chính xác hoàn hảo ngay cả khi văn bản dễ và "sạch". Chẳng hạn, sự thành công của một chương trình alignment có thể giảm đáng kể khi áp dụng trên một cuốn tiểu thuyết hoặc văn bản triết học, nhưng chương trình này lại cho kết quả tuyệt vời khi áp dụng trên một văn bản khoa học. Hiệu suất alignment cũng phụ thuộc vào ngôn ngữ của corpus. Ví dụ, một thuật toán dựa trên cognates (các từ trong các cặp ngôn ngữ giống nhau về mặt ngữ âm) có khả năng hoạt động tốt hơn cho tiếng Anh-Pháp so với tiếng Anh-Hindi vì có ít cognates hơn cho tiếng Anh-Hindi.

2.1. Vấn đề Nhiễu Trong Dữ Liệu Song Ngữ và Ảnh Hưởng Đến Alignment

Dữ liệu nhiễu, do các lỗi dịch, văn bản không tương ứng hoặc định dạng không nhất quán, gây ra những thách thức đáng kể cho các thuật toán đối sánh câu. Các câu có thể bị thiếu, thêm vào hoặc sửa đổi, dẫn đến sự sai lệch giữa văn bản nguồn và văn bản đích. Các thuật toán phải có khả năng xử lý những sự khác biệt này để đạt được độ chính xác cao.

2.2. Sự Khác Biệt Ngôn Ngữ và Ảnh Hưởng Đến Hiệu Suất Alignment

Sự khác biệt về cấu trúc ngữ pháp, thứ tự từ và các đặc điểm ngôn ngữ khác giữa các cặp ngôn ngữ có thể ảnh hưởng đến hiệu suất của các thuật toán đối sánh câu. Các thuật toán phải được điều chỉnh để phù hợp với những khác biệt này để đảm bảo alignment chính xác.

2.3. Bài Toán Về Tính Toàn Vẹn Dữ Liệu và Khoảng Trống Từ Vựng Trong Corpus

Tính toàn vẹn của dữ liệu và khoảng trống từ vựng, đặc biệt trong các corpus chuyên ngành hoặc ít tài nguyên, đặt ra những thách thức bổ sung. Các thuật toán phải có khả năng xử lý các từ hiếm, các cụm từ đặc biệt và các thuật ngữ chuyên môn để duy trì độ chính xác của alignment.

III. Phương Pháp Đối Sánh Câu Song Ngữ Dựa Trên Độ Dài Câu và Dịch Máy

Thuật toán này sử dụng một kỹ thuật thống kê để đối sánh các câu. Nó chỉ dựa trên số lượng từ trong mỗi câu trong khi bỏ qua bản chất của các từ. Nó sử dụng một ý tưởng chung rằng hai câu càng có độ dài gần nhau thì càng có khả năng đối sánh. Các điểm neo nhất định có sẵn trong dữ liệu được sử dụng để hạn chế alignment tìm kiếm. Brown et al. sử dụng thông tin về số lượng token trong câu để tính toán alignment. Để thực hiện tìm kiếm alignment tốt nhất, Brown et al. sử dụng lập trình động. Kỹ thuật này đòi hỏi thời gian bậc hai theo độ dài của văn bản được đối sánh, do đó không thực tế để đối sánh một corpus lớn như một đơn vị duy nhất. Tính toán tìm kiếm có thể được giảm đáng kể nếu corpus song ngữ được chia thành các phần nhỏ hơn. Sự phân chia này được thực hiện bằng cách sử dụng các neo trong thuật toán này. Neo là một đoạn văn bản có khả năng có mặt ở cùng một vị trí trong cả hai corpus song song của một corpus song ngữ. Lập trình động trước tiên được sử dụng để đối sánh các neo, và sau đó kỹ thuật này được áp dụng lại để đối sánh văn bản giữa các neo. Việc tính toán alignment của thuật toán này nhanh chóng vì nó không sử dụng chi tiết từ vựng của câu. Do đó, việc áp dụng phương pháp này cho các bộ sưu tập văn bản rất lớn là thực tế, đặc biệt là cho các cặp ngôn ngữ có tương quan cao.

3.1. Sử Dụng Thông Tin Độ Dài Câu để Xây Dựng Alignment Văn Bản Song Ngữ

Các phương pháp dựa trên độ dài câu được xây dựng dựa trên mô hình hóa mối quan hệ giữa độ dài của các câu là bản dịch của nhau. Độ dài được đo bằng ký tự hoặc từ của một câu. Trong các phương pháp này, ngữ nghĩa của văn bản không được xem xét. Thay vào đó, các phương pháp thống kê được sử dụng cho nhiệm vụ này thay vì nội dung của văn bản. Nói cách khác, các phương pháp này chỉ xem xét độ dài của các câu để đưa ra quyết định alignment. Các phương pháp này dựa trên thực tế là các câu dài hơn trong một ngôn ngữ có xu hướng được dịch thành các câu dài hơn trong ngôn ngữ khác và các câu ngắn hơn có xu hướng được dịch thành các câu ngắn hơn.

3.2. Cải Tiến Alignment Bằng Cách Kết Hợp Thông Tin Từ Vựng

Một cách tiếp cận khác để vượt qua những nhược điểm của phương pháp dựa trên độ dài là phương pháp dựa trên từ, dựa trên thông tin từ vựng từ từ điển dịch và/hoặc thông qua nhận dạng các từ đồng gốc. Các phương pháp này xem xét thông tin từ vựng về văn bản. Hầu hết các thuật toán đối sánh nội dung trong một văn bản với các tương ứng của chúng trong văn bản khác và sử dụng các đối sánh này làm điểm neo trong alignment câu. Các từ là bản dịch của nhau có thể có phân phối tương tự trong văn bản ngôn ngữ nguồn và ngôn ngữ đích.

3.3. Kết Hợp Độ Dài Câu và Từ Vựng để Tối Ưu Hiệu Quả Alignment

Độ dài câu và thông tin từ vựng cũng được kết hợp để các phương pháp khác nhau có thể bổ sung cho nhau và đạt được các thuật toán hiệu quả hơn. Cả hai cách tiếp cận đều có hai lần chạy, trong đó một phương pháp dựa trên độ dài được sử dụng cho alignment đầu tiên và sau đó phục vụ như dữ liệu huấn luyện cho một mô hình dịch, sau đó được sử dụng trong một điểm tương đồng phức tạp. Moore, 2002 đề xuất một phương pháp hai giai đoạn kết hợp độ dài câu (đếm từ) trong lần chạy đầu tiên và đối sánh từ (Mô hình IBM-1) trong lần chạy thứ hai.

IV. Cải Thiện Độ Chính Xác Đối Sánh Câu Song Ngữ Bằng Word Clustering

Một vấn đề trong việc sử dụng thông tin từ vựng là nó giới hạn việc sử dụng thuật toán chỉ giữa một cặp ngôn ngữ. Moore giải quyết vấn đề này bằng cách sử dụng một phương pháp tương tự như mô hình dịch của IBM để trích xuất một corpus song ngữ với các văn bản hiện có. Phương pháp này có hai lần chạy. Thống kê dựa trên độ dài câu được sử dụng trước tiên để trích xuất dữ liệu huấn luyện cho các bảng dịch Mô hình IBM-1 trước khi mô hình này dựa trên độ dài câu được kết hợp với thống kê từ vựng thu được để trích xuất các alignment 1-1 với độ chính xác cao. Một phép tính chuyển tiếp-lùi được sử dụng làm heuristic tìm kiếm trong đó chuyển tiếp là một quy trình lập trình động được cắt tỉa. Đây là một thuật toán độc lập với ngôn ngữ và có độ chính xác cao, vì vậy nó là một phương pháp rất hứa hẹn. Nó liên tục đạt được độ chính xác cao. Hơn nữa, nó cũng nhanh so với các phương pháp chỉ sử dụng thông tin từ vựng. Không yêu cầu kiến thức về ngôn ngữ hoặc corpus cũng là một lợi thế khác của phương pháp này.

4.1. Giới Thiệu Về Word Clustering và Vai Trò Trong NLP

Word clustering, được xem là một phương pháp ước tính xác suất của các sự kiện tần suất thấp có khả năng không được quan sát trong một dữ liệu không được gắn nhãn. Một trong những mục tiêu của word clustering là vấn đề dự đoán một từ từ các từ trước đó trong một mẫu văn bản. Thuật toán này đếm sự tương tự của một từ dựa trên mối quan hệ của nó với các từ bên trái và bên phải của nó. Đầu vào cho thuật toán là một corpus dữ liệu không được gắn nhãn bao gồm một từ vựng các từ cần được gom lại.

4.2. Thuật Toán Word Clustering Brown Clustering và Ứng Dụng

Ban đầu, mỗi từ trong corpus được coi là nằm trong cụm riêng biệt của nó. Sau đó, thuật toán lặp đi lặp lại việc hợp nhất cặp cụm tối đa hóa chất lượng của kết quả clustering và mỗi từ thuộc chính xác một cụm cho đến khi số lượng cụm giảm xuống một số lượng xác định trước. Đầu ra của thuật toán word cluster là một cây nhị phân, trong đó các lá của cây là các từ trong từ vựng.

4.3. Sử Dụng Word Clustering để Xử Lý Khoảng Trống Từ Vựng trong Alignment

Trong thuật toán của chúng ta, khi đối sánh các câu dựa trên từ điển, các cặp từ tạo thành các câu tương ứng được tìm kiếm trong từ điển từ song ngữ. Tuy nhiên, không phải tất cả chúng luôn xuất hiện trong từ điển. Do đó, chúng ta áp dụng ý tưởng sử dụng bộ dữ liệu word clustering. Các từ trong cùng một cụm có một mối tương quan cụ thể và trong một số trường hợp, chúng có thể được thay thế cho nhau. Các từ biến mất trong từ điển sẽ được thay thế bằng các từ trong cùng một cụm thay vì gán tất cả các từ đó cho một từ chung như phương pháp của Moore.

V. Thử Nghiệm và Đánh Giá Hiệu Quả Của Alignment Kết Hợp Word Clustering

Trong nghiên cứu này, chúng tôi đã đề xuất một phương pháp khắc phục những nhược điểm của các phương pháp tiếp cận đó và sử dụng một tính năng mới trong alignment câu, word clustering, để giải quyết vấn đề dữ liệu thưa thớt. Việc thiếu các mục cần thiết trong từ điển được sử dụng trong giai đoạn từ vựng được bổ sung bằng cách áp dụng bộ dữ liệu word clustering. Cách tiếp cận này thu được tỷ lệ thu hồi cao trong khi độ chính xác vẫn đạt được tỷ lệ hợp lý, từ đó đạt được hiệu suất tổng thể tốt hơn đáng kể so với các phương pháp đã đề cập ở trên.

5.1. Thiết Lập Thử Nghiệm Corpus và Tiêu Chí Đánh Giá

Thử nghiệm được thực hiện trên một corpus song ngữ đa dạng, bao gồm các văn bản từ các lĩnh vực khác nhau. Các tiêu chí đánh giá bao gồm độ chính xác, độ thu hồi và F-measure, cho phép so sánh toàn diện giữa các phương pháp alignment khác nhau.

5.2. So Sánh Kết Quả Phương Pháp Kết Hợp Word Clustering So Với Phương Pháp Cơ Sở

Kết quả thử nghiệm cho thấy rằng phương pháp kết hợp word clustering vượt trội hơn phương pháp cơ sở về cả độ chính xác và độ thu hồi. Việc sử dụng word clustering giúp xử lý các từ hiếm và cải thiện khả năng alignment các câu không tương ứng trực tiếp trong từ điển.

5.3. Phân Tích Lỗi và Các Hạn Chế Của Phương Pháp Word Clustering

Phân tích lỗi chỉ ra rằng phương pháp word clustering gặp khó khăn trong việc xử lý các thuật ngữ chuyên môn và các cụm từ cố định. Các hạn chế này mở ra các hướng nghiên cứu trong tương lai, chẳng hạn như kết hợp các kỹ thuật nhận dạng thực thể có tên và các mô hình ngôn ngữ phức tạp hơn.

VI. Kết Luận và Hướng Phát Triển Trong Đối Sánh Câu Song Ngữ AI

Chương này tóm tắt công trình nghiên cứu của tôi. Tôi đã cung cấp thông tin cơ bản về parallel corpora, sentence alignment, định nghĩa các vấn đề cũng như một số vấn đề ban đầu liên quan đến các thuật toán sentence alignment. Các thuật ngữ alignment được sử dụng trong nhiệm vụ này đã được xác định trong chương này. Ngoài ra, một phác thảo về công việc nghiên cứu của tôi trong luận văn này cũng đã được cung cấp. Một cuộc thảo luận về công việc được đề xuất trong tương lai cũng được trình bày.

6.1. Tóm Tắt Các Đóng Góp Chính và Kết Quả Nghiên Cứu

Luận văn đã giới thiệu một thuật toán mới để cải thiện độ chính xác của alignment câu song ngữ bằng cách kết hợp word clustering. Kết quả thử nghiệm cho thấy rằng phương pháp được đề xuất có hiệu quả trong việc xử lý các từ hiếm và cải thiện hiệu suất tổng thể của alignment.

6.2. Các Hướng Nghiên Cứu Tương Lai Deep Learning và Ngôn Ngữ Học Đối Chiếu

Các hướng nghiên cứu trong tương lai bao gồm khám phá các kỹ thuật deep learning để học các biểu diễn từ hiệu quả hơn và kết hợp kiến thức ngôn ngữ học đối chiếu để cải thiện độ chính xác của alignment cho các cặp ngôn ngữ khác nhau.

6.3. Ứng Dụng Thực Tế và Tiềm Năng Thương Mại Của Đối Sánh Câu Song Ngữ

Đối sánh câu song ngữ có nhiều ứng dụng thực tế, bao gồm dịch máy, truy xuất thông tin đa ngôn ngữ, và xây dựng từ điển song ngữ. Tiềm năng thương mại của công nghệ này là rất lớn, đặc biệt trong bối cảnh toàn cầu hóa và nhu cầu ngày càng tăng về giao tiếp đa ngôn ngữ.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY HAI-LONG TRIEU BILINGUAL SENTENCE ALIGNMENT BASED ON SENTENCE LENGTH AND WORD TRANSLATION MASTER THESIS OF INFORMATION TECHNOLOGY Hanoi - 2014 TIEU LUAN MOI download : [e-mail] VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY HAI-LONG TRIEU BILINGUAL SENTENCE ALIGNMENT BASED ON SENTENCE LENGTH AND WORD TRANSLATION Major: Computer science Code: 60 48 01 MASTER THESIS OF INFORMATION TECHNOLOGY SUPERVISOR: PhD. Phuong-Thai Nguyen Hanoi - 2014 2 TIEU LUAN MOI download : [e-mail] ORIGINALITY STATEMENT „I hereby declare that this submission is my own work and to the best of my knowledge it contains no materials previously published or written by another person, or substantial proportions of material which have been accepted for the award of any other degree or diploma at University of Engineering and Technology (UET) or any other educational institution, except where due acknowledgement is made in the thesis. I also declare that the intellectual content of this thesis is the product of my own work, except to the extent that assistance from others in the project‟s design and conception or in style, presentation and linguistic expression is acknowledged. 3 TIEU LUAN MOI download : [e-mail] Acknowledgements I would like to thank my advisor, PhD Phuong-Thai Nguyen, not only for his supervision but also for his enthusiastic encouragement, right suggestion and knowledge which I have been giving during studying in Master‟s course.

I would also like to show my deep gratitude M.A Phuong-Thao Thi Nguyen from Institute of Information Technology - Vietnam Academy of Science and Technology - who provided valuable data in my evaluating process. I would like to thank PhD Van-Vinh Nguyen for examining and giving some advices to my work, M.A Kim-Anh Nguyen, M.A Truong Van Nguyen for their help along with comments on my work, especially M.A Kim-Anh Nguyen for supporting and checking some issues in my research. In addition, I would like to express my thanks to lectures, professors in Faculty of Information Technology, University of Engineering and Technology (UET), Vietnam University, Hanoi who teach me and helping me whole time I study in UET. Finally, I would like to thank my family and friends for their support, share, and confidence throughout my study.

4 TIEU LUAN MOI download : [e-mail] Abstract Sentence alignment plays an important role in machine translation. It is an essential task in processing parallel corpora which are ample and substantial resources for natural language processing. In order to apply these abundant materials into useful applications, parallel corpora first have to be aligned at the sentence level. This process maps sentences in texts of source language to their corresponding units in texts of target language.

Parallel corpora aligned at sentence level become a useful resource for a number of applications in natural language processing including Statistical Machine Translation, word disambiguation, cross language information retrieval. This task also helps to extract structural information and derive statistical parameters from bilingual corpora. There have been a number of algorithms proposed with different approaches for sentence alignment. However, they may be classified into some major categories.

First of all, there are methods based on the similarity of sentence lengths which can be measured by words or characters of sentences. These methods are simple but effective to apply for language pairs that have a high similarity in sentence lengths. The second set of methods is based on word correspondences or lexicon. These methods take into account the lexical information about texts, which is based on matching content in texts or uses cognates.

An external dictionary may be used in these methods, so these methods are more accurate but slower than the first ones. There are also methods based on the hybrids of these first two approaches that combine their advantages, so they obtain quite high quality of alignments. In this thesis, I summarize general issues related to sentence alignment, and I evaluate approaches proposed for this task and focus on the hybrid method, especially the proposal of Moore (2002), an effective method with high performance in term of precision. From analyzing the limits of this method, I propose an algorithm using a new feature, bilingual word clustering, to improve the quality of Moore‟s method.

The baseline method (Moore, 2002) will be introduced based on analyzing of the framework, and I describe advantages as well as weaknesses of this approach. In addition to this, I describe the basis knowledge, algorithm of bilingual word clustering, and the new feature used in sentence alignment. Finally, experiments performed in this research are illustrated as well as evaluations to prove benefits of the proposed method. Keywords: sentence alignment, parallel corpora, natural language processing, word clustering.

5 TIEU LUAN MOI download : [e-mail] Table of Contents ORIGINALITY STATEMENT. 5 Table of Contents. 6 List of Figures. 9 List of Tables.

10 CHAPTER ONE Introduction. Aligned Parallel Corpora. Types of Alignments. Objectives of the Thesis.

18 CHAPTER TWO Related Works. Overview of Approaches. 19 6 TIEU LUAN MOI download : skknchat@gmail. Length-based Methods.

Word Correspondences Methods. Some Important Problems. Noise of Texts. Length-based Proposals.

Brown et al. Vanilla: Gale and Church, 1993. Word-based Proposals. Kay and Roscheisen, 1993.

Microsoft’s Bilingual Sentence Aligner: Moore, 2002. Hunalign: Varga et al. Deng et al. Gargantua: Braune and Fraser, 2010.

Fast-Champollion: Li et al. Bleu-align: Sennrich and Volk, 2010. MSVM and HMM: Fattah, 2012. 37 CHAPTER THREE Our Approach.

39 7 TIEU LUAN MOI download : skknchat@gmail. Evaluation of Moore‟s Approach. 50 CHAPTER FOUR Experiments. Word Clustering Data.

Discussion of Results. 57 CHAPTER FIVE Conclusion and Future Work. Better Word Translation Models. 60 8 TIEU LUAN MOI download : [e-mail] List of Figures Figure 1.

A sequence of beads (Brown et al. Equation in dynamic programming (Gale and Church, 1993). A bitext space in Melamed‟s method (Melamed, 1996). The method of Varga et al.

The method of Braune and Fraser, 2010. Sentence Alignment Approaches Review. Framework of sentence alignment in our algorithm. An example of Brown's cluster algorithm.

English word clustering data. Vietnamese word clustering data. Looking up the probability of a word pair. Looking up in a word cluster.

Handling in the case: one word is contained in dictionary. Comparison in Precision. Comparison in Recall. Comparison in F-measure.

57 9 TIEU LUAN MOI download : [e-mail] List of Tables Table 1. Frequency of alignments (Gale and Church, 1993). Frequency of beads (Ma, 2006). Frequency of beads (Moore, 2002).

An entry in a probabilistic dictionary (Gale and Church, 1993). Topics in Training data-1. Topics in Training data-2. Input data for training clusters.

Topics for Vietnamese input data to train clusters. Word clustering data sets. 54 10 TIEU LUAN MOI download : [e-mail] CHAPTER ONE Introduction 1. Background Parallel corpora play an important role in a number of tasks such as machine translation, cross language information retrieval, word disambiguation, sense disambiguation, bilingual lexicography, automatic translation verification, automatic acquisition of knowledge about translation, and cross-language information retrieval.

Building a parallel corpus, therefore, helps connecting considered languages [1, 5, 7, 12- 13, 15-16]. Parallel texts, however, are useful only when they have to be sentence-aligned. The parallel corpus first is collected from various resources, which has a very large size of the translated segments forming it. This size is usually of the order of entire documents and causes an ambiguous task in learning word correspondences.

The solution to reduce the ambiguity is first decreasing the size of the segments within each pair, which is known as sentence alignment task. This task is the work of constructing a detailed map of the correspondence between a text and its translation (a bitext map) [14]. This is the first stage for Statistical Machine Translation. With aligned sentences, we can perform further analyses such as phrase and word alignment analysis, bilingual terminology, and collocation extraction analysis as well as other applications [3, 7-9, 17].

Efficient and powerful sentence alignment algorithms, therefore, become increasingly important. A number of sentence alignment algorithms have been proposed [1, 7, 9, 12, 15, 17, 20]. Some of these algorithms are based on sentence length [3, 8, 20]; some use word correspondences [5, 11, 13-14]; some are hybrid of these two approaches [2, 6, 15, 19]. Additionally, there are also some other outstanding methods for this task [7, 17].

For details of these sentence alignment algorithms, see Sections 2. I propose an improvement to an effective hybrid algorithm [15] that is used in sentence alignment. For details of our approach, see Section 3. I also create experiments 11 TIEU LUAN MOI download : [e-mail] to illustrate my research.

For details of the corpora used in our experiments, see Section 4. For results and discussions of experiments, see Sections 4. In the rest of this chapter, I describe some issues related to the sentence alignment task. In addition to this, I introduce objectives of the thesis and our contributions.

Finally, I describe the structure of this thesis. Definitions Parallel corpora are a collection of documents which are translations of each other [16]. Aligned parallel corpora are collections of pairs of sentences where one sentence is a translation of the other [1]. Applications Bilingual corpora are an essential resource in multilingual natural language processing systems.

This resource helps to develop data-driven natural language processing approaches. This also contributes to applying machine learning to machine translation [15-16]. Aligned Parallel Corpora Once the parallel text is sentence aligned, it provides the maximum utility [13]. Therefore, this makes the task of aligning parallel corpora of considerable interest, and a number of approaches have been proposed and developed to resolve this issue.

Definition Sentence alignment is the task of extracting pairs of sentences that are translation of one another from parallel corpora. Given a pair of texts, this process maps sentences in the text of the source language to their corresponding units in the text of the target language [3, 8, 13]. Types of Alignments Aligning sentences is to find a sequence of alignments. This section provides some more definitions about “alignment” as well as issues related to it.

Brown et al., 1991, assumed that every parallel corpus can be aligned in terms of a sequence of minimal alignment segments, which they call “beads”, in which sentences align 1-to-1, 1-to-2, 2-to-1, 1-to-0, 0-to-1. 12 TIEU LUAN MOI download : skknchat@gmail. A sequence of beads (Brown et al. Groups of sentence lengths are circled to show the correct alignment.

Each of the groupings is called a bead, and there is a number to show sentence length of a sentence in the bead.1, “17e” means the sentence length (17 words) of an English sentence, and “19f” means the sentence length (19 words) of a French sentence. There is a sequence of beads as follows:  An 𝑒𝑓-bead (one English sentence aligned with one French sentence) followed by  An 𝑒𝑓𝑓-bead (one English sentence aligned with two French sentences) followed by  An 𝑒-bead (one English sentence) followed by  A ¶𝑒¶𝑓 bead (one English paragraph and one French paragraph). An alignment, then, is simply a sequence of beads that accounts for the observed sequences of sentence lengths and paragraph markers [3]. There are quite a number of beads, but it is possible to only consider some of them including 1-to-1 (one sentence of source language aligned with one sentence of target language), 1-to-2 (one sentence of source language aligned with two sentences of target language), etc; Brown et al., 1991 [3] mentioned to beads 1-to-1, 1-to-0, 0-to-1, 1-to-2, 2- to-1, and a bead of paragraphs ( ¶𝑒, ¶𝑓, ¶𝑒𝑓 ) because of considering alignments by paragraphs of this method.