Luận văn thạc sĩ về tri thức song ngữ và ứng dụng trong dịch máy Anh-Việt

Luận văn thạc sĩ VNU UET khám phá tri thức song ngữ và ứng dụng trong dịch máy Anh-Việt, luận án TS công nghệ thông tin 62 48 01 01.

• Tác giả: Lê Quang Hùng
• Người hướng dẫn: PGS. Lê Anh Cường
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Khoa học máy tính
• Đề tài: Khai Phá Tri Thức Song Ngữ Và Ứng Dụng Trong Dịch Máy Anh – Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2016
• Địa điểm: Hà Nội

Mục lục chi tiết

• Lời cam đoan
• Tóm tắt
• Lời cảm ơn
• Danh mục các chữ viết tắt
• Danh mục các hình vẽ
• Danh mục các bảng
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Khai phá tri thức song ngữ
• 1.1.1. Xây dựng ngữ liệu song ngữ
• 1.1.2. Gióng hàng văn bản
• 1.1.2.1. Gióng hàng đoạn/câu
• 1.1.2.2. Gióng hàng từ
• 1.1.3. Xác định cụm từ song ngữ
• 1.2. Sơ lược về dịch máy
• 1.2.1. Dịch máy thống kê
• 1.2.1.1. Mô hình hóa bài toán
• 1.2.1.2. Mô hình ngôn ngữ
• 1.2.1.3. Mô hình dịch
• 1.2.1.3.1. Mô hình dịch dựa trên từ
• 1.2.1.3.2. Mô hình dịch dựa trên cụm từ
• 1.2.1.3.3. Mô hình dịch dựa trên cú pháp
• 1.2.1.5. Đánh giá chất lượng dịch
• 2. CHƯƠNG 2: XÂY DỰNG NGỮ LIỆU SONG NGỮ CHO DỊCH MÁY THỐNG KÊ
• 2.1. Rút trích văn bản song ngữ từ Web
• 2.1.1. Thu thập dữ liệu
• 2.1.2. Thiết kế các đặc trưng dựa vào nội dung
• 2.1.2.1. Sử dụng cognate
• 2.1.2.2. Sử dụng các phân đoạn dịch
• 2.1.3. Thiết kế các đặc trưng dựa vào cấu trúc
• 2.1.4. Mô hình hóa bài toán phân loại
• 2.2. Rút trích câu song ngữ từ sách điện tử
• 2.3. Gióng hàng đoạn
• 2.4. Gióng hàng câu
• 2.4.1. Thực nghiệm về rút trích văn bản song ngữ từ Web
• 2.4.1.1. Cài đặt thực nghiệm
• 2.4.1.2. Kết quả thực nghiệm
• 2.4.2. Thực nghiệm về rút trích câu song ngữ từ sách điện tử
• 2.4.2.1. Cài đặt thực nghiệm
• 2.4.2.2. Kết quả thực nghiệm
• 2.4.3. Thực nghiệm về bổ sung ngữ liệu song ngữ cho dịch máy
• 2.4.4. Kết luận chương
• 3. CHƯƠNG 3: GIÓNG HÀNG TỪ CHO DỊCH MÁY THỐNG KÊ
• 3.1. Định nghĩa từ
• 3.2. Định nghĩa bài toán gióng hàng từ
• 3.3. Các mô hình IBM
• 3.4. Thuật toán cực đại kỳ vọng cho mô hình IBM 1
• 3.5. Một số cải tiến mô hình IBM 1 theo cách tiếp cận dựa trên ràng buộc
• 3.5.1. Cải tiến mô hình IBM 1 sử dụng ràng buộc neo
• 3.5.2. Cải tiến mô hình IBM 1 sử dụng ràng buộc về vị trí của từ
• 3.5.3. Cải tiến mô hình IBM 1 sử dụng ràng buộc về từ loại
• 3.5.3.1. Quan hệ về từ loại
• 3.5.3.2. Ràng buộc về từ loại
• 3.5.4. Cải tiến mô hình IBM 1 sử dụng ràng buộc về cụm từ
• 3.5.4.1. Mẫu cú pháp song ngữ
• 3.5.4.2. Ràng buộc về cụm từ
• 3.5.5. Kết hợp các ràng buộc
• 3.5.5.1. Cài đặt thực nghiệm
• 3.5.5.2. Kết quả thực nghiệm với ràng buộc neo và ràng buộc về vị trí của từ
• 3.5.5.3. Kết quả thực nghiệm với ràng buộc từ loại
• 3.5.5.4. Kết quả thực nghiệm với ràng buộc cụm từ
• 3.5.5.5. Kết quả thực nghiệm về kết hợp ràng buộc
• 3.5.6. Kết luận chương
• 4. CHƯƠNG 4: XÁC ĐỊNH CỤM TỪ SONG NGỮ CHO DỊCH MÁY THỐNG KÊ
• 4.1. Bài toán rút trích cụm từ song ngữ
• 4.2. Phương pháp rút trích cụm từ song ngữ
• 4.2.1. Tìm cụm từ đích
• 4.2.2. Rút trích cụm từ
• 4.3. Tích hợp cụm từ song ngữ vào dịch máy
• 4.3.1. Thực nghiệm về rút trích cụm từ song ngữ
• 4.3.1.1. Cài đặt thực nghiệm
• 4.3.1.2. Kết quả thực nghiệm
• 4.3.2. Thực nghiệm về tích hợp cụm từ song ngữ vào dịch máy
• 4.3.2.1. Cài đặt thực nghiệm
• 4.3.2.2. Kết quả thực nghiệm
• 4.3.3. Kết luận chương
• Kết luận
• Danh mục công trình khoa học của tác giả liên quan đến luận án
• Tài liệu tham khảo

Tóm tắt

I. Tổng quan về nghiên cứu ứng dụng tri thức song ngữ trong dịch máy Anh Việt

Nghiên cứu ứng dụng tri thức song ngữ trong dịch máy Anh-Việt là một lĩnh vực đang thu hút sự quan tâm lớn từ các nhà nghiên cứu và phát triển công nghệ. Việc áp dụng tri thức song ngữ giúp cải thiện chất lượng dịch máy, đặc biệt trong bối cảnh ngôn ngữ có nhiều khác biệt về cấu trúc như Anh và Việt. Nghiên cứu này không chỉ giúp nâng cao hiệu quả dịch thuật mà còn mở ra nhiều cơ hội mới trong việc phát triển các ứng dụng dịch máy hiện đại.

1.1. Khái niệm tri thức song ngữ và vai trò trong dịch máy

Tri thức song ngữ đề cập đến việc sử dụng thông tin từ hai ngôn ngữ khác nhau để cải thiện chất lượng dịch. Trong dịch máy, tri thức này giúp hệ thống hiểu rõ hơn về ngữ cảnh và cấu trúc ngữ pháp của cả hai ngôn ngữ, từ đó tạo ra bản dịch chính xác hơn.

1.2. Lịch sử phát triển dịch máy và tri thức song ngữ

Dịch máy đã có lịch sử phát triển từ những năm 1950, với nhiều phương pháp khác nhau được áp dụng. Tri thức song ngữ đã trở thành một yếu tố quan trọng trong các hệ thống dịch máy hiện đại, giúp cải thiện đáng kể chất lượng dịch so với các phương pháp truyền thống.

II. Thách thức trong việc ứng dụng tri thức song ngữ trong dịch máy

Mặc dù tri thức song ngữ mang lại nhiều lợi ích, nhưng việc ứng dụng nó trong dịch máy cũng gặp phải nhiều thách thức. Các vấn đề như chất lượng ngữ liệu song ngữ, sự khác biệt ngữ pháp giữa hai ngôn ngữ, và khả năng xử lý ngữ nghĩa phức tạp là những yếu tố cần được giải quyết để nâng cao hiệu quả dịch máy.

2.1. Vấn đề chất lượng ngữ liệu song ngữ

Chất lượng ngữ liệu song ngữ là yếu tố quyết định đến hiệu quả của dịch máy. Ngữ liệu không đầy đủ hoặc không chính xác có thể dẫn đến những bản dịch sai lệch, ảnh hưởng đến độ tin cậy của hệ thống.

2.2. Sự khác biệt ngữ pháp giữa tiếng Anh và tiếng Việt

Tiếng Anh và tiếng Việt có cấu trúc ngữ pháp rất khác nhau, điều này tạo ra nhiều khó khăn trong việc dịch chính xác. Các nhà nghiên cứu cần phát triển các phương pháp để xử lý những khác biệt này một cách hiệu quả.

III. Phương pháp xây dựng ngữ liệu song ngữ cho dịch máy thống kê

Xây dựng ngữ liệu song ngữ là một trong những bước quan trọng trong việc phát triển hệ thống dịch máy. Các phương pháp hiện tại bao gồm việc khai thác dữ liệu từ web và sách điện tử, giúp tạo ra một nguồn ngữ liệu phong phú và đa dạng.

3.1. Khai thác dữ liệu từ web

Việc rút trích văn bản song ngữ từ các trang web song ngữ giúp tạo ra một nguồn ngữ liệu phong phú. Các phương pháp như sử dụng từ bất biến và phân đoạn dịch đã được áp dụng để tối ưu hóa quá trình này.

3.2. Sử dụng sách điện tử song ngữ

Sách điện tử song ngữ cũng là một nguồn tài nguyên quý giá. Các phương pháp dựa trên nội dung và mẫu liên kết giữa các khối văn bản giúp rút trích các câu song ngữ một cách hiệu quả.

IV. Cải tiến mô hình gióng hàng từ trong dịch máy thống kê

Mô hình gióng hàng từ là một phần quan trọng trong dịch máy thống kê. Việc cải tiến mô hình này thông qua các ràng buộc như ràng buộc neo, vị trí từ và từ loại đã giúp nâng cao chất lượng dịch cho hệ thống dịch máy Anh-Việt.

4.1. Ràng buộc neo trong mô hình gióng hàng

Ràng buộc neo giúp cải thiện độ chính xác của việc gióng hàng từ bằng cách xác định các từ có mối quan hệ chặt chẽ hơn trong ngữ cảnh. Điều này giúp giảm thiểu sai sót trong bản dịch.

4.2. Ràng buộc về vị trí từ và từ loại

Việc áp dụng các ràng buộc về vị trí từ và từ loại giúp mô hình gióng hàng từ hoạt động hiệu quả hơn, từ đó nâng cao chất lượng dịch máy. Các cải tiến này đã được chứng minh qua các thử nghiệm thực tế.

V. Ứng dụng thực tiễn của tri thức song ngữ trong dịch máy

Tri thức song ngữ không chỉ giúp cải thiện chất lượng dịch mà còn mở ra nhiều ứng dụng thực tiễn trong các lĩnh vực như giáo dục, thương mại và giao tiếp quốc tế. Việc áp dụng tri thức này trong dịch máy đã mang lại nhiều lợi ích cho người dùng.

5.1. Ứng dụng trong giáo dục

Trong giáo dục, tri thức song ngữ giúp học sinh và sinh viên tiếp cận tài liệu học tập bằng nhiều ngôn ngữ khác nhau, từ đó nâng cao khả năng ngôn ngữ và hiểu biết văn hóa.

5.2. Ứng dụng trong thương mại

Trong thương mại, dịch máy hỗ trợ doanh nghiệp trong việc giao tiếp với khách hàng quốc tế, giúp mở rộng thị trường và tăng cường khả năng cạnh tranh.

VI. Kết luận và tương lai của nghiên cứu tri thức song ngữ trong dịch máy

Nghiên cứu tri thức song ngữ trong dịch máy Anh-Việt đang mở ra nhiều cơ hội mới cho việc phát triển công nghệ dịch máy. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều tiến bộ với sự phát triển của công nghệ và phương pháp mới.

6.1. Tương lai của dịch máy thống kê

Dịch máy thống kê sẽ tiếp tục phát triển với sự hỗ trợ của tri thức song ngữ, giúp cải thiện chất lượng dịch và mở rộng khả năng ứng dụng trong nhiều lĩnh vực khác nhau.

6.2. Các nghiên cứu tiếp theo

Các nghiên cứu tiếp theo cần tập trung vào việc phát triển các phương pháp mới để khai thác tri thức song ngữ, từ đó nâng cao chất lượng dịch máy và đáp ứng nhu cầu ngày càng cao của người dùng.

Trích đoạn nội dung tài liệu

Chương 1 Tổng quan Chương này trình bày tổng quan về các vấn đề nghiên cứu trong luận án, bao gồm: khai phá tri thức song ngữ, sơ lược về dịch máy (Machine Translation - MT) và dịch máy thống kê (Statistical Machine Translation - SMT). Tiếp đến, chúng tôi phân tích, đánh giá các công trình nghiên cứu liên quan. Cuối chương, chúng tôi nêu ra một số vấn đề còn tồn tại mà luận án sẽ tập trung giải quyết và xác định nội dung nghiên cứu của luận án.1 Khai phá tri thức song ngữ Nhiệm vụ của khai phá tri thức song ngữ (mining parallel knowledge) là tự động tìm ra các thành phần có ngữ nghĩa tương ứng trong các văn bản ở hai ngôn ngữ khác nhau. Tri thức song ngữ gồm nhiều khía cạnh: song ngữ về từ, song ngữ về cụm từ, song ngữ về cấu trúc, vv.

Việc khai phá tri thức song ngữ là quá trình chuẩn bị và khai phá dữ liệu cho một số ứng dụng quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP), trong đó có SMT. Trong luận án này, chúng tôi giới hạn việc khai phá tri thức song ngữ cho bài toán SMT. Sau đây, chúng tôi sẽ trình bày tổng quan về xây dựng ngữ liệu song ngữ, gióng hàng văn bản và xác định cụm từ song ngữ. 5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1: Ví dụ về một văn bản song ngữ Anh - Việt.

Văn bản tiếng Anh Văn bản tiếng Việt In the early summer of 2004, I got Đầu mùa hè năm 2004, tôi nhận được một a phone call from Steve Jobs. He cuộc gọi từ Steve Jobs. Jobs chỉ liên lạc had been scattershot friendly to me với tôi khi có việc cần trong nhiều năm over the years, with occasional bursts qua, và có lúc tôi bị ông khủng bố điện of intensity, especially when he was thoại, đặc biệt là khi chuẩn bị ra mắt một launching a new product that he sản phẩm mới và muốn nó nằm ngay trên wanted on the cover of Time or trang bìa của tạp chí Time hoặc trình featured on CNN, places where I’d chiếu trên CNN, nơi tôi làm việc. But now that I was no longer at ei- Nhưng giờ tôi không chẳng còn làm ở cả ther of those places, I hadn’t heard hai nơi đó nữa và cũng không nghe tin về from him much.

We talked a bit ông nhiều. Chúng tôi đã trao đổi qua về about the Aspen Institute, which I học viện Aspen, nơi tôi mới vào làm lúc had recently joined, and I invited him đó, và tôi đã mời ông đến phát biểu tại to speak at our summer campus in trại hè của chúng tôi ở Colorado, ông vui Colorado. He’d be happy to come, vẻ nhận lời đến tham dự nhưng sẽ không he said, but not to be onstage. He lên phát biểu, thay vào đó chúng tôi sẽ wanted instead to take a walk so that nói chuyện trong khi đi dạo.

we could talk. I had known him since 1984, when Tôi quen ông từ năm 1984, khi ông đến he came to Manhattan to have lunch Manhattan để ăn trưa cùng với những with Time’s editors and extol his new biên tập viên của tạp chí Time và nhân Macintosh. He was petulant even tiện giới thiệu luôn chiếc máy Macintosh then, attacking a Time correspon- (Mac) mới của mình. Thậm chí lúc đó dent for having wounded him with a ông đã nổi nóng, và tấn công một phóng story that was too revealing.

viên của tạp chí Time vì đã làm ông tổn thương bằng một câu chuyện quá lố.1 Xây dựng ngữ liệu song ngữ Ngữ liệu song ngữ (parallel corpus hoặc parallel corpora1 ) là tập hợp các văn bản song ngữ, Bảng 1.1 trình bày ví dụ về một văn bản song ngữ Anh - Việt. Một số ngữ liệu song ngữ gồm nhiều ngôn ngữ, ví dụ: ngữ liệu Europarl [59] bao gồm các phiên bản của 11 ngôn ngữ châu Âu (trong đó một ngôn ngữ là tiếng Anh) như mô tả trong Bảng 1. Ngữ liệu song ngữ tồn tại theo một số định dạng khác nhau. Nó có thể là văn bản song ngữ ở dạng thô hoặc đã được gióng hàng (alignment).

Văn bản song ngữ có thể được gióng hàng ở mức đoạn, mức câu, mức cụm từ hoặc mức từ [15]. Việc 1 Trong tiếng Anh, corpora là hình thức số nhiều của corpus. 6 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2: Ngữ liệu Europarl: gồm 10 cặp ngôn ngữ trong đó một ngôn ngữ là tiếng Anh. Ký hiệu L1 là ngôn ngữ nguồn, L2 là ngôn ngữ đích.

Ngữ liệu (L1 -L2 ) Số câu Số từ trong L1 Số từ trong L2 Đan Mạch - Anh 1.958 Hy Lạp - Anh 960.389 Tây Ban Nha - Anh 1.295 Phần Lan - Anh 1.441 Hà Lan - Anh 1.762 Bồ Đào Nha - Anh 1.805 Thụy Điển - Anh 1.628 gióng hàng các văn bản song ngữ rất hữu ích cho các ứng dụng khác nhau trong NLP. Các hệ thống SMT [10] sử dụng câu song ngữ làm đầu vào cho mô-đun gióng hàng từ để thực hiện tính toán xác suất dịch từ. Các hệ thống truy vấn thông tin liên ngữ [25, 90, 118] sử dụng văn bản song ngữ để xác định thông tin tương ứng trong cả hai giai đoạn hỏi và đáp. Ngoài ra, việc rút trích các thành phần ngữ nghĩa tương đương của các văn bản song ngữ như từ, cụm từ và câu rất hữu ích cho việc xây dựng từ điển song ngữ [65, 78].

Trong luận án này, chúng tôi giới hạn việc xây dựng ngữ liệu song ngữ cho SMT. Ngày nay, cùng với sự phát triển của Internet, Web là nguồn cơ sở dữ liệu khổng lồ chứa các tài liệu đa ngôn ngữ (multi-language), nguồn dữ liệu này được sử dụng cho các ứng dụng xử lý văn bản song ngữ. Vì lý do này, nhiều nghiên cứu tập trung vào việc rút trích dữ liệu song ngữ tự động từ Web. Về cơ bản, chúng tôi có thể phân loại các nghiên cứu này vào ba nhóm: (i) dựa trên nội dung (content - based) [16, 24, 76], (ii) dựa trên cấu trúc (structure - based) [17, 97, 100] và (iii) kết hợp (i) với (ii) [101, 128].1 trình bày sơ đồ tổng quan về rút trích ngữ liệu song ngữ từ Web.

Cách tiếp cận dựa trên nội dung thường dùng từ điển song ngữ để đo độ tương tự về nội dung của hai văn bản. Khi từ điển song ngữ có sẵn, tài liệu ở ngôn ngữ nguồn được dịch theo từng từ (word by word) ra ngôn ngữ đích. Các tài liệu dịch này sau đó được sử dụng để tìm tài liệu song ngữ phù hợp nhất bằng cách sử dụng các đo độ như Cosine, Jaccard, Dice, vv [55]. Tuy nhiên, sử dụng từ điển song ngữ có thể phải đối mặt với khó khăn vì một từ thường có nhiều bản dịch của nó.

Để 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1: Sơ đồ tổng quan về rút trích ngữ liệu song ngữ từ Web. khắc phục hạn chế này, chúng tôi sử dụng một hệ thống SMT để có thể tận dụng những lợi thế của phương pháp dịch thống kê trong việc giải quyết các vấn đề về nhập nhằng từ vựng. Cách tiếp cận dựa trên cấu trúc so khớp cấu trúc HTML (HyperText Markup Language) của trang web. Cách tiếp cận này sử dụng giả thuyết các trang web song ngữ được trình bày với cấu trúc tương tự nhau.

Hệ thống STRAND của Resnik [101] là đại diện tiêu biểu cho cách tiếp cận này. Độ tương tự của các trang web được tính dựa vào cấu trúc HTML của chúng. Lưu ý rằng, các phương pháp dựa trên cách tiếp cận này không đòi hỏi tri thức về ngôn ngữ và khá hiệu quả trong việc loại ra các cặp tài liệu không phải song ngữ. Tuy nhiên, nó có hạn chế là yêu cầu hai trang web song ngữ phải có cùng một cách trình bày.

Theo quan sát của chúng tôi, nhiều trang web sử dụng cùng một mẫu thiết kế web, vì thế cấu trúc của các trang tương tự nhưng nội dung của chúng lại khác nhau. Do đó, phương pháp tiếp cận dựa trên cấu trúc HTML không được áp dụng trong một số trường hợp. chúng tôi đã kết hợp các đặc trưng dựa trên nội dung với các đặc trưng dựa trên cấu trúc của trang web để rút trích các văn bản song ngữ. Để tăng độ chính xác trong việc rút trích các văn bản song ngữ từ Web, chúng tôi kết hợp cả đặc trưng về cấu trúc và đặc trưng về nội dung2.

2 Chi tiết chúng tôi trình bày trong Chương 2, phần 2.1 8 LUAN VAN CHAT LUONG download : add [e-mail] Hiện tại, có ít nghiên cứu về vấn đề này liên quan đến cặp ngôn ngữ Anh - Việt. Hai tác giả Đặng Bác Văn và Hồ Bảo Quốc [24] xây dựng ngữ liệu song ngữ Anh - Việt dựa trên việc so khớp nội dung. Trước hết, các cặp trang web ứng viên được xác định bằng cách sử dụng các đặc trưng về độ dài câu và ngày tạo trang web. Sau đó, các tác giả đo độ tương tự về nội dung sử dụng từ điển song ngữ Anh - Việt để quyết định hai trang web có phải là song ngữ hay không.

Quá trình này được thực hiện dựa trên một số ngưỡng của độ đo này. Chú ý rằng, phương pháp trong [24] chỉ tìm kiếm các trang web song ngữ có chất lượng dịch tốt và các trang song ngữ này có cùng kiểu trình bày. Hơn nữa, sử dụng từ điển để dịch theo từng từ có thể gây ra sự nhập nhằng. Vì thế, cách tiếp cận này khó để mở rộng khi dữ liệu tăng lên hoặc các trang song ngữ có kiểu trình bày khác nhau.

Như chúng tôi đã đề cập ở trên, Web là nguồn cơ sở dữ liệu khổng lồ chứa các tài liệu đa ngôn ngữ. Tuy nhiên, để có được ngữ liệu song ngữ với độ chính xác cao vẫn đang là một thách thức, bởi vì các văn bản được trình bày trên Internet thường bị "nhiễu". Trong khi đó, nhiều sách điện tử song ngữ (sẵn có) chứa một số lượng lớn các văn bản song ngữ được dịch cẩn thận. Đây là nguồn dữ liệu rất tiềm năng để bổ sung ngữ liệu song ngữ cho SMT, đặc biệt đối với các cặp ngôn ngữ còn hạn chế về ngữ liệu song ngữ như Anh - Việt, Nhật - Việt, vv.

Hiện tại, các ngữ liệu song ngữ có sẵn không những có kích thước tương đối nhỏ mà còn không cân bằng ngay cả đối với các ngôn ngữ chính [24], điều này ảnh hưởng đến chất lượng của các hệ thống SMT.2 Gióng hàng văn bản Trong xử lý văn bản song ngữ, gióng hàng là bài toán quan trọng nhất, tức là phát hiện sự tương ứng giữa các đơn vị trong hai văn bản ở các ngôn ngữ khác nhau [4]. Gióng hàng có thể được thực hiện ở mức đoạn, câu, cụm từ hoặc từ.