Chương 1 Tổng quan Chương này trình bày tổng quan về các vấn đề nghiên cứu trong luận án, bao gồm: khai phá tri thức song ngữ, sơ lược về dịch máy (Machine Translation - MT) và dịch máy thống kê (Statistical Machine Translation - SMT). Tiếp đến, chúng tôi phân tích, đánh giá các công trình nghiên cứu liên quan. Cuối chương, chúng tôi nêu ra một số vấn đề còn tồn tại mà luận án sẽ tập trung giải quyết và xác định nội dung nghiên cứu của luận án.1 Khai phá tri thức song ngữ Nhiệm vụ của khai phá tri thức song ngữ (mining parallel knowledge) là tự động tìm ra các thành phần có ngữ nghĩa tương ứng trong các văn bản ở hai ngôn ngữ khác nhau. Tri thức song ngữ gồm nhiều khía cạnh: song ngữ về từ, song ngữ về cụm từ, song ngữ về cấu trúc, vv.
Việc khai phá tri thức song ngữ là quá trình chuẩn bị và khai phá dữ liệu cho một số ứng dụng quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP), trong đó có SMT. Trong luận án này, chúng tôi giới hạn việc khai phá tri thức song ngữ cho bài toán SMT. Sau đây, chúng tôi sẽ trình bày tổng quan về xây dựng ngữ liệu song ngữ, gióng hàng văn bản và xác định cụm từ song ngữ. 5 TIEU LUAN MOI download : skknchat@gmail.1: Ví dụ về một văn bản song ngữ Anh - Việt.
Văn bản tiếng Anh Văn bản tiếng Việt In the early summer of 2004, I got Đầu mùa hè năm 2004, tôi nhận được một a phone call from Steve Jobs. He cuộc gọi từ Steve Jobs. Jobs chỉ liên lạc had been scattershot friendly to me với tôi khi có việc cần trong nhiều năm over the years, with occasional bursts qua, và có lúc tôi bị ông khủng bố điện of intensity, especially when he was thoại, đặc biệt là khi chuẩn bị ra mắt một launching a new product that he sản phẩm mới và muốn nó nằm ngay trên wanted on the cover of Time or trang bìa của tạp chí Time hoặc trình featured on CNN, places where I’d chiếu trên CNN, nơi tôi làm việc. But now that I was no longer at ei- Nhưng giờ tôi không chẳng còn làm ở cả ther of those places, I hadn’t heard hai nơi đó nữa và cũng không nghe tin về from him much.
We talked a bit ông nhiều. Chúng tôi đã trao đổi qua về about the Aspen Institute, which I học viện Aspen, nơi tôi mới vào làm lúc had recently joined, and I invited him đó, và tôi đã mời ông đến phát biểu tại to speak at our summer campus in trại hè của chúng tôi ở Colorado, ông vui Colorado. He’d be happy to come, vẻ nhận lời đến tham dự nhưng sẽ không he said, but not to be onstage. He lên phát biểu, thay vào đó chúng tôi sẽ wanted instead to take a walk so that nói chuyện trong khi đi dạo.
we could talk. I had known him since 1984, when Tôi quen ông từ năm 1984, khi ông đến he came to Manhattan to have lunch Manhattan để ăn trưa cùng với những with Time’s editors and extol his new biên tập viên của tạp chí Time và nhân Macintosh. He was petulant even tiện giới thiệu luôn chiếc máy Macintosh then, attacking a Time correspon- (Mac) mới của mình. Thậm chí lúc đó dent for having wounded him with a ông đã nổi nóng, và tấn công một phóng story that was too revealing.
viên của tạp chí Time vì đã làm ông tổn thương bằng một câu chuyện quá lố.1 Xây dựng ngữ liệu song ngữ Ngữ liệu song ngữ (parallel corpus hoặc parallel corpora1 ) là tập hợp các văn bản song ngữ, Bảng 1.1 trình bày ví dụ về một văn bản song ngữ Anh - Việt. Một số ngữ liệu song ngữ gồm nhiều ngôn ngữ, ví dụ: ngữ liệu Europarl [59] bao gồm các phiên bản của 11 ngôn ngữ châu Âu (trong đó một ngôn ngữ là tiếng Anh) như mô tả trong Bảng 1. Ngữ liệu song ngữ tồn tại theo một số định dạng khác nhau. Nó có thể là văn bản song ngữ ở dạng thô hoặc đã được gióng hàng (alignment).
Văn bản song ngữ có thể được gióng hàng ở mức đoạn, mức câu, mức cụm từ hoặc mức từ [15]. Việc 1 Trong tiếng Anh, corpora là hình thức số nhiều của corpus. 6 TIEU LUAN MOI download : skknchat@gmail.2: Ngữ liệu Europarl: gồm 10 cặp ngôn ngữ trong đó một ngôn ngữ là tiếng Anh. Ký hiệu L1 là ngôn ngữ nguồn, L2 là ngôn ngữ đích.
Ngữ liệu (L1 -L2 ) Số câu Số từ trong L1 Số từ trong L2 Đan Mạch - Anh 1.958 Hy Lạp - Anh 960.389 Tây Ban Nha - Anh 1.295 Phần Lan - Anh 1.441 Hà Lan - Anh 1.762 Bồ Đào Nha - Anh 1.805 Thụy Điển - Anh 1.628 gióng hàng các văn bản song ngữ rất hữu ích cho các ứng dụng khác nhau trong NLP. Các hệ thống SMT [10] sử dụng câu song ngữ làm đầu vào cho mô-đun gióng hàng từ để thực hiện tính toán xác suất dịch từ. Các hệ thống truy vấn thông tin liên ngữ [25, 90, 118] sử dụng văn bản song ngữ để xác định thông tin tương ứng trong cả hai giai đoạn hỏi và đáp. Ngoài ra, việc rút trích các thành phần ngữ nghĩa tương đương của các văn bản song ngữ như từ, cụm từ và câu rất hữu ích cho việc xây dựng từ điển song ngữ [65, 78].
Trong luận án này, chúng tôi giới hạn việc xây dựng ngữ liệu song ngữ cho SMT. Ngày nay, cùng với sự phát triển của Internet, Web là nguồn cơ sở dữ liệu khổng lồ chứa các tài liệu đa ngôn ngữ (multi-language), nguồn dữ liệu này được sử dụng cho các ứng dụng xử lý văn bản song ngữ. Vì lý do này, nhiều nghiên cứu tập trung vào việc rút trích dữ liệu song ngữ tự động từ Web. Về cơ bản, chúng tôi có thể phân loại các nghiên cứu này vào ba nhóm: (i) dựa trên nội dung (content - based) [16, 24, 76], (ii) dựa trên cấu trúc (structure - based) [17, 97, 100] và (iii) kết hợp (i) với (ii) [101, 128].1 trình bày sơ đồ tổng quan về rút trích ngữ liệu song ngữ từ Web.
Cách tiếp cận dựa trên nội dung thường dùng từ điển song ngữ để đo độ tương tự về nội dung của hai văn bản. Khi từ điển song ngữ có sẵn, tài liệu ở ngôn ngữ nguồn được dịch theo từng từ (word by word) ra ngôn ngữ đích. Các tài liệu dịch này sau đó được sử dụng để tìm tài liệu song ngữ phù hợp nhất bằng cách sử dụng các đo độ như Cosine, Jaccard, Dice, vv [55]. Tuy nhiên, sử dụng từ điển song ngữ có thể phải đối mặt với khó khăn vì một từ thường có nhiều bản dịch của nó.
Để 7 TIEU LUAN MOI download : skknchat@gmail.1: Sơ đồ tổng quan về rút trích ngữ liệu song ngữ từ Web. khắc phục hạn chế này, chúng tôi sử dụng một hệ thống SMT để có thể tận dụng những lợi thế của phương pháp dịch thống kê trong việc giải quyết các vấn đề về nhập nhằng từ vựng. Cách tiếp cận dựa trên cấu trúc so khớp cấu trúc HTML (HyperText Markup Language) của trang web. Cách tiếp cận này sử dụng giả thuyết các trang web song ngữ được trình bày với cấu trúc tương tự nhau.
Hệ thống STRAND của Resnik [101] là đại diện tiêu biểu cho cách tiếp cận này. Độ tương tự của các trang web được tính dựa vào cấu trúc HTML của chúng. Lưu ý rằng, các phương pháp dựa trên cách tiếp cận này không đòi hỏi tri thức về ngôn ngữ và khá hiệu quả trong việc loại ra các cặp tài liệu không phải song ngữ. Tuy nhiên, nó có hạn chế là yêu cầu hai trang web song ngữ phải có cùng một cách trình bày.
Theo quan sát của chúng tôi, nhiều trang web sử dụng cùng một mẫu thiết kế web, vì thế cấu trúc của các trang tương tự nhưng nội dung của chúng lại khác nhau. Do đó, phương pháp tiếp cận dựa trên cấu trúc HTML không được áp dụng trong một số trường hợp. chúng tôi đã kết hợp các đặc trưng dựa trên nội dung với các đặc trưng dựa trên cấu trúc của trang web để rút trích các văn bản song ngữ. Để tăng độ chính xác trong việc rút trích các văn bản song ngữ từ Web, chúng tôi kết hợp cả đặc trưng về cấu trúc và đặc trưng về nội dung2.
2 Chi tiết chúng tôi trình bày trong Chương 2, phần 2.1 8 TIEU LUAN MOI download : skknchat@gmail.com Hiện tại, có ít nghiên cứu về vấn đề này liên quan đến cặp ngôn ngữ Anh - Việt. Hai tác giả Đặng Bác Văn và Hồ Bảo Quốc [24] xây dựng ngữ liệu song ngữ Anh - Việt dựa trên việc so khớp nội dung. Trước hết, các cặp trang web ứng viên được xác định bằng cách sử dụng các đặc trưng về độ dài câu và ngày tạo trang web. Sau đó, các tác giả đo độ tương tự về nội dung sử dụng từ điển song ngữ Anh - Việt để quyết định hai trang web có phải là song ngữ hay không.
Quá trình này được thực hiện dựa trên một số ngưỡng của độ đo này. Chú ý rằng, phương pháp trong [24] chỉ tìm kiếm các trang web song ngữ có chất lượng dịch tốt và các trang song ngữ này có cùng kiểu trình bày. Hơn nữa, sử dụng từ điển để dịch theo từng từ có thể gây ra sự nhập nhằng. Vì thế, cách tiếp cận này khó để mở rộng khi dữ liệu tăng lên hoặc các trang song ngữ có kiểu trình bày khác nhau.
Như chúng tôi đã đề cập ở trên, Web là nguồn cơ sở dữ liệu khổng lồ chứa các tài liệu đa ngôn ngữ. Tuy nhiên, để có được ngữ liệu song ngữ với độ chính xác cao vẫn đang là một thách thức, bởi vì các văn bản được trình bày trên Internet thường bị "nhiễu". Trong khi đó, nhiều sách điện tử song ngữ (sẵn có) chứa một số lượng lớn các văn bản song ngữ được dịch cẩn thận. Đây là nguồn dữ liệu rất tiềm năng để bổ sung ngữ liệu song ngữ cho SMT, đặc biệt đối với các cặp ngôn ngữ còn hạn chế về ngữ liệu song ngữ như Anh - Việt, Nhật - Việt, vv.
Hiện tại, các ngữ liệu song ngữ có sẵn không những có kích thước tương đối nhỏ mà còn không cân bằng ngay cả đối với các ngôn ngữ chính [24], điều này ảnh hưởng đến chất lượng của các hệ thống SMT.2 Gióng hàng văn bản Trong xử lý văn bản song ngữ, gióng hàng là bài toán quan trọng nhất, tức là phát hiện sự tương ứng giữa các đơn vị trong hai văn bản ở các ngôn ngữ khác nhau [4]. Gióng hàng có thể được thực hiện ở mức đoạn, câu, cụm từ hoặc từ.