CHƯƠNG I TỔNG QUAN VỀ DỊCH MÁY THỐNG KÊ DỰA VÀO CỤM TỪ VÀ MÔ HÌNH NGÔN NGỮ 1.1 Dịch máy thống kê dựa trên cụm từ 1.1 Dịch máy và dịch máy thống kê Dịch máy (Machine Translation - MT) xuất hiện từ thập kỷ 50 của thế kỷ trước và đặc biệt được phát triển mạnh mẽ từ thập kỷ 80 cho đến ngày nay. Trên thế giới, hiện tại có rất nhiều hệ dịch máy thương mại nổi tiếng như Systrans, Kant, … hay những hệ dịch máy mở tiêu biểu là hệ dịch của Google, hỗ trợ hàng chục cặp ngôn ngữ phổ biến như Anh-Pháp, Anh-Trung, Anh-Nhật, Hoa-Nhật, … Các cách tiếp cận MT chia làm bốn lớp chính là dịch trực tiếp (direct), dịch dựa trên luật chuyển đổi (transfer), dịch liên ngữ (interlingua) và dịch dựa vào thống kê (statistical MT). Trước đây, phương pháp dịch dựa trên luật chuyển đổi và dịch liên ngữ chủ yếu dựa vào cú pháp có thời gian phát triển khá dài và hiện vẫn còn được sử dụng phổ biến trong nhiều hệ dịch thương mại. Những hệ dịch máy loại này này đã đạt được kết quả khá tốt với những cặp ngôn ngữ tương đồng nhau về cú pháp như Anh- Pháp, Anh-Tây Ban Nha, … nhưng còn gặp nhiều hạn chế đối với các cặp ngôn ngữ có cú pháp rất khác nhau như Anh-Trung, Anh-Nhật, … Dịch Anh-Việt, Việt-Anh ở nước ta cũng vấp phải những khó khăn tương tự do sự khác biệt về mặt cấu trúc ngữ pháp và tính nhập nhằng của ngữ nghĩa.
Hệ thống dịch Anh-Việt dựa trên luật chuyển đổi được thương mại hóa đầu tiên ở Việt Nam là EVTran. Nhiều nghiên cứu với yêu cầu tăng chất lượng dịch hiện nay vẫn đang được thực hiện và có thể thích nghi với đặc điểm của các cặp ngôn ngữ khác nhau. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 12 Dịch máy thống kê (SMT) là một phương pháp dịch máy, trong đó các bản dịch được tạo ra trên cơ sở các mô hình thống kê có các tham số được bắt nguồn từ việc phân tích các cặp câu song ngữ. Các phương pháp tiếp cận thống kê tương phản với các phương pháp tiếp cận dựa trên luật trong dịch máy cũng như với dịch máy dựa trên ví dụ.
Những ý tưởng đầu tiên của dịch máy thống kê đã được giới thiệu bởi Warren Weaver vào năm 1949 [1], bao gồm cả những ý tưởng của việc áp dụng lý thuyết thông tin của Claude Shannon. Dịch máy thống kê được tái giới thiệu vào năm 1991 bởi các nhà nghiên cứu làm việc tại Trung tâm nghiên cứu Thomas J. Watson của IBM[2] và đã góp phần đáng kể trong sự hồi sinh việc quan tâm đến dịch máy trong những năm gần đây. Ngày nay nó là phương pháp dịch máy được nghiên cứu nhiều nhất.
Dịch máy bằng phương pháp thống kê (Statistical Machine Translation) đã chứng tỏ là một hướng tiếp cận đầy đầy tiềm năng bởi những ưu điểm vượt trội so với các phương pháp dịch máy dựa trên cú pháp truyền thống qua nhiều thử nghiệm về dịch máy. Thay bằng việc xây dựng các từ điển, các luật chuyển đổi bằng tay, hệ dịch này tự động xây dựng các từ điển, các quy luật dựa trên kết quả thống kê có được từ dữ liệu. Vì thế, dịch máy dựa vào thống kê có tính khả chuyển cao, có khả năng áp dụng được cho cặp ngôn ngữ bất kỳ. Hệ thống SMT được đề xuất lần đầu tiên bởi Brown năm 1990 sử dụng mô hình kênh nhiễu và đã phát triển áp đảo trong ngành MT nhiều năm trở lại đây.
Thêm vào đó dịch máy thống kê có những ưu điểm sau: Dịch máy (MT) là vấn đề quyết định: Cho trước những từ trong ngôn ngữ nguồn, chúng ta phải quyết định chọn những từ trong ngôn ngữ đích. Vì vậy, nó tạo cho chúng ta một cảm giác là có thể giải quyết nó bằng định lý quyết định thống kê. Điếu đó dẫn đến cách tiếp cận thống kê được đề xuất. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 13 Mối quan hệ giữa đối tượng ngôn ngữ như từ, cụm từ và cấu trúc ngữ pháp thường yếu và mơ hồ.
Để mô hình hóa những phụ thuộc này, chúng ta cần một công thức hóa như đưa ra phân phối xác suất mà nó có thể giải quyết với những vấn đề phụ thuộc lẫn nhau. Để thực hiện MT, chúng ta nhất thiết phải kết hợp nhiều nguồn trí thức. Trong dịch thống kê, chúng ta dựa vào toán học để thực hiện kết hợp tối ưu của các nguồn trí thức. Trong dịch máy thống kê (SMT), trí thức dịch được học một cách tự động từ dữ liệu huấn luyện.
Với kết quả như vậy, việc phát triển một hệ dịch dựa vào thống kê sẽ rất nhanh so với hệ dịch dựa vào luật. SMT khá phù hợp với ứng dụng nhúng mà ở đây MT là một phần của ứng dụng lớn hơn. Ví dụ, trong dịch các bài nói chuyện, máy nhận dạng tiếng nói sẽ được thêm vào. SMT xem như rất phù hợp với cách tiếp cận này bởi vì nó tận dụng được sức mạnh của ngôn ngữ tự nhiện.
Việc đưa ra khái niệm “chính xác” của mối quan hệ ngữ pháp, ngữ nghĩa, văn phong là rất khó khăn nếu không nói là không thể. Vì vậy, việc hình thức hóa vấn đề này càng chính xác càng tốt không thể dựa vào sự giằng buộc bởi các luật mô tả chúng. Thay vào đó, trong cách tiếp cận thống kê, các giả định mô hình được kiểm định bằng thực nghiệm dựa vào dữ liệu huấn luyện. SMT đã cho chất lượng dịch khá tốt.
Hệ thống CANDIDE của IBM được coi là một trong những hệ dịch tốt nhất hiện nay trên thế giới. Chất lượng đạt trên 80%. Với phương pháp dịch trực tiếp, từng từ được dịch từ ngôn ngữ nguồn sang ngôn ngữ đích. Trong dịch dựa trên luật chuyển đổi, đầu tiên chúng ta cần phải phân tích cú pháp của câu vào, rồi áp dụng các luật chuyển đổi để biến đổi cấu trúc câu này ở ngôn ngữ nguồn sang cấu trúc của ngôn ngữ đích; LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 14 cuối cùng ta mới dịch ra câu hoàn chỉnh.
Đối với dịch liên ngữ, câu vào được phân tích thành một dạng biểu diễn trừu tượng hóa về ngữ nghĩa, được gọi là “interlingua”, sau đó ta tìm cách xây dựng câu đích phù hợp nhất với “interlingua” này. Dịch máy thống kê có cách tiếp cận hoàn toàn khác, khả năng dịch có được là dựa trên các mô hình thống kê được huấn luyện từ các ngữ liệu song ngữ. Kiến trúc chung của một hệ thống SMT được thể hiện trong hình 1. Mô hình của Brown (hay còn gọi là mô hình IBM) [7] biểu diễn quá trình dịch bằng một mô hình kênh nhiễu (noisy channel model) bao gồm ba thành phần: một mô hình dịch (translation model), có nhiệm vụ liên hệ các từ, cụm từ tương ứng của các ngôn ngữ khác nhau; một mô hình ngôn ngữ (LM), đại diện cho ngôn ngữ đích; một bộ giải mã (decoder), kết hợp mô hình dịch và mô hình ngôn ngữ để thực hiện nhiệm vụ dịch.
Ngôn ngữ nguồn ( f ) Tiền xử lý Mô hình ngôn ngữ Pr(e) Bộ giải mã * f arg max Pr(e | f ) Mô hình dịch Pr(f | e) Hậu xử lý Ngôn ngữ đích ( e ) Hình 1: Kiến trúc của một hệ thống SMT LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Dịch máy thống kê dựa trên cụm He is a good doctor Anh ấy là một bác sỹ giỏi Hình 2: Minh họa dịch máy thống kê dựa vào cụm Với dịch dựa trên cụm, một chuỗi các từ liên tiếp (cụm) được dịch sang ngôn ngữ đích, với độ dài cụm ngôn ngữ nguồn và đích có thể không giống nhau. Hình 2 minh họa phương pháp dịch cụm: câu vào được chia thành một số cụm; từng cụm một được dịch sang ngôn ngữ đích và sau đó các cụm được đảo trật tự theo một cách nào đó rồi ghép với nhau. Kết quả ta thu được câu dịch trong ngôn ngữ đích. Nếu gọi ngôn ngữ nguồn là f và ngôn ngữ đích là e, ta sẽ cố gắng tối đa hóa xác suất Pr( f | e) với mong muốn có được bản dịch tốt nhất.
Trong thực tế tồn tại hơn một bản dịch đúng cho cùng một câu, mục đích của ta là tìm ra câu ngôn ngữ e phù hợp nhất khi cho trước câu ngôn ngữ nguồn f. Dịch dựa vào cụm áp dụng mô hình kênh nhiễu, sử dụng công thức Bayes ta có: arg max ePr( f |e) Pr(e) arg max ePr(e| f ) Pr( f ) Vì Pr(f) là không thay đổi đối với e, bài toán trở thành việc tìm câu e nhằm cực đại hoá giá trị Pr( f | e) Pr(e) , Pr( f | e) Pr(e) có giá trị cực đại khi Pr( f | e) và Pr(e) cực đại. Việc xây dựng mô hình ngôn ngữ cần sử dụng một ngữ liệu đơn ngữ lớn, trong khi đó mô hình dịch lại cần đến ngữ liệu song ngữ LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Bộ giải mã được sử dụng để tìm ra câu dịch tốt nhất khi đã biết được Pr(e).
Để có được câu dịch, câu nguồn được chia thành I cụm liên tiếp f1I. Giả sử rằng phân phối xác suất là như nhau đối với các cụm này. Mỗi cụm fi trong f1I được dịch thành cụm tương ứng trong ngôn ngữ đích ei. Các cụm trong ngôn ngữ đích có thể đảo ví trí cho nhau.
Quá trình dịch cụm được mô hình hóa bởi phân phối xác suất ( f i | ei ). Việc đảo vị trí (reodering) của các cụm đầu ra được mô hình bởi phân phối xác suất d(ai – bi-1), trong đó ai đại diện cho vị trí bắt đầu của cụm trong câu nguồn được dịch thành cụm thứ i trong câu đích, và bi-1 là ký hiệu chỉ vị trí kết thúc của cụm trong câu nguồn được dịch thành cụm (i-1) trong câu đích. Ở đây chúng ta sử dụng mô hình đảo cụm như sau: d (a i bi 1) a i bi1 | 1| Trong đó α là giá trị tham số thích hợp. Muốn xác định độ dài phù hợp của câu dịch, ta đưa thêm thừa số ω khi sinh ra câu trong ngôn ngữ đích.
Qua quá trình tìm kiếm câu dịch tối ưu thừa số này sẽ được tối ưu. Độ dài của câu trong ngôn ngữ đích càng dài khi thừa số này càng lớn hơn 1.