Chương 1 Tổng quan các vấn đề liên quan luận án Chương này trình bày tổng quan về các vấn đề nghiên cứu trong luận án, bao gồm: dịch máy (Machine Translation - MT), dịch máy thống kê (Statistical Machine Translation - SMT), dịch máy nơ-ron (Neural Machine Translation), mô hình dịch máy thống kê dựa trên cụm từ (Phrase-based SMT), phân tích cú pháp phụ thuộc, bài toán đảo cụm; Đưa ra phân tích, đánh giá các công trình nghiên cứu liên quan, các vấn đề còn tồn tại mà luận án sẽ tập trung giải quyết và xác định nội dung nghiên cứu của luận án ở phần cuối chương.1 Tổng quan về dịch máy Dịch máy là một trong những vấn đề khó và lâu đời nhất trong trí tuệ nhân tạo [45, 49, 50]. Một trong những động lực chính cho dịch máy là sự quan tâm của các cơ quan tình báo để tăng khả năng nhận biết những gì đang xảy ra ở nước ngoài. Dù dịch máy có lịch sử lâu đời, việc dịch tự động toàn bộ với chất lượng cao là khó đạt được. Việc dịch thuật có liên quan đến nhiều ngôn ngữ và liên quan đến văn hóa là các vấn đề khó.
Dịch là một quá trình chuyển nghĩa của các từ hay văn bản sang ngôn ngữ 22 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com (a) Tháp chuyển đổi thể hiện quá trình dịch (b) Tháp chuyển đổi thể hiện các kiểu phân theo các phương pháp khác nhau tích trong sơ đồ hình tháp Hình 1.1: Sơ đồ hình tháp thể hiện các hệ thống dịch máy khác nhau. Nó liên quan đến việc giải mã nghĩa của ngôn ngữ nguồn và sau đó mã hóa lại theo nghĩa vào ngôn ngữ đích. Quá trình này liên quan đến một loạt hoạt động phức tạp, đòi hỏi kiến thức đầy đủ về ngôn ngữ bao gồm: hình thái học, cú pháp, ngữ nghĩa và ngữ cảnh như trong nghiên cứu (Jurafsky và Martin,2009;) [50]. Ngữ cảnh xung quanh văn bản dịch được xem như là độc lập có thể có nghĩa khác nhau.
Nó cũng đòi hỏi có kiến thức sâu phía các ngôn ngữ đích để mã hóa lại nghĩa. Trước những năm 1990, cách tiếp cận dựa trên luật là chủ yếu. Các luật khác nhau được thiết kế cho phân tích cú pháp, dịch chuyển từ vựng, hình thái học. Ban đầu, ba loại mô hình chính được đưa ra là: mô hình dịch trực tiếp, mô hình chuyển đổi và mô hình liên ngữ.
Các mô hình này được bắt nguồn từ việc phân tích cách các ngôn ngữ được hình thành.Bernard Vauquois [102] đưa ra sơ đồ hình kim tự tháp nổi tiếng trình bày các kiến trúc của các hệ thống dịch máy trong hình 1. Nhiều nhà nghiên cứu tập trung vào các hệ thống sử dụng các ngôn ngữ đại diện trung gian về nghĩa. Liên ngữ [30, 75] là một trường hợp của hệ thống hướng ngữ nghĩa. Nó sử dụng một ngôn ngữ quốc tế đại diện cho nghĩa trừu tượng, độc lập của một ngôn ngữ cụ thể.
Vấn đề thu hút sự quan tâm của các 23 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com nhà nghiên cứu nhưng được xem là một thách thức lớn trong trí tuệ nhân tạo.1a thể hiện quá trình dịch từ ngôn ngữ nguồn sang ngôn ngữ đích theo ba phương pháp khác nhau. Dịch trực tiếp [51] mà không cần bất kỳ phân tích văn bản do từ được dịch theo nghĩa đen với các luật cơ bản. Dịch chuyển đổi [62] sử dụng phân tích hình thái và cú pháp. Dịch liên ngữ [74] sử dụng một ngôn ngữ quốc tế đại diện cho nghĩa trừu tượng của văn bản.
Đầu năm 1990, một bước ngoặt lớn là có sự quan tâm nhiều hơn của nhiều nhà nghiên cứu trong dịch máy dựa vào dữ liệu. Còn được gọi là dựa trên kho ngữ liệu, dựa trên độ tương tự, dựa trên bộ nhớ hoặc dịch hướng dẫn có kinh nghiệm. Dịch dựa trên ví dụ là một trong những phương pháp tiếp cận sớm được đưa ra trong dịch máy theo hướng dữ liệu [76, 93]. Nó cố gắng tìm một câu tương tự với đầu vào đã cho trong ví dụ được dịch trước đó.
Sau đó, tạo ra những thay đổi thích hợp cho bản dịch được lựa chọn. Phương pháp này nhanh hơn dựa trên luật nhưng không đảm bảo bản dịch tốt hơn. Do sự gia tăng sức mạnh tính toán và khả năng tiếp cận các dữ liệu lớn, phương pháp thống kê đã được đề xuất để thực hiện phân tích sâu hơn so với các phương pháp tiếp cận dựa trên ví dụ. (Brown và cộng sự, 1990) [11] từ IBM trình bày mô hình toán học của dịch máy thống kê.
(Brown và cộng sự, 1993) [12] giới thiệu năm mô hình thống kê được gọi là mô hình IBM và đưa ra các thuật toán để ước lượng các tham số của mô hình. Dù họ nghiên cứu dịch máy trên một nền tảng toán học vững chắc nhưng chưa có nhiều nghiên cứu tập trung cho dịch máy. Năm 1999, nhiều nhà nghiên cứu đã cùng nhau cài đặt lại các mô hình IBM tại hội thảo mùa hè tại Đại học Johns Hopkins. (Al-Onaizan và cộng sự, 1999) [1] trong sáu tuần tại hội thảo đã cài đặt công cụ dịch máy thống kê (SMT) (gọi là EGYPT) và công cụ GIZA [90] được đề cập trong báo cáo kỹ thuật cho việc gióng từ.
Franz Och sau đó mở rộng các công cụ gióng từ thành 24 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Công cụ này trở thành một trong các khối chính trong các hệ thống SMT. Các hệ thống dịch máy sử dụng phương pháp đánh giá tự động với chi phí thấp, hiệu quả cao. Một số phương pháp đánh giá tự động chất lượng dịch như BLEU [92], NIST [28], TER [95].
Phương pháp phổ biến là phương pháp BLEU được đề xuất tại hội nghị ACL năm 2002. Ý tưởng chính của phương pháp này là so sánh kết quả bản dịch tự động bằng máy với các bản dịch mẫu của con người, bản dịch nào càng giống với bản dịch mẫu của con người thì bản dịch đó càng chính xác 1.2 Dịch máy thống kê 1.1 Cơ sở toán học Dịch máy thống kê (SMT- Statistical Machine Translation) là một phương pháp tiếp cận của dịch máy dựa trên phân tích thống kê tập dữ liệu các cặp câu từ hai ngôn ngữ (ngữ liệu song ngữ). Cơ sở toán học của dịch máy thống kê được (Brown và cộng sự, 1990) [11] đưa ra, sau đó năm mô hình thống kê được biết đến rộng rãi là các mô hình IBM (Brown và cộng sự, 1993) [12].2 mô tả hoạt động của hệ thống dịch máy thống kê. Dù mô hình tốt nhất hiện nay có nhiều cải tiến hơn so với phương pháp tiếp cận của Brown và cộng sự, nhưng bản chất vẫn sử dụng các mô hình IBM này.
Ban đầu, các mô hình IBM được áp dụng với kho ngữ liệu tiếng Pháp và tiếng Anh từ các hoạt động của Quốc hội Canada nhưng có thể được áp dụng cho các cặp ngôn ngữ khác. Khi làm việc trên ngữ liệu Pháp-Anh: • f là câu nguồn gồm j từ (f = f1 , ., fj ) 25 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com • e như một câu đích gồm i từ (e = e1 ,. Nó được viết như sau: ebest = argmax p(e|f ) (1.1) e Vì không giới hạn sự lựa chọn, có thể coi câu tiếng Anh ở đây là vấn đề tìm kiếm (argmax), mô hình huấn luyện này khó. Do đó, quy tắc Bayes đã được sử dụng để giải quyết sự phức tạp này.
Thay vì mô hình xác suất của câu tiếng Anh đúng ngữ pháp và bản dịch của câu tiếng Pháp cho trước, quy tắc Bayes chia quá trình này thành hai mô hình: mô hình ngôn ngữ p(e) và mô hình dịch p(f |e).3) e e Vấn đề tìm kiếm (argmax) bị giới hạn với câu e là đúng ngữ pháp bởi vì câu sai ngữ pháp sẽ có xác suất rất thấp. Phương pháp này đã được biết đến gọi là mô hình kênh nhiễu. Có nhiều nghiên cứu để giải quyết vấn đề nêu trong công thức 1. Phương pháp dựa trên cú pháp như ánh xạ tree-to-tree (Yamada và Kinight,2001) [110], tree-to-string hoặc string-to-tree (Galley và cộng sự, 2004) [31].
(Koehn và cộng sự, 2003) [59], (Och và Ney, 2004) [89] đưa ra mô hình dựa trên cụm sử dụng phương pháp để học các cụm từ cạnh nhau trên kho ngữ liệu song ngữ và sử dụng chúng trong suốt quá trình dịch. Một sửa đổi của mô hình dựa trên cụm là mô hình dựa trên cụm phân cấp, học các cụm từ liên tục và không liên tục, sử dụng chúng riêng biệt trong quá trình dịch (Chiang,2005,2007) [18,19]. Nghiên cứu của chúng tôi sử dụng dịch máy thống 26 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2: Kiến trúc cơ bản của hệ thống dịch máy thống kê kê dựa trên cụm từ do các ưu điểm trong việc xử lý các vấn đề liên quan đến đảo trật tự từ trong dịch máy thống kê được đề cập trong mục 1.2 Cấu trúc hệ thống dịch máy Luận án này sử dụng hệ thống dịch máy thống kê dựa trên cụm từ. Moses [57] là hệ thống dịch máy thống kê mã nguồn mở cho phép dịch tự động trên nhiều cặp song ngữ.
Trong quá trình huấn luyện mô hình, thuật toán tìm kiếm tính xác suất dịch cao nhất trong các khả năng có thể dịch ra. Moses được sử dụng để đánh giá chất lượng dịch trên cặp ngôn ngữ Anh-Việt.3 thể hiện các bước trong công cụ Moses để xây dựng hệ thống. Cấu trúc tổng quát của hệ thống được tóm tắt gồm năm giai đoạn chính: 1. Kho ngữ liệu song ngữ được tách từ, làm sạch dữ liệu (ví dụ như các câu dài, câu ngắn).
Mô hình ngôn ngữ được xây dựng từ phía ngôn ngữ đích hoặc dữ liệu đơn ngữ. 27 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.3: Các bước xây dựng hệ thống dịch máy thống kê dựa trên cụm từ 28 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Huấn luyện là giai đoạn tốn nhiều thời gian nhất vì hệ thống học cách sắp xếp từ để trích xuất các cặp từ. Sau đó, xây dựng mô hình dịch và sắp xếp lại.
Hệ thống điều chỉnh trọng số của mỗi đặc trưng (ví dụ như mô hình ngôn ngữ). Bước này cũng tốn kém về mặt tính toán. Cuối cùng, độ đo tự động (ví dụ như BLEU [92]) đánh giá hệ thống dựa trên bản dịch của con người.3 Dịch máy mạng nơ-ron Các mô hình dịch máy được sử dụng nhiều là dịch máy thống kê dựa trên cụm từ (PBSMT) (Koehn và cộng sự, 2007; Och và Ney, 2004) [59, 89] và dịch máy nơ-ron (NMT) (Bahdanau và cộng sự, 2014; Sutskever và cộng sự, 2014; Cho và cộng sự, 2014) [4,20,98].