Nghiên cứu mô hình dịch không liên tục giữa tiếng Anh và tiếng Việt

Luận văn thạc sĩ nghiên cứu mô hình dịch dựa vào cụm từ không liên tục cho cặp ngôn ngữ Anh-Việt, mang lại những ứng dụng thực tiễn.

• Tác giả: Lưu Tiến Trung
• Người hướng dẫn: TS. Nguyễn Văn Vinh
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Mô Hình Dịch Không Liên Tục Cho Cặp Ngôn Ngữ Anh-Việt
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN
• 1.1. Dịch máy thống kê
• 1.2. a) Giới thiệu tổng quan
• 1.3. b) Mô hình ngôn ngữ
• 1.4. c) Bộ giải mã
• 1.5. d) Chu kỳ phát triển của hệ thống dịch thống kê
• 1.6. e) Phương thức đánh giá
• 2. CHƯƠNG 2: MÔ HÌNH DỊCH MÁY DỰA TRÊN CỤM TỪ KHÔNG LIÊN TỤC
• 2.1. Mô hình dịch máy
• 2.2. a) Dịch máy thống kê dựa vào từ
• 2.3. b) Dịch máy thống kê dựa trên cụm từ
• 2.4. c) Dịch máy thống kê dựa trên cú pháp
• 2.5. Cụm từ không liên tục
• 2.6. Mô hình dịch máy dựa trên cụm từ không liên tục
• 2.7. a) Chích xuất các cụm từ không liên tục
• 2.8. c) Đặc trưng
• 3. CHƯƠNG 3: ÁP DỤNG MÔ HÌNH DỊCH MÁY DỰA TRÊN CỤM TỪ KHÔNG LIÊN TỤC CHO CẶP NGÔN NGỮ ANH-VIỆT
• 3.1. Chuẩn bị dữ liệu
• 3.2. Công cụ cho việc thử nghiệm, đánh giá
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu tổng quan

Chương này cung cấp cái nhìn tổng quan về dịch máy và các hệ thống dịch ngôn ngữ. Dịch máy thống kê (SMT) là một phương pháp quan trọng, trong đó các bản dịch được tạo ra dựa trên các mô hình thống kê từ việc phân tích các cặp câu song ngữ. Lịch sử của dịch máy bắt đầu từ thập kỷ 50 và đã phát triển mạnh mẽ từ thập kỷ 80. Các hệ thống dịch máy hiện nay như Google Translate đã đạt được nhiều thành tựu, nhưng vẫn gặp khó khăn khi dịch giữa các ngôn ngữ có cấu trúc khác nhau, như ngôn ngữ Anh và ngôn ngữ Việt. Việc nghiên cứu và cải thiện mô hình dịch là cần thiết để nâng cao chất lượng dịch. Các phương pháp hiện tại chủ yếu dựa vào luật chuyển đổi và thống kê, trong đó dịch máy thống kê đang được xem là một hướng đi khả thi và hiệu quả.

1.1. Dịch máy thống kê

Dịch máy thống kê (SMT) là một phương pháp dịch máy, trong đó các bản dịch được tạo ra dựa trên các mô hình thống kê. SMT đã được giới thiệu lần đầu bởi Warren Weaver vào năm 1949 và được tái giới thiệu vào năm 1991 bởi các nhà nghiên cứu tại IBM. Phương pháp này cho phép học tự động từ dữ liệu huấn luyện, giúp phát triển hệ thống dịch nhanh chóng. SMT sử dụng mô hình kênh nhiễu để tối ưu hóa xác suất của bản dịch. Mô hình này bao gồm ba thành phần chính: mô hình ngôn ngữ, mô hình dịch, và bộ giải mã. Mô hình ngôn ngữ tính toán xác suất của câu trong ngôn ngữ nguồn, trong khi mô hình dịch xác định xác suất của câu ngôn ngữ nguồn là bản dịch từ câu ngôn ngữ đích.

II. Mô hình dịch máy dựa trên cụm từ không liên tục

Chương này tập trung vào mô hình dịch dựa trên cụm từ không liên tục. Mô hình này cho phép dịch các thành phần không nằm cạnh nhau nhưng vẫn có liên kết ngữ nghĩa. Việc chích xuất các cụm từ không liên tục là một bước quan trọng trong quá trình này. Các đặc trưng của mô hình này giúp cải thiện chất lượng dịch, đặc biệt trong các ngữ cảnh phức tạp. Mô hình dịch máy dựa trên cụm từ không liên tục đã cho thấy hiệu quả cao trong việc xử lý các ngôn ngữ có cấu trúc khác nhau. Việc áp dụng mô hình này cho cặp ngôn ngữ Anh-Việt sẽ giúp nâng cao chất lượng dịch và mở rộng khả năng ứng dụng của công nghệ dịch.

2.1. Chích xuất các cụm từ không liên tục

Chích xuất các cụm từ không liên tục là quá trình xác định và tách biệt các cụm từ có liên kết ngữ nghĩa nhưng không nằm cạnh nhau trong văn bản. Quá trình này đòi hỏi các thuật toán phức tạp để nhận diện và phân tích ngữ nghĩa của các cụm từ. Việc áp dụng các phương pháp học máy trong chích xuất cụm từ không liên tục đã cho thấy hiệu quả cao trong việc cải thiện chất lượng dịch. Các nghiên cứu đã chỉ ra rằng, việc sử dụng các cụm từ không liên tục giúp giảm thiểu sai sót trong bản dịch và nâng cao độ chính xác của hệ thống dịch máy.

III. Áp dụng mô hình dịch máy dựa trên cụm từ không liên tục cho cặp ngôn ngữ Anh Việt

Chương này mô tả việc áp dụng mô hình dịch máy dựa trên cụm từ không liên tục cho cặp ngôn ngữ Anh-Việt. Việc chuẩn bị dữ liệu và công cụ thử nghiệm là rất quan trọng để đảm bảo tính chính xác của mô hình. Các thử nghiệm đã được thực hiện để đánh giá hiệu quả của mô hình trong việc dịch các văn bản từ tiếng Anh sang tiếng Việt và ngược lại. Kết quả cho thấy mô hình này có khả năng cải thiện đáng kể chất lượng dịch so với các phương pháp truyền thống. Hướng nghiên cứu tiếp theo sẽ tập trung vào việc tối ưu hóa mô hình và mở rộng ứng dụng của nó trong các lĩnh vực khác nhau.

3.1. Chuẩn bị dữ liệu

Chuẩn bị dữ liệu là bước đầu tiên và quan trọng trong quá trình áp dụng mô hình dịch. Dữ liệu cần được thu thập từ các nguồn đáng tin cậy và phải được xử lý để đảm bảo tính chính xác. Việc lựa chọn các văn bản song ngữ phù hợp sẽ giúp mô hình học được các quy tắc ngữ pháp và ngữ nghĩa của cả hai ngôn ngữ. Các công cụ như Phrasal được sử dụng để hỗ trợ trong việc thử nghiệm và đánh giá chất lượng dịch. Kết quả từ các thử nghiệm này sẽ cung cấp thông tin quý giá để cải thiện mô hình trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Theo báo cáo của UNESCO, trên thế giới hiện có khoảng 2750 thứ tiếng, tạo ra thách thức lớn trong giao tiếp đa ngôn ngữ. Việc dịch tự động trở thành một nhu cầu cấp thiết nhằm giảm thiểu sự phụ thuộc vào đội ngũ phiên dịch truyền thống, vốn tốn kém về thời gian và chi phí. Đặc biệt, với cặp ngôn ngữ Anh-Việt, sự khác biệt về cấu trúc ngữ pháp và tính nhập nhằng ngữ nghĩa khiến cho các hệ thống dịch máy truyền thống gặp nhiều khó khăn trong việc đảm bảo chất lượng bản dịch. Mục tiêu nghiên cứu của luận văn là áp dụng mô hình dịch máy dựa trên cụm từ không liên tục nhằm cải thiện chất lượng dịch cho cặp ngôn ngữ này. Nghiên cứu tập trung trong phạm vi dữ liệu thu thập từ IWSLT 2015 và các nguồn dữ liệu đơn ngữ tiếng Việt từ các báo điện tử lớn, với tổng dung lượng dữ liệu đơn ngữ khoảng 1GB cho mỗi ngôn ngữ. Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao điểm BLEU – một chỉ số đánh giá chất lượng bản dịch tự động, đồng thời mở rộng khả năng ứng dụng trong giảng dạy và phát triển các hệ thống dịch tự động phù hợp với đặc thù ngôn ngữ Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên ba mô hình dịch máy chính: mô hình dịch dựa trên từ, mô hình dịch dựa trên cụm từ và mô hình dịch dựa trên cú pháp. Trong đó, mô hình dịch dựa trên cụm từ không liên tục được lựa chọn làm trọng tâm nghiên cứu nhằm khắc phục hạn chế của các mô hình trước đó khi các cụm từ dịch không nằm liền kề nhau trong câu nguồn nhưng có liên kết ngữ nghĩa. Các khái niệm chính bao gồm:

• Mô hình ngôn ngữ N-gram: sử dụng xấp xỉ Markov bậc n để tính xác suất xuất hiện của câu dựa trên chuỗi các từ liên tiếp.
• Mô hình dịch máy thống kê (SMT): dựa trên lý thuyết kênh nhiễu, tối đa hóa xác suất hậu nghiệm của câu dịch dựa trên câu nguồn.
• Cụm từ không liên tục: các cụm từ dịch có thể chứa khoảng trống, cho phép khai thác ngữ cảnh rộng hơn và cải thiện chất lượng dịch.

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm tập dữ liệu song ngữ và đơn ngữ thu thập từ IWSLT 2015 và các trang báo điện tử lớn tại Việt Nam, với tổng số câu huấn luyện lên đến hơn 123.000 câu, tập phát triển 745 câu và tập kiểm thử 1.046 câu. Dữ liệu được tiền xử lý kỹ lưỡng bao gồm tách câu, tách từ (sử dụng VnTokenizer cho tiếng Việt và tokenizer.perl cho tiếng Anh), loại bỏ ký tự không cần thiết và các câu quá dài (>300 từ). Phương pháp phân tích sử dụng hai công cụ dịch máy thống kê phổ biến là Moses và Phrasal, trong đó Phrasal hỗ trợ xử lý cụm từ không liên tục. Mô hình ngôn ngữ được xây dựng dựa trên 4-gram sử dụng công cụ KenLM. Quá trình nghiên cứu được thực hiện qua 12 thử nghiệm, chia đều cho hai chiều dịch Anh-Việt và Việt-Anh, với các biến thể về tập dữ liệu huấn luyện nhằm đánh giá ảnh hưởng của việc mở rộng dữ liệu đơn ngữ và song ngữ. Thời gian nghiên cứu kéo dài trong năm 2015, trên nền tảng hệ điều hành CentOS 6.4 với cấu hình máy chủ RAM 12GB và 4 CPU.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của mô hình dịch dựa trên cụm từ không liên tục: Thử nghiệm với công cụ Phrasal cho điểm BLEU cao hơn so với Moses trong cả hai chiều dịch. Cụ thể, chiều dịch Anh-Việt, Phrasal đạt điểm BLEU tối đa 31.56, cao hơn 2.8 điểm so với Moses (28.76) khi sử dụng dữ liệu mở rộng. Chiều dịch Việt-Anh, Phrasal đạt điểm BLEU tối đa 27.21, vượt trội hơn so với Moses (26.3).

2. Ảnh hưởng của mở rộng dữ liệu đơn ngữ: Việc bổ sung thêm 1GB dữ liệu đơn ngữ tiếng Việt và tiếng Anh giúp cải thiện điểm BLEU trung bình khoảng 0.4-0.5 điểm cho cả hai công cụ, thể hiện tầm quan trọng của dữ liệu đơn ngữ trong xây dựng mô hình ngôn ngữ.

3. So sánh công cụ dịch: Phrasal, với khả năng xử lý cụm từ không liên tục, thể hiện ưu thế rõ rệt trong việc giữ nguyên ngữ cảnh và cấu trúc câu, giúp bản dịch trôi chảy và chính xác hơn. Moses, mặc dù ổn định, nhưng hạn chế trong xử lý các cụm từ không liên tục dẫn đến điểm BLEU thấp hơn.

4. Chất lượng bản dịch thực tế: Các ví dụ bản dịch cho thấy Phrasal có khả năng dịch chính xác các câu phức tạp, giữ nguyên ý nghĩa và cấu trúc ngữ pháp tốt hơn, ví dụ như dịch câu “This behavior is remarkable in part because we never gave Entropica a goal” thành “Hành vi này là một điều đáng chú ý ở phần bởi vì chúng ta không bao giờ đưa entropica một mục tiêu”.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện chất lượng dịch khi sử dụng mô hình cụm từ không liên tục là khả năng khai thác ngữ cảnh rộng hơn, không bị giới hạn bởi sự liền kề của các từ trong câu nguồn. Điều này đặc biệt quan trọng với tiếng Việt, vốn có cấu trúc cú pháp linh hoạt và nhiều thành phần ngữ nghĩa phân tán. So với các nghiên cứu trước đây tập trung vào mô hình dịch dựa trên từ hoặc cụm từ liên tục, kết quả này cho thấy hướng đi mới có tiềm năng ứng dụng cao. Việc mở rộng dữ liệu đơn ngữ cũng góp phần nâng cao độ chính xác của mô hình ngôn ngữ, từ đó cải thiện chất lượng dịch tổng thể. Các biểu đồ so sánh điểm BLEU giữa các thử nghiệm minh họa rõ ràng xu hướng tăng điểm khi mở rộng dữ liệu và sử dụng mô hình cụm từ không liên tục. Kết quả này có ý nghĩa thực tiễn lớn trong việc phát triển các hệ thống dịch tự động phù hợp với đặc thù ngôn ngữ Việt Nam, đồng thời hỗ trợ công tác giảng dạy và nghiên cứu ngôn ngữ.

Đề xuất và khuyến nghị

1. Mở rộng và đa dạng hóa dữ liệu huấn luyện: Tăng kích thước và chất lượng của tập dữ liệu song ngữ và đơn ngữ, đặc biệt là dữ liệu tiếng Việt từ nhiều nguồn khác nhau nhằm nâng cao độ bao phủ ngôn ngữ và ngữ cảnh. Chủ thể thực hiện: các nhóm nghiên cứu và tổ chức thu thập dữ liệu, thời gian: 6-12 tháng.

2. Tối ưu tham số và thuật toán trong công cụ Phrasal: Nghiên cứu điều chỉnh các tham số của bộ công cụ Phrasal để tối ưu hóa quá trình huấn luyện và giải mã, từ đó nâng cao chất lượng bản dịch. Chủ thể thực hiện: nhóm phát triển phần mềm, thời gian: 3-6 tháng.

3. Phát triển mô hình ngôn ngữ nâng cao: Áp dụng các kỹ thuật học sâu và mô hình ngôn ngữ tiên tiến hơn như Transformer hoặc BERT để cải thiện khả năng dự đoán và xử lý ngữ cảnh. Chủ thể thực hiện: nhóm nghiên cứu AI và xử lý ngôn ngữ tự nhiên, thời gian: 12-18 tháng.

4. Xây dựng ứng dụng dịch máy hoàn chỉnh: Tích hợp mô hình dịch dựa trên cụm từ không liên tục vào hệ thống dịch máy thực tế, phục vụ giảng dạy, nghiên cứu và ứng dụng thương mại. Chủ thể thực hiện: các công ty công nghệ và trung tâm nghiên cứu, thời gian: 12 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin, Xử lý Ngôn ngữ Tự nhiên: Nghiên cứu sâu về mô hình dịch máy thống kê, đặc biệt là mô hình dịch dựa trên cụm từ không liên tục, phục vụ phát triển các đề tài nghiên cứu mới.

2. Các tổ chức phát triển phần mềm dịch máy: Áp dụng kết quả nghiên cứu để cải tiến các hệ thống dịch tự động, nâng cao chất lượng dịch cho cặp ngôn ngữ Anh-Việt.

3. Giảng viên và sinh viên ngành Ngôn ngữ học ứng dụng: Hiểu rõ hơn về các phương pháp dịch máy hiện đại, hỗ trợ giảng dạy và nghiên cứu về dịch thuật và ngôn ngữ học.

4. Doanh nghiệp và tổ chức có nhu cầu dịch thuật tự động: Áp dụng mô hình dịch máy nâng cao để giảm chi phí và tăng hiệu quả trong công tác dịch thuật, đặc biệt trong các lĩnh vực thương mại, giáo dục và truyền thông.

Câu hỏi thường gặp

1. Mô hình dịch dựa trên cụm từ không liên tục là gì?
   Mô hình này cho phép dịch các cụm từ trong câu nguồn mà không cần các từ trong cụm phải liên tiếp nhau, giúp khai thác ngữ cảnh rộng hơn và cải thiện chất lượng dịch, đặc biệt với ngôn ngữ có cấu trúc linh hoạt như tiếng Việt.

2. Điểm BLEU phản ánh điều gì trong đánh giá dịch máy?
   BLEU là chỉ số đo lường mức độ tương đồng giữa bản dịch máy và bản dịch tham khảo do con người thực hiện, điểm số càng cao chứng tỏ bản dịch càng chính xác và tự nhiên.

3. Tại sao mở rộng dữ liệu đơn ngữ lại quan trọng?
   Dữ liệu đơn ngữ giúp xây dựng mô hình ngôn ngữ chính xác hơn, từ đó cải thiện khả năng dự đoán và lựa chọn câu dịch phù hợp, đặc biệt khi dữ liệu song ngữ hạn chế.

4. Công cụ Phrasal có ưu điểm gì so với Moses?
   Phrasal hỗ trợ xử lý cụm từ không liên tục, giúp giữ nguyên ngữ cảnh và cấu trúc câu tốt hơn, từ đó nâng cao chất lượng bản dịch so với Moses chỉ xử lý cụm từ liên tục.

5. Có thể áp dụng mô hình này cho các cặp ngôn ngữ khác không?
   Có, mô hình dịch dựa trên cụm từ không liên tục có thể được điều chỉnh và áp dụng cho các cặp ngôn ngữ có cấu trúc cú pháp khác biệt, tuy nhiên cần có dữ liệu huấn luyện phù hợp cho từng cặp ngôn ngữ.

Kết luận

• Luận văn đã thành công trong việc áp dụng mô hình dịch máy dựa trên cụm từ không liên tục cho cặp ngôn ngữ Anh-Việt, nâng cao điểm BLEU so với mô hình truyền thống.
• Việc mở rộng dữ liệu đơn ngữ và song ngữ đóng vai trò quan trọng trong cải thiện chất lượng dịch.
• Công cụ Phrasal thể hiện ưu thế vượt trội trong xử lý cụm từ không liên tục so với Moses.
• Nghiên cứu mở ra hướng phát triển mới cho dịch máy tiếng Việt, phù hợp với đặc thù ngôn ngữ và nhu cầu thực tế.
• Các bước tiếp theo bao gồm tối ưu thuật toán, mở rộng dữ liệu và xây dựng ứng dụng dịch máy hoàn chỉnh nhằm ứng dụng rộng rãi trong thực tiễn.

Mời quý độc giả và các nhà nghiên cứu tiếp tục theo dõi và phát triển các hướng nghiên cứu mới dựa trên nền tảng này để nâng cao chất lượng dịch máy cho tiếng Việt và các ngôn ngữ khác.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Theo bản điều tra báo cáo của UNESCO Liên Hiệp Quốc thì trên thế giới hiện có 2750 thứ tiếng. Với nhu cầu trao đổi thông tin thƣờng xuyên và liên tục, con ngƣời gặp phải không ít khó khăn do bất đồng ngôn ngữ. Ngƣời ta đã phải dùng đến một đội ngũ phiên dịch khổng lồ, để dịch các văn bản, tài liệu, lời nói từ tiếng nƣớc này sang tiếng nƣớc khác. Để khắc phục những nhƣợc điểm trên con ngƣời đã nghĩ đến việc thiết kế một mô hình dịch tự động.

Công việc đƣa ra mô hình dịch tự động đã và đang đƣợc phát triển và trở thành đề tài nghiên cứu đƣợc rất nhiều nhà khoa học quan tâm. Trên thế giới đã có rất nhiều nƣớc công bố nghiên cứu về mô hình ngôn ngữ áp dụng cho ngôn ngữ của họ nhƣng ở Việt Nam, việc nghiên cứu và xây dựng một mô hình ngôn ngữ chuẩn cho tiếng Việt vẫn còn mới mẻ và gặp nhiều khó khăn Mô hình dịch là một thành phần quan trọng trong các hệ thống dịch máy. Cải thiện mô hình dịch có thể tăng hiệu quả rất lớn đối với các hệ thống dịch máy. Vì vậy, trên thế giới đã có nhiều nghiên cứu đƣợc công bố về các mô hình dịch đem lại những hiệu quả rất tích cực.

Ở Việt Nam, dịch máy cũng đã trở thành đề tài đƣợc một số nhóm tập trung nghiên cứu tuy nhiên chất lƣợng cũng nhƣ phạm vi ứng dụng của các hệ dịch đó vẫn còn nhiều hạn chế. Những khó khăn đến từ cách thức tiếp cận, về cấu trúc ngữ pháp và sự nhập nhằng ngữ nghĩa của tiếng Việt. Dịch máy dựa trên cụm từ hiện nay đang là mô hình dịch đem lại hiệu quả cao và đang đƣợc sử dụng rộng rãi (Google, Bing,. Mặc dù vậy, dịch trên cụm từ vẫn còn có những hạn chế khi mà dịch trên cụm từ thông thƣờng không đem lại kết quả cao khi trong dữ liệu huấn luyện chứa các thành phần dịch mà không nằm cạnh nhau nhƣng lại có liên kết tới nhau.

Khi đó các thành phần này sẽ bị dịch riêng rẽ và đƣa ra kết quả không chính xác. Chính điều này đã gợi ý và thúc z đẩy tôi lựa chọn và tập trung nghiên cứu về vấn đề này. Dựa vào bài báo của Michel Galley and Christopher D. Manning [3], tôi tiến hành nghiên cứu đề tài “Áp dụng mô hình dịch dựa vào cụm từ không liên tục cho cặp ngôn ngữ Anh Việt”.

Tôi tin là nếu đề tài này đƣợc nghiên cứu thành công, kết quả của đề tài có thể ứng dụng rất tốt phục vụ trong công tác giảng dạy cũng nhƣ áp dụng thực tiễn để xây dựng hệ thống dịch tự động. Bố cục luận văn gồm 3 chƣơng: Chƣơng 1: Giới thiệu tổng quan. Nội dung chính của chƣơng này là giới thiệu tổng quan về bài toán dịch tự động, các hệ thống dịch máy, dịch máy thống kê. Chƣơng này cũng giới thiệu về nguyên lý hoạt động, các thành phần và phƣơng pháp đánh giá về một hệ thống dịch máy thống kê.

Chƣơng 2: Mô hình dịch dựa vào cụm từ không liên tục Nội dung chính của chƣơng này là giới thiệu về mô hình dịch máy dựa trên cụm từ không liên tục. Trong chƣơng này, chúng tôi đã giới thiệu về mô hình dịch máy, phân loại các mô hình dịch máy hiện nay. Cùng với đó, chúng tôi đã trình bày cách tiếp cận, đi sâu vào mô hình dịch máy dựa trên cụm từ không liên tục. Chƣơng 3: Áp dụng mô hình dịch dựa vào cụm từ không liên tục cho cặp ngôn ngữ Anh-Việt Nội dung chính của chƣơng này là mô tả việc áp dụng mô hình học máy dựa trên cụm từ không liên tục cho bài toán dịch máy.

Chƣơng tày cũng sẽ mô tả về công cụ Phrasal cùng các thực nghiệm sử dụng công cụ này, đƣa ra các kết quả thu đƣợc và đánh giá. Cuối chƣơng sẽ đƣa ra hƣớng nghiên cứu tiếp theo của đề tài. z CHƢƠNG 1: GIỚI THIỆU TỔNG QUAN Nội dung chính của chương này là giới thiệu tổng quan về bài toán dịch tự động, các hệ thống dịch máy, dịch máy thống kê. Chương này cũng giới thiệu về nguyên lý hoạt động, các thành phần và phương pháp đánh giá về một hệ thống dịch máy thống kê.

Dịch máy Các hệ dịch máy (machine translation system-MT) là các hệ thống sử dụng máy tính để dịch từ một thứ tiếng (trong ngôn ngữ tự nhiên) sang một hoặc vài thứ tiếng khác. Đầu vào của một hệ dịch máy là một văn bản viết trong ngôn ngữ nguồn. Văn bản này có thể thu đƣợc từ một hệ soạn thảo hay một hệ nhận dạng chữ viết, lời nói. Sau đó văn bản có thể đƣợc chỉnh sửa lại nhờ khối soạn thảo, kiểm tra chính tả, trƣớc khi đƣa vào máy dịch.

Phần dịch máy sẽ chuyển văn bản nguồn thành văn bản viết trên ngôn ngữ đích. Và cũng qua một bộ chỉnh ra để cuối cùng thu đƣợc một văn bản tƣơng đối hoàn chỉnh. Dịch máy có lịch sử lâu đời từ thập kỷ 50 và đƣợc phát triển mạnh mẽ từ thập kỷ 80 cho đến nay. Hiện tại, trên thế giới có rất nhiều hệ dịch máy thƣơng mại nổi tiếng trên thế giới nhƣ Systrans, Kant, … hay những hệ dịch máy mở tiêu biểu là hệ dịch của Google, hỗ trợ hàng chục cặp ngôn ngữ phổ biến nhƣ Anh- Pháp, Anh-Trung, Anh-Nhật, Hoa-Nhật,… Các cách tiếp cận dịch máy chủ yếu dựa vào luật chuyển đổi, dịch liên ngữ và dịch dựa vào dữ liệu.

Các hệ dịch máy này đã đạt đƣợc kết quả khá tốt với những cặp ngôn ngữ tƣơng đồng nhau về cú pháp nhƣ các cặp ngôn ngữ AnhPháp, Anh-Tây Ban Nha, … và còn gặp nhiều hạn chế đối với các cặp ngôn ngữ có cú pháp khác nhau nhƣ Anh-Trung, Anh- 10 z Nhật, … Và ở Việt Nam, dịch Anh-Việt, Việt-Anh cũng vấp phải những khó khăn tƣơng tự do sự khác biệt về mặt cấu trúc ngữ pháp và tính nhập nhằng của ngữ nghĩa. hệ thống dịch Anh-Việt dựa trên luật chuyển đổi đƣợc thƣơng mại hóa đầu tiên ở Việt Nam là EVTran, MTD Lạc Việt. Hiện nay, nhiều nghiên cứu với mong muốn tăng chất lƣợng dịch vẫn đang đƣợc thực hiện thích nghi với đặc điểm của các cặp ngôn ngữ khác nhau. Hiện nay, các nghiên cứu để làm tăng chất lƣợng hệ dịch vẫn đang đƣợc tiến hành phù hợp với đặc điểm của các cặp ngôn ngữ.

Trong đó, phương pháp dịch dựa trên thống kê là một hƣớng tiếp cận đang đƣợc phát triển mạnh từ những năm của thập kỷ 90, đang đƣợc xem là cách tiếp cận khả thi và hiệu quả của việc dịch tự động với nhiều bƣớc đột phá. Dịch máy thống kê a) Giới thiệu tổng quan Dịch máy thống kê (SMT) là một phƣơng pháp dịch máy, trong đó các bản dịch đƣợc tạo ra trên cơ sở các mô hình thống kê có các tham số đƣợc bắt nguồn từ việc phân tích các cặp câu song ngữ. Các phƣơng pháp tiếp cận thống kê tƣơng phản với các phƣơng pháp tiếp cận dựa trên luật trong dịch máy cũng nhƣ với dịch máy dựa trên ví dụ. Những ý tƣởng đầu tiên của dịch máy thống kê đã đƣợc giới thiệu bởi Warren Weaver vào năm 1949, bao gồm cả những ý tƣởng của việc áp dụng lý thuyết thông tin của Claude Shannon.

Dịch máy thống kê đƣợc tái giới thiệu vào năm 1991 bởi các nhà nghiên cứu làm việc tại Trung tâm nghiên cứu Thomas J. Watson của IBM và đã góp phần đáng kể trong sự hồi sinh việc quan 11 z tâm đến dịch máy trong những năm gần đây. Ngày nay nó là phƣơng pháp dịch máy đƣợc nghiên cứu nhiều nhất. Để thực hiện dịch máy, chúng ta nhất thiết phải kết hợp nhiều nguồn trí thức.

Trong khi đối với dịch thống kê, chúng ta dựa vào toán học để thực hiện kết hợp tối ƣu của các nguồn trí thức. Trong dịch máy thống kê, trí thức dịch đƣợc học một cách tự động từ dữ liệu huấn luyện. Với kết quả nhƣ vậy, việc phát triển một hệ dịch dựa vào thống kê sẽ rất nhanh so với hệ dịch dựa vào luật. Thật vậy, việc đƣa ra khái niệm “chính xác” của mối quan hệ ngữ pháp, ngữ nghĩa, văn phong là rất khó khăn hơn rất nhiều nếu không nói là không thể.

Thay vào đó, trong cách tiếp cận thống kê, các giả định mô hình đƣợc kiểm định bằng thực nghiệm dựa vào dữ liệu huấn luyện. Một ƣu điểm khác của dịch máy thống kê đó là phƣơng pháp này khá phù hợp với ứng dụng nhúng mà ở đây dịch máy là một phần của ứng dụng lớn hơn. Dịch máy dựa trên phƣơng pháp thống kê sẽ tìm câu ngôn ngữ đích e phù hợp nhất (có xác suất cao nhất) khi cho trƣớc câu ngôn ngữ nguồn f. Một hệ dịch máy dựa trên phƣơng pháp thống kê có thể đƣợc mô hình hoá nhƣ hình sau: 12 z Hình 0.1: Mô hình hóa hệ dịch máy Dịch máy thống kê lần đầu tiên đƣợc đề cập trong bài báo với phƣơng pháp sử dụng là mô hình Kênh nhiễu (Noisy Channel Model).

Mô hình kênh nhiễu đƣợc Brown áp dụng trong bài toán dịch máy nhƣ sau: Cho câu tiếng Pháp f1J = f1 … f j … f J cần dịch sang câu tiếng Anh e1I = e1 …ei …eI. Brown dựng lên mô hình kênh nhiễu với e là đầu vào bộ mã hoá (Encoder), qua kênh nhiễu đƣợc chuyển hoá thành f và sau đó, gửi f đến bộ giải mã (Decoder). Nhƣ vậy, trong các câu tiếng Anh, ta chọn câu sao cho xác suất hậu nghiệm Pr (e1I | f1J ) là lớn nhất, theo luật quyết định Bayes : { eˆ1I = arg max Pr(e1I | f1 J ) } = arg max{Pr(e ).Pr( f | e )} 1 1 1 13 z Nhƣ vậy, ta có thể xây dựng mô hình chung của hệ dịch máy bằng phƣơng pháp thống kê thông thƣờng sẽ bao gồm 3 thành phần: - Mô hình ngôn ngữ: Tính toán đƣợc xác suất của câu ngôn ngữ nguồn. - Mô hình dịch: Cho biết xác suất của câu ngôn ngữ nguồn là bản dịch từ câu ngôn ngữ đích.

- Bộ giải mã: Tìm kiếm tất cả các câu ngôn ngữ đích e có thể có từ câu ngôn ngữ nguồn f. Mô hình dịch từ tiếng Anh sang tiếng Việt có thể hình dung thông qua biểu đồ dƣới đây: Hình 0.2: Mô hình dịch máy thống kê từ tiếng Anh sang tiếng Việt Mô hình dịch của mô hình ngôn ngữ sẽ đƣợc trình bày ở chƣơng sau của luận văn. Ở phần này, luận văn chỉ đề cập đến hai thành phần còn lại của mô hình dịch máy thống kê. 14 z b) Mô hình ngôn ngữ Mô hình ngôn ngữ là một phân bố xác suất trên các tập văn bản.