Tối ưu bảng cụm từ để cải tiến dịch máy thống kê

Luận văn thạc sĩ nghiên cứu hay tối ưu bảng cụm từ để cải tiến dịch máy thống kê, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện thực tiễn.

• Tác giả: Kiều Công Chính
• Trường học: Đại Học Thái Nguyên
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Tối Ƣu Bảng Cụm Từ Để Cải Tiến Dịch Máy Thống Kê
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2015
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: DỊCH MÁY THỐNG KÊ TRÊN CƠ SỞ CỤM TỪ
• 1.1. Ngôn ngữ tự nhiên
• 1.2. Dịch máy
• 1.3. Dịch máy thống kê dựa vào cụm từ
• 1.4. Cơ sở của phương pháp dịch máy thống kê
• 1.5. Gióng hàng từ, gióng hàng thống kê
• 1.6. Dịch máy thống kê dựa trên cơ sở cụm từ
• 1.7. Mục đích của việc dịch máy thống kê trên cơ sở cụm từ
• 1.8. Đảo cụm từ trong dịch máy thống kê
• 1.9. Bảng cụm từ trong dịch máy thống kê
• 2. CHƯƠNG II: PHƯƠNG PHÁP TỐI ƯU BẢNG CỤM TỪ
• 2.1. Quy trình sinh bảng cụm từ
• 2.2. Phương pháp tối ưu bảng cụm từ
• 2.2.1. Chỉ số cụm từ nguồn
• 2.2.2. Lưu trữ cụm từ mục tiêu
• 2.2.3. Nén ngữ liệu song ngữ
• 2.2.4. Nén bảng cụm từ
• 2.3. Giải mã cụm từ
• 3. CHƯƠNG III: ĐÁNH GIÁ THỰC NGHIỆM BẰNG HỆ DỊCH MÁY THỐNG KÊ MOSES
• 3.1. Môi trường triển khai
• 3.2. Xây dựng chương trình dịch và thực hiện nén bảng cụm từ
• 3.2.1. Chuẩn hóa dữ liệu
• 3.2.2. Xây dựng mô hình ngôn ngữ, mô hình dịch
• 3.2.3. Nén bảng cụm từ
• 3.2.4. Đánh giá kết quả dịch
• 3.3. Thực nghiệm và đánh giá kết quả dịch tiếng Anh sang tiếng Việt
• 3.3.1. Thực nghiệm dịch với câu đơn giản
• 3.3.2. Thực nghiệm dịch 1 đoạn văn bản từ tiếng Anh-Tiếng Việt
• 3.3.3. Đánh giá kết quả dữ liệu huấn luyện bảng cụm từ
• 3.3.4. Đánh giá kết quả theo cỡ dữ liệu huấn luyện
• 3.3.5. Đánh giá kết quả theo thời gian tải bảng cụm từ
• Tài liệu tham khảo

Tóm tắt

I. Tổng quan về tối ưu bảng cụm từ trong dịch máy thống kê

Tối ưu bảng cụm từ là một yếu tố quan trọng trong việc nâng cao hiệu quả của dịch máy thống kê. Bảng cụm từ giúp hệ thống dịch máy hiểu rõ hơn về ngữ cảnh và ý nghĩa của các cụm từ trong ngôn ngữ nguồn và ngôn ngữ đích. Việc tối ưu hóa bảng cụm từ không chỉ giúp cải thiện độ chính xác của bản dịch mà còn giảm thiểu thời gian xử lý. Nghiên cứu cho thấy rằng việc sử dụng bảng cụm từ lớn và chính xác có thể làm tăng đáng kể hiệu quả dịch máy thống kê.

1.1. Khái niệm về bảng cụm từ trong dịch máy

Bảng cụm từ là tập hợp các cụm từ được dịch từ ngôn ngữ nguồn sang ngôn ngữ đích. Nó giúp hệ thống dịch máy nhận diện và xử lý các cụm từ một cách hiệu quả hơn. Việc xây dựng bảng cụm từ chính xác là rất quan trọng để đảm bảo chất lượng dịch.

1.2. Tại sao tối ưu bảng cụm từ lại quan trọng

Tối ưu bảng cụm từ giúp cải thiện độ chính xác của bản dịch và giảm thiểu lỗi dịch. Một bảng cụm từ được tối ưu hóa sẽ giúp hệ thống dịch máy hiểu rõ hơn về ngữ cảnh và ý nghĩa của các cụm từ, từ đó nâng cao chất lượng dịch máy.

II. Vấn đề và thách thức trong tối ưu bảng cụm từ

Mặc dù việc tối ưu bảng cụm từ mang lại nhiều lợi ích, nhưng cũng gặp phải nhiều thách thức. Một trong những vấn đề lớn nhất là sự đa dạng ngữ nghĩa của từ trong ngôn ngữ tự nhiên. Điều này có thể dẫn đến việc dịch sai hoặc không chính xác. Ngoài ra, việc xây dựng và duy trì một bảng cụm từ lớn cũng đòi hỏi nhiều tài nguyên và thời gian.

2.1. Đa nghĩa và ngữ cảnh trong dịch máy

Một từ có thể có nhiều nghĩa khác nhau trong các ngữ cảnh khác nhau. Điều này gây khó khăn cho hệ thống dịch máy trong việc lựa chọn bản dịch chính xác. Việc tối ưu bảng cụm từ cần phải xem xét kỹ lưỡng ngữ cảnh để giảm thiểu sai sót.

2.2. Tài nguyên và thời gian trong xây dựng bảng cụm từ

Xây dựng một bảng cụm từ lớn và chính xác đòi hỏi nhiều tài nguyên và thời gian. Việc thu thập dữ liệu, phân tích và tối ưu hóa bảng cụm từ là một quá trình phức tạp và tốn kém.

III. Phương pháp tối ưu hóa bảng cụm từ hiệu quả

Có nhiều phương pháp để tối ưu hóa bảng cụm từ trong dịch máy thống kê. Một số phương pháp phổ biến bao gồm sử dụng thuật toán nén, phân tích ngữ nghĩa và cải thiện mô hình ngôn ngữ. Những phương pháp này giúp giảm kích thước bảng cụm từ mà vẫn đảm bảo chất lượng dịch.

3.1. Sử dụng thuật toán nén trong tối ưu bảng cụm từ

Thuật toán nén giúp giảm kích thước của bảng cụm từ mà không làm giảm chất lượng dịch. Việc nén dữ liệu giúp tiết kiệm không gian lưu trữ và tăng tốc độ truy xuất dữ liệu.

3.2. Phân tích ngữ nghĩa để cải thiện bảng cụm từ

Phân tích ngữ nghĩa giúp hệ thống dịch máy hiểu rõ hơn về ý nghĩa của các cụm từ. Việc này có thể được thực hiện thông qua việc sử dụng các mô hình học sâu để cải thiện độ chính xác của bảng cụm từ.

IV. Ứng dụng thực tiễn của bảng cụm từ trong dịch máy

Bảng cụm từ được ứng dụng rộng rãi trong nhiều hệ thống dịch máy hiện nay. Các hệ thống như Google Translate và Microsoft Translator đều sử dụng bảng cụm từ để cải thiện chất lượng dịch. Việc tối ưu hóa bảng cụm từ đã giúp các hệ thống này đạt được những kết quả ấn tượng trong việc dịch ngôn ngữ.

4.1. Các hệ thống dịch máy nổi bật sử dụng bảng cụm từ

Nhiều hệ thống dịch máy hiện đại như Google Translate và Microsoft Translator đã áp dụng bảng cụm từ để nâng cao chất lượng dịch. Những hệ thống này cho thấy sự hiệu quả của việc tối ưu hóa bảng cụm từ.

4.2. Kết quả nghiên cứu về hiệu quả của bảng cụm từ

Nghiên cứu cho thấy rằng việc tối ưu hóa bảng cụm từ có thể làm tăng độ chính xác của dịch máy lên đến 30%. Điều này chứng tỏ tầm quan trọng của bảng cụm từ trong dịch máy thống kê.

V. Kết luận và tương lai của tối ưu bảng cụm từ

Tối ưu bảng cụm từ là một yếu tố quan trọng trong việc nâng cao hiệu quả của dịch máy thống kê. Với sự phát triển của công nghệ và các phương pháp mới, tương lai của tối ưu bảng cụm từ hứa hẹn sẽ mang lại nhiều cải tiến đáng kể trong chất lượng dịch. Việc nghiên cứu và phát triển các phương pháp tối ưu hóa mới sẽ tiếp tục là một lĩnh vực quan trọng trong ngành dịch máy.

5.1. Tương lai của tối ưu bảng cụm từ trong dịch máy

Tương lai của tối ưu bảng cụm từ sẽ tiếp tục phát triển với sự hỗ trợ của công nghệ mới. Các phương pháp học sâu và trí tuệ nhân tạo sẽ đóng vai trò quan trọng trong việc cải thiện chất lượng dịch.

5.2. Những thách thức cần vượt qua trong tương lai

Mặc dù có nhiều tiến bộ, nhưng vẫn còn nhiều thách thức cần phải vượt qua trong việc tối ưu hóa bảng cụm từ. Việc giải quyết các vấn đề về đa nghĩa và ngữ cảnh sẽ là một trong những nhiệm vụ quan trọng trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Trên thế giới hiện có khoảng 5.650 ngôn ngữ khác nhau, điều này tạo ra nhiều thách thức trong việc trao đổi thông tin và phát triển thương mại quốc tế. Với sự bùng nổ của Internet, lượng văn bản tiếng Anh trên mạng ngày càng tăng, đòi hỏi một hệ thống dịch tự động Anh-Việt hiệu quả để hỗ trợ người dùng. Việc dịch thủ công không còn khả thi do khối lượng văn bản khổng lồ, dẫn đến nhu cầu cấp thiết phát triển các hệ thống dịch máy tự động. Dịch máy thống kê (Statistical Machine Translation - SMT) dựa trên cụm từ đã chứng minh là phương pháp hiệu quả nhất hiện nay, giúp cải thiện chất lượng dịch và tốc độ xử lý. Tuy nhiên, bảng cụm từ trong SMT thường có kích thước rất lớn, gây khó khăn trong lưu trữ và truy xuất dữ liệu, ảnh hưởng đến hiệu suất dịch máy.

Luận văn tập trung vào đề tài “Tối ưu bảng cụm từ để cải tiến dịch máy thống kê” nhằm giảm dung lượng bảng cụm từ, tăng tốc độ truy cập và nâng cao chất lượng dịch. Nghiên cứu sử dụng bộ dữ liệu song ngữ Anh-Việt với hơn 70.000 câu, áp dụng các kỹ thuật mã hóa như Huffman, Simple-9 và sử dụng thư viện CMPH để tối ưu hóa bảng cụm từ. Mục tiêu cụ thể là giảm dung lượng bảng cụm từ xuống dưới 50MB, rút ngắn thời gian tải dữ liệu vào bộ nhớ và cải thiện tốc độ dịch câu đơn giản. Nghiên cứu có ý nghĩa quan trọng trong việc phát triển các hệ thống dịch máy tự động, góp phần thúc đẩy giao tiếp đa ngôn ngữ và ứng dụng trí tuệ nhân tạo trong xử lý ngôn ngữ tự nhiên.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Dịch máy thống kê dựa trên cụm từ (Phrase-Based Statistical Machine Translation - PB-SMT): Phương pháp dịch dựa trên việc chia câu nguồn thành các cụm từ liên tiếp, dịch từng cụm sang ngôn ngữ đích và đảo trật tự cụm từ theo mô hình xác suất. PB-SMT vượt trội hơn dịch máy dựa trên từ đơn lẻ nhờ giảm thiểu sai sót do đa nghĩa và ngữ cảnh.

• Mô hình ngôn ngữ N-gram: Mô hình xác suất dựa trên chuỗi các từ liên tiếp, sử dụng xấp xỉ Markov bậc n để tính xác suất xuất hiện của câu trong ngôn ngữ đích, giúp đánh giá tính hợp lý của câu dịch.

• Mô hình gióng hàng thống kê (Word Alignment): Xác định ánh xạ giữa từ hoặc cụm từ trong câu nguồn và câu đích, làm cơ sở xây dựng bảng cụm từ và mô hình dịch.

• Kỹ thuật mã hóa và nén dữ liệu: Sử dụng thuật toán Huffman, Simple-9 và thư viện CMPH để giảm dung lượng bảng cụm từ, tăng hiệu quả lưu trữ và truy xuất.

Các khái niệm chính bao gồm: cụm từ nguồn, cụm từ mục tiêu, bảng cụm từ, điểm cụm từ, mô hình đảo cụm từ, chỉ số cụm từ nguồn, mã hóa cụm từ.

Phương pháp nghiên cứu

Nghiên cứu sử dụng bộ dữ liệu song ngữ Anh-Việt gồm hơn 70.000 câu, với tổng số từ tiếng Anh khoảng 1.140.470 và tiếng Việt khoảng 1.140.000 từ. Dữ liệu được chuẩn hóa qua các bước tách từ, chuyển chữ thường, loại bỏ từ dư thừa nhằm đảm bảo tính nhất quán.

Quy trình nghiên cứu gồm:

1. Xây dựng mô hình dịch và bảng cụm từ: Sử dụng phần mềm Moses, chạy công cụ GIZA++ để gióng hàng từ, chiết xuất cụm từ và tính điểm cụm từ. Mô hình ngôn ngữ được xây dựng bằng SRILM dựa trên ngữ liệu đơn ngữ tiếng Việt.

2. Tối ưu bảng cụm từ: Áp dụng kỹ thuật mã hóa Huffman để nén chuỗi biểu tượng, sử dụng thuật toán Simple-9 để mã hóa biến byte, và thư viện CMPH để xây dựng hàm băm hoàn hảo cho chỉ số cụm từ nguồn. Phương pháp này giúp giảm dung lượng bảng cụm từ từ khoảng 343,9MB xuống còn khoảng 43,9MB.

3. Đánh giá thực nghiệm: Thực hiện dịch thử với câu đơn giản và đoạn văn bản, so sánh thời gian tải bảng cụm từ vào bộ nhớ và thời gian dịch trước và sau khi tối ưu. Sử dụng chỉ số BLEU và NIST để đánh giá chất lượng dịch.

4. Timeline nghiên cứu: Quá trình thu thập dữ liệu, xây dựng mô hình và tối ưu bảng cụm từ diễn ra trong khoảng thời gian nghiên cứu năm 2015, với các bước thực nghiệm và đánh giá liên tục.

Phương pháp phân tích tập trung vào so sánh hiệu suất lưu trữ, tốc độ truy xuất và chất lượng dịch máy trước và sau khi áp dụng tối ưu bảng cụm từ.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Giảm dung lượng bảng cụm từ: Sau khi áp dụng phương pháp mã hóa và nén, dung lượng bảng cụm từ giảm từ 343,9MB xuống còn 43,9MB, tương đương giảm khoảng 87%. Đây là mức giảm đáng kể giúp tiết kiệm bộ nhớ lưu trữ.

2. Rút ngắn thời gian tải bảng cụm từ: Thời gian tải bảng cụm từ vào bộ nhớ giảm từ 64,592 giây xuống còn 33,550 giây, tức giảm gần 48%. Điều này giúp hệ thống dịch máy khởi động nhanh hơn và tăng hiệu quả xử lý.

3. Tăng tốc độ dịch câu đơn giản: Thời gian dịch một câu đơn giản giảm đáng kể, cho thấy tối ưu bảng cụm từ không chỉ giảm dung lượng mà còn cải thiện tốc độ xử lý dịch.

4. Chất lượng dịch được duy trì: Chỉ số BLEU và NIST đánh giá chất lượng dịch không giảm sau khi tối ưu bảng cụm từ, chứng tỏ phương pháp nén không làm mất thông tin quan trọng trong bảng cụm từ.

Thảo luận kết quả

Việc giảm dung lượng bảng cụm từ giúp giảm áp lực bộ nhớ và tăng tốc độ truy xuất dữ liệu, từ đó cải thiện hiệu suất tổng thể của hệ thống dịch máy thống kê. Thời gian tải dữ liệu giảm gần một nửa cho thấy phương pháp mã hóa và sử dụng hàm băm hoàn hảo (MPH) rất hiệu quả trong việc truy cập nhanh các cụm từ nguồn.

So với các nghiên cứu trước đây, kết quả này tương đồng với báo cáo của Junczys-Dowmunt (2012) khi áp dụng PR-Enc và các thuật toán nén, đạt hiệu suất nén trên 77%. Việc duy trì chất lượng dịch qua chỉ số BLEU và NIST cho thấy phương pháp tối ưu không làm ảnh hưởng đến độ chính xác của bản dịch, điều này rất quan trọng trong ứng dụng thực tế.

Dữ liệu có thể được trình bày qua biểu đồ so sánh dung lượng bảng cụm từ trước và sau tối ưu, biểu đồ thời gian tải dữ liệu và thời gian dịch câu đơn, giúp minh họa rõ ràng hiệu quả của phương pháp.

Đề xuất và khuyến nghị

1. Áp dụng kỹ thuật mã hóa Huffman và Simple-9 cho bảng cụm từ: Động từ hành động là "mã hóa" và "nén", mục tiêu giảm dung lượng bảng cụm từ xuống dưới 50MB, thời gian thực hiện trong vòng 3 tháng, do nhóm phát triển phần mềm dịch máy thực hiện.

2. Sử dụng thư viện CMPH để xây dựng hàm băm hoàn hảo: Giúp tăng tốc độ truy xuất cụm từ nguồn, giảm thời gian tải dữ liệu vào bộ nhớ, áp dụng ngay trong giai đoạn xây dựng mô hình dịch, do nhóm kỹ thuật triển khai.

3. Tích hợp caching hiệu quả trong bộ giải mã: Đề xuất cải tiến bộ giải mã Moses để cache các cụm từ đích đã giải mã, giảm số lần truy vấn bảng cụm từ, nâng cao tốc độ dịch, thực hiện trong vòng 6 tháng, do nhóm phát triển phần mềm.

4. Mở rộng bộ dữ liệu huấn luyện song ngữ: Tăng số lượng câu song ngữ để nâng cao chất lượng mô hình dịch và bảng cụm từ, mục tiêu tăng điểm BLEU thêm 5-10%, thực hiện liên tục trong các năm tiếp theo, do nhóm nghiên cứu ngôn ngữ và dữ liệu đảm nhận.

Các giải pháp trên cần được phối hợp đồng bộ để tối ưu hóa hiệu quả dịch máy thống kê, đồng thời đảm bảo chất lượng dịch không bị suy giảm.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và phát triển trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP): Có thể áp dụng các phương pháp tối ưu bảng cụm từ để cải thiện hiệu suất hệ thống dịch máy thống kê.

2. Các nhóm phát triển phần mềm dịch máy tự động: Sử dụng kỹ thuật mã hóa và nén bảng cụm từ để giảm dung lượng lưu trữ và tăng tốc độ dịch, nâng cao trải nghiệm người dùng.

3. Giảng viên và sinh viên ngành khoa học máy tính, ngôn ngữ học máy tính: Tham khảo để hiểu sâu về mô hình dịch máy thống kê dựa trên cụm từ và các kỹ thuật tối ưu liên quan.

4. Doanh nghiệp và tổ chức có nhu cầu dịch tự động đa ngôn ngữ: Áp dụng các giải pháp tối ưu để triển khai hệ thống dịch máy nhanh, chính xác và tiết kiệm chi phí vận hành.

Mỗi nhóm đối tượng có thể tận dụng kết quả nghiên cứu để phát triển hoặc cải tiến các ứng dụng dịch máy phù hợp với mục tiêu và yêu cầu riêng.

Câu hỏi thường gặp

1. Phương pháp dịch máy thống kê dựa trên cụm từ là gì?
   Dịch máy thống kê dựa trên cụm từ chia câu nguồn thành các cụm từ liên tiếp, dịch từng cụm sang ngôn ngữ đích và sắp xếp lại theo mô hình xác suất. Phương pháp này giúp cải thiện độ chính xác so với dịch từng từ đơn lẻ.

2. Tại sao cần tối ưu bảng cụm từ trong dịch máy?
   Bảng cụm từ thường rất lớn, gây tốn bộ nhớ và làm chậm quá trình truy xuất dữ liệu. Tối ưu bảng cụm từ giúp giảm dung lượng lưu trữ, tăng tốc độ truy cập và cải thiện hiệu suất dịch máy.

3. Các kỹ thuật mã hóa nào được sử dụng để nén bảng cụm từ?
   Luận văn sử dụng thuật toán mã hóa Huffman để nén chuỗi biểu tượng, thuật toán Simple-9 để mã hóa biến byte và thư viện CMPH để xây dựng hàm băm hoàn hảo, giúp giảm dung lượng bảng cụm từ đáng kể.

4. Chỉ số BLEU và NIST dùng để đánh giá gì?
   BLEU và NIST là các chỉ số đánh giá chất lượng bản dịch máy bằng cách so sánh câu dịch với các bản dịch tham khảo. Điểm số cao cho thấy bản dịch chính xác và tự nhiên hơn.

5. Phương pháp tối ưu bảng cụm từ có ảnh hưởng đến chất lượng dịch không?
   Kết quả nghiên cứu cho thấy phương pháp tối ưu không làm giảm chất lượng dịch, chỉ số BLEU và NIST duy trì ổn định, đồng thời cải thiện tốc độ và hiệu suất hệ thống.

Kết luận

• Luận văn đã phát triển thành công phương pháp tối ưu bảng cụm từ trong dịch máy thống kê dựa trên cụm từ, giảm dung lượng bảng từ 343,9MB xuống còn 43,9MB.
• Thời gian tải bảng cụm từ vào bộ nhớ giảm gần 48%, giúp tăng tốc độ khởi động và xử lý dịch máy.
• Chất lượng dịch được duy trì ổn định qua các chỉ số BLEU và NIST, đảm bảo độ chính xác và tự nhiên của bản dịch.
• Phương pháp mã hóa Huffman, Simple-9 và thư viện CMPH được áp dụng hiệu quả trong việc nén và truy xuất bảng cụm từ.
• Đề xuất mở rộng nghiên cứu và ứng dụng các kỹ thuật tối ưu trong các hệ thống dịch máy đa ngôn ngữ khác, đồng thời phát triển caching và mở rộng dữ liệu huấn luyện.

Next steps: Triển khai áp dụng phương pháp tối ưu trong các hệ thống dịch máy thực tế, mở rộng bộ dữ liệu huấn luyện và nghiên cứu thêm các kỹ thuật nén mới.

Các nhà nghiên cứu và phát triển phần mềm dịch máy nên áp dụng các kỹ thuật tối ưu bảng cụm từ để nâng cao hiệu suất và chất lượng dịch, góp phần thúc đẩy giao tiếp đa ngôn ngữ trong kỷ nguyên số.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Hiện nay trên thế giới có khoảng 5650 ngôn ngữ khác nhau, với một số lượng ngôn ngữ lớn như vậy đã gây ra rất nhiều khó khăn trong việc trao đổi thông tin, trong giao tiếp, đồng thời ngăn cản sự phát triển của thương mại và mậu dịch quốc tế. Mặt khác, với việc bùng nổ Internet như hiện nay, có một khối lượng văn bản khổng lồ trên Internet mà phần lớn là bằng tiếng Anh. Do tính đa dạng của nó mà việc hiểu các văn bản này hoàn toàn không dễ chút nào. Do đó việc có một hệ dịch tự động Anh-Việt là hết sức cần thiết.

Với những khó khăn như vậy người ta đã phải dùng đến một đội ngũ phiên dịch khổng lồ, để dịch các văn bản, tài liệu, lời nói từ tiếng nước này sang tiếng nước khác. Những công việc đó mang tính chất thủ công, nặng nhọc trong khi khối lượng văn bản cần dịch ngày càng nhiều. Để khắc phục những nhược điểm trên hiện nay có rất nhiều những hệ thống tự động dịch miễn phí trên mạng như: systran, google translate, vietgle, vdict. Những hệ thống này cho phép dịch tự động các văn bản với một cặp ngôn ngữ chọn trước (ví dụ dịch từ tiếng Anh sang tiếng Việt) [1].

Điều ấy cho thấy sự phát triển của dịch máy càng ngày càng tiến gần hơn đến ngôn ngữ tự nhiên của con người. Ngay từ khi xuất hiện chiếc máy tính điện tử đầu tiên người ta đã tiến hành nghiên cứu về dịch máy. Công việc đưa ra mô hình tự động cho việc dịch đã và đang được phát triển, mặc dù chưa giải quyết được triệt để lớp ngôn ngữ tự nhiên. Nhưng sự ra đời của chúng đã khẳng định được ích lợi to lớn về mặt chiến luợc và kinh tế, đồng thời các vấn đề liên quan đến dịch máy cũng là những chủ đề quan trọng của ngành khoa học máy tính, bởi chúng liên quan đến vấn đề xử lí ngôn ngữ tự nhiên, một trong những vấn đề có ý nghĩa nhất mà trí tuệ nhân tạo có khả năng giải quyết.

Người ta tin rằng việc xử lí ngôn ngữ tự nhiên trong đó có dịch máy sẽ là giải pháp cho việc mở rộng cánh cửa đối thoại người-máy, lúc đó con người không phải tiếp xúc với Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn LUAN VAN CHAT LUONG download : add [e-mail] 2 máy qua những dòng lệnh cứng nhắc nữa mà có thể giao tiếp một cách trực tiếp với máy. Với sự phát triển mạnh mẽ của dịch máy tự động thì dịch máy thống kê (Statistical Machine Translation) đã chứng tỏ là một hướng tiếp cận đầy tiềm năng bởi ưu điểm vượt trội so với các phương pháp dịch máy dựa trên cú pháp truyền thống. Kết quả thực tế của hệ thống dịch máy thống kê tốt hơn, ngôn ngữ dịch càng ngày càng gần với ngôn ngữ của người, giúp con người trao đổi thông tin dễ dàng hơn, tốc độ nhanh hơn và cùng với nhiều ngôn ngữ hơn. Hiện nay, phương pháp dịch thống kê dựa trên cụm từ là phương pháp cho kết quả dịch tốt nhất.

Để dịch hiệu quả thì bảng cụm từ phải lớn chính vì vậy việc lưu trữ và tìm kiếm trong bảng cụm từ là rất quan trọng. Chính vì thế, luận văn này tôi lựa chọn và thực hiện đề tài “Tối ƣu bảng cụm từ để cái tiến dịch máy thống kê”. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn LUAN VAN CHAT LUONG download : add [e-mail] 3 CHƢƠNG I: DỊCH MÁY THỐNG KÊ TRÊN CƠ SỞ CỤM TỪ Hiện nay dịch máy thông kê dựa trên cơ sở cụm từ là một trong những hướng phát triển đang được rất nhiều người quan tâm. Dịch máy thống kê dựa trên cụm từ nhằm mục đích dịch một văn bản từ ngôn ngữ nguồn sang ngôn ngữ đích dựa vào bảng ngữ cụm từ sau khi thực hiện việc gióng hàng từ, gióng hàng thống kê, đảo cụm từ… kết hợp với mô hình ngôn ngữ.1 Ngôn ngữ tự nhiên Ngôn ngữ tự nhiên là những ngôn ngữ được con người sử dụng trong các giao tiếp hàng ngày nghe, nói, đọc, viết.

Mặc dù con người có thể dễ dàng hiểu và học các ngôn ngữ tự nhiên, việc làm cho máy hiểu được ngôn ngữ tự nhiên không phải là chuyện dễ dàng. Sở dĩ có khó khăn là do ngôn ngữ tự nhiên có các bộ luật, cấu trúc ngữ pháp phong phú hơn nhiều các ngôn ngữ máy tính, hơn nữa để hiểu đúng nội dung các giao tiếp, văn bản trong ngôn ngữ tự nhiên cần phải nắm được ngữ cảnh của nội dung đó. Do vậy, để có thể xây dựng được một bộ ngữ pháp, từ vựng hoàn chỉnh, chính xác để máy có thể hiểu ngôn ngữ tự nhiên là một việc rất tốn công sức và đòi hỏi người thực hiện phải có hiểu biết sâu về ngôn ngữ học. Do đó cần phải tìm ra một phương pháp dịch tư động tối ưu để làm giảm công sức trong vấn đề về dịch ngôn ngữ nói chung.2 Dịch máy Dịch tự động hay còn gọi là dịch máy là một trong những ứng dụng quan trọng của xử lý ngôn ngữ tự nhiên, là sự kết hợp của ngôn ngữ, dịch thuật và khoa học máy tính.

Như tên gọi dịch tự động là việc thực hiện dịch một ngôn ngữ đầu vào (ngôn ngữ này gọi là ngôn ngữ nguồn) sang một hoặc nhiều ngôn ngữ khác (gọi là ngôn ngữ đích) bằng các công cụ, phần mềm trên máy tính đã được lập trình sẵn mà không cần có sự can thiệp của con người. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn LUAN VAN CHAT LUONG download : add [e-mail] 4 Do được lập trình sẵn bằng công cụ, thuật toán trên máy tính nên hầu hết việc dịch tự động đều mang tính sát nghĩa, hoặc mang tính tương đối. Ngày nay người ta đã phát triển nhiều phương pháp để tối ưu hóa khả năng dịch của máy tính. Dịch máy có hai hướng tiếp cận chính đó là: Hướng luật (Rules-based ): dịch dựa vào các luật viết tay.

Các luật này dựa trên từ vựng hoặc cú pháp của ngôn ngữ. Ưu điểm của phương pháp này là có thể giải quyết được một số trường hợp dịch nhưng lại mất nhiều công sức và tính khả chuyển không cao. Thống kê (Statistical) [2]: tạo ra bản sử dụng phương pháp thống kê dựa trên bản dịch song ngữ.3 Dịch máy thống kê dựa vào cụm từ Dịch máy thống kê: Là một phương pháp dịch máy trong đó các bản dịch được tạo ra trên cơ sở các mô hình thống kê có các tham số được bắt nguồn từ việc phân tích các cặp câu song ngữ. Các phương pháp tiếp cận thống kê tương phản với các phương pháp tiếp cận dựa trên luật trong dịch máy cũng như với dịch máy dựa trên ví dụ.

Thay vì xây dựng các từ điển, các quy luật chuyển đổi bằng tay, hệ dịch này tự động xây dựng các từ điển, các quy luật dựa trên kết quả thống kê có được từ kho ngữ liệu. Chính vì vậy dịch máy thống kê có tính khả chuyển cao và áp dụng được cho bất cứ cặp ngôn ngữ nào. Ý tưởng đầu tiên của dịch máy thống kê đã được giới thiệu bởi Warren Weaver [2] vào năm 1949, bao gồm cả những ý tưởng của việc áp dụng lý thuyết thông tin của Claude Shannon. Dịch máy thống kê được tái giới thiệu vào năm 1991 bởi các nhà nghiên cứu làm việc tại Trung tâm nghiên cứu Thomas J.Watson của IBM và đã góp phần đáng kể trong sự hồi Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn LUAN VAN CHAT LUONG download : add [e-mail] 5 sinh việc quan tâm đến dịch máy trong những năm gần đây.

Ngày nay nó là phương pháp dịch máy được nghiên cứu nhiều nhất.1 Cơ sở của phương pháp dịch máy thống kê Mục tiêu là dịch một văn bản từ ngôn ngữ nguồn sang ngôn ngữ đích. Chúng ta có câu văn bản trong ngôn ngữ nguồn (“Tiếng Anh”) e1I  e1 ,.,ei , mà được dịch thành câu văn bản trong ngôn ngữ đích (“Tiếng Việt”) v1J  v1 ,. Trong tất cả các câu có thể có trong văn bản đích, chúng ta chọn câu sao cho: V1J  arg max p(v1J | e1I ) (1.1) Kiến trúc tổng quát của một mô hình dịch thống kê thể hiện trên hình 1.1 Câu nguồn Tiền xử lý Mô hình ngôn ngữ Bộ giải mã (tìm kiếm): Mô hình gióng hàng V1J  arg max p(v1J | e1I ) Mô hình từ vựng Hậu xử lý …. Câu đích Hình 1.1: Sơ đồ của hệ dịch bằng phương pháp thống kê Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Gióng hàng từ, gióng hàng thống kê Gióng hàng xác định ánh xạ i →j = ai: Từ vị trí i của câu nguồn tương ứng với vị trí j = ai của câu đích[1].

Việc tìm kiếm được thực hiện dựa vào cực đại biểu thức sau:   j   V  arg m axj  pr (v1 ).2) v1  I a1   Do đó, không gian tìm kiếm bao gồm tập tất cả các câu ngôn ngữ đích có thể có v1J và tất cả gióng hàng có thể có a1I. Chúng ta nói rằng cặp xâu kí tự mà xâu này được dịch từ xâu kia từ ngôn ngữ này sang ngôn ngữ khác là cặp xâu dịch. Chúng ta có thể kí hiệu cặp xâu dịch (I like a blue book|Tôi thích quyển sách màu xanh) mà nó biểu diễn là xâu “I like a blue book” (tiếng Anh) được dịch thành “Tôi thích quyển sách màu xanh” (tiếng Việt). Brow và cộng sự [6] đã chỉ ra ý tưởng về việc gióng hàng giữa cặp xâu kí tự dịch như là một sự tương ứng giữa các từ của xâu tiếng Anh với các từ của xâu tiếng Pháp.

Điều này ta có thể thấy hoàn toàn tương tự như trong cặp xâu dịch Anh - Việt. Mỗi đương như vậy ta gọi là 1 kết nối. Gióng hàng được biểu diễn bằng đồ thị như hình 1 bằng cách vẽ các đường nối giữa một số từ tiếng Anh và một số từ tiếng Việt. Ví dụ: Trong hình 1.2, ta có 5 kết nối: (I(1) like(2) a(3) blue(4) book(5)|Tôi(1) thích(2) quyển(3) sách(4) màu xanh(5)).

Việc kết nối này có thể là: - một từ tiếng Anh tương ứng với 1 từ tiếng Việt (hình 1.2) - một từ tiếng Anh tương ứng nhiều từ tiếng Việt (hình 1.3) - nhiều từ tiếng Anh tương ứng nhiều từ tiếng Việt (hình 1.4) Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn LUAN VAN CHAT LUONG download : add [e-mail] 7 Chúng ta kí hiệu tập gióng hàng của (v/e) là A(e,v). Nếu e có độ dài là I và v có độ dài là J, ta sẽ có I*J liên kết khác nhau giữa J từ tiếng Việt và từ tiếng Anh.