Luận văn: Xây dựng chương trình dịch tự động Anh Việt bằng phương pháp thống kê

Luận văn thạc sĩ: Xây dựng chương trình dịch tự động Anh Việt bằng phương pháp thống kê. Nghiên cứu chuyên sâu về dịch máy và ứng dụng thực tiễn.

• Tác giả: Nguyễn Văn Vinh
• Người hướng dẫn: PGS. Đinh Mạnh Tường
• Trường học: Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Xây dựng chương trình dịch tự động Anh - Việt
• Đề tài: Dịch tự động Anh - Việt bằng phương pháp thống kê
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2005
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỤC LỤC
• 1. Chƣơng 1 - TỔNG QUAN
• 1.1. Khái niệm về dịch máy,vai trò, vị trí của dịch máy
• 1.1.1. Khái niệm về dịch máy
• 1.1.2. Vị trí, vai trò của dịch máy
• 1.2. Sơ đồ tổng quát của một hệ dịch máy
• 1.3. Phân loại dịch máy
• 1.3.1. Theo mức độ can thiệp của con ngƣời
• 1.3.2. Theo số ngữ và số chiều dịch
• 1.3.3. Theo cách lấy thông tin
• 1.3.4. Theo phạm vi ứng dụng
• 1.3.5. Theo ngƣời dùng
• 1.4. Các phƣơng pháp dịch máy cơ bản
• 1.5. Các hệ dịch trực tiếp
• 1.6. Các hệ thống dịch chuyển đổi
• 1.7. Các hệ thống dịch liên ngữ
• 1.8. Dịch dựa trên dữ liệu
• 1.9. Các hệ thống dịch máy trên thế giới
• 1.10. Các vấn đề trong khi dịch ngôn ngữ tự nhiên
• 1.10.1. Sự khác nhau giữa ngƣời dịch và máy dịch
• 1.10.2. Các trở ngại khi dịch
• 1.11. Áp dụng kỹ thuật học máy trong dịch máy
• 2. Chƣơng 2 - CORPUS VÀ GIÓNG HÀNG CÂU
• 2.1. Corpus song ngữ
• 2.2. Gióng hàng câu
• 2.2.1. Cách tiếp cận dựa vào độ dài câu
• 2.2.2. Cách tiếp cận dựa vào tƣơng ứng của từ
• 2.2.3. Kết hợp giữa hai phƣơng pháp
• 3. Chƣơng 3 - DỊCH MÁY BẰNG PHƢƠNG PHÁP THỐNG KÊ
• 3.1. Tổng quan về dịch thống kê
• 3.2. Mô hình Kênh - Nguồn ( Source – Channel Model)
• 3.3. Cách tiếp cận Maximum và Mô hình Gióng hàng
• 3.4. Nhiệm vụ trong Dịch máy thống kê
• 3.5. Ƣu điểm của phƣơng pháp tiếp cận thống kê
• 3.6. Chu kì phát triển của hệ thống dịch thống kê
• 3.7. Mô hình ngôn ngữ
• 3.7.1. Mô hình ngôn ngữ
• 3.7.2. Phép tính log xác suất (Log Probability Arithmetic)
• 3.8. Mô hình dịch
• 3.8.1. Gióng hành từ
• 3.8.2. Các mô hình dịch đƣợc đề xuất IBM
• 3.8.3. Thuật toán EM và huấn luyện tham số của mô hình
• 3.8.3.1. Thuật toán EM (Expectation Maximization Algorithm)
• 3.8.3.2. Ứng dụng để ƣớc lƣợng tham số.Thuật toán giải mã
• 3.8.3.3. Mô hình 2 đơn giản
• 3.8.3.4. Điểm của giả thuyết
• 3.8.3.5. Mô tả thuật toán
• 4. Chƣơng 4 - XÂY DỰNG CHƢƠNG TRÌNH DỊCH ANH - VIỆT BẰNG THỐNG KÊ
• 4.1. Modul phân tích từ vựng
• 4.2. Modul phân tích hình thái
• 4.3. Modul huấn luyện bigram
• 4.4. Modul huấn luyện các tham số của mô hình dịch máy
• 4.5. Từ điển dữ liệu
• 4.6. Tiền xử lý và hậu xử lý
• 4.7. Chƣơng trình thử nghiệm
• 4.8. Giao diện chƣơng trình
• TÀI LIỆU THAM KHẢO
• MỞ ĐẦU

Tóm tắt

I. Dịch tự động Anh Việt Tổng quan và Vai trò trong NLP

Dịch máy là một vấn đề then chốt trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Trên thế giới, nghiên cứu dịch máy đã bắt đầu từ thập niên 50 và phát triển mạnh mẽ vào thập niên 80. Hiện nay, nhiều hệ dịch máy thương mại nổi tiếng như Systrans, Kant,... hỗ trợ con người trong việc trao đổi thông tin đa ngôn ngữ với tốc độ cao. Trong sự phát triển của dịch máy, các cách tiếp cận chính bao gồm: dịch chuyển đổi, dịch liên ngữ và dịch dựa vào dữ liệu. Với sự bùng nổ của Internet và khối lượng văn bản tiếng Anh khổng lồ, một hệ dịch tự động Anh-Việt hiệu quả là vô cùng cần thiết. Ở Việt Nam, một số nhóm nghiên cứu về dịch tự động Anh-Việt đã có sản phẩm EVtrans được thương mại hóa, nhưng chất lượng và phạm vi còn hạn chế. Các nhóm này chủ yếu sử dụng phương pháp chuyển đổi (dựa trên luật), gặp phải hiện tượng "thắt nút cổ chai" trong trí tuệ nhân tạo và tốn kém chi phí xây dựng tri thức dịch. Luận văn này tập trung nghiên cứu một hướng dịch mới: phương pháp dịch bằng thống kê và áp dụng vào bài toán dịch Anh-Việt. Phương pháp này tận dụng được dữ liệu sẵn có, giảm công sức của các nhà ngôn ngữ học và người làm trí thức dịch. Luận văn được chia thành bốn chương: Tổng quan về dịch máy, Corpus và gióng hàng câu, Dịch máy bằng phương pháp thống kê, Xây dựng chương trình dịch Anh-Việt bằng thống kê.

1.1. Khái niệm và Lịch sử phát triển Dịch Máy Anh Việt

Hệ dịch máy (machine translation system - MT) là các hệ thống sử dụng máy tính để dịch từ một thứ tiếng (trong ngôn ngữ tự nhiên) sang một hoặc vài thứ tiếng khác. Ngôn ngữ của văn bản cần dịch được gọi là ngôn ngữ nguồn, ngôn ngữ của văn bản đã dịch ra được gọi là ngôn ngữ đích. Từ những năm 1950, dịch máy đã trải qua nhiều giai đoạn phát triển, từ các hệ thống dựa trên quy tắc đến các hệ thống thống kê và thần kinh hiện đại. Sự phát triển này gắn liền với sự tiến bộ trong lĩnh vực xử lý ngôn ngữ tự nhiên và học máy. Các hệ thống dịch máy ngày nay đã đạt được độ chính xác và trôi chảy đáng kể, nhưng vẫn còn nhiều thách thức cần giải quyết.

1.2. Ưu điểm của Phương pháp thống kê trong Dịch thuật luận văn

Phương pháp thống kê trong dịch máy Anh Việt luận văn có nhiều ưu điểm so với các phương pháp truyền thống dựa trên quy tắc. Thứ nhất, nó có thể tận dụng lượng lớn dữ liệu song ngữ có sẵn để huấn luyện mô hình dịch. Thứ hai, nó có thể tự động học các quy tắc dịch phức tạp từ dữ liệu mà không cần phải mã hóa thủ công. Thứ ba, nó có thể xử lý các hiện tượng ngôn ngữ không chính quy và đa nghĩa một cách hiệu quả hơn. Tuy nhiên, phương pháp thống kê cũng có một số hạn chế, chẳng hạn như yêu cầu lượng dữ liệu lớn, khó diễn giải và có thể tạo ra các bản dịch không chính xác nếu dữ liệu huấn luyện không đủ tốt.

1.3. Vị trí của Dịch máy trong xử lý ngôn ngữ tự nhiên NLP

Dịch máy đóng một vai trò quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Nó là một trong những ứng dụng thực tế và thành công nhất của NLP. Dịch máy cho phép con người giao tiếp và trao đổi thông tin một cách dễ dàng và hiệu quả trên toàn thế giới. Nó cũng có thể được sử dụng để truy cập và hiểu các tài liệu và thông tin bằng các ngôn ngữ khác nhau. Ngoài ra, dịch máy còn là một bài toán nghiên cứu thú vị và thách thức, thúc đẩy sự phát triển của các kỹ thuật và phương pháp mới trong NLP.

II. Corpus và gióng hàng câu Nền tảng Dịch máy Thống kê

Trong xử lý ngôn ngữ tự nhiên bằng phương pháp thống kê dịch máy, corpus là tài nguyên không thể thiếu. Để phát triển hệ thống dịch máy thống kê, cần có dữ liệu để huấn luyện (học). Dữ liệu huấn luyện càng lớn thì càng tốt, nên được trích lọc ra từ cùng một lĩnh vực dịch mà hệ thống dịch máy được sử dụng. Dữ liệu sử dụng trong dịch máy là dữ liệu thô và song ngữ. Bộ dữ liệu huấn luyện nếu thực hiện bằng thủ công thì mất rất nhiều công sức. Chương này trình bày về corpus và phương pháp xây dựng corpus một cách tự động. Corpus thô chỉ cần tạo Corpus thô tiếng Việt, còn Corpus tiếng Anh sử dụng Corpus trong Penn Tree Bank. Các bước bao gồm: Download file HTML, Lấy text, Chuẩn hoá, Đánh dấu văn bản. Corpus song ngữ: thu thập văn bản song ngữ từ Internet, thực hiện gióng hàng dữ liệu văn bản ở mức file, trích lọc ra tất cả các đoạn text từ các file HTML trên tương ứng Anh-Việt. Thực hiện việc gióng hàng đoạn giữa hai ngôn ngữ Anh-Việt bằng thuật toán Quy hoạch động theo Gale & Church. Thực hiện việc gióng hàng câu.

2.1. Xây dựng Corpus song ngữ Anh Việt Chất lượng cao

Xây dựng một Corpus song ngữ Anh Việt chất lượng cao là một yếu tố quan trọng để phát triển một hệ thống dịch máy thống kê hiệu quả. Corpus nên bao gồm một lượng lớn các văn bản dịch chính xác và trôi chảy trong nhiều lĩnh vực khác nhau. Có thể thu thập các văn bản dịch từ nhiều nguồn khác nhau, chẳng hạn như sách, báo, tạp chí, trang web và tài liệu chính phủ. Sau khi thu thập, cần phải làm sạch và chuẩn hóa dữ liệu để đảm bảo tính nhất quán và loại bỏ các lỗi.

2.2. Các phương pháp gióng hàng câu trong Dịch máy luận văn

Gióng hàng câu là một bước quan trọng trong việc xây dựng một Corpus song ngữ. Nó liên quan đến việc xác định các cặp câu tương ứng trong văn bản nguồn và văn bản đích. Có nhiều phương pháp gióng hàng câu khác nhau, chẳng hạn như dựa trên độ dài câu, dựa trên từ điển và dựa trên học máy. Phương pháp dựa trên độ dài câu đơn giản nhưng hiệu quả, dựa trên giả định rằng các câu dài trong văn bản nguồn thường tương ứng với các câu dài trong văn bản đích. Phương pháp dựa trên từ điển sử dụng từ điển song ngữ để xác định các cặp câu có nhiều từ tương ứng. Phương pháp dựa trên học máy sử dụng các thuật toán học máy để học các quy tắc gióng hàng câu từ dữ liệu.

2.3. Ứng dụng Gióng hàng câu trong Dịch thuật luận văn thạc sĩ

Kết quả của quá trình gióng hàng câu có thể được sử dụng cho nhiều mục đích khác nhau, bao gồm huấn luyện mô hình dịch, đánh giá chất lượng dịch và trích xuất kiến thức dịch. Trong dịch thuật luận văn thạc sĩ, gióng hàng câu có thể giúp tìm các bản dịch tương ứng của các thuật ngữ và cụm từ chuyên ngành, giúp cải thiện độ chính xác và trôi chảy của bản dịch.

III. Dịch máy Thống kê Mô hình Kênh Nguồn và Gióng hàng

Mục tiêu của dịch máy thống kê là dịch một văn bản từ ngôn ngữ nguồn sang ngôn ngữ đích. Cho câu văn bản trong ngôn ngữ nguồn (Tiếng Anh) e1I = e1, ., eI dịch thành câu văn bản trong ngôn ngữ đích (Tiếng Việt) v1J = v1, . Trong tất cả các câu có thể có trong văn bản đích, chúng ta chọn câu sao cho: V1J  arg max Pr(v1J / e1I ). Kiến trúc tổng quát của mô hình dịch dựa vào thống kế bao gồm: Mô hình từ vựng Pr(e1J/v1I), Mô hình gióng hàng và Mô hình ngôn ngữ. Mô hình kênh - nguồn là một kênh truyền thông mà thông tin truyền qua có thể bị nhiễu. Sử dụng luật Bayes, xác suất Pr(v1I) là mô hình ngôn ngữ của ngôn ngữ đích, Pr(e1J/v1I) là mô hình dịch. Nhiệm vụ trong dịch máy thống kê bao gồm: Mô hình, Huấn luyện, Tìm kiếm, Tiền xử lý. Cách tiếp cận thống kê có những ưu điểm sau: Dịch máy (MT) là vấn đề quyết định, mô hình hóa các phụ thuộc, kết hợp nhiều nguồn tri thức, tự động học tri thức dịch, phù hợp với ứng dụng nhúng.

3.1. Chi tiết về Mô hình Kênh Nguồn Source Channel Model

Mô hình kênh-nguồn là một khung làm việc toán học được sử dụng trong nhiều lĩnh vực, bao gồm dịch máy thống kê. Trong ngữ cảnh dịch máy, mô hình giả định rằng bản dịch đích (ví dụ: tiếng Việt) là một phiên bản bị "nhiễu" của văn bản nguồn (ví dụ: tiếng Anh). Mục tiêu là tìm bản dịch đích có khả năng nhất, dựa trên mô hình về cách văn bản nguồn bị "biến đổi" thành văn bản đích thông qua một "kênh nhiễu". Điều này được thực hiện bằng cách sử dụng định lý Bayes để đảo ngược xác suất, cho phép chúng ta ước tính xác suất của văn bản nguồn, biết văn bản đích, và một mô hình về "kênh nhiễu" (mô hình dịch).

3.2. Tầm quan trọng của Gióng hàng trong phương pháp thống kê

Gióng hàng là quá trình xác định sự tương ứng giữa các từ hoặc cụm từ trong văn bản nguồn và văn bản đích. Đây là một bước quan trọng trong dịch máy thống kê vì nó cung cấp thông tin cần thiết để học các quy tắc dịch và ước tính các tham số của mô hình dịch. Gióng hàng có thể được thực hiện bằng nhiều phương pháp khác nhau, chẳng hạn như dựa trên thống kê, dựa trên từ điển và dựa trên học máy.

3.3. Ưu điểm và hạn chế của Mô hình Dịch máy Kênh Nguồn

Mô hình dịch máy kênh-nguồn có một số ưu điểm, chẳng hạn như đơn giản, dễ hiểu và có thể được huấn luyện bằng các thuật toán hiệu quả. Tuy nhiên, nó cũng có một số hạn chế, chẳng hạn như giả định rằng văn bản nguồn và văn bản đích là độc lập có điều kiện, điều này có thể không đúng trong thực tế. Ngoài ra, mô hình kênh-nguồn có thể gặp khó khăn trong việc xử lý các hiện tượng ngôn ngữ phức tạp, chẳng hạn như đa nghĩa và thành ngữ.

IV. Mô hình Ngôn ngữ N gram Cách tính xác suất cho câu dịch

Cách đơn giản nhất để ngắt một chuỗi kí tự thành các thành phần nhỏ hơn gọi là các chuỗi con. Mỗi chuỗi con n-từ như vậy được gọi là n-gram. Nếu n = 2 ta gọi là bigram. Nếu n = 3 ta gọi là trigram. Nếu n = 1 ta gọi là unigram hay còn gọi là từ. Nếu một chuỗi kí tự có rất nhiều n-gram hợp lệ thì ta có thể kết luận chuỗi kí tự đó là chuỗi hợp lệ. Kí hiệu b(y/x) là xác suất mà từ y theo sau từ x. Chúng ta có thể ước lượng xác suất này dựa vào Corpus. Xác suất bigram điều kiện là thương số của phép chia số lần xuất hiện cụm “xy” cho số lần xuật hiện từ “x” trong Corpus, được kí hiệu là p(x|y). Mô hình ngôn ngữ không chỉ có ích cho thứ tự các từ mà còn có ích cho việc chọn nghĩa giữa các cách dịch khác nhau. Mô hình n-gram có thể gán xác suất bằng 0 cho câu mà bao gồm các bigram và trigram chưa bao giờ xuất hiện trước đó. Hiện tượng này gọi là smoothing.

4.1. Chi tiết về N gram và ứng dụng trong mô hình ngôn ngữ

Mô hình ngôn ngữ N-gram là một mô hình thống kê đơn giản nhưng hiệu quả được sử dụng rộng rãi trong xử lý ngôn ngữ tự nhiên (NLP). Nó dựa trên giả định rằng xác suất của một từ trong một câu phụ thuộc vào N-1 từ đứng trước nó. Ví dụ, trong mô hình bigram (N=2), xác suất của từ "the" sau từ "of" được ước tính dựa trên tần suất xuất hiện của cụm từ "of the" trong một corpus lớn. Mô hình N-gram có thể được sử dụng để đánh giá tính trôi chảy và tự nhiên của một câu, và để chọn bản dịch tốt nhất trong dịch máy.

4.2. Kỹ thuật làm mịn Smoothing để tránh xác suất bằng 0

Một vấn đề với mô hình N-gram là nó có thể gán xác suất bằng 0 cho các câu hoặc cụm từ chưa từng xuất hiện trong corpus huấn luyện. Điều này có thể dẫn đến kết quả dịch không chính xác hoặc không tự nhiên. Để giải quyết vấn đề này, các kỹ thuật làm mịn (smoothing) được sử dụng để điều chỉnh các xác suất và đảm bảo rằng tất cả các câu hoặc cụm từ đều có xác suất khác không. Có nhiều kỹ thuật làm mịn khác nhau, chẳng hạn như Add-k smoothing, Good-Turing smoothing và Kneser-Ney smoothing.

4.3. Ưu điểm và hạn chế của mô hình ngôn ngữ N gram

Mô hình ngôn ngữ N-gram có một số ưu điểm, chẳng hạn như đơn giản, dễ huấn luyện và có thể được sử dụng để đánh giá tính trôi chảy của một câu. Tuy nhiên, nó cũng có một số hạn chế, chẳng hạn như giả định rằng các từ chỉ phụ thuộc vào N-1 từ đứng trước nó, điều này có thể không đúng trong thực tế. Ngoài ra, mô hình N-gram có thể gặp khó khăn trong việc xử lý các câu dài và phức tạp.

V. Huấn luyện và Tìm kiếm Các bước then chốt trong Dịch Thống kê

Việc phát triển hệ thống dịch thống kê cần giải quyết những vấn đề sau: - Mô hình: Chỉ ra cấu trúc trong sự phụ thuộc xác suất để mô hình hóa xác suất dịch Pr(e1I/v1J) hoặc Pr(v1J/e1I). Theo cách tiếp cận kênh - nguồn, chúng ta phải xây dựng mô hình dịch thống kê: Pr(e1I/v1J) = p(e1I/v1J). Mô hình này chủ yếu bao gồm tập các tham số tự do . - Huấn luyện: huấn luyện các tham số mô hình của mô hình dịch thống kê sử dụng dữ liệu huấn luyện: đơn ngữ, song ngữ. ^ d  arg max p (v1J / e1I ). - Tìm kiếm: Thực hiện phép tính agrmax một cách hiệu quả. - Tiền xử lý: Tìm các bước biến đổi thích hợp cho cả ngôn ngữ nguồn và ngôn ngữ đích để cải tiến quá trình dịch.

5.1. Các phương pháp huấn luyện mô hình dịch máy thống kê

Quá trình huấn luyện mô hình dịch máy thống kê liên quan đến việc ước tính các tham số của mô hình từ dữ liệu huấn luyện song ngữ. Có nhiều phương pháp huấn luyện khác nhau, chẳng hạn như Maximum Likelihood Estimation (MLE) và Expectation-Maximization (EM). MLE tìm các tham số làm tối đa khả năng quan sát dữ liệu huấn luyện. EM là một thuật toán lặp được sử dụng để ước tính các tham số trong các mô hình có biến ẩn, chẳng hạn như mô hình gióng hàng.

5.2. Các thuật toán tìm kiếm hiệu quả trong Dịch máy Thống kê

Quá trình tìm kiếm trong dịch máy thống kê liên quan đến việc tìm bản dịch tốt nhất cho một câu nguồn nhất định, dựa trên mô hình dịch và mô hình ngôn ngữ. Đây là một bài toán khó vì không gian tìm kiếm có thể rất lớn. Có nhiều thuật toán tìm kiếm khác nhau, chẳng hạn như beam search, A* search và cube pruning. Beam search là một thuật toán tìm kiếm heuristic duy trì một tập hợp các giả thuyết ứng cử viên tốt nhất và mở rộng chúng cho đến khi tìm thấy bản dịch tốt nhất.

5.3. Tiền xử lý dữ liệu để cải thiện chất lượng dịch máy

Tiền xử lý dữ liệu là một bước quan trọng trong dịch máy thống kê, liên quan đến việc làm sạch và chuẩn hóa dữ liệu huấn luyện để cải thiện hiệu suất của mô hình. Các bước tiền xử lý có thể bao gồm: tokenization (chia văn bản thành các từ hoặc ký hiệu), lowercasing (chuyển đổi tất cả các ký tự thành chữ thường), stemming (loại bỏ các hậu tố của từ) và stop word removal (loại bỏ các từ thông dụng như "the", "a", "is").

VI. Đánh giá và Cải tiến hệ thống dịch máy Anh Việt

Chu kì phát triển của hệ thống dịch thống kê bắt đầu từ việc tập hợp dữ liệu huấn luyện (văn bản song ngữ, gióng hàng câu, trích lọc các cặp câu phù hợp). Tiếp theo, thực hiện huấn luyện tự động hệ thống MT. Sau đó, hệ thống dịch máy được kiểm tra và thực hiện phân tích lỗi. Dựa vào kiến trúc của hệ thống SMT, chúng ta có thể phân biệt các kiểu lỗi khác nhau: lỗi tìm kiếm, lỗi mô hình, lỗi huấn luyện, lỗi corpus huấn luyện và lỗi tiền xử lý. Phụ thuộc vào kết quả của quá trình phân tích lỗi này mà chúng ta có những sửa đổi tương ứng: Mô hình tốt hơn, Huấn luyện tốt hơn, Tìm kiếm tốt hơn, Nhiều dữ liệu huấn luyện hơn, Tiền xử lý tốt hơn.

6.1. Các phương pháp đánh giá chất lượng bản dịch máy

Đánh giá chất lượng bản dịch máy là một bước quan trọng trong việc phát triển và cải thiện các hệ thống dịch máy. Có nhiều phương pháp đánh giá khác nhau, bao gồm đánh giá tự động và đánh giá thủ công. Các phương pháp đánh giá tự động sử dụng các số liệu như BLEU, METEOR và TER để so sánh bản dịch máy với bản dịch tham khảo do con người tạo ra. Các phương pháp đánh giá thủ công yêu cầu con người đánh giá chất lượng của bản dịch dựa trên các tiêu chí như độ chính xác, độ trôi chảy và tính phù hợp.

6.2. Phân tích lỗi và các phương pháp cải thiện hệ thống

Phân tích lỗi là một quá trình quan trọng để xác định các điểm yếu của hệ thống dịch máy và đề xuất các phương pháp cải thiện. Phân tích lỗi có thể được thực hiện bằng cách xem xét các bản dịch máy sai và xác định các nguyên nhân gây ra lỗi, chẳng hạn như lỗi từ vựng, lỗi cú pháp và lỗi ngữ nghĩa. Dựa trên phân tích lỗi, có thể áp dụng nhiều phương pháp cải thiện khác nhau, chẳng hạn như cải thiện mô hình dịch, cải thiện mô hình ngôn ngữ, bổ sung dữ liệu huấn luyện và điều chỉnh các tham số của hệ thống.

6.3. Tương lai của Dịch máy Anh Việt thống kê Hướng nghiên cứu

Dịch máy Anh Việt thống kê vẫn là một lĩnh vực nghiên cứu đang phát triển. Các hướng nghiên cứu tiềm năng bao gồm: sử dụng các mô hình học sâu để cải thiện chất lượng dịch, kết hợp thông tin ngữ cảnh vào mô hình dịch, phát triển các phương pháp xử lý các hiện tượng ngôn ngữ phức tạp và xây dựng các hệ thống dịch máy thích ứng với các lĩnh vực cụ thể.

Trích đoạn nội dung tài liệu

Mở đầu Chƣơng 1: Tổng quan về dịch máy. Chƣơng 2: Corpus và gióng hàng câu. Chƣơng 3: Dịch máy bằng phƣơng pháp thống kê. Chƣơng 4: Xây dựng chƣơng trình dịch Anh-Việt bằng thống kê.

Kết luận TIEU LUAN MOI download : [e-mail] Nguyễn Văn Vinh 6 Luận văn thạc sĩ Chƣơng 1 - TỔNG QUAN 1. Khái niệm về dịch máy,vai trò, vị trí của dịch máy 1.1 Khái niệm về dịch máy Định nghĩa: Các hệ dịch máy (machine translation system-MT) là các hệ thống sử dụng máy tính để dịch từ một thứ tiếng (trong ngôn ngữ tự nhiên) sang một hoặc vài thứ tiếng khác. Ngôn ngữ của văn bản cần dịch đƣợc gọi là ngôn ngữ nguồn, ngôn ngữ của văn bản đã dịch ra đƣợc gọi là ngôn ngữ đích.2 Vị trí, vai trò của dịch máy Hiện nay trên thế giới có khoảng 5650 ngôn ngữ khác nhau, với một số lƣợng ngôn ngữ lớn nhƣ vậy đã gây ra rất nhiều khó khăn trong việc trao đổi thông tin, trong giao tiếp, đồng thời ngăn cản sự phát triển của thƣơng mại và mậu dịch quốc tế. Với những khó khăn nhƣ vậy ngƣời ta đã phải dùng đến một đội ngũ phiên dịch khổng lồ, để dịch các văn bản, tài liệu, lời nói từ tiếng nƣớc này sang tiếng nƣớc khác.

Những công việc đó mang tính chất thủ công, nặng nhọc trong khi khối lƣợng văn bản cần dịch ngày càng nhiều. Để khắc phục những nhƣợc điểm trên con ngƣời đã nghĩ đến việc thiết kế một mô hình tự động trong công việc dịch, do đó ngay từ khi xuất hiện chiếc máy tính điện tử đầu tiên ngƣời ta đã tiến hành nghiên cứu về dịch máy. Công việc đƣa ra mô hình tự động cho việc dịch đã và đang đƣợc phát triển, mặc dù chƣa giải quyết đƣợc triệt để lớp ngôn ngữ tự nhiên. Nhƣng sự ra đời của chúng đã khẳng định đƣợc ích lợi to lớn về mặt chiến luợc và kinh tế, đồng thời các vấn đề liên quan đến dịch máy cũng là những chủ đề quan trọng của ngành khoa học máy tính, bởi chúng liên quan đến vấn đề xử lí ngôn ngữ tự nhiên-một trong những vấn đề có ý nghĩa nhất mà trí tuệ nhân tạo có khả năng giải quyết.

Ngƣời ta tin rằng việc xử lí ngôn ngữ tự nhiên trong đó có dịch máy sẽ là giải pháp cho việc mở rộng cánh cửa đối thoại ngƣời- TIEU LUAN MOI download : [e-mail] Nguyễn Văn Vinh 7 Luận văn thạc sĩ máy, lúc đó con ngƣời không phải tiếp xúc với máy qua những dòng lệnh cứng nhắc nữa mà có thể giao tiếp một cách trực tiếp với máy. Sơ đồ tổng quát của một hệ dịch máy Đầu vào của một hệ dịch máy là một văn bản viết trong ngôn ngữ nguồn. Văn bản này có thể thu đƣợc từ một hệ soạn thảo hay một hệ nhận dạng chữ viết, lời nói. Sau đó văn bản có thể đƣợc chỉnh sửa lại nhờ khối soạn thảo, kiểm tra chính tả, trƣớc khi đƣa vào máy dịch.

Phần dịch máy sẽ chuyển văn bản nguồn thành văn bản viết trên ngôn ngữ đích. Và cũng qua một bộ chỉnh ra để cuối cùng thu đƣợc một văn bản tƣơng đối hoàn chỉnh. Trong quá trình dịch máy, hệ thống thƣờng xuyên phải truy cập đến một khối lƣợng rất lớn các tri thức dịch. Tri thức dịch thông thƣờng là các loại từ điển bao gồm: từ điển chứa bộ luật về cú pháp, từ điển về từ vựng, từ điển về thông tin ngữ nghĩa.

Trong nhiều hệ thống, có thể có sự tƣơng tác giữa ngƣời và máy trong quá trình dịch. Tƣơng tác này thông thƣờng có cả hai chiều (ngƣời-máy) và có thể có ở mọi giai đoạn. Sau đây là sơ đồ tổng quát của hệ dịch máy. Con ng-êi V¨n b¶n So¹n th¶o V¨n b¶n DÞch m¸y HiÖu vµo kiÓm tra ra ®Ýnh chÝnh t¶ C¬ së trÝ thøc Hình 1.1: Sơ đồ tổng quát của hệ dịch máy TIEU LUAN MOI download : [e-mail] Nguyễn Văn Vinh 8 Luận văn thạc sĩ 1.

Phân loại dịch máy Có nhiều cách phân loại khác nhau, tùy theo mục đích, phạm vi ứng dụng, khả năng kĩ thuật. ta có thể phân loại nhƣ sau: 1. Theo mức độ can thiệp của con ngƣời a) Hệ thống có sự trợ giúp của con người Con ngƣời có thể can thiệp trong quá trình dịch ở một hoặc nhiều giai đoạn:  Trƣớc khi đƣa vào máy: hiểu chỉnh câu, từ.  Hỏi đáp ngay trong quá trình dịch.

 Sau khi dịch: sửa đổi lại kết quả dịch, sửa ý, sửa từ. Tùy theo mức độ tự động mà ngƣời ta lại phân ra các mức khác nhau. b) Machine Translation(MT)- Các hệ dịch tự động hoàn toàn c) Machine-aided Translation(MAT)- Dịch máy trợ giúp. Bao gồm: + Human-assisted machine translation(HAMT) Dịch máy với sự trợ giúp của ngƣời: máy dịch là chính, con ngƣời giám sát và giúp máy khi cần thiết (chọn đúng nghĩa trong trƣờng hợp từ đa nghĩa).

+ Machine- assisted human translation(MAHT) Ngƣời dịch với sự trợ giúp của máy: Ngƣời dịch là chính, và máy giúp đỡ khi có sự yêu cầu của con ngƣời (tra nghĩa của từ, thành ngữ.) + Terminology-Data banks - Ngân hàng thuật ngữ: Thực chất không phải là hệ dịch máy, nhƣng nó cung cấp một lƣợng thuật ngữ rất lớn, cần thiết khi xây dựng cập nhật cơ sở dữ liệu cho máy. Theo số ngữ và số chiều dịch Phân biệt hệ thống dịch hai ngữ hay đa ngữ, hệ thống dịch một chiều hay hai chiều. Ví dụ: Anh => Việt, Việt => Anh, Anh<=>Việt TIEU LUAN MOI download : [e-mail] Nguyễn Văn Vinh 9 Luận văn thạc sĩ 1. Theo cách lấy thông tin a)Phần lớn các hệ lấy thông tin từ ngôn ngữ học.

Cách lấy thông tin này có các cách dịch nhƣ sau: + Dịch trực tiếp + Dịch chuyển đổi + liên ngữ + Dịch dựa trên dữ liệu (translation by corpus) b) Loại không lấy thông tin từ ngôn ngữ học mà lấy thông tin dựa vào kết quả thống kê với các bản dịch sẵn. Đó là các hệ thống kê. Theo phạm vi ứng dụng Phân loại theo giới hạn ngôn ngữ, mức tự động, chất lƣợng bản dịch. Các hệ Systran, Metal, Logos giới hạn cho ngôn ngữ KHKT dịch ra các văn bản thô đủ hiểu và tốc độ dịch gấp 3 đến 4 lần ngƣời dịch.

Theo ngƣời dùng + Dành cho các phiên dịch viên chuyên nghiệp: Chất lƣợng bản dịch phải cao. +Dành cho ngƣời không chuyên nghiệp: nhu cầu cần đọc lƣớt qua nhanh một loại tài liệu nào đó để nắm bắt thông tin. Với nhu cầu này thông thƣờng yêu cầu độ chính xác. Các phương pháp dịch máy cơ bản Theo phân loại cách lấy thông tin, ta có thể thấy có 3 phƣơng pháp dịch cơ bản là:  Dich trực tiếp  Dịch chuyển đổi(Dịch dựa trên cơ sở luật)  Liên ngữ  Dịch dựa trên dữ liệu TIEU LUAN MOI download : [e-mail] Nguyễn Văn Vinh 10 Luận văn thạc sĩ Trong đó, các hệ dịch trực tiếp là đơn giản nhất, và phức tạp nhất là các hệ liên ngữ.

Sau đây tôi xin trình bầy những nét đặc trƣng cơ bản của từng phƣơng pháp dịch và qua đó cho biết phạm vi mà từng phƣơng pháp có thể giải quyết. Các hệ dịch trực tiếp Dịch trực tiếp từ các cặp ngôn ngữ nguồn và đích bằng cách thay thế các từ ở ngôn ngữ nguồn với các từ tƣơng ứng của ngôn ngữ đích bởi các thông tin từ từ điển và đƣợc sắp xếp lại một cách thích hợp theo các luật của ngôn ngữ đích. Chất lƣợng của hệ dịch này phụ thuộc vào từ điển đƣợc xây dựng tốt, cũng nhƣ bộ phân tích hình thái và hệ thống cấu trúc ngữ pháp [26]. Một trong những hệ dịch trực tiếp khá thành công đó là hệ dịch SYSTRAN[26].

Tuy nhiên do hệ địch trực tiếp dùng các phép phân tích và thay thế đơn giản chỉ áp dụng tốt đối với các cặp ngôn ngữ có tính chất tƣơng tự nhau và sẽ rất khó áp dụng cho các hệ thống ngôn ngữ có cấu trúc ngữ pháp khác nhau hoàn toàn nhƣ (Anh- Việt). Các hệ thống dịch chuyển đổi Là các hệ thống phân tích câu vào trong một ngôn ngữ sau đó áp dụng các luật ngôn ngữ và từ vựng học (gọi là các luật chuyển đổi) để đƣa ra văn phạm tƣơng ứng trong một ngôn ngữ khác. Hệ thống sử dụng một bộ phân tích (parse) để xem xét cấu trúc của câu vào, và thiết lập cấu trúc của nó (thƣờng biễu diễn dƣới dạng cây phân tích ngữ pháp). Sau đó hệ thống sử dụng các luật chuyển đổi tƣơng ứng từ cấu trúc ngữ pháp của ngôn ngữ nguồn sinh ra cấu trúc ngữ pháp thuộc ngôn ngữ đích.

Các luật chuyển đổi ở đây có thể Đây cũng là phƣơng pháp mà tôi lấy làm trọng tâm nghiên cứu trong luận văn này. Định nghĩa: Dịch bằng phương pháp chuyển đổi là các hệ thống phân tích câu vào trong ngôn ngữ nguồn sau đó áp dụng các luật ngôn ngữ và từ vựng (gọi là luật chuyển đổi) để đưa ra cấu trúc ngữ pháp tương ứng trong ngôn ngữ đích. TIEU LUAN MOI download : [e-mail] Nguyễn Văn Vinh 11 Luận văn thạc sĩ Trong hệ thống dịch này, ngôn ngữ chính là tiếng Anh. Ngôn ngữ đích là tiếng Việt.

Các bước của phương pháp chuyển đổi: Nhƣ trong phần lý thuyết chung về phƣơng pháp chuyển đổi chúng ta đã biết các khối trong hệ thống dịch chuyển đổi, ở đây trong trƣờng hợp hệ thống chuyển đổi cho dịch từ tiếng Anh sang tiếng Việt bao gồm các khối chính.  Phân tích hình thái học câu nguồn tiếng Anh Vào: Câu tiếng Anh Ra: Các thông tin hình thái của các từ trong câu tiếng Anh  Phân tích cú pháp tiếng Anh Vào: Thông tin hình thái của tất cả các từ trong câu Ra: Cây phân tích ngữ pháp của câu  Chuyển đổi sang cú pháp tiếng Việt Vào: Cây phân tích ngữ pháp tiếng Anh, thông tin hình thái các từ Ra: Cây ngữ pháp tiếng Anh đƣợc chuyển đổi theo cú pháp tiếng Việt  Tổ hợp câu tiếng Việt Vào: Cây ngữ pháp tiếng Anh đƣợc chuyển đổi theo cú pháp tiếng Việt Ra: Câu đƣợc dịch Ngoài ra hệ thống cần một khối lƣợng lớn tri thức để dịch, đó là các từ điển tổ hợp Anh,Việt. Sơ đồ một hệ thống máy dịch bằng phƣơng pháp chuyển đổi TIEU LUAN MOI download : [e-mail] Nguyễn Văn Vinh 12 Luận văn thạc sĩ Hình 1.2: Sơ đồ Hệ thống dịch chuyển đổi TIEU LUAN MOI download : [e-mail] Nguyễn Văn Vinh 13 Luận văn thạc sĩ Một trong những vấn đề khó khăn khi sử dụng phƣơng pháp này đó là: Khối lƣợng cơ sở luật phải xây dựng nhiều và đòi hỏi sự trợ giúp của các chuyên gia ngôn ngữ. Tuy nhiên khi xây dựng với số lƣợng luật quá lớn thì không tránh khỏi sự xung đột xuất hiện.