Luận văn thạc sĩ về dịch máy Anh-Việt sử dụng phương pháp thống kê và thông tin ngôn ngữ

Luận văn thạc sĩ nghiên cứu công nghệ thông tin dịch máy anh việt dựa trên phương pháp thống kê tích hợp với thông tin ngôn ngữ, đánh giá hiện trạng, phân tích vấn đề, đề xuất

• Tác giả: Nguyễn Thị Phương Thảo
• Người hướng dẫn: GS. Hồ Tú Bảo
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Dịch Máy Anh-Việt Bằng Phương Pháp Thống Kê Và Ngôn Ngữ
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2008
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ DỊCH MÁY
• 1.1. Khai niém dich may
• 1.2. Kiến trúc chung của một hệ dich MAY
• 1.3. Những khó khăn trong dịch máy
• 1.4. Tình hình dịch máy trong và ngoài nưỚc
• 2. CHƯƠNG 2: DỊCH MÁY THỐNG KÊ
• 2.1. Mô hình NT đHH
• 2.2. Mô hình nSÔH HIĐĨY
• 2.3. LQ MIN The gd
• 2.4. Mô hình dịch
• 2.5. Mô hình dịch thong kê dựa trên đơn vị từ
• 2.6. Mô hình dịch thống kê dựa trên đơn VỊ cụm từ
• 2.7. Mô hình dich thong kê dựa trên cú pháp
• 2.8. Các khả năng đỊCH
• 2.9. Giải mã bằng kỹ thuật mở rộng không gian giả thuyẾt
• 3. CHƯƠNG 3: CÁC THÀNH PHAN TRONG HỆ DỊCH THONG KE DỰA TREN DON VỊ CỤM TỪ
• 3.1. Mô hình log-linear áp dụng cho bài toán dịch mắy
• 3.2. Các đặc trưng khác sử dụng trong mô hình dịch phrase-based
• 4. CHƯƠNG 4: DỊCH MÁY THỐNG KÊ TÍCH HỢP THÊM THÔNG TIN
• 4.1. Các mô hình xác suất MÚI
• 4.2. Xứ lý hình thái
• 4.3. Đưa ra quyết định tốt hƠi
• 4.4. Các thành phan trong hệ dịch FTM
• 4.5. Tình hình ứng dụng mô hình FTTM
• 5. CHƯƠNG 5: THỰC NGHIỆM
• 5.1. Công cụ và ngữ liệu cho hệ dịch
• 5.2. Các công cụ tiễn xử lý
• 5.3. Công cu sử dung thử nghiệm mô hình FTM
• 5.4. Công cụ đánh giá chất lượng hệ dịch
• 5.5. Cac thurc nghiêm
• 5.6. Cau hinh CO
• 5.7. Cầu hình Ty + Tịp
• 5.8. Cầu hình Tyg + CC
• 5.9. Kết quả thực nghiệm
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC A

Tóm tắt

I. Tổng quan về dịch máy

Dịch máy (dịch máy) là một lĩnh vực nghiên cứu có lịch sử lâu dài, bắt đầu từ thập kỷ 50 và phát triển mạnh mẽ vào thập kỷ 80. Ngôn ngữ nguồn là ngôn ngữ của văn bản cần dịch, trong khi ngôn ngữ đích là ngôn ngữ của văn bản đã dịch. Kiến trúc của một hệ thống dịch máy có thể được phân thành ba lớp chính: dịch trực tiếp, dịch chuyển đổi và dịch qua ngôn ngữ trung gian. Mỗi kiến trúc có những ưu điểm và nhược điểm riêng, nhưng đều hướng tới việc cải thiện chất lượng dịch. Dịch máy thống kê (dịch máy thống kê) là một trong những phương pháp hiện đại, tự động xây dựng từ điển và quy luật dựa trên kết quả thống kê từ kho ngữ liệu. Phương pháp này có tính khả chuyên cao và có thể áp dụng cho bất kỳ cặp ngôn ngữ nào. Tuy nhiên, dịch máy vẫn phải đối mặt với nhiều thách thức như sự nhập nhằng trong ngôn ngữ và cấu trúc ngữ pháp phức tạp.

1.1 Khái niệm dịch máy

Khái niệm về dịch máy được định nghĩa là quá trình tự động chuyển đổi văn bản từ ngôn ngữ này sang ngôn ngữ khác. Dịch máy không chỉ đơn thuần là việc thay thế từ mà còn bao gồm việc hiểu và xử lý ngữ nghĩa của câu. Các hệ thống dịch máy hiện nay thường sử dụng các phương pháp như ngôn ngữ tự nhiên và thuật toán dịch máy để cải thiện độ chính xác và chất lượng dịch. Việc áp dụng các mô hình thống kê trong dịch máy đã giúp nâng cao khả năng xử lý ngôn ngữ tự nhiên, từ đó tạo ra những bản dịch gần gũi và tự nhiên hơn với người dùng.

1.2 Kiến trúc chung của một hệ dịch máy

Kiến trúc của một hệ dịch máy thường được chia thành ba lớp: dịch trực tiếp, dịch chuyển đổi và dịch qua ngôn ngữ trung gian. Mỗi lớp có những đặc điểm riêng, từ việc phân tích cú pháp đến việc chuyển đổi ngữ nghĩa. Dịch trực tiếp thường không đạt hiệu quả cao do không xử lý được sự khác biệt về cú pháp và ngữ nghĩa. Trong khi đó, dịch chuyển đổi có độ chính xác cao hơn nhưng lại tốn nhiều công sức trong việc xây dựng quy tắc chuyển đổi. Dịch qua ngôn ngữ trung gian là hướng tiếp cận lý tưởng nhưng vẫn còn nhiều thách thức trong việc thực hiện.

1.3 Những khó khăn trong dịch máy

Dịch máy gặp phải nhiều khó khăn, bao gồm sự nhập nhằng trong ngôn ngữ, thiếu thông tin và cấu trúc ngữ pháp phức tạp. Sự nhập nhằng từ vựng và cú pháp là những thách thức lớn nhất, khiến cho việc lựa chọn từ và cấu trúc câu phù hợp trở nên khó khăn. Ngoài ra, việc thiếu thông tin trong các câu văn cũng gây khó khăn cho máy dịch trong việc hiểu đúng ngữ nghĩa. Những vấn đề này đòi hỏi các nhà nghiên cứu phải tìm ra các giải pháp hiệu quả để cải thiện chất lượng dịch.

1.4 Tình hình dịch máy trong và ngoài nước

Hiện nay, nhiều hệ thống dịch máy thương mại đã được phát triển và áp dụng trên toàn thế giới, như Google Translate và Systrans. Tuy nhiên, dịch máy Anh-Việt vẫn gặp nhiều khó khăn do sự khác biệt về cấu trúc ngữ pháp và tính nhập nhằng trong ngữ nghĩa. Tại Việt Nam, một số nhóm nghiên cứu đã tập trung vào việc phát triển hệ thống dịch máy, nhưng chất lượng và phạm vi ứng dụng vẫn còn hạn chế. Các nghiên cứu hiện tại chủ yếu tập trung vào việc cải thiện các mô hình dịch máy thống kê và tích hợp thông tin ngôn ngữ để nâng cao chất lượng dịch.

II. Dịch máy thống kê

Dịch máy thống kê (dịch máy thống kê) là một trong những phương pháp chính trong lĩnh vực dịch máy hiện đại. Phương pháp này dựa trên việc sử dụng dữ liệu song ngữ để xây dựng các mô hình dịch. Thay vì xây dựng từ điển và quy tắc chuyển đổi bằng tay, hệ thống dịch máy thống kê tự động thiết lập các quy tắc dựa trên kết quả thống kê từ kho ngữ liệu. Điều này giúp cải thiện tính khả chuyên và độ chính xác của dịch máy. Các mô hình dịch thống kê hiện nay thường được chia thành ba loại: dựa trên đơn vị từ, đơn vị cụm từ và cú pháp. Mỗi loại mô hình có những ưu điểm và nhược điểm riêng, nhưng đều hướng tới việc cải thiện chất lượng dịch.

2.1 Mô hình dịch thống kê dựa trên đơn vị từ

Mô hình dịch thống kê dựa trên đơn vị từ là phương pháp đơn giản nhất, trong đó mỗi từ trong ngôn ngữ nguồn được dịch sang từ tương ứng trong ngôn ngữ đích. Mặc dù phương pháp này dễ thực hiện, nhưng thường không đạt được chất lượng dịch cao do không xử lý được các vấn đề về ngữ nghĩa và cú pháp. Để cải thiện, cần phải kết hợp thêm các thông tin ngữ nghĩa và ngữ pháp vào mô hình, từ đó tạo ra những bản dịch tự nhiên và chính xác hơn.

2.2 Mô hình dịch thống kê dựa trên đơn vị cụm từ

Mô hình dịch thống kê dựa trên đơn vị cụm từ là một bước tiến lớn trong việc cải thiện chất lượng dịch. Phương pháp này cho phép dịch các cụm từ thay vì từng từ đơn lẻ, giúp giữ nguyên ngữ nghĩa và cấu trúc câu. Mô hình này thường sử dụng các kỹ thuật như thuật toán dịch máy và ngôn ngữ tự nhiên để tối ưu hóa quá trình dịch. Tuy nhiên, việc xây dựng mô hình này đòi hỏi một lượng lớn dữ liệu song ngữ để đạt được hiệu quả cao.

2.3 Mô hình dịch thống kê dựa trên cú pháp

Mô hình dịch thống kê dựa trên cú pháp là phương pháp tiên tiến nhất, trong đó các quy tắc cú pháp được áp dụng để cải thiện chất lượng dịch. Phương pháp này giúp xử lý các vấn đề về trật tự từ và ngữ nghĩa, từ đó tạo ra những bản dịch chính xác và tự nhiên hơn. Tuy nhiên, việc xây dựng mô hình này phức tạp và đòi hỏi nhiều công sức trong việc phân tích cú pháp của cả hai ngôn ngữ. Các nghiên cứu hiện tại đang tập trung vào việc cải thiện các mô hình cú pháp để nâng cao chất lượng dịch máy.

Nội dung chính

## Tổng quan nghiên cứu

Dịch máy (Machine Translation - MT) là lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin, đặc biệt trong bối cảnh toàn cầu hóa và nhu cầu trao đổi thông tin đa ngôn ngữ ngày càng tăng. Theo ước tính, có khoảng hàng triệu tài liệu và dữ liệu đa ngôn ngữ được tạo ra mỗi ngày, đòi hỏi các hệ thống dịch máy hiệu quả để hỗ trợ con người tiếp cận thông tin nhanh chóng. Luận văn tập trung nghiên cứu dịch máy thống kê (Statistical Machine Translation - SMT), một phương pháp dựa trên dữ liệu song ngữ tự động xây dựng mô hình dịch mà không cần can thiệp thủ công nhiều. Mục tiêu chính của nghiên cứu là phát triển mô hình dịch máy thống kê tích hợp các thông tin ngôn ngữ ở mức từ vựng nhằm nâng cao chất lượng dịch cho cặp ngôn ngữ Anh-Việt, đặc biệt trong lĩnh vực kinh tế và hội thoại.

Phạm vi nghiên cứu bao gồm dữ liệu song ngữ thu thập từ các lĩnh vực pháp luật và đối thoại, với tổng số khoảng 17.795 cặp câu song ngữ và hơn 1,5 triệu câu đơn ngữ tiếng Việt phục vụ xây dựng mô hình ngôn ngữ. Nghiên cứu được thực hiện tại Đại học Quốc gia Hà Nội, Trường Đại học Công nghệ trong giai đoạn 2007-2008. Ý nghĩa của nghiên cứu thể hiện qua việc cải thiện đáng kể chất lượng dịch máy Anh-Việt, góp phần phát triển các ứng dụng dịch tự động trong thực tế, đồng thời mở rộng kiến thức về tích hợp thông tin ngôn ngữ trong mô hình dịch thống kê.

## Cơ sở lý thuyết và phương pháp nghiên cứu

### Khung lý thuyết áp dụng

- **Mô hình dịch máy thống kê (SMT):** Dựa trên mô hình kênh nhiễu và luật Bayes, SMT chọn câu dịch có xác suất cao nhất dựa trên dữ liệu song ngữ. Ba hướng tiếp cận chính gồm dịch dựa trên đơn vị từ, đơn vị cụm từ và dựa trên cú pháp.
- **Mô hình log-linear:** Mở rộng mô hình truyền thống bằng cách kết hợp nhiều hàm đặc trưng với trọng số khác nhau, cho phép tích hợp các thông tin ngôn ngữ như nhãn từ loại (POS), từ gốc (lemma), hình thái từ (morphology).
- **Mô hình ngôn ngữ N-gram:** Tính xác suất xuất hiện của chuỗi từ dựa trên thống kê n-gram, giúp đánh giá tính hợp lý của câu dịch.
- **Mô hình dịch dựa trên đơn vị cụm từ (Phrase-based SMT):** Xử lý các cụm từ thay vì từng từ đơn lẻ, cải thiện khả năng dịch các thành phần ngôn ngữ phức tạp.
- **Mô hình dịch tích hợp yếu tố ngôn ngữ (Factored Translation Model - FTM):** Mở rộng phrase-based SMT bằng cách thêm các yếu tố ngôn ngữ như POS, lemma, morphology vào mô hình dịch, giúp giải quyết các vấn đề về biến đổi hình thái, trật tự từ và lựa chọn từ phù hợp.

### Phương pháp nghiên cứu

- **Nguồn dữ liệu:** Sử dụng 17.795 cặp câu song ngữ Anh-Việt về lĩnh vực pháp luật và đối thoại, cùng hơn 1,5 triệu câu đơn ngữ tiếng Việt từ các lĩnh vực công nghệ thông tin, khoa học, kinh doanh, luật, tin tức thế giới, thể thao và văn hóa.
- **Phương pháp phân tích:** Áp dụng mô hình dịch máy thống kê dựa trên đơn vị cụm từ tích hợp các yếu tố ngôn ngữ (FTM). Dữ liệu được tiền xử lý bao gồm tách từ, gán nhãn từ loại, phân tích hình thái. Mô hình được huấn luyện và đánh giá bằng phần mềm Moses, sử dụng GIZA++ cho gióng hàng từ, SRILM cho mô hình ngôn ngữ, và BLEU để đánh giá chất lượng dịch.
- **Timeline nghiên cứu:** Tiến hành thu thập và xử lý dữ liệu, xây dựng mô hình, thực nghiệm với các cấu hình khác nhau, đánh giá và tối ưu mô hình trong khoảng thời gian 12 tháng.

## Kết quả nghiên cứu và thảo luận

### Những phát hiện chính

- **Hiệu quả của mô hình FTM:** Việc tích hợp các yếu tố ngôn ngữ như POS, lemma và morphology vào mô hình dịch thống kê dựa trên cụm từ đã cải thiện điểm BLEU từ mức cơ sở khoảng 25% lên đến gần 30%, tương đương tăng khoảng 20% về chất lượng dịch.
- **Ảnh hưởng của từng yếu tố:** POS tag giúp cải thiện khả năng xử lý trật tự từ và lựa chọn từ phù hợp, lemma hỗ trợ xử lý biến đổi hình thái từ, morphology giúp mô hình hiểu rõ hơn về các dạng từ phức tạp. Cấu hình kết hợp cả ba yếu tố cho kết quả tốt nhất.
- **Khả năng xử lý dữ liệu thưa:** Mô hình FTM giảm thiểu vấn đề dữ liệu thưa bằng cách sử dụng các yếu tố ngôn ngữ bổ sung, giúp hệ thống dịch được các từ biến đổi hình thái không có trong dữ liệu huấn luyện.
- **So sánh với mô hình phrase-based truyền thống:** Mô hình FTM vượt trội hơn rõ rệt trong việc dịch các câu phức tạp, đặc biệt trong lĩnh vực kinh tế và hội thoại, với sự cải thiện về độ chính xác và tính tự nhiên của câu dịch.

### Thảo luận kết quả

Nguyên nhân của sự cải thiện chất lượng dịch là do mô hình FTM tận dụng được thông tin ngôn ngữ phong phú hơn, giúp giải quyết các vấn đề về trật tự từ, lựa chọn từ và biến đổi hình thái vốn là thách thức lớn trong dịch Anh-Việt. So với các nghiên cứu trước đây chủ yếu dựa trên mô hình phrase-based hoặc rule-based, nghiên cứu này đã chứng minh hiệu quả của việc tích hợp các yếu tố ngôn ngữ ở mức từ trong mô hình dịch thống kê. Kết quả có thể được trình bày qua biểu đồ so sánh điểm BLEU giữa các cấu hình mô hình, hoặc bảng thống kê chi tiết về các chỉ số đánh giá chất lượng dịch. Ý nghĩa của nghiên cứu không chỉ nâng cao chất lượng dịch mà còn mở ra hướng phát triển cho các hệ thống dịch máy đa ngôn ngữ khác.

## Đề xuất và khuyến nghị

- **Phát triển hệ thống dịch máy tích hợp yếu tố ngôn ngữ:** Khuyến nghị các tổ chức nghiên cứu và doanh nghiệp ứng dụng mô hình FTM để nâng cao chất lượng dịch, đặc biệt trong các lĩnh vực chuyên ngành như kinh tế, pháp luật.
- **Mở rộng dữ liệu huấn luyện đa dạng:** Tăng cường thu thập và xử lý dữ liệu song ngữ và đơn ngữ đa lĩnh vực để cải thiện khả năng tổng quát của mô hình, hướng tới dịch chính xác hơn trong nhiều ngữ cảnh.
- **Tối ưu hóa cấu hình yếu tố ngôn ngữ:** Nghiên cứu và lựa chọn cấu hình các yếu tố ngôn ngữ phù hợp với đặc trưng từng cặp ngôn ngữ và lĩnh vực ứng dụng nhằm đạt hiệu quả tối ưu.
- **Đào tạo và phát triển nguồn nhân lực:** Đào tạo chuyên gia về dịch máy và xử lý ngôn ngữ tự nhiên để phát triển và duy trì các hệ thống dịch máy hiện đại, đáp ứng nhu cầu ngày càng cao.
- **Thời gian thực hiện:** Các giải pháp trên nên được triển khai trong vòng 1-2 năm để nhanh chóng ứng dụng vào thực tế, đồng thời tiếp tục nghiên cứu nâng cao trong các giai đoạn tiếp theo.

## Đối tượng nên tham khảo luận văn

- **Nhà nghiên cứu và sinh viên ngành Công nghệ thông tin, Ngôn ngữ học máy tính:** Nắm bắt kiến thức chuyên sâu về mô hình dịch máy thống kê và các kỹ thuật tích hợp thông tin ngôn ngữ.
- **Các tổ chức phát triển phần mềm dịch máy:** Áp dụng mô hình FTM để cải tiến sản phẩm dịch tự động, nâng cao chất lượng dịch cho các cặp ngôn ngữ có cấu trúc khác biệt.
- **Doanh nghiệp trong lĩnh vực dịch thuật và truyền thông đa ngôn ngữ:** Tận dụng kết quả nghiên cứu để xây dựng hệ thống dịch tự động hỗ trợ công việc, giảm chi phí và tăng hiệu quả.
- **Cơ quan quản lý và hoạch định chính sách về công nghệ thông tin:** Định hướng phát triển công nghệ dịch máy trong nước, hỗ trợ các dự án nghiên cứu và ứng dụng công nghệ mới.

## Câu hỏi thường gặp

1. **Dịch máy thống kê là gì?**  
Dịch máy thống kê là phương pháp dịch tự động dựa trên mô hình xác suất được xây dựng từ dữ liệu song ngữ, chọn câu dịch có xác suất cao nhất dựa trên luật Bayes và mô hình ngôn ngữ.

2. **Mô hình dịch phrase-based khác gì so với word-based?**  
Phrase-based dịch các cụm từ thay vì từng từ đơn lẻ, giúp xử lý tốt hơn các thành phần ngôn ngữ phức tạp và cải thiện chất lượng dịch.

3. **Tại sao cần tích hợp các yếu tố ngôn ngữ như POS, lemma?**  
Các yếu tố này cung cấp thông tin ngữ pháp và hình thái, giúp mô hình hiểu rõ hơn về ngữ cảnh và biến đổi từ, từ đó nâng cao độ chính xác của bản dịch.

4. **Điểm BLEU là gì và tại sao quan trọng?**  
BLEU là chỉ số đánh giá tự động chất lượng bản dịch bằng cách so sánh với bản dịch chuẩn của con người, giúp đo lường hiệu quả của mô hình dịch.

5. **Mô hình FTM có thể áp dụng cho các cặp ngôn ngữ khác không?**  
Có, FTM là mô hình linh hoạt, có thể điều chỉnh các yếu tố ngôn ngữ phù hợp với đặc trưng từng cặp ngôn ngữ để cải thiện chất lượng dịch.

## Kết luận

- Nghiên cứu đã phát triển thành công mô hình dịch máy thống kê tích hợp yếu tố ngôn ngữ ở mức từ cho cặp ngôn ngữ Anh-Việt, nâng cao chất lượng dịch đáng kể.  
- Mô hình FTM giúp giải quyết các vấn đề về trật tự từ, biến đổi hình thái và lựa chọn từ phù hợp trong dịch máy.  
- Thực nghiệm với hơn 17.000 cặp câu song ngữ và hơn 1,5 triệu câu đơn ngữ đã chứng minh hiệu quả của mô hình qua điểm BLEU cải thiện khoảng 20%.  
- Kết quả nghiên cứu có ý nghĩa thực tiễn cao, góp phần phát triển các hệ thống dịch tự động trong lĩnh vực kinh tế và hội thoại.  
- Đề xuất tiếp tục mở rộng dữ liệu, tối ưu cấu hình mô hình và đào tạo nguồn nhân lực để ứng dụng rộng rãi trong tương lai.

Các nhà nghiên cứu và doanh nghiệp nên áp dụng mô hình FTM trong phát triển hệ thống dịch máy, đồng thời tiếp tục nghiên cứu nâng cao để đáp ứng nhu cầu dịch đa ngôn ngữ ngày càng tăng.

Trích đoạn nội dung tài liệu

CHƯƠNG I - TONG QUAN VE DỊCH MAY 1.1 Khai niém dich may Dich may (Machine Translation) là một hướng phát triển có lịch sử lâu đời từ thập ky 50 và được phát triển mạnh mẽ vào thập kỷ 80 [19]. Ngôn ngữ của văn bản cần dịch được gọi là ngôn ngữ nguồn, ngôn ngữ của văn bản đã dịch gọi là ngôn ngữ đích.2 Kiến trúc chung của một hệ dịch máy Kiến trúc hiện thời của một hệ dịch máy có thể được phân thành 3 lớp chính sau: trực tiếp, chuyên đối, và liên ngữ [12]. Ba lớp này tương ứng với các loại khác nhau (Hình 1.1) phụ thuộc vào mức độ phân tích của hệ thống. ec ` - o= ngữ nghĩa >C cis 2 ngữ nghĩa Phan tích ———~ Chuyển đỗi "T—=——C “Sinh tigữ nghĩa = ngitnghia tigữ nghia — cấu trúc Cầu trúc Be a Chuyển đổi củ pháp _ì cu Ss Câu trúc = Cau Phan tích cu ã nàn cú h tức tử tuuốc từ Dịch trực tiếp a hình thái Van ban đích nh thái Phân tich Hình 1.1: Các loại hệ thống dịch máy Kiến trúc dịch trực tiếp (Direct Architecture): Thay thé từng từ trong văn bản nguồn thành từ trong văn bản đích rồi sinh trở lại văn bản đích theo đúng thứ tự văn bản nguồn.

Kiến trúc này đơn giản nhưng không đạt hiệu quả cao vì các khác 10 biệt về cú pháp và tính đa nghĩa của từ. Kiến trúc này được áp dụng vào những năm đầu của lịch sử dịch máy và đạt được thành công trong những ngữ cảnh hẹp hoặc trong bài toán đòi hỏi chất lượng không cao lắm. Kiến trúc dịch chuyển đổi (Transfer Architecture): Gồm hai mức, chuyên đôi cú pháp và chuyên đổi ngữ nghĩa, thực hiện chuyển đổi các tri thức ngôn ngữ từ ngôn ngữ nguồn sang ngôn ngữ đích (từ, cú pháp, nghĩa,. Kiến trúc này có độ chính xác cũng như dễ đọc dễ hiểu, giải quyết mập mờ tốt hơn nhiều kiến trúc dịch trực tiếp.

Tuy vậy thường phải tốn nhiều công sức trong việc tiến hành việc chuyên đổi tri thức ngôn ngữ cho từng cặp ngôn ngữ. Kiến trúc dịch qua ngôn ngữ trung gian (Interlingual Architecture): Phân tích ngôn ngữ nguồn va đưa ra mô tả về tri thức ngôn ngữ tương ứng trên một ngôn ngữ trung gian, độc lập với ngôn ngữ nguồn. Từ đó tạo ra văn bản cho ngôn ngữ đích. Nói cách khác, các cặp ngôn ngữ nguồn và đích đều được dịch thông qua một ngôn ngữ trung gian.

Đây là kiến trúc hoàn hảo mà các hệ dịch máy vươn tới. Ba lớp kiến trúc cho hệ dịch máy trên cùng đưa ra câu trả lời cho câu hỏi là những thể hiện nảo được sử dụng và những bước nào được thực thi cho một quá trình dịch. Tuy nhiên, còn có một cách tiếp cận khác cho bài tóan dịch máy — cách tiếp cận dựa trên dit liệu (corpus-based), trong đó tập trung vào kết quả chứ không tập trung vào tiễn trình thực hiện. Các phương pháp theo cách tiếp cận này là dịch dựa trên ví dụ (Example-based) và phương pháp dịch máy thống kê (Statistical).

Đối sánh (Matching) “He buys a book on international politics" Be nhẹ dich) (Translation „. ' “| read a book on international politics" <=> — "Watashi ha kokusaiseiji nitsuite kakareta hon wo yornu" "He buys a notebook" <=> Gióng hang "Kare ha nouto wo kau" (Alignment) Gióng hàng | (Alignment "| read a book on international politics <=> Watashi ha kokusaiseiji nitsuite kakareta hon wo yomu" "He buys a notebook" <=> “Kare ha nouto wo kau" Kết hợp lại (Recombination) Kết hợp lại (Recombination Xử "He buys a book on intemational politics" <=> Hình 1.2: Một vi du dich máy ghi nhớ II Ý tưởng của phương pháp dịch máy ghi nhớ là tìm trong kho ngữ liệu song ngữ các câu nguồn có đoạn giống câu cần dịch, phân tích để chỉ ra phần tương ứng của câu đích trong cặp câu ngữ liệu, sau đó tổng hợp và đưa ra kết quả [31].2 đưa ra một ví dụ dịch câu tiếng Anh “He buys a book on International politics” sang tiếng Nhật sử dụng phương pháp dịch máy ghi nhớ. Tuy nhiên, phương pháp này sẽ đem lại kết quả dịch không tốt khi dịch với các cặp ngôn ngữ khác biệt nhiều về cấu trúc ngữ pháp và đòi hỏi một lượng ngữ liệu song ngữ rất lớn. Dich máy thống kê thay vì xây dựng các từ điển, các quy luật chuyên đổi bằng tay, hay ghi nhớ các đoạn giống nhau từ kho ngữ liệu, hệ dịch này tự động xây dựng các từ điển, các quy luật dựa trên kết quả thống kê có được từ các kho ngữ liệu.

Chính vì vậy, dịch máy dựa vào thống kê có tính khả chuyên cao áp dụng được cho bất kỳ cặp ngôn ngữ nào. Đây là hướng tiếp cận đang được đánh giá cao và thu được nhiều kết quả ấn tượng nhất. Trong các phần tiếp theo của luận văn tôi sẽ đi sâu vào hướng tiếp cận này.3 Những khó khăn trong dịch máy Mỗi ngôn ngữ đều có đặc trưng riêng khiến cho việc dịch tự động từ ngôn ngữ này sang ngôn ngữ khác phải đối mặt với những thách thức ghê gớm. Dưới đây là những khó khăn tiêu biểu cho việc dịch các ngôn ngữ tự nhiên nói chung và dịch Anh-Việt nói riêng.

Nhập nhằng Sự nhập nhằng trong các ngôn ngữ tự nhiên là rất lớn. Đây chính là khó khăn lớn nhất của quá trình dịch tự động khi phải lựa chọn từ với nghĩa phù hợp nhất trong rất nhiều nghĩa khác nhau của một từ đầu vào. Có các loại nhập nhằng sau: - Nhập nhang từ vựng Một từ có thé có nhiều chức năng ngữ pháp. Mỗi chức năng ngữ pháp lại có thể có nhiều nghĩa.

Các loại từ này là gặp thường xuyên trong ngôn ngữ tự nhiên. Vi dụ: Trong tiếng Anh bình quân một từ có ít nhất 2 nghĩa: từ make có 14 nghĩa, từ nervous có 4 nghĩa,. Từ train có chức năng noun (danh từ) va có nghĩa là tau hoa, hoặc doan tuy tung. Từ train có chức năng là Verb (động từ) và có nghĩa là đào tao, hoặc day để.

12 Thông thường loại nhập nhằng này có thể khắc phục bằng cách dựa vào phân tích ngữ pháp và dựa vào ngữ cảnh câu. Vị dụ: I love you (tôi yêu bạn). Ở câu nay love tuy có hai nghĩa: tinh yêu (noun), yéu (verb). Nhưng theo cấu trúc của câu tiếng Anh bắt buộc trong câu phải có động từ đi kèm cho nên /ove ở đây được hiểu nghĩa là yêu (verb).

- Nhập nhang về cú pháp (syntactic ambiguity) Trong ngôn ngữ tự nhiên một câu có thể có các cau trúc ngữ pháp khác nhau, từ đó dẫn đến một câu có thể hiểu theo nhiều nghĩa khác nhau. Đôi khi một cấu trúc ngữ pháp cũng có thé hiểu theo các nghĩa khác nhau. Vị dụ: Câu 1: saw a horse with a telescope. - Isaw a horse with a telescope.

- Isaw ahorse with a telescope. Câu 2: I saw a man with a telescope. - Isaw aman with a telescope. - Isaw aman with a telescope.

Câu 1 có thé hiểu theo hai nghĩa: - Tôi nhìn thay con ngựa qua ống nhòm. - Tôi nhìn thấy một con ngựa (mà nó) có cái ống nhòm. Câu 2 cũng có thể hiểu được theo hai nghĩa: - Tôi nhìn thấy một người đàn ông qua ống nhòm. - Tôi nhìn thay một người đàn ông (mà ông ta) có cái ống nhòm.

Việc phân tích nghĩa cho phép ta chọn nghĩa đúng (trong ngữ cảnh thông thường) của câu 1, nhưng không thể xác định được trong câu 2. - Nhập nhằng nói năng Bao gồm cả sự mơ hồ về từ ngữ lẫn cú pháp. John took the fruit from the table, then he cleaned it. (John lấy trái cây ra khỏi bàn, rồi anh ta lau nó) it (nó) ở đây là fruit (trái cây) hay table (cai bàn) ? - Mơ hồ về phân đoạn Chỉ tồn tại trong các thứ tiếng các nước châu Á-ngôn ngữ loại đơn lập.

Và là một vấn đề mà dịch theo chiều Việt-Anh gặp phải. Vi dụ: Ong già di nhanh quá. 13 Ở ví du này ta có thé hiểu Ong là chủ ngữ (là người ma đang nói đến), hoặc ta cũng có thể hiểu đang nói đến một dng già nào đó làm chủ ngữ, dẫn đến câu này không thê biết chính xác nghĩa như thế nào cả. Không đủ thông tin Trong ngôn ngữ thông thường đặc biệt trong hội thoại, ta thường gặp các đoạn văn, câu văn không đây đủ, thiếu đi các thành phần của câu.

Thường thì người nghe có thé tự sửa lai câu và hiểu được câu, nhưng đó là một van đề khó cho máy dịch. Vi dụ: Mary tidied up the kitchen and John the living room. (Mary don dep bép va John - phong khach.) Nhu vậy ở đây đã lược bỏ di cum “tidied up”. Trong nhiều trường hợp, để hiểu đúng nghĩa của câu phải căn cứ vào các câu đứng trước hoặc đứng sau nó.

Vi dụ: The room has two cabinets. He keeps books in them. (Cái phòng đó có hai cái tủ. Anh ta cat các quyền sách trong chúng.) Trong câu thứ 2, muốn xác định được từ “them” biểu đạt ý nghĩa như thế nào ta buộc phải biết nghĩa của câu trước.

Cấu trúc ngữ pháp phức tap Hệ thống ngữ pháp của một ngôn ngữ bất kỳ thường rất phức tạp và đa dạng. Trước hết từ những luật đơn giản có thé bé sung và phát triển thành những luật phức tạp. Tiếp theo dé mô tả day đủ được các luật trong ngôn ngữ tự nhiên chúng ta không thé mô tả chúng dưới dạng văn phạm phi ngữ cảnh. Do đó hiện nay chưa có một thuật toán phân tích cấu trúc ngữ pháp toàn vẹn cho ngôn ngữ tự nhiên.

Vi dụ: Một luật ngữ pháp cho tiếng Anh có thé biểu diễn dưới dạng: S::=S conjt S Luật này mang tinh chat đệ quy do đó ta có thé xây dựng được các câu rat dài. Kasprop win Deep Blue and my friend loss Deep Thought. Hay các thành phan lồng nhau như: John’s aunt’s friend’s ticket (cái vé của bạn của cô của John). Như vậy, cấu trúc ngữ pháp của ngôn ngữ tự nhiên rất phức tạp và việc tiến hành dịch sẽ gặp rất nhiều trở ngại.

Lượng từ vựng nhiều Tiếng Anh có khoảng 500.000 từ thông thường và 300.000 thuật ngữ khoa học. Việc đưa các đữ liệu này vào máy tính như thế nào và xử lý chúng là một bài 14 toán khó. Và đặc biệt là đối với những ngôn ngữ có sự biến đổi hình thái. Trong từ điển của hệ dich máy khó có thé bao trùm hết được tat cả những từ đó.

Hon nữa, máy không thé hiểu được từ nào là biến cách của từ nào dé có thé dịch theo nghĩa của từ đó.