Nghiên Cứu Về Dịch Máy Thống Kê Dựa Vào Cụm Từ

Luận văn thạc sĩ nghiên cứu dịch thống kê dựa vào cụm từ, áp dụng cho dịch tiếng Việt sang tiếng Anh, mang lại phương pháp hiệu quả.

• Tác giả: Bùi Thanh Thủy
• Người hướng dẫn: TS. Nguyễn Văn Vinh
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Về Dịch Máy Thống Kê Dựa Vào Cụm Từ Và Ứng Dụng Dịch Từ Tiếng Việt Sang Tiếng Anh
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC HÌNH
• MỞ ĐẦU
• Lý do chọn đề tài
• Đối tượng và phạm vi nghiên cứu
• Hướng nghiên cứu của đề tài
• Phương pháp nghiên cứu
• Ý nghĩa khoa học của đề tài
• Cấu trúc luận văn
• 1. CHƯƠNG 1: TỔNG QUAN VỀ DỊCH MÁY
• 1.1. Khái niệm về hệ dịch máy
• 1.1.1. Vai trò của dịch máy
• 1.1.2. Sơ đồ tổng quan của một hệ dịch máy
• 1.2. Dịch máy thống kê là gì?
• 1.2.1. Tổng quan về dịch thống kê
• 1.2.2. Mô hình kênh nguồn
• 1.2.3. Cách tiếp cận Maximum và mô hình gióng hàng
• 1.2.4. Nhiệm vụ trong dịch thống kê
• 1.2.5. Ưu điểm của phương pháp dịch thống kê
• 1.2.6. Chu kì phát triển của hệ thống dịch thống kê
• 1.3. Phân loại dịch máy thống kê
• 1.3.1. Dịch máy thống kê dựa vào từ (word-based)
• 1.3.2. Dịch máy thống kê dựa trên cụm từ (phrase-based)
• 1.3.3. Dịch máy thống kê dựa trên cú pháp
• 1.4. Một số công cụ và các nhóm nghiên cứu trên Internet về SMT
• 2. CHƯƠNG 2: MÔ HÌNH DỊCH MÁY DỰA TRÊN CỤM TỪ VÀ ÁP DỤNG CHO NGÔN NGỮ VIỆT - ANH
• 2.1. Giới thiệu mô hình dịch máy dựa trên cụm từ
• 2.2. Kiến trúc của mô hình dịch dựa trên cụm từ
• 2.2.1. Mô hình log-linear
• 2.2.2. Mô hình dịch
• 2.2.3. Mô hình ngôn ngữ
• 2.2.4. Mô tả thuật toán
• 2.2.5. Đánh giá chất lượng dịch
• 2.3. Phần mềm mã nguồn mở Moses
• 2.3.1. Quá trình giải mã
• 2.3.2. Huấn luyện cực tiểu sai số (MERT)
• 2.4. Áp dụng với cặp ngôn ngữ Việt – Anh
• 2.4.1. Xây dựng ngữ liệu (corpus)
• 2.4.1.1. Tạo corpus thô
• 2.4.1.2. Tạo corpus song ngữ
• 2.4.2. Phân đoạn từ trong corpus tiếng Việt (Segmentation)
• 2.4.2.1. Phương pháp Maximum Matching
• 2.4.2.2. Phương pháp Transformation-based Learning (TBL)
• 2.4.2.3. Phương pháp dựa trên thống kê từ Internet và thuật giải di truyền
• 2.4.3. Đánh giá theo dữ liệu huấn luyện
• 2.4.4. Đánh giá theo mô hình gióng hàng từ trong văn bản
• 3. CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Công cụ tiền xử lý cho hệ dịch
• 3.2. Môi trường triển khai
• 3.3. Chuẩn bị dữ liệu đầu vào cho hệ dịch
• 3.4. Huấn luyện mô hình dịch
• 3.5. Kết quả thực nghiệm
• 3.5.1. Dữ liệu đầu vào
• 3.5.2. Quá trình chuẩn bị dữ liệu và huấn luyện
• 3.5.2.1. Chuẩn bị dữ liệu
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO
• Tài liệu tiếng Việt
• Tài liệu tiếng Anh

Tóm tắt

I. Tổng quan về Nghiên Cứu Dịch Máy Thống Kê Từ Tiếng Việt Sang Tiếng Anh

Nghiên cứu về dịch máy thống kê từ tiếng Việt sang tiếng Anh đang trở thành một lĩnh vực quan trọng trong công nghệ thông tin. Sự phát triển của công nghệ dịch máy đã giúp cải thiện khả năng giao tiếp giữa các ngôn ngữ khác nhau. Việc áp dụng các phương pháp dịch máy hiện đại không chỉ giúp tiết kiệm thời gian mà còn nâng cao chất lượng dịch thuật.

1.1. Khái niệm về dịch máy thống kê

Dịch máy thống kê là phương pháp dịch sử dụng các mô hình thống kê để chuyển đổi văn bản từ ngôn ngữ nguồn sang ngôn ngữ đích. Phương pháp này dựa vào các dữ liệu song ngữ để xây dựng mô hình dịch.

1.2. Vai trò của dịch máy trong giao tiếp

Dịch máy đóng vai trò quan trọng trong việc hỗ trợ giao tiếp giữa các nền văn hóa khác nhau. Nó giúp giảm bớt rào cản ngôn ngữ và tạo điều kiện thuận lợi cho việc trao đổi thông tin.

II. Vấn đề và Thách thức trong Nghiên Cứu Dịch Máy Thống Kê

Mặc dù dịch máy thống kê đã đạt được nhiều thành tựu, nhưng vẫn còn nhiều thách thức cần phải giải quyết. Các vấn đề như độ chính xác, ngữ nghĩa và ngữ cảnh trong dịch thuật vẫn là những thách thức lớn. Việc cải thiện chất lượng dịch là một nhiệm vụ quan trọng.

2.1. Độ chính xác trong dịch máy

Độ chính xác của dịch máy phụ thuộc vào chất lượng dữ liệu huấn luyện. Các mô hình dịch cần được tối ưu hóa để giảm thiểu lỗi dịch và cải thiện độ chính xác.

2.2. Ngữ nghĩa và ngữ cảnh trong dịch

Ngữ nghĩa và ngữ cảnh là hai yếu tố quan trọng trong dịch máy. Việc hiểu đúng ngữ nghĩa của từ và cụm từ trong ngữ cảnh cụ thể là một thách thức lớn đối với các hệ thống dịch máy.

III. Phương Pháp Nghiên Cứu Dịch Máy Thống Kê Hiện Đại

Các phương pháp nghiên cứu hiện đại trong dịch máy thống kê bao gồm việc sử dụng các mô hình học sâu và mạng nơ-ron. Những phương pháp này giúp cải thiện đáng kể chất lượng dịch và khả năng hiểu ngữ nghĩa của văn bản.

3.1. Mô hình học sâu trong dịch máy

Mô hình học sâu sử dụng các mạng nơ-ron để học từ dữ liệu lớn, giúp cải thiện khả năng dịch và hiểu ngữ nghĩa của văn bản.

3.2. Ứng dụng của mạng nơ ron trong dịch máy

Mạng nơ-ron có khả năng xử lý ngữ nghĩa và ngữ cảnh tốt hơn so với các phương pháp truyền thống, từ đó nâng cao chất lượng dịch máy.

IV. Ứng Dụng Thực Tiễn của Dịch Máy Thống Kê

Dịch máy thống kê đã được ứng dụng rộng rãi trong nhiều lĩnh vực như thương mại điện tử, giáo dục và truyền thông. Việc sử dụng dịch máy giúp tiết kiệm thời gian và chi phí trong việc dịch thuật tài liệu.

4.1. Dịch máy trong thương mại điện tử

Trong thương mại điện tử, dịch máy giúp các doanh nghiệp tiếp cận thị trường quốc tế một cách nhanh chóng và hiệu quả.

4.2. Dịch máy trong giáo dục

Dịch máy hỗ trợ học sinh và sinh viên trong việc tiếp cận tài liệu học tập bằng nhiều ngôn ngữ khác nhau, từ đó nâng cao khả năng học tập.

V. Kết Luận và Tương Lai của Nghiên Cứu Dịch Máy Thống Kê

Nghiên cứu về dịch máy thống kê từ tiếng Việt sang tiếng Anh có tiềm năng phát triển mạnh mẽ trong tương lai. Các công nghệ mới sẽ tiếp tục được phát triển để cải thiện chất lượng dịch và mở rộng khả năng ứng dụng của dịch máy.

5.1. Xu hướng phát triển trong tương lai

Các xu hướng phát triển trong lĩnh vực dịch máy bao gồm việc áp dụng trí tuệ nhân tạo và học máy để nâng cao chất lượng dịch.

5.2. Tầm quan trọng của nghiên cứu liên tục

Nghiên cứu liên tục là cần thiết để giải quyết các thách thức hiện tại và phát triển các phương pháp dịch máy hiệu quả hơn.

Nội dung chính

Tổng quan nghiên cứu

Trên phạm vi toàn cầu hiện có hơn 5.000 ngôn ngữ khác nhau, tạo ra rào cản đáng kể trong giao tiếp, thương mại quốc tế và trao đổi học thuật. Kể từ khi chiếc máy tính điện tử đầu tiên xuất hiện vào năm 1946, dịch máy đã trở thành một trong những lĩnh vực nghiên cứu trọng tâm của trí tuệ nhân tạo và khoa học máy tính. Tại Việt Nam, quá trình hội nhập quốc tế sâu rộng làm bùng nổ nhu cầu chuyển ngữ tài liệu giữa tiếng Việt và tiếng Anh. Việc sử dụng đội ngũ dịch thuật thủ công tiêu tốn nhiều thời gian và chi phí, không đáp ứng kịp khối lượng dữ liệu khổng lồ phát sinh mỗi ngày.

Các hệ thống dịch máy thống kê dựa trên từ truyền thống bộc lộ nhược điểm lớn khi không nắm bắt được ngữ cảnh và chỉ xử lý ánh xạ một - một cứng nhắc. Nhằm giải quyết triệt để vấn đề này, luận văn thạc sĩ "Nghiên cứu về dịch máy thống kê dựa vào cụm từ và ứng dụng dịch từ tiếng Việt sang tiếng Anh" của tác giả Bùi Thanh Thủy (chuyên ngành Khoa học máy tính, Đại học Thái Nguyên, 2015) tập trung hoàn thiện mô hình dịch máy thống kê dựa trên cụm từ (PBSMT). Mục tiêu chính của đề tài là phân tích, cài đặt và tối ưu hóa hệ dịch tự động Việt - Anh bằng bộ công cụ mã nguồn mở Moses kết hợp SRILM và GIZA++.

Phạm vi nghiên cứu tập trung vào văn bản song ngữ Anh - Việt thu thập từ Internet và các kho ngữ liệu chuẩn như Penn Treebank. Về mặt khoa học và thực tiễn, công trình xây dựng thành công quy trình dịch tự động giúp rút ngắn thời gian xử lý văn bản hơn 70% so với phương pháp thủ công, đồng thời cải thiện đáng kể độ trôi chảy ngữ pháp và tính chuẩn xác của câu dịch đích.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng Mô hình Kênh nguồn (Noisy Channel Model) kết hợp quy tắc Bayes trong lý thuyết xác suất. Về mặt bản chất, câu dịch tiếng Anh tối ưu là câu làm cực đại hóa tích của xác suất mô hình dịch và xác suất mô hình ngôn ngữ. Bên cạnh đó, mô hình tuyến tính logarit (Log-linear Model) được ứng dụng để tích hợp đồng thời nhiều hàm đặc trưng ngôn ngữ khác nhau vào việc chấm điểm giả thuyết.

Khung lý thuyết vận hành dựa trên năm khái niệm cốt lõi:

1. Mô hình dịch cụm từ: Sử dụng chuỗi các từ liền kề làm đơn vị dịch nguyên tử, giải quyết triệt để hiện tượng nhập nhằng ngữ nghĩa và xử lý tốt các ánh xạ một - nhiều hoặc nhiều - nhiều.
2. Mô hình ngôn ngữ: Ứng dụng mô hình n-gram bậc 3 (Trigram) kết hợp thuật toán làm mịn Kneser-Ney nhằm tính toán xác suất xuất hiện tự nhiên của câu trong ngôn ngữ đích.
3. Mô hình đảo cụm dựa trên khoảng cách: Sử dụng hàm chi phí phân rã theo cấp số nhân để đánh giá mức độ dịch chuyển vị trí giữa các cụm từ nguồn và đích.
4. Gióng hàng từ thống kê: Triển khai các thuật toán IBM từ bậc 1 đến bậc 5 thông qua công cụ GIZA++ với kỹ thuật gióng hàng đối xứng hai chiều.
5. Giải mã ngăn xếp Beam Search: Tối ưu hóa không gian tìm kiếm giả thuyết theo chiến lược tìm kiếm kinh nghiệm A* và thuật toán Viterbi.

Phương pháp nghiên cứu

Về nguồn dữ liệu, nghiên cứu tiến hành thu thập văn bản song ngữ và đơn ngữ từ Internet bằng công cụ tải tự động kết hợp với kho ngữ liệu Penn Treebank. Cỡ mẫu thực nghiệm bao gồm hơn 20.000 cặp câu song ngữ được chọn lọc theo phương pháp chọn mẫu phân tầng có kiểm soát. Toàn bộ dữ liệu được sàng lọc và làm sạch thủ công để loại bỏ hoàn toàn các cặp câu rác, lỗi định dạng HTML hoặc văn bản quảng cáo.

Lý do lựa chọn phương pháp phân tích dựa trên bộ công cụ Moses và SRILM là nhờ khả năng mở rộng linh hoạt trên nền tảng C++, hỗ trợ tính toán đa luồng và tích hợp sẵn thuật toán tối ưu hóa trọng số tự động. Quy trình tiền xử lý bao gồm phân đoạn từ tiếng Việt bằng giải thuật khớp tối đa (Maximum Matching) kết hợp học cải biến (TBL), chuyển chữ thường bằng script lowercase và tách từ tố tiếng Anh qua tokenizer. Tiến trình huấn luyện, gióng hàng và tinh chỉnh tham số được hoàn thành qua chu kỳ 12 tuần làm việc liên tục.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, mô hình dịch dựa trên cụm từ chứng minh tính ưu việt rõ nét so với mô hình dịch theo từ. Bảng dịch cụm từ trích xuất thành công các cụm từ cố định với xác suất tin cậy cao, ví dụ như cụm "bằng cách đoán mặt" được dịch chính xác sang "by guessing" với xác suất đạt 0.60, vượt trội hoàn toàn so với mức phân tán xác suất dưới 0.15 của các từ đơn lẻ.

Thứ hai, mô hình ngôn ngữ n-gram bậc 3 xây dựng qua SRILM đã lập chỉ mục thành công 22.087 unigram (1-gram), 211.751 bigram (2-gram) và 56.100 trigram (3-gram). Cơ sở dữ liệu này giúp hệ thống tự động ưu tiên những cấu trúc câu tự nhiên và chính xác nhất trong tiếng Anh đích.

Thứ ba, quá trình huấn luyện cực tiểu sai số (MERT) đã tối ưu hóa xuất sắc các tham số trọng số trong tệp cấu hình moses.ini. Trọng số mô hình biến dạng được điều chỉnh giảm từ 0.3000 xuống 0.0751 (tương đương mức giảm gần 75%), trọng số mô hình ngôn ngữ tinh chỉnh từ 0.5000 về 0.0663, và các trọng số mô hình dịch từ mức đồng đều 0.2000 ban đầu được cá nhân hóa linh hoạt trong khoảng từ 0.0438 đến 0.3841.

Thứ tư, tiền xử lý phân đoạn từ tiếng Việt giúp giảm tỷ lệ từ chưa biết (OOV) xuống hơn 30%, đồng thời nâng cao độ chính xác gióng hàng từ của GIZA++ lên trên 85%.

Thảo luận kết quả

Chất lượng dịch thuật được nâng cao chủ yếu nhờ khả năng nắm bắt ngữ cảnh cục bộ của các cụm từ liền kề. Tiếng Việt và tiếng Anh có sự phân kỳ lớn về mặt cú pháp, tiêu biểu là trật tự danh từ - tính từ và cụm giới từ. Mô hình dịch cụm từ kết hợp với hàm chi phí đảo vị trí đã giải quyết trọn vẹn hiện tượng xáo trộn thứ tự từ mà các mô hình từ vựng trước đây không thể xử lý.

So với các hệ thống dịch tiền nhiệm như Pharaoh hay công cụ ATS, bộ giải mã Moses đạt tốc độ giải mã vượt trội và tính ổn định cao nhờ thuật toán Beam Search đa ngăn xếp. Về mặt trình bày trực quan, dữ liệu thực nghiệm có thể được biểu diễn sinh động qua Bảng so sánh biến thiên trọng số trước - sau MERT và Biểu đồ đường thể hiện mối tương quan thuận giữa quy mô ngữ liệu huấn luyện (tăng từ 5.000 lên 50.000 câu) với điểm số đánh giá tự động BLEU và NIST.

Đề xuất và khuyến nghị

1. Mở rộng quy mô và chuẩn hóa kho ngữ liệu song ngữ chuyên ngành: Thu thập và chuẩn hóa hơn 500.000 cặp câu song ngữ Việt - Anh thuộc các lĩnh vực khoa học kỹ thuật và kinh tế trong thời gian 6 đến 12 tháng. Giải pháp do các nhóm nghiên cứu tại các trường đại học công nghệ chủ trì, hướng tới mục tiêu nâng điểm BLEU lên trên 35 điểm.
2. Nâng cấp công cụ phân đoạn từ và phân tích cú pháp tiếng Việt: Tích hợp giải thuật di truyền IGATEC và mô hình cây cú pháp chuyên sâu vào khâu tiền xử lý trong vòng 3 tháng tới. Đội ngũ kỹ sư xử lý ngôn ngữ tự nhiên đảm nhiệm nhằm hạ tỷ lệ lỗi nhận dạng ranh giới từ ghép xuống dưới mức 2%.
3. Tối ưu hóa hiệu năng bộ giải mã trên hạ tầng tính toán song song: Triển khai bộ giải mã Moses trên nền tảng Sun Grid Engine hoặc cụm máy chủ đa GPU trong lộ trình 9 tháng. Nhóm kỹ sư hệ thống thực hiện để cắt giảm độ trễ giải mã trung bình xuống dưới 50ms cho mỗi câu văn bản.
4. Phát triển giao diện người dùng và cổng dịch vụ API tự động: Xây dựng chuẩn giao tiếp RESTful API kết nối mô hình dịch vào các phần mềm quản trị văn bản doanh nghiệp trong 6 tháng. Các doanh nghiệp phát triển phần mềm phụ trách để tự động hóa 100% quy trình xử lý tài liệu song ngữ thường nhật.

Đối tượng nên tham khảo luận văn

1. Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính hoặc Xử lý ngôn ngữ tự nhiên: Nắm bắt phương pháp luận toán học về kênh nguồn Bayes, mô hình log-linear và quy trình thực nghiệm hệ dịch, làm tài liệu tham khảo để phát triển các đề tài nghiên cứu chuyên sâu.
2. Kỹ sư phát triển phần mềm và hệ thống trí tuệ nhân tạo: Tiếp cận chi tiết các bước cài đặt, cấu hình và vận hành thực tế các công cụ mã nguồn mở như Moses, GIZA++, SRILM cùng kỹ thuật tinh chỉnh tham số tự động MERT vào sản phẩm thực tế.
3. Giảng viên và nhà nghiên cứu ngôn ngữ học tính toán: Khai thác tài liệu để đối sánh cấu trúc ngữ pháp giữa tiếng Việt và tiếng Anh, cơ chế tách từ phức và thuật toán khử nhập nhằng ngữ nghĩa bằng phương pháp thống kê.
4. Chuyên viên dịch thuật và nhà quản trị dự án bản địa hóa: Hiểu rõ nguyên lý vận hành của dịch máy tự động để xây dựng quy trình dịch máy kết hợp hậu biên tập (MTPE), giúp tiết kiệm hơn 50% thời gian xử lý các dự án dịch thuật lớn.

Câu hỏi thường gặp

1. Dịch máy thống kê dựa trên cụm từ có ưu điểm gì vượt trội so với dịch máy dựa trên từ? Dịch máy dựa trên cụm từ sử dụng chuỗi nhiều từ liên tiếp làm đơn vị dịch cơ bản, giúp lưu giữ ngữ cảnh cục bộ và giải quyết triệt để sự nhập nhằng về ngữ nghĩa. Thay vì bị giới hạn bởi ánh xạ một - một cứng nhắc, phương pháp này cho phép ánh xạ linh hoạt một - nhiều hoặc nhiều - nhiều, nâng cao độ chính xác tổng thể của câu dịch lên hơn 40%.

2. Tại sao bước phân đoạn từ tiếng Việt lại có vai trò quyết định trong hệ dịch? Tiếng Việt có đặc thù chữ viết dùng khoảng trắng để phân tách âm tiết chứ không phải ranh giới từ. Nếu không phân đoạn từ chính xác trước khi gióng hàng bằng GIZA++, hệ thống sẽ xem các tiếng đơn lẻ là các từ độc lập, dẫn đến gióng hàng sai lệch và làm tăng tỷ lệ từ chưa biết (OOV) lên hơn 30% trong bảng dịch.

3. Thuật toán MERT đóng vai trò gì trong việc nâng cao chất lượng bản dịch? MERT là thuật toán huấn luyện cực tiểu sai số giúp tìm ra bộ trọng số tối ưu cho các mô hình thành phần như mô hình ngôn ngữ, mô hình dịch và mô hình phạt khoảng cách. Quá trình này giúp điều chỉnh trọng số biến dạng từ 0.3000 xuống 0.0751, trực tiếp gia tăng độ mượt mà và tính tự nhiên của câu dịch đích.

4. Điểm số BLEU và NIST được áp dụng như thế nào trong đánh giá hệ dịch? Điểm BLEU đo lường tỷ lệ trùng khớp của các chuỗi n-gram giữa bản dịch của máy và bản dịch chuẩn của con người, kết hợp với hệ số phạt độ dài câu. Chỉ số NIST là biến thể cải tiến của BLEU bổ sung trọng số thông tin cho các từ hiếm gặp, tạo thành bộ đôi thước đo định lượng khách quan giúp đánh giá chính xác chất lượng hệ dịch.

5. Mô hình ngôn ngữ Trigram với công cụ SRILM hoạt động như thế nào? SRILM xử lý kho ngữ liệu tiếng Anh đơn ngữ để trích xuất 22.087 unigram, 211.751 bigram và 56.100 trigram bằng thuật toán Kneser-Ney. Mô hình này tính toán xác suất xuất hiện của chuỗi 3 từ liên tiếp, giúp bộ giải mã Moses lựa chọn trật tự từ tự nhiên và chuẩn xác nhất theo đúng ngữ pháp tiếng Anh.

Kết luận

• Luận văn hoàn thành việc nghiên cứu toàn diện cơ sở lý thuyết về mô hình dịch máy thống kê dựa trên cụm từ (PBSMT) và xây dựng thành công hệ dịch tự động từ tiếng Việt sang tiếng Anh.
• Tích hợp trọn vẹn chuỗi công cụ mã nguồn mở tiêu chuẩn gồm Moses, GIZA++ và SRILM với mô hình ngôn ngữ Trigram quản lý hơn 211.000 bigram.
• Quy trình huấn luyện cực tiểu sai số MERT đạt hiệu quả vượt trội khi tối ưu hóa trọng số biến dạng từ 0.3000 xuống 0.0751, nâng cao rõ rệt độ chính xác bản dịch.
• Đề tài giải quyết hiệu quả bài toán phân đoạn từ tiếng Việt và mô hình hóa thành công sự khác biệt về trật tự từ giữa hai ngôn ngữ.
• Đóng góp cốt lõi của công trình là cung cấp một kiến trúc hệ thống dịch máy thực nghiệm có khả năng mở rộng cao, phục vụ chuyển giao công nghệ và nghiên cứu học thuật.

Trong giai đoạn 12 tháng tới, các hướng phát triển tiếp theo cần mở rộng kho dữ liệu song ngữ lên trên 500.000 cặp câu và nghiên cứu kết hợp mô hình nơ-ron sâu. Hãy tham khảo và áp dụng toàn diện các giải pháp trong luận văn này để xây dựng và tối ưu hóa hệ thống dịch thuật tự động cho cơ quan, doanh nghiệp của bạn ngay hôm nay.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1.Lý do chon đề tài Trong quá trình phát triển và hội nhập văn hóa, kinh tế thế giới. Quá trình giao lƣu giữa ngƣời Việt Nam và ngƣời nƣớc ngoài ngày càng nhiều dẫn đến khó khăn trong quá trình giao tiếp và sử dụng văn bản tài liệu tiếng Anh. Hiện nay có nhiều hệ thống tự động dịch miễn phí trên mạng nhƣ: google translate, vietgle, vdict, lạc việt,… Những hệ thống này cho phép dịch tự động các văn bản với một cặp ngôn ngữ chọn trƣớc (ví dụ dịch từ tiếng Anh sang tiếng Việt). Điều ấy cho thấy sự phát triển của dịch máy càng ngày càng tiến gần hơn đến ngôn ngữ tự nhiên của con ngƣời.

Vào những năm gần đây, dịch máy nói chung, dịch máy thống kê nói riêng đƣợc phát triển mạnh và ứng dụng rộng rãi. Kết quả thực tế của hệ thống dịch này rất tốt. Ngôn ngữ của máy dịch ngày càng gần với ngôn ngữ của ngƣời. Ngoài ra cùng với hệ thống dịch máy thống kê, các sản phẩm ứng dụng ngày càng nhiều giúp con ngƣời trao đổi thông tin dễ dàng hơn, tốc độ nhanh hơn và cùng với nhiều ngôn ngữ hơn.

Hiện nay, phƣơng pháp dịch thống kê dựa trên cụm từ là phƣơng pháp cho kết quả dịch tốt nhất hiện nay. Điều này đƣợc thể hiện của qua các hệ dịch máy của Google, Vietgle. Hơn nữa việc dịch giữa tiếng Việt sang tiếng Anh là rất cần thiết khi khối lƣợng văn bản tiếng Anh ngày càng lớn trong thời kỳ Việt Nam hội nhập sâu rộng với quốc tế. Chính vì lý do đó, tôi lựa chọn và thực hiện đề tài “Nghiên cứu về dịch thống kê dựa vào cụm từ và áp dụng cho dịch từ tiếng Việt sang tiếng Anh”.

Số hoá bởi Trung tâm Học liệu – ĐHTN http://www. Đối tƣợng và phạm vi nghiên cứu Đối tƣợng nghiên cứu: - Nghiên cứu về các phƣơng pháp, mô hình dịch máy thống kê - Thử nghiệm và đánh giá kết quả dịch từ tiếng Việt sang tiếng Anh Phạm vi nghiên cứu: Đề tài tập trung vào nghiên cứu phƣơng pháp dịch thống kê dựa vào cụm từ và ứng dụng dịch tài liệu, văn bản tiếng Việt, tiếng Anh. Hƣớng nghiên cứu của đề tài - Nghiên cứu, tìm hiểu, phân tích về dịch máy thống kê trên cơ sở cụm từ. - Cài đặt thử nghiệm tối ƣu hóa cụm từ bằng hệ dịch máy thống kế Moses 4.

Phƣơng pháp nghiên cứu - Tìm hiểu các hệ dịch tự động đã có để tìm ra các phƣơng pháp dịch máy mà các hệ dịch đang sử dụng. - Nghiên cứu và đánh giá các phƣơng pháp dịch máy, những ƣu điểm và hạn chế, sau đó tìm ra phƣơng pháp có hiệu quả và đề xuất áp dụng cho bài toán đề tài đặt ra. - Nghiên cứu các phƣơng pháp đánh giá chất lƣợng dịch máy để đánh giá hiệu quả dịch cho hệ thống đề tài đã xây dựng. Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.

Ý nghĩa khoa học của đề tài Ý nghĩa khoa học: Dịch máy dựa vào cụm từ là một trong những phƣơng pháp dịch máy hiệu quả nhất hiện nay. Hơn nữa dữ liệu văn bản ngày càng lớn và đa dạng. chính vì vậy nghiên cứu về hệ dịch dựa vào cụm từ và ứng dụng cho dịch Việt – Anh có ý nghĩa khoa học cũng nhƣ thực tiễn 6. Cấu trúc luận văn + Chƣơng 1: Tổng quan về dịch máy + Chƣơng 2: Dịch máy thống kê dựa vào cụm từ và áp dụng cho ngôn ngữ Việt _ Anh + Chƣơng 3: Thực nghiêm, đánh giá + Kết luận Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.vn 4 CHƢƠNG 1 – TỔNG QUAN VỀ DỊCH MÁY 1.

Khái niệm về hệ dịch máy 1. Định nghĩa Các hệ dịch máy (machine translation system-MT) là các hệ thống sử dụng máy tính để dịch từ một thứ tiếng (trong ngôn ngữ tự nhiên) sang một hoặc vài thứ tiếng khác. Ngôn ngữ của văn bản cần dịch đƣợc gọi là ngôn ngữ nguồn, ngôn ngữ của văn bản đã dịch ra đƣợc gọi là ngôn ngữ đích. Vai trò của dịch máy Hiện nay trên thế giới có khoảng hơn 5000 ngôn ngữ khác nhau, với một số lƣợng ngôn ngữ lớn nhƣ vậy đã gây ra rất nhiều khó khăn trong việc trao đổi thông tin, trong giao tiếp, đồng thời ngăn cản sự phát triển của thƣơng mại và mậu dịch quốc tế.

Với những khó khăn nhƣ vậy con ngƣời đã phải dùng đến một đội ngũ phiên dịch khổng lồ, để dịch các văn bản, tài liệu, lời nói, ngôn ngữ từ tiếng nƣớc này sang tiếng nƣớc khác. Những công việc đó mang tính chất thủ công, tỉ mỉ đòi hỏi ngƣời dịch phải làm mất rất nhiều thời gian và công sức, trong khi khối lƣợng văn bản cần dịch ngày càng nhiều. Để khắc phục đƣợc những nhƣợc điểm trên con ngƣời đã nghĩ đến việc thiết kế một mô hình tự động trong công việc dịch ngôn ngữ, do đó ngay từ khi xuất hiện chiếc máy tính điện tử đầu tiên ( năm 1946) ngƣời ta đã tiến hành nghiên cứu về dịch máy. Việc đƣa ra mô hình tự động cho việc dịch đã và đang đƣợc phát triển, mặc dù chƣa giải quyết đƣợc triệt để lớp ngôn ngữ tự nhiên.

Nhƣng sự ra đời của chúng đã khẳng định đƣợc lợi ích to lớn về mặt chiến luợc và phát triển kinh tế, đồng thời các vấn đề liên quan đến dịch máy Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.vn 5 cũng là những chủ đề quan trọng của ngành khoa học máy tính, bởi chúng liên quan đến vấn đề xử lí ngôn ngữ tự nhiên, một trong những vấn đề có ý nghĩa nhất mà trí tuệ nhân tạo có khả năng giải quyết. Ngƣời ta tin rằng việc xử lí ngôn ngữ tự nhiên trong đó có dịch máy sẽ là giải pháp cho việc mở rộng cánh cửa đối thoại giữa ngƣời-máy, lúc đó con ngƣời không phải tiếp xúc với máy qua những dòng lệnh cứng nhắc nữa mà có thể giao tiếp một cách trực tiếp với máy. Sơ đồ tổng quan của một hệ dịch máy Đầu vào của một hệ dịch máy là một văn bản viết trong ngôn ngữ nguồn. Văn bản này có thể thu đƣợc từ một hệ soạn thảo hay một hệ nhận dạng chữ viết, lời nói.

Sau đó văn bản có thể đƣợc chỉnh sửa lại nhờ khối soạn thảo, kiểm tra chính tả, trƣớc khi đƣa vào máy dịch. Phần dịch máy sẽ chuyển văn bản nguồn thành văn bản viết trên ngôn ngữ đích. Và cũng qua một bộ chỉnh ra để cuối cùng thu đƣợc một văn bản tƣơng đối hoàn chỉnh. Trong quá trình dịch máy, hệ thống thƣờng xuyên phải truy cập đến một khối lƣợng rất lớn các tri thức dịch.

Tri thức dịch thông thƣờng là các loại từ điển bao gồm: từ điển chứa bộ luật về cú pháp, từ điển về từ vựng, từ điển về thông tin ngữ nghĩa vv…. Trong nhiều hệ thống, có thể có sự tƣơng tác giữa ngƣời và máy trong quá trình dịch. Tƣơng tác này thông thƣờng có cả hai chiều (ngƣời-máy) và có thể có ở mọi giai đoạn. Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.vn 6 Dƣới đây là sơ đồ tổng quát của một hệ dịch máy: Hình 1.1: Sơ đồ tổng quan của hệ dịch máy 1.

Dịch máy thống kê là gì? 1. Tổng quan về dịch thống kê Mục tiêu là dịch một văn bản từ ngôn ngữ nguồn sang ngôn ngữ dịch. 𝑗 Chúng ta có câu văn bản trong ngôn ngữ nguồn (“Tiếng Việt”) 𝑣1 = 𝑣1 , … , 𝑣𝑗. Trong tất cả các câu có thể có trong văn bản đích, chúng ta chọn câu sao cho: V1J =arg max p(v1J| e1I ) (1.

Mô hình kênh nguồn Mô hình kênh – nguồn rất tổng quát và có khả năng áp dụng cho nhiều vấn đề khác nhau nhƣ nhận dạng tiếng nói, xử lý ảnh, …Về trực giác, kênh nguồn là một kênh truyền thông mà thông tin truyên qua có thể bị nhiễu và khó nhận dạng đƣợc thông tin đúng. Giả sử T là thông tin đích ta nhận đƣợc từ cuối kênh, nhiệm vụ của chúng ta là phải đoán lại thông tin nguồn S đã truyền đi. Sử dụng luật Bayes, chúng ta có: (1.2) Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.vn 7 Do đó công thức 1.1 tƣơng ứng với: (1.3) Cách tiếp cận này đƣợc xem nhƣ là cách tiếp cận Kênh - Nguồn trong dịch máy thống kê hoặc là “ công thức cơ bản của dịch thống kê”. Ở đây p(v J ) là mô hình ngôn ngữ của ngôn ngữ đích, p(e I | v J ) là mô hình đích.2 Cách tiếp cận Maximum và mô hình gióng hàng Xác suất p(e I | v J ) đƣợc phân tích qua biến ẩn đƣợc thêm vào.4) Trong đó p(e1I, a1I | v1J) đƣợc gọi là mô hình gióng hàng thống kê và gióng hàng a1I đƣợc gọi là biến ẩn.

Gióng hàng xác định ánh xạ i→j=ai : Từ vị trí i của câu nguồn tƣơng ứng với vị trí j= ai của câu đích. Việc tìm kiếm đƣợc thực hiện dực vào cực đại biểu thức sau: (1. Nhiệm vụ trong dịch thống kê Chúng ta phải giải quyết những vấn đề sau trong việc phát triển hệ thống dịch thống kê: Mô hình: Chỉ ra cấu trúc trong sự phụ thuộc xác suất để mô hình hóa xác suất dịch p(eJ) hoặc p(vJ). Huấn luyện: Huấn luyện các tham số mô hình của mô hình dịch thống kê sử dụng dữ liệu huấn luyện: đơn ngữ, song ngữ.

Tiêu chuẩn huấn luyện Số hoá bởi Trung tâm Học liệu – ĐHTN http://www.vn 8 chuẩn của mô hình dịch máy theo cách tiếp cận kênh-nguồn là tiêu chuẩn hợp lý cực đại mà ở đây chúng ta định nghĩa giá trị tham số tối ƣu mà các gía trị tham số tối ƣu mà các giá trị này làm cực đại hàm hợp lý trong dữ liệu song ngữ: Phụ thuộc vào cấu trúc của mô hình, chúng ta có thể sử dụng tần suất quan hệ hoặc thuật toán tối ƣu nhƣ thuật toán EM xác định các tham số ẩn của mô hình. Tìm kiếm: Thực hiện phép tính agrmax theo công thức trong 1.1 một cách hiệu quả. Có rất nhiều thuật toán để giải quyết vấn đề tìm kiếm này. Ví dụ nhƣ thuật toán qui hoạch động, A*, giải mã ngăn xếp, tìm kiếm ăn tham,.

Tiền xử lý: Tìm các bƣớc biến đổi thích hợp cho cả ngôn ngữ nguồn và ngôn ngữ đích để cải tiến quá trình dịch. Trong những nhiệm vụ trên, tri thức ngôn ngữ chỉ cần thiết cho vần đề mô hình và tiền xử lý. Những vấn đề khác là các vấn đề chủ yếu dựa vào toán học và tính toán bao gồm việc phát triển hiệu quả các thuật toán.