Mở đầu Chƣơng 1: Tổng quan về dịch máy. Chƣơng 2: Corpus và gióng hàng câu. Chƣơng 3: Dịch máy bằng phƣơng pháp thống kê. Chƣơng 4: Xây dựng chƣơng trình dịch Anh-Việt bằng thống kê.
Kết luận LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nguyễn Văn Vinh 6 Luận văn thạc sĩ Chƣơng 1 - TỔNG QUAN 1. Khái niệm về dịch máy,vai trò, vị trí của dịch máy 1.1 Khái niệm về dịch máy Định nghĩa: Các hệ dịch máy (machine translation system-MT) là các hệ thống sử dụng máy tính để dịch từ một thứ tiếng (trong ngôn ngữ tự nhiên) sang một hoặc vài thứ tiếng khác. Ngôn ngữ của văn bản cần dịch đƣợc gọi là ngôn ngữ nguồn, ngôn ngữ của văn bản đã dịch ra đƣợc gọi là ngôn ngữ đích.2 Vị trí, vai trò của dịch máy Hiện nay trên thế giới có khoảng 5650 ngôn ngữ khác nhau, với một số lƣợng ngôn ngữ lớn nhƣ vậy đã gây ra rất nhiều khó khăn trong việc trao đổi thông tin, trong giao tiếp, đồng thời ngăn cản sự phát triển của thƣơng mại và mậu dịch quốc tế. Với những khó khăn nhƣ vậy ngƣời ta đã phải dùng đến một đội ngũ phiên dịch khổng lồ, để dịch các văn bản, tài liệu, lời nói từ tiếng nƣớc này sang tiếng nƣớc khác.
Những công việc đó mang tính chất thủ công, nặng nhọc trong khi khối lƣợng văn bản cần dịch ngày càng nhiều. Để khắc phục những nhƣợc điểm trên con ngƣời đã nghĩ đến việc thiết kế một mô hình tự động trong công việc dịch, do đó ngay từ khi xuất hiện chiếc máy tính điện tử đầu tiên ngƣời ta đã tiến hành nghiên cứu về dịch máy. Công việc đƣa ra mô hình tự động cho việc dịch đã và đang đƣợc phát triển, mặc dù chƣa giải quyết đƣợc triệt để lớp ngôn ngữ tự nhiên. Nhƣng sự ra đời của chúng đã khẳng định đƣợc ích lợi to lớn về mặt chiến luợc và kinh tế, đồng thời các vấn đề liên quan đến dịch máy cũng là những chủ đề quan trọng của ngành khoa học máy tính, bởi chúng liên quan đến vấn đề xử lí ngôn ngữ tự nhiên-một trong những vấn đề có ý nghĩa nhất mà trí tuệ nhân tạo có khả năng giải quyết.
Ngƣời ta tin rằng việc xử lí ngôn ngữ tự nhiên trong đó có dịch máy sẽ là giải pháp cho việc mở rộng cánh cửa đối thoại ngƣời- LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nguyễn Văn Vinh 7 Luận văn thạc sĩ máy, lúc đó con ngƣời không phải tiếp xúc với máy qua những dòng lệnh cứng nhắc nữa mà có thể giao tiếp một cách trực tiếp với máy. Sơ đồ tổng quát của một hệ dịch máy Đầu vào của một hệ dịch máy là một văn bản viết trong ngôn ngữ nguồn. Văn bản này có thể thu đƣợc từ một hệ soạn thảo hay một hệ nhận dạng chữ viết, lời nói. Sau đó văn bản có thể đƣợc chỉnh sửa lại nhờ khối soạn thảo, kiểm tra chính tả, trƣớc khi đƣa vào máy dịch.
Phần dịch máy sẽ chuyển văn bản nguồn thành văn bản viết trên ngôn ngữ đích. Và cũng qua một bộ chỉnh ra để cuối cùng thu đƣợc một văn bản tƣơng đối hoàn chỉnh. Trong quá trình dịch máy, hệ thống thƣờng xuyên phải truy cập đến một khối lƣợng rất lớn các tri thức dịch. Tri thức dịch thông thƣờng là các loại từ điển bao gồm: từ điển chứa bộ luật về cú pháp, từ điển về từ vựng, từ điển về thông tin ngữ nghĩa.
Trong nhiều hệ thống, có thể có sự tƣơng tác giữa ngƣời và máy trong quá trình dịch. Tƣơng tác này thông thƣờng có cả hai chiều (ngƣời-máy) và có thể có ở mọi giai đoạn. Sau đây là sơ đồ tổng quát của hệ dịch máy. Con ng-êi V¨n b¶n So¹n th¶o V¨n b¶n DÞch m¸y HiÖu vµo kiÓm tra ra ®Ýnh chÝnh t¶ C¬ së trÝ thøc Hình 1.1: Sơ đồ tổng quát của hệ dịch máy LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nguyễn Văn Vinh 8 Luận văn thạc sĩ 1.
Phân loại dịch máy Có nhiều cách phân loại khác nhau, tùy theo mục đích, phạm vi ứng dụng, khả năng kĩ thuật. ta có thể phân loại nhƣ sau: 1. Theo mức độ can thiệp của con ngƣời a) Hệ thống có sự trợ giúp của con người Con ngƣời có thể can thiệp trong quá trình dịch ở một hoặc nhiều giai đoạn: Trƣớc khi đƣa vào máy: hiểu chỉnh câu, từ. Hỏi đáp ngay trong quá trình dịch.
Sau khi dịch: sửa đổi lại kết quả dịch, sửa ý, sửa từ. Tùy theo mức độ tự động mà ngƣời ta lại phân ra các mức khác nhau. b) Machine Translation(MT)- Các hệ dịch tự động hoàn toàn c) Machine-aided Translation(MAT)- Dịch máy trợ giúp. Bao gồm: + Human-assisted machine translation(HAMT) Dịch máy với sự trợ giúp của ngƣời: máy dịch là chính, con ngƣời giám sát và giúp máy khi cần thiết (chọn đúng nghĩa trong trƣờng hợp từ đa nghĩa).
+ Machine- assisted human translation(MAHT) Ngƣời dịch với sự trợ giúp của máy: Ngƣời dịch là chính, và máy giúp đỡ khi có sự yêu cầu của con ngƣời (tra nghĩa của từ, thành ngữ.) + Terminology-Data banks - Ngân hàng thuật ngữ: Thực chất không phải là hệ dịch máy, nhƣng nó cung cấp một lƣợng thuật ngữ rất lớn, cần thiết khi xây dựng cập nhật cơ sở dữ liệu cho máy. Theo số ngữ và số chiều dịch Phân biệt hệ thống dịch hai ngữ hay đa ngữ, hệ thống dịch một chiều hay hai chiều. Ví dụ: Anh => Việt, Việt => Anh, Anh<=>Việt LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nguyễn Văn Vinh 9 Luận văn thạc sĩ 1. Theo cách lấy thông tin a)Phần lớn các hệ lấy thông tin từ ngôn ngữ học.
Cách lấy thông tin này có các cách dịch nhƣ sau: + Dịch trực tiếp + Dịch chuyển đổi + liên ngữ + Dịch dựa trên dữ liệu (translation by corpus) b) Loại không lấy thông tin từ ngôn ngữ học mà lấy thông tin dựa vào kết quả thống kê với các bản dịch sẵn. Đó là các hệ thống kê. Theo phạm vi ứng dụng Phân loại theo giới hạn ngôn ngữ, mức tự động, chất lƣợng bản dịch. Các hệ Systran, Metal, Logos giới hạn cho ngôn ngữ KHKT dịch ra các văn bản thô đủ hiểu và tốc độ dịch gấp 3 đến 4 lần ngƣời dịch.
Theo ngƣời dùng + Dành cho các phiên dịch viên chuyên nghiệp: Chất lƣợng bản dịch phải cao. +Dành cho ngƣời không chuyên nghiệp: nhu cầu cần đọc lƣớt qua nhanh một loại tài liệu nào đó để nắm bắt thông tin. Với nhu cầu này thông thƣờng yêu cầu độ chính xác. Các phương pháp dịch máy cơ bản Theo phân loại cách lấy thông tin, ta có thể thấy có 3 phƣơng pháp dịch cơ bản là: Dich trực tiếp Dịch chuyển đổi(Dịch dựa trên cơ sở luật) Liên ngữ Dịch dựa trên dữ liệu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nguyễn Văn Vinh 10 Luận văn thạc sĩ Trong đó, các hệ dịch trực tiếp là đơn giản nhất, và phức tạp nhất là các hệ liên ngữ.
Sau đây tôi xin trình bầy những nét đặc trƣng cơ bản của từng phƣơng pháp dịch và qua đó cho biết phạm vi mà từng phƣơng pháp có thể giải quyết. Các hệ dịch trực tiếp Dịch trực tiếp từ các cặp ngôn ngữ nguồn và đích bằng cách thay thế các từ ở ngôn ngữ nguồn với các từ tƣơng ứng của ngôn ngữ đích bởi các thông tin từ từ điển và đƣợc sắp xếp lại một cách thích hợp theo các luật của ngôn ngữ đích. Chất lƣợng của hệ dịch này phụ thuộc vào từ điển đƣợc xây dựng tốt, cũng nhƣ bộ phân tích hình thái và hệ thống cấu trúc ngữ pháp [26]. Một trong những hệ dịch trực tiếp khá thành công đó là hệ dịch SYSTRAN[26].
Tuy nhiên do hệ địch trực tiếp dùng các phép phân tích và thay thế đơn giản chỉ áp dụng tốt đối với các cặp ngôn ngữ có tính chất tƣơng tự nhau và sẽ rất khó áp dụng cho các hệ thống ngôn ngữ có cấu trúc ngữ pháp khác nhau hoàn toàn nhƣ (Anh- Việt). Các hệ thống dịch chuyển đổi Là các hệ thống phân tích câu vào trong một ngôn ngữ sau đó áp dụng các luật ngôn ngữ và từ vựng học (gọi là các luật chuyển đổi) để đƣa ra văn phạm tƣơng ứng trong một ngôn ngữ khác. Hệ thống sử dụng một bộ phân tích (parse) để xem xét cấu trúc của câu vào, và thiết lập cấu trúc của nó (thƣờng biễu diễn dƣới dạng cây phân tích ngữ pháp). Sau đó hệ thống sử dụng các luật chuyển đổi tƣơng ứng từ cấu trúc ngữ pháp của ngôn ngữ nguồn sinh ra cấu trúc ngữ pháp thuộc ngôn ngữ đích.
Các luật chuyển đổi ở đây có thể Đây cũng là phƣơng pháp mà tôi lấy làm trọng tâm nghiên cứu trong luận văn này. Định nghĩa: Dịch bằng phương pháp chuyển đổi là các hệ thống phân tích câu vào trong ngôn ngữ nguồn sau đó áp dụng các luật ngôn ngữ và từ vựng (gọi là luật chuyển đổi) để đưa ra cấu trúc ngữ pháp tương ứng trong ngôn ngữ đích. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nguyễn Văn Vinh 11 Luận văn thạc sĩ Trong hệ thống dịch này, ngôn ngữ chính là tiếng Anh. Ngôn ngữ đích là tiếng Việt.
Các bước của phương pháp chuyển đổi: Nhƣ trong phần lý thuyết chung về phƣơng pháp chuyển đổi chúng ta đã biết các khối trong hệ thống dịch chuyển đổi, ở đây trong trƣờng hợp hệ thống chuyển đổi cho dịch từ tiếng Anh sang tiếng Việt bao gồm các khối chính. Phân tích hình thái học câu nguồn tiếng Anh Vào: Câu tiếng Anh Ra: Các thông tin hình thái của các từ trong câu tiếng Anh Phân tích cú pháp tiếng Anh Vào: Thông tin hình thái của tất cả các từ trong câu Ra: Cây phân tích ngữ pháp của câu Chuyển đổi sang cú pháp tiếng Việt Vào: Cây phân tích ngữ pháp tiếng Anh, thông tin hình thái các từ Ra: Cây ngữ pháp tiếng Anh đƣợc chuyển đổi theo cú pháp tiếng Việt Tổ hợp câu tiếng Việt Vào: Cây ngữ pháp tiếng Anh đƣợc chuyển đổi theo cú pháp tiếng Việt Ra: Câu đƣợc dịch Ngoài ra hệ thống cần một khối lƣợng lớn tri thức để dịch, đó là các từ điển tổ hợp Anh,Việt. Sơ đồ một hệ thống máy dịch bằng phƣơng pháp chuyển đổi LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nguyễn Văn Vinh 12 Luận văn thạc sĩ Hình 1.2: Sơ đồ Hệ thống dịch chuyển đổi LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Nguyễn Văn Vinh 13 Luận văn thạc sĩ Một trong những vấn đề khó khăn khi sử dụng phƣơng pháp này đó là: Khối lƣợng cơ sở luật phải xây dựng nhiều và đòi hỏi sự trợ giúp của các chuyên gia ngôn ngữ.