MỞ ĐẦU Hiện nay trên thế giới có khoảng 5650 ngôn ngữ khác nhau, với một số lượng ngôn ngữ lớn như vậy đã gây ra rất nhiều khó khăn trong việc trao đổi thông tin, trong giao tiếp, đồng thời ngăn cản sự phát triển của thương mại và mậu dịch quốc tế. Mặt khác, với việc bùng nổ Internet như hiện nay, có một khối lượng văn bản khổng lồ trên Internet mà phần lớn là bằng tiếng Anh. Do tính đa dạng của nó mà việc hiểu các văn bản này hoàn toàn không dễ chút nào. Do đó việc có một hệ dịch tự động Anh-Việt là hết sức cần thiết.
Với những khó khăn như vậy người ta đã phải dùng đến một đội ngũ phiên dịch khổng lồ, để dịch các văn bản, tài liệu, lời nói từ tiếng nước này sang tiếng nước khác. Những công việc đó mang tính chất thủ công, nặng nhọc trong khi khối lượng văn bản cần dịch ngày càng nhiều. Để khắc phục những nhược điểm trên hiện nay có rất nhiều những hệ thống tự động dịch miễn phí trên mạng như: systran, google translate, vietgle, vdict. Những hệ thống này cho phép dịch tự động các văn bản với một cặp ngôn ngữ chọn trước (ví dụ dịch từ tiếng Anh sang tiếng Việt) [1].
Điều ấy cho thấy sự phát triển của dịch máy càng ngày càng tiến gần hơn đến ngôn ngữ tự nhiên của con người. Ngay từ khi xuất hiện chiếc máy tính điện tử đầu tiên người ta đã tiến hành nghiên cứu về dịch máy. Công việc đưa ra mô hình tự động cho việc dịch đã và đang được phát triển, mặc dù chưa giải quyết được triệt để lớp ngôn ngữ tự nhiên. Nhưng sự ra đời của chúng đã khẳng định được ích lợi to lớn về mặt chiến luợc và kinh tế, đồng thời các vấn đề liên quan đến dịch máy cũng là những chủ đề quan trọng của ngành khoa học máy tính, bởi chúng liên quan đến vấn đề xử lí ngôn ngữ tự nhiên, một trong những vấn đề có ý nghĩa nhất mà trí tuệ nhân tạo có khả năng giải quyết.
Người ta tin rằng việc xử lí ngôn ngữ tự nhiên trong đó có dịch máy sẽ là giải pháp cho việc mở rộng cánh cửa đối thoại người-máy, lúc đó con người không phải tiếp xúc với Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 2 máy qua những dòng lệnh cứng nhắc nữa mà có thể giao tiếp một cách trực tiếp với máy. Với sự phát triển mạnh mẽ của dịch máy tự động thì dịch máy thống kê (Statistical Machine Translation) đã chứng tỏ là một hướng tiếp cận đầy tiềm năng bởi ưu điểm vượt trội so với các phương pháp dịch máy dựa trên cú pháp truyền thống. Kết quả thực tế của hệ thống dịch máy thống kê tốt hơn, ngôn ngữ dịch càng ngày càng gần với ngôn ngữ của người, giúp con người trao đổi thông tin dễ dàng hơn, tốc độ nhanh hơn và cùng với nhiều ngôn ngữ hơn. Hiện nay, phương pháp dịch thống kê dựa trên cụm từ là phương pháp cho kết quả dịch tốt nhất.
Để dịch hiệu quả thì bảng cụm từ phải lớn chính vì vậy việc lưu trữ và tìm kiếm trong bảng cụm từ là rất quan trọng. Chính vì thế, luận văn này tôi lựa chọn và thực hiện đề tài “Tối ƣu bảng cụm từ để cái tiến dịch máy thống kê”. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 3 CHƢƠNG I: DỊCH MÁY THỐNG KÊ TRÊN CƠ SỞ CỤM TỪ Hiện nay dịch máy thông kê dựa trên cơ sở cụm từ là một trong những hướng phát triển đang được rất nhiều người quan tâm. Dịch máy thống kê dựa trên cụm từ nhằm mục đích dịch một văn bản từ ngôn ngữ nguồn sang ngôn ngữ đích dựa vào bảng ngữ cụm từ sau khi thực hiện việc gióng hàng từ, gióng hàng thống kê, đảo cụm từ… kết hợp với mô hình ngôn ngữ.1 Ngôn ngữ tự nhiên Ngôn ngữ tự nhiên là những ngôn ngữ được con người sử dụng trong các giao tiếp hàng ngày nghe, nói, đọc, viết.
Mặc dù con người có thể dễ dàng hiểu và học các ngôn ngữ tự nhiên, việc làm cho máy hiểu được ngôn ngữ tự nhiên không phải là chuyện dễ dàng. Sở dĩ có khó khăn là do ngôn ngữ tự nhiên có các bộ luật, cấu trúc ngữ pháp phong phú hơn nhiều các ngôn ngữ máy tính, hơn nữa để hiểu đúng nội dung các giao tiếp, văn bản trong ngôn ngữ tự nhiên cần phải nắm được ngữ cảnh của nội dung đó. Do vậy, để có thể xây dựng được một bộ ngữ pháp, từ vựng hoàn chỉnh, chính xác để máy có thể hiểu ngôn ngữ tự nhiên là một việc rất tốn công sức và đòi hỏi người thực hiện phải có hiểu biết sâu về ngôn ngữ học. Do đó cần phải tìm ra một phương pháp dịch tư động tối ưu để làm giảm công sức trong vấn đề về dịch ngôn ngữ nói chung.2 Dịch máy Dịch tự động hay còn gọi là dịch máy là một trong những ứng dụng quan trọng của xử lý ngôn ngữ tự nhiên, là sự kết hợp của ngôn ngữ, dịch thuật và khoa học máy tính.
Như tên gọi dịch tự động là việc thực hiện dịch một ngôn ngữ đầu vào (ngôn ngữ này gọi là ngôn ngữ nguồn) sang một hoặc nhiều ngôn ngữ khác (gọi là ngôn ngữ đích) bằng các công cụ, phần mềm trên máy tính đã được lập trình sẵn mà không cần có sự can thiệp của con người. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 4 Do được lập trình sẵn bằng công cụ, thuật toán trên máy tính nên hầu hết việc dịch tự động đều mang tính sát nghĩa, hoặc mang tính tương đối. Ngày nay người ta đã phát triển nhiều phương pháp để tối ưu hóa khả năng dịch của máy tính. Dịch máy có hai hướng tiếp cận chính đó là: Hướng luật (Rules-based ): dịch dựa vào các luật viết tay.
Các luật này dựa trên từ vựng hoặc cú pháp của ngôn ngữ. Ưu điểm của phương pháp này là có thể giải quyết được một số trường hợp dịch nhưng lại mất nhiều công sức và tính khả chuyển không cao. Thống kê (Statistical) [2]: tạo ra bản sử dụng phương pháp thống kê dựa trên bản dịch song ngữ.3 Dịch máy thống kê dựa vào cụm từ Dịch máy thống kê: Là một phương pháp dịch máy trong đó các bản dịch được tạo ra trên cơ sở các mô hình thống kê có các tham số được bắt nguồn từ việc phân tích các cặp câu song ngữ. Các phương pháp tiếp cận thống kê tương phản với các phương pháp tiếp cận dựa trên luật trong dịch máy cũng như với dịch máy dựa trên ví dụ.
Thay vì xây dựng các từ điển, các quy luật chuyển đổi bằng tay, hệ dịch này tự động xây dựng các từ điển, các quy luật dựa trên kết quả thống kê có được từ kho ngữ liệu. Chính vì vậy dịch máy thống kê có tính khả chuyển cao và áp dụng được cho bất cứ cặp ngôn ngữ nào. Ý tưởng đầu tiên của dịch máy thống kê đã được giới thiệu bởi Warren Weaver [2] vào năm 1949, bao gồm cả những ý tưởng của việc áp dụng lý thuyết thông tin của Claude Shannon. Dịch máy thống kê được tái giới thiệu vào năm 1991 bởi các nhà nghiên cứu làm việc tại Trung tâm nghiên cứu Thomas J.Watson của IBM và đã góp phần đáng kể trong sự hồi Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 5 sinh việc quan tâm đến dịch máy trong những năm gần đây.
Ngày nay nó là phương pháp dịch máy được nghiên cứu nhiều nhất.1 Cơ sở của phương pháp dịch máy thống kê Mục tiêu là dịch một văn bản từ ngôn ngữ nguồn sang ngôn ngữ đích. Chúng ta có câu văn bản trong ngôn ngữ nguồn (“Tiếng Anh”) e1I e1 ,.,ei , mà được dịch thành câu văn bản trong ngôn ngữ đích (“Tiếng Việt”) v1J v1 ,. Trong tất cả các câu có thể có trong văn bản đích, chúng ta chọn câu sao cho: V1J arg max p(v1J | e1I ) (1.1) Kiến trúc tổng quát của một mô hình dịch thống kê thể hiện trên hình 1.1 Câu nguồn Tiền xử lý Mô hình ngôn ngữ Bộ giải mã (tìm kiếm): Mô hình gióng hàng V1J arg max p(v1J | e1I ) Mô hình từ vựng Hậu xử lý …. Câu đích Hình 1.1: Sơ đồ của hệ dịch bằng phương pháp thống kê Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.2 Gióng hàng từ, gióng hàng thống kê Gióng hàng xác định ánh xạ i →j = ai: Từ vị trí i của câu nguồn tương ứng với vị trí j = ai của câu đích[1].
Việc tìm kiếm được thực hiện dựa vào cực đại biểu thức sau: j V arg m axj pr (v1 ).2) v1 I a1 Do đó, không gian tìm kiếm bao gồm tập tất cả các câu ngôn ngữ đích có thể có v1J và tất cả gióng hàng có thể có a1I. Chúng ta nói rằng cặp xâu kí tự mà xâu này được dịch từ xâu kia từ ngôn ngữ này sang ngôn ngữ khác là cặp xâu dịch. Chúng ta có thể kí hiệu cặp xâu dịch (I like a blue book|Tôi thích quyển sách màu xanh) mà nó biểu diễn là xâu “I like a blue book” (tiếng Anh) được dịch thành “Tôi thích quyển sách màu xanh” (tiếng Việt). Brow và cộng sự [6] đã chỉ ra ý tưởng về việc gióng hàng giữa cặp xâu kí tự dịch như là một sự tương ứng giữa các từ của xâu tiếng Anh với các từ của xâu tiếng Pháp.
Điều này ta có thể thấy hoàn toàn tương tự như trong cặp xâu dịch Anh - Việt. Mỗi đương như vậy ta gọi là 1 kết nối. Gióng hàng được biểu diễn bằng đồ thị như hình 1 bằng cách vẽ các đường nối giữa một số từ tiếng Anh và một số từ tiếng Việt. Ví dụ: Trong hình 1.2, ta có 5 kết nối: (I(1) like(2) a(3) blue(4) book(5)|Tôi(1) thích(2) quyển(3) sách(4) màu xanh(5)).
Việc kết nối này có thể là: - một từ tiếng Anh tương ứng với 1 từ tiếng Việt (hình 1.2) - một từ tiếng Anh tương ứng nhiều từ tiếng Việt (hình 1.3) - nhiều từ tiếng Anh tương ứng nhiều từ tiếng Việt (hình 1.4) Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 7 Chúng ta kí hiệu tập gióng hàng của (v/e) là A(e,v). Nếu e có độ dài là I và v có độ dài là J, ta sẽ có I*J liên kết khác nhau giữa J từ tiếng Việt và từ tiếng Anh. Khi đó, số gióng hàng từ cặp câu (v,e) là 2 IJ. Nghĩa là số tập con của A(e,v) = 2IJ I like a blue book Tôi thích quyển sách màu xanh Hình 1.