CHƯƠNG 1 GIỚI THIEU Chương một trình bày tổng quát về động cơ nghiên cứu, tóm tắt về các vấn đề tồn tại trong việc tích hợp tri thức vào dịch máy mạng neural, đề ra các mục tiêu/phạm vi nghiên cứu cũng như các đóng góp của luận án và bố cục của luận án.1 Động cơ nghiên cứu Các mạng neural đã rất nhanh chóng trở thành hướng tiếp cận thống trị cho hầu hết các tác vụ trong lĩnh vực trí tuệ nhân tạo, bao gồm cả dịch máy. So với các hướng tiếp cận truyền thống trước đây, các mô hình dịch máy mạng neural được huấn luyện theo kiểu end2end sử dụng một cơ chế đơn giản nhưng hiệu quả. Tuy nhiên, sự đơn giản này gây ra rất nhiều khó khăn khi cần phải can thiệp vào bên trong mô hình dịch. Không giống như các hệ thống dịch máy truyền thống được chia ra thành các mô-đun chuyên biệt phục vụ cho một tac vụ con cụ thể, các hệ thống dịch máy mạng neural huấn luyện trên các mạng neural rất lớn được tối ưu trên toàn bộ tác vụ dịch máy.
Ví dụ, các hệ thống dịch 1 máy thống kê có các thành phần phụ để xử lý sự lưu loát |2| (còn gọi là mô hành ngôn ngữ), phát sinh từ [3] (còn gọi là mô hành dich), sắp xếp từ HÌ. hình thái từ và tích hợp đặc trưng để mô hình hóa các hiện tượng ngôn ngữ khác nhau l6]: Trên khía cạnh khác, các hệ thống dịch máy mạng neural chỉ bao gồm một mô hình đơn dựa trên kiến trúc mã hóa-giải mã và cơ chế chú ý. Mặc dù có cấu tạo đơn giản hơn, các hệ thống dịch máy mạng neural đã vượt qua các hệ thống dịch máy thống kê chỉ sau một vài năm phát triển (7). Đánh giá của con người và phân tích kết quả dịch cho thấy rằng sự vượt trội có được nhờ vào việc các hệ thống dịch máy mang neural cho ra kết quả trôi chảy hơn các hệ dịch may thống kê (3).
Theo tầm nhìn trong lĩnh vực dich máy đã được đề xuất bởi Vauquois vào năm 1968 (Hình 1.1), mục tiêu chính của dịch máy là phân tích một câu nguồn thành một dạng biểu diễn trung gian, tốt nhất là thành một biểu diễn ý nghĩa độc lập ngôn ngữ (gọi là liên ngôn ngữ) và sau đó phát sinh câu đích từ biểu diễn liên ngôn ngữ này. Chiến lược nghiên cứu hướng tới mục tiêu liên ngôn ngữ được bắt đầu với các mô hình dịch từ vựng đơn giản, sau đó chuyển sang các biểu diễn trung gian phức tạp hơn ở cấp độ cú pháp và ngữ nghĩa phụ thuộc vào ngôn ngữ. Trước khi có dịch máy mạng neural, lĩnh vực dịch máy thống kê đã đạt được rất nhiều thành tựu với hướng phát triển được đề xuất bởi Vauquois với các mô hình có tích hợp tri thức ngôn ngữ. Các tác giả Koehn va Hoang |ð| đã trình bay một mô hình dịch được gia tố với các yêu tố tri thức ngôn ngữ dựa trên mô hình dịch máy thống kê truyền thống (3).
Các mô hình dịch máy cần phải dat được hai mục tiêu lớn: giải quyết vấn đề ngữ liệu thưa, đặc biệt có hiệu quả khi xử lý các từ không có trong tập từ vựng (các từ có tần số xuất hiện thấp); và giải quyết vấn đề nhập nhằng ngôn ngữ, qua đó làm tăng khả năng tổng quát hóa của mô hình. Trong các vấn đề trên, vấn đề về ngữ liệu thưa 2 Ngữ nghĩa Ngôn ngữ Ngôn ngữ nguon dich Hình 1.1: Các cấp độ tri thức ngôn ngữ. có thể được xem là vấn đề đơn giản hơn chỉ xuất hiện trong các ngôn ngữ ít tài nguyên và theo lý thuyết có thể được giải quyết khi có nguồn ngữ liệu lớn. Tuy nhiên, vấn đề nhập nhằng ngôn ngữ là bản chất của ngôn ngữ cho dù ngôn ngữ đó có ít hay nhiều tài nguyên thì vấn đề vẫn tồn tại cần phải giải quyết.
Các hệ thống dịch máy thống kê tốt nhất hiện nay cho các cặp ngôn ngữ phổ biến như Anh-Hoa và Anh-Đức đều là mô hình dựa trên cú pháp [i0]. Đối với các mô hình dựa trên cú pháp, trong quá trình dịch, mô hình cũng sẽ xây dựng các cấu trúc cú pháp của câu kết quả. Do sự thành công của các mô hình dịch dựa trên cú pháp, đã có rất nhiều nỗ lực để xây dựng các mô hình dịch có thể mô hình hóa sâu hơn các thông tin ngữ nghĩa của ngôn ngữ. Mặc dù tốt hơn hắn so với các hệ thống dịch máy thống kê, các hệ thống dịch máy mạng neural lại không có khả năng tích hợp tri thức ngôn ngữ một cách tường minh từ bên ngoài dẫn đến việc mô hình các tri thức ngôn ngữ không được tốt khi mô hình được huấn luyện trên các ngôn ngữ ít tài nguyên.
Các hệ dich mấy mang neural xem quá trình dịch như là một tác vụ dịch end2end nhằm biểu diễn một chuỗi từ trong 3 ngôn ngữ này sang ngôn ngữ khác. Ngay cả khi được tích hợp các đặc trưng ngôn ngữ như từ loại, hình thái từ., các đặc trưng ngôn ngữ cũng mới chỉ được tích hợp vào biểu diễn trên bề mặt từ mà không can thiệp vào bên trong mô hình dịch (11). Tuy nhiên, với sự thành công của dịch máy thống kê trong quá trình tích hợp tri thức ngôn ngữ, dịch máy mạng neural hiện đang chỉ xử lý trên bề mặt từ sẽ sớm tiến đến xử lý ở cấp độ cụm từ và cao hơn nữa là cấp độ cú pháp và ngữ nghĩa bằng cách tích hợp các tri thức ngôn ngữ vào mô hình dịch (12). Việc tích hợp tri thức ngôn ngữ vào mô hình dịch máy mang neural mang lại rất nhiều lợi ích: 1.
Tích hợp tri thúc giúp mô hành biếu diễn được nhiều tri thức ngôn ngữ: Ngoài việc nhận định các mô hình dịch sẽ sớm tiến đến xử lý ở cấp độ cụm từ và cao hơn nữa là cấp độ cú pháp và ngữ nghĩa bằng cách tích hợp các tri thức ngôn ngữ vào mô hình dịch [I2]. Philipp Koehn cũng nhận định rằng tầm nhìn lâu dài cho nghiên cứu dịch máy là phát triển các phương pháp sử dụng các biểu diễn ngôn ngữ sâu hơn cho các giai đoạn xử lý. Tích hợp tri thúc giúp giải quyét van đề ngữ liệu thưa: Hiện nay, chúng ta chưa thể thu thập được ngữ liệu song ngữ có thể huấn luyện cho mô hình đạt kết quả dịch cho nhiều ngôn ngữ, nhất là song ngữ liên quan đến ngôn ngữ ít tài nguyên. Ví dụ, nếu trong tiếng Việt có khoảng 40.000 từ và mỗi câu tiếng Việt có độ dài trung bình 20 từ/câu, theo lý thuyết chúng ta sẽ có 40.0002 = 10% câu ứng cử viên (số lượng rất lớn hơn cả số lượng hat cát trên thế giới ~ 107").
Các câu ứng cử viên này sẽ được chọn lọc lại thông qua các tri thức về ngôn ngữ (ví dụ, các câu đúng ngữ pháp). Số lượng các câu này là cực kỳ lớn ( 10*°) do đó chúng ta sẽ không thể thu thập được tất cả các câu cần thiết để huấn luyện mô hình mạng 4 neural sâu. Ngoài ra, có cả những câu đúng ngữ pháp nhưng lại chưa được sử dụng phổ biến tại thời điểm thu thập (bản chất ngôn ngữ luôn thay đổi), do đó mô hình dịch cần có tri thức về ngôn ngữ để có thể suy luận các trường hợp sử dụng đúng của ngôn ngữ. Tích hợp trì thúc giúp giải quyét van đề nhập nhằng ngôn ngữ: Vấn đề ngữ liệu thưa về lý thuyết có thể được xử lý thông qua việc tăng cường thu thập ngữ liệu, nhưng vấn đề nhập nhằng ngôn ngữ là bản chất của ngôn ngữ cho dù lượng ngữ liệu có thu thập được nhiều bao nhiêu thì vấn đề nhập nhằng vẫn tồn tại.
Nếu mô hình có các thông tin bổ sung của ngôn ngữ như nhãn từ loại, quan hệ cú pháp hay ngữ nghĩa, mô hình có thể dựa trên các thông tin này để lựa chọn từ phù hợp trong quá trình dịch. Qua khảo sát các hướng nghiên cứu, sự phát triển của dịch mấy mạng neural và lợi ích của việc tích hợp tri thức ngôn ngữ vào dịch máy, luận án nhận thấy rất cần thiết để có các công trình nghiên cứu xây dựng mô hình tích hợp tri thức ngôn ngữ cho dịch mấy mạng neural.2 Van đề của dịch máy mang neural Thử thách lớn nhất của các mô hình dịch máy là giải quyết vấn đề nhập nhằng của ngôn ngữ H. Thông thường, ngôn ngữ tự nhiên có sự nhập nhằng ở mỗi cấp độ: nghĩa của từ, cụm từ, vai trò cú pháp và mối quan hệ ngữ nghĩa giữa các thành phần khác nhau trong văn ban. Con người có thể giải quyết phần nào sự mơ hồ này bằng cách xem xét bối cảnh rộng hơn và kết hợp với kiến thức nền tảng, nhưng ngay cả con người cũng có khi không hiểu rõ vấn đề văn bản đang đề cập.21 Van đề nhập nhằng ở cấp độ từ O cấp độ từ, vấn đề nhập nhằng ngôn ngữ xảy ra khi một số từ có những ý nghĩa khác nhau nếu được sử dụng trong ngữ cảnh khác nhau.
Hãy xem xét các câu ví dụ bằng tiếng Anh sau: e He deposited money in a bank account with a high interest rate. e Sitting on the bank of the Mississippi, a passing ship piqued his interest. Cac từ bank va interest có các ý nghĩa khác nhau trong hai câu trên. Từ bank có thể có nghĩa là bờ của một con sông hoặc một tổ chức tai chính, trong khi interest có nghĩa là sự tò mò hoặc là một khoản phí được tính cho một khoản vay (ý nghĩa về tài chính).
Để phân biệt được nghĩa của các từ đa nghĩa, con người hoặc máy tính đều phải xem xét các từ xung quanh (ngữ cảnh) và ý nghĩa toàn bộ câu. Trong các ví dụ trên, từ rate theo sau từ interest là một dấu hiệu rất rõ ràng trong ngữ cảnh đang xét.2 Van đề nhập nhằng ở cấp độ cụm từ GO cấp độ cụm từ, vấn đề nhập nhằng ngôn ngữ xảy ra khi có những từ không thể hiện được đúng ý nghĩa khi ở cạnh những từ đặc biệt khác. Hay nói cách khác, nghĩa của từ khi được đặt trong một cụm từ đặc biệt, phải được dịch khác với nghĩa thông thường (nghĩa đen). Ví dụ rõ ràng nhất cho điều này là các cụm từ thành ngữ như thành ngữ tiếng Anh “It’s raining cats and dogs” sẽ không được dịch đúng nghĩa nếu dịch theo kiểu dịch từng từ.
Xét câu tiếng Việt “Có tiền mua tiên cũng được” 6 cũng không thể được dịch từng từ một “Money can even buy a fairy” nhưng phải được dịch theo một nghĩa có thể hiểu được là “Money can make many things”.