MỞ ĐẦU ỉ Chương này giới thiệu khải quát về nội dung cùa cuồn sách như: tri thức sừ • dụng trong xừ ìý ngôn ngữ tự nhiên, vắn đề mơ hồ cùa ngôn ngữ, các mỏ : ỉ hình và giai thuật phổ biển sử dụng trong bài toán xừ lý ngôn ngữ tự nhiên: I phép thừ Turing, một số ứng dụng cùa xữ lý ngôn ngừ tự nhiên và lịch sừ ị 1 vắn tắt cùa nó. Có thể nói ý tưởng tạo cho máy tính khả năng xử lý ngôn ngữ của con người đã có sẵn bên trong nó. Cuốn sách này chi ra sự hoàn thiộn và mối quan hệ mật thiết cùa ý tưởng đó. Chúng tôi xin giới thiệu một số lĩnh vực đa ngành (vibrant interdisciplinary) như: xử lý ngôn ngừ và tiếng nói (speech and language processing), kỹ thuật ngôn ngừ của con người (human language technology), xử lý ngôn ngữ tự nhicn (natural language processing), ngôn ngữ học tính toán (computational linguistics), nhận dạng và tổng hợp cùa tiếng nói (speech recognition and synthesis).
Mục tiêu của lình vực mới này là đê máy tính “hiểu” được ngôn ngừ của loài người và cho phép thông tin qua lại giữa máy tính và con người, phát triền sự tương tác giừa con người với con người không cùng ngôn ngừ có thề hiểu nhau hay đơn giản chi là xử lý các văn bàn hoặc tiếng nói. Một ví dụ minh họa về thực hiện các nhiêm vụ kể trên đó là tác nhân đàm thoại (conversational agent) trong bộ phim “Chuyến du hành không gian" (A Space Odyssey). Chiếc máy tính HAL 900 (HAL: Heuristically programmed ALgorithmìc Computer) trong phim của Stanley Kubrick (2001) là một trong những bộ phim được ưình chiêu ở các rạp chiếu phim ở Mỹ. Trong phim, HAL là chiếc máy tính với trí thông minh nhân tạo có hành vi ngôn ngữ tự nhiên như nói và hiếu tiếng Anh, ngoài ra nó có thể làm hoa tiêu trong thời khắc quan trọng, thậm chí đọc bằng miệng.
Den thời điểm này, Arthur c. Clarke, người tạo nên HAL vẫn có chút lạc quan trong việc suy đoán thời diềm yếu tố nhân tạo như HAL sẽ có thể sừ dụng trong tương lai. Chúng tôi gọi những chương trình như HAL mà có thê trò chuyện với con người bằng ngôn ngữ tự nhiên là những tác nhân đàm thoại hoặc hệ thống thoại (dialogue system). 10 Trong cuốn sách này, chúng ta nghiên cứu các thành phần khác nhau để tạo thành những tác nhân đàm thoại hiện đại, bao gồm đầu vào của ngộn ngữ tự nhiên (nhận dạng tiếng nói tự động, hiểu ngôn ngữ tự nhiên) và đầu ra của nó (lời thoại, cách thức phàn hồi, tồng hợp tiếng nói).
Chuyên qua một nhiệm vụ liên quan đến ngôn ngừ hữu ích khác, mang đến cho độc giả không sừ dụng tiếng Anh một lượng lớn thông tin khoa học trên trang web bằng tiếng Anh, hoặc dịch cho những người nói tiếng Anh hàng trăm triệu trang web được viết bằng các ngôn ngừ khác như tiêng Trung Quôc, tiêng Việt. Mục đích của máy dịch (machine translation) là dịch tự động tài liệu từ ngôn ngữ này qua ngôn ngữ khác. Trong cuốn sách, chúng tôi cũng giới thiệu các giải thuật và các công cụ toán học cần thiết đề hiểu cách hoạt động của máy dịch hiện đại. Máy dịch hiện tại chưa thể giài quyết hết các vấn đề.
Vì vậy, chúng tồi chỉ đưa ra một số giải thuật dang sử dụng trong lĩnh vực này, cũng như các thành phần quan trọng của máy dịch. Nhiệm vụ xử lý khác liên quan đến web như trả lời câu hòi dựa trên web (Web - based qụestion answering). Đây là sự tìm kicm web tông quát dơn giàn, thay vi chỉ cần gõ từ khóa, người sử dụng có thề yêu cầu hoàn thiện các câu hỏi, được sắp xép từ dễ tới khó, ví dụ như: J What does "divergent” mean? J What year was Abraham Lincoln born? J How many states were in the United States that year? J How much Chinese silk was exported to England by the end of (he 18th century? \ J What do scientists think about the ethics of human cloning? Một số nhiệm vụ khác như câu hòi xác định hoặc câu hòi ngắn (factoid) đon giàn như ngày tháng và vị trí, cố the được trà lời bởì công cụ tìm kiếm. Tuy nhiên việc trả lời các câu hòi phức tạp yêu câu thông tin cô đọng đã được ẩn hoặc gắn với một văn bàn khác trong website cần thực hiện việc suy luận (rút ra kết luận dựa trôn thông tin thực tế) hoặc tồng hợp và tóm tắt thông tin từ những nguồn khác nhau là một bài toán phức tạp.
Trong cuốn sách này, chúng tôi trình bày các thành phần khác 11 nhau tạo nên những hệ thống hiêu ngôn ngữ tự nhiên như: trích rút thông tin (information extraction), tạo nghĩa cùa từ (word sense disambiguation). Mặc dù lĩnh vực và vấn dề chúng tôi miêu tà ở trên chưa thê giài quyết hoàn toàn nhưng đây là các lình vực nghiên cứu rất thiết thực và có nhiều ứng dụng đà xuất hiện trên thị trường. Phần còn lại cùa chương này, chúng tôi tóm tắt ngăn gọn một số kiến thức liên quan. Tri thức trong xử lý ngôn ngừ và tiếng nói Sự khác nhau giữa các ứng dụng xử lý ngôn ngừ tự nhiên và các hệ thống xừ lý dừ liệu khác là cách sử dụng tri thức của ngôn ngữ (knowledge of language).
Khi xem xct Unix wc (đếm từ), chương trình đém tồng so byte, số lượng từ và dòng trong một tệp văn bàn. Khi được sử dụng để đếm byte và số dòng, wc là một ứng dụng xử lý dữ liệu thông thường. Tuy nhiên, khi nó được sử dụng để đểm so từ trong một tệp, nó đòi hỏi sự nhận biết nghĩa cùa từ (knowledge about what it means to be a word), do đó nó ườ thành một hệ thống xử lý ngôn ngừ. Tất nhiên, wc là một chương trình dơn giàn với sự nhận biết về ngôn ngữ còn hạn chế và nghèo nàn.
Những tác nhân đàm thoại phức tạp như HAL, hộ thống máy dịch hay hệ thống hỏi - đáp trực tuyến yêu cầu phải có tri thức sâu, rộng hơn về tri thức ngôn ngừ. Để cỏ được càm nhặn về phạm vi vả loại kiến thức cần thiết, hãy xem xét nhừng điều hệ thống HAL cằn biết để có thể tham gia vào đoạn đối thoại bắt đằu từ chương này hoặc cho một hệ thống hỏi - đáp. IIAL có the nhận dạng tiếng nói, nhận dạng từ ngử từ tín hiệu âm thanh và tạo ra một tín hiệu âm thanh từ một chuỗi các từ. Nhiệm vụ cùa nhận dạng tiếng nói và tồng hợp tiếng nói đòi hòi sự nhận biết về ngừ âm học và âm vị học (cách các từ được phát âm dưới dạng âm thanh và cách các âm dược nhận biết bàng âm thanh).
Cũng lưu ý răng không giống như dừ liệu dòng lệnh (Commander Data) trong "Star Trek" (phim khoa học viễn tường), HAL có khà năng viết rút gọn như ‘7’m ” và “can 't”. Việc tạo ra và nhận biết cách viết rút gọn và các biến the khác của các từ (ví dụ: nhận ra từ “doors" là số nhiều) đòi hỏi có sự nhận biết về hình thái học, cách các từ tách ra các thành phần đề tạo nên nghĩa như số ít với số nhiều. 12 Ngoài nhận biết từ, HAL phải sử dụng sự nhận biết về cấu trúc đề xâu chuỗi các từ với nhau một cách thích hợp dề tạo thành câu trà lời. Ví dụ, HAL phải biết chuỗi của từ sẽ không tạo nên nghĩa với Dave, mặc dù trong thực tế nó bao gồm chính xác một chuỗi từ.1) ỉ'm I do, sorry that afraid Dave I’m can 'í.
Sự nhận biết là cần thiết đề sắp xếp và nhóm các từ dưới dạng cú pháp. Hãy xem xét hệ thống hòi - đáp đối với câu hỏi sau đây: (ỉ. 2) How much Chinese silk was exported to Western Europe by the end of the 18th century? Để trả lời câu hỏi này, chúng ta cần tìm hiểu một số vấn đề về ngữ nghĩa cùa từ vựng, nghĩa của tất cả các từ (export hoặc siỉk) cũng như ngữ nghĩa tồng hợp (cái chính xác cấu thành Tây Au (Western Europe) trái ngược với Đông hoặc Nam Âu, từ cuối (end) có nghĩa là gì khi kết hợp với thế kỳ 18. Chúng ta cũng cằn tìm hiểu mối quan hệ giữa các từ với cấu trúc cú pháp.
Ví dụ, chúng ta cằn nhận biết vào cuối thế kỳ XVIII (by the end of the 18th century) là sự kết thúc về thời gian chứ không phải miêu tả tác 'nhân, cũng như cụm từ trong câu sau: (1.3) How much Chinese silk was exported to Western Europe by southern merchants? Chúng ta cũng cần một dạng nhận biết cho phép HAL xác định tiếng nói của Dave là một yêu cầu cho hành động, trái ngược với sự bày tỏ đon giản về thế giới hoặc một câu hỏi về "the door", như trong sự biên đôi sau đây: REQUEST: HAL, open the pod bay door. STATEMENT: HAL, the pod bay door is open. INFORMATION QUESTION: HAL, is the pod bay door open? Mặc dù thấy đó là hành vi xấu, HAL đủ nhận biết đe cư xử lịch sự với Dave. Nó có thể trả lời đơn giàn “/Vơ” hoặc ‘Wơ ỉ won't open the door".
Thay vào đó, ban đầu nó có thề đáp lại bằng cách thêm các cụm từ “ỉ'm sorry", “I'm afraid" và sau đó đưa ra tín hiệu từ chối gián tiếp bằng việc sừ dụng '7 can't", hơn là nói trực tiếp ‘7 won't". Sự nhận biết 13 về các loại hành động mà người nói chủ định băng việc sử dụng các câu là tri thức ngừ dụng học hoặc tri thức đối thoại. Một tri thức khác về ngữ dụng học hoặc đàm thoại (discourse) cân thiết để trả lời câu hỏi.4) How many States were ìn the United States that year? Năm đó (that year) là năm nào? Để cắt nghĩa những từ như “nảm đó”, hệ thống hỏi - đáp cần phải xác định các câu hỏi dã được hỏi trước đó; trong trường hợp này, các câu hỏi trước đó đã nói về năm mà Lincoln được sinh ra. Vì vậy, nhiệm vụ của hệ thống là phàn tích mối quan hệ ngữ pháp giữa hai từ cùng ám chì một sự việc dể nhận biết từ như là “that” (đó) hoặc các đại từ như “it” (nỏ) hay là “she” (cô ấy) đề cập tới ờ phần đàm thoại trước đó.