CHƯƠNG 1 - GIỚI THIỆU 1.1 Trích chọn thông tin là gì? Ngày nay, cùng với sự ứng dụng rộng rãi của công nghệ thông tin là lượng thông tin khổng lồ mang tính chất toàn cầu. Lượng thông tin này ngày càng lớn mạnh không ngừng và song song với nó là một thách thức được đặt ra đó là: làm thế nào để sử dụng thông tin đó một cách hiệu quả nhất? Và như vậy, trong kho dữ liệu khổng lồ đó, việc tìm ra thông tin cần thiết một cách nhanh chóng, chính xác là cực kỳ quan trọng. Mặc dù chất lượng của các máy tìm kiếm đã được cải thiện nhưng kết quả trả về chỉ là những tài liệu có liên quan, chúng không dễ dàng gì rút ra được các mối quan hệ tiềm ẩn và tạo được các câu trả lời cho các truy vấn phức tạp, chẳng hạn như “danh sách các công ty liên doanh” hoặc “danh sách các nhà lãnh đạo quốc tế trên toàn thế giới”. Người ta phân loại câu trả lời các truy vấn ở dạng: có phân tích các tài liệu liên quan để tập hợp những thông tin cần thiết.
Nếu nhiều mối quan hệ như “Công ty A liên doanh với công ty B” được lưu trong các tài liệu thì nó tự động tổng hợp và cấu trúc hóa, điều này rất tốt không chỉ cho các hệ thống truy vấn thông tin mà còn cho các hệ thống hỏi đáp tự động và tóm tắt văn bản. Do đó khai thác được những tri thức đó sẽ mang lại nhiều thông tin bổ ích. Đó là lĩnh vực mà “trích chọn thông tin” nghiên cứu. Trích chọn thông tin (Information Extraction - IE) là công việc trích ra các thông tin có cấu trúc từ các văn bản không có cấu trúc [4].
Nói cách khác, một hệ thống trích chọn thông tin rút ra những thông tin đã được định nghĩa trước về các thực thể và mối quan hệ giữa các thực thể từ một văn bản dưới dạng ngôn ngữ tự nhiên và điền những thông tin này vào một văn bản ghi dữ liệu có cấu trúc hoặc một dạng mẫu được định nghĩa trước đó. Không giống như hiểu toàn bộ văn bản, các hệ thống trích chọn thông tin chỉ cố gắng nhận biết một số thông tin đáng quan tâm ở một lĩnh vực nào đó. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3 Ví dụ về hệ thống trích chọn thông tin Hình 1. Ví dụ về một hệ thống trích chọn thông tin [4] 1.2 Bài toán trích chọn thực thể tên người trong Tiếng Việt Trích chọn thực thể tên người là bước tiền xử lý trong rất nhiều hệ thống xử lý ngôn ngữ tự nhiên.
Cụ thể như: - Tóm tắt văn bản: Từ một văn bản dài, máy tính tóm tắt thành văn bản ngắn hơn với những nội dung cơ bản nhất. - Dịch tự động: Là việc dịch tự động từ tiếng này sang tiếng khác, chẳng hạn dịch câu “Nguyễn Tấn Dũng là Thủ tướng nước Cộng hòa xã hội chủ nghĩa Việt Nam” sang tiếng Anh. Việc dịch này đòi hỏi máy không những phải hiểu đúng nghĩa câu tiếng Việt mà còn phải nhận biết được đâu là tên người để giữ nguyên - Tìm kiếm thông tin trên mạng: Đây là lĩnh vực có sự chia sẻ nhiều nhất giữa trí tuệ nhân tạo và Internet, và ngày càng trở nên hết sức quan trọng. Sẽ sớm đến một ngày, mọi tri thức của con người được số hóa và để lên mạng hay các thư viện số cực lớn.
Thống kê cho thấy, các từ khóa là tên người được đưa vào tìm kiếm chiếm tỷ lệ khá lớn. - Hệ thống hỏi đáp: Giúp trả lời các câu hỏi liên quan đến thực thể tên người như: Ai là Chủ tịch tập đoàn Microsoft? LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 4 Ai đã phát minh ra PC đầu tiên trên thế giới? Ai là cha đẻ của lý thuyết về tổ hợp? . - Web ngữ nghĩa: Trích chọn tên người là bước tiền xử lý cho hệ thống xây dựng các ontology - bước xây dựng dữ liệu cho các ứng dụng web ngữ nghĩa. Luận văn sẽ tập trung vào việc xây dựng hệ thống tự động trích chọn tên người trong văn bản tiếng Việt.
Kết quả của hệ thống sẽ rất có ích trong tiền xử lý dữ liệu của các ứng dụng xử lý ngôn ngữ tự nhiên nói trên. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 5 CHƯƠNG 2 - HỆ THỐNG TRÍCH CHỌN THÔNG TIN MỘT SỐ NGHIÊN CỨU LIÊN QUAN TRONG TIẾNG VIỆT 2.1 Các cách tiếp cận trích chọn thông tin 2.1 Hướng tiếp cận thủ công Đặc điểm của việc xây dựng hệ thống trích chọn thông tin theo hướng này là hệ thống luật được xây dựng bằng tay hoàn toàn phụ thuộc vào kinh nghiệm riêng của từng người trong từng lĩnh vực của IE, các mẫu hay các luật được tạo ra và được kiểm duyệt một cách kỹ lưỡng có quy mô bởi các “tri thức chuyên gia” [3]. Những quy tắc luôn được kiểm định nhiều lần. Có thể mô hình hóa việc xây dựng này theo hình 2 như sau: Luật cũ Kho tài Kiểm duyệt liệu Tri thức Cập nhật chuyên gia Sửa chữa Luật mới Hình 2.
Mô hình xây dựng hệ luật cho các hệ thống IE theo hướng tiếp cận thủ công Hình trên mô tả việc xây dựng hệ luật theo hướng tiếp cận thủ công. Bắt đầu từ tập luật cơ bản ban đầu, sử dụng kho tài liệu kiểm duyệt hay sửa chữa cần thiết dựa trên tri thức chuyên giá (theo kinh nghiệm riêng của người xây dựng). Các luật mới được sinh ra sau quá trình kiểm duyệt đó để bổ sung cho tập luật cũ. Những quy tắc được kiểm định nhiều lần nhằm đánh giá độ chính xác và tìm ra những luật mới để bổ sung.
Với cách tiếp cận này thì hệ thống hoạt động theo một chu trình. Để xây dựng một hệ thống hoạt động tốt phải luôn luôn có sự tương tác giữa người viết luật và hệ thống cùng với kho ngữ liệu huấn luyện (hình 2) và tập luật luôn luôn được cập nhật để cho hệ thống có thể hoạt động tốt nhất. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Hướng tiếp cận xây dựng các mô hình học máy Với hệ thống IE được xây dựng theo hướng tiếp cận dựa trên tri thức thì chu trình kiểm tra và sửa lỗi gặp rất nhiều khó khăn và phụ thuộc vào nhiều yếu tố như: Loại ngôn ngữ, thời gian và khả năng viết luật. Chỉ một vài thay đổi trong đặc tả cũng gây khó khăn trong sự điều chỉnh.
Câu trả lời cho các giới hạn này là phải xây dựng một mô hình bằng cách nào đó có thể “tự học”. Điều này sẽ giúp làm giảm bớt sự tham gia của các chuyên gia ngôn ngữ và làm tăng tính linh hoạt cho hệ thống. Có rất nhiều phương pháp học máy như mô hình markov ẩn (Hidden Markov Models-HMM), các mô hình Markov cực đại hóa Entropy (Maximum Markov Models – MEMM) và mô hình các trường ngẫu nhiên có điều kiện ( Conditional Random Fields – CRF). Các đặc điểm phải kể đến của việc xây dựng hệ thống IE theo hướng hệ thống có thể tự đào tạo (automatic training approach) là không cần một người nào đó hiểu biết về cách hoạt động của hệ thống IE và viết luật cho nó như thế nào.
Điều cần thiết ở đây là một người nào đó biết được miền ứng dụng của nó và hiểu được những thông tin cần rút trích. Một khi dữ liệu huấn luyện được chú thích, thuật toán huấn luyện chạy và sinh ra những thông tin học được hay còn gọi là model để phục vụ cho quá trình trích chọn tự động sau này. Mô hình với hướng tiếp cận này được mô tả qua hình 3 như sau: Các thuật học sẽ dựa trên dữ liệu để tự học và thu được một model, dựa trên model này nó sẽ trích chọn các thông tin trên dữ liệu mới. Thuật toán học Dữ liệu Huấn luyện Model Hình 3.
Mô hình xây dựng IE theo mô hình học máy Khi xây dựng hệ thống IE theo hướng này phải tập trung vào việc tạo ra dữ liệu huấn luyện. Hệ thống có thể tự học mà không cần sự can thiệp của bất kỳ các chuyên viên nào. Tuy vậy việc xây dựng và lưu trữ tập dữ liệu huấn luyện rất khó và đắt vì để hệ thống có thể thực hiện tốt thì yêu cầu dữ liệu phải nhiều đó cũng là hệ quả dẫn đến việc khó sửa đổi. Vì chỉ cần thêm hoặc xóa các thuộc tính thì cần phải thay đổi trên toàn tập huấn luyện của nó.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 7 Tùy vào công việc và những điều kiện đã có mà ta có thể xây dựng hệ thống IE theo hướng các mô hình học máy hoặc theo hướng tiếp cận dựa tri thức. Ví dụ như khi nguồn văn bản và người viết luật đáp ứng được yêu cầu thì nên xây dựng hệ thống IE theo hướng tiếp cận dựa tri thức, hoặc khi các mô tả về thông tin trích chọn luôn có sự thay đổi thì cũng lên làm theo hướng thứ nhất. Còn với dữ liệu lớn thì nên xây dựng hệ thống IE theo mô hình học máy. Một số nghiên cứu liên quan 2.
Bài toán tách từ trong tiếng Việt và công cụ vnTokenizer Bài toán Cho một câu tiếng Việt bất kỳ, hãy tách câu đó thành những đơn vị từ vựng (từ), hoặc chỉ ra những âm tiết nào không có trong từ điển (phát hiện đơn vị từ vựng mới). Một số đặc điểm về cú pháp cấu tạo từ trong tiếng Việt Tách từ là một khó khăn chính trong việc phân loại văn bản đối với các ngôn ngữ châu Á như tiếng Hoa, tiếng Nhât, tiếng Hàn và cả tiếng Việt. Mặc dù được viết bằng các ký tự La tinh mở rộng, tiếng Việt cũng có những đặc tính chung với các ngôn ngữ phonographic Đông Nam Á khác như khó xác định danh giới giữ các từ và có các điểm khác biệt về phonetic, văn phạm và ngữ nghĩa so với các ngôn ngữ Ấn, Âu. Có một số đặc tính chính của từ trong tiếng Việt như sau [1]: - Từ ở dạng nguyên thể, hình thức và ý nghĩa của từ độc lập với cú pháp - Từ được cấu trúc từ “tiếng” hay còn gọi là âm tiết - Từ bao gồm từ đơn (từ một tiếng) và từ phức (n - tiếng với n < 5), bao gồm từ láy và từ ghép.
Trong khi đó, định nghĩa về từ trong tiếng Anh như sau: “Từ là một nhóm ký tự có nghĩa, được phân cách bởi ký tự khoảng trắng trong câu” (Từ điển Webster). Dưới đây là một số điểm khác biệt chính giữa tiếng Việt và tiếng Anh.