I. Tổng quan về kho ngữ liệu
Chương này giới thiệu khái niệm về kho ngữ liệu và các phương pháp xây dựng, chuẩn hóa, khai thác kho ngữ liệu. Các kho ngữ liệu đã chú giải từ loại và cú pháp trên thế giới được trình bày, cùng với các chuẩn hóa mô hình chú giải được phát triển bởi ISO/TC 37/SC 4. Mục tiêu của luận án là xây dựng và khai thác kho ngữ liệu từ Internet cho xử lý tiếng Việt, tập trung vào các mức hình thái và cú pháp.
1.1. Khái niệm kho ngữ liệu
Kho ngữ liệu là tập hợp các văn bản được thu thập và tổ chức để phục vụ nghiên cứu ngôn ngữ học và xử lý ngôn ngữ tự nhiên (NLP). Các kho ngữ liệu có thể được chú giải ở nhiều mức độ khác nhau, từ từ loại đến cú pháp và ngữ nghĩa. Việc xây dựng kho ngữ liệu đòi hỏi quy trình thu thập, chuẩn hóa và chú giải dữ liệu một cách hệ thống.
1.2. Chuẩn hóa mô hình chú giải
Các mô hình chú giải như MAF (Morphosyntactic Annotation Framework) và SynAF (Syntactic Annotation Framework) được phát triển bởi ISO/TC 37/SC 4 nhằm chuẩn hóa quy trình chú giải ngôn ngữ. Các mô hình này giúp đảm bảo tính nhất quán và khả năng tương thích giữa các kho ngữ liệu khác nhau, đặc biệt là trong việc xử lý ngôn ngữ tự nhiên.
II. Xây dựng kho ngữ liệu thô từ Internet
Chương này tập trung vào việc xây dựng kho ngữ liệu thô tiếng Việt từ Internet. Quy trình bao gồm lựa chọn danh sách từ hạt giống, thu thập địa chỉ URL, lọc nội dung chính từ các trang web, và phát hiện sự trùng lặp. Công cụ Vncopus được phát triển để tự động hóa quá trình thu thập và xử lý dữ liệu.
2.1. Thu thập dữ liệu từ web
Quy trình thu thập dữ liệu từ Internet bao gồm việc lựa chọn các trang web phù hợp, trích xuất nội dung chính, và loại bỏ các phần không cần thiết. Các thuật toán được áp dụng để đảm bảo tính chính xác và hiệu quả trong việc thu thập dữ liệu.
2.2. Xử lý và chuẩn hóa dữ liệu
Sau khi thu thập, dữ liệu được xử lý để loại bỏ các phần trùng lặp và chuẩn hóa định dạng. Các công cụ tự động được sử dụng để gán nhãn từ loại và chuẩn bị dữ liệu cho các bước chú giải tiếp theo.
III. Chuẩn hóa mô hình chú giải tiếng Việt
Chương này nghiên cứu và triển khai các mô hình chú giải MAF và SynAF cho tiếng Việt. Các mô hình này được áp dụng để chuẩn hóa quy trình chú giải hình thái và cú pháp, đảm bảo tính nhất quán và khả năng tương thích với các kho ngữ liệu quốc tế.
3.1. Mô hình MAF cho tiếng Việt
Mô hình MAF được áp dụng để chú giải hình thái từ và cú pháp trong tiếng Việt. Quy trình bao gồm xác định đơn vị cơ sở, hình thái từ, và nội dung hình thái cú pháp. Mô hình này giúp chuẩn hóa dữ liệu ngôn ngữ và tạo điều kiện cho việc phân tích sâu hơn.
3.2. Mô hình SynAF cho tiếng Việt
Mô hình SynAF tập trung vào chú giải cú pháp, bao gồm việc xác định các quan hệ ngữ pháp và cấu trúc câu. Mô hình này được triển khai để hỗ trợ phân tích cú pháp tiếng Việt và phát triển các công cụ xử lý ngôn ngữ tự nhiên.
IV. Khai thác kho ngữ liệu thô cho nghiên cứu từ vựng tiếng Việt
Chương này trình bày việc khai thác kho ngữ liệu thô để nghiên cứu từ vựng tiếng Việt. Hệ thống Sketch Engine được sử dụng để phân tích ngữ cảnh và hành vi của các từ, hỗ trợ nghiên cứu từ vựng và phát triển các công cụ ngôn ngữ học.
4.1. Tách từ và gán nhãn từ loại
Quy trình tách từ và gán nhãn từ loại được thực hiện để chuẩn bị dữ liệu cho việc phân tích từ vựng. Các công cụ tự động được sử dụng để đảm bảo tính chính xác và hiệu quả trong quá trình này.
4.2. Xây dựng bộ quan hệ ngữ pháp
Bộ quan hệ ngữ pháp tiếng Việt được xây dựng để hỗ trợ phân tích cú pháp và nghiên cứu từ vựng. Các quan hệ ngữ pháp được biểu diễn thông qua ngôn ngữ truy vấn, cho phép khai thác sâu hơn vào cấu trúc ngôn ngữ.
V. Khai thác kho ngữ liệu có chú giải cho phân tích cú pháp tiếng Việt
Chương này tập trung vào việc khai thác kho ngữ liệu đã chú giải cú pháp để phân tích cú pháp tiếng Việt. Các thuật toán trích rút tự động văn phạm PCFG và TAG được phát triển để hỗ trợ phân tích cú pháp và cải thiện độ chính xác của các mô hình xử lý ngôn ngữ tự nhiên.
5.1. Trích rút văn phạm PCFG
Thuật toán trích rút văn phạm PCFG từ kho ngữ liệu đã chú giải được phát triển để hỗ trợ phân tích cú pháp tiếng Việt. Các luật văn phạm được trích rút tự động và sử dụng trong các mô hình thống kê để cải thiện độ chính xác.
5.2. Trích rút văn phạm TAG
Thuật toán trích rút văn phạm TAG từ kho ngữ liệu và từ điển tiếng Việt được phát triển để hỗ trợ phân tích cú pháp. Các cây cơ bản được trích rút và so sánh để đánh giá độ chính xác và hiệu quả của các mô hình.
