Luận án tiến sĩ nghiên cứu xây dựng và khai thác kho ngữ liệu chuẩn hóa từ internet cho xử lý tiếng Việt

• Tác giả: Phan Thị Hà
• Người hướng dẫn: TS. Trần Hồng Quân
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Truyền dữ liệu và mạng máy tính
• Đề tài: Xây dựng và khai thác kho ngữ liệu chuẩn hóa từ internet cho xử lý tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHO NGỮ LIỆU
• 1.1. Kho ngữ liệu văn bản
• 1.2. Xây dựng, chuẩn hóa và khai thác kho ngữ liệu
• 1.2.1. Thu thập kho ngữ liệu văn bản
• 1.2.2. Chú giải ngôn ngữ và vấn đề chuẩn hóa
• 1.2.3. Khai thác kho ngữ liệu
• 1.3. Kho ngữ liệu tiếng Việt
• 1.4. Các vấn đề được nghiên cứu trong luận án
• 1.5. Kết chương
• 2. CHƯƠNG 2: XÂY DỰNG KHO NGỮ LIỆU THÔ TỪ INTERNET
• 2.1. Xây dựng kho ngữ liệu thô tiếng Việt
• 2.1.1. Lựa chọn danh sách từ hạt giống
• 2.1.2. Thu thập địa chỉ URL
• 2.1.3. Lọc nội dung chính của các trang web (URLs)
• 2.1.4. Phát hiện sự trùng lặp gần nhau
• 2.1.5. Xây dựng công cụ và kết quả thu thập kho ngữ liệu
• 2.2. Kết chương
• 3. CHƯƠNG 3: CHUẨN HÓA MÔ HÌNH CHÚ GIẢI TIẾNG VIỆT
• 3.1. Mô hình MAF của ISO/TC 37/SC 4
• 3.2. Mô hình SynAF của ISO/TC 37/SC 4
• 3.3. Chuẩn hóa theo mô hình MAF cho tiếng Việt
• 3.3.1. Xác định đơn vị cơ sở (segment)
• 3.3.2. Hình thái từ (Wordform)
• 3.3.3. Nội dung hình thái cú pháp
• 3.4. Chuẩn hóa theo mô hình SynAF cho tiếng Việt
• 3.5. Kết chương
• 4. CHƯƠNG 4: KHAI THÁC KHO NGỮ LIỆU THÔ CHO NGHIÊN CỨU TỪ VỰNG TIẾNG VIỆT
• 4.1. Nghiên cứu từ vựng
• 4.2. Xây dựng ngữ liệu tiếng Việt cho Sketch Engine
• 4.2.1. Tách từ và gán nhãn từ loại
• 4.2.2. Xây dựng bộ quan hệ ngữ pháp tiếng Việt
• 4.2.3. Triển khai hệ thống Sketch Engine cho tiếng Việt
• 4.2.4. Đánh giá bộ quan hệ ngữ pháp tiếng Việt
• 4.3. Kết chương
• 5. CHƯƠNG 5: KHAI THÁC KHO NGỮ LIỆU CÓ CHÚ GIẢI CHO PHÂN TÍCH CÚ PHÁP TIẾNG VIỆT
• 5.1. Văn phạm hình thức
• 5.1.1. Khái niệm chung về văn phạm
• 5.1.2. Văn phạm phi ngữ cảnh (Context Free Grammar - CFG)
• 5.1.3. Văn phạm kết nối cây (Tree Adjoining Grammar – TAG)
• 5.2. Trích rút tự động văn phạm CFG cho tiếng Việt
• 5.2.1. Thuật toán trích rút từ VietTreebank
• 5.2.2. Phân tích cú pháp tiếng Việt với văn phạm PCFG
• 5.2.3. Thử nghiệm và đánh giá
• 5.2.4. Nhược điểm của văn phạm PCFG trong phân tích ngữ pháp
• 5.3. Trích rút tự động văn phạm LTAG cho tiếng Việt
• 5.3.1. Thuật toán trích rút từ VietTreebank
• 5.3.2. Xây dựng thuật toán trích rút từ từ điển tiếng Việt
• 5.3.3. So sánh, đánh giá tập cây khởi tạo trích rút từ VietTreebank và từ điển
• 5.4. Kết chương
• DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH LIÊN QUAN ĐẾN LUẬN ÁN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về kho ngữ liệu

Chương này giới thiệu khái niệm về kho ngữ liệu và các phương pháp xây dựng, chuẩn hóa, khai thác kho ngữ liệu. Các kho ngữ liệu đã chú giải từ loại và cú pháp trên thế giới được trình bày, cùng với các chuẩn hóa mô hình chú giải được phát triển bởi ISO/TC 37/SC 4. Mục tiêu của luận án là xây dựng và khai thác kho ngữ liệu từ Internet cho xử lý tiếng Việt, tập trung vào các mức hình thái và cú pháp.

1.1. Khái niệm kho ngữ liệu

Kho ngữ liệu là tập hợp các văn bản được thu thập và tổ chức để phục vụ nghiên cứu ngôn ngữ học và xử lý ngôn ngữ tự nhiên (NLP). Các kho ngữ liệu có thể được chú giải ở nhiều mức độ khác nhau, từ từ loại đến cú pháp và ngữ nghĩa. Việc xây dựng kho ngữ liệu đòi hỏi quy trình thu thập, chuẩn hóa và chú giải dữ liệu một cách hệ thống.

1.2. Chuẩn hóa mô hình chú giải

Các mô hình chú giải như MAF (Morphosyntactic Annotation Framework) và SynAF (Syntactic Annotation Framework) được phát triển bởi ISO/TC 37/SC 4 nhằm chuẩn hóa quy trình chú giải ngôn ngữ. Các mô hình này giúp đảm bảo tính nhất quán và khả năng tương thích giữa các kho ngữ liệu khác nhau, đặc biệt là trong việc xử lý ngôn ngữ tự nhiên.

II. Xây dựng kho ngữ liệu thô từ Internet

Chương này tập trung vào việc xây dựng kho ngữ liệu thô tiếng Việt từ Internet. Quy trình bao gồm lựa chọn danh sách từ hạt giống, thu thập địa chỉ URL, lọc nội dung chính từ các trang web, và phát hiện sự trùng lặp. Công cụ Vncopus được phát triển để tự động hóa quá trình thu thập và xử lý dữ liệu.

2.1. Thu thập dữ liệu từ web

Quy trình thu thập dữ liệu từ Internet bao gồm việc lựa chọn các trang web phù hợp, trích xuất nội dung chính, và loại bỏ các phần không cần thiết. Các thuật toán được áp dụng để đảm bảo tính chính xác và hiệu quả trong việc thu thập dữ liệu.

2.2. Xử lý và chuẩn hóa dữ liệu

Sau khi thu thập, dữ liệu được xử lý để loại bỏ các phần trùng lặp và chuẩn hóa định dạng. Các công cụ tự động được sử dụng để gán nhãn từ loại và chuẩn bị dữ liệu cho các bước chú giải tiếp theo.

III. Chuẩn hóa mô hình chú giải tiếng Việt

Chương này nghiên cứu và triển khai các mô hình chú giải MAF và SynAF cho tiếng Việt. Các mô hình này được áp dụng để chuẩn hóa quy trình chú giải hình thái và cú pháp, đảm bảo tính nhất quán và khả năng tương thích với các kho ngữ liệu quốc tế.

3.1. Mô hình MAF cho tiếng Việt

Mô hình MAF được áp dụng để chú giải hình thái từ và cú pháp trong tiếng Việt. Quy trình bao gồm xác định đơn vị cơ sở, hình thái từ, và nội dung hình thái cú pháp. Mô hình này giúp chuẩn hóa dữ liệu ngôn ngữ và tạo điều kiện cho việc phân tích sâu hơn.

3.2. Mô hình SynAF cho tiếng Việt

Mô hình SynAF tập trung vào chú giải cú pháp, bao gồm việc xác định các quan hệ ngữ pháp và cấu trúc câu. Mô hình này được triển khai để hỗ trợ phân tích cú pháp tiếng Việt và phát triển các công cụ xử lý ngôn ngữ tự nhiên.

IV. Khai thác kho ngữ liệu thô cho nghiên cứu từ vựng tiếng Việt

Chương này trình bày việc khai thác kho ngữ liệu thô để nghiên cứu từ vựng tiếng Việt. Hệ thống Sketch Engine được sử dụng để phân tích ngữ cảnh và hành vi của các từ, hỗ trợ nghiên cứu từ vựng và phát triển các công cụ ngôn ngữ học.

4.1. Tách từ và gán nhãn từ loại

Quy trình tách từ và gán nhãn từ loại được thực hiện để chuẩn bị dữ liệu cho việc phân tích từ vựng. Các công cụ tự động được sử dụng để đảm bảo tính chính xác và hiệu quả trong quá trình này.

4.2. Xây dựng bộ quan hệ ngữ pháp

Bộ quan hệ ngữ pháp tiếng Việt được xây dựng để hỗ trợ phân tích cú pháp và nghiên cứu từ vựng. Các quan hệ ngữ pháp được biểu diễn thông qua ngôn ngữ truy vấn, cho phép khai thác sâu hơn vào cấu trúc ngôn ngữ.

V. Khai thác kho ngữ liệu có chú giải cho phân tích cú pháp tiếng Việt

Chương này tập trung vào việc khai thác kho ngữ liệu đã chú giải cú pháp để phân tích cú pháp tiếng Việt. Các thuật toán trích rút tự động văn phạm PCFG và TAG được phát triển để hỗ trợ phân tích cú pháp và cải thiện độ chính xác của các mô hình xử lý ngôn ngữ tự nhiên.

5.1. Trích rút văn phạm PCFG

Thuật toán trích rút văn phạm PCFG từ kho ngữ liệu đã chú giải được phát triển để hỗ trợ phân tích cú pháp tiếng Việt. Các luật văn phạm được trích rút tự động và sử dụng trong các mô hình thống kê để cải thiện độ chính xác.

5.2. Trích rút văn phạm TAG

Thuật toán trích rút văn phạm TAG từ kho ngữ liệu và từ điển tiếng Việt được phát triển để hỗ trợ phân tích cú pháp. Các cây cơ bản được trích rút và so sánh để đánh giá độ chính xác và hiệu quả của các mô hình.