Nghiên cứu các phương pháp tách từ phục vụ phân loại văn bản tiếng Lào trong luận án tiến sĩ

Luận án tiến sĩ nghiên cứu các phương pháp tách từ hiệu quả, hỗ trợ phân loại văn bản tiếng Lào, ứng dụng trong xử lý ngôn ngữ tự nhiên.

• Tác giả: Vilavong Souksan
• Người hướng dẫn: PGS. Phan Huy Khánh
• Trường học: Đại học Đà Nẵng
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu các phương pháp tách từ phục vụ phân loại văn bản tiếng Lào
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2017
• Địa điểm: Đà Nẵng

Mục lục chi tiết

• LỜI CAM ĐOAN
• MỞ ĐẦU
• 1. CHƯƠNG 1: VẤN ĐỀ XỬ LÝ TIẾNG LÀO
• 1.1. TÌM HIỂU TIẾNG LÀO
• 1.1.1. Giới thiệu tiếng Lào
• 1.1.2. Nguồn gốc của tiếng Lào
• 1.1.3. Những yếu tố ngữ pháp tiếng Lào
• 1.2. SO SÁNH TIẾNG LÀO VỚI NGÔN NGỮ LÁNG GIỀNG
• 1.2.1. So sánh bảng chữ cái
• 1.2.2. So sánh cấu trúc âm tiết
• 1.2.3. So sánh cấu trúc từ vựng
• 1.2.4. So sánh cấu trúc câu
• 1.3. TIẾNG LÀO TRONG BỐI CẢNH XL NNTN
• 1.3.1. Giới thiệu một số kết quả xử lý tiếng Lào
• 1.3.2. Thực trạng và thách thức trong xử lý tiếng Lào
• 1.3.3. Đặt bài toán phân loại văn bản tiếng Lào
• KẾT LUẬN CHƯƠNG 1
• 2. CHƯƠNG 2: PHÂN LOẠI VĂN BẢN VÀ BÀI TOÁN TÁCH TỪ
• 2.1. MỞ ĐẦU VỀ VĂN BẢN VÀ SOẠN THẢO VĂN BẢN
• 2.1.1. Khái niệm văn bản
• 2.1.2. Khái niệm soạn thảo văn bản (STVB). Xu thế soạn thảo văn bản hiện nay
• 2.2. BÀI TOÁN PHÂN LOẠI VĂN BẢN
• 2.2.1. Tìm hiểu bài toán phân loại văn bản
• 2.2.2. Quy trình giải quyết bài toán PLVB
• 2.2.3. Các phương pháp giải quyết bài toán PLVB
• 2.3. BÀI TOÁN TÁCH TỪ TRONG PHÂN LOẠI VĂN BẢN
• 2.3.1. Tìm hiểu bài toán tách từ
• 2.3.2. Các phương pháp tách từ
• 2.3.3. Đánh giá hai phương pháp
• 2.4. PHÂN LOẠI VĂN BẢN TIẾNG LÀO
• 2.4.1. Bài toán phân loại văn bản tiếng Lào
• 2.4.2. Nhu cầu giải quyết bài toán tách từ tiếng Lào
• 2.4.3. Đề xuất giải pháp triển khai
• KẾT LUẬN CHƯƠNG 2
• 3. CHƯƠNG 3: GIẢI PHÁP TÁCH TỪ TRONG VĂN BẢN TIẾNG LÀO
• 3.1. NHẬN DIỆN TỪ SỬ DỤNG ĐẶC TRƯNG NGỮ PHÁP
• 3.1.1. Vấn đề nhận diện từ trong câu tiếng Lào
• 3.1.2. Xây dựng mô hình cấu trúc của từ đơn. Giải pháp nhận diện từ trong câu
• 3.2. XÂY DỰNG CƠ SỞ LUẬT NHẬN DIỆN TỪ ĐƠN
• 3.2.1. Xây dựng vị từ và hàm
• 3.2.2. Xây dựng cơ sở luật
• 3.2.3. Xây dựng máy suy diễn nhận diện từ đơn
• 3.3. TRIỂN KHAI GIẢI PHÁP TÁCH TỪ
• 3.3.1. Xây dựng kho ngữ vựng tiếng Lào
• 3.3.2. Áp dụng phương pháp so khớp tối đa. Chiến lược kết hợp luật nhận diện từ với khử bỏ nhập nhằng
• KẾT LUẬN CHƯƠNG 3
• 4. CHƯƠNG 4: THỰC NGHIỆM PLVB VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. CHUẨN BỊ DỮ LIỆU
• 4.1.1. Phân tích hiện trạng trường ĐH Champasak
• 4.1.2. Thu thập dữ liệu HCVP tại trường ĐH Champasak
• 4.1.3. Xây dựng kho văn bản HCVP của trường ĐH Champasak
• 4.2. TRIỂN KHAI CHUẨN BỊ THỬ NGHIỆM
• 4.2.1. Xây dụng mô hình thử nghiệm. Chuẩn bị cơ sở thử nghiệm. Đề xuất PLVB sử dụng hai phương pháp SVM và RBF
• 4.3. CHẠY THỬ NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.3.1. Thử nghiệm hai phương pháp tách từ CRF và MM
• 4.3.2. Thử nghiệm tách từ sử dụng cơ sở luật để xử lý nhập nhằng
• 4.3.3. Thử nghiệm phân loại văn bản
• KẾT LUẬN CHƯƠNG 4
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về phân loại văn bản tiếng Lào

Phân loại văn bản tiếng Lào là một lĩnh vực nghiên cứu quan trọng trong xử lý ngôn ngữ tự nhiên. Việc phân loại văn bản giúp tổ chức và tìm kiếm thông tin hiệu quả hơn trong bối cảnh khối lượng văn bản ngày càng gia tăng. Luận án này tập trung vào việc phát triển các phương pháp tách từ nhằm phục vụ cho phân loại văn bản tiếng Lào. Đặc điểm ngôn ngữ của tiếng Lào, với cấu trúc không có dấu cách giữa các từ, tạo ra nhiều thách thức trong việc nhận diện và phân loại văn bản. Theo nghiên cứu, việc áp dụng các phương pháp tách từ hiệu quả có thể cải thiện đáng kể độ chính xác trong phân loại ngữ nghĩa và phân tích ngữ nghĩa.

1.1. Tầm quan trọng của phân loại văn bản

Phân loại văn bản không chỉ giúp tổ chức thông tin mà còn hỗ trợ trong việc tìm kiếm và truy xuất dữ liệu. Trong bối cảnh hiện đại, nơi mà thông tin được tạo ra và chia sẻ với tốc độ chóng mặt, việc áp dụng các phương pháp phân loại văn bản trở nên cần thiết. Luận án đã chỉ ra rằng, việc tách từ chính xác là yếu tố quyết định đến hiệu quả của quá trình phân loại. Các phương pháp tách từ hiện có cần được cải tiến để phù hợp với đặc điểm ngôn ngữ của tiếng Lào, từ đó nâng cao khả năng phân tích ngữ nghĩa và phân loại ngữ nghĩa.

II. Các phương pháp tách từ trong văn bản tiếng Lào

Nghiên cứu đã chỉ ra rằng có nhiều phương pháp tách từ khác nhau được áp dụng cho tiếng Lào. Các phương pháp này bao gồm phương pháp so khớp tối đa, phương pháp mạng nơ ron, và phương pháp dựa trên cơ sở luật. Mỗi phương pháp có những ưu điểm và nhược điểm riêng. Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của văn bản và yêu cầu cụ thể của bài toán phân loại văn bản. Đặc biệt, phương pháp so khớp tối đa đã cho thấy hiệu quả cao trong việc xử lý các văn bản hành chính, giúp giảm thiểu tình trạng nhập nhằng và nâng cao độ chính xác trong phân loại ngữ nghĩa.

2.1. Phương pháp so khớp tối đa

Phương pháp so khớp tối đa là một trong những phương pháp tách từ phổ biến nhất. Phương pháp này hoạt động dựa trên nguyên tắc tìm kiếm các từ trong kho ngữ vựng đã được xây dựng trước đó. Kết quả cho thấy, khi áp dụng phương pháp này, độ chính xác trong việc nhận diện từ đơn và từ ghép tăng lên đáng kể. Điều này đặc biệt quan trọng trong việc xử lý văn bản tiếng Lào, nơi mà việc thiếu dấu cách giữa các từ gây khó khăn cho việc nhận diện. Nghiên cứu đã chỉ ra rằng, việc kết hợp phương pháp này với các cơ sở luật có thể tạo ra một hệ thống tách từ hiệu quả hơn.

III. Đánh giá và ứng dụng thực tiễn

Luận án không chỉ dừng lại ở việc phát triển các phương pháp tách từ mà còn tiến hành đánh giá hiệu quả của các phương pháp này trong thực tiễn. Các thử nghiệm được thực hiện tại trường Đại học Champasak cho thấy, việc áp dụng các phương pháp tách từ hiệu quả đã giúp cải thiện đáng kể quy trình phân loại văn bản hành chính. Kết quả thử nghiệm cho thấy, độ chính xác trong phân loại ngữ nghĩa đạt được tỷ lệ cao, từ đó khẳng định giá trị thực tiễn của nghiên cứu. Việc áp dụng các phương pháp này không chỉ giúp nâng cao hiệu quả công việc mà còn góp phần vào việc hiện đại hóa quy trình hành chính tại các cơ sở giáo dục.

3.1. Kết quả thử nghiệm tại trường Đại học Champasak

Kết quả thử nghiệm cho thấy, việc áp dụng các phương pháp tách từ đã giúp giảm thiểu sai sót trong quá trình phân loại văn bản. Các cán bộ tại trường Đại học Champasak đã có thể xử lý văn bản nhanh chóng và chính xác hơn. Điều này không chỉ tiết kiệm thời gian mà còn nâng cao chất lượng công việc. Nghiên cứu đã chỉ ra rằng, việc áp dụng công nghệ trong xử lý ngôn ngữ tự nhiên có thể mang lại nhiều lợi ích cho các tổ chức, đặc biệt là trong bối cảnh số hóa hiện nay.