Mô Hình Tách Từ và Gán Nhãn Từ Loại Tích Hợp Cho Tiếng Việt

Luận văn thạc sĩ nghiên cứu vnu uet mô hình tách từ gán nhãn từ loại và hướng tiếp cận tích hợp cho tiếng việt, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện

• Tác giả: Trần Thị Oanh
• Người hướng dẫn: TS. Lê Anh Cường
• Trường học: luận văn chat luong
• Chuyên ngành: master thesis
• Đề tài: Mô Hình Tách Từ và Gán Nhãn Từ Loại Tích Hợp Cho Tiếng Việt
• Loại tài liệu: thesis
• Năm xuất bản: 2008
• Địa điểm: hà nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: KHÁI QUÁT VỀ TÁCH TỪ VÀ GÁN NHÃN TỪ LOẠI TIẾNG VIỆT
• 1.1. Khái quát về tách từ tiếng Việt
• 1.2. Khái quát về gán nhãn từ loại - POS tagging
• 1.2.1. Giới thiệu về bài toán gán nhãn từ loại
• 1.2.2. Các hướng tiếp cận bài toán POS tagging
• 1.2.3. Các nghiên cứu gán nhãn từ loại cho tiếng Việt
• 1.2.4. Vấn đề tích hợp tách từ và gán nhãn từ loại
• 2. CHƯƠNG 2: MỘT MÔ HÌNH TÁCH TỪ TIẾNG VIỆT
• 2.1. Các mô hình liên quan
• 2.1.1. Mô hình dựa vào từ điển
• 2.1.2. Mô hình nhận dạng tên thực thể - Named Entity Recognition
• 2.1.3. Mô hình N-gram
• 2.2. Phân tích các mô hình
• 2.3. Thiết kế tập đặc trưng
• 2.3.1. FS1: Đặc trưng trích từ mô hình tách từ dựa vào từ điển
• 2.3.2. FS2: Đặc trưng dựa vào mô hình nhận dạng tên thực thể
• 2.3.3. FS3: Đặc trưng dựa vào mô hình N-gram
• 2.4. Kết quả thực nghiệm
• 2.4.1. Đánh giá các đặc trưng FS1 và FS2 so với các mô hình trước đó
• 2.4.2. Đánh giá tầm quan trọng của từng tập thuộc tính
• 2.5. Đánh giá kết quả tách từ
• 3. CHƯƠNG 3: MỘT MÔ HÌNH GÁN NHÃN TỪ LOẠI TIẾNG VIỆT
• 3.1. Xây dựng corpus gán nhãn từ loại cho tiếng Việt
• 3.1.1. Thiết kế tập thẻ VnPOSTag
• 3.1.2. Mô tả bộ dữ liệu làm vnPOS corpus
• 3.1.3. Xây dựng vnPOS corpus
• 3.2. Gán nhãn từ loại bằng phương pháp Maximum Entropy Model
• 3.2.1. Mô hình xác suất
• 3.2.2. Các đặc trưng của gán nhãn từ loại
• 3.2.3. Đề xuất mô hình gán nhãn từ loại cho tiếng Việt
• 3.2.3.1. Gán nhãn từ loại dựa vào thông tin từ
• 3.2.3.2. Gán nhãn từ loại dựa vào hình vị
• 3.2.4. Đánh giá kết quả gán nhãn từ loại
• 4. CHƯƠNG 4: MỘT MÔ HÌNH TÍCH HỢP TÁCH TỪ VÀ GÁN NHÃN TỪ LOẠI TIẾNG VIỆT
• 4.1. Các mô hình tích hợp cho tiếng Trung
• 4.2. Lựa chọn mô hình tích hợp cho tiếng Việt
• 4.3. Xây dựng mô hình và tiến hành thực nghiệm
• Phụ lục A: Chú giải tập từ loại vnPOS
• Danh sách hình vẽ
• Danh sách bảng

Tóm tắt

I. Tổng quan về mô hình tách từ và gán nhãn từ loại tiếng Việt

Mô hình tách từ và gán nhãn từ loại là hai vấn đề quan trọng trong xử lý ngôn ngữ tự nhiên, đặc biệt là đối với tiếng Việt. Việc tách từ giúp xác định các đơn vị từ vựng, trong khi gán nhãn từ loại phân loại các từ vào các nhóm ngữ pháp khác nhau. Nghiên cứu này nhằm tìm hiểu và phát triển một mô hình tích hợp cho hai bài toán này, từ đó nâng cao hiệu quả trong các ứng dụng như dịch máy và phân tích cú pháp.

1.1. Khái quát về tách từ tiếng Việt

Tách từ trong tiếng Việt gặp nhiều khó khăn do ngôn ngữ này không có dấu cách giữa các từ. Các phương pháp tách từ hiện tại chủ yếu dựa vào từ điển và thống kê. Nghiên cứu đã chỉ ra rằng việc áp dụng mô hình N-gram có thể cải thiện độ chính xác của quá trình tách từ.

1.2. Khái quát về gán nhãn từ loại POS tagging

Gán nhãn từ loại là quá trình xác định loại từ cho mỗi từ trong văn bản. Các phương pháp gán nhãn hiện tại bao gồm gán nhãn dựa trên luật và xác suất. Tuy nhiên, việc áp dụng cho tiếng Việt vẫn còn nhiều thách thức do sự khác biệt về hình thái và ngữ pháp.

II. Vấn đề và thách thức trong tách từ và gán nhãn từ loại

Mặc dù có nhiều nghiên cứu về tách từ và gán nhãn từ loại, nhưng vẫn tồn tại nhiều thách thức. Đặc biệt, việc phát hiện từ mới và xử lý các trường hợp nhập nhằng là những vấn đề cần được giải quyết. Các nghiên cứu hiện tại chưa đủ để đáp ứng nhu cầu thực tiễn trong xử lý ngôn ngữ tự nhiên.

2.1. Thách thức trong tách từ tiếng Việt

Tách từ tiếng Việt gặp khó khăn do không có dấu cách giữa các từ. Các phương pháp hiện tại thường không đủ hiệu quả trong việc phát hiện từ mới và xử lý các trường hợp nhập nhằng.

2.2. Thách thức trong gán nhãn từ loại

Gán nhãn từ loại cho tiếng Việt vẫn còn là một thách thức lớn. Các phương pháp hiện tại thường không đạt được độ chính xác cao do sự khác biệt về ngữ pháp và hình thái giữa tiếng Việt và các ngôn ngữ khác.

III. Phương pháp tích hợp tách từ và gán nhãn từ loại hiệu quả

Để nâng cao hiệu quả của cả hai bài toán, nghiên cứu đề xuất một mô hình tích hợp. Mô hình này kết hợp thông tin từ điển, thống kê và ngữ cảnh để cải thiện độ chính xác trong tách từ và gán nhãn từ loại. Việc áp dụng các mô hình học máy cũng được xem xét để tối ưu hóa quy trình.

3.1. Mô hình tách từ dựa trên từ điển

Mô hình tách từ dựa trên từ điển sử dụng thông tin từ điển để xác định các đơn vị từ. Phương pháp này đơn giản nhưng thường không đủ hiệu quả trong việc phát hiện từ mới.

3.2. Mô hình gán nhãn từ loại sử dụng Maximum Entropy

Mô hình gán nhãn từ loại sử dụng Maximum Entropy Model (MEM) cho phép xác định loại từ dựa trên ngữ cảnh. Phương pháp này đã cho thấy hiệu quả cao trong các nghiên cứu trước đây.

IV. Ứng dụng thực tiễn của mô hình tích hợp tách từ và gán nhãn từ loại

Mô hình tích hợp tách từ và gán nhãn từ loại có thể được áp dụng trong nhiều lĩnh vực như dịch máy, phân tích cú pháp và tóm tắt văn bản. Việc cải thiện độ chính xác trong các ứng dụng này sẽ mang lại giá trị lớn cho người dùng và các nhà nghiên cứu.

4.1. Ứng dụng trong dịch máy

Mô hình tích hợp giúp cải thiện độ chính xác trong dịch máy, từ đó nâng cao chất lượng bản dịch. Việc tách từ và gán nhãn từ loại chính xác sẽ giúp máy tính hiểu rõ hơn về ngữ nghĩa của văn bản.

4.2. Ứng dụng trong phân tích cú pháp

Mô hình này cũng có thể được áp dụng trong phân tích cú pháp, giúp xác định cấu trúc ngữ pháp của câu. Điều này rất quan trọng trong việc phát triển các ứng dụng xử lý ngôn ngữ tự nhiên.

V. Kết luận và tương lai của mô hình tách từ và gán nhãn từ loại

Mô hình tách từ và gán nhãn từ loại tích hợp cho tiếng Việt đang mở ra nhiều cơ hội nghiên cứu mới. Việc tiếp tục phát triển và hoàn thiện mô hình sẽ giúp nâng cao hiệu quả trong xử lý ngôn ngữ tự nhiên. Tương lai của nghiên cứu này hứa hẹn sẽ mang lại nhiều ứng dụng thực tiễn và giá trị cho cộng đồng.

5.1. Tương lai của nghiên cứu tách từ

Nghiên cứu tách từ sẽ tiếp tục được phát triển với sự hỗ trợ của công nghệ AI và học máy. Điều này sẽ giúp cải thiện độ chính xác và khả năng phát hiện từ mới.

5.2. Tương lai của nghiên cứu gán nhãn từ loại

Nghiên cứu gán nhãn từ loại sẽ tiếp tục được mở rộng với các phương pháp mới. Việc áp dụng các mô hình học sâu có thể mang lại những bước tiến lớn trong lĩnh vực này.

Nội dung chính

Tổng quan nghiên cứu

Trong hệ thống xử lý ngôn ngữ tự nhiên tiếng Việt, tách từ và gán nhãn từ loại là hai bước tiền xử lý cơ bản, đóng vai trò quyết định đến hiệu năng của các tác vụ bậc cao như dịch máy tự động, trích xuất thực thể, phân tích cú pháp và tóm tắt văn bản. Khác với các ngôn ngữ biến hình phương Tây vốn sử dụng khoảng trắng làm ranh giới phân định từ, tiếng Việt là ngôn ngữ đơn lập, trong đó ranh giới từ vựng thường bao gồm nhiều hình vị đơn lẻ ghép lại. Thực tế thống kê cho thấy tỷ lệ từ mới ngoài từ điển trong các tập ngữ liệu tiếng Việt thực tế thường dao động ở mức khoảng 11.5% đến 30.0%, gây ra hiện tượng nhập nhằng ranh giới từ và chức năng cú pháp nghiêm trọng.

Nghiên cứu tập trung giải quyết triệt để ranh giới nhập nhằng trong phân tích văn bản tiếng Việt thông qua việc đề xuất mô hình phân lớp thống kê tiên tiến, tận dụng tối đa tri thức ngữ cảnh. Mục tiêu trọng tâm của đề tài là xây dựng mô hình tách từ tự động kết hợp đa nguồn tri thức, phát triển hệ thống gán nhãn từ loại thích ứng đặc trưng hình vị tiếng Việt, đồng thời thử nghiệm, đánh giá khách quan mô hình tích hợp đồng thời hai tác vụ trên kho dữ liệu thực tế.

Phạm vi nghiên cứu được triển khai thực nghiệm trên kho ngữ liệu gồm 8.000 câu tiếng Việt chuẩn hóa từ các trang báo điện tử đa lĩnh vực và tập ngữ liệu Wikipedia với quy mô xấp xỉ 14 triệu hình vị. Ý nghĩa học thuật và ứng dụng của nghiên cứu được thể hiện rõ nét qua việc nâng cao điểm số F1 của bài toán tách từ từ mức cơ sở 81.52% lên tới 95.70%, đồng thời thiết lập độ chính xác gán nhãn từ loại đạt 89.22%. Đây là bước tiến quan trọng cung cấp cơ sở dữ liệu và công cụ xử lý ngôn ngữ nền tảng cho cộng đồng nghiên cứu công nghệ thông tin tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng nền tảng lý thuyết xác suất thống kê và học máy hiện đại, trọng tâm là mô hình Entropy cực đại kết hợp giải thuật tối ưu hóa BLMVM hỗ trợ xử lý trọng số đặc trưng dạng số thực. Bên cạnh đó, mô hình chuỗi Markov ẩn và mô hình ngôn ngữ thống kê N-gram ở cấp độ 2-gram và 3-gram được khai thác để ước lượng xác suất phân bố ngữ cảnh của chuỗi văn bản.

Hệ thống khái niệm chính của nghiên cứu bao gồm:

• Hình vị: Đơn vị phát âm và chữ viết cơ bản trong tiếng Việt, được phân cách tự nhiên bởi dấu cách trắng.
• Ranh giới từ vựng: Xác định điểm bắt đầu và phần bên trong của từ ghép hoặc cụm từ cố định trong văn bản.
• Nhập nhằng từ loại: Hiện tượng một đơn vị từ mang nhiều chức năng ngữ pháp khác nhau tùy thuộc vào ngữ cảnh xuất hiện.
• Nhận dạng thực thể tên riêng: Phát hiện các danh từ riêng chỉ người, địa danh, tổ chức và các định dạng dữ liệu có quy tắc.

Nhằm chuẩn hóa việc gán nhãn chức năng ngữ pháp, nghiên cứu xây dựng bộ nhãn vnPOSTag gồm 14 nhãn từ loại chính (danh từ chung NN, danh từ chỉ loại NC, danh từ riêng NP, động từ VB, tính từ JJ, đại từ PP, định từ và số từ D, phụ từ AD, giới từ IN, liên từ CC, thán từ UH, trợ từ RB, thành ngữ TN, từ không phân loại X) cùng hơn 10 nhóm nhãn ký hiệu đặc biệt.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm gồm 8.000 câu được trích xuất và gán nhãn từ các chuyên mục kinh tế, công nghệ thông tin, chính trị, pháp luật và đời sống của các báo điện tử uy tín, kết hợp tập ngữ liệu thô 14 triệu hình vị tiếng Việt từ Wikipedia. Nguồn tài nguyên từ vựng bổ trợ bao gồm danh mục 21.000 tên người theo quy tắc cấu trúc họ, đệm, tên và 800 tên địa danh chính thống.

Phương pháp chọn mẫu áp dụng kỹ thuật lấy mẫu phân tầng ngẫu nhiên theo chủ đề nhằm bảo đảm độ bao phủ từ vựng và văn phong đa dạng. Quy trình đánh giá sử dụng phương pháp kiểm thử chéo 5 nếp nhằm hạn chế tối đa hiện tượng quá khớp dữ liệu. Thuật toán Beam Search với kích thước beam N=3 được lựa chọn cho pha giải mã nhằm tìm kiếm chuỗi nhãn tối ưu toàn cục với chi phí tính toán hợp lý. Mô hình Entropy cực đại được lựa chọn vì tính linh hoạt vượt trội trong việc tích hợp nhiều nguồn đặc trưng phụ thuộc lẫn nhau mà không đòi hỏi giả định độc lập nghiêm ngặt như mô hình Naive Bayes truyền thống.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã ghi nhận bốn phát hiện học thuật cốt lõi:

Thứ nhất, mô hình tách từ tiếng Việt dựa trên MEM kết hợp ba tập đặc trưng đạt hiệu năng vượt trội với độ chính xác Precision 96.30%, độ hồi tưởng Recall 95.11% và điểm F1 đạt 95.70%. Kết quả này cải thiện 14.18% so với phương pháp đối sánh dài nhất truyền thống vốn chỉ đạt điểm F1 ở mức 81.52%. Khi kiểm thử độc lập trên kho dữ liệu của Trung tâm Từ điển học, mô hình vẫn duy trì độ chính xác cao với điểm F1 đạt 94.84%.

Thứ hai, đánh giá tầm quan trọng của từng nguồn tri thức khẳng định đặc trưng từ điển đóng vai trò quyết định nhất; việc loại bỏ tập đặc trưng từ điển khiến điểm F1 giảm mạnh xuống 87.05%. Tập đặc trưng nhận dạng thực thể xếp vị trí thứ hai (loại bỏ khiến F1 giảm còn 93.55%), trong khi thông tin xác suất N-gram giúp cải thiện độ bao phủ các từ mới ngoài từ điển, đưa F1 từ 95.24% lên mức tối ưu 95.70%.

Thứ ba, đối với bài toán gán nhãn từ loại, mô hình trích chọn đặc trưng dựa trên hình vị mang lại độ chính xác trung bình 89.22%, vượt trội 3.65% so với phương pháp trích chọn dựa trên cấp độ từ vốn chỉ đạt 85.57%.

Thứ tư, thử nghiệm mô hình tích hợp đồng thời tách từ và gán nhãn từ loại cho thấy hiệu quả suy giảm khi F1 tách từ chỉ đạt 91.40% và F1 gán nhãn từ loại đạt 83.40%, thấp hơn đáng kể so với mô hình xử lý phân tầng tuần tự.

Thảo luận kết quả

Hiệu quả vượt bậc của phương pháp trích chọn đặc trưng mức hình vị bắt nguồn từ đặc trưng loại hình học của tiếng Việt. Khác với tiếng Anh là ngôn ngữ biến đổi hình thái từ, tiếng Việt thể hiện ngữ pháp thông qua trật tự từ và hư từ. Hình vị tiếng Việt mang tính khu biệt ngữ nghĩa cao, do đó việc ràng buộc thông tin hình vị giúp mô hình dự đoán chính xác lớp từ loại của các từ ghép đẳng lập và chính phụ mà không bị nghẽn bởi các từ ngoài từ điển.

Dữ liệu thực nghiệm phân tích đóng góp của từng nhóm đặc trưng có thể được trực quan hóa thông qua biểu đồ cột so sánh điểm F1 khi loại bỏ từng thành phần và bảng ma trận nhầm lẫn giữa 14 nhãn từ loại. Biểu đồ này sẽ thể hiện rõ độ dốc suy giảm hiệu năng lớn nhất khi thiếu vắng tri thức từ điển, tiếp theo là đặc trưng tên riêng và N-gram.

So sánh với các nghiên cứu tích hợp thành công trên tiếng Trung của các học giả quốc tế, kết quả trên ngữ liệu tiếng Việt chỉ ra rằng kiến trúc giải mã đồng thời làm bùng nổ không gian trạng thái do số lượng tổ hợp nhãn biên giới từ và nhãn từ loại tăng theo cấp số nhân. Trong điều kiện kích thước kho ngữ liệu huấn luyện còn giới hạn ở mức 8.000 câu, kiến trúc đường ống phân tầng truyền thống vẫn là giải pháp tối ưu, bảo đảm tính ổn định và độ chính xác phân loại cao hơn.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, nghiên cứu đưa ra 4 khuyến nghị mang tính thực tiễn cao:

1. Mở rộng quy mô và chuẩn hóa kho ngữ liệu gán nhãn: Các viện nghiên cứu ngôn ngữ và công nghệ thông tin cần chủ trì xây dựng kho ngữ liệu chuẩn quốc gia, nâng quy mô từ 8.000 câu hiện tại lên tối thiểu 50.000 câu gán nhãn cú pháp hoàn chỉnh trong vòng 12 tháng tới nhằm cung cấp tập dữ liệu mẫu chuẩn cho cộng đồng.
2. Ứng dụng kiến trúc phân tầng vào sản phẩm công nghệ: Doanh nghiệp phát triển phần mềm AI nên tích hợp ngay module tách từ đạt F1 95.70% và gán nhãn từ loại 89.22% theo mô hình đường ống vào các hệ thống dịch thuật tự động và chatbot thông minh trong lộ trình 6 đến 9 tháng.
3. Tối ưu hóa đặc trưng hình vị kết hợp học sâu: Các nhóm nghiên cứu học thuật cần tiếp tục tinh chỉnh bộ đặc trưng hình vị và tích hợp thử nghiệm trên các kiến trúc mạng nơ-ron tiên tiến nhằm đẩy độ chính xác gán nhãn từ loại vượt mốc 93.00% trong vòng 6 tháng.
4. Mở rộng kho ngữ liệu thô và tối ưu hóa N-gram: Các đơn vị nghiên cứu cần thu thập và tiền xử lý kho dữ liệu văn bản số hóa quy mô trên 50 triệu hình vị trong 18 tháng để nâng cao năng lực phát hiện từ mới, hạ tỷ lệ lỗi do từ ngoài từ điển xuống dưới 5.0%.

Đối tượng nên tham khảo luận văn

Nghiên cứu mang lại giá trị thiết thực cho 4 nhóm đối tượng trọng tâm:

1. Kỹ sư và chuyên gia Xử lý ngôn ngữ tự nhiên: Nắm vững kỹ thuật trích xuất đặc trưng đa nguồn trên mô hình Entropy cực đại, áp dụng trực tiếp thuật toán Beam Search N=3 để xây dựng các module tiền xử lý văn bản tiếng Việt tốc độ cao.
2. Giảng viên, nghiên cứu sinh và học viên Khoa học máy tính: Sử dụng làm tài liệu tham khảo chuẩn mực về phương pháp luận nghiên cứu thực nghiệm, quy trình kiểm thử chéo 5 nếp và cách thức thiết kế bộ thẻ từ loại vnPOSTag cho ngôn ngữ đơn lập.
3. Doanh nghiệp và chuyên gia phát triển giải pháp AI: Ứng dụng bộ công cụ tách từ và gán nhãn chuẩn xác để nâng cao chất lượng hệ thống phân tích cảm xúc khách hàng, trích xuất thông tin tự động, giúp giảm thiểu trên 15.0% lỗi hiểu sai văn bản.
4. Nhà ngôn ngữ học và chuyên gia số hóa dữ liệu: Tham khảo hệ thống phân loại 14 từ loại và các tiêu chí phân định ngữ pháp tiếng Việt ứng dụng vào việc chuẩn hóa từ vựng và xây dựng từ điển điện tử chuyên ngành.

Câu hỏi thường gặp

Tại sao việc tách từ trong tiếng Việt lại phức tạp hơn nhiều so với tiếng Anh? Tiếng Anh sử dụng dấu cách để phân định từ vựng rõ ràng, trong khi tiếng Việt là ngôn ngữ đơn lập, dấu cách chỉ phân tách các hình vị đơn lẻ. Một từ tiếng Việt có thể cấu tạo từ 2 đến 4 hình vị ghép lại, tạo ra nhiều trường hợp nhập nhằng ngữ nghĩa và cấu trúc ranh giới từ phức tạp trong câu.

Mô hình Entropy cực đại mang lại ưu thế gì so với thuật toán Longest Matching? Thuật toán Longest Matching chỉ dựa vào quy tắc khớp từ dài nhất trong từ điển nên thường xuyên phân tách sai các cấu trúc nhập nhằng và hoàn toàn bất lực trước từ mới. Ngược lại, mô hình Entropy cực đại kết hợp linh hoạt tri thức từ điển, nhận dạng thực thể và thống kê N-gram, giúp nâng điểm F1 từ 81.52% lên 95.70%.

Vì sao đặc trưng dựa trên hình vị lại cho kết quả gán nhãn từ loại tốt hơn đặc trưng mức từ? Do đặc điểm tiếng Việt không biến hình, các hình vị cấu tạo nên từ mang thông tin ngữ nghĩa và ngữ pháp nội tại rất lớn. Khai thác đặc trưng hình vị giúp mô hình dự đoán chính xác lớp từ loại của các từ mới ngoài từ điển, qua đó nâng độ chính xác gán nhãn từ 85.57% lên 89.22%.

Nguyên nhân nào khiến mô hình tích hợp đồng thời chưa đạt hiệu quả cao trên tiếng Việt? Mô hình tích hợp đồng thời làm nhân bội không gian tìm kiếm trạng thái nhãn giữa ranh giới từ và chức năng từ loại. Với tập ngữ liệu huấn luyện 8.000 câu, mô hình gặp hiện tượng thưa thớt dữ liệu, khiến điểm F1 gán nhãn giảm xuống 83.40%, thấp hơn mô hình xử lý phân tầng.

Bộ nhãn vnPOSTag trong nghiên cứu được phân định dựa trên những tiêu chuẩn nào? Bộ nhãn vnPOSTag gồm 14 nhãn từ loại chính và hơn 10 ký hiệu, được thiết kế dựa trên ba tiêu chuẩn ngôn ngữ học: ý nghĩa khái quát, khả năng kết hợp cú pháp và chức năng vị ngữ hay chủ ngữ trong câu, bảo đảm tính cân bằng tối ưu giữa độ chi tiết ngữ pháp và độ chính xác tính toán.

Kết luận

• Luận văn đã giải quyết toàn diện bài toán tách từ và gán nhãn từ loại tiếng Việt bằng phương pháp học máy Entropy cực đại với giải thuật BLMVM.
• Xây dựng thành công bộ đặc trưng đa nguồn hiệu quả cao, đưa điểm F1 tách từ đạt 95.70% và độ chính xác gán nhãn từ loại cấp hình vị đạt 89.22%.
• Đóng góp cho cộng đồng khoa học kho ngữ liệu vnPOS chuẩn hóa gồm 8.000 câu gán nhãn chi tiết cùng bộ thẻ 14 từ loại chuyên dụng.
• Chứng minh tính ưu việt của kiến trúc xử lý đường ống phân tầng so với hướng tiếp cận tích hợp đồng thời đối với ngữ liệu tiếng Việt quy mô vừa.
• Định hướng nghiên cứu mở rộng sang mô hình học sâu và gia tăng tập dữ liệu ngữ liệu mẫu trên 50.000 câu trong giai đoạn tiếp theo.

Quý độc giả, nhà nghiên cứu và lập trình viên quan tâm đến giải pháp xử lý ngôn ngữ tự nhiên tiếng Việt hãy tham khảo chi tiết mã nguồn và tài liệu kỹ thuật của luận văn để áp dụng trực tiếp vào các dự án trí tuệ nhân tạo thực tế.

Trích đoạn nội dung tài liệu

Chương 1. KHÁI QUÁT VỀ TÁCH TỪ VÀ GÁN NHÃN TỪ LOẠI TIẾNG VIỆT 1.1 Khái quát về tách từ tiếng Việt Tiếng Việt là một ngôn ngữ đơn lập, không biến hình, các ký tự dựa trên hệ chữ cái Latin. Cũng giống một số tiếng khác như tiếng Trung, tiếng Nhật, tiếng Hàn thì từ trong tiếng Việt không được xác định bởi khoảng trắng. Một từ tiếng Việt có thể được tạo bởi một hoặc nhiều hình vị và mỗi hình vị phân tách nhau bởi các khoảng trắng.

Từ là đơn vị cơ bản để phân tích cấu trúc của ngôn ngữ, do vậy để tiến tới những ứng dụng xa hơn về xử lý ngôn ngữ tiếng Việt như gán nhãn chức năng từ loại, phân tích cú pháp thì việc đầu tiên ta phải giải quyết bài toán tách từ. Các nhà nghiên cứu đã đề xuất một số hướng tiếp cận để giải bài toán tách từ [11, 14, 16, 20, 23, 25, 27]. Nhìn chung, các hướng tiếp cận đó được chia thành 2 loại: tiếp cận dựa trên từ điển và tiếp cận dựa trên thống kê. Hai phương pháp tiêu biểu của hướng tiếp cận dựa vào từ điển là Longest Matching và Maximal Matching.

Hầu hết những nghiên cứu ban đầu về tách từ đều dựa trên cách tiếp cận này như trong [25, 29]. Hướng tiếp cận này có đặc điểm là đơn giản, dễ hiểu tuy nhiên hiệu quả mang lại không cao. Lý do là bởi nó không xử lý được rất nhiều trường hợp nhập nhằng cũng như không có khả năng phát hiện từ mới trong văn bản. Chính vì vậy mà các hệ thống tách từ có chất lượng cao hiện nay thường sử dụng hướng tiếp cận dựa trên thống kê.

Ví dụ, đối với tiếng Trung thì có các nghiên cứu liên quan [14, 27], tiếng Thái [25], cũng như tiếng Việt [12, 23]. Cụ thể, đối với tiếng Việt thì tác giả Lê An Hà[16] đã xây dựng corpus xấp xỉ 10 triệu hình vị và sử dụng thông tin N-gram để tối ưu tổng các xác suất tách cho mỗi phân cụm (chunk). Kết quả thực nghiệm tuy không cao nhưng cũng đã cho thấy N-gram sẽ trở nên hữu ích nếu ta biết cách sử dụng thông tin này khi liên kết với các nguồn thông tin khác. Hiện nay, rất nhiều hệ thống tách từ phổ biến sử dụng hướng tiếp cận lai.

Ví dụ, nhóm tác giả Cẩm Tú [23] đã nghiên cứu ứng dụng các mô hình CRF và SVM để tách 1 LUAN VAN CHAT LUONG download : add [e-mail] 2 từ tiếng Việt. Hoặc như nhóm tác giả Đinh Điền [12] đã sử dụng mô hình MEM sử dụng giải thuật tối ưu GIS để huấn luyện bộ tách trên corpus gán nhãn. Trong nghiên cứu đó, tác giả đã phân tách hai quá trình nhận dạng từ mới (unknown word recognition) và tách từ đã biết (known word segmentation) như hai tiến trình độc lập nhau. Tuy nhiên, nhiều nghiên cứu đã cho thấy rằng hai tiến trình này nên được tiến hành đồng thời để nâng cao độ chính xác.

Một ví dụ điển hình của hướng tiếp cận như vậy cho tiếng Trung được J.Gao đề cập trong [14]. Trong các phương pháp lai, các tác giả đã tận dụng thông tin từ điển và một số thông tin khác nhằm phát hiện tên thực thể. Tuy nhiên, trong các nghiên cứu đó đều chưa quan tâm thích đáng tới việc đánh giá ảnh hưởng của từng nguồn tri thức và đặc biệt là chưa có những nghiên cứu để phát hiện từ mới (không chỉ là tên thực thể và các dạng factoid). Nghiên cứu các phương pháp phát hiện từ mới ta thấy thông tin Ngram đóng vai trò hữu ích giúp ta phát hiện từ mới khi mà corpus thống kê đủ lớn và xác định được độ đo phù hợp.