Đánh giá tập nhãn và xác định lỗi tự động trong kho ngữ liệu đã gán nhãn POS

Luận văn thạc sĩ VNU UET đánh giá tập nhãn và xác định lỗi tự động trong kho ngữ liệu đã gán nhãn, góp phần nâng cao chất lượng ngữ liệu.

• Tác giả: Thi-thanh-tam Do
• Người hướng dẫn: Dr. Nguyen Phuong Thai
• Trường học: Vietnam National University Hanoi University Of Engineering And Technology
• Chuyên ngành: Information Technology
• Đề tài: Tagset Evaluation And Automatical Error Verrification In Pos Tagged Corpus
• Loại tài liệu: Master Thesis
• Năm xuất bản: 2012
• Địa điểm: Ha Noi

Mục lục chi tiết

• ACKNOWLEDGEMENTS
• TABLE OF CONTENTS
• LIST OF FIGURES
• LIST OF TABLES
• NOTATIONS/ABBREVIATIONS
• ORIGINALITY STATEMENT
• INTRODUCTION AND MOTIVATION
• 1. CHƯƠNG 1: INTRODUCTION AND MOTIVATION
• 1.1. Characteristics of Vietnamese language
• 1.2. The expression of grammatical meaning in Vietnamese
• 1.3. Vietnamese part of speech
• 1.3.1. Criteria to classify
• 1.4. The ways to build up tagset
• 1.5. Copora
• 1.5.1. VietTreeBank
• 1.5.2. VnQtag
• 1.6. Motivation
• 1.7. Evaluating and convertible possibility of tagset
• 1.8. Detecting POS tagging and word segmentation errors
• 1.9. Organization of the thesis

Tóm tắt

I. Tổng quan về đánh giá tập nhãn và xác định lỗi tự động

Đánh giá tập nhãn và xác định lỗi tự động trong kho ngữ liệu gán nhãn POS là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên. Việc này không chỉ giúp cải thiện độ chính xác của các mô hình ngôn ngữ mà còn hỗ trợ trong việc phát triển các ứng dụng ngôn ngữ khác nhau. Trong bối cảnh tiếng Việt, việc gán nhãn POS gặp nhiều thách thức do đặc điểm ngôn ngữ và sự đa dạng trong cách sử dụng từ. Do đó, việc đánh giá và cải thiện các tập nhãn là cần thiết để nâng cao chất lượng dữ liệu ngữ liệu.

1.1. Đặc điểm của ngôn ngữ tiếng Việt và gán nhãn POS

Tiếng Việt là một ngôn ngữ đơn lập với nhiều đặc điểm riêng biệt. Việc gán nhãn POS trong tiếng Việt cần phải xem xét đến các yếu tố như cấu trúc từ, ngữ nghĩa và ngữ pháp. Các nhà nghiên cứu đã chỉ ra rằng tiếng Việt không có sự biến hình từ, điều này làm cho việc phân loại từ trở nên phức tạp hơn. Đặc biệt, việc xác định đúng loại từ trong ngữ cảnh cụ thể là rất quan trọng để đảm bảo độ chính xác trong gán nhãn.

1.2. Vai trò của kho ngữ liệu gán nhãn POS

Kho ngữ liệu gán nhãn POS đóng vai trò quan trọng trong việc phát triển các ứng dụng xử lý ngôn ngữ tự nhiên. Nó cung cấp dữ liệu cần thiết cho việc huấn luyện các mô hình học máy, từ đó giúp cải thiện khả năng nhận diện và phân loại từ trong văn bản. Việc xây dựng và duy trì kho ngữ liệu chất lượng cao là một thách thức lớn, nhưng cũng là một yếu tố quyết định đến thành công của các ứng dụng ngôn ngữ.

II. Thách thức trong đánh giá tập nhãn và xác định lỗi tự động

Mặc dù có nhiều tiến bộ trong lĩnh vực gán nhãn POS, nhưng vẫn còn nhiều thách thức cần phải giải quyết. Một trong những vấn đề lớn nhất là sự không đồng nhất trong các tập nhãn, điều này có thể dẫn đến sự nhầm lẫn và sai sót trong quá trình gán nhãn. Ngoài ra, việc phát hiện và sửa lỗi tự động cũng gặp nhiều khó khăn do tính phức tạp của ngôn ngữ và sự đa dạng trong cách sử dụng từ.

2.1. Sự không đồng nhất trong các tập nhãn

Sự không đồng nhất trong các tập nhãn có thể gây ra nhiều vấn đề trong việc gán nhãn POS. Các nhà nghiên cứu đã chỉ ra rằng việc sử dụng các tập nhãn khác nhau có thể dẫn đến sự khác biệt lớn trong kết quả gán nhãn. Do đó, việc đánh giá và chuẩn hóa các tập nhãn là rất cần thiết để đảm bảo tính nhất quán và độ chính xác trong quá trình gán nhãn.

2.2. Khó khăn trong việc phát hiện lỗi tự động

Phát hiện lỗi tự động trong gán nhãn POS là một thách thức lớn. Các phương pháp hiện tại thường dựa vào các thuật toán học máy, nhưng vẫn gặp khó khăn trong việc nhận diện các lỗi phức tạp. Việc phát triển các phương pháp mới để cải thiện khả năng phát hiện lỗi là rất cần thiết để nâng cao chất lượng của các mô hình gán nhãn.

III. Phương pháp đánh giá tập nhãn hiệu quả

Để đánh giá hiệu quả của các tập nhãn, cần áp dụng các phương pháp khoa học và có hệ thống. Việc sử dụng các chỉ số đánh giá như độ chính xác, độ phủ và độ tin cậy là rất quan trọng. Ngoài ra, việc so sánh các tập nhãn khác nhau cũng giúp xác định được tập nhãn nào là phù hợp nhất cho từng ứng dụng cụ thể.

3.1. Các chỉ số đánh giá tập nhãn

Các chỉ số đánh giá như độ chính xác và độ phủ là những yếu tố quan trọng trong việc đánh giá hiệu quả của các tập nhãn. Độ chính xác cho biết tỷ lệ phần trăm các nhãn được gán đúng, trong khi độ phủ cho biết tỷ lệ phần trăm các nhãn có thể được gán. Việc sử dụng các chỉ số này giúp các nhà nghiên cứu có cái nhìn tổng quan về hiệu quả của các tập nhãn.

3.2. So sánh các tập nhãn khác nhau

So sánh các tập nhãn khác nhau giúp xác định được tập nhãn nào là phù hợp nhất cho từng ứng dụng cụ thể. Việc này không chỉ giúp cải thiện độ chính xác của các mô hình gán nhãn mà còn giúp tiết kiệm thời gian và công sức trong quá trình phát triển ứng dụng.

IV. Ứng dụng thực tiễn của đánh giá tập nhãn

Đánh giá tập nhãn và xác định lỗi tự động có nhiều ứng dụng thực tiễn trong các lĩnh vực như dịch máy, phân tích cảm xúc và tìm kiếm thông tin. Việc cải thiện độ chính xác của các mô hình gán nhãn sẽ giúp nâng cao chất lượng của các ứng dụng này, từ đó mang lại giá trị thực tiễn cao hơn cho người dùng.

4.1. Ứng dụng trong dịch máy

Trong lĩnh vực dịch máy, việc gán nhãn POS chính xác là rất quan trọng để đảm bảo rằng các từ được dịch đúng ngữ cảnh. Việc đánh giá và cải thiện các tập nhãn sẽ giúp nâng cao chất lượng của các hệ thống dịch máy, từ đó mang lại trải nghiệm tốt hơn cho người dùng.

4.2. Ứng dụng trong phân tích cảm xúc

Phân tích cảm xúc là một lĩnh vực đang phát triển mạnh mẽ, và việc gán nhãn POS chính xác là rất cần thiết để xác định được cảm xúc trong văn bản. Việc đánh giá và cải thiện các tập nhãn sẽ giúp nâng cao độ chính xác của các mô hình phân tích cảm xúc, từ đó mang lại giá trị thực tiễn cao hơn.

V. Kết luận và tương lai của đánh giá tập nhãn

Đánh giá tập nhãn và xác định lỗi tự động là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên. Việc cải thiện độ chính xác của các mô hình gán nhãn sẽ giúp nâng cao chất lượng của các ứng dụng ngôn ngữ. Tương lai của lĩnh vực này sẽ phụ thuộc vào việc phát triển các phương pháp mới và cải tiến các tập nhãn hiện có.

5.1. Tương lai của nghiên cứu trong lĩnh vực gán nhãn

Nghiên cứu trong lĩnh vực gán nhãn sẽ tiếp tục phát triển với sự xuất hiện của các công nghệ mới. Việc áp dụng các phương pháp học sâu và học máy sẽ giúp cải thiện độ chính xác của các mô hình gán nhãn, từ đó mở ra nhiều cơ hội mới trong xử lý ngôn ngữ tự nhiên.

5.2. Tầm quan trọng của việc chuẩn hóa tập nhãn

Chuẩn hóa các tập nhãn là rất cần thiết để đảm bảo tính nhất quán và độ chính xác trong quá trình gán nhãn. Việc này không chỉ giúp cải thiện chất lượng dữ liệu mà còn hỗ trợ trong việc phát triển các ứng dụng ngôn ngữ hiệu quả hơn.

Nội dung chính

Tổng quan nghiên cứu

Xử lý ngôn ngữ tự nhiên (NLP) cho tiếng Việt đối mặt với thách thức lớn từ tính chất phi hình thái của ngôn ngữ đơn lập, dẫn đến sự thiếu nhất quán giữa các bộ nhãn từ loại và nguy cơ sai sót cao trong quá trình gán nhãn thủ công. Nghiên cứu của học viên Đỗ Thị Thanh Tâm (2012) tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, dưới sự hướng dẫn của TS. Nguyễn Phương Thái, tập trung giải quyết hai bài toán then chốt: đánh giá định lượng chất lượng tập nhãn từ loại (POS tagset) và tự động phát hiện lỗi gán nhãn, phân đoạn từ trong kho ngữ liệu tiếng Việt.

Mục tiêu cụ thể của luận văn bao gồm việc thiết lập khung đánh giá phân bố tập nhãn dựa trên ngữ cảnh khung (frame) và độ tinh khiết (purity), phân tích khả năng chuyển đổi giữa các tập nhãn có kích thước khác nhau (từ 59 nhãn xuống 8, 18, 25, 40 nhãn), đồng thời triển khai thuật toán n-gram biến thể (variation n-gram) để rà soát lỗi tự động. Nghiên cứu được thực hiện trên hai bộ ngữ liệu chuẩn là VietTreeBank (10.000 câu, 142 văn bản) và VnQtag (7 văn bản đa dạng thể loại với quy mô từ 1.028 đến 15.532 đơn vị từ vựng).

Kết quả đạt được mang ý nghĩa thực tiễn sâu sắc khi chứng minh tập nhãn VietTreeBank (18 nhãn) đạt độ tinh khiết cao vượt trội (82,86% – 88,34%) so với tập nhãn VnQtag 59 nhãn (60,69%), đồng thời phát hiện chính xác 67 lỗi gán nhãn từ loại (tỷ lệ 0,107%) và kiểm soát lỗi phân đoạn từ ở mức 0,01% – 0,02%. Đóng góp này giúp tiết kiệm đáng kể thời gian, chi phí kiểm chuẩn dữ liệu và nâng cao độ chính xác cho các hệ thống phân tích cú pháp, dịch máy tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng trên nền tảng lý thuyết ngôn ngữ học cấu trúc và ngôn ngữ học tính toán hiện đại:

• Đặc trưng loại hình học tiếng Việt: Tiếng Việt thuộc loại hình ngôn ngữ đơn lập (isolating language), không biến đổi hình thái từ. Âm tiết (tiếng) đóng vai trò là đơn vị cơ sở cấu thành từ và câu. Ý nghĩa ngữ pháp được biểu hiện chủ yếu thông qua trật tự từ và hư từ, khác biệt hoàn toàn với các ngôn ngữ hòa kết như tiếng Anh hay tiếng Pháp.
• Lý thuyết phân loại từ loại tiếng Việt: Kế thừa hệ thống phân loại của Diệp Quang Ban và Hoàng Văn Thung (2010), từ loại được xác định dựa trên ba tiêu chí chính: ý nghĩa khái quát, khả năng kết hợp và chức năng cú pháp trong câu. Hệ thống chia thành hai nhóm lớn: nhóm từ thực (danh từ, động từ, tính từ) và nhóm phụ từ/hư từ (định từ, phó từ, số từ, liên từ, đại từ, trợ từ, cảm từ).
• Lý thuyết khung phân bố (Distributional Frame Theory): Áp dụng mô hình của Mintz (2006) và Dickinson & Jochim (2010), xem xét ngữ cảnh cục bộ ba từ ($w_1_w_2$) bao quanh từ mục tiêu để dự đoán và phân loại từ loại.
• Đo lường chất lượng phân cụm bằng độ tinh khiết (Purity): Sử dụng công thức Purity từ xử lý ngôn ngữ tự nhiên chuẩn của Stanford để định lượng mức độ nhất quán phân bố nhãn trong các khung xuất hiện thường xuyên.
• Lý thuyết n-gram biến thể (Variation n-gram): Phát triển từ nghiên cứu của Markus Dickinson (2003, 2005) nhằm phát hiện sự không nhất quán của các nhãn gán cho cùng một chuỗi từ trong cùng ngữ cảnh tương đồng.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Luận văn khai thác hai nguồn dữ liệu thực nghiệm tiêu chuẩn:
  1. VietTreeBank (VTB): Ngữ liệu thuộc dự án quốc gia VLSP, bao gồm 10.000 câu thuộc 142 bài báo chính trị - xã hội từ báo Tuổi Trẻ, được gán nhãn hình thái, từ loại và cấu trúc cây cú pháp với độ chính xác mô hình học máy MEMs/CRFs đạt trên 93%.
  2. VnQtag Corpus: Ngữ liệu thuộc dự án KC01 gồm 7 tài liệu đa dạng (truyện ngắn Hoàng tử bé: 18.663 đơn vị xử lý; tiểu thuyết Chuyện tình kể trước lúc rạng đông: 31.520 từ; khoa học Lược sử thời gian: 11.626 đơn vị; tác phẩm văn học Muối của rừng, Những bài học nông thôn; báo chí quân sự).
• Phương pháp phân tích:
  • Quy trình 5 bước đánh giá tập nhãn: Xác định từ và nhãn POS $\rightarrow$ Tính toán tổng số khung và ngưỡng tần suất (threshold = 0,03% tổng số khung) $\rightarrow$ Lọc khung thường xuyên và tính Purity $\rightarrow$ Ánh xạ tập nhãn nguồn sang tập nhãn rút gọn $\rightarrow$ Tính Purity mới và thống kê số lượng từ nhập nhằng (ambiguous words) bị mất thông tin.
  • Thuật toán rà soát lỗi tự động: Khởi tạo từ unigram biến thể ($n=1$), mở rộng đối xứng ngữ cảnh sang hai phía ($n+1$-gram) đến độ dài cực đại ($n=29$), kết hợp kiểm tra biên cấu trúc câu để phân loại chính xác giữa hiện tượng nhập nhằng thực sự và lỗi gán nhãn.
• Lý do lựa chọn phương pháp: Phương pháp tiếp cận phi giám sát dựa trên ngữ cảnh n-gram giúp loại bỏ sự phụ thuộc vào tri thức chuyên gia thủ công, tối ưu hóa tốc độ xử lý trên các tập dữ liệu quy mô lớn và phù hợp hoàn hảo với đặc tính phụ thuộc trật tự từ của tiếng Việt.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu năng vượt trội của các tập nhãn rút gọn: Thực nghiệm trên văn bản "Chuyện tình kể trước lúc rạng đông" (31.520 từ, 15.706 khung ngữ cảnh) cho thấy tập nhãn VietTreeBank (18 nhãn) đạt độ tinh khiết 82,86% và Basic Tagset (8 nhãn) đạt 82,06%, cao hơn rõ rệt so với tập nhãn chi tiết VnQtag 59 nhãn (chỉ đạt 60,69%). Trên văn bản "Những bài học nông thôn" (8.247 từ), VietTreeBank đạt độ tinh khiết lên tới 88,34%.
2. Khả năng chuyển đổi tập nhãn với tỷ lệ mất mát thông tin thấp: Quá trình ánh xạ từ tập 59 nhãn sang 18 nhãn chỉ làm xuất hiện 331 từ nhập nhằng (chiếm khoảng 1,05% tổng số 31.520 từ). Khi gộp các nhãn động từ (V1, V2, V3), sự nhập nhằng chỉ tập trung cục bộ ở một số nhóm nhỏ như nhóm động từ chuyển động/nội động ($V_{itm}/V_{tm}$ gồm 16 từ; $V_{itm}/V_{its}$ gồm 18 từ), trong khi các nhóm khác gần như không xuất hiện xung đột ($0%$).
3. Phát hiện chính xác 67 lỗi gán nhãn từ loại trong VietTreeBank: Thuật toán variation n-gram mở rộng từ $n=1$ đến $n=29$ đã phát hiện 11.428 tâm biến thể (variation nuclei). Bắt đầu rà soát từ ngữ cảnh $n=6$, nghiên cứu xác định được 67 lỗi gán nhãn thực tế (chiếm tỷ lệ 0,107%), điển hình là sự nhầm lẫn giữa giới từ (E) và phó từ (R) của từ "về", hoặc nhầm giữa danh từ (N) và động từ (V) của từ "vang" trong cùng ngữ cảnh lặp lại.
4. Mở rộng kiểm chuẩn thành công trên bài toán phân đoạn từ: Ứng dụng n-gram biến thể âm tiết trên kho ngữ liệu VTB đã phát hiện tỷ lệ lỗi phân đoạn từ là 0,01% (gồm 9 lỗi tại 5-gram, 1 lỗi tại 6-gram, 1 lỗi tại 8-gram, 1 lỗi tại 11-gram và 1 lỗi tại 12-gram), minh chứng qua các trường hợp nhập nhằng ranh giới từ ghép như "phó_chủ_tịch xã" và "phó chủ_tịch_xã", hoặc "Hội Chữ_thập_đỏ" và "Hội_Chữ_thập_đỏ".

Thảo luận kết quả

Dữ liệu phân bố tâm biến thể theo độ dài n-gram được minh họa rõ nét qua biểu đồ suy giảm (dạng đường cong dốc đứng): số lượng tâm biến thể giảm mạnh từ unigram (1.691 tâm) và bigram (5.515 tâm) xuống còn 117 tâm tại 6-gram, 72 tâm tại 10-gram, và chỉ còn 4 tâm tại 29-gram. Điều này chứng minh quy luật: ngữ cảnh n-gram càng dài thì xác suất biến thể là lỗi gán nhãn càng tiến gần tới 100%.

Độ dài n-gram vs. Số lượng tâm biến thể (VTB Corpus):
n=2  [██████████████████████████████] 5.515 tâm biến thể
n=3  [████████████] 2.189 tâm biến thể
n=6  [█] 117 tâm biến thể (Phát hiện 26 lỗi)
n=29 [.] 4 tâm biến thể (Phát hiện 4 lỗi)

Nguyên nhân chính khiến tập nhãn 59 nhãn của VnQtag đạt độ tinh khiết thấp (60,69%) là do việc phân rã quá sâu các phạm trù ngữ pháp (như chia danh từ thành 8 nhóm, động từ thành 10 nhóm nhỏ) làm phân tán không gian phân bố, khiến các thuật toán học máy dễ nhầm lẫn giữa các ngữ cảnh hẹp. Ngược lại, tập nhãn VietTreeBank (18 nhãn) duy trì sự cân bằng hoàn hảo giữa khả năng biểu đạt cú pháp và độ chính xác phân loại tự động. So với nghiên cứu của Dickinson (2005) trên ngữ liệu tiếng Anh Wall Street Journal (phát hiện ~6.000 lỗi trên 1,28 triệu token), tỷ lệ lỗi 0,107% trong VietTreeBank khẳng định chất lượng gán nhãn rất tốt của dự án VLSP, đồng thời chứng minh tính khả thi của việc ứng dụng n-gram biến thể vào ngôn ngữ đơn lập.

Đề xuất và khuyến nghị

1. Chuẩn hóa tập nhãn tiếng Việt ở mức 18–25 nhãn:
   • Hành động: Khuyến nghị các viện nghiên cứu và dự án ngôn ngữ học tính toán sử dụng tập nhãn chuẩn hóa từ 18 nhãn (VietTreeBank) đến 25 nhãn (Tagset 3), tránh sử dụng các tập nhãn quá chi tiết (>40 nhãn) cho các tác vụ phân tích cú pháp diện rộng.
   • Mục tiêu: Đạt độ chính xác gán nhãn tự động trên 96% và giảm 40% chi phí tính toán mô hình.
   • Thời gian & Chủ thể: Thực hiện trong 6 tháng bởi các nhóm phát triển tài nguyên ngôn ngữ VLSP.
2. Tích hợp module Variation n-gram vào quy trình kiểm chuẩn ngữ liệu:
   • Hành động: Triển khai thuật toán rà soát lỗi tự động n-gram biến thể với ngưỡng cửa sổ $n \ge 6$ trước khi phát hành các phiên bản Treebank chính thức.
   • Mục tiêu: Giảm 70% thời gian rà soát thủ công của chuyên gia và loại bỏ 99% các lỗi không nhất quán do con người tạo ra.
   • Thời gian & Chủ thể: Triển khai trong vòng 3 tháng bởi các kỹ sư dữ liệu NLP.
3. Xây dựng bộ luật chuyển đổi tương hỗ giữa các kho ngữ liệu:
   • Hành động: Thiết lập các ma trận ánh xạ có giám sát dựa trên ngữ cảnh phân bố để chuyển đổi mượt mà giữa dữ liệu VnQtag, VnPOS và VietTreeBank.
   • Mục tiêu: Tỷ lệ giữ nguyên vẹn thông tin đạt trên 98,9%, tỷ lệ mất mát phân loại dưới 1,1%.
   • Thời gian & Chủ thể: Thực hiện trong 9 tháng bởi các nhà nghiên cứu ngôn ngữ học máy tính.
4. Tự động hóa phát hiện xung đột ranh giới từ trong tách từ tiếng Việt:
   • Hành động: Ứng dụng n-gram biến thể âm tiết để nhận diện các điểm tranh chấp giữa từ đơn và từ ghép (từ 2–4 âm tiết) trong văn bản báo chí và khoa học.
   • Mục tiêu: Đưa sai số phân đoạn từ trong các bộ ngữ liệu huấn luyện xuống dưới 0,005%.
   • Thời gian & Chủ thể: Lộ trình 12 tháng do các nhóm phát triển công cụ xử lý văn bản tiếng Việt đảm nhiệm.

Đối tượng nên tham khảo luận văn

• Kỹ sư và nhà nghiên cứu Xử lý ngôn ngữ tự nhiên (NLP): Nắm vững phương pháp tối ưu hóa tập nhãn POS, cải thiện thuật toán tách từ (Word Segmentation) và phân tích cú pháp (Syntactic Parsing) cho tiếng Việt với các mô hình học máy hiện đại.
• Chuyên gia ngôn ngữ học tính toán và biên tập viên ngữ liệu: Tham khảo bộ tiêu chí đánh giá ngữ liệu, phương pháp phân loại từ loại tiếng Việt theo ngữ cảnh phân bố và cách thức xây dựng các kho ngữ liệu quy chuẩn (Treebank).
• Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính: Khai thác khung phương pháp luận nghiên cứu thực nghiệm, công thức đo lường Purity, thuật toán xử lý n-gram biến thể và cách thiết kế các ma trận chuyển đổi dữ liệu học thuật.
• Đội ngũ phát triển mô hình ngôn ngữ lớn (LLM) và công cụ tìm kiếm: Ứng dụng thuật toán phát hiện bất nhất quán để tiền xử lý và làm sạch dữ liệu văn bản tiếng Việt quy mô lớn, nâng cao chất lượng bộ tokenizer và embedding ngữ nghĩa.

Câu hỏi thường gặp

Tại sao tiếng Việt gặp nhiều khó khăn trong phân đoạn từ và gán nhãn từ loại hơn tiếng Anh?

Tiếng Việt là ngôn ngữ đơn lập, không có biến đổi hình thái từ (như tiếp đầu ngữ hay tiếp vĩ ngữ) và sử dụng khoảng trắng để phân tách âm tiết chứ không phải phân tách từ. Một chuỗi âm tiết có thể được phân đoạn theo nhiều cách mang ngữ nghĩa khác nhau (ví dụ: "chiếc xe đạp nặng quá" có thể phân tách thành "chiếc / xe đạp" hoặc "chiếc / xe / đạp").

Chỉ số Purity (Độ tinh khiết) phản ánh điều gì trong đánh giá tập nhãn?

Độ tinh khiết đo lường mức độ đồng nhất và nhất quán của việc gán nhãn từ loại cho các từ mục tiêu nằm trong cùng một khung ngữ cảnh cục bộ ($w_1_w_2$). Giá trị Purity càng cao (tiến gần tới 100%) chứng minh tập nhãn phân bố càng chuẩn xác và mô hình học máy càng dễ phân loại chính xác.

Thuật toán Variation n-gram phát hiện lỗi trong kho ngữ liệu như thế nào?

Thuật toán tìm kiếm các chuỗi n từ (n-gram) giống hệt nhau xuất hiện ở các vị trí khác nhau trong văn bản nhưng chứa một từ (tâm biến thể) bị gán hai nhãn khác nhau. Khi độ dài ngữ cảnh $n$ đủ lớn (từ $n=6$ đến $n=29$), sự bất nhất quán này gần như chắc chắn là lỗi gán nhãn thay vì hiện tượng đa nghĩa từ vựng.

Giảm kích thước tập nhãn từ 59 nhãn xuống 18 nhãn có gây mất mát thông tin nghiêm trọng không?

Thực nghiệm chứng minh việc giảm số nhãn chỉ gây mất phân biệt ở 331 từ trên tổng số 31.520 từ (khoảng 1,05%). Đổi lại, độ tinh khiết phân bố tăng vọt từ 60,69% lên 82,86%, giúp các thuật toán gán nhãn tự động vận hành ổn định và chính xác hơn rất nhiều.

Phương pháp n-gram biến thể có áp dụng được cho việc kiểm tra lỗi phân đoạn từ không?

Hoàn toàn khả thi. Bằng cách xem xét chuỗi các âm tiết thay vì chuỗi từ, thuật toán đã phát hiện chính xác 0,01% lỗi phân đoạn từ trong VietTreeBank trên các cửa sổ ngữ cảnh từ 5 đến 12 âm tiết, giúp chuẩn hóa các trường hợp ranh giới từ ghép phức tạp.

Kết luận

• Đóng góp lý thuyết: Luận văn đã hệ thống hóa và chứng minh tính đúng đắn của phương pháp đánh giá phân bố tập nhãn dựa trên ngữ cảnh khung và độ tinh khiết cho ngôn ngữ đơn lập như tiếng Việt.
• Đóng góp thực nghiệm: Đánh giá định lượng toàn diện 5 tập nhãn (8, 18, 25, 40, 59 nhãn), khẳng định tập nhãn 18 nhãn của VietTreeBank tối ưu nhất về độ tinh khiết (đạt trên 88%) và hiệu quả xử lý.
• Đột phá công nghệ: Mở rộng thành công thuật toán variation n-gram lên đến $n=29$, phát hiện chính xác 67 lỗi gán nhãn POS (tỷ lệ 0,107%) và 0,01% lỗi phân đoạn từ trong kho dữ liệu quốc gia VietTreeBank.
• Lộ trình phát triển: Tiếp tục hoàn thiện các quy tắc tự động sửa lỗi (error correction), nghiên cứu các ngưỡng tần suất tối ưu cho đa dạng thể loại văn bản và mở rộng kiểm chuẩn cú pháp ở cấp độ cây phụ thuộc.
• Hành động ngay: Khai thác ngay các phát hiện và thuật toán trong luận văn để nâng cao chất lượng quy trình gán nhãn và làm sạch dữ liệu cho các dự án xử lý ngôn ngữ tiếng Việt của bạn.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY THI-THANH-TAM DO TAGSET EVALUATION AND AUTOMATICAL ERROR VERRIFICATION IN POS TAGGED CORPUS MASTER THESIS (Natural language processing) Ha Noi - 2012 LUAN VAN CHAT LUONG download : add [e-mail] VIETNAM NATIONAL UNIVERSITY HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY THI-THANH-TAM DO TAGSET EVALUATION AND AUTOMATICAL ERROR VERRIFICATION IN POS TAGGED CORPUS Branch of knowledge: Information technology Major: Computer science Code: 60 48 01 MASTER THESIS Supervisor: Dr. Nguyen Phuong Thai Ha Noi - 2012 ii LUAN VAN CHAT LUONG download : add [e-mail] TABLE OF CONTENTS ACKNOWLEDGEMENTS. iii TABLE OF CONTENTS. iv LIST OF FIGURES.

vi LIST OF TABLES.vii NOTATIONS/ABBREVIATIONS .viii ORIGINALITY STATEMENT. 2 INTRODUCTION AND MOTIVATION. Characteristics of Vietnamese language. Vietnamese part of speech.

Criteria to classify .The ways to build up tagset. Organization of the thesis. 12 EVALUATING DISTRIBUTIONAL PROPERTIES -. 12 CONVERSION POSSIBILITY OF TAGSETS .A method for evaluating distributional properties of tagsets.

Result of tagset evaluation. 16 iv LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Possibility of Tagsets convertibility. 19 Result of tagset convertibility.

24 AUTOMATIC ERROR VERIFICATION. 24 OF POS - TAGGED CORPUS. Concept related to variation n-gram method. Types of Vietnamese tagging error.

A algorithm for detecting errors. Result of detecting errors in POS tagging. Word in Vietnamese. N-gram in word segmentation.

Result of detecting errors in word segmentation. 35 CONCLUSION AND SUMMARY. The Vietnamese treebank tagset. Syntax function tags in VTB.

Adverbial classification tag of verb in VTB. Phrase tagset in VTB. Clause tagset in VTB. 44 v LUAN VAN CHAT LUONG download : add [e-mail] LIST OF FIGURES Figure 1.

The features of Vietnamese type. Purity as external evaluation criterion for cluster quality. Majority class and number of members of the majority class for the three cluster are: x,5 (cluster 1); o,4 (cluster 2); and , 3 (cluster 3). N-gram and variation nuclei in VTB corpus with n up to 29.

27 vi LUAN VAN CHAT LUONG download : add [e-mail] LIST OF TABLES Table 1. The expression of grammatical meaning in Vietnamese. Corpus with VnQtag tagset annotation. Principle differences between Vietnamese and English.

Some frames is found in corpus. Result of tagset evaluation method. Some properties in tagset convertibility method in Hoangtube. Statistic ambiguous the word types in VnQtag corpus.

Statistic ambiguous the token in VnQtag corpus. Statistic detail ambiguous word types in VnQtag corppus. Statistic errors in corpus. The detail n-gram in tagged corpus.

The errors and ambiguous statistic in word segmentation algorithm. 33 Table 13: Detail of context and varitation in VTB corpus. 34 vii LUAN VAN CHAT LUONG download : add [e-mail] CHAPTER 1 INTRODUCTION AND MOTIVATION 1. Characteristics of Vietnamese language Every language in the world has its own features and so has Vietnamese.

To understand more Vietnamese, we would like to list some emerging features and compare Vietnamese with some other languages such as Chinese, English.Ferlus and other domestic and international researchers in Vietnam, Vietnamese is native origin language, belongs to South Asian language, Mon-Khmer family, has relationship closely with Muong language. Besides, Vietnamese belongs to a isolating language type with three prominent features. Firstly, a syllable is foundation unit to form a word and a sentence. The syllable may be single word or be element to compose a complex word, a compound word and a reiteration word.

Secondly, the Vietnamese word is not inflectional. In particular, there are no difference between singular noun and plural noun; for example, “hai cuốn sách” (two books) and “một cuốn sách” (one book). Thirdly, grammatical meaning expresses mainly through word order and expletive method. Given some expletives such as “sẽ, đã, không” and sentence “Tôi ra ngoài”.

We can make three different meaning sentences from given input: “Tôi sẽ ra ngoài”; “tôi đã ra ngoài”;” tôi không ra ngoài”.