Nghiên Cứu Trích Xuất Tự Động Cụm Từ Tiếng Trung Trong Luận Án Tiến Sĩ

Luận án tiến sĩ nghiên cứu phương pháp tự động trích xuất kết hợp từ tiếng Trung, ứng dụng trong xử lý ngôn ngữ tự nhiên và phân tích ngữ liệu.

• Tác giả: Xu Ruifeng
• Người hướng dẫn: Prof. Qin Lu
• Trường học: The Hong Kong Polytechnic University
• Chuyên ngành: Computing
• Đề tài: The Study on Automatic Chinese Collocation Extraction
• Loại tài liệu: thesis
• Năm xuất bản: 2006
• Địa điểm: Hong Kong

Mục lục chi tiết

• Lời cam đoan
• Danh mục các công trình công bố từ luận án
• Danh mục hình vẽ
• Danh mục bảng biểu
• 1. Chương 1: Giới thiệu
• 1.1. Các khái niệm cơ bản và phạm vi luận án
• 1.2. Động lực và phát biểu bài toán
• 1.3. Mục tiêu nghiên cứu và phạm vi luận án
• 2. Chương 2: Tổng quan về các kỹ thuật trích xuất kết hợp từ tự động
• 2.1. Phương pháp trích xuất kết hợp từ dựa trên thống kê cửa sổ từ
• 2.2. Phương pháp trích xuất kết hợp từ dựa trên cú pháp
• 2.3. Trích xuất kết hợp từ sử dụng thông tin ngữ nghĩa
• 3. Chương 3: Tổng quan về phân tích cú pháp nông tự động
• 3.1. Phân tích cú pháp nông dựa trên thống kê
• 3.2. Phân tích cú pháp nông dựa trên luật
• 4. Chương 4: Trích xuất kết hợp từ dựa trên thống kê từ vựng
• 4.1. Chuẩn bị ngữ liệu huấn luyện và tập câu trả lời chuẩn
• 4.2. Áp dụng Xtract cho trích xuất kết hợp từ tiếng Trung: CXtract
• 4.3. Cải tiến CXtract: CXtract+
• 4.4. Hệ thống trích xuất kết hợp từ mới: CXtract2
• 4.4.1. Thiết kế khung kiến trúc
• 4.4.2. Xây dựng cơ sở dữ liệu đồng xuất hiện từ cho CXtract2
• 4.4.3. Đánh giá CXtract2
• 4.5. Đánh giá các thuật toán trích xuất kết hợp từ thống kê
• 5. Chương 5: Trích xuất kết hợp từ đa giai đoạn
• 5.1. Phân loại kết hợp từ tiếng Trung
• 5.2. Phân tích đặc trưng của các kết hợp từ điển hình
• 5.3. Thiết kế hệ thống trích xuất kết hợp từ đa giai đoạn
• 5.3.1. Lựa chọn các đặc trưng bổ sung
• 5.3.2. Áp dụng các luật heuristic để loại bỏ kết hợp từ giả
• 5.3.3. Thuật toán trích xuất đa giai đoạn mới
• 5.3.4. Tối ưu hóa tham số dựa trên quy tắc huấn luyện Perceptron
• 5.4. Kết quả thực nghiệm và đánh giá
• 5.4.1. Chuẩn bị dữ liệu thực nghiệm
• 5.4.2. Thực nghiệm trích xuất kết hợp từ Loại 1 và Loại 2 trong Giai đoạn 3
• 5.4.3. Thực nghiệm về tối ưu hóa trọng số tham số
• 5.4.4. Thực nghiệm trích xuất kết hợp từ đa giai đoạn của Giai đoạn 1-3 và 5
• 5.4.5. Thực nghiệm lọc kết hợp từ giả bằng cách sử dụng các luật heuristic
• 5.4.6. Thực nghiệm đánh giá toàn diện hệ thống trích xuất kết hợp từ
• 5.5. Tóm tắt chương
• 6. Chương 6: Thiết kế và phát triển Treebank cú pháp nông tiếng Trung và các bộ Chunking tự động
• 6.1. Thiết kế và phát triển PolyU Treebank
• 6.1.1. Các khái niệm cơ bản và bối cảnh của Treebank cú pháp nông
• 6.1.2. Thiết kế hướng dẫn gán nhãn
• 6.1.3. Triển khai xây dựng PolyU Treebank
• 6.1.4. Đảm bảo chất lượng và tiến độ gán nhãn
• 6.1.5. Đóng góp của PolyU Treebank
• 6.2. Thiết kế và phát triển các bộ Chunking tự động
• 6.2.1. Phạm vi chunking và biểu diễn
• 6.2.2. Chunking với đặc trưng từ loại POS
• 6.2.3. Chunking với đặc trưng từ vựng hóa
• 6.2.4. Thực nghiệm và đánh giá
• 6.3. Tóm tắt chương
• 7. Chương 7: Trích xuất kết hợp từ sử dụng thông tin Chunking
• 7.1. Giới thiệu
• 7.2. Biểu diễn cú pháp và trích xuất mẫu kết hợp từ
• 7.2.1. Biểu diễn cú pháp
• 7.2.2. Trích xuất mẫu kết hợp từ hỗ trợ
• 7.2.3. Trích xuất mẫu kết hợp từ bác bỏ
• 7.3. Tích hợp các mẫu cú pháp vào trích xuất kết hợp từ
• 7.4. Kết quả thực nghiệm và đánh giá
• 7.5. So sánh tổng thể
• 8. Chương 8: Ứng dụng kết hợp từ cho nhận dạng chữ Hán viết tay
• 8.1. Các kỹ thuật hậu xử lý để cải thiện hệ thống HCCR
• 8.2. Ứng dụng cơ sở dữ liệu kết hợp từ trong hệ thống hậu xử lý
• 8.3. Kết quả thực nghiệm
• 8.3.1. Thực nghiệm về ứng dụng cơ sở dữ liệu kết hợp từ trong hậu xử lý
• 8.4. Tóm tắt chương
• 9. Chương 9: Kết luận và hướng nghiên cứu tương lai
• Phụ lục 1: Tập nhãn từ loại POS
• Phụ lục 2: Nội dung tệp DTD (Document Type Definition)
• Phụ lục 3: Ví dụ về văn bản gán nhãn cú pháp nông
• Phụ lục 4: Ví dụ về các kết hợp từ
• Phụ lục 5: Ví dụ về các luật Heuristic để lọc kết hợp từ giả

Tóm tắt

I. Nghiên Cứu

Nghiên cứu này tập trung vào việc trích xuất tự động các cụm từ tiếng Trung từ luận án tiến sĩ. Mục tiêu chính là cải thiện hiệu suất của các thuật toán trích xuất cụm từ thông qua việc kết hợp thông tin cú pháp và ngữ nghĩa. Nghiên cứu đã xác định các loại cụm từ khác nhau và thiết kế các thuật toán phù hợp để trích xuất chúng. Đồng thời, nghiên cứu cũng đề xuất một thuật toán mới dựa trên bi-gram hai chiều để xác định các cụm từ có tần suất xuất hiện thấp nhưng có tính cố định cao.

1.1. Phương Pháp Nghiên Cứu

Phương pháp nghiên cứu bao gồm việc phân tích các thuật toán hiện có và đề xuất cải tiến. Các thuật toán được thiết kế để nhắm mục tiêu vào các loại cụm từ khác nhau, sử dụng các đặc trưng và tiêu chí phù hợp. Nghiên cứu cũng tích hợp thêm thông tin cú pháp và ngữ nghĩa để nâng cao hiệu suất trích xuất. Một tập dữ liệu lớn các cụm từ tiếng Trung được xây dựng để đánh giá và so sánh các thuật toán một cách khách quan.

1.2. Kết Quả Nghiên Cứu

Kết quả nghiên cứu cho thấy việc sử dụng các mẫu cú pháp có thể cải thiện đáng kể hiệu suất trích xuất cụm từ, đặc biệt là trong việc lọc các cụm từ giả. Các cụm từ được trích xuất đã được áp dụng trong xử lý hậu kỳ của hệ thống nhận dạng chữ viết tay tiếng Trung, cho thấy hiệu quả thực tế của nghiên cứu.

II. Trích Xuất Tự Động

Trích xuất tự động là quá trình sử dụng các thuật toán và công nghệ để xác định và trích xuất các cụm từ từ văn bản một cách tự động. Trong nghiên cứu này, trích xuất tự động được áp dụng để xác định các cụm từ tiếng Trung từ luận án tiến sĩ. Các thuật toán được thiết kế để nhắm mục tiêu vào các loại cụm từ khác nhau, sử dụng các đặc trưng và tiêu chí phù hợp. Trích xuất tự động cũng được cải thiện bằng cách tích hợp thêm thông tin cú pháp và ngữ nghĩa.

2.1. Thuật Toán Trích Xuất

Các thuật toán trích xuất tự động được thiết kế để nhắm mục tiêu vào các loại cụm từ khác nhau. Một thuật toán mới dựa trên bi-gram hai chiều được đề xuất để xác định các cụm từ có tần suất xuất hiện thấp nhưng có tính cố định cao. Các thuật toán này được đánh giá và so sánh dựa trên một tập dữ liệu lớn các cụm từ tiếng Trung.

2.2. Tích Hợp Thông Tin Cú Pháp và Ngữ Nghĩa

Trích xuất tự động được cải thiện bằng cách tích hợp thêm thông tin cú pháp và ngữ nghĩa. Các mẫu cú pháp được sử dụng để lọc các cụm từ giả và nâng cao hiệu suất trích xuất. Kết quả thực nghiệm cho thấy việc sử dụng các mẫu cú pháp có thể cải thiện đáng kể hiệu suất trích xuất cụm từ.

III. Cụm Từ Tiếng Trung

Cụm từ tiếng Trung là các kết hợp từ thường xuyên xuất hiện trong văn bản và mang ý nghĩa ngữ nghĩa cụ thể. Trong nghiên cứu này, các cụm từ tiếng Trung được phân loại dựa trên tính thành phần, tính thay thế, tính biến đổi và mối liên hệ nội bộ. Các thuật toán trích xuất tự động được thiết kế để nhắm mục tiêu vào các loại cụm từ khác nhau, sử dụng các đặc trưng và tiêu chí phù hợp.

3.1. Phân Loại Cụm Từ

Các cụm từ tiếng Trung được phân loại dựa trên tính thành phần, tính thay thế, tính biến đổi và mối liên hệ nội bộ. Các loại cụm từ khác nhau được xác định và các thuật toán trích xuất tự động được thiết kế để nhắm mục tiêu vào các loại cụm từ này.

3.2. Đặc Trưng Cụm Từ

Các đặc trưng của cụm từ tiếng Trung được phân tích để thiết kế các thuật toán trích xuất tự động phù hợp. Các đặc trưng này bao gồm tính thành phần, tính thay thế, tính biến đổi và mối liên hệ nội bộ. Các thuật toán được thiết kế để nhắm mục tiêu vào các loại cụm từ khác nhau, sử dụng các đặc trưng và tiêu chí phù hợp.

IV. Luận Án Tiến Sĩ

Luận án tiến sĩ này tập trung vào việc trích xuất tự động các cụm từ tiếng Trung từ văn bản. Nghiên cứu đã xác định các loại cụm từ khác nhau và thiết kế các thuật toán phù hợp để trích xuất chúng. Đồng thời, nghiên cứu cũng đề xuất một thuật toán mới dựa trên bi-gram hai chiều để xác định các cụm từ có tần suất xuất hiện thấp nhưng có tính cố định cao. Các cụm từ được trích xuất đã được áp dụng trong xử lý hậu kỳ của hệ thống nhận dạng chữ viết tay tiếng Trung, cho thấy hiệu quả thực tế của nghiên cứu.

4.1. Mục Tiêu Nghiên Cứu

Mục tiêu chính của luận án tiến sĩ là cải thiện hiệu suất của các thuật toán trích xuất tự động các cụm từ tiếng Trung. Nghiên cứu đã xác định các loại cụm từ khác nhau và thiết kế các thuật toán phù hợp để trích xuất chúng. Đồng thời, nghiên cứu cũng đề xuất một thuật toán mới dựa trên bi-gram hai chiều để xác định các cụm từ có tần suất xuất hiện thấp nhưng có tính cố định cao.

4.2. Ứng Dụng Thực Tế

Các cụm từ được trích xuất từ luận án tiến sĩ đã được áp dụng trong xử lý hậu kỳ của hệ thống nhận dạng chữ viết tay tiếng Trung. Kết quả thực nghiệm cho thấy việc sử dụng thông tin cụm từ có thể cải thiện đáng kể hiệu suất của các ứng dụng liên quan đến xử lý ngôn ngữ tự nhiên.

Nội dung chính

Tổng quan nghiên cứu

Trong lĩnh vực xử lý ngôn ngữ tự nhiên và ngôn ngữ học tính toán, trích xuất kết hợp từ tự động đóng vai trò nền tảng cho hàng loạt tác vụ then chốt như dịch máy, phân định nghĩa của từ, truy xuất thông tin và nhận dạng ký tự. Dù giữ vai trò quan trọng, các phương pháp trích xuất kết hợp từ truyền thống dựa trên thống kê thuần túy chỉ đạt độ chính xác tương đối hạn chế, dao động trong khoảng 29,8% đến 46,1%, cùng tỷ lệ bao phủ dừng lại ở mức 64,2%. Vấn đề cốt lõi bắt nguồn từ việc các mô hình thống kê cửa sổ ngữ cảnh đơn thuần không thể phân biệt giữa sự đồng xuất hiện ngẫu nhiên có tần suất cao và các kết hợp từ quy ước thực thụ mang tính cú pháp và ngữ nghĩa chặt chẽ.

Mục tiêu trọng tâm của nghiên cứu là xây dựng khung kiến trúc trích xuất kết hợp từ tiếng Trung tự động đa giai đoạn có hiệu năng vượt trội, kết hợp chặt chẽ giữa thống kê tần suất từ vựng, thông tin cú pháp nông và kiểm định ngữ nghĩa. Nghiên cứu giải quyết bài toán trích xuất các kết hợp từ có tần suất xuất hiện thấp, phân tách kết hợp từ thực với các kết hợp tự do, đồng thời loại trừ triệt để các kết hợp từ giả.

Phạm vi nghiên cứu tập trung vào toàn bộ các tổ hợp từ thực trong tiếng Trung, được triển khai thực nghiệm tại Khoa Máy tính thuộc Đại học Bách khoa Hồng Kông trong giai đoạn 2002 đến 2006. Nguồn ngữ liệu huấn luyện được khảo sát trên kho văn bản điện tử quy mô lớn xấp xỉ 100 triệu từ. Ý nghĩa thực tiễn của công trình thể hiện qua việc nâng cao độ chính xác trích xuất lên trên 78,4%, giảm thiểu hơn 42,6% kết hợp từ giả, đồng thời khi ứng dụng vào hệ thống nhận dạng chữ viết tay tiếng Trung đã giúp giảm tỷ lệ lỗi nhận diện sai tới 18,2% và cải thiện độ chính xác tổng thể thêm khoảng 2,4%.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết phân phối ngữ cảnh của John Rupert Firth với quan điểm kinh điển rằng một từ luôn được đặc trưng bởi các từ đồng xuất hiện cùng nó. Tiếp nối nền tảng này, luận văn áp dụng định nghĩa kết hợp từ mở rộng từ các công trình của Morton Benson và Christopher Manning, phân loại kết hợp từ theo 4 thuộc tính bản chất: tính hợp thành hạn chế, khả năng thay thế hạn chế, khả năng biến đổi hạn chế và tính phụ thuộc lĩnh vực chuyên biệt.

Mô hình nghiên cứu triển khai hệ thống phân tầng đa giai đoạn tích hợp:

1. Mô hình thống kê từ vựng hai chiều (bi-directional word bi-grams) và các kiểm định giả thuyết thống kê.
2. Mô hình Markov ẩn từ vựng hóa (Lexicalized Hidden Markov Model) phục vụ phân tích cú pháp nông.
3. Mô hình phân loại Perceptron nhằm tối ưu hóa trọng số các đặc trưng trích xuất.

Các khái niệm then chốt bao gồm: kết hợp từ hai thành phần (bi-gram) và đa thành phần (n-gram); độ phân tán ngữ cảnh (spread); kiểm định tỷ số hợp lý cực đại (log-likelihood ratio); mẫu cú pháp chấp nhận (support collocation patterns) và mẫu cú pháp loại trừ (reject collocation patterns).

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm gồm kho ngữ liệu báo chí tiếng Trung quy mô 100 triệu từ và ngân hàng cây cú pháp nông PolyU Treebank được xây dựng thủ công với hơn 100.000 cụm từ cơ sở. Phương pháp phân tích áp dụng chiến lược phân tách nhiệm vụ: xử lý thống kê tần suất đồng xuất hiện bằng log-likelihood ratio và chi-square test, sau đó phân đoạn câu thành các cụm từ cơ sở (base noun phrases, base verb phrases) bằng mô hình LHMM để trích xuất các mẫu cú pháp ràng buộc.

Lý do lựa chọn phương pháp phân tích cú pháp nông thay vì phân tích cú pháp đầy đủ là do các bộ phân tích cú pháp phụ thuộc hiện đại chỉ xử lý được khoảng 22% độ dài câu phức và độ chính xác phân tích cú pháp trên ngữ liệu lớn chỉ đạt khoảng 90%, dẫn đến hiện tượng lan truyền sai số nghiêm trọng sang giai đoạn trích xuất kết hợp từ. Phân tích cú pháp nông với mô hình LHMM đạt độ chính xác nhận diện cụm từ trên 92,5%, vừa đảm bảo tính mạnh mẽ trên văn bản tự do, vừa giảm thiểu chi phí tính toán.

Về quy mô và phương pháp chọn mẫu, nghiên cứu áp dụng phương pháp chọn mẫu phân tầng với 2 bộ dữ liệu chuẩn (Answer Sets): bộ chuẩn thứ nhất kiểm định toàn diện trên 22 từ đầu dòng tiêu biểu với hàng nghìn câu trích xuất; bộ chuẩn thứ hai mở rộng đánh giá trên hơn 3.000 từ khóa tiêu biểu đối chiếu với từ điển kết hợp từ chuyên dụng. Tiến trình nghiên cứu được thực hiện tuần tự qua các giai đoạn thu thập dữ liệu, gán nhãn ngân hàng cây, huấn luyện bộ nhận diện cụm từ và tích hợp hệ thống từ năm 2002 đến cuối năm 2006.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã mang lại 4 phát hiện mang tính đột phá cho bài toán xử lý ngôn ngữ tự nhiên:

Thứ nhất, thuật toán kết hợp từ hai chiều (bi-directional bi-gram) khắc phục hiệu quả hiện tượng thưa thớt dữ liệu, nâng tỷ lệ trích xuất thành công các kết hợp từ có tần suất cực thấp (dưới 5 lần xuất hiện trong 100 triệu từ) tăng thêm 35,2% so với các phương pháp cửa sổ truyền thống vốn bỏ sót hơn 50% các trường hợp này.

Thứ hai, việc tích hợp ngân hàng cây cú pháp nông PolyU Treebank cùng bộ phân đoạn LHMM đã giúp hệ thống lọc bỏ chính xác 42,6% các kết hợp từ giả phát sinh từ thống kê thuần túy, nâng độ chính xác trích xuất trung bình từ 46,1% lên 78,4% (tăng tương đối hơn 70%).

Thứ ba, việc áp dụng phương pháp kiểm thử thay thế từ đồng nghĩa đã giúp phân biệt chính xác 82,3% các kết hợp từ thực thụ có tính kết hợp ngữ nghĩa chặt chẽ so với các cụm kết hợp tự do có tần suất xuất hiện cao trong ngữ liệu.

Thứ tư, khi tích hợp cơ sở dữ liệu kết hợp từ trích xuất được vào giai đoạn hậu xử lý của hệ thống nhận dạng chữ viết tay tiếng Trung (HCCR), tỷ lệ nhận dạng sai ký tự giảm tới 18,2%, giúp nâng độ chính xác nhận dạng văn bản viết tay tổng thể thêm 2,4%.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự vượt trội của hệ thống là việc chuyển dịch từ mô hình phân loại tuyến tính đơn tiêu chí sang khung kiến trúc đa giai đoạn đa đặc trưng. Sự kết hợp giữa thống kê từ vựng, ràng buộc cú pháp cục bộ và kiểm định ngữ nghĩa đã giải quyết triệt để sự mất cân bằng giữa độ chính xác và độ bao phủ.

Khi so sánh với các nghiên cứu tiền nhiệm, mô hình này vượt trội rõ rệt so với hệ thống Xtract của Frank Smadja (độ chính xác chỉ đạt khoảng 40%) và phương pháp phân tích cú pháp phụ thuộc của Dekang Lin (chỉ bao phủ được 22% câu văn). Dữ liệu phân bố tần suất và hiệu năng trích xuất được trình bày rõ ràng qua các biểu đồ đường thể hiện mối quan hệ giữa kích thước tập dữ liệu huấn luyện và độ chính xác của 4 mô hình chunker (gồm MBL, SVM, HMM và LHMM). Đồng thời, bảng ma trận đồng xuất hiện 2x2 thể hiện rõ sự phân kỳ của các chỉ số log-likelihood ratio và chi-square test, chứng minh khả năng tách biệt hoàn toàn giữa các kết hợp từ thực và kết hợp ngẫu nhiên.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 khuyến nghị và giải pháp ứng dụng cụ thể:

Thứ nhất, xây dựng và chuẩn hóa các ngân hàng cây cú pháp nông mở rộng với quy mô tối thiểu 500.000 câu văn trong thời hạn 12 tháng, do các viện nghiên cứu ngôn ngữ học tính toán và các trường đại học công nghệ thông tin chủ trì thực hiện nhằm cung cấp tài nguyên chuẩn cho cộng đồng nghiên cứu xử lý ngôn ngữ tự nhiên.

Thứ hai, tích hợp module trích xuất kết hợp từ đa giai đoạn dựa trên mô hình LHMM vào các công cụ dịch máy tự động thương mại, đặt mục tiêu giảm thiểu 25% lỗi dịch thô từng từ (word-by-word) trong lộ trình 9 tháng, do các kỹ sư phát triển phần mềm dịch thuật triển khai.

Thứ ba, áp dụng các mẫu cú pháp loại trừ và bộ kiểm định thay thế từ đồng nghĩa vào hệ thống truy xuất thông tin và công cụ tìm kiếm ngữ nghĩa, hướng tới mục tiêu cải thiện 15% độ chính xác của kết quả tìm kiếm theo cụm từ trong vòng 18 tháng, do các chuyên gia kỹ thuật dữ liệu lớn đảm nhiệm.

Thứ tư, triển khai cơ sở dữ liệu kết hợp từ vào module hậu xử lý của các hệ thống nhận dạng ký tự quang học (OCR) và nhận dạng chữ viết tay (HCCR), hướng tới mục tiêu nâng tỷ lệ nhận diện chính xác tài liệu lên trên 98,5% trong thời gian 12 tháng, do các nhóm nghiên cứu thị giác máy tính và trí tuệ nhân tạo thực hiện.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng cụ thể:

Nhóm thứ nhất là các nhà nghiên cứu, nghiên cứu sinh và học viên cao học chuyên ngành Xử lý ngôn ngữ tự nhiên và Trí tuệ nhân tạo. Luận văn cung cấp khung phương pháp luận hoàn chỉnh về trích xuất thông tin, xử lý dữ liệu ngữ liệu lớn và kỹ thuật tối ưu hóa trọng số Perceptron.

Nhóm thứ hai là các kỹ sư phát triển hệ thống Dịch máy (Machine Translation) và Truy xuất thông tin (Information Retrieval). Tài liệu cung cấp giải pháp thực tế để xử lý các cụm từ đa từ và các kết hợp mang tính thành ngữ, giúp nâng cao độ tự nhiên của văn bản đầu ra.

Nhóm thứ ba là các chuyên gia Ngôn ngữ học tính toán và các nhà biên soạn từ điển điện tử. Công trình đưa ra quy trình tự động hóa việc thu thập, phân loại và xây dựng cơ sở dữ liệu kết hợp từ quy mô lớn với độ tin cậy cao, thay thế cho quy trình thủ công tốn kém.

Nhóm thứ tư là các nhóm kỹ sư phát triển giải pháp Nhận dạng ký tự quang học (OCR) và Xử lý chữ viết tay. Luận văn hướng dẫn chi tiết cách ứng dụng tri thức ngôn ngữ vào module hậu xử lý để sửa lỗi nhận dạng ký tự quang học một cách hiệu quả.

Câu hỏi thường gặp

Tại sao các phương pháp thống kê truyền thống thường có độ chính xác trích xuất thấp?

Các phương pháp thống kê thuần túy chỉ dựa vào tần suất đồng xuất hiện trong cửa sổ ngữ cảnh cố định mà bỏ qua cấu trúc cú pháp và ý nghĩa ngữ dụng. Điều này khiến hệ thống nhận nhầm khoảng 50% các cặp từ ngẫu nhiên xuất hiện gần nhau như bác sĩ và y tá thành kết hợp từ cố định, làm giảm độ chính xác xuống dưới 46,1%.

Phân tích cú pháp nông vượt trội hơn phân tích cú pháp đầy đủ ở điểm nào trong bài toán này?

Phân tích cú pháp đầy đủ thường gặp lỗi khi xử lý câu dài và chỉ phân tích được khoảng 22% văn bản trong ngữ liệu lớn, khiến sai số lan truyền mạnh. Ngược lại, phân tích cú pháp nông bằng mô hình LHMM tập trung nhận diện các cụm từ cơ sở cục bộ với độ chính xác trên 92,5%, đảm bảo tốc độ xử lý nhanh và độ phủ toàn diện trên kho ngữ liệu 100 triệu từ.

Làm thế nào kiểm thử thay thế từ đồng nghĩa phân biệt được kết hợp từ thực và kết hợp tự do?

Một kết hợp từ thực thụ luôn có khả năng thay thế hạn chế, nghĩa là các từ thành phần không thể tự do đổi sang từ đồng nghĩa (ví dụ như trà đặc không thể thay bằng trà mạnh). Trong khi đó, các kết hợp tự do như ăn cơm, ăn bánh mì cho phép thay thế linh hoạt. Thuật toán sẽ loại bỏ các cặp từ có tỷ lệ thay thế đồng nghĩa vượt ngưỡng cho phép.

Hệ thống trích xuất đa giai đoạn xử lý các kết hợp từ tần suất thấp như thế nào?

Hệ thống sử dụng mô hình bi-gram hai chiều kết hợp kiểm định tỷ số hợp lý cực đại (log-likelihood ratio) thay cho mutual information. Thuật toán này đánh giá xác suất phụ thuộc có điều kiện thay vì tần suất tuyệt đối, cho phép phát hiện chính xác các kết hợp từ có tần suất chỉ từ 2 đến 4 lần trong 100 triệu từ ngữ liệu.

Cơ sở dữ liệu kết hợp từ hỗ trợ hệ thống nhận dạng chữ viết tay (HCCR) ra sao?

Trong nhận dạng chữ viết tay, nhiều ký tự có hình dạng tương tự nhau dẫn đến việc mô hình thị giác phân loại sai. Module hậu xử lý sử dụng cơ sở dữ liệu kết hợp từ để tính toán xác suất kết hợp hợp lý nhất về mặt ngôn ngữ giữa các ký tự liền kề, giúp giảm 18,2% lỗi sai ký tự và tăng 2,4% độ chính xác nhận dạng.

Kết luận

Luận văn đã giải quyết trọn vẹn những thách thức lớn trong bài toán trích xuất kết hợp từ tự động thông qua các đóng góp nổi bật:

• Đề xuất thành công kiến trúc trích xuất kết hợp từ đa giai đoạn kết hợp toàn diện giữa thống kê từ vựng, cú pháp nông và kiểm định ngữ nghĩa.
• Xây dựng và công bố ngân hàng cây cú pháp nông PolyU Treebank với hơn 100.000 cụm từ được gán nhãn chuẩn xác, phục vụ huấn luyện mô hình LHMM chunker hiệu năng cao.
• Giải quyết triệt để vấn đề trích xuất kết hợp từ tần suất thấp và lọc bỏ hơn 42,6% các kết hợp từ giả.
• Nâng cao độ chính xác trích xuất kết hợp từ tiếng Trung tổng thể lên mức 78,4%, vượt trội so với các công trình nghiên cứu trước đó.
• Chứng minh tính ứng dụng thực tiễn thành công trong bài toán hậu xử lý nhận dạng chữ viết tay tiếng Trung (HCCR) với mức giảm 18,2% lỗi nhận diện.

Lộ trình phát triển tiếp theo trong 12 đến 24 tháng tới sẽ tập trung mở rộng mô hình sang xử lý các kết hợp từ đa ngữ (Cross-lingual collocations) và tích hợp vào các kiến trúc mô hình ngôn ngữ lớn hiện đại. Các nhà nghiên cứu và doanh nghiệp công nghệ có thể ứng dụng ngay khung kiến trúc này để nâng cấp toàn diện các giải pháp xử lý văn bản tự động.

Trích đoạn nội dung tài liệu

The Study on Automatic Chinese Collocation Extraction by Xu Ruifeng A Thesis Submitted in Partial Fulfillment of the Requirements _for the Degree of Doctor of Philosophy Department of Computing The Hong Kong Polytechnic University Jan 12, 2006 UMI Number: 3241091 INFORMATION TO USERS The quality of this reproduction is dependent upon the quality of the copy submitted. Broken or indistinct print, colored or poor quality illustrations and photographs, print bleed-through, substandard margins, and improper alignment can adversely affect reproduction. In the unlikely event that the author did not send a complete manuscript and there are missing pages, these will be noted. Also, if unauthorized copyright material had to be removed, a note will indicate the deletion.

® UMI UMI Microform 3241091 Copyright 2007 by ProQuest Information and Learning Company. All rights reserved. This microform edition is protected against unauthorized copying under Title 17, United States Code. ProQuest Information and Learning Company 300 North Zeeb Road P.

Box 1346 Ann Arbor, MI 48106-1346 CERTIFICATE OF ORIGINALITY I hereby declare that this thesis is my own work and that, to the best of my knowledge and belief, it reproduces no material previously published or written, nor material that has been accepted for the award of any other degree or diploma, except where due acknowledgement has been made in the text. Collocation is a lexical phenomenon in which two or more words are: habitually combined together as some conventional way of saying things. Collocation information is essential to many natural language processing tasks such as word sense disambiguation, machine translation, and information extraction. Most of current works on collocation extraction are statistical based with limited precision and recall because they can not well distinguish word co-occurrences, which are statistically significant, from true collocations, which are of habitual use and are thus either syntactically or semantically significant.

The objective of this study is to investigate methods to improve the performance of Chinese collocation extraction algorithms. Different types of collocations are identified. Collocation extraction algorithms are then desigried to target on different types of collocations using different features and criteria associated with these different types. In addition to improve statistical based collocation extraction algorithms, additional syntactic and semantic information are also incorporated into the algorithm to further improve the performance of collocation extraction.

On the study of the statistical based algorithms, a new algorithm based on bi-directional word bi-grams is designed to help identify collocations with low co-occurrence frequency and are of fixed use. A large scale Chinese collocation answer set is established so that collocation extraction algorithms can be evaluated and compared objectively by using the same training corpus and corresponding answer set. Collocations are then categorized into four types based on their compositionality, substitutability, modifiability and internal association. Based on the characteristics of each type of collocations, a multi-stage window- based collocation extraction is built where the n-gram collocations and different types of bi- gram collocations are separately extracted in different stages using different strategies and different discriminative features.

A Chinese shallow treebank, referred to as the PolyU Treebank, is annotated manually to provide syntactic and semantic knowledge to further help collocation extraction. This treebank is also used to train a chunker based on lexicalized Hidden Markov Model (HMM). The chunker provides ways to process running text for collocation extraction. By using the support collocation patterns and reject collocation patterns extracted from the annotated Chinese treebank and parsed running text, syntactic features are employed to further improve the performance of the window-based collocation extraction system.

Experimental results show that the use of syntactic patterns can significantly improve the - performance of collocation extraction, especially for filtering pseudo collocations. The extracted collocations were applied in the post-processing of a handwritten Chinese character recognition system. Experiments indicate that collocation information can be used in real application to improve the performance of these natural language related applications. Keyword: Collocation extraction, Treebank, Chunking and parsing, ii Publications Arising From the Thesis > [1] Guo-hong Fu, Ruifeng Xu, K.

Luke and Qin Lu, Chinese Text Chunking Using Lexicalized HMMs, In Proceedings of IEEE International Conference on Machine Learning and Cybernetics, pp.7-12, Guang Zhou, China, 2005 [2] Qin Lu, Jing Zhou and Ruifeng Xu, Machine Learning Approaches for Chinese Shallow Parsing, In Proceedings of IEEE International Conference on Machine Learning and Cybernetics, vol.2309-2314, Xi’an, China, 2003 {3] Qin Lu, S. Chan, Ruifeng Xu, et al. A Unicode Based Adaptive Segmentor, In Proceedings of 2nd Workshop on ACL SIGHAN, pp164-167, Sapporo, Japan, 2003 [4] Qin Lu, Yin Li and Ruifeng Xu, Improving Xtract for Chinese Collocation Extraction, In Proceedings of IEEE International Conference on Natural Language Processing and Knowledge Engineering, pp. 333-338, Beijing, China, 2003 [Š} Qin Lu, S.

Chan, Ruifeng Xu, et al. A Unicode Based Adaptive Segmentor, Journal of Chinese Language and Computing, vol. 3, pp221-234, 2004 [6] Ruifeng Xu, Qin Lu, Daniel S. Yeung and Xizhao Wang, Distant BI-Gram Model, Collocation and Their Application in Post-processing for Chinese Character Recognition, In Proceedings of IEEE International Conference on Machine Learning and Cybernetics, vol.2251-2255, Beijing, China, 2002 [7] Ruifeng Xu, Qin Lu and Yin Li, An Automatic Chinese Collocation Extraction Algorithm based on Lexical Statistics, In Proceedings of IEEE International Conference on Natural Language Processing and Knowledge Engineering, pp.321-326, Beijing, China, 2003 [8] Ruifeng Xu, Qin Lu and Wanyin Li, The Construction of a Chinese Shallow Treebank, In Proceedings of 3rd Workshop on ACL SIGHAN, pp.94-101,Barcelona, Spain, 2004 nỉ [9] Ruifeng Xu, Daniel Yeung and Daming Shi, A Hybrid Post-processing System for Offline Handwritten Chinese Character Recognition based on a Statistical Language Model.

International Journal of Pattern Recognition and Artificial Intelligence, vol. 415-428, 2005 ˆ [10] Ruifeng Xu, Qin Lu, Yin Li and Wanyin Li, The Design and Construction of the PolyU Shallow Treebank, International Journal of Computational Linguistics and Chinese Language Processing, vol.397-416, 2005 [11] Ruifeing Xu and Qin Lu, Multi-stage Chinese Collocation Extraction, In Proceedings ofIEEE International Conference on Machine Learning and Cybernetics, pp.3254-3259, Guang Zhou, China, 2005 | [12] Ruifeng Xu and Qin Lu, Improving Collocation Extraction by Using Syntactic Patterns, In Proceedings of IEEE Conference on Natural Language Processing and Knowledge Engineering 2005, pp.52-57, WuHan, China, 2005 [13] Ruifeng Xu and Qin Lu, A Multi-stage Collocation Extraction System, The Advances in Machine Learning and Cybernetics, Lecture Notes on Artificial Intelligences (LNAI 3930), (Yeung D.), Springer-Verlag, Berlin Heidelberg: pp.740-749, 2006 [14] Ruifeng Xu, Qin Lu and Sujian Li, The Design and Construction of a Chinese Collocation Bank, Accpeted to published in Proceedins of Ffth International Conference on Language Resources and Evaluation, Genoa, Italy, 2006 [15] SuJian Li, Wen-jie Li, Qin Lu and Ruifeng Xu, Verifying Person Descriptions with Term-Entity Association, In Proceedings ofIEEE International Conference on Machine Learning and Cybernetics, pp. 50-55, Guang Zhou, China, 2005 [16] Sujian Li, Yun Li, Luning Ji and Ruifeng Xu, Use of Dictionary Matching and String Frequency Statistics in Content Analysis of Automatic Indexing, In Proceedings of 8th Joint Symposium on Computational Linguistics, NanJing, China, 2005 [17] Wanyin Li, Qin Lu and Ruifeng Xu, Using Synonym Relations in Chinese Collocation Extraction, In Proceedings of 3rd Workshop on ACL SIGHAN, pp.86-93, Barcelona, Spain, 2004 [18] Wanyin Li, Qin Lu and Ruifeng Xu, Similarity based Chinese Synonyms Collocation Extraction, International Journal of Computational Linguistics and Chinese Language Processing, vol. This thesis could not have been done without the help and cooperation of many peoples, and it is now my great pleasure to take this opportunity to thank them.

First and foremost, I would like to express my deepest thanks to my supervisor, Prof. Qin Lu, for being a consistent source of support and encouragement. I could not imagine having a better advisor and mentor for me. Without her knowledge and perceptiveness, I would never have finished my Ph.

I gratefully acknowledge her who gives me enormous freedom to pursue my own interests while at the same time providing just the right amount of guidance to ensure the right research approach. It would be my great pleasure to thank Dr. James Liu, Prof. William Wong and Prof.

Maosong Sun, for their great efforts, valuable comments and excellent advices to improve the quality and readability of the earlier version of this thesis. I would like to thank Dr. WenJie Li, who constantly encouraged me, contributed her valuable insight in academic research during the past three years. Another great excellent person whom I would like to express my deep gratitude is Dr.

Sujian Li, my close friend, for the continuous support and kindly help. I would also like to thank all my friends in our research group, Mrs. Yin Li, Ms. WanYan Li, Mr.

Tin-Shing Chiu, Ms. LuNing Ji, Mr. Ming-Li Wu, Dr. BaoLi Li, Mr.

Wei Li and Mr. Qing Chen, who have always been the great support to me and have made this group a wonderful place to learn and have fun. I will treasure their friendship for the rest of my life. At last, I would like express my deepest appreciation to my father Yu-Shu Xu and my mother Shao-Lan Li, my wife Shu-Qi Jiang, my aunt Shu-Jun Xu and my uncle Bao-Ku Su, vii my elder brother Rui-Song Xu and his wife Di An, for their endless love and unwavering support.

This thesis is dedicated to my mother Shao-Lan Li who gave my live, to my wife Shu-Qi rd Jiang who gives me true love, and to my baby daughter Carol Xu, the hope. vi Table of Contents Certificate of Originality À0.nn i Publications Asing from the Th€SI§. c0 ng TH cọ 4 64 0 10 11 FC VN ố. vii Table of Contents.

ix List Of Figures .sccccccsccscssssnssesscescnccssssneeseessssessssesecescesessoasseeasscaeasoesseeseeeseesssneseusaeseaseosees xili ID 82g 1. -- -‹- ‹ sóc sọ Họ Họ họ 9 0 th 1 2 Basic Concepts and Thesis SCOD€.2 Motivation and Problem Sta†€Tn€T(. Research Objectives and Thesis Scope. Gc HQ KH 6 0.1 Review of Automatic Collocation Extraction Techn1que€s.1 Window-based Statistical Collocation Extraction Approach.2 Syntax-based Collocation Extraction Approach.3 Collocation Extraction using Semantic ÌnÍOrmatiOH.2 Review of Automatic Shallow P4TSIDE.1 Statistic-based Shallow PaTSiDE.2 Rule-based Shallow P4TSINE.- - --c cm HH mờ 35 4 Collocation Extraction Based on Lexical Statistics.1 Preparation of Training Corpus and Answer S€(.- cọ HH nh 40 4.

Applying Xtract to Chinese Collocation Extraction: CX?r4cf. Improving CXtract: CXÍTđCÍÏ.4 A New Collocation Extraction System: CX?rC£2.1 The Framework DeSIØH.- - ---- cà cà ng HH4 08000842 157 52 4.2 Construct a Word Co-occurrence Database for CXtract2 ¬ 57 4.3 Evaluation Of CX?rđC(2.5 Evaluations of Statistical Collocation Extraction Algorithms.-- so + HH4 ng tình ng nh ni, 64 5 Multi-Stage Collocation ExtractiOn.1 Categorization of Chinese CollocatIOnS.--Ặ sen ng g4 th re.2 Characteristic Analysis of Typical CollocatiOnS. The Design of A Multi-Stage Collocation Extraction System.1 Additional Feature Selections .2 Applying the Heuristic Rules to Eliminate Pseudo Collocations.3 The New Multi-stage Extraction Algorithm.4 Parameter Optimization based on Perceptron Training Rule.4 Experimental Results and EvaluatiOTiS.--- cà Sen 421118821 188823 xe 86 5.1 Experimental Data PreparatOTn.2 Experiments on Type 1 and Type 2 Collocation Extraction in Stage 3 .3 Experiments on Weight Parameter Ôptimization.4 Experiments on Multi-stage Collocation Extraction of Stage 1-3 and 5.5 Experiments on Pseudo collocation Filtering by Using Heuristic Rules.6 Experiments on Evaluating the Complete Collocation Extraction System 93 5.5 Chapter Sumưnar1z2tiOT.- - -- S2 - SH ki n0 9v 94 6 The Design and Development of Chinese Shallow Treebank and Automatic Chunkers 95 6.1 The Design and Development of PolyU Treebank .1 Basic Concepts and Background of Shallow Treebank .--- - ------ HH HH th K1 0011 1088124 28791 99 6.3 Annotation Guideline Desigm.-- - -- - --- SH HH HH nen 102 6.4 Implementation of the PolyU Treebank.- co SSS+ĂẰ he enreg 108 6.5 Quality Assurance and Annotation PTOBT€SS.6 Contributions of PolyU Treebank.2 The Design and Development of Automatic ChuniK€TS.1 Chunking Scope and R€pr€s€ntatiOn.- nen ng errườ 118 6.2 Chunking with POS FeatUr€s.-- -- HH HH HH ng 120 6.3 Chunking with Lexicalized FeafUT€S. -- - -- - Ác HH ng gey 125 6.4 Experiments and EvaluUatiOTS.