Luận Văn Thạc Sĩ Về Phân Tích Ngữ Pháp Từ Vựng Cho Tiếng Việt

Luận văn thạc sĩ kỹ thuật phân tích vnu uet lexicalized statistical parsing for vietnamese luận văn ths công nghệ thông tin, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp

• Tác giả: Pham Thi Minh Thu
• Người hướng dẫn: Doctor Le Anh Cuong
• Trường học: Hanoi University of Engineering and Technology
• Chuyên ngành: Computer Science
• Đề tài: Phân Tích Ngữ Pháp Từ Vựng Cho Tiếng Việt
• Loại tài liệu: Thesis
• Năm xuất bản: 2010
• Địa điểm: Hanoi

Mục lục chi tiết

• Acknowledgements
• 1. CHƯƠNG 1: Introduction
• 1.1. What is syntactic parsing?
• 1.2. Current Studies in Parsing
• 1.3. Vietnamese syntactic parsing
• 1.4. Objective of the Thesis
• 1.5. Thesis structure
• 2. CHƯƠNG 2: Parsing approaches
• 2.1. Context Free Grammar (CFG)
• 2.2. Parsing Algorithms
• 2.2.1. Top-down parsing
• 2.2.2. Bottom-up parsing
• 2.2.3. Comparison between top-down parsing and bottom-up parsing
• 3. CHƯƠNG 3: Vietnamese parsing and our approach
• 4. CHƯƠNG 4: Experiments and Discussion
• 5. CHƯƠNG 5: Conclusions and Future Work

Tóm tắt

I. Tổng Quan Về Phân Tích Ngữ Pháp Từ Vựng Tiếng Việt

Phân tích ngữ pháp từ vựng tiếng Việt là một lĩnh vực quan trọng trong nghiên cứu ngôn ngữ học và công nghệ thông tin. Nó không chỉ giúp hiểu rõ cấu trúc ngữ pháp mà còn hỗ trợ trong việc phát triển các ứng dụng như dịch máy và phân tích ngữ nghĩa. Việc nắm vững các quy tắc ngữ pháp và từ vựng là cần thiết để xây dựng các hệ thống xử lý ngôn ngữ tự nhiên hiệu quả.

1.1. Khái Niệm Phân Tích Ngữ Pháp Tiếng Việt

Phân tích ngữ pháp tiếng Việt là quá trình xác định cấu trúc ngữ pháp của câu bằng cách sử dụng các quy tắc ngữ pháp. Điều này bao gồm việc xác định các thành phần như chủ ngữ, vị ngữ và các thành phần khác trong câu.

1.2. Vai Trò Của Phân Tích Ngữ Pháp Trong NLP

Phân tích ngữ pháp đóng vai trò trung tâm trong các ứng dụng xử lý ngôn ngữ tự nhiên (NLP). Nó giúp cải thiện độ chính xác của các hệ thống như dịch máy và phân tích ngữ nghĩa, từ đó nâng cao trải nghiệm người dùng.

II. Thách Thức Trong Phân Tích Ngữ Pháp Tiếng Việt

Mặc dù có nhiều tiến bộ trong lĩnh vực phân tích ngữ pháp, nhưng vẫn tồn tại nhiều thách thức đặc thù cho tiếng Việt. Các vấn đề như sự đa nghĩa của từ, cấu trúc câu phức tạp và thiếu hụt dữ liệu huấn luyện là những yếu tố gây khó khăn cho việc phát triển các công cụ phân tích ngữ pháp chính xác.

2.1. Đa Nghĩa Của Từ Trong Tiếng Việt

Nhiều từ trong tiếng Việt có thể mang nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh. Điều này tạo ra khó khăn trong việc xác định nghĩa chính xác của từ trong câu.

2.2. Cấu Trúc Câu Phức Tạp

Cấu trúc câu trong tiếng Việt có thể rất phức tạp với nhiều thành phần khác nhau. Việc phân tích chính xác các thành phần này là một thách thức lớn cho các hệ thống tự động.

III. Phương Pháp Phân Tích Ngữ Pháp Tiếng Việt Hiện Nay

Có nhiều phương pháp khác nhau được áp dụng để phân tích ngữ pháp tiếng Việt, bao gồm các phương pháp dựa trên quy tắc và thống kê. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp là rất quan trọng.

3.1. Phương Pháp Dựa Trên Quy Tắc

Phương pháp này sử dụng các quy tắc ngữ pháp được xác định trước để phân tích câu. Mặc dù chính xác, nhưng phương pháp này thường gặp khó khăn với các câu không tuân theo quy tắc.

3.2. Phương Pháp Thống Kê

Phương pháp thống kê sử dụng dữ liệu huấn luyện để xây dựng mô hình phân tích. Điều này cho phép hệ thống học hỏi từ dữ liệu thực tế, nhưng cần có một lượng lớn dữ liệu để đạt được độ chính xác cao.

IV. Ứng Dụng Thực Tiễn Của Phân Tích Ngữ Pháp Tiếng Việt

Phân tích ngữ pháp tiếng Việt có nhiều ứng dụng thực tiễn trong các lĩnh vực như dịch máy, tìm kiếm thông tin và phân tích văn bản. Những ứng dụng này không chỉ giúp cải thiện hiệu suất mà còn nâng cao trải nghiệm người dùng.

4.1. Dịch Máy

Phân tích ngữ pháp là một phần quan trọng trong quy trình dịch máy, giúp hệ thống hiểu rõ cấu trúc câu và ngữ nghĩa của văn bản gốc.

4.2. Tìm Kiếm Thông Tin

Các hệ thống tìm kiếm thông tin sử dụng phân tích ngữ pháp để cải thiện độ chính xác của kết quả tìm kiếm, từ đó cung cấp thông tin phù hợp hơn cho người dùng.

V. Kết Luận Và Tương Lai Của Phân Tích Ngữ Pháp Tiếng Việt

Phân tích ngữ pháp từ vựng tiếng Việt đang phát triển mạnh mẽ với nhiều nghiên cứu và ứng dụng mới. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều tiến bộ trong công nghệ xử lý ngôn ngữ tự nhiên, giúp cải thiện khả năng giao tiếp giữa con người và máy móc.

5.1. Xu Hướng Nghiên Cứu Mới

Các nghiên cứu hiện tại đang tập trung vào việc cải thiện độ chính xác của các mô hình phân tích ngữ pháp thông qua việc sử dụng dữ liệu lớn và các kỹ thuật học sâu.

5.2. Tương Lai Của Công Nghệ NLP

Công nghệ xử lý ngôn ngữ tự nhiên sẽ tiếp tục phát triển, mở ra nhiều cơ hội mới cho việc ứng dụng phân tích ngữ pháp trong các lĩnh vực khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Xử lý ngôn ngữ tự nhiên đóng vai trò trọng tâm trong kỷ nguyên trí tuệ nhân tạo, hướng đến mục tiêu xây dựng các hệ thống máy tính có khả năng thấu hiểu và tương tác bằng ngôn ngữ con người. Trong chuỗi tác vụ xử lý ngôn ngữ, phân tích cú pháp là bước trung gian then chốt, cung cấp cấu trúc ngữ pháp hình cây để phục vụ trực tiếp cho các bài toán ứng dụng phức tạp như dịch máy tự động, hệ thống hỏi đáp thông minh, trích xuất thông tin và tóm tắt văn bản. Đến thời điểm năm 2010, nghiên cứu về phân tích cú pháp tự động cho tiếng Việt vẫn còn ở giai đoạn sơ khai, phần lớn dựa trên các hệ luật thủ công vốn tồn tại nhiều hạn chế về độ bao phủ và không thể giải quyết triệt để tính nhập nhằng từ vựng.

Nhằm giải quyết nút thắt này, luận văn thạc sĩ khoa học máy tính của tác giả Phạm Thị Minh Thu, dưới sự hướng dẫn của Tiến sĩ Lê Anh Cường tại Đại học Công nghệ thuộc Đại học Quốc gia Hà Nội, đã tập trung nghiên cứu và xây dựng bộ phân tích cú pháp thống kê từ vựng hóa cho tiếng Việt. Nghiên cứu sử dụng kho ngữ liệu chuẩn Viet Treebank bao gồm 10.471 câu đã được gán nhãn cú pháp hoàn chỉnh (tương đương 225.085 từ vị) để huấn luyện và đánh giá mô hình. Bằng cách tiếp cận công cụ Bikel Parser kết hợp với các mô hình xác suất nâng cao của Collins, mục tiêu cụ thể của luận văn là tối ưu hóa cấu hình phân tích cú pháp và đề xuất các quy tắc heuristic nhằm khắc phục lỗi cấu trúc phổ biến. Kết quả nghiên cứu đã nâng chỉ số F-score từ mức cơ sở 78,76% lên 82,87% đối với câu có độ dài dưới 40 từ, tạo tiền đề vững chắc cho việc ứng dụng phân tích cú pháp tự động vào các hệ thống xử lý ngôn ngữ tiếng Việt quy mô lớn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng ngữ pháp phi ngữ cảnh và ngữ pháp phi ngữ cảnh xác suất. Mô hình ngữ pháp phi ngữ cảnh xác suất truyền thống gán xác suất cho từng quy tắc ngữ pháp nhằm xác định cây cú pháp có xác suất tổng thể cao nhất thông qua việc cực đại hóa tích xác suất của các quy tắc thành phần. Tuy nhiên, do thiếu tính nhạy bén với thông tin từ vựng và sở thích cấu trúc, mô hình truyền thống thường gặp khó khăn trước các hiện tượng nhập nhằng ngữ pháp phức tạp. Để khắc phục nhược điểm này, khung lý thuyết ngữ pháp phi ngữ cảnh xác suất từ vựng hóa được áp dụng, cụ thể là 3 mô hình thống kê nổi tiếng của Collins (Model 1, Model 2 và Model 3).

Các khái niệm cốt lõi được vận dụng xuyên suốt bao gồm: từ trung tâm (thành phần hạt nhân mang thông tin ngữ nghĩa chính của một cụm từ hoặc mệnh đề); gán nhãn từ loại với tập nhãn chi tiết; phân đoạn từ phù hợp với đặc thù ngôn ngữ đơn lập không biến hình; cấu trúc thành phần; và khung phụ thuộc cú pháp giúp phân biệt giữa bổ ngữ bắt buộc và trạng ngữ tùy chọn. Trong mô hình thống kê, thuật toán phân tích cú pháp CYK và giải thuật biểu đồ với độ phức tạp thời gian O(n^3) được sử dụng để duyệt không gian trạng thái và tìm kiếm cây cú pháp tối ưu một cách hiệu quả.

Phương pháp nghiên cứu

Nghiên cứu sử dụng toàn bộ kho ngữ liệu Viet Treebank gồm 10.471 câu phân tích cú pháp hoàn chỉnh (chứa 225.085 token) được thu thập từ nguồn báo Tuổi Trẻ điện tử với các chủ đề đa dạng về xã hội và chính trị. Phương pháp chọn mẫu phân tầng ngẫu nhiên được áp dụng để chia dữ liệu thành ba tập độc lập: tập huấn luyện gồm 9.633 câu (chiếm khoảng 92% tổng dữ liệu), tập kiểm thử chính thức gồm 532 câu (khoảng 5% tổng dữ liệu), và tập kiểm thử phát triển gồm 520 câu được trích từ tập huấn luyện nhằm phục vụ mục đích phân tích sai số cú pháp trong mốc thời gian nghiên cứu năm 2010.

Lý do lựa chọn phương pháp phân tích thống kê dựa trên Bikel Parser là khả năng hỗ trợ đa ngôn ngữ linh hoạt và cơ chế tích hợp các đặc trưng từ vựng hóa mạnh mẽ vốn đã đạt độ chính xác 90,01% với tiếng Anh và 81,20% với tiếng Trung Quốc. Để tương thích hoàn toàn với tiếng Việt, nghiên cứu đã xây dựng gói ngôn ngữ Java chuyên biệt gồm 4 lớp đối tượng xử lý: Treebank, Training, WordFeature, HeadFinder cùng 2 tệp quy tắc cấu hình hệ thống. Quy trình phân tích và đánh giá độ chính xác được thực hiện chuẩn hóa theo tiêu chuẩn PARSEVAL quốc tế, tính toán dựa trên các chỉ số Precision, Recall, F-score và số lượng liên kết chéo nhầm lẫn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, việc áp dụng mô hình chuẩn Collins Model 2 trên Bikel Parser cho tiếng Việt mang lại kết quả cơ sở rất khả quan với F-score đạt 78,76% (Precision 83,76%, Recall 82,76%) đối với tập câu có độ dài dưới 40 từ và đạt 77,17% (Precision 80,92%, Recall 79,17%) đối với tập câu có độ dài dưới 100 từ. Kết quả này chứng minh tính tương thích cao của mô hình từ vựng hóa với cấu trúc cú pháp tiếng Việt.

Thứ hai, thông qua việc thử nghiệm trên tập phát triển 520 câu và lọc ra 147 câu có F-score dưới 70%, nghiên cứu phát hiện hai nguồn lỗi cú pháp chủ yếu là: lỗi phân tích cụm giới từ chiếm 40,82% (60/147 câu) và lỗi phân tích liên từ cùng dấu phẩy chiếm 51,02% (75/147 câu).

Thứ ba, sau khi bổ sung các quy tắc heuristic để hiệu chỉnh cấu trúc cụm trạng ngữ mở đầu và cụm kết hợp đẳng lập, hiệu năng phân tích cú pháp đã tăng trưởng vượt bậc. Chỉ số F-score tổng thể tăng 4,11% (đạt mức 82,87%) đối với câu dưới 40 từ và tăng 3,89% (đạt mức 81,06%) đối với câu dưới 100 từ. Tỷ lệ sửa lỗi thành công đạt 93,75% (30/32 câu) đối với lỗi cụm trạng ngữ và 82,98% (39/47 câu) đối với lỗi liên từ.

Thứ tư, thực nghiệm thay đổi tỷ lệ tập dữ liệu huấn luyện từ 60% (5.779 câu), 70% (6.743 câu), 80% (7.706 câu) đến 100% (9.633 câu) cho thấy độ chính xác tăng đều đặn từ 73,76% lên 78,76% đối với câu ngắn, khẳng định vai trò cốt lõi của quy mô dữ liệu gán nhãn.

Thảo luận kết quả

Phân tích chuyên sâu chỉ ra rằng cấu trúc cú pháp tiếng Việt có sự khác biệt rõ rệt so với tiếng Anh. Việc áp dụng mô hình Collins Model 3 (tích hợp thông tin khoảng trống ngữ pháp) hoàn toàn không làm tăng độ chính xác so với Model 2, bởi tiếng Việt không có hiện tượng di chuyển đại từ nghi vấn lên đầu câu như ngôn ngữ biến hình. Ngược lại, thông tin khung phụ thuộc cú pháp có vai trò sống còn: khi loại bỏ thông tin này khỏi mô hình, F-score lập tức sụt giảm nghiêm trọng từ 78,76% xuống còn 67,76% (giảm 11,00%).

Về mặt trực quan hóa dữ liệu, toàn bộ biến thiên F-score theo dung lượng huấn luyện (từ 5.779 câu đến 9.633 câu) và độ dài câu có thể được trình bày rõ nét qua biểu đồ đường đa nhánh, giúp nhận diện xu hướng tiệm cận của độ chính xác khi mở rộng dữ liệu. Đồng thời, một bảng ma trận phân phối sai số giúp so sánh trực tiếp tỷ lệ lỗi trước và sau khi áp dụng luật heuristic. Đạt được F-score 82,87%, kết quả này tương đương với mức 81,20% của Bikel Parser trên Chinese Treebank phiên bản 3.0, chứng minh rằng sự kết hợp giữa mô hình thống kê từ vựng hóa và luật heuristic hậu xử lý là hướng đi tối ưu cho các ngôn ngữ đơn lập.

Đề xuất và khuyến nghị

Dựa trên các kết luận thực nghiệm, nghiên cứu đề xuất 4 nhóm giải pháp chiến lược nhằm tiếp tục nâng cao chất lượng phân tích cú pháp tiếng Việt:

1. Mở rộng quy mô và chuẩn hóa kho ngữ liệu Viet Treebank: Các cơ quan chủ quản và viện nghiên cứu ngôn ngữ học tính toán cần nâng số lượng câu gán nhãn từ 10.471 câu hiện tại lên quy mô 30.000 đến 50.000 câu trong giai đoạn 12 đến 24 tháng tới, giúp tăng độ bao phủ từ vựng và giảm thiểu hiện tượng từ chưa biết. Chỉ số mục tiêu kỳ vọng là nâng F-score cơ sở lên trên 86,00%.
2. Phát triển bộ quy tắc heuristic nâng cao cho cấu trúc đẳng lập phức hợp: Nhóm nghiên cứu xử lý ngôn ngữ tự nhiên cần tiếp tục thiết lập các luật ngữ pháp chuyên biệt xử lý các câu đa tầng, chứa nhiều liên từ đẳng lập lồng nhau và dấu phẩy ngắt quãng trong vòng 6 tháng. Mục tiêu là giải quyết dứt điểm 17,02% số câu lỗi liên từ còn tồn đọng, đưa độ chính xác sửa lỗi liên từ đạt trên 95,00%.
3. Ứng dụng phương pháp huấn luyện bán giám sát: Các kỹ sư công nghệ ngôn ngữ nên áp dụng kỹ thuật tự huấn luyện hoặc chọn mẫu chủ động kết hợp kho văn bản báo chí chưa gán nhãn hàng triệu câu trong vòng 1 năm. Giải pháp này giúp giảm khoảng 40% chi phí gán nhãn thủ công mà vẫn tối ưu hóa độ chính xác của bộ phân tích.
4. Tích hợp từ điển ngữ nghĩa điện tử và phân lớp ngữ nghĩa: Nhóm chuyên gia phát triển hệ thống cần kết hợp từ điển phân loại ngữ nghĩa vào bộ phân tích cú pháp trong kế hoạch 18 tháng, gán nhãn ngữ nghĩa cho các thực thể nhằm loại bỏ triệt để các phân tích cú pháp mơ hồ do đồng âm khác nghĩa, hướng tới F-score tổng thể vượt ngưỡng 88,00%.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng trọng tâm:

1. Các nhà nghiên cứu và kỹ sư công nghệ xử lý ngôn ngữ tự nhiên: Tiếp cận chi tiết phương pháp chuyển giao và đóng gói bộ phân tích cú pháp Bikel cho ngôn ngữ mới, áp dụng trực tiếp 4 lớp Java tùy biến để xây dựng các công cụ phân tích cú pháp cho tiếng Việt hoặc các ngôn ngữ đơn lập trong khu vực.
2. Học viên cao học, nghiên cứu sinh và sinh viên ngành Khoa học máy tính: Sử dụng công trình như một tài liệu tham khảo học thuật chuẩn mực về lý thuyết ngữ pháp từ vựng hóa, ba mô hình Collins và giải thuật CYK trong xử lý văn bản, với đầy đủ quy trình thực nghiệm trên 10.471 câu ngữ liệu.
3. Nhà phát triển các hệ thống dịch máy, tóm tắt tự động và hỏi đáp thông minh: Khai thác kết quả cây cú pháp chính xác (với F-score 82,87%) để trích xuất cấu trúc chủ - vị và các thành phần phụ ngữ, nâng cao độ chính xác của câu dịch và câu trả lời trong các ứng dụng thực tế.
4. Chuyên gia xây dựng tài nguyên ngôn ngữ học tính toán: Tham khảo quy trình chuẩn hóa tập nhãn từ loại gồm 17 nhãn, nhãn cụm từ gồm 12 nhãn và nhãn câu gồm 5 nhãn của Viet Treebank để thiết kế các bộ ngữ liệu gán nhãn cú pháp quy mô lớn tiếp theo.

Câu hỏi thường gặp

Mô hình ngữ pháp từ vựng hóa có ưu điểm gì vượt trội so với ngữ pháp phi ngữ cảnh xác suất truyền thống khi áp dụng cho tiếng Việt?

Mô hình từ vựng hóa tích hợp trực tiếp từ trung tâm và nhãn từ loại vào từng nút cấu trúc cú pháp, giải quyết triệt để sự thiếu nhạy cảm với ngữ cảnh từ vựng của mô hình truyền thống. Trong thực tế với 10.471 câu của Viet Treebank, mô hình này giúp máy học tự động phân biệt quan hệ phụ thuộc chính xác, loại bỏ các cấu trúc nhập nhằng và nâng cao đáng kể độ chính xác phân tích.

Tại sao mô hình Collins Model 3 không mang lại hiệu quả cải thiện cho phân tích cú pháp tiếng Việt?

Mô hình 3 của Collins được thiết kế riêng để xử lý hiện tượng di chuyển đại từ nghi vấn và tạo vết trong tiếng Anh. Do tiếng Việt là ngôn ngữ đơn lập, từ để hỏi giữ nguyên vị trí trong câu thay vì đảo lên đầu, nên việc bổ sung thông tin khoảng trống ngữ pháp không mang lại bất kỳ sự cải thiện nào về mặt thống kê.

Bộ phân tích Bikel Parser được chuyển giao sang tiếng Việt thông qua những module cốt lõi nào?

Hệ thống được bản địa hóa thông qua gói ngôn ngữ Java gồm 4 lớp chính: Treebank (định nghĩa tập nhãn cú pháp), Training (tiền xử lý dữ liệu huấn luyện), WordFeature (ánh xạ đặc trưng từ vựng UTF-8) và HeadFinder (xác định từ trung tâm qua nhãn H), kết hợp cùng 2 tệp cấu hình quy tắc LISP để điều khiển quá trình huấn luyện 9.633 câu.

Các quy tắc heuristic đề xuất đã khắc phục những dạng lỗi cú pháp phổ biến nào?

Nghiên cứu tập trung giải quyết 2 nhóm lỗi chiếm trên 90% các trường hợp sai lệch: lỗi nhận diện cụm giới từ ở đầu câu (sửa đúng 93,75% trên 32 câu thử nghiệm) bằng quy tắc quét từ vị trí đầu đến dấu phẩy, và lỗi cấu trúc kết hợp qua liên từ cùng dấu phẩy (sửa đúng 82,98% trên 47 câu thử nghiệm) bằng quy tắc gom cụm đồng hạng.

Quy mô tập dữ liệu huấn luyện Viet Treebank ảnh hưởng như thế nào đến độ chính xác của bộ phân tích?

Thực nghiệm khẳng định quy mô ngữ liệu tỷ lệ thuận với độ chính xác. Khi tăng kích thước tập huấn luyện từ 60% (5.779 câu) lên 100% (9.633 câu), chỉ số F-score của mô hình Collins Model 2 tăng tuyến tính từ 73,76% lên 78,76%, cho thấy tiềm năng tăng trưởng hiệu năng rất lớn nếu mở rộng kho ngữ liệu lên trên 30.000 câu.

Kết luận

• Luận văn đã chuyển giao và thích ứng thành công bộ phân tích cú pháp Bikel Parser cho tiếng Việt bằng cách xây dựng gói ngôn ngữ Java hoàn chỉnh và tối ưu hóa các tệp cấu hình đặc thù.
• Khẳng định mô hình xác suất từ vựng hóa Collins Model 2 hoàn toàn phù hợp với cấu trúc ngữ pháp tiếng Việt, đạt F-score cơ sở 78,76% trên 532 câu kiểm thử chuẩn của Viet Treebank.
• Đóng góp bộ quy tắc heuristic xử lý cụm trạng ngữ mở đầu và liên từ đẳng lập, giúp sửa đúng tới 93,75% lỗi trạng ngữ và nâng F-score tổng thể lên 82,87% đối với câu dưới 40 từ.
• Chứng minh tầm quan trọng cốt lõi của thông tin khung phụ thuộc cú pháp và tác động tích cực của việc gia tăng kích thước dữ liệu huấn luyện từ 5.779 câu lên 9.633 câu.
• Về định hướng tiếp theo, trong vòng 12 đến 24 tháng tới, việc tích hợp kho ngữ liệu mở rộng trên 30.000 câu cùng phương pháp học bán giám sát và phân lớp ngữ nghĩa sẽ là chìa khóa then chốt đưa độ chính xác phân tích cú pháp tiếng Việt vượt mốc 88,00%. Hãy bắt đầu ứng dụng và phát triển các mô hình phân tích cú pháp tiên tiến ngay hôm nay để thúc đẩy hệ sinh thái xử lý ngôn ngữ tự nhiên tiếng Việt vươn tầm quốc tế.

Trích đoạn nội dung tài liệu

Lexicalized Statistical Parsing for Vietnamese Pham Thi Minh Thu Faculty of Information Technology Hanoi University of Engineering and Technology Vietnam National University, Hanoi Supervised by Doctor Le Anh Cuong A thesis submitted in fulfillment of the requirements for the degree of Master of Computer Science June, 2010 LUAN VAN CHAT LUONG download : add [e-mail] Table of Contents Acknowledgements ii 1 Introduction 1 1.1 What is syntactic parsing? .2 Current Studies in Parsing .3 Vietnamese syntactic parsing .4 Objective of the Thesis .1 Context Free Grammar (CFG) .1 Top-down parsing .2 Bottom-up parsing .3 Comparison between top-down parsing and bottom-up parsing .3 Probabilistic context-free grammar (PCFGs) .1 The concept of PCFG .2 Disadvantages of PCFGs .4 Lexical Probabilistic Context Free Grammar (LPCFGs) .2 The concept of Lexical Probabilistic Context Free Grammar (LPCFGs) 16 2.3 Three models of Collins. 18 3 Vietnamese parsing and our approach 21 3. 22 iii LUAN VAN CHAT LUONG download : add [e-mail] TABLE OF CONTENTS iv 3.2 The POS tagset and Syntax tagset for Vietnamese .4 Our approach in building a Vietnamese parser .1 Adapting Bikel's parser for Vietnamese .2 Analyze error and propse using heuristic rules. 30 4 Experiments and Discussion 33 4.2 Bikel's parsing tool .3 Adaptating Bikel's tool to Vietnamese .1 Investigate different configurations .4 Evaluation of the parser .4 Experimental results on using heuristic rules.

42 5 Conclusions and Future Work 46 5. 47 LUAN VAN CHAT LUONG download : add [e-mail] List of Figures 1.1 The parse tree of sentence "I go to school" .2 A parse tree in Vietnamese .1 The parse tree of the Vietnamese sentence "mÌo b¾t chuét" .2 Two derivations of the sentence "T«i hiÓu Lan h¬n Nga" .3 A parse tree of Vietnamese in LPCFG .4 A tree with the "C" suffix used to identify .1 Set of tag in Penn Treebank .2 A sample of labeled data in Penn Treebank before manually treatment .3 A sample of labeled data in Penn Treebank after manually treatment .4 Tagset of Penn Treebank .5 A sample of complete data in English and Vietnamese .1 The Bikel's system overview .2 Result of testing standard Collins' model 2 with training data's size change from 60% to 100% of the full data. Where series 1 and series 2 stand for testing on sentences with length less equal 40 and 100 respectively. 43 v LUAN VAN CHAT LUONG download : add [e-mail] List of Tables 2.1 Analysis table with CYK algorithm .1 POS tagset in Viet Treebank .2 Phrase tagset in Viet Treebank .3 Clause tagset in Viet Treebank .4 Syntax function tagset in Viet Treebank .1 The initial results on Viet Treebank with different configurations.

Key:CB = average crossing brackets, 0CB = zero crossing brackets, ≤ 2CB =≤ 2 crossing brackets. All results are percentages, except for those in the CB column .2 Number of sentence for training .3 The results with the change of the training data set .4 The error rate. We use 520 sentences for development testing. Then filtering sentences which have the F-score less than 70 %.

As the result, we collect 147 sentences into the set of error sentences. The Percentage of a error is calculated by the number of sentences commit this error divide 147. Because a sentence may be some errors so the total percentage may exceed 100 .5 The obtained results after applying some proposal rules to correct some wrong syntactic parsing. 44 vi LUAN VAN CHAT LUONG download : add [e-mail] Chapter 1 Introduction For a long time, human being have always dreamed of an intelligent machine which can listen to, understand and implement humans' requirements.

Many scientists have tried to make that dream and devoted many achievements for the science of artificial intelligence. In artificial intelligence, natural language processing (NLP) is a field which studies on how to understand and generate automatically human language. NLP has many practical applications such as machine translation, information extraction, discourse analysis, text summarization. These applications have the same basic problems such as lexical analysis, syntactic parsing and semantic analysis.

In which, syntactic parsing is the central role and it is also the goal of this thesis.1 What is syntactic parsing?