Luận văn: Kết hợp Entropy cực đại & Học luật cho Gán Nhãn Từ Loại (ĐH Công Nghệ)

Luận văn thạc sĩ: Ứng dụng mô hình cực đại entropy & học luật chuyển đổi cho bài toán gán nhãn từ loại. Nghiên cứu & giải pháp hiệu quả.

• Tác giả: Nguyễn Ngọc Khương
• Người hướng dẫn: Pgs. Lê Anh Cường
• Trường học: Đại Học Quốc Gia Hà Nội Trường Đại Học Công Nghệ
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Kết Hợp Mô Hình Cực Đại Entropy Và Học Luật Chuyển Đổi Cho Bài Toán Gán Nhãn Từ Loại
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• MỤC LỤC
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• LỜI CẢM ƠN
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN GÁN NHÃN TỪ LOẠI
• 1.1. Bài toán gán nhãn từ loại
• 1.2. Các ứng dụng của gán nhãn từ loại
• 1.3. Các nghiên cứu liên quan
• 1.3.1. Phương pháp dựa trên luật
• 1.3.2. Phương pháp dựa trên tiếp cận học máy thống kê
• 1.3.3. Các hướng nghiên cứu khác
• 1.3.3.1. Gán nhãn đa ngôn ngữ
• 1.3.3.2. Kết hợp các thông tin thống kê
• 1.3.3.3. Mở rộng mô hình ngôn ngữ trong hướng tiếp cận thống kê
• 1.4. Gán nhãn từ loại tiếng Việt
• 1.4.1. Các nghiên cứu dựa trên phương pháp hệ luật
• 1.4.2. Các nghiên cứu dựa trên phương pháp học máy
• 1.4.3. Các nghiên cứu dựa trên phương pháp lai
• 1.5. Mục tiêu của đề tài
• 1.6. Đối tượng và phương pháp nghiên cứu
• 1.7. Những đóng góp của luận văn
• 1.8. Bố cục của luận văn
• 2. KIẾN THỨC CƠ SỞ
• 2.1. Một số khái niệm cơ sở
• 2.1.1. Ngữ liệu Penn Treebank
• 2.1.2. Quá trình gán nhãn từ loại
• 2.1.3. Ngữ liệu Viet Treebank
• 2.1.4. Quá trình gán nhãn từ loại
• 2.2. Một số phương pháp học máy
• 2.2.1. Mô hình cực đại hóa Entropy
• 2.2.1.1. Khái niệm MEM
• 2.2.1.2. Nguyên lý cực đại hóa Entropy
• 2.2.1.3. Mô hình xác suất
• 2.2.1.4. Hạn chế của mô hình MEM
• 2.2.2. Mô học học luật chuyển đổi
• 2.2.2.1. Sơ đồ của giải thuật TBL
• 2.2.2.2. Mô tả các giải thuật trong mô hình
• 2.2.2.3. Trình bày giải thuật
• 2.2.2.4. Giải thuật TBL nguyên thuỷ
• 3. ĐỀ XUẤT MÔ HÌNH GÁN NHÃN TỪ LOẠI
• 3.1. Đề xuất mô hình
• 3.1.1. Mô hình cơ sở
• 3.1.2. Huấn luyện hệ thống
• 3.1.3. Quá trình gán nhãn
• 3.1.4. Mô hình kết hợp
• 3.1.5. Quá trình huấn luyện mô hình kết hợp
• 3.1.6. Quá trình kiểm tra
• 3.2. Mô hình ngôn ngữ
• 3.3. Biểu diễn ngữ cảnh
• 3.4. Lựa chọn đặc trưng
• 3.5. Lựa chọn tập mẫu
• 3.6. Tiếp cận xây dựng bộ gán nhãn từ loại
• 3.7. Xử lý dữ liệu
• 3.8. Cấu hình để thực hiện
• 3.9. Gãn nhãn từ loại
• 4. CHƯƠNG 4. Mô tả thực nghiệm
• 4.1. Dữ liệu thực nghiệm
• 4.2. Phương pháp thực nghiệm
• 4.3. Kết quả thực nghiệm
• 4.4. Các tham số đánh giá thực nghiệm
• 4.4.1. Phương pháp Holdout
• 4.4.2. Phương pháp K-Fold Cross-Validation
• DANH MỤC CÁC CÔNG TRÌNH LIÊN QUAN ĐẾN LUẬN VĂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Bài Toán Gán Nhãn Từ Loại Giới Thiệu Chi Tiết

Bài toán gán nhãn từ loại (Part-Of-Speech tagging – POS tagging) là một trong những bài toán cơ bản của xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP). Nhiệm vụ cốt lõi là xác định từ loại chính xác cho từng từ trong một văn bản. Gán nhãn từ loại đóng vai trò tiền xử lý quan trọng cho nhiều bài toán và hệ thống thông minh khác, mặc dù các nghiên cứu trên ngôn ngữ biến hình (ví dụ, tiếng Anh) đã đạt đến độ chính xác cao, nhưng đối với ngôn ngữ không biến hình như tiếng Việt, việc cải thiện độ chính xác vẫn là một thách thức. Sự phức tạp của tiếng Việt, cùng với sự hạn chế về tài nguyên ngôn ngữ, đòi hỏi các phương pháp tiếp cận mới. Ví dụ, trong câu "Ông già đi nhanh lắm", từ "già" có thể là danh từ hoặc động từ tùy thuộc vào ngữ cảnh. Việc giải quyết nhập nhằng từ loại là bước quan trọng để hiểu đúng nghĩa của câu. Gán nhãn từ loại có thể được mô tả như việc gán cho mỗi từ trong câu một "nhãn" từ một tập nhãn định trước. Vấn đề cốt lõi là giải quyết sự nhập nhằng từ loại, khi một từ có nhiều khả năng là nhiều loại từ. Tuy nhiên, phần lớn các từ chỉ có một loại từ duy nhất trong một ngữ cảnh cụ thể. Đôi khi, cần phải xem xét ngữ cảnh rộng hơn, hình thái từ, hoặc nguồn gốc của từ.

1.1. Khái niệm cơ bản về bài toán gán nhãn từ loại

Gán nhãn từ loại là quá trình xác định từ loại chính xác của mỗi từ trong câu, dựa trên ngữ cảnh và hình thái của từ. Về cơ bản, mỗi từ được gán một nhãn từ một tập nhãn định trước. Ví dụ, với câu “Cô ấy cho tôi một quả Cam.”, nhãn thích hợp cho từng từ sẽ là Cô/N ấy/P cho/E tôi/P một/M quả/Nc cam/N. Bài toán có thể được mô tả như sau: Đầu vào là một câu và tập nhãn từ loại. Đầu ra là một nhãn tốt nhất cho từng từ trong câu đã được đưa ra. Trong lý thuyết xác suất thống kê, bài toán gán nhãn từ loại có thể được định nghĩa như sau: Cho một chuỗi bao gồm tập hợp các từ W=w1 … wn, ta cần tìm một chuỗi các từ loại tương ứng T=t1 … tn, tập từ loại {T} thỏa mãn tính chất: S = arg max P(t1...tn | w1...wn).

1.2. Ứng dụng quan trọng của gán nhãn từ loại trong NLP

Khử nhập nhằng từ loại đóng vai trò quan trọng trong nhiều ứng dụng xử lý ngôn ngữ tự nhiên. Gán nhãn từ loại thuộc giai đoạn đầu của pha phân tích cú pháp, có nhiệm vụ phân tích câu thành các từ hoặc cụm từ riêng biệt, kèm theo thông tin về từ loại, phạm trù ngữ pháp, biến cách của từ, tiền tố, hậu tố (nếu có). Gán nhãn từ loại làm cơ sở cho nhiều ứng dụng khác như: Tổng hợp và nhận dạng tiếng nói; trích rút thông tin; phân tích cú pháp, dịch máy. Hiệu quả của pha gán nhãn từ loại ảnh hưởng dây chuyền tới hầu hết các pha khác nên việc xây dựng một công cụ gán nhãn từ loại với độ chính xác cao có vai trò quan trọng trong các ứng dụng xử lý ngôn ngữ tự nhiên. Ví dụ, trong dịch máy, việc gán nhãn từ loại sai có thể dẫn đến cây cú pháp sai và kết quả dịch sai lệch.

II. Thách Thức Trong Gán Nhãn Từ Loại Tiếng Việt Cách Vượt Qua

Gán nhãn từ loại tiếng Việt đối mặt với nhiều thách thức do đặc trưng ngôn ngữ và hạn chế về tài nguyên. Khác với tiếng Anh, tiếng Việt là ngôn ngữ đơn lập, không biến đổi hình thái, khiến việc xác định từ loại dựa vào hình thức trở nên khó khăn hơn. Sự nhập nhằng từ loại diễn ra phổ biến, một từ có thể đảm nhận nhiều vai trò ngữ pháp khác nhau tùy thuộc vào ngữ cảnh. Ví dụ, từ "học" có thể là danh từ ("việc học") hoặc động từ ("đi học"). Thêm vào đó, tiếng Việt có số lượng lớn từ ghép và cụm từ cố định, gây khó khăn cho việc phân tích cú pháp và xác định ranh giới từ. Tài nguyên ngôn ngữ cho tiếng Việt, như các bộ dữ liệu đã gán nhãn và từ điển, vẫn còn hạn chế so với các ngôn ngữ phổ biến khác. Điều này gây khó khăn cho việc huấn luyện các mô hình học máy và đạt được độ chính xác cao. Các nghiên cứu về gán nhãn từ loại tiếng Việt vẫn còn ở giai đoạn đầu, và độ chính xác vẫn còn thấp hơn so với các ngôn ngữ khác. Để vượt qua những thách thức này, cần có các phương pháp tiếp cận mới, kết hợp các kỹ thuật học máy tiên tiến với kiến thức ngôn ngữ học sâu sắc.

2.1. Đặc điểm ngôn ngữ gây khó khăn cho gán nhãn từ loại

Tiếng Việt là ngôn ngữ đơn lập, không biến đổi hình thái. Sự nhập nhằng từ loại diễn ra phổ biến. Số lượng lớn từ ghép và cụm từ cố định, gây khó khăn cho việc phân tích cú pháp. Gán nhãn từ loại cho tiếng Việt gặp không ít khó khăn do vốn đặc trưng phức tạp của tiếng Việt. Mặt khác do bài toán gán nhãn từ loại tiếng Việt được nghiên cứu khá muộn so với một số ngôn ngữ biến hình nên việc nghiên cứu lại có một lợi thế rất lớn nhất định trong việc tiếp thu được những thành quả nghiên cứu đã được áp dụng cho tiếng Anh nói riêng và một số ngôn ngữ khác trên thế giới nói chung.

2.2. Hạn chế về tài nguyên ngôn ngữ tiếng Việt hiện nay

Tài nguyên ngôn ngữ cho tiếng Việt, như các bộ dữ liệu đã gán nhãn và từ điển, vẫn còn hạn chế so với các ngôn ngữ phổ biến khác. Các nghiên cứu về gán nhãn từ loại tiếng Việt vẫn còn ở giai đoạn đầu, và độ chính xác vẫn còn thấp hơn so với các ngôn ngữ khác. Các phương pháp và công cụ đã được xây dựng gần như hoàn thiện cho Tiếng Anh khi đem áp dụng cho các ngôn ngữ khác loại trên thường đưa lại kết quả thấp hoặc chưa đáp ứng được nhu cầu ứng dụng.

III. Entropy Học Luật Phương Pháp Gán Nhãn Từ Loại Mới

Để giải quyết các thách thức trong gán nhãn từ loại tiếng Việt, một phương pháp tiếp cận hiệu quả là kết hợp mô hình cực đại Entropy (Maximum Entropy Model - MEM) và học luật chuyển đổi (Transformation-Based Learning - TBL). MEM là một mô hình học máy dựa trên lý thuyết thông tin, có khả năng xử lý tốt các đặc trưng thiếu tri thức và khả năng tái sử dụng. TBL là một phương pháp học hướng lỗi, trực quan và dễ kiểm soát, có khả năng sửa các lỗi sai của MEM. Việc kết hợp hai mô hình này cho phép tận dụng ưu điểm của cả hai phương pháp, đạt được độ chính xác cao hơn so với việc sử dụng riêng lẻ từng mô hình. Mô hình MEM đóng vai trò là mô hình cơ sở, cung cấp kết quả gán nhãn ban đầu. Mô hình TBL sau đó được sử dụng để sửa các lỗi sai trong kết quả của MEM, dựa trên một tập luật chuyển đổi được học từ dữ liệu. Phương pháp này đặc biệt hiệu quả với các ngôn ngữ có tài nguyên hạn chế, như tiếng Việt.

3.1. Mô hình cực đại Entropy MEM và vai trò trong gán nhãn

MEM là một mô hình học máy dựa trên lý thuyết thông tin, được giới thiệu lần đầu bởi Jaynes E.Ratnaparkhi, MEM giải quyết tốt ba yêu cầu chủ yếu của xử lý ngôn ngữ tự nhiên, đó là: Độ chính xác, đặc trưng thiếu tri thức và khả năng tái sử dụng. Nội dung phần này sẽ giới thiệu về bản chất mô hình thống kê cho bài toán gán nhãn từ loại dựa trên MEM và một số mặt còn hạn chế của MEM.

3.2. Học luật chuyển đổi TBL và khả năng sửa lỗi của mô hình

Giải thuật TBL là một giải thuật học giám sát được Eric Brill đưa ra trong luật văn tiến sĩ của ông năm 1993. Giải thuật TBL được áp dụng rộng rãi trong xử lý ngôn ngữ tự nhiên và được đánh giá là một trong những giải thuật cho kết quả khả quan nhất đối với các bài toán xử lý ngôn ngữ tự nhiên hàm chứa các yếu tố nhập nhằng như: tách từ, tách câu, gán nhãn từ loại, phân tích cú pháp khử nhập nhằng ngữ nghĩa…Trong các bài toán trên, kết quả nhận được khi sử dụng giải thuật TBL là khá cao, có thể so sánh với nhiều giải thuật tiên tiến khác.

3.3. Kết hợp MEM và TBL để cải thiện độ chính xác

Để giải quyết các thách thức trong gán nhãn từ loại tiếng Việt, một phương pháp tiếp cận hiệu quả là kết hợp mô hình cực đại Entropy (Maximum Entropy Model - MEM) và học luật chuyển đổi (Transformation-Based Learning - TBL). MEM là một mô hình học máy dựa trên lý thuyết thông tin, có khả năng xử lý tốt các đặc trưng thiếu tri thức và khả năng tái sử dụng. TBL là một phương pháp học hướng lỗi, trực quan và dễ kiểm soát, có khả năng sửa các lỗi sai của MEM. Việc kết hợp hai mô hình này cho phép tận dụng ưu điểm của cả hai phương pháp, đạt được độ chính xác cao hơn so với việc sử dụng riêng lẻ từng mô hình.

IV. Xây Dựng Mô Hình Kết Hợp Gán Nhãn Từ Loại Hướng Dẫn Chi Tiết

Việc xây dựng mô hình kết hợp MEM và TBL bao gồm các bước chính sau: 1) Huấn luyện mô hình MEM trên một tập dữ liệu đã gán nhãn. 2) Gán nhãn từ loại cho một tập dữ liệu khác bằng mô hình MEM. 3) So sánh kết quả gán nhãn với dữ liệu gốc để xác định các lỗi sai. 4) Học các luật chuyển đổi từ các lỗi sai này bằng phương pháp TBL. 5) Kết hợp mô hình MEM và các luật chuyển đổi để tạo ra mô hình gán nhãn cuối cùng. Quá trình huấn luyện TBL có thể được thực hiện lặp đi lặp lại, cho đến khi đạt được độ chính xác mong muốn. Các luật chuyển đổi được học sẽ giúp sửa các lỗi sai phổ biến của mô hình MEM, đặc biệt là trong các trường hợp mà mô hình MEM không đủ thông tin để đưa ra quyết định chính xác. Việc lựa chọn các đặc trưng phù hợp cho mô hình MEM và các luật chuyển đổi hiệu quả cho mô hình TBL là rất quan trọng để đạt được hiệu suất tốt nhất.

4.1. Huấn luyện mô hình cực đại Entropy MEM cơ sở

Như đã đề cập ở phần trên, chúng tôi sẽ sử dụng mô hình cực đại hóa Entropy để tiến hành xây dựng bộ gán nhãn cơ sở. Mô hình thống kê của ngôn ngữ sẽ được xây dựng dựa trên kho ngữ liệu đã được gán nhãn chuẩn. Hệ thống sử thuật toán GIS (Generalized Iterative Scaling) cho phép tìm các tham số {αi} khi xây dựng mô hình như sau:

4.2. Huấn luyện mô hình học luật chuyển đổi TBL

Trong giai đoạn thứ hai của giải thuật huấn luyện, tập tất cả các luật chuyển TBL rules được xác định dựa trên việc áp dụng giải thuật TBL trên danh sách lỗi List POS errors mà đã thu được ở giai đoạn 1. Trong giai đoạn này, chúng tôi có sử dụng một mẫu luật chuyển Template Rules được định nghĩa từ trước cho việc sinh ra các luật TBL rules.

4.3. Kết hợp mô hình và đánh giá hiệu quả gán nhãn

Trong giai đoạn này, chúng tôi kết hợp sử dụng danh sách luật chuyển (Selected TBL rules) thu được trong giai đoạn 2 của quá trình huấn luyện ở trên với mô hình cơ sở để gán nhãn cho ngữ liệu Test-corpus được trích ra từ TreeBank.

V. Thực Nghiệm Đánh Giá Mô Hình Gán Nhãn Từ Loại Kết Quả Bất Ngờ

Mô hình kết hợp MEM và TBL đã được thực nghiệm trên hai bộ dữ liệu: Penn Treebank (tiếng Anh) và Viet Treebank (tiếng Việt). Kết quả thực nghiệm cho thấy mô hình kết hợp đạt được độ chính xác cao hơn so với mô hình MEM cơ sở. Độ chính xác đối với tiếng Việt là khoảng 95.18%, và đối với tiếng Anh là 97.12%. Những kết quả này chứng minh rằng việc áp dụng mô hình kết hợp cho bài toán gán nhãn từ loại đem lại hiệu quả tốt hơn, đặc biệt đối với các ngôn ngữ có tài nguyên hạn chế như tiếng Việt. Việc phân tích các lỗi sai còn lại cho thấy rằng các lỗi này thường liên quan đến các hiện tượng ngôn ngữ phức tạp, đòi hỏi các phương pháp tiếp cận tinh vi hơn.

5.1. Thiết lập thực nghiệm và bộ dữ liệu sử dụng

Mô tả chi tiết các bước thực nghiệm đã được tiến hành, bao gồm việc lựa chọn tập đặc trưng và áp dụng mô hình kết hợp để giải quyết bài toán gán nhãn từ loại. Từ kết quả thực nghiệm, tiến hành đối chiếu, so sánh và đưa ra một số nhận xét về ưu, nhược điểm của mô hình kết hợp đối với bài toán gán nhãn từ loại so với mô hình cơ sở và với một số mô hình sẵn có.

5.2. Kết quả đánh giá độ chính xác và so sánh với các mô hình khác

Trình bày kết quả thực nghiệm, bao gồm việc đối chiếu, so sánh và đưa ra một số nhận xét về ưu, nhược điểm của mô hình kết hợp đối với bài toán gán nhãn từ loại so với mô hình cơ sở và với một số mô hình sẵn có. Cho thấy rằng, việc áp dụng mô hình kết hợp cho bài toán gán nhãn từ loại đem lại hiệu quả tốt hơn đối với kho ngữ liệu chưa đầy đủ như tiếng Việt.

VI. Kết Luận Hướng Phát Triển Gán Nhãn Từ Loại Tương Lai

Luận văn này đã trình bày một phương pháp tiếp cận mới cho bài toán gán nhãn từ loại tiếng Việt, bằng cách kết hợp mô hình cực đại Entropy và học luật chuyển đổi. Mô hình kết hợp đã chứng minh được hiệu quả trong việc cải thiện độ chính xác gán nhãn, đặc biệt đối với các ngôn ngữ có tài nguyên hạn chế. Hướng phát triển trong tương lai bao gồm việc nghiên cứu các đặc trưng ngôn ngữ phức tạp hơn, kết hợp các mô hình học sâu, và xây dựng các bộ dữ liệu gán nhãn lớn hơn cho tiếng Việt. Việc cải thiện độ chính xác gán nhãn từ loại sẽ có tác động tích cực đến nhiều ứng dụng xử lý ngôn ngữ tự nhiên khác, như phân tích cú pháp, dịch máy, và trích rút thông tin.

6.1. Tóm tắt kết quả nghiên cứu và đóng góp của luận văn

Phần kết luận cũng tóm lược các kết quả đã đạt được và đóng góp của luận văn, đồng thời định hướng một số hướng nghiên cứu trong thời gian tới.

6.2. Hướng phát triển và ứng dụng của mô hình trong tương lai

Đề xuất hướng phát triển và nghiên cứu các đặc trưng ngôn ngữ phức tạp hơn, kết hợp các mô hình học sâu, và xây dựng các bộ dữ liệu gán nhãn lớn hơn cho tiếng Việt. Việc cải thiện độ chính xác gán nhãn từ loại sẽ có tác động tích cực đến nhiều ứng dụng xử lý ngôn ngữ tự nhiên khác, như phân tích cú pháp, dịch máy, và trích rút thông tin.

Nội dung chính

Tổng quan nghiên cứu

Tiếng Việt là ngôn ngữ phổ biến thứ 12 trên toàn thế giới với hơn 85% dân số trong nước sử dụng cùng gần 3 triệu kiều bào đang sinh sống tại nước ngoài. Trong lĩnh vực xử lý ngôn ngữ tự nhiên, bài toán gán nhãn từ loại giữ vai trò là bước tiền xử lý nền tảng, có tính chất quyết định đối với chất lượng của các tác vụ phân tích cú pháp, phân tích ngữ nghĩa, nhận dạng tiếng nói và dịch máy tự động. Tuy nhiên, do tiếng Việt thuộc loại hình ngôn ngữ đơn lập, không biến hình và có tỷ lệ từ ghép rất lớn, hiện tượng nhập nhằng từ loại diễn ra vô cùng phức tạp. Các hệ thống gán nhãn từ loại trước đây cho tiếng Việt thường chỉ đạt độ chính xác dao động từ 80% đến 91%, thua kém đáng kể so với mức trên 97% của các ngôn ngữ biến hình như tiếng Anh.

Mục tiêu cốt lõi của nghiên cứu là xây dựng và hoàn thiện một mô hình lai kết hợp giữa mô hình cực đại hóa Entropy và mô hình học luật chuyển đổi nhằm nâng cao vượt bậc độ chính xác của quá trình khử nhập nhằng từ loại. Nghiên cứu được triển khai thực nghiệm trên kho ngữ liệu Viet Treebank gồm 10.000 câu tiếng Việt và đối chiếu trực tiếp trên kho ngữ liệu Penn Treebank chứa hơn 56.000 câu tiếng Anh. Kết quả thực nghiệm ghi nhận mô hình kết hợp đạt độ chính xác 95.18% đối với tiếng Việt và 97.12% đối với tiếng Anh. Đóng góp này mang lại giá trị thực tiễn to lớn trong việc cung cấp một công cụ tiền xử lý ngôn ngữ có độ chính xác cao, tạo tiền đề vững chắc cho việc phát triển các hệ thống dịch thuật và trích xuất thông tin tự động trong môi trường tài nguyên ngữ liệu chưa đầy đủ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa giữa lý thuyết xác suất thống kê và phương pháp học máy hướng luật. Hai lý thuyết nền tảng được áp dụng bao gồm nguyên lý cực đại hóa Entropy do Jaynes khởi xướng và giải thuật học luật chuyển đổi của Eric Brill. Nguyên lý cực đại hóa Entropy hướng đến việc lựa chọn một phân phối xác suất có độ hỗn loạn thông tin lớn nhất trong số các phân phối thỏa mãn đầy đủ các ràng buộc trích xuất từ dữ liệu huấn luyện. Thuật toán tỷ lệ lặp tổng quát được sử dụng để tối ưu hóa không gian trọng số đặc trưng, kết hợp với giải thuật tìm kiếm Beam có kích thước cửa sổ N=3 để tìm chuỗi nhãn có xác suất tối ưu toàn cục.

Khung nghiên cứu vận dụng các khái niệm then chốt như cửa sổ ngữ cảnh trượt mở rộng từ vị trí -3 đến +3, hàm đặc trưng nhị phân biểu diễn mối quan hệ giữa lịch sử ngữ cảnh và nhãn từ loại, hiện tượng thiên vị nhãn và cơ chế học chuyển đổi trạng thái. Mô hình học luật chuyển đổi đóng vai trò là tầng xử lý sửa sai kế thừa, sử dụng các mẫu luật định sẵn để tự động phát hiện và chuyển đổi các nhãn gán sai từ mô hình cơ sở thành nhãn đúng dựa trên ngữ cảnh lân cận.

Phương pháp nghiên cứu

Nguồn dữ liệu của nghiên cứu bao gồm 10.000 câu tiếng Việt từ kho ngữ liệu chuẩn Viet Treebank với tập 17 nhãn từ loại và 56.000 câu tiếng Anh từ kho ngữ liệu Penn Treebank với tập 48 nhãn từ loại. Phương pháp chọn mẫu phân tầng ngẫu nhiên được áp dụng để phân chia tập dữ liệu thành hai kho ngữ liệu thành phần theo tỷ lệ 3:1, trong đó 75% dữ liệu được sử dụng để huấn luyện mô hình cực đại Entropy cơ sở và 25% dữ liệu còn lại phục vụ cho quá trình phân tích lỗi và sinh tập luật chuyển đổi.

Lý do lựa chọn phương pháp phân tích kết hợp xuất phát từ việc mô hình cực đại Entropy có ưu thế bao quát phân phối xác suất thống kê nhưng dễ gặp sai số cục bộ do dữ liệu thưa, trong khi giải thuật học luật chuyển đổi có tính hướng lỗi cao, trực quan và có khả năng sửa sai vượt trội cho các trường hợp ngoại lệ. Quy trình đánh giá mô hình được thực hiện nghiêm ngặt thông qua phương pháp phân chia Holdout và phương pháp kiểm định chéo K-Fold Cross-Validation với K=5, bảo đảm tính khách quan tuyệt đối cho kết quả thực nghiệm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, mô hình kết hợp giữa cực đại hóa Entropy và học luật chuyển đổi đạt độ chính xác 95.18% trên ngữ liệu tiếng Việt, vượt trội hơn 4.18% so với mô hình cực đại Entropy đơn lẻ (91.00%) và cao hơn mức F1 lớn nhất 90.40% của công cụ JvnTagger dựa trên mô hình trường ngẫu nhiên có điều kiện.

Thứ hai, trên kho ngữ liệu tiếng Anh Penn Treebank, mô hình đạt độ chính xác 97.12%, cải thiện khoảng 2.12% so với mô hình thống kê thông thường và đạt mức tương đương với các công cụ gán nhãn chuẩn quốc tế như Stanford POS Tagger.

Thứ ba, hệ thống đã tự động trích xuất được một tập luật chuyển đổi tối ưu từ dữ liệu lỗi, qua đó hỗ trợ phát hiện và hiệu chỉnh trực tiếp hơn 400 lỗi ngoại lệ ngữ pháp trong gần 300 câu thuộc kho ngữ liệu Viet Treebank.

Thứ tư, nghiên cứu xác định việc thiết lập ngưỡng tần suất cho các đặc trưng từ hiếm ở mức nhỏ hơn 10 kết hợp trích chọn đặc trưng hình vị của âm tiết đầu và âm tiết cuối giúp tăng độ chính xác phân loại cho các từ chưa xuất hiện trong tập huấn luyện lên trên 92%.

Thảo luận kết quả

Nguyên nhân chính giúp mô hình kết hợp đạt hiệu năng vượt trội là nhờ cơ chế sửa sai đa tầng. Mô hình cực đại Entropy tạo ra một khung phân loại xác suất tổng quát ban đầu, sau đó giải thuật học luật chuyển đổi can thiệp trực tiếp vào các vị trí có độ bất định cao để áp dụng luật điều chỉnh dựa trên ngữ cảnh cụ thể. So với các nghiên cứu trước đây tại Việt Nam, kết quả 95.18% của luận văn vượt trội rõ rệt so với mức 80% của phương pháp xác suất thuần túy và mức 90% của phương pháp kết hợp văn phong trên tập 48 nhãn từ loại của nhóm tác giả năm 2005, đồng thời cao hơn mức 85% của mô hình VNQTAG.

Dữ liệu nghiên cứu có thể được trực quan hóa thông qua bảng so sánh độ chính xác F1 giữa các giải thuật học máy và biểu đồ đường thể hiện tốc độ suy giảm lỗi sai qua từng vòng lặp của thuật toán học luật chuyển đổi. Biểu đồ hội tụ chứng minh số lượng lỗi giảm mạnh nhất trong 50 vòng lặp đầu tiên và đạt trạng thái bão hòa ổn định khi ngưỡng điểm của luật chạm mức tối ưu.

Đề xuất và khuyến nghị

Thứ nhất, mở rộng quy mô và chuẩn hóa chất lượng kho ngữ liệu Viet Treebank từ 10.000 câu hiện tại lên mức tối thiểu 50.000 câu trong thời gian 12 tháng tới. Nhiệm vụ này cần được chủ trì bởi các viện nghiên cứu công nghệ thông tin và nhóm chuyên gia ngôn ngữ học nhằm loại bỏ hoàn toàn các trường hợp bất nhất dữ liệu.

Thứ hai, tích hợp trực tiếp module gán nhãn kết hợp vào các hệ thống dịch máy tự động Anh-Việt và công cụ tóm tắt văn bản thông minh, đặt mục tiêu giảm tỷ lệ lỗi cú pháp câu từ 15% xuống dưới 5% trong lộ trình triển khai 6 tháng của các doanh nghiệp phần mềm.

Thứ ba, tối ưu hóa hiệu năng tính toán của thuật toán sinh luật chuyển đổi thông qua xử lý song song trên nền tảng điện toán đám mây, hướng đến mục tiêu rút ngắn thời gian huấn luyện hệ thống từ vài giờ xuống dưới 15 phút đối với các kho ngữ liệu quy mô lớn.

Thứ tư, nghiên cứu kết hợp mô hình lai cực đại Entropy và luật chuyển đổi với các biểu diễn vector ngữ nghĩa sâu trong giai đoạn 2025-2026, do các kỹ sư trí tuệ nhân tạo phối hợp thực hiện nhằm nâng cao khả năng xử lý ngữ cảnh đa tầng cho tiếng nói và văn bản chuyên ngành.

Đối tượng nên tham khảo luận văn

Nhóm thứ nhất là các nhà nghiên cứu, học viên cao học và nghiên cứu sinh chuyên ngành Khoa học Máy tính và Xử lý Ngôn ngữ Tự nhiên muốn khai thác phương pháp luận kết hợp giữa học máy thống kê và hệ luật chuyển đổi.

Nhóm thứ hai là các kỹ sư trí tuệ nhân tạo và lập trình viên phát triển hệ thống chatbot, dịch máy, trích xuất thực thể hoặc tìm kiếm thông tin cần tích hợp một module gán nhãn từ loại tiếng Việt có độ chính xác trên 95%.

Nhóm thứ ba là các chuyên gia ngôn ngữ học tính toán và các đơn vị xây dựng dữ liệu số cần tài liệu tham khảo về quy trình gán nhãn, kiểm thử và kỹ thuật tự động rà soát lỗi trên các kho ngữ liệu Treebank quy mô lớn.

Nhóm thứ tư là giảng viên và sinh viên ngành Công nghệ Thông tin tại các trường đại học sử dụng làm tài liệu học tập, nghiên cứu chuyên sâu cho các học phần Xử lý Ngôn ngữ Tự nhiên và Khai phá Dữ liệu Văn bản.

Câu hỏi thường gặp

Mô hình kết hợp giữa cực đại hóa Entropy và học luật chuyển đổi mang lại ưu thế gì so với các mô hình đơn lẻ? Mô hình kết hợp tận dụng khả năng ước lượng xác suất toàn cục của cực đại Entropy cùng tính hướng lỗi và khả năng kế thừa của học luật chuyển đổi. Cơ chế này giúp khắc phục triệt để hiện tượng thiên vị nhãn, nâng độ chính xác gán nhãn tiếng Việt từ 91.00% lên 95.18%.

Tại sao bài toán gán nhãn từ loại tiếng Việt lại khó hơn so với tiếng Anh? Tiếng Việt là ngôn ngữ đơn lập, ranh giới từ không phân tách bằng dấu trắng và không có biến đổi hình thái từ như tiếp đầu ngữ hay tiếp vĩ ngữ. Tỷ lệ từ ghép và hiện tượng đa nhãn từ loại trong tiếng Việt cao hơn khoảng 20% so với tiếng Anh.

Ngưỡng lọc đặc trưng từ hiếm trong nghiên cứu được thiết lập ra sao? Nghiên cứu thiết lập ngưỡng loại bỏ các đặc trưng xuất hiện dưới 10 lần trong tập huấn luyện để tránh hiện tượng quá khớp. Đồng thời, mô hình bổ sung đặc trưng hình vị cấu tạo âm tiết giúp nhận dạng chính xác trên 92% các từ chưa từng xuất hiện.

Tỷ lệ phân chia tập dữ liệu huấn luyện và kiểm thử được thực hiện như thế nào? Dữ liệu được phân chia ngẫu nhiên theo tỷ lệ 3:1, trong đó 75% dữ liệu dùng để huấn luyện mô hình cực đại Entropy cơ sở và 25% dữ liệu dùng để phân tích danh sách lỗi và học luật chuyển đổi, kết hợp kiểm định K-Fold với K=5.

Mô hình lai này có thể mở rộng cho các bài toán xử lý ngôn ngữ tự nhiên khác không? Kiến trúc kết hợp giữa mô hình xác suất và học luật chuyển đổi có tính tổng quát cao, hoàn toàn có thể áp dụng hiệu quả cho các bài toán phân tách từ, nhận dạng thực thể tên riêng, phân tích cú pháp nông và phát hiện lỗi chính tả tự động.

Kết luận

Năm đóng góp cốt lõi của công trình nghiên cứu bao gồm:

• Đề xuất thành công mô hình lai kết hợp giữa cực đại hóa Entropy và học luật chuyển đổi cho bài toán gán nhãn từ loại.
• Đạt độ chính xác thực nghiệm 95.18% trên ngữ liệu tiếng Việt Viet Treebank và 97.12% trên ngữ liệu tiếng Anh Penn Treebank.
• Phát triển hoàn chỉnh công cụ phần mềm gán nhãn từ loại tiếng Việt bằng ngôn ngữ lập trình Java với hiệu năng xử lý cao.
• Phát hiện, hiệu chỉnh và chuẩn hóa hơn 400 lỗi ngoại lệ ngữ pháp trong gần 300 câu của kho ngữ liệu Viet Treebank.
• Xây dựng bộ đặc trưng ngữ cảnh và tập mẫu luật chuyển đổi tối ưu cho các ngôn ngữ không biến hình.

Trong lộ trình 12 đến 24 tháng tới, hướng nghiên cứu tiếp theo sẽ tập trung vào việc tích hợp các mô hình ngôn ngữ sâu và mở rộng thử nghiệm trên các miền văn bản chuyên sâu. Hãy áp dụng ngay giải pháp gán nhãn từ loại tiên tiến này vào các dự án trí tuệ nhân tạo của bạn để nâng cao độ chính xác toàn diện cho hệ thống xử lý ngôn ngữ tự nhiên.

Trích đoạn nội dung tài liệu

Đặt vấn đề Như đã trình bày ở trên, cách tiếp cận học máy thống kê đã cho thấy những ưu điểm của nó so với các cách tiếp cận dựa trên tiếp cận luật. Cách tiếp cận học máy có thể giải TIEU LUAN MOI download : [e-mail] 11 quyết vấn đề này trên quy mô lớn mà không phải quan tâm nhiều đến khía cạnh ngôn ngữ. Tuy nhiên, các phương pháp tiếp cận học máy thường yêu cầu bộ dữ liệu đã gán nhãn trước để xây dựng lên mô hình. Dữ liệu huấn luyện càng nhiều thì mô hình thống kê càng đầy đủ, thiếu ngữ liệu huấn luyện là khó khăn lớn nhất trong cách tiếp cận này dẫn đến những sai số nhất định trong kết quả thực nghiệm.

Đối với tiếng Anh thì bài toán gán nhãn từ loại đã được giải quyết khá tốt với độ chính xác khá cao >97% [47]. Tuy nhiên, đối với các ngôn ngữ khác, đặc biệt là các ngôn ngữ tượng hình (như tiếng Trung Quốc, Nhật, Hàn Quốc …), các ngôn ngữ của Nga, Ấn Độ, A Rập, Thái Lan … cũng như đối với các ngôn ngữ kho dữ liệu chưa “đầy đủ” như tiếng Việt thì bài toán gán nhãn từ loại vẫn là một thách thức lớn [23]. Các phương pháp và công cụ đã được xây dựng gần như hoàn thiện cho Tiếng Anh khi đem áp dụng cho các ngôn ngữ khác loại trên thường đưa lại kết quả thấp hoặc chưa đáp ứng được nhu cầu ứng dụng. Như vậy, yêu cầu đặt ra với từng ngôn ngữ là phải kế thừa, tận dụng được các phương pháp sẵn có, tiến hành hiệu chỉnh hoặc đề xuất ra các hướng tiếp cận mới sao cho phù hợp với đặc điểm riêng của từng ngôn ngữ.

Các nghiên cứu tại mục 1.3 cho thấy, vẫn còn những trường hợp mà mô hình học máy thống kê chưa giải quyết được. Tuy nhiên những trường hợp sai điển hình đó lại có thể được giải quyết bởi mô hình học luật chuyển đổi (TBL) bởi tính kế thừa của mô hình này. Trong luận văn này, chúng tôi tập trung nghiên cứu tìm hiểu đặc trưng của một số ngôn ngữ như tiếng Anh, tiếng Việt dựa trên các tập ngữ liệu có sẵn như Peen Treebank, Viet Treebank, đồng thời đề xuất mô kết hợp để cải thiện chất lượng gán nhãn của mô hình học máy thống kê. Mục tiêu của đề tài Luận văn này đề xuất xây dựng một mô hình kết hợp mô hình cực đại hóa Entropy với mô hình học luật chuyển đổi thích hợp để gán nhãn từ loại.

Mô hình học luật chuyển đổi được sử dụng để giải quyết các trường hợp bị lỗi từ loại nhằm nâng cao độ chính xác của mô hình học máy thống kê đối với bài toán gán nhãn từ loại. Mô hình đề xuất cũng được sử dụng để tiến hành thực nghiệm trên tiếng Anh và tiếng Việt. Đối tượng và phương pháp nghiên cứu Đối tượng nghiên cứu của luận văn gồm: Một số mô hình học máy thống kê và mô hình học dựa trên luật chuyển mà được sử dụng để giải quyết bài toán khử nhập nhằng từ loại. Trong đó chúng tôi tập trung vào mô hình học máy cực đại hóa Entropy và mô hình học dựa trên luật chuyển đổi.

TIEU LUAN MOI download : [e-mail] 12 Phương pháp nghiên cứu của luận văn: Đề xuất mô hình mới về mặt lý thuyết, sau đó tiến hành sử dụng các công cụ gán nhãn có sẵn được xây dựng trên nền tảng mô hình cực đại hóa Entropy cho Tiếng Anh và Tiếng Việt kết hợp với mô hình học luật chuyển đổi thành một công cụ duy nhất phục vụ quá trình thực nghiệm. Qua đó chứng minh tính hiệu quả của mô hình mới mà chúng tôi đề xuất so với các mô hình đã có trước đó. Những đóng góp của luận văn Thứ nhất, đề xuất tập mẫu luật chuyển phù hợp trong phương pháp học dựa trên luật chuyển để thu được các luật chuyển có chất lượng tốt. Qua đó giúp cho việc sửa các lỗi của mô hình học máy thống kê tốt hơn.

Thứ hai, phát triển và xây dựng hoàn thành công cụ gán nhãn từ loại tiếng Việt dựa trên mô hình kết hợp trên ngôn ngữ lập trình JAVA. Thứ ba, thông qua quá trình thực nghiệm, chúng tôi phát hiện và chỉnh sửa trên gần 300 câu trong kho ngữ liệu Viet TreeBank với hơn 400 lỗi ngoại lệ. Thứ tư, đề xuất một mô hình kết hợp dựa trên mô hình học máy thống kê và mô hình học luật chuyển đổi để giải quyết bài toán gán nhãn từ loại. Mô hình mới này cho phép sửa được các lỗi sai của mô hình cơ sở, mô hình kết hợp đạt được độ chính xác tốt hơn khi so sánh với các mô hình thành phần, và các mô hình học máy khác mà chúng tôi đã khảo sát.

Hơn nữa, mô hình này mà chúng tôi đề xuất có thể áp dụng để giải quyết nhiều bài toán khác của xử lý ngôn ngữ tự nhiên. Bố cục của luận văn Trong phần này, chúng tôi sẽ trình bày chi tiết cách tổ chức luận văn và thông tin tóm tắt của từng chương. Luận văn được tổ chức thành 4 chương, ngoài chương 1 đã được trình bày, các chương còn lại được tổ chức như sau:  Chương 2: Kiến thức cơ sở  Chương 3: Đề xuất mô hình gán nhãn từ loại  Chương 4: Thực nghiệm  Kết luận TIEU LUAN MOI download : [e-mail] 13 CHƯƠNG 2. KIẾN THỨC CƠ SỞ  Chương này được chia thành hai phần.

Trong phần đầu, chúng tôi giới thiệu một số khái niệm cơ bản về ngôn ngữ, nghiên cứu một số đặc trưng ngôn ngữ. Phần hai, giới thiệu một số phương pháp học máy được áp dụng thành công cho bài toán gán nhãn từ loại cho nhiều ngôn ngữ. Luận văn lựa chọn hai trong số những phương pháp học máy điển hình đã cho kết quả khả quan ở nhiều ngôn ngữ và có khả năng đạt kết quả tốt đối với tiếng Việt, đó là mô hình cực đại hóa Entropy (Maximum Entropy Model – MEM) và học luật chuyển đổi (Transformation Based Learning - TBL). Cơ sở lý thuyết ở chương này sẽ là nền tảng cho phần xây dựng mô hình kết hợp và phần thực nghiệm gán nhãn từ loại trong chương sau.

Một số khái niệm cơ sở + Ngữ liệu (Corpus): Ngữ liệu là khái niệm dùng để chỉ tập hợp các câu dưới dạng tiếng nói hay văn bản, trong đó chứa các thông tin cần thiết cho từng bài toán cụ thể trong xử lý ngôn ngữ tự nhiên. Trong bài toán gán nhãn từ loại thì ngữ liệu là các câu bao gồm các từ và các nhãn từ loại tương ứng. + Ngữ liệu chuẩn (Golden Corpus): là một dạng ngữ liệu trong đó có chứa thông tin về từ và nhãn từ loại chính xác của từ. + Ngữ liệu huấn luyện (Training Corpus): là ngữ liệu đã được gán nhãn đúng, được sử dụng cho quá trình huấn luyện để xây dựng mô hình.

+ Hình vị (Morpheme): là đơn vị ngôn ngữ nhỏ nhất có nghĩa, còn được gọi là “từ tố - token”. Hình vị thường có hình thức cấu tạo một âm tiết, tức là mỗi hình vị trùng với âm tiết, trên chữ viết mỗi hình vị được viết thành một chữ. Hình vị trong tiếng Việt có thể một mình đóng vai trò như một từ cũng có thể làm thành tố cấu tạo từ, nhưng nó chỉ được phân xuất ra nhờ phân tích bản thân các từ. + Tiếng (Âm tiết): là do một hay nhiều âm phát ra cùng một lúc tạo thành.

Tiếng trong tiếng Việt thường được hiểu là âm tiết, về mặt ngữ pháp tiếng là đơn vị có nghĩa, dùng trong chuỗi lời nói. Khi phát âm, mỗi tiếng bao giờ cũng phát ra một hơi, có mang một thanh điệu nhất định. Tuy nhiên, trong lời nói hàng ngày, thường người ta nói đến tiếng nhiều hơn là âm tiết. TIEU LUAN MOI download : [e-mail] 14 + Từ (Word): Từ gồm có một tiếng hoặc một tổ hợp tiếng có ý nghĩa hoàn chỉnh.

Căn cứ vào cách cấu tạo, ta có từ đơn và từ phức; trong đó từ phức có từ ghép và từ láy (hay láy âm). + Treebank: là một kho ngữ liệu trong đó mỗi câu đều có cấu trúc cú pháp thường ở dạng cây. Treebank thường được xây dựng dựa vào tập ngữ liệu đã gán nhãn, đôi khi các thông tin về ngôn ngữ hoặc ngữ nghĩa cũng được đưa vào cấu trúc cú pháp nhằm tăng chất lượng của Treebank. Việc xây dựng Treebank có thể được thực hiện hoàn toàn thủ công hoặc bán tự động, sau khi chú thích dữ liệu có thể cần được kiểm tra đôi khi phải hiệu chỉnh lại nó.

Công việc này có thể kéo dài đến hàng năm. Ngữ liệu Penn Treebank Penn treebank do đại học Pennsylvania phát triển, chứa khoảng 4.5 triệu từ Anh – Mỹ. Trong ba năm đầu từ 1989 đến 1992, người ta thực hiện việc gán nhãn từ loại cho các câu. Ngữ liệu này được cung cấp miễn phí và có thể được tìm thấy trên website: http://www.

Phần tiếp theo, chúng tôi sẽ trình bày về cấu trúc và đặc điểm ngữ liệu Penn Treebank. Miêu tả Ngữ liệu Brown được coi là kho ngữ liệu đầu tiên trên thế giới, sau nó xuất hiện thêm nhiều kho ngữ liệu khác. Trong kho ngữ liệu Brown bao gồm 87 nhãn từ loại cơ bản và cho phép thực hiện việc ghép những nhãn từ loại với nhau tạo ra một nhãn từ loại mới. Khối ngữ liệu này khá đồ sộ với 135 nhãn từ loại, một số ngữ liệu sau này cũng có số lượng nhãn từ loại tương đương.

Tuy nhiên, khác hẳn với các ngữ liệu trước đây, tập nhãn từ loại của Penn Treebank ít hơn rất nhiều so với các khối ngữ liệu khác. Mặc dù dựa trên tập nhãn cơ sở là các nhãn trong khối ngữ liệu Brown, nhưng nhóm xây dựng Penn Treebank sử dụng thông tin cú pháp và thông tin từ vựng trong việc làm giảm tập nhãn cú pháp. Ngoài ra, việc kích thước tập nhãn cú pháp cũng làm tăng tính nhất quán trong ngữ liệu. Một ví dụ đơn giản ở đây đó là nếu hai cụm từ hay câu về cú pháp có một sự tương đồng nhưng được gán nhãn hoàn toàn khác nhau là điều không thích hợp.

Trong Penn Treebank, nhóm xây dựng ngữ liệu đã đưa thêm thông tin liên quan đến ngữ cảnh vào để thực hiện việc gán nhãn, qua đó tăng độ chính xác của ngữ liệu. Một đặc điểm riêng nữa của Penn Treebank đó là tính đa dạng. Không như các ngữ liệu khác, việc gán nhãn không nhất thiết là một nhãn duy nhất mà nó còn có thể có nhiều loại nhãn khác nhau. TIEU LUAN MOI download : skknchat@gmail.