Đặt vấn đề Như đã trình bày ở trên, cách tiếp cận học máy thống kê đã cho thấy những ưu điểm của nó so với các cách tiếp cận dựa trên tiếp cận luật. Cách tiếp cận học máy có thể giải TIEU LUAN MOI download : skknchat@gmail.com 11 quyết vấn đề này trên quy mô lớn mà không phải quan tâm nhiều đến khía cạnh ngôn ngữ. Tuy nhiên, các phương pháp tiếp cận học máy thường yêu cầu bộ dữ liệu đã gán nhãn trước để xây dựng lên mô hình. Dữ liệu huấn luyện càng nhiều thì mô hình thống kê càng đầy đủ, thiếu ngữ liệu huấn luyện là khó khăn lớn nhất trong cách tiếp cận này dẫn đến những sai số nhất định trong kết quả thực nghiệm.
Đối với tiếng Anh thì bài toán gán nhãn từ loại đã được giải quyết khá tốt với độ chính xác khá cao >97% [47]. Tuy nhiên, đối với các ngôn ngữ khác, đặc biệt là các ngôn ngữ tượng hình (như tiếng Trung Quốc, Nhật, Hàn Quốc …), các ngôn ngữ của Nga, Ấn Độ, A Rập, Thái Lan … cũng như đối với các ngôn ngữ kho dữ liệu chưa “đầy đủ” như tiếng Việt thì bài toán gán nhãn từ loại vẫn là một thách thức lớn [23]. Các phương pháp và công cụ đã được xây dựng gần như hoàn thiện cho Tiếng Anh khi đem áp dụng cho các ngôn ngữ khác loại trên thường đưa lại kết quả thấp hoặc chưa đáp ứng được nhu cầu ứng dụng. Như vậy, yêu cầu đặt ra với từng ngôn ngữ là phải kế thừa, tận dụng được các phương pháp sẵn có, tiến hành hiệu chỉnh hoặc đề xuất ra các hướng tiếp cận mới sao cho phù hợp với đặc điểm riêng của từng ngôn ngữ.
Các nghiên cứu tại mục 1.3 cho thấy, vẫn còn những trường hợp mà mô hình học máy thống kê chưa giải quyết được. Tuy nhiên những trường hợp sai điển hình đó lại có thể được giải quyết bởi mô hình học luật chuyển đổi (TBL) bởi tính kế thừa của mô hình này. Trong luận văn này, chúng tôi tập trung nghiên cứu tìm hiểu đặc trưng của một số ngôn ngữ như tiếng Anh, tiếng Việt dựa trên các tập ngữ liệu có sẵn như Peen Treebank, Viet Treebank, đồng thời đề xuất mô kết hợp để cải thiện chất lượng gán nhãn của mô hình học máy thống kê. Mục tiêu của đề tài Luận văn này đề xuất xây dựng một mô hình kết hợp mô hình cực đại hóa Entropy với mô hình học luật chuyển đổi thích hợp để gán nhãn từ loại.
Mô hình học luật chuyển đổi được sử dụng để giải quyết các trường hợp bị lỗi từ loại nhằm nâng cao độ chính xác của mô hình học máy thống kê đối với bài toán gán nhãn từ loại. Mô hình đề xuất cũng được sử dụng để tiến hành thực nghiệm trên tiếng Anh và tiếng Việt. Đối tượng và phương pháp nghiên cứu Đối tượng nghiên cứu của luận văn gồm: Một số mô hình học máy thống kê và mô hình học dựa trên luật chuyển mà được sử dụng để giải quyết bài toán khử nhập nhằng từ loại. Trong đó chúng tôi tập trung vào mô hình học máy cực đại hóa Entropy và mô hình học dựa trên luật chuyển đổi.
TIEU LUAN MOI download : skknchat@gmail.com 12 Phương pháp nghiên cứu của luận văn: Đề xuất mô hình mới về mặt lý thuyết, sau đó tiến hành sử dụng các công cụ gán nhãn có sẵn được xây dựng trên nền tảng mô hình cực đại hóa Entropy cho Tiếng Anh và Tiếng Việt kết hợp với mô hình học luật chuyển đổi thành một công cụ duy nhất phục vụ quá trình thực nghiệm. Qua đó chứng minh tính hiệu quả của mô hình mới mà chúng tôi đề xuất so với các mô hình đã có trước đó. Những đóng góp của luận văn Thứ nhất, đề xuất tập mẫu luật chuyển phù hợp trong phương pháp học dựa trên luật chuyển để thu được các luật chuyển có chất lượng tốt. Qua đó giúp cho việc sửa các lỗi của mô hình học máy thống kê tốt hơn.
Thứ hai, phát triển và xây dựng hoàn thành công cụ gán nhãn từ loại tiếng Việt dựa trên mô hình kết hợp trên ngôn ngữ lập trình JAVA. Thứ ba, thông qua quá trình thực nghiệm, chúng tôi phát hiện và chỉnh sửa trên gần 300 câu trong kho ngữ liệu Viet TreeBank với hơn 400 lỗi ngoại lệ. Thứ tư, đề xuất một mô hình kết hợp dựa trên mô hình học máy thống kê và mô hình học luật chuyển đổi để giải quyết bài toán gán nhãn từ loại. Mô hình mới này cho phép sửa được các lỗi sai của mô hình cơ sở, mô hình kết hợp đạt được độ chính xác tốt hơn khi so sánh với các mô hình thành phần, và các mô hình học máy khác mà chúng tôi đã khảo sát.
Hơn nữa, mô hình này mà chúng tôi đề xuất có thể áp dụng để giải quyết nhiều bài toán khác của xử lý ngôn ngữ tự nhiên. Bố cục của luận văn Trong phần này, chúng tôi sẽ trình bày chi tiết cách tổ chức luận văn và thông tin tóm tắt của từng chương. Luận văn được tổ chức thành 4 chương, ngoài chương 1 đã được trình bày, các chương còn lại được tổ chức như sau: Chương 2: Kiến thức cơ sở Chương 3: Đề xuất mô hình gán nhãn từ loại Chương 4: Thực nghiệm Kết luận TIEU LUAN MOI download : skknchat@gmail.com 13 CHƯƠNG 2. KIẾN THỨC CƠ SỞ Chương này được chia thành hai phần.
Trong phần đầu, chúng tôi giới thiệu một số khái niệm cơ bản về ngôn ngữ, nghiên cứu một số đặc trưng ngôn ngữ. Phần hai, giới thiệu một số phương pháp học máy được áp dụng thành công cho bài toán gán nhãn từ loại cho nhiều ngôn ngữ. Luận văn lựa chọn hai trong số những phương pháp học máy điển hình đã cho kết quả khả quan ở nhiều ngôn ngữ và có khả năng đạt kết quả tốt đối với tiếng Việt, đó là mô hình cực đại hóa Entropy (Maximum Entropy Model – MEM) và học luật chuyển đổi (Transformation Based Learning - TBL). Cơ sở lý thuyết ở chương này sẽ là nền tảng cho phần xây dựng mô hình kết hợp và phần thực nghiệm gán nhãn từ loại trong chương sau.
Một số khái niệm cơ sở + Ngữ liệu (Corpus): Ngữ liệu là khái niệm dùng để chỉ tập hợp các câu dưới dạng tiếng nói hay văn bản, trong đó chứa các thông tin cần thiết cho từng bài toán cụ thể trong xử lý ngôn ngữ tự nhiên. Trong bài toán gán nhãn từ loại thì ngữ liệu là các câu bao gồm các từ và các nhãn từ loại tương ứng. + Ngữ liệu chuẩn (Golden Corpus): là một dạng ngữ liệu trong đó có chứa thông tin về từ và nhãn từ loại chính xác của từ. + Ngữ liệu huấn luyện (Training Corpus): là ngữ liệu đã được gán nhãn đúng, được sử dụng cho quá trình huấn luyện để xây dựng mô hình.
+ Hình vị (Morpheme): là đơn vị ngôn ngữ nhỏ nhất có nghĩa, còn được gọi là “từ tố - token”. Hình vị thường có hình thức cấu tạo một âm tiết, tức là mỗi hình vị trùng với âm tiết, trên chữ viết mỗi hình vị được viết thành một chữ. Hình vị trong tiếng Việt có thể một mình đóng vai trò như một từ cũng có thể làm thành tố cấu tạo từ, nhưng nó chỉ được phân xuất ra nhờ phân tích bản thân các từ. + Tiếng (Âm tiết): là do một hay nhiều âm phát ra cùng một lúc tạo thành.
Tiếng trong tiếng Việt thường được hiểu là âm tiết, về mặt ngữ pháp tiếng là đơn vị có nghĩa, dùng trong chuỗi lời nói. Khi phát âm, mỗi tiếng bao giờ cũng phát ra một hơi, có mang một thanh điệu nhất định. Tuy nhiên, trong lời nói hàng ngày, thường người ta nói đến tiếng nhiều hơn là âm tiết. TIEU LUAN MOI download : skknchat@gmail.com 14 + Từ (Word): Từ gồm có một tiếng hoặc một tổ hợp tiếng có ý nghĩa hoàn chỉnh.
Căn cứ vào cách cấu tạo, ta có từ đơn và từ phức; trong đó từ phức có từ ghép và từ láy (hay láy âm). + Treebank: là một kho ngữ liệu trong đó mỗi câu đều có cấu trúc cú pháp thường ở dạng cây. Treebank thường được xây dựng dựa vào tập ngữ liệu đã gán nhãn, đôi khi các thông tin về ngôn ngữ hoặc ngữ nghĩa cũng được đưa vào cấu trúc cú pháp nhằm tăng chất lượng của Treebank. Việc xây dựng Treebank có thể được thực hiện hoàn toàn thủ công hoặc bán tự động, sau khi chú thích dữ liệu có thể cần được kiểm tra đôi khi phải hiệu chỉnh lại nó.
Công việc này có thể kéo dài đến hàng năm. Ngữ liệu Penn Treebank Penn treebank do đại học Pennsylvania phát triển, chứa khoảng 4.5 triệu từ Anh – Mỹ. Trong ba năm đầu từ 1989 đến 1992, người ta thực hiện việc gán nhãn từ loại cho các câu. Ngữ liệu này được cung cấp miễn phí và có thể được tìm thấy trên website: http://www.
Phần tiếp theo, chúng tôi sẽ trình bày về cấu trúc và đặc điểm ngữ liệu Penn Treebank. Miêu tả Ngữ liệu Brown được coi là kho ngữ liệu đầu tiên trên thế giới, sau nó xuất hiện thêm nhiều kho ngữ liệu khác. Trong kho ngữ liệu Brown bao gồm 87 nhãn từ loại cơ bản và cho phép thực hiện việc ghép những nhãn từ loại với nhau tạo ra một nhãn từ loại mới. Khối ngữ liệu này khá đồ sộ với 135 nhãn từ loại, một số ngữ liệu sau này cũng có số lượng nhãn từ loại tương đương.
Tuy nhiên, khác hẳn với các ngữ liệu trước đây, tập nhãn từ loại của Penn Treebank ít hơn rất nhiều so với các khối ngữ liệu khác. Mặc dù dựa trên tập nhãn cơ sở là các nhãn trong khối ngữ liệu Brown, nhưng nhóm xây dựng Penn Treebank sử dụng thông tin cú pháp và thông tin từ vựng trong việc làm giảm tập nhãn cú pháp. Ngoài ra, việc kích thước tập nhãn cú pháp cũng làm tăng tính nhất quán trong ngữ liệu. Một ví dụ đơn giản ở đây đó là nếu hai cụm từ hay câu về cú pháp có một sự tương đồng nhưng được gán nhãn hoàn toàn khác nhau là điều không thích hợp.
Trong Penn Treebank, nhóm xây dựng ngữ liệu đã đưa thêm thông tin liên quan đến ngữ cảnh vào để thực hiện việc gán nhãn, qua đó tăng độ chính xác của ngữ liệu. Một đặc điểm riêng nữa của Penn Treebank đó là tính đa dạng. Không như các ngữ liệu khác, việc gán nhãn không nhất thiết là một nhãn duy nhất mà nó còn có thể có nhiều loại nhãn khác nhau. TIEU LUAN MOI download : skknchat@gmail.