Đặt vấn đề Nhƣ đã trình bày ở trên, cách tiếp cận học máy thống kê đã cho thấy những ƣu điểm của nó so với các cách tiếp cận dựa trên tri thức. Trong khi các cách tiếp cận dựa trên tri thức là dựa trên các luật đƣợc tạo bởi các chuyên gia cũng nhƣ khả năng của họ và gặp vấn đề khó khăn khi giải quyết một số lƣợng lớn các trƣờng hợp. Cách tiếp cận học máy có thể giải quyết vấn đề này trên quy mô lớn mà không phải quan tâm nhiều đến khía cạnh ngôn ngữ. Tuy nhiên, các phƣơng pháp tiếp cận học máy đề yêu cầu bộ dữ liệu đã gán nhãn trƣớc để xây dựng lên mô hình.
Bộ dữ liệu huấn luyện càng lớn thì mô hình học máy xây dựng sẽ càng tốt. Trên thực tế, để xây dựng một bộ dữ liệu huấn luyện lớn thì mất thiều thời gian và công sức. Mặc dù độ chính xác của các phƣơng pháp tiếp cận giải quyết bài toán này trên các kho ngữ liệu chuẩn Senseval-1, Senseval-2, và Senseval-3 là vào khoảng trên 80%. Một số nghiên cứu khác nhƣ nghiên cứu của Le[17] đạt đƣợc độ chính xác vào khoảng 90% nhƣng chỉ hạn chế cho một số từ nhập nhằng.
Nhƣ vậy, vẫn còn những trƣờng hợp mà mô hình học máy thống kê chƣa giải quyết đƣơc. Vấn đề này theo quan điểm của chúng tôi có thể đƣợc giải thích nhƣ sau: Lý do thứ nhất chính là các mô hình học máy thống kê dựa trên một kho ngữ liệu ít và không đầy đủ. Trên thực tế, để xây dựng một kho ngữ liệu đầy đủ và lớn là khó và không khả thi. TIEU LUAN MOI download : skknchat@gmail.com 5 Lý do thứ hai chính là vẫn còn tồn tại các trƣờng hợp ngoại lệ (đặc biệt) mà nó không tuân theo quy luật thống kê.
Nhƣ vậy, vấn đề đặt ra là làm thế nào để có thể cải thiện đƣợc độ chính xác của các mô hình học máy thống kê với một tập huấn luyện đã cho trƣớc. Do đó, cần thiết phải có một mô hình mới khắc phục đƣợc những vấn đề còn tồn tại của mô hình học máy thống kê, nhằm cải thiện đƣợc độ chính xác của nó. Mục tiêu của đề tài Luận văn này đề xuất xây dựng một mô hình mới mà trọng tâm là giải quyết các trƣờng hợp bị lỗi (các trƣờng hợp bị phân lớp sai bởi mô hình học máy thống kê) nhằm nâng cao độ chính xác của mô hình học máy thống kê cũng nhƣ vƣợt qua giới hạn của các mô hình học máy thống kê trƣớc đó. Trong suốt quá trình nghiên cứu, bằng cách mƣợn ý tƣởng từ cách tiếp cận dựa trên tri thức thay cho việc tạo ra các luật bởi chuyên gia, chúng tôi áp dụng kỹ thuật của học dựa trên luật chuyển TBL cho việc tự động tạo ra các luật.
Cách xây dựng hệ thống của chúng tôi có thể tóm tắt nhƣ sau: Thứ nhất, dựa trên kho ngữ liệu huấn luyện Corpus-1, chúng tôi chia ngẫu nhiên N lần thành hai kho ngữ liệu training-corpus-i và developing-corpus-i theo tỉ lệ 3:1, với 𝑖 = 1, 𝑁. Chúng tôi sử dụng kho ngữ liệu training-corpus-i huấn luyện lên một mô hình phân lớp Naive Bayes. Chính mô hình này đƣợc sử dụng cho việc khởi tạo các nhãn cơ bản trong giải thuật học dựa trên luật chuyển TBL, từ đó phát hiện ra các ngữ cảnh bị phân lớp sai của mô hình NB. Sau đó, kho ngữ liệu phát triển developing-corpus-i đƣợc sử dụng để thu đƣợc một tập các luật chuyển.
Quá trình thu các tập luật chuyển này sẽ đƣợc lặp lại nhiều lần trên các kho ngữ liệu training-corpus-i và developing-corpus-i. Sau đó chúng tôi gộp các tập luật chuyển đó lại để thu đƣợc một tập luật chuyển tốt nhất. Thứ hai, chúng tôi sử dụng các luật chuyển vừa thu đƣợc để sửa nhãn cho những ngữ cảnh bị phân lớp sai của mô hình học máy. Độ chính xác của hệ thống mà chúng tôi đề xuất là tốt nhất khi so sánh với các phƣơng pháp NB, TBL, SVM.
Đối tƣợng và phƣơng pháp nghiên cứu Đối tƣợng nghiên cứu của luận văn gồm: Một số mô hình học máy thống kê và mô hình học dựa trên luật chuyển mà đƣợc sử dụng để giải quyết bài toán khử nhập nhằng nghĩa của từ. Trong đó chúng tôi tập trung vào mô hình học máy Naive Bayes và mô hình học đựa trên luật chuyển TBL. Phƣơng pháp nghiên cứu của luận văn: Đề xuất mô hình mới về mặt lý thuyết, sau đó tiến hành sử dụng các công cụ phân lớp có sẵn nhƣ LibSVM kết hợp với các TIEU LUAN MOI download : skknchat@gmail.com 6 công cụ xử lý nhập nhằng nghĩa của từ tự xây dựng. Qua đó chứng minh tính hiệu quả của mô hình mới mà chúng tôi đề xuất so với các mô hình đã có trƣớc đó.
Những đóng góp của luận văn Thứ nhất, đề xuất việc lựa chọn các đặc trƣng phù hợp cho bài toán khử nhập nhằng nghĩa của từ tiếng Việt. Qua đó sử dụng các đặc trƣng này trong các mô hình học máy thống kê nhƣ mô hình NB, mô hình TBL, và mô hình SVM cho kết quả cao. Thứ hai, đề xuất tập mẫu luật chuyển phù hợp trong phƣơng pháp học dựa trên luật chuyển (TBL) để thu đƣợc các luật chuyển có chất lƣợng. Qua đó giúp cho việc sửa các lỗi của mô hình học máy thống kê tốt hơn.
Thứ ba, xây dựng đƣợc kho ngữ liệu đã gán nhãn gồm 10 từ đa nghĩa trong tiếng Việt, phục vụ cho việc đánh giá độ chính xác của các mô hình học máy. Thứ tƣ, đề xuất một mô hình mới giải quyết bài toán khử nhập nhằng. Mô hình dựa trên việc kết hợp mô hình học máy thống kê và mô hình học dựa trên luật. Mô hình mới này cho phép sửa đƣợc các lỗi sai của mô hình học máy thống kê, nó đạt đƣợc độ chính xác tốt nhất khi so sánh với các mô hình NB, mô hình TBL, và mô hình SVM.
Hơn nữa, mô hình này mà chúng tôi đề xuất có thể áp dụng để giải quyết nhiều bài toán khác của xử lý ngôn ngữ tự nhiên. Thứ năm, giải quyết bài toán khử nhập nhằng nghĩa của từ tiếng Việt mà theo hiểu biết của chúng tôi chƣa có nhiều các nghiên cứu về vấn đề này bằng chính mô hình mới mà chúng tôi đã đề xuất. Bố cục luận văn Trong phần này, chúng tôi sẽ trình bày chi tiết cách tổ chức luận văn và thông tin tóm tắt của từng chƣơng. Luận văn đƣợc tổ chức thành 4 chƣơng, ngoài chƣơng 1 đã đƣợc trình bày, các chƣơng còn lại đƣợc tổ chức nhƣ sau: Chƣơng 2: Kiến thức cơ sở Trong chƣơng này, chúng tôi sẽ giới thiệu kiến thức cơ sở mà chủ yếu là cách tiếp cận dựa trên tri thức và cách tiếp cận dựa trên kho ngữ liệu.
Sau đó, chúng tôi trình bày một số giải thuật học máy cơ bản mà những giải thuật này sẽ đƣợc sử dụng trong quá trình xây dựng hệ thống do chúng tôi đề xuất cũng nhƣ sử dụng trong phần thực nghiệm. Chƣơng 3: Đề xuất mô hình khử nhập nhằng nghĩa của từ Trong chƣơng này, chúng tôi đề cập đến hai vấn đề. Thứ nhất, đề xuất mô hình mới cho phép khử nhập nhằng với độ chính xác cao hơn các mô hình trƣớc đó. Chìa TIEU LUAN MOI download : skknchat@gmail.com 7 khóa để xây dựng nên mô hình này chính là sử dụng các luật chuyển TBL để sửa lỗi cho mô hình học máy thống kê.
Thứ hai, trình bày cách biểu diễn ngữ cảnh của từ nhập nhằng, nêu nên tầm quan trọng của việc lựa chọn đặc trƣng và cho thấy vai trò quan trọng của nó trong việc nâng cao hiệu năng của hệ thống đồng thời đề xuất việc lựa chọn đặc trƣng. Ngoài ra, tập mẫu luật trong giải thuật học dựa trên luật chuyển cũng đƣợc trình bày trong chƣơng này. Chƣơng 4: Thực nghiệm Trong chƣơng này, chúng tôi trình bày cách xây dựng kho ngữ liệu cho 10 từ đa nghĩa trong tiếng Việt. Từ việc chuẩn bị kho ngữ liệu đó, chúng tôi tiến hành thực nghiệm đánh giá hệ thống mà chúng tôi đề xuất đối với 10 từ nhập nhằng trong tiếng Việt và so sánh kết quả thu đƣợc với các phƣơng pháp tiến cận trƣớc đó nhƣ phƣơng pháp Naive Bayes, phƣơng pháp TBL, phƣơng pháp SVM.
Trên cơ sở so sánh kết quả thực nghiệm của các phƣơng pháp, chúng tôi đƣa ra kết luận về phƣơng pháp mà chúng tôi đề xuất. TIEU LUAN MOI download : skknchat@gmail.com 8 CHƢƠNG II. KIẾN THỨC CƠ SỞ Chƣơng này đƣợc chia thành hai phần. Trong phần đầu, chúng tôi trình bày các phƣơng pháp đã đƣợc áp dụng để giải quyết bài toán khử nhập nhằng nghĩa của từ.
Qua đó cung cấp một bức tranh tổng thể về phƣơng pháp giải quyết bài toán khử nhập nhằng nghĩa của từ. Trong phần hai, chúng tôi sẽ giới thiệu một số mô hình học máy cơ bản nhƣ: mô hình Naive Bayes, mô hình SVM, và mô hình TBL. Các nghiên cứu khử nhập nhằng nghĩa của từ trong quá khứ. Trong phần này chúng tôi tóm tắt các cách tiếp cận của các nghiên cứu về vấn đề khử nhập nhằng nghĩa của từ cho đến thời điểm hiện tại.
Hầu hết các phƣơng pháp tiếp cận khử nhập nhằng nghĩa của từ đều đƣợc phân vào 2 nhóm tiếp cận đó là: Tiếp cận dựa trên tri thức (knowledge-based) và cách tiếp cận dựa trên kho ngữ liệu (data- driven hay corpus-based). Cách tiếp cận dựa trên tri thức Công việc khử nhập nhằng nghĩa của từ đạt đến một bƣớc ngoặt trong thập niên 1980 và 1990, khi mà nguồn tài nguyên về ngữ nghĩa có quy mô lớn nhƣ từ điển, từ điển đồng nghĩa (thesauri) và kho ngữ liệu đƣợc phổ biến rộng rãi. Các phƣơng pháp tiếp cận dựa trên tri thức có thể phân vào các nhóm theo kiểu tài nguyên mà các phƣơng pháp này sử dụng nhƣ: Từ điển máy có thể đọc (Machine Readable Dictionary - MRD). Từ điển từ đồng nghĩa (Thesauri) Từ điển máy có thể đọc Từ điển máy có thể đọc cung cấp nguồn tài nguyên thông tin về nghĩa của từ giúp cho việc khử nhập nhằng nghĩa của từ.
Ở đây chúng ta cần phân biệt từ điển máy có thể đọc với từ điển điện tử dành cho ngƣời, các từ điển điện tử dùng cho ngƣời dùng mặc dù ở dạng điện tử nhƣng không phải cho máy sử dụng. Chẳng hạn chúng chứa một số thông tin mà máy không cần biết nhƣ các thông tin về ngữ âm (phonetics), giải thích… Từ điển máy có thể đọc chứa các thông tin không có trong các từ điển cho ngƣời vì con ngƣời có thể suy ra chúng bằng những tri thức về thế giới thực.