ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN ------------ Trần Thu Trang NGHIÊN CỨU GÁN NHÃN TỪ LOẠI CHO VĂN BẢN TIẾNG VIỆT BẰNG PHƯƠNG PHÁP HỌC MÁY KHÔNG CÓ HƯỚNG DẪN Chuyên nghành: Bảo đảm toán học cho máy tính và hệ thống tính toán Mã số: 60 46 35 TÓM TẮT LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. NGUYỄN THỊ MINH HUYỀN Hà Nội – Năm 2012 1 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mục lục LỜI NÓI ĐẦU. 5 Chƣơng 1 - TỔNG QUAN .1 Bài toán gán nhãn từ loại .2 Tổng quan về cách tiếp cận giải bài toán .1 Quá trình gán nhãn từ loại.3 Các tiếp cận giải bài toán .5 Gán nhãn dựa trên luật .6 Gán nhãn thống kê .7 Các từ chƣa biết.3 Bài toán gán nhãn từ loại tiếng Việt. 13 Chƣơng 2 - CƠ SỞ TOÁN HỌC .2 Thuật toán cực đại hóa kỳ vọng (EM) .3 Mô hình Markov ẩn.1 Ba bài toán cơ bản của HMM .2 Mô hình n-gram .1 Khái niệm phân cụm .2 Các yêu cầu của phân cụm .3 Các phƣơng pháp phân cụm.
26 2 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.5 Phân tích giá trị kỳ dị. 27 Chƣơng 3 - MỘT SỐ PHƢƠNG PHÁP TIẾP CẬN KHÔNG CÓ HƢỚNG DẪN CHO GÁN NHÃN TỪ LOẠI .1 Gán nhãn sử dụng kỹ thuật Cực đại hóa kỳ vọng .1 Huấn luyện mô hình Trigram .2 Kết quả thử nghiệm với tiếng Anh.3 Các thí nghiệm cơ bản.2 Gán nhãn từ loại bằng kỹ thuật phân cụm .1 Suy luận gán nhãn .2 Suy luận dựa trên từ loại .3 Suy luận dựa trên loại từ và ngữ cảnh .4 Suy luận dựa trên loại từ và ngữ cảnh, sử dụng các véc tơ ngữ cảnh trái và phải tổng quát hoá .3 Đề xuất phƣơng pháp không hƣớng dẫn cho bài toán gán nhãn từ loại tiếng Việt. 48 3 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CẢM ƠN Em xin chân thành cảm ơn các thầy cô giáo trong khoa Toán–Cơ–Tin học đã dạy dỗ và truyền đạt cho em rất nhiều kiến thức trong những năm học vừa qua. Đặc biệt em xin gửi lời cảm ơn tới TS.
Nguyễn Thị Minh Huyền đã tận tình chỉ bảo và truyền đạt những kiến thức chuyên ngành trong quá trình em thực hiện luận văn này. Cuối cùng em xin gửi những lời chúc tốt đẹp nhất tới các thầy cô giáo trong khoa, cô Nguyễn Thị Minh Huyền, gia đình và bạn bè những ngƣời đã ủng hộ em trong thời gian vừa qua. 4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI NÓI ĐẦU Một trong các vấn đề nền tảng của ngôn ngữ tự nhiên là việc phân loại các từ thành các lớp từ loại dựa theo thực tiễn hoạt động ngôn ngữ. Mỗi từ loại tƣơng ứng với một lớp từ giữ một vai trò ngữ pháp nhất định.
Nói chung, mỗi từ trong một ngôn ngữ có thể gắn với nhiều từ loại, và việc tự động “hiểu” đúng nghĩa một từ phụ thuộc vào việc nó đƣợc xác định đúng từ loại hay không. Công việc gán nhãn từ loại cho một văn bản là xác định từ loại của mỗi từ trong phạm vi văn bản đó. Các công cụ gán nhãn (hay chú thích) từ loại cho các từ trong một văn bản có thể thay đổi tuỳ theo quan niệm về đơn vị từ vựng và thông tin ngôn ngữ cần khai thác trong các ứng dụng cụ thể. Xác định từ loại chính xác cho các từ trong văn bản là vấn đề rất quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên.
Công cụ gán nhãn từ loại có thể đƣợc ứng dụng rộng rãi trong các hệ thống tìm kiếm thông tin, trong các ứng dụng tổng hợp tiếng nói, các hệ thống nhận dạng tiếng nói cũng nhƣ trong các hệ thống dịch máy. Công cụ này cũng hỗ trợ cho việc phân tích cú pháp các văn bản, góp phần giải quyết tính đa nghĩa của từ, và trợ giúp các hệ hống rút trích thông tin hƣớng đến ngữ nghĩa, v.v… Vấn đề gán nhãn từ loại của nhiều ngôn ngữ đã đƣợc giải quyết tốt bằng phƣơng pháp học máy có hƣớng dẫn, nghĩa là phải xây dựng một kho ngữ liệu huấn luyện lớn và/hoặc xây dựng tập luật để nhận diện từ loại. Hiện nay, bài toán gán nhãn từ loại tiếng Việt cũng đã đƣợc một số nhóm nghiên cứu và giải giải quyết cũng chủ yếu bằng phƣơng pháp học máy có hƣớng dẫn, nhƣng việc xây dựng tập huấn luyện còn gặp nhiều khó khăn vì bản thân các nhà ngôn ngữ học vẫn còn chƣa thống nhất về tập từ loại tiếng Việt nên các nhóm tự định nghĩa tập nhãn khác nhau, và các nhóm cũng tự xây dựng kho 5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com dữ liệu đã gán nhãn và xây dựng tập luật khác nhau. Công việc này mất rất nhiều thời gian, tiền của và công sức của các nhà nghiên cứu.
Một cách tiếp cận khác cho bài toán gán nhãn từ loại là sử dụng phƣơng pháp học máy không có hƣớng dẫn để một mặt giải quyết vấn đề xác định bộ nhãn từ loại, mặt khác tiết kiệm công sức xây dựng tập huấn luyện. Đề tài này nghiên cứu một số phƣơng pháp gán nhãn từ loại không có hƣớng dẫn, trên cơ sở đó đƣa ra một quy trình giải quyết bài toán gán nhãn từ loại tiếng Việt bằng cách tiếp cận này. Cấu trúc luận văn Cấu trúc luận văn chia làm 3 chƣơng: Chƣơng I: Tổng quan Trong chƣơng này sẽ trình bày tổng quan về bài toán gán nhãn từ loại, các tiếp cận để giải quyết bài toán gán nhãn từ loại, so sánh các tiếp cận. Chƣơng này cũng trình bày hiện trạng cùng các phƣơng pháp đã đƣợc dùng để giải quyết bài toán gán nhãn từ loại cho tiếng Việt, khó khăn chƣa khắc phục đƣợc.
Chƣơng II: Cơ sở toán học Chƣơng này sẽ trình bày các kiến thức toán học, các mô hình học máy đƣợc sử dụng trong luận văn. Chƣơng III: Cách tiếp cận không có hƣớng dẫn cho bài toán gán nhãn từ loại Chƣơng này sẽ trình bày một số phƣơng pháp học máy không có hƣớng dẫn cho bài toán gán nhãn từ loại, để từ đó có thể xây dựng một quy trình giải quyết bài toán gán nhãn từ loại tiếng Việt theo cách tiếp cận này. 6 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chƣơng 1 - TỔNG QUAN 1.1 Bài toán gán nhãn từ loại Gán nhãn từ loại là việc xác định các chức năng ngữ pháp của từ trong câu hay là quá trình gán từng từ trong đoạn văn bản với các đánh dấu từ loại hoặc cấu trúc ngữ pháp. Đây là bƣớc cơ bản trƣớc khi phân tích cú pháp hay các vấn đề xử lý ngôn ngữ phức tạp khác.
Thông thƣờng, một từ có thể có nhiều chức năng ngữ pháp, ví dụ: trong câu “con ngựa đá đá con ngựa đá”, cùng một từ “đá” nhƣng từ thứ nhất và thứ ba giữ chức năng ngữ pháp là danh từ, nhƣng từ thứ hai lại là động từ trong câu. Gán nhãn từ loại là mức thấp nhất của phân tích ngữ nghĩa. Xác định từ loại hỗ trợ cho việc phân tích cú pháp các văn bản, góp phần giải quyết tính đa nghĩa của từ, và trợ giúp các hệ thống rút trích thông tin hƣớng đến ngữ nghĩa, v. Ví dụ1: John/ NNP saw/ VBD the/ DT saw/NN and/CC decided/VBD to/TO take/VB it/PRP to/IN the/DT table/N.
Ví dụ 2: Loan/Np muốn/V đi/V du lịch/V Huế/Np. Trong đó các nhãn NNP, Np, NN, N: danh từ. VBD, V: động từ. DT: từ hạn đinh.
IN, TO: giới từ.2 Tổng quan về cách tiếp cận giải bài toán 1.1 Quá trình gán nhãn từ loại Gán nhãn từ loại là một quá trình gồm 3 bƣớc xử lý:[2] - Bƣớc 1 (tiền xử lí): Phân tách xâu kí tự thành chuỗi các từ. Giai đoạn này có thể phức tạp hay đơn giản tuỳ theo ngôn ngữ và từng 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com đơn vị từ vựng. Chẳng hạn với tiếng Anh và tiếng Pháp, việc phân tách từ chủ yếu dựa vào ký tự trắng. Tuy nhiên vẫn có những cụm từ ghép hay những cụm từ công cụ gây tranh cãi về cách xử lý.
Trong khi đó với tiếng Việt thì dấu trắng không phải là dấu hiệu để xác định ranh giới các đơn vị từ vựng do tần số xuất hiện từ ghép là rất cao. - Bƣớc 2: Gán nhãn tiên nghiệm, tức là tìm cho mỗi từ tập tất cả các nhãn từ loại mà nó có thể có. Tập nhãn này có thể thu đƣợc từ cơ sở dữ liệu từ điển hoặc từ kho văn bản đã gán nhãn bằng tay. Đối với một từ mới chƣa xuất hiện trong cơ sở dữ liệu thì có thể sử dụng một nhãn ngầm định hoặc gắn cho nó tập tất cả các nhãn.
Trong các ngôn ngữ biến đổi hình thái ngƣời ta cũng dựa vào hình thái từ để đoán nhận lớp từ loại của từ đang xét. - Bƣớc 3: Quyết định kết quả gán nhãn. Giai đoạn loại bỏ nhập nhằng, tức là lựa chọn cho mỗi từ một nhãn phù hợp nhất với ngữ cảnh trong tập nhãn tiên nghiệm.2 Ngữ liệu Để thực hiện gán nhãn từ loại ta phải có kho ngữ liệu[2], chúng có thể là: - Từ điển và các văn phạm loại bỏ nhập nhằng. - Kho văn bản đã gán nhãn, có thể kèm theo các quy tắc ngữ pháp xây dựng bằng tay.
- Kho văn bản chƣa gán nhãn, có kèm theo các thông tin ngôn ngữ nhƣ là tập từ loại và các thông tin mô tả quan hệ giữa từ loại và hậu tố. - Kho văn bản chƣa gán nhãn, với tập từ loại cũng đƣợc xây dựng tự động nhờ các tính toán thống kê. Trong trƣờng hợp này khó có thể dự đoán trƣớc về tập từ loại. 8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.3 Các tiếp cận giải bài toán Chúng ta có hai tiếp cận chính cho gán nhãn từ loại tự động:[19] - Tiếp cận có hƣớng dẫn.
- Tiếp cận không hƣớng dẫn. Bộ gán nhãn có hƣớng dẫn có đặc thù là dựa trên kho ngữ liệu đã đƣợc gán nhãn cho việc tạo ra các công cụ đƣợc sử dụng cho quá trình gán nhãn. Ví dụ nhƣ là Từ điển bộ gán nhãn, các tần suất từ/nhãn, các xác suất chuỗi nhãn, tập các luật. Các mô hình không hƣớng dẫn không yêu cầu kho ngữ liệu đã gán nhãn nhƣng lại sử dụng các thuật toán tính toán phức tạp để tự động xây dựng các nhóm từ (nghĩa là xây dựng các tập nhãn) và dựa trên các nhóm từ này để tính toán các thông tin xác suất cần thiết cho các bộ gán nhãn thống kê hoặc để xây dựng các luật ngữ cảnh cần thiết cho các hệ thống dựa trên luật.