Luận Văn: Xử Lý Nhập Nhằng Nghĩa Từ Bằng Học Máy Không Giám Sát

Luận văn thạc sĩ phân tích xử lý nhập nhằng nghĩa của từ sử dụng học máy không giám sát, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Trần Thị Hiền
• Người hướng dẫn: Tiến Sĩ Nguyễn Phương Thái
• Trường học: Trường Đại Học Công Nghệ - Đại Học Quốc Gia Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Xử Lý Nhập Nhằng Nghĩa Của Từ Sử Dụng Học Máy Không Giám Sát
• Loại tài liệu: Luận Văn Thạc Sỹ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT
• DANH MỤC CÁC HÌNH VẼ
• DANH MỤC CÁC BẢNG BIỂU
• 1. CHƯƠNG I: GIỚI THIỆU
• 1.1. WSI và WSD
• 1.2. Phương pháp tiếp cận cho WSD
• 1.3. Phương pháp tiếp cận cho WSI
• 1.4. Phương pháp phân cụm
• 1.5. Đồ thị xuất hiện đồng thời (Co-occurrence graphs )
• 1.6. Mục tiêu đề tài
• 1.7. Ứng dụng của đề tài
• 2. CHƯƠNG II: BÀI TOÁN MÔ HÌNH CHỦ ĐỀ VÀ CÁC TIẾP CẬN ĐIỂN HÌNH
• 2.1. Tổng quan về mô hình chủ đề
• 2.2. Ứng dụng của mô hình chủ đề
• 2.3. Sử dụng mô hình chủ đề trong WSI
• 2.4. Ngữ cảnh địa phương và ngữ cảnh toàn cục
• 2.5. Xem bài toán WSI như một bài toán mô hình chủ đề
• 3. CHƯƠNG III: SỬ DỤNG PHƯƠNG PHÁP HDP CHO WSI
• 3.1. Tổng quan về HDP
• 3.2. Sử dụng phương pháp HDP cho WSI
• 3.3. WSI dựa vào phương pháp Bayes
• 3.4. So sánh phương pháp HDP với LDA và CTM
• 4. CHƯƠNG IV: ĐÁNH GIÁ VÀ KẾT QUẢ THỰC NGHIỆM
• 4.1. Mô tả dữ liệu
• 4.2. Tập dữ liệu huấn luyện
• 4.3. Tập dữ liệu thử nghiệm
• 4.4. Phương pháp đánh giá
• 4.5. Đánh giá không giám sát
• 4.6. Đánh giá giám sát
• 4.7. Tiền xử lý dữ liệu
• 4.8. Phương pháp huấn luyện và thử nghiệm
• 4.9. Xử lý dữ liệu đầu ra
• 4.10. Kết quả và so sánh
• 4.11. Hiệu suất của hệ thống
• 4.12. Kết quả đánh giá không giám sát
• 4.13. Kết quả đánh giá giám sát
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới Thiệu Xử Lý Nhập Nhằng Nghĩa Từ Tổng Quan Quan Trọng

Xử lý nhập nhằng ngữ nghĩa của từ (Word Sense Disambiguation - WSD) là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên (NLP). Một từ có thể mang nhiều nghĩa khác nhau, và việc xác định đúng nghĩa của từ trong một ngữ cảnh cụ thể là rất cần thiết để giao tiếp hiệu quả, đặc biệt trong các hệ thống tự động. Ví dụ, từ "access" có thể có nghĩa là "sự tiếp cận" hoặc "quyền sử dụng" tùy thuộc vào ngữ cảnh. Độ mơ hồ ngữ nghĩa này gây khó khăn cho cả con người và máy tính. WSD và Word Sense Induction (WSI) là hai cách tiếp cận chính để giải quyết vấn đề này. WSD thường sử dụng các phương pháp học có giám sát, đòi hỏi dữ liệu được gán nhãn thủ công, trong khi WSI sử dụng các phương pháp học không giám sát, chỉ cần văn bản thô. Các phương pháp học có giám sát thường cho độ chính xác cao hơn, nhưng lại tốn kém công sức xây dựng tập dữ liệu gán nhãn. Trong khi đó, các phương pháp học không giám sát khắc phục được nhược điểm này. Vì vậy, phương pháp học không giám sát là một hướng đi rất được chú ý để giải quyết vấn đề giải nghĩa từ. Nghiên cứu của Trần Thị Hiền tập trung vào việc áp dụng một mô hình Bayes phi tham số (Hierarchical Dirichlet Process - HDP) cho bài toán WSI. Kết quả cho thấy mô hình HDP vượt trội về chất lượng xác định nghĩa và có ưu điểm là xác định một cách tự động số lượng nghĩa biến đổi trên một từ. Luận văn này sẽ trình bày chi tiết về phương pháp HDP và so sánh với các phương pháp khác như Latent Dirichlet Allocation (LDA) và Correlated Topic Model (CTM). Ví dụ, xét nghĩa của từ “access” trong hai câu sau đây: The police gained access through a broken window. You need a password to get access to the computer system. Như vậy ở câu thứ nhất từ “access” có nghĩa là sự tiếp cận, cách vào , quyền vào một nơi nào đó. Còn ở câu thứ hai có nghĩa là quyền sử dụng, truy cập. Trong ví dụ trên, chúng ta khá dễ dàng phân biệt các từ “access” , tuy nhiên trong một số trƣờng hợp, nhiệm vụ phân biệt là một thách thức cho các nhà nghiên cứu từ ngữ học thậm chí là ngƣời có kinh nghiệm.

1.1. Phân Biệt WSD và WSI Lựa Chọn Phương Pháp Tối Ưu

WSD và WSI là hai hướng tiếp cận khác nhau cho bài toán nhận dạng tự động nghĩa của từ. Hệ thống WSD thường theo cách tiếp cận giám sát – yêu cầu ngữ liệu được gán nhãn thủ công cho giai đoạn huấn luyện. Ngược lại, các hệ thống WSI là không giám sát; chúng chỉ cần văn bản thô, điều này có sẵn “miễn phí” trên internet và nhiều nguồn khác. Kết quả là, việc chuyển hệ thống WSD tới miền dữ liệu hoặc ngôn ngữ mới là một công việc tốn kém bởi vì chúng ta phải cung cấp một dữ liệu được chú giải mới và kiến thức về ngôn ngữ /miền cụ thể. Việc chuyển một hệ thống WSI thì dễ hơn vì trong hầu hết các trường hợp, chúng ta chỉ cần huấn luyện lại hệ thống trên dữ liệu “miễn phí ” mới. Các hệ thống WSD thường dựa trên các danh sách cố định chứa các nghĩa được xác định trước. Từ các danh sách này, nghĩa thích hợp nhất được chọn và gắn cho từ. Do đó số lượng nghĩa không thể thay đổi được trong hệ thống WSD. Điều này dẫn đến một số khó khăn khi triển khai hệ thống với các lĩnh vực khác nhau và với các mục đích khác nhau.

1.2. Ưu Điểm và Nhược Điểm của WSI Phân Tích Chi Tiết

Trong một số ứng dụng, các ngữ nghĩa được xử lý thô có thể là hữu ích hơn các ngữ nghĩa đã làm mịn, và trong một số ứng dụng khác, lại đòi hỏi ngữ nghĩa đã được làm mịn. Các hệ thống WSI cho phép số lượng nghĩa của một từ thay đổi. Hơn nữa hệ thống WSD không thể phát hiện các nghĩa mà không xuất hiện trong “từ điển” của chúng. Bài toán này có thể được giải quyết dễ dàng trong hệ thống WSI; chúng ta chỉ cần cung cấp dữ liệu có chứa các nghĩa mới và điều chỉnh số lượng nghĩa nếu cần thiết. Mặc dù WSI có nhiều lợi thế hơn WSD, nhưng các hệ thống WSD thường có hiệu suất tốt hơn. Vì vậy, WSI không thể thay thế WSD trong tất cả các trường hợp nhưng nó lại đang rất được quan tâm. Xây dựng một hệ thống WSI là mục tiêu chính của luận văn này, nó dựa trên phương pháp phân cụm ngữ cảnh, trong đó các ngữ cảnh của từ được nhóm lại thành các cụm đại diện cho các nghĩa. Tổng quan về cách tiếp cận cho bài toán WSD và WSI được đưa ra trong phần tiếp theo của chương.

II. Thách Thức và Ứng Dụng của Xử Lý Nhập Nhằng Nghĩa Từ

Xử lý nhập nhằng nghĩa từ không chỉ là một vấn đề học thuật mà còn có nhiều ứng dụng thực tế quan trọng. Việc xác định đúng nghĩa của từ là rất cần thiết cho các ứng dụng như dịch máy, tìm kiếm thông tin, và trả lời câu hỏi tự động. Ví dụ, trong dịch máy, nếu không xác định đúng nghĩa của từ, máy có thể dịch sai ý nghĩa của câu. Trong tìm kiếm thông tin, nếu không xác định đúng nghĩa của từ, người dùng có thể nhận được các kết quả không liên quan. Các phương pháp tiếp cận để xử lý nhập nhằng ngữ nghĩa thường được phân loại theo nguồn tri thức chính để phân biệt các nghĩa (thường được dùng bởi các chuyên gia ngôn ngữ học). Các phương pháp này chủ yếu dựa vào từ điển chuyên ngành, tri thức về từ vựng, và không sử dụng bất cứ một thông tin ngữ liệu nào, được gọi dưới thuật ngữ chuyên ngành là các phương pháp dựa vào từ điển hay dựa vào tri thức. Điểm yếu của phương pháp này là bộ cơ sở tri thức thường sẽ rất lớn, hơn nữa với sự phức tạp của ngôn ngữ tự nhiên thì việc dùng các luật để xử lý nhập nhằng cũng chỉ đạt được độ chính xác có giới hạn. Người ta còn sử dụng phương pháp học máy để giải quyết nhập nhằng ngữ nghĩa. Wilks và Stevenson báo cáo vài thử nghiệm về giải quyết nhập nhằng nghĩa của từ bằng cách sử dụng những thông tin thu được từ quá trình học tập trên ngữ liệu mẫu [15]. Phương pháp này có thể phân loại như sau: Học không giám sát (unsupervised training): thông tin được tập hợp từ tập ngữ liệu thô chưa được gán nhãn. Học có giám sát (supervised training): thông tin được tập hợp từ tập ngữ liệu đã được gán nhãn để huấn luyện hoặc lấy làm dữ liệu cho quá trình trích chọn. Và kết hợp cả hai phương pháp trên là bán giám sát (semi-supervised). Đặc điểm của phương pháp học máy không giám sát là phân cụm các trường hợp xuất hiện của từ trong văn bản. WSI là một hướng tiếp cận cho vấn đề này.

2.1. Các Phương Pháp Học Máy So Sánh Ưu và Nhược Điểm

Một phương pháp thay thế để tiếp cận WSD chính là WSI [10]. WSI nhằm mục đích xác định tự động nghĩa của từ một cách trực tiếp từ ngữ liệu, WSI thường được xem như một bài toán phân cụm không giám sát. Đầu vào cho thuật toán phân cụm là các ví dụ của từ mục tiêu với những bối cảnh đi kèm nó và đầu ra là một phép phân cụm các ví dụ này thành các lớp tương ứng với các nghĩa suy diễn. Nói cách khác, các ngữ cảnh được nhóm cùng nhau trong cùng một lớp biểu diễn một nghĩa đặc trưng [12]. Từ đây rất nhiều phương pháp phân cụm được sử dụng, ta đi xét ba phương pháp điển hình: Phân cụm theo ngữ cảnh. Phân cụm theo từ. Đồ thị xuất hiện đồng thời (Co-occurrence graphs ). Hai phương pháp tiếp cận đầu tiên có mối liên quan chặt chẽ và được bắt nguồn từ ý tưởng tương tự nhau. Phương pháp đồ thị xuất hiện đồng thời cho thấy vấn đề từ các góc độ khác nhau, nó tạo ra kết quả của hình thức khác nhau. Chúng ta sẽ lần lượt xem xét từng cách tiếp cận một.

2.2. Phân Cụm Ngữ Cảnh và Từ Giải Pháp Hiệu Quả Cho WSI

Ý tưởng đằng sau phương pháp tiếp cận phân cụm theo từ và phân cụm theo ngữ cảnh là các từ có ý nghĩa tương tự sẽ xuất hiện trong bối cảnh tương tự.Ý tưởng này lần đầu tiên được đề xuất bởi Harris trong năm 1954 [18] và được biết đến với cụm từ: “một từ được đặc trưng bởi những từ xung quanh nó” . Nhiều cuộc thử nghiệm đã được làm để thực hiện ý tưởng này và chúng có thể được chia thành hai nhóm chính: phân cụm theo ngữ cảnh và phân cụm theo từ. Mặc dù hai cách tiếp cận dựa trên ý tưởng giống nhau, nhưng tính năng và các kỹ thuật đã được sử dụng thì khác nhau.

III. Hướng Dẫn Chi Tiết Ứng Dụng HDP trong Xử Lý Nhập Nhằng

Với tính linh hoạt trong việc xác định nghĩa của từ một cách tự động. Trong khuôn khổ luận văn quan tâm đến việc xác định nghĩa của từ dựa vào phương pháp HDP. Ở chương này trình bày sâu hơn về phương pháp HDP và so sánh với phương pháp LDA, CTM . Chúng ta sẽ thấy rõ hơn về ưu, nhược điểm của phương pháp này thông qua kết quả thực nghiệm ở chương 4. Một chủ đề thường thấy trong thống kê là sự cần thiết phải tách biệt các quan sát thành các nhóm và cho phép các nhóm duy trì liên kết để “chia sẻ sức mạnh thống kê”. Dưới hình thức Bayes sự chia sẻ như vậy là đạt được một cách tự nhiên thông qua mô hình hóa phân cấp; các tham số được chia sẻ giữa các nhóm, và tính ngẫu nhiên của các tham số kéo theo sự phụ thuộc giữa các nhóm . Các ước lượng dựa trên phân phối hậu nghiệm thể hiện “sự cô đọng”. Ở đây chúng ta tiếp cận một phương pháp phân cấp cho bài toán phân cụm dựa trên mô hình của dữ liệu được phân nhóm. Chúng ta giả thiết rằng dữ liệu được chia thành một tập các nhóm, và trong mỗi nhóm chúng ta muốn tìm các cụm có cấu trúc tiềm ẩn trong dữ liệu được gán cho nhóm đó. Số cụm trong mỗi nhóm không được biết trước và cần được suy diễn. Hơn nữa, theo nghĩa chính xác là ta muốn các cụm chia sẻ giữa các nhóm [17].

3.1. Dirichlet Process và Quá Trình Nhà Hàng Trung Hoa Tổng Quan

Một quan điểm về quá trình Dirichlet được đưa ra bởi chương trình tách trà Pólya. Chương trình tách trà Pólya cho ta thấy rằng các mẫu từ quá trình Dirichlet vừa rời rạc vừa thể hiện tính chất phân cụm. Chương trình tách trà Pólya không đề cập tới G0 trực tiếp; mà nó đề cập đến các mẫu từ G. là một dãy các biến ngẫu nhiên độc lập cùng phân phối có phân phối G. Tức là các biến . độc lập điều kiện khi biết G, và do đó chúng hoán chuyển được. Chúng ta hãy xét các phân phối có điều kiện liên tiếp của  i khi biết trong đó G được tích hợp. Blackwell và MacQueen (1973) đã chỉ ra các phân phối có điều kiện này có dạng sau đây: ∑ ( ) Chúng ta có thể giải thích các phân phối có điều kiện dưới dạng mô hình tách trà đơn giản trong đó một quả bóng khác màu được liên kết với mỗi nguyên tử. Những quả bóng được rút ra với cùng khả năng; khi một quả bóng được rút ra thì nó được đặt trở lại trong bình cùng với quả bóng khác cùng màu. Ngoài ra, với xác suất tỷ lệ với , thì 1

3.2. Quá Trình Dirichlet Phân Cấp HDP Giải Thích Chi Tiết

Một quá trình Dirichlet phân cấp là một phân phối trên một tập các độ đo xác suất ngẫu nhiên trên ( ). Quá trình này xác định một tập các độ đo xác suất ngẫu nhiên Gj, mỗi độ đo xác suất cho một nhóm, và một độ đo xác suất ngẫu nhiên toàn cục G0. Độ đo toàn cục G0 được phân phối như một quá trình Dirichlet với tham số tập trung và độ đo xác suất cơ sở H: ( ) ( ) và các độ đo ngẫu nhiên Gj độc lập điều kiện khi biết Go, với các phân phối được cho bởi một quá trình Dirichlet có độ đo xác suất cơ sở G0 , ta có: ( ) ( ) Các siêu tham số của quá trình Dirichlet phân cấp bao gồm độ đo xác suất cơ sở H, và các tham số tập trung và . H cung cấp phân phối tiên nghiệm cho các nhân tố . Phân phối G0 thay đổi xung quanh tiên nghiệm H, với lượng biến đổi được điều chỉnh bởi . Phân phối thực tế Gj trên các nhân tố trong nhóm thứ j lệch so với G0 với lượng biến đổi được điều chỉnh bởi . Nếu chúng ta mong đợi sự thay đổi trong các nhóm khác nhau là khác nhau, thì chúng ta có thể sử dụng một tham số tập trung riêng biệt  j cho mỗi nhóm j.

IV. So Sánh Phương Pháp HDP LDA và CTM trong Xử Lý Nhập Nhằng

Nhƣ chúng ta đã biết đối với các mô hình tham số nhƣ LDA hay CTM thì số lƣợng các nghĩa phải đƣợc xác định trƣớc khi xây dựng các mô hình, đây là điều bất lợi của LDA, CTM khi áp dụng vào WSI. Số lƣợng các nghĩa có ảnh hƣởng đáng kể đến hiệu suất của hệ thống. Điều này đƣợc xác nhận bởi một thí nghiệm đƣợc thực hiện bởi Brody và Lapata trong năm 2009 [12] . Hiệu suất của các mô hình đƣợc đo bằng F-Score. Số lƣợng nghĩa trung bình trong tập dữ liệu thử nghiệm là 3. Đƣờng nét liền thể hiện hiệu suất của mô hình đã huấn luyện trên bộ ngữ liệu Wall Street Journal (WSJ), đƣờng nét đứt thể hiện mô hình đó đƣợc huấn luyện trên một bộ ngữ liệu British National Corpus (BNC). Thí nghiệm đã sử dụng tập dữ liệu của bài toán số 2 tại cuộc thi SemEval – 2007 trong đó có 4000 thử nghiệm của 35 danh từ và 65 động từ với số lƣợng nghĩa trung bình là 3. Đối với mô hình đƣợc đào tạo trên bộ ngữ liệu WSJ, hiệu suất lớn nhất tại bốn nghĩa mà gần với con số trung bình nghĩa của hệ thống SemEval 2007. Tuy nhiên, hiệu suất của mô hình đƣợc huấn luyện trên phạm vi ngữ liệu BNC tăng lên cùng với số lƣợng nghĩa và đạt giá trị lớn nhất là 8 nghĩa. Sự thay đổi trong phạm vi ngữ liệu dẫn đến sự khác biệt trong bộ phận ngữ nghĩa giữa dữ liệu huấn luyện và dữ liệu thử nghiệm mà dẫn đến giảm hiệu suất của mô hình đào tạo trên miền dữ liệu ngoài BNC. Sự khác nhau trong phân chia nghĩa cũng đòi hỏi mô hình tạo ra nhiều nghĩa hơn để đạt đƣợc hiệu suất tốt hơn.

4.1. Ưu Điểm Vượt Trội của HDP Số Lượng Nghĩa Tự Động

Một nhƣợc điểm của mô hình LDA, CTM cho WSI là số lƣợng các nghĩa cần phải đƣợc xác định trƣớc một cách thủ công hoặc tách biệt cho mỗi loại từ (văn bản) hoặc một giá trị cố định nào đó đƣợc chia sẻ trên tất cả các từ (nhƣ đã làm bởi B&L), Hoang T. Ponzetto [10] cũng đã chọn cách dùng một giá trị cố định cho tất cả các từ vì điều chỉnh con số này cho mỗi từ một cách riêng lẻ thì khó kiểm soát . Các phƣơng pháp phi tham số có tính linh hoạt trong việc quyết định một cách tự số lƣợng nghĩa của các phân cụm [16]. Trong công việc này đầu tiên ta xác nhận một cách độc lập các kết quả của B&L, Hoang T. Ponzetto, sau đó giải quyết những hạn chế về số nghĩa cố định thông qua việc sử HDP [17], một mô hình Bayes phi tham số. Chúng tôi trình bày phƣơng pháp này dẫn đến kết quả vƣợt trội về chất lƣợng xác định nghĩa và có ƣu điểm là xác định một cách tự động số lƣợng nghĩa biến đổi trên một từ.

4.2. Kết Quả Thực Nghiệm và So Sánh Chứng Minh Ưu Thế của HDP

Khi được huấn luyện trên tập miền rộng hơn, ta thấy rằng số lượng các nghĩa suy diễn tăng lên, phù hợp với trực giác rằng một tập các miền rộng có thể dẫn đến một sự đa dạng hơn các nghĩa cơ bản. Suy diễn tự động số lượng lớn các nghĩa có ý nghĩa thực tiễn rất lớn, đặc biệt hơn là trong lĩnh vực mà đòi hỏi xử lý nhập nhằng nghĩa của từ. Chẳng hạn, suy diễn hơn nửa các nghĩa cho từ bank giúp cho các nghĩa của từ khác tách rời các từ nhập nhằng một cách tự nhiên hơn và suy diễn ít hơn các nghĩa của từ job giúp ngăn chặn sự phân chia quá nhiều nghĩa gốc trở nên mịn hơn trong trường hợp các từ giống nhau trong hai ngữ cảnh tương tự nhau và được coi là nhầm lẫn vì mang ý nghĩa khác nhau [16]. Với mỗi cụm ta biểu diễn bởi 10 từ có xác suất cao nhất. Trong từ điển WordNet từ “deploy” có hai nghĩa chính: Deploy: (v) (place troops or weapons in battle formation – địa điểm quân đội hay vũ khí trong tƣ thế chiến đấu). Ta thấy LDA và CTM cho nghĩa là tƣơng tự nhau do số lƣợng nghĩa là nhỏ. Có vẻ nhƣ cụm số 0, 2, 3, 4, 6của LDA và 1,2,5,7 của CTM nghiêng về nghĩa thứ hai. Còn cụm số 1, 5, 7 của LDA và 0,3,4,6 của CTM nghiêng về nghĩa thứ nhất. Còn riêng về HDP do tự động sinh cụm dựa vào dữ liệu huấn luyện nên có vẻ nhƣ nghĩa của chúng mịn hơn, số cụm tự động tạo ra là 17. Ngoài các cụm nghiêng về 2 nghĩa cơ bản của từ điển WordNet, ta thấy chúng xuất hiện các cụm mà nghĩa liên quan đến các từ trong chủ đề 9,14,16.

V. Ứng Dụng Thực Tế và Triển Vọng Tương Lai Của WSD

Công nghệ WSD có thể được áp dụng trong nhiều lĩnh vực khác nhau, bao gồm: Dịch máy: Giúp cải thiện chất lượng dịch bằng cách chọn nghĩa chính xác của từ trong ngôn ngữ nguồn. Tìm kiếm thông tin: Nâng cao độ chính xác của kết quả tìm kiếm bằng cách hiểu rõ ý định của người dùng. Xây dựng hệ thống WSI dựa trên phương pháp HDP – mô hình Bayes phi tham số để ứng dụng vào công việc xử lý nhập nhằng ngữ nghĩa trong đó không gian ngữ cảnh của từ được phân cụm vào các chủ đề đại diện cho ý nghĩa của từ. Cụ thể chúng ta sẽ thấy được trong phần 2. Các mô hình LDA, CTM và HDP chúng đều là mô hình chủ đề (topic models), vì vậy ở chương tiếp theo chúng ta đi tìm hiểu chung về mô hình chủ đề và các tiếp cận điển hình.

5.1. Ứng Dụng Thực Tiễn và Triển Vọng Tương Lai Của WSD

Công nghệ WSD có thể được áp dụng trong nhiều lĩnh vực khác nhau, bao gồm: Dịch máy: Giúp cải thiện chất lượng dịch bằng cách chọn nghĩa chính xác của từ trong ngôn ngữ nguồn. Tìm kiếm thông tin: Nâng cao độ chính xác của kết quả tìm kiếm bằng cách hiểu rõ ý định của người dùng. Xây dựng hệ thống WSI dựa trên phương pháp HDP – mô hình Bayes phi tham số để ứng dụng vào công việc xử lý nhập nhằng ngữ nghĩa trong đó không gian ngữ cảnh của từ được phân cụm vào các chủ đề đại diện cho ý nghĩa của từ.

5.2. Hướng Phát Triển Mô Hình HDP cho Bài Toán Liên Quan

Các mô hình LDA, CTM và HDP chúng đều là mô hình chủ đề (topic models), vì vậy ở chương tiếp theo chúng ta đi tìm hiểu chung về mô hình chủ đề và các tiếp cận điển hình.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Xử lý nhập nhằng ngữ nghĩa của từ là một trong những vấn đề đƣợc rất nhiều nhà nghiên cứu trong lĩnh vực xử lý ngôn ngữ tự nhiên quan tâm đến. Vì vậy có nhiều cách tiếp cận khác nhau để giải quyết vấn đề xử lý nhập nhằng ngữ nghĩa chẳng hạn nhƣ các phƣơng pháp dựa vào tri thức (knowledge-based methods) [1] và các phƣơng pháp dựa vào kho ngữ liệu (corpus-based methods). Đối với phƣơng pháp thứ hai, phƣơng pháp có thể sử dụng là học có giám sát, học không có giám sát và kết hợp của hai phƣơng pháp này. Nói chung, các phƣơng pháp học có giám sát cho ra kết quả với độ chính xác cao hơn nhƣng nhƣợc điểm của phƣơng pháp này đòi hỏi tiêu tốn công sức trong việc xây dựng tập dữ liệu gán nhãn, nó lại không nhận biết đƣợc nghĩa của từ trong trƣờng hợp mới.

Trong khi đó phƣơng pháp không giám sát khắc phục đƣợc hai nhƣợc điểm này. Do đó, phƣơng pháp học không giám sát là một hƣớng đi rất đƣợc chú ý để giải quyết vấn đề này. Nó sẽ phân cụm các trƣờng hợp xuất hiện của từ trong văn bản, mỗi cụm thể hiện một nghĩa. WSI (Word Sense Induction) là một hƣớng tiếp cận không giám sát cho vấn đề này, WSI đã cho thấy lợi thế của nó cho việc xử lý nhập nhằng nghĩa của từ trong một số lĩnh vực mà dữ liệu huấn luyện đƣợc chú thích không có sẵn hoặc số lƣợng nghĩa của các từ khác nhau phụ thuộc vào mục đích khác nhau.

Trong khi có nhiều phƣơng pháp cho WSI, thì phân cụm theo ngữ cảnh là một trong những giải pháp hiệu quả nhất và đƣợc sử dụng rộng rãi. Luận văn tập trung vào việc áp dụng một mô hình Bayes phi tham số (Nonparametric Bayesian model) - Hierarchical Dirichlet Process ( HDP) cho bài toán WSI. Kết quả đƣợc thể hiện thông qua việc so sánh với phƣơng pháp Latent Dirichlet Allocation (LDA) - một mô hình Bayes có tham số của Blei và Jordan [3] cho vấn đề này, và còn đƣợc so sánh với phƣơng pháp của Blei và Lafferty [2] đó là Correlated Topic Model (CTM) với cùng một tập dữ liệu ở bài toán số 14 trong cuộc thi SemEval - 2010. Ta thấy rằng mô hình HDP vƣợt trội về chất lƣợng xác định nghĩa và có ƣu điểm là xác định một cách tự động số lƣợng nghĩa biến đổi trên một từ thì LDA, CTM lại cần một số nghĩa cố định trƣớc đƣợc xây dựng bằng tay.

Đó là sự vƣợt trội hơn của cách tiếp cận WSI dựa trên HDP so với các cách tiếp cận khác. Ngoài phần kết luận, luận văn đƣợc trình bày thành 4 chƣơng với nội dung đƣợc trình bày nhƣ sau: TIEU LUAN MOI download : [e-mail] 9 Chƣơng 1: Giới thiệu về WSI, WSD và các phƣơng pháp tiếp cận cho WSI, WSD, đồng thời giới thiệu về mục tiêu và kết quả sẽ trình bày trong luận văn. Chƣơng 2: Bài toán mô hình chủ đề và các tiếp cận điển hình Ở chƣơng này trình bày tổng quan về mô hình chủ đề, các tiếp cận điển hình nhƣ: LDA, CTM (mô hình Bayes có tham số ), HDP (mô hình Bayes phi tham số) và cách sử dụng chúng trong WSI. Chƣơng 3: Sử dụng phƣơng pháp HDP cho WSI Với tính linh hoạt trong việc xác định nghĩa của từ một cách tự động.

Trong khuôn khổ luận văn quan tâm đến việc xác định nghĩa của từ dựa vào phƣơng pháp HDP. Ở chƣơng này trình bày sâu hơn về phƣơng pháp HDP và so sánh với phƣơng pháp LDA và CTM. Chúng ta sẽ thấy rõ hơn về ƣu, nhƣợc điểm của phƣơng pháp này thông qua kết quả thực nghiệm ở chƣơng 4. Chƣơng 4: Đánh giá và kết quả thực nghiệm Trong phần này đƣa ra chi tiết về phƣơng pháp đƣợc sử dụng để đánh giá hệ thống WSI, mô tả dữ liệu ở bài toán số 14 của cuộc thi SemEval - 2010 đƣợc sử dụng để huấn luyện, thử nghiệm trong hệ thống này và mô tả chi tiết thực nghiệm xây dựng hệ thống WSI của ta.

Tiếp theo là kết quả công việc bao gồm hiệu suất của hệ thống trên tập dữ liệu ở bài toán số 14 của cuộc thi SemEval – 2010 và so sánh kết quả với hai phƣơng pháp CTM, LDA. Cuối cùng là kết luận, hƣớng phát triển, tài liệu tham khảo và phụ lục. Phần kết luận trình bày tóm tắt kết quả thu đƣợc và đề xuất hƣớng nghiên cứu tiếp theo. TIEU LUAN MOI download : [e-mail] 10 CHƢƠNG I: GIỚI THIỆU Nội dung của chƣơng này giới thiệu về WSI và WSD, qua đó phân biệt đƣợc sự khác nhau giữa chúng.

Đồng thời giới thiệu một số phƣơng pháp tiếp cận cho WSI, WSD và mục tiêu của đề tài. WSI và WSD Hiểu đƣợc nghĩa của từ một cách chính xác là điều cần thiết để giao tiếp, đặc biệt là thông tin liên lạc tự động. Tuy nhiên một từ có thể có nhiều nghĩa, việc xác định ý nghĩa đang đƣợc sử dụng không phải lúc nào cũng dễ dàng cho cả con ngƣời và máy tính. Ví dụ: Xét nghĩa của từ “access” trong hai câu sau đây: The police gained access through a broken window.

You need a password to get access to the computer system. Nhƣ vậy ở câu thứ nhất từ “access” có nghĩa là sự tiếp cận, cách vào , quyền vào một nơi nào đó. Còn ở câu thứ hai có nghĩa là quyền sử dụng, truy cập. Trong ví dụ trên, chúng ta khá dễ dàng phân biệt các từ “access” , tuy nhiên trong một số trƣờng hợp, nhiệm vụ phân biệt là một thách thức cho các nhà nghiên cứu từ ngữ học thậm chí là ngƣời có kinh nghiệm.

WSI và WSD là hai cách tiếp cận khác nhau cho bài toán nhận dạng tự động nghĩa của từ. Hệ thống WSD thƣờng theo cách tiếp cận giám sát – yêu cầu ngữ liệu đƣợc gắn nhãn thủ công cho giai đoạn huấn luyện. Ngƣợc lại, các hệ thống WSI là không giám sát; chúng chỉ cần văn bản thô, điều này có sẵn “miễn phí” trên internet và nhiều nguồn khác. Kết quả là, việc chuyển hệ thống WSD tới miền dữ liệu hoặc ngôn ngữ mới là một công việc tốn kém bởi vì chúng ta phải cung cấp một dữ liệu đƣợc chú giải mới và kiến thức về ngôn ngữ /miền cụ thể.

Việc chuyển một hệ thống WSI thì dễ hơn vì trong hầu hết các trƣờng hợp, chúng ta chỉ cần huấn luyện lại hệ thống trên dữ liệu “miễn phí ” mới. Các hệ thống WSD thƣờng dựa trên các danh sách cố định chứa các nghĩa đƣợc xác định trƣớc. Từ các danh sách này, nghĩa thích hợp nhất đƣợc chọn và gắn cho từ. Do đó số lƣợng nghĩa không thể thay đổi đƣợc trong hệ thống WSD.

Điều này dẫn đến TIEU LUAN MOI download : [e-mail] 11 một số khó khăn khi triển khai hệ thống với các lĩnh vực khác nhau và với các mục đích khác nhau. Trong một số ứng dụng, các ngữ nghĩa đƣợc xử lý thô có thể là hữu ích hơn các ngữ nghĩa đã làm mịn, và trong một số ứng dụng khác, lại đòi hỏi ngữ nghĩa đã đƣợc làm mịn. Các hệ thống WSI cho phép số lƣợng nghĩa của một từ thay đổi. Hơn nữa hệ thống WSD không thể phát hiện các nghĩa mà không xuất hiện trong “từ điển” của chúng.

Bài toán này có thể đƣợc giải quyết dễ dàng trong hệ thống WSI; chúng ta chỉ cần cung cấp dữ liệu có chứa các nghĩa mới và điều chỉnh số lƣợng nghĩa nếu cần thiết. Mặc dù WSI có nhiều lợi thế hơn WSD, nhƣng các hệ thống WSD thƣờng có hiệu suất tốt hơn. Vì vậy, WSI không thể thay thế WSD trong tất cả các trƣờng hợp nhƣng nó lại đang rất đƣợc quan tâm. Xây dựng một hệ thống WSI là mục tiêu chính của luận văn này, nó dựa trên phƣơng pháp phân cụm ngữ cảnh, trong đó các ngữ cảnh của từ đƣợc nhóm lại thành các cụm đại diện cho các nghĩa.

Tổng quan về cách tiếp cận cho bài toán WSD và WSI đƣợc đƣa ra trong phần tiếp theo của chƣơng. Phƣơng pháp tiếp cận cho WSD Phƣơng pháp để xử lý nhập nhằng ngữ nghĩa thƣờng đƣợc phân loại theo nguồn tri thức chính để phân biệt các nghĩa (thƣờng đƣợc dùng bởi các chuyên gia ngôn ngữ học). Các phƣơng pháp này chủ yếu dựa vào từ điển chuyên ngành, tri thức về từ vựng, và không sử dụng bất cứ một thông tin ngữ liệu nào, đƣợc gọi dƣới thuật ngữ chuyên ngành là các phƣơng pháp dựa vào từ điển hay dựa vào tri thức. Điểm yếu của phƣơng pháp này là bộ cơ sở tri thức thƣờng sẽ rất lớn, hơn nữa với sự phức tạp của ngôn ngữ tự nhiên thì việc dùng các luật để xử lý nhập nhằng cũng chỉ đạt đƣợc độ chính xác có giới hạn.

Ngƣời ta còn sử dụng phƣơng pháp học máy để giải quyết nhập nhằng ngữ nghĩa. Wilks và Stevenson báo cáo vài thử nghiệm về giải quyết nhập nhằng nghĩa của từ bằng cách sử dụng những thông tin thu đƣợc từ quá trình học tập trên ngữ liệu mẫu [15]. Phƣơng pháp này có thể phân loại nhƣ sau: Học không giám sát (unsupervised training): thông tin đƣợc tập hợp từ tập ngữ liệu thô chƣa đƣợc gán nhãn. Học có giám sát (supervised training): thông tin đƣợc tập hợp từ tập ngữ liệu đã đƣợc gán nhãn để huấn luyện hoặc lấy làm dữ liệu cho quá trình trích chọn.

Và kết hợp cả hai phƣơng pháp trên là bán giám sát (semi-supervised). Đặc điểm của phƣơng pháp học máy không giám sát là phân cụm các trƣờng hợp xuất hiện của từ trong văn bản. WSI là một hƣớng tiếp cận cho vấn đề này. TIEU LUAN MOI download : skknchat@gmail.

Phƣơng pháp tiếp cận cho WSI Một phƣơng pháp thay thế để tiếp cận WSD chính là WSI [10]. WSI nhằm mục đích xác định tự động nghĩa của từ một cách trực tiếp từ ngữ liệu, WSI thƣờng đƣợc xem nhƣ một bài toán phân cụm không giám sát. Đầu vào cho thuật toán phân cụm là các ví dụ của từ mục tiêu với những bối cảnh đi kèm nó và đầu ra là một phép phân cụm các ví dụ này thành các lớp tƣơng ứng với các nghĩa suy diễn. Nói cách khác, các ngữ cảnh đƣợc nhóm cùng nhau trong cùng một lớp biểu diễn một nghĩa đặc trƣng [12].

Từ đây rất nhiều phƣơng pháp phân cụm đƣợc sử dụng, ta đi xét ba phƣơng pháp điển hình:  Phân cụm theo ngữ cảnh.  Phân cụm theo từ.  Đồ thị xuất hiện đồng thời (Co-occurrence graphs ). Hai phƣơng pháp tiếp cận đầu tiên có mối liên quan chặt chẽ và đƣợc bắt nguồn từ ý tƣởng tƣơng tự nhau.

Phƣơng pháp đồ thị xuất hiện đồng thời cho thấy vấn đề từ các góc độ khác nhau, nó tạo ra kết quả của hình thức khác nhau.