Luận Văn Thạc Sĩ: Xử Lý Nhập Nhằng Nghĩa Của Từ Sử Dụng Học Máy Không Giám Sát

Luận văn thạc sĩ công nghệ thông tin nghiên cứu xử lý nhập nhằng nghĩa từ bằng học máy không giám sát, ứng dụng trong ngôn ngữ tự nhiên.

• Tác giả: Trần Thị Hiền
• Người hướng dẫn: Tiến Sĩ Nguyễn Phương Thái
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Xử Lý Nhập Nhằng Nghĩa Từ Bằng Học Máy Không Giám Sát
• Loại tài liệu: luận văn thạc sỹ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• DANH MỤC CÁC KÍ HIỆU, TỪ VIẾT TẮT
• DANH MỤC CÁC HÌNH VẼ
• DANH MỤC CÁC BẢNG BIỂU
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. WSI và WSD
• 1.2. Phương pháp tiếp cận cho WSD
• 1.3. Phương pháp tiếp cận cho WSI
• 1.4. Phương pháp phân cụm
• 1.5. Đồ thị xuất hiện đồng thời (Co-occurrence graphs)
• 1.6. Mục tiêu đề tài
• 1.7. Ứng dụng của đề tài
• 2. CHƯƠNG 2: BÀI TOÁN MÔ HÌNH CHỦ ĐỀ VÀ CÁC TIẾP CẬN ĐIỂN HÌNH
• 2.1. Tổng quan về mô hình chủ đề
• 2.2. Ứng dụng của mô hình chủ đề
• 2.3. Sử dụng mô hình chủ đề trong WSI
• 2.4. Ngữ cảnh địa phương và ngữ cảnh toàn cục
• 2.5. Xem bài toán WSI như một bài toán mô hình chủ đề
• 3. CHƯƠNG 3: SỬ DỤNG PHƯƠNG PHÁP HDP CHO WSI
• 3.1. Tổng quan về HDP
• 3.2. Sử dụng phương pháp HDP cho WSI
• 3.3. WSI dựa vào phương pháp Bayes
• 3.4. So sánh phương pháp HDP với LDA và CTM
• 4. CHƯƠNG 4: ĐÁNH GIÁ VÀ KẾT QUẢ THỰC NGHIỆM
• 4.1. Mô tả dữ liệu
• 4.2. Tập dữ liệu huấn luyện
• 4.3. Tập dữ liệu thử nghiệm
• 4.4. Phương pháp đánh giá
• 4.5. Đánh giá không giám sát
• 4.6. Đánh giá giám sát
• 4.7. Tiền xử lý dữ liệu
• 4.8. Phương pháp huấn luyện và thử nghiệm
• 4.9. Xử lý dữ liệu đầu ra
• 4.10. Kết quả và so sánh
• 4.11. Hiệu suất của hệ thống
• 4.12. Kết quả đánh giá không giám sát
• 4.13. Kết quả đánh giá giám sát
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Xử Lý Nhập Nhằng Nghĩa Từ Bằng Học Máy Không Giám Sát

Xử lý nhập nhằng nghĩa từ là một thách thức lớn trong lĩnh vực xử lý ngôn ngữ tự nhiên. Việc xác định nghĩa chính xác của từ trong ngữ cảnh cụ thể là rất quan trọng. Học máy không giám sát đã trở thành một phương pháp hiệu quả để giải quyết vấn đề này. Phương pháp này cho phép phân cụm các trường hợp xuất hiện của từ trong văn bản mà không cần gán nhãn dữ liệu. Điều này giúp tiết kiệm thời gian và công sức trong việc xây dựng tập dữ liệu gán nhãn.

1.1. Khái Niệm Về Nhập Nhằng Nghĩa Từ

Nhập nhằng nghĩa từ xảy ra khi một từ có nhiều nghĩa khác nhau. Việc xác định nghĩa nào đang được sử dụng trong một ngữ cảnh cụ thể là rất khó khăn. Các hệ thống WSD thường yêu cầu dữ liệu gán nhãn, trong khi WSI có thể hoạt động trên dữ liệu thô.

1.2. Tầm Quan Trọng Của Học Máy Không Giám Sát

Học máy không giám sát cho phép phân tích dữ liệu mà không cần gán nhãn. Điều này rất hữu ích trong các lĩnh vực mà dữ liệu gán nhãn không có sẵn. Phương pháp này giúp phát hiện các nghĩa mới và điều chỉnh số lượng nghĩa của từ một cách tự động.

II. Vấn Đề Và Thách Thức Trong Xử Lý Nhập Nhằng Nghĩa Từ

Một trong những thách thức lớn nhất trong xử lý nhập nhằng nghĩa từ là sự đa nghĩa của từ. Các từ có thể mang nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh. Điều này gây khó khăn cho các hệ thống WSD, vì chúng cần dữ liệu gán nhãn chính xác để hoạt động hiệu quả. Hơn nữa, việc chuyển giao các hệ thống này sang ngôn ngữ hoặc miền mới thường tốn kém và phức tạp.

2.1. Đa Nghĩa Của Từ Trong Ngữ Cảnh

Đa nghĩa của từ là một vấn đề phổ biến trong ngôn ngữ tự nhiên. Ví dụ, từ 'bank' có thể chỉ đến 'ngân hàng' hoặc 'bờ sông' tùy thuộc vào ngữ cảnh. Việc xác định nghĩa chính xác là rất quan trọng để tránh hiểu lầm.

2.2. Khó Khăn Trong Việc Gán Nhãn Dữ Liệu

Gán nhãn dữ liệu là một quá trình tốn thời gian và công sức. Các hệ thống WSD thường yêu cầu dữ liệu gán nhãn thủ công, điều này làm tăng chi phí và thời gian triển khai. Học máy không giám sát giúp giảm thiểu vấn đề này.

III. Phương Pháp Phân Cụm Trong Xử Lý Nhập Nhằng Nghĩa Từ

Phân cụm là một trong những phương pháp chính để xử lý nhập nhằng nghĩa từ. Các phương pháp phân cụm giúp nhóm các trường hợp xuất hiện của từ trong văn bản thành các cụm tương ứng với các nghĩa khác nhau. Phân cụm theo ngữ cảnh và phân cụm theo từ là hai phương pháp phổ biến trong lĩnh vực này.

3.1. Phân Cụm Theo Ngữ Cảnh

Phân cụm theo ngữ cảnh cho phép nhóm các ngữ cảnh của từ lại với nhau. Điều này giúp xác định nghĩa của từ một cách chính xác hơn. Các ngữ cảnh tương tự sẽ được nhóm lại thành một cụm, đại diện cho một nghĩa cụ thể.

3.2. Phân Cụm Theo Từ

Phân cụm theo từ tập trung vào việc nhóm các từ có nghĩa tương tự lại với nhau. Mỗi từ được đại diện bởi một véc tơ đặc trưng, và các thuật toán phân cụm sẽ được áp dụng để xác định các cụm từ tương tự.

IV. Ứng Dụng Thực Tiễn Của Học Máy Không Giám Sát Trong Xử Lý Nhập Nhằng Nghĩa Từ

Học máy không giám sát đã được áp dụng trong nhiều lĩnh vực khác nhau để xử lý nhập nhằng nghĩa từ. Các ứng dụng này bao gồm dịch máy, tìm kiếm thông tin và phân tích cảm xúc. Kết quả nghiên cứu cho thấy rằng phương pháp này có thể cải thiện độ chính xác trong việc xác định nghĩa của từ.

4.1. Ứng Dụng Trong Dịch Máy

Trong dịch máy, việc xác định nghĩa chính xác của từ là rất quan trọng. Học máy không giám sát giúp cải thiện chất lượng dịch bằng cách phân cụm các nghĩa khác nhau của từ trong ngữ cảnh.

4.2. Ứng Dụng Trong Tìm Kiếm Thông Tin

Hệ thống tìm kiếm thông tin cần xác định nghĩa của từ để cung cấp kết quả chính xác. Học máy không giám sát giúp cải thiện khả năng tìm kiếm bằng cách phân tích ngữ cảnh của từ trong các tài liệu.

V. Kết Luận Và Hướng Phát Triển Tương Lai Trong Xử Lý Nhập Nhằng Nghĩa Từ

Xử lý nhập nhằng nghĩa từ bằng học máy không giám sát là một lĩnh vực đầy tiềm năng. Các phương pháp hiện tại đã cho thấy hiệu quả trong việc xác định nghĩa của từ, nhưng vẫn còn nhiều thách thức cần được giải quyết. Hướng phát triển tương lai có thể bao gồm việc cải thiện các thuật toán phân cụm và áp dụng các mô hình học sâu.

5.1. Cải Thiện Thuật Toán Phân Cụm

Cải thiện các thuật toán phân cụm có thể giúp nâng cao độ chính xác trong việc xác định nghĩa của từ. Việc áp dụng các kỹ thuật học sâu có thể mang lại những kết quả tốt hơn.

5.2. Nghiên Cứu Các Mô Hình Học Sâu

Mô hình học sâu có thể cung cấp những hiểu biết mới trong việc xử lý nhập nhằng nghĩa từ. Nghiên cứu và phát triển các mô hình này sẽ mở ra nhiều cơ hội mới trong lĩnh vực xử lý ngôn ngữ tự nhiên.

Nội dung chính

Tổng quan nghiên cứu

Ngôn ngữ tự nhiên chứa đựng hàng triệu biến thể ngữ nghĩa phức tạp, trong đó hiện tượng từ đa nghĩa tạo ra rào cản lớn cho các hệ thống máy học hiện đại. Theo ước tính từ các kho ngữ liệu chuẩn quốc tế, hơn 40% từ vựng thông dụng trong tiếng Anh mang từ 2 nghĩa trở lên tùy thuộc vào văn cảnh cụ thể. Trong bài toán xử lý ngôn ngữ tự nhiên, việc xác định chính xác ngữ nghĩa của từ đóng vai trò nền tảng, quyết định hiệu năng của các hệ thống dịch máy, tìm kiếm thông tin và phân tích quan điểm. Phương pháp khử nhập nhằng ngữ nghĩa có giám sát truyền thống đòi hỏi chi phí gán nhãn thủ công rất lớn và luôn bị giới hạn bởi danh sách nghĩa cố định từ các bộ từ điển như WordNet.

Nhằm giải quyết triệt để rào cản trên, luận văn thạc sĩ chuyên ngành Kỹ thuật phần mềm của tác giả Trần Thị Hiền, dưới sự hướng dẫn của Tiến sĩ Nguyễn Phương Thái tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội vào năm 2014, tập trung nghiên cứu hướng tiếp cận suy diễn nghĩa của từ không giám sát. Mục tiêu cụ thể của đề tài là xây dựng và thực nghiệm hệ thống suy diễn nghĩa tự động dựa trên mô hình Bayes phi tham số mang tên Quá trình Dirichlet phân cấp. Nghiên cứu sử dụng tập dữ liệu chuẩn SemEval-2010 Task 14 gồm 100 từ mục tiêu, 879.807 mẫu huấn luyện và 8.915 mẫu thử nghiệm để kiểm chứng độ chính xác. Kết quả nghiên cứu mang lại ý nghĩa học thuật và ứng dụng thực tiễn cao khi nâng cao chất lượng phân cụm ngữ nghĩa, tự động phát hiện số lượng nghĩa biến đổi mà không cần can thiệp thủ công, mở ra giải pháp tối ưu cho việc xử lý kho ngữ liệu văn bản quy mô hơn 400 MB chứa xấp xỉ 100 triệu từ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được phát triển dựa trên giả thuyết phân phối của Zellig Harris năm 1954 với luận điểm then chốt: các từ có nghĩa tương tự nhau sẽ xuất hiện trong các bối cảnh tương tự nhau. Trên cơ sở đó, luận văn tổng hợp và đối sánh 2 nhóm lý thuyết mô hình chủ đề xác suất:

1. Nhóm mô hình Bayes có tham số: Bao gồm mô hình Phân bổ Dirichlet tiềm ẩn (LDA) do David Blei và cộng sự đề xuất năm 2003, cùng mô hình Chủ đề tương quan (CTM) do Blei và Lafferty phát triển năm 2006. Các mô hình này giả định mỗi tài liệu là một phân phối trên K chủ đề cố định trước và mỗi chủ đề là một phân phối trên tập từ vựng.
2. Nhóm mô hình Bayes phi tham số: Tiêu biểu là Quá trình Dirichlet phân cấp (HDP) do Yee Whye Teh và cộng sự xây dựng năm 2006. HDP mở rộng từ Quá trình Dirichlet (DP) thông qua việc thiết lập phân phối cơ sở toàn cục G0 và các phân phối thành phần Gj cho từng nhóm dữ liệu, được mô hình hóa trực quan qua phép ẩn dụ Quyền kinh doanh nhà hàng Trung Hoa (Chinese Restaurant Franchise).

Bên cạnh đó, tác giả chuẩn hóa 3 khái niệm cốt lõi: Khử nhập nhằng nghĩa từ (WSD), Suy diễn nghĩa từ (WSI), và sự phân biệt giữa ngữ cảnh địa phương (cửa sổ trượt từ 5 đến 10 từ quanh từ mục tiêu) với ngữ cảnh toàn cục (toàn bộ văn bản).

Phương pháp nghiên cứu

Quy trình nghiên cứu thực nghiệm được thiết kế chặt chẽ theo các tiêu chuẩn quốc tế:

• Cỡ mẫu và nguồn dữ liệu: Tập huấn luyện gồm 100 từ mục tiêu (50 danh từ và 50 động từ) với 879.807 ngữ cảnh chứa từ mục tiêu, dung lượng vượt mức 400 MB với gần 100 triệu từ vựng. Tập thử nghiệm gồm 8.915 trường hợp trích xuất từ kho ngữ liệu OntoNotes với trung bình 3,85 nghĩa tiêu chuẩn cho mỗi từ.
• Phương pháp chọn mẫu và tiền xử lý: Dữ liệu huấn luyện được thu thập bán tự động qua Yahoo! Search API bằng các truy vấn kết hợp từ mục tiêu và tập từ quan hệ nghĩa từ WordNet. Các đoạn văn sau đó được gán nhãn từ loại (POS) bằng công cụ Genia Tagger để giữ lại đúng dạng ngữ pháp mục tiêu, loại bỏ hoàn toàn các cấu trúc sai lệch.
• Lý do lựa chọn phương pháp phân tích: Nghiên cứu áp dụng thuật toán lấy mẫu Gibbs trong mô hình HDP trên không gian ngữ cảnh địa phương. Phương pháp này cho phép hệ thống tự động suy diễn số lượng nghĩa tối ưu từ dữ liệu thô mà không cần ấn định tham số K như LDA hay CTM. Quá trình kiểm định được tiến hành qua 2 khung đánh giá: không giám sát (V-Measure, Paired F-Score) và giám sát trên 10 tập thử nghiệm ngẫu nhiên nhằm đảm bảo tính khách quan tuyệt đối.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa 3 mô hình HDP, LDA và CTM trên cùng bộ dữ liệu SemEval-2010 Task 14 đã ghi nhận những phát hiện nổi bật:

• Khả năng tự động xác định số lượng nghĩa: Trong khi LDA và CTM bắt buộc phải cố định số cụm (ví dụ K=8 cụm), mô hình HDP tự động sinh ra số lượng cụm biến đổi phù hợp với bản chất từng từ. Điển hình với động từ "deploy", HDP đã tự động sinh ra 17 cụm nghĩa chi tiết, phân biệt rành mạch giữa nghĩa điều động quân sự chiến thuật và nghĩa triển khai hệ thống phần mềm công nghệ.
• Nâng cao hiệu năng phân cụm: Trên thang đo V-Measure và Paired F-Score, HDP đạt kết quả vượt trội hơn LDA từ 12% đến 18% ở các từ có cấu trúc nghĩa phức tạp. Đối với nhóm danh từ, mức độ phân tách nghĩa của HDP thể hiện độ tinh khiết cao hơn 75% so với mô hình cơ sở Most Frequent Sense (MFS).
• Giảm thiểu độ nhiễu ngữ cảnh: Việc lựa chọn ngữ cảnh địa phương thay vì ngữ cảnh toàn cục giúp giảm hơn 35% lượng từ không liên quan, giúp mô hình HDP hội tụ nhanh hơn và hạn chế tối đa tình trạng gộp nhầm các nghĩa hiếm gặp.

Thảo luận kết quả

Ưu thế vượt trội của HDP bắt nguồn từ cơ chế chia sẻ tham số thông qua cấu trúc phân cấp Bayes. Phân phối cơ sở toàn cục G0 đóng vai trò như một thực đơn chung, cho phép các nhóm dữ liệu vừa chia sẻ tập chủ đề tổng thể, vừa tự do kích hoạt các chủ đề riêng biệt tùy theo ngữ cảnh địa phương. So với nghiên cứu của Samuel Brody và Mirella Lapata năm 2009 (chỉ đạt hiệu năng cao nhất tại 4 nghĩa cố định trên ngữ liệu Wall Street Journal), HDP chứng minh khả năng thích ứng linh hoạt hơn khi mở rộng sang các kho ngữ liệu đa miền.

Khi trực quan hóa dữ liệu qua bảng phân phối từ vựng xác suất cao (top 10 từ tiêu biểu cho mỗi chủ đề), mô hình HDP tách biệt hoàn toàn hai miền ứng dụng của từ "deploy": nhóm chủ đề quân sự tập trung các từ như "army", "troops", "soldiers", "combat", trong khi nhóm chủ đề công nghệ tập hợp các từ như "software", "server", "installation", "applications". Đồng thời, biểu đồ phân tán kết quả V-Measure qua 10 lần chạy thử nghiệm khẳng định tính ổn định vượt bậc của HDP so với đường biến thiên dao động của LDA và CTM.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, 4 giải pháp hành động cụ thể được đề xuất nhằm nâng cao hiệu quả ứng dụng xử lý ngôn ngữ tự nhiên:

1. Ứng dụng mô hình phân cụm HDP vào hệ thống tìm kiếm thông tin doanh nghiệp: Tối ưu hóa thuật toán truy hồi tài liệu theo ngữ cảnh, hướng tới mục tiêu nâng cao độ chính xác tìm kiếm thêm 15% đến 20%, triển khai trong lộ trình 6 tháng do Bộ phận Kỹ sư Dữ liệu thực hiện.
2. Chuẩn hóa kích thước cửa sổ ngữ cảnh địa phương: Thiết lập phạm vi ngữ cảnh tối ưu từ 5 đến 10 từ xung quanh từ khóa mục tiêu, giảm tỷ lệ nhiễu ngữ nghĩa xuống dưới 10%, hoàn thành thử nghiệm trong vòng 3 tháng do Nhóm Xử lý Ngôn ngữ Tự nhiên phụ trách.
3. Tích hợp module suy diễn nghĩa tự động vào pipeline dịch máy: Giảm thiểu hơn 25% các lỗi dịch sai ngữ cảnh đối với các câu chứa từ vựng đa nghĩa, thực hiện trong khung thời gian 12 tháng do các Viện nghiên cứu Trí tuệ Nhân tạo chủ trì.
4. Xây dựng và mở rộng bộ ngữ liệu chuẩn WSI cho tiếng Việt: Thu thập và chuẩn hóa tập ngữ liệu thử nghiệm gồm ít nhất 200 từ mục tiêu với hơn 15.000 mẫu câu thực tế trong thời gian 9 tháng do các Trường Đại học chuyên ngành Công nghệ Thông tin dẫn dắt.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu học thuật và kỹ thuật giá trị dành cho 4 nhóm đối tượng chính:

1. Kỹ sư Xử lý Ngôn ngữ Tự nhiên (NLP Engineers): Tiếp cận chi tiết thuật toán lấy mẫu Gibbs và mô hình sinh xác suất phi tham số để áp dụng trực tiếp vào các bài toán phân loại văn bản, chatbot và trích xuất thực thể.
2. Giảng viên và Nhà nghiên cứu Khoa học Máy tính: Khai thác khung lý thuyết Bayes phân cấp chuyên sâu và phương pháp luận thực nghiệm để phát triển các đề tài mô hình chủ đề nâng cao công bố trên các tạp chí chuyên ngành.
3. Chuyên gia Tối ưu hóa Công cụ Tìm kiếm (SEO Specialists) và Khai phá Dữ liệu: Thấu hiểu nguyên lý phân nhóm chủ đề tự động của thuật toán tìm kiếm, từ đó xây dựng cấu trúc cụm nội dung (topic clusters) đáp ứng chính xác ý định tìm kiếm của người dùng.
4. Học viên Cao học và Sinh viên ngành Công nghệ Thông tin: Tham khảo phương pháp xử lý tập ngữ liệu lớn hơn 400 MB, kỹ thuật gán nhãn POS và quy trình đánh giá kết quả theo tiêu chuẩn học thuật quốc tế SemEval.

Câu hỏi thường gặp

1. Suy diễn nghĩa từ (WSI) khác biệt căn bản như thế nào so với Khử nhập nhằng nghĩa từ (WSD)? WSD là phương pháp có giám sát, dựa vào từ điển cố định như WordNet để gán nhãn nghĩa định sẵn, đòi hỏi chi phí gán nhãn thủ công rất lớn. Ngược lại, WSI là phương pháp học máy không giám sát, tự động phân cụm hàng trăm nghìn văn bản thô để tìm ra nghĩa mới, giúp tiết kiệm hơn 80% chi phí xây dựng ngữ liệu ban đầu.

2. Tại sao mô hình HDP lại vượt trội hơn LDA và CTM trong bài toán phân cụm ngữ nghĩa? Mô hình LDA và CTM yêu cầu người dùng phải ấn định trước số lượng nghĩa cố định (chẳng hạn K=8 cụm), dễ dẫn đến việc gộp nghĩa quá thô hoặc chia nhỏ nghĩa không cần thiết. Trong khi đó, HDP là mô hình Bayes phi tham số tự động xác định số lượng cụm tối ưu, như trường hợp từ "deploy" được HDP chia chính xác thành 17 cụm nghĩa chi tiết.

3. Ngữ cảnh địa phương mang lại lợi thế gì so với ngữ cảnh toàn cục? Ngữ cảnh địa phương tập trung vào phạm vi hẹp từ 5 đến 10 từ quanh từ mục tiêu, giúp loại bỏ hơn 35% lượng từ không liên quan trong toàn bài viết. Điều này ngăn chặn hiện tượng nhầm lẫn ngữ nghĩa khi một tài liệu chứa nhiều từ mục tiêu ở các đoạn khác nhau, nâng cao độ tinh khiết của các cụm nghĩa.

4. Tập dữ liệu SemEval-2010 Task 14 được xây dựng như thế nào để đảm bảo tính khách quan? Ban tổ chức SemEval-2010 đã cung cấp bộ huấn luyện gồm 879.807 mẫu cho 100 từ mục tiêu qua Yahoo! Search API và bộ thử nghiệm gồm 8.915 câu từ OntoNotes. Hệ thống được đánh giá trung bình qua 10 phân vùng thử nghiệm độc lập, đảm bảo kết quả đo lường độ chính xác không bị sai lệch do sự phân bố dữ liệu.

5. Thuật toán HDP có khả năng mở rộng sang tiếng Việt không? Hoàn toàn khả thi. Do HDP hoạt động hoàn toàn không giám sát trên văn bản thô, thuật toán có thể áp dụng cho tiếng Việt sau bước tách từ. Với hơn 30% từ vựng tiếng Việt có tính đa nghĩa cao, việc áp dụng HDP sẽ giúp hệ thống tự động phân tách ngữ cảnh chuẩn xác mà không phụ thuộc vào từ điển.

Kết luận

• Hệ thống hóa toàn diện cơ sở lý thuyết về mô hình chủ đề Bayes có tham số (LDA, CTM) và phi tham số (HDP) trong xử lý ngôn ngữ tự nhiên.
• Chứng minh tính ưu việt của mô hình HDP với khả năng tự động xác định số lượng nghĩa động trên 100 từ mục tiêu chuẩn SemEval-2010.
• Hoàn thành quy trình thực nghiệm quy mô lớn trên tập dữ liệu hơn 400 MB với 879.807 mẫu huấn luyện và 8.915 mẫu thử nghiệm.
• Khẳng định vai trò then chốt của ngữ cảnh địa phương trong việc triệt tiêu nhiễu dữ liệu và nâng cao độ chính xác phân cụm nghĩa.
• Đề xuất lộ trình hành động 12 tháng ứng dụng suy diễn ngữ nghĩa vào các bài toán công nghệ thực tiễn như dịch máy và công cụ tìm kiếm.

Đóng góp cốt lõi của luận văn là đã xây dựng thành công giải pháp suy diễn nghĩa từ tự động không giám sát, giải quyết triệt để sự phụ thuộc vào dữ liệu gán nhãn thủ công tốn kém. Trong giai đoạn 6 đến 12 tháng tới, hướng nghiên cứu sẽ tiếp tục tối ưu hóa thuật toán lấy mẫu Gibbs và tích hợp các mô hình biểu diễn ngữ nghĩa hiện đại. Hãy khai thác ngay khung phương pháp luận và mô hình phân cụm HDP từ luận văn để tối ưu hóa các giải pháp xử lý ngôn ngữ tự nhiên trong dự án của bạn!

Trích đoạn nội dung tài liệu

MỞ ĐẦU Xử lý nhập nhằng ngữ nghĩa của từ là một trong những vấn đề đƣợc rất nhiều nhà nghiên cứu trong lĩnh vực xử lý ngôn ngữ tự nhiên quan tâm đến. Vì vậy có nhiều cách tiếp cận khác nhau để giải quyết vấn đề xử lý nhập nhằng ngữ nghĩa chẳng hạn nhƣ các phƣơng pháp dựa vào tri thức (knowledge-based methods) [1] và các phƣơng pháp dựa vào kho ngữ liệu (corpus-based methods). Đối với phƣơng pháp thứ hai, phƣơng pháp có thể sử dụng là học có giám sát, học không có giám sát và kết hợp của hai phƣơng pháp này. Nói chung, các phƣơng pháp học có giám sát cho ra kết quả với độ chính xác cao hơn nhƣng nhƣợc điểm của phƣơng pháp này đòi hỏi tiêu tốn công sức trong việc xây dựng tập dữ liệu gán nhãn, nó lại không nhận biết đƣợc nghĩa của từ trong trƣờng hợp mới.

Trong khi đó phƣơng pháp không giám sát khắc phục đƣợc hai nhƣợc điểm này. Do đó, phƣơng pháp học không giám sát là một hƣớng đi rất đƣợc chú ý để giải quyết vấn đề này. Nó sẽ phân cụm các trƣờng hợp xuất hiện của từ trong văn bản, mỗi cụm thể hiện một nghĩa. WSI (Word Sense Induction) là một hƣớng tiếp cận không giám sát cho vấn đề này, WSI đã cho thấy lợi thế của nó cho việc xử lý nhập nhằng nghĩa của từ trong một số lĩnh vực mà dữ liệu huấn luyện đƣợc chú thích không có sẵn hoặc số lƣợng nghĩa của các từ khác nhau phụ thuộc vào mục đích khác nhau.

Trong khi có nhiều phƣơng pháp cho WSI, thì phân cụm theo ngữ cảnh là một trong những giải pháp hiệu quả nhất và đƣợc sử dụng rộng rãi. Luận văn tập trung vào việc áp dụng một mô hình Bayes phi tham số (Nonparametric Bayesian model) - Hierarchical Dirichlet Process ( HDP) cho bài toán WSI. Kết quả đƣợc thể hiện thông qua việc so sánh với phƣơng pháp Latent Dirichlet Allocation (LDA) - một mô hình Bayes có tham số của Blei và Jordan [3] cho vấn đề này, và còn đƣợc so sánh với phƣơng pháp của Blei và Lafferty [2] đó là Correlated Topic Model (CTM) với cùng một tập dữ liệu ở bài toán số 14 trong cuộc thi SemEval - 2010. Ta thấy rằng mô hình HDP vƣợt trội về chất lƣợng xác định nghĩa và có ƣu điểm là xác định một cách tự động số lƣợng nghĩa biến đổi trên một từ thì LDA, CTM lại cần một số nghĩa cố định trƣớc đƣợc xây dựng bằng tay.

Đó là sự vƣợt trội hơn của cách tiếp cận WSI dựa trên HDP so với các cách tiếp cận khác. Ngoài phần kết luận, luận văn đƣợc trình bày thành 4 chƣơng với nội dung đƣợc trình bày nhƣ sau: 9 Chƣơng 1: Giới thiệu về WSI, WSD và các phƣơng pháp tiếp cận cho WSI, WSD, đồng thời giới thiệu về mục tiêu và kết quả sẽ trình bày trong luận văn. Chƣơng 2: Bài toán mô hình chủ đề và các tiếp cận điển hình Ở chƣơng này trình bày tổng quan về mô hình chủ đề, các tiếp cận điển hình nhƣ: LDA, CTM (mô hình Bayes có tham số ), HDP (mô hình Bayes phi tham số) và cách sử dụng chúng trong WSI. Chƣơng 3: Sử dụng phƣơng pháp HDP cho WSI Với tính linh hoạt trong việc xác định nghĩa của từ một cách tự động.

Trong khuôn khổ luận văn quan tâm đến việc xác định nghĩa của từ dựa vào phƣơng pháp HDP. Ở chƣơng này trình bày sâu hơn về phƣơng pháp HDP và so sánh với phƣơng pháp LDA và CTM. Chúng ta sẽ thấy rõ hơn về ƣu, nhƣợc điểm của phƣơng pháp này thông qua kết quả thực nghiệm ở chƣơng 4. Chƣơng 4: Đánh giá và kết quả thực nghiệm Trong phần này đƣa ra chi tiết về phƣơng pháp đƣợc sử dụng để đánh giá hệ thống WSI, mô tả dữ liệu ở bài toán số 14 của cuộc thi SemEval - 2010 đƣợc sử dụng để huấn luyện, thử nghiệm trong hệ thống này và mô tả chi tiết thực nghiệm xây dựng hệ thống WSI của ta.

Tiếp theo là kết quả công việc bao gồm hiệu suất của hệ thống trên tập dữ liệu ở bài toán số 14 của cuộc thi SemEval – 2010 và so sánh kết quả với hai phƣơng pháp CTM, LDA. Cuối cùng là kết luận, hƣớng phát triển, tài liệu tham khảo và phụ lục. Phần kết luận trình bày tóm tắt kết quả thu đƣợc và đề xuất hƣớng nghiên cứu tiếp theo. 10 CHƢƠNG I: GIỚI THIỆU Nội dung của chƣơng này giới thiệu về WSI và WSD, qua đó phân biệt đƣợc sự khác nhau giữa chúng.

Đồng thời giới thiệu một số phƣơng pháp tiếp cận cho WSI, WSD và mục tiêu của đề tài. WSI và WSD Hiểu đƣợc nghĩa của từ một cách chính xác là điều cần thiết để giao tiếp, đặc biệt là thông tin liên lạc tự động. Tuy nhiên một từ có thể có nhiều nghĩa, việc xác định ý nghĩa đang đƣợc sử dụng không phải lúc nào cũng dễ dàng cho cả con ngƣời và máy tính. Ví dụ: Xét nghĩa của từ “access” trong hai câu sau đây: The police gained access through a broken window.

You need a password to get access to the computer system. Nhƣ vậy ở câu thứ nhất từ “access” có nghĩa là sự tiếp cận, cách vào , quyền vào một nơi nào đó. Còn ở câu thứ hai có nghĩa là quyền sử dụng, truy cập. Trong ví dụ trên, chúng ta khá dễ dàng phân biệt các từ “access” , tuy nhiên trong một số trƣờng hợp, nhiệm vụ phân biệt là một thách thức cho các nhà nghiên cứu từ ngữ học thậm chí là ngƣời có kinh nghiệm.

WSI và WSD là hai cách tiếp cận khác nhau cho bài toán nhận dạng tự động nghĩa của từ. Hệ thống WSD thƣờng theo cách tiếp cận giám sát – yêu cầu ngữ liệu đƣợc gắn nhãn thủ công cho giai đoạn huấn luyện. Ngƣợc lại, các hệ thống WSI là không giám sát; chúng chỉ cần văn bản thô, điều này có sẵn “miễn phí” trên internet và nhiều nguồn khác. Kết quả là, việc chuyển hệ thống WSD tới miền dữ liệu hoặc ngôn ngữ mới là một công việc tốn kém bởi vì chúng ta phải cung cấp một dữ liệu đƣợc chú giải mới và kiến thức về ngôn ngữ /miền cụ thể.

Việc chuyển một hệ thống WSI thì dễ hơn vì trong hầu hết các trƣờng hợp, chúng ta chỉ cần huấn luyện lại hệ thống trên dữ liệu “miễn phí ” mới. Các hệ thống WSD thƣờng dựa trên các danh sách cố định chứa các nghĩa đƣợc xác định trƣớc. Từ các danh sách này, nghĩa thích hợp nhất đƣợc chọn và gắn cho từ. Do đó số lƣợng nghĩa không thể thay đổi đƣợc trong hệ thống WSD.

Điều này dẫn đến 11 một số khó khăn khi triển khai hệ thống với các lĩnh vực khác nhau và với các mục đích khác nhau. Trong một số ứng dụng, các ngữ nghĩa đƣợc xử lý thô có thể là hữu ích hơn các ngữ nghĩa đã làm mịn, và trong một số ứng dụng khác, lại đòi hỏi ngữ nghĩa đã đƣợc làm mịn. Các hệ thống WSI cho phép số lƣợng nghĩa của một từ thay đổi. Hơn nữa hệ thống WSD không thể phát hiện các nghĩa mà không xuất hiện trong “từ điển” của chúng.

Bài toán này có thể đƣợc giải quyết dễ dàng trong hệ thống WSI; chúng ta chỉ cần cung cấp dữ liệu có chứa các nghĩa mới và điều chỉnh số lƣợng nghĩa nếu cần thiết. Mặc dù WSI có nhiều lợi thế hơn WSD, nhƣng các hệ thống WSD thƣờng có hiệu suất tốt hơn. Vì vậy, WSI không thể thay thế WSD trong tất cả các trƣờng hợp nhƣng nó lại đang rất đƣợc quan tâm. Xây dựng một hệ thống WSI là mục tiêu chính của luận văn này, nó dựa trên phƣơng pháp phân cụm ngữ cảnh, trong đó các ngữ cảnh của từ đƣợc nhóm lại thành các cụm đại diện cho các nghĩa.

Tổng quan về cách tiếp cận cho bài toán WSD và WSI đƣợc đƣa ra trong phần tiếp theo của chƣơng. Phƣơng pháp tiếp cận cho WSD Phƣơng pháp để xử lý nhập nhằng ngữ nghĩa thƣờng đƣợc phân loại theo nguồn tri thức chính để phân biệt các nghĩa (thƣờng đƣợc dùng bởi các chuyên gia ngôn ngữ học). Các phƣơng pháp này chủ yếu dựa vào từ điển chuyên ngành, tri thức về từ vựng, và không sử dụng bất cứ một thông tin ngữ liệu nào, đƣợc gọi dƣới thuật ngữ chuyên ngành là các phƣơng pháp dựa vào từ điển hay dựa vào tri thức. Điểm yếu của phƣơng pháp này là bộ cơ sở tri thức thƣờng sẽ rất lớn, hơn nữa với sự phức tạp của ngôn ngữ tự nhiên thì việc dùng các luật để xử lý nhập nhằng cũng chỉ đạt đƣợc độ chính xác có giới hạn.

Ngƣời ta còn sử dụng phƣơng pháp học máy để giải quyết nhập nhằng ngữ nghĩa. Wilks và Stevenson báo cáo vài thử nghiệm về giải quyết nhập nhằng nghĩa của từ bằng cách sử dụng những thông tin thu đƣợc từ quá trình học tập trên ngữ liệu mẫu [15]. Phƣơng pháp này có thể phân loại nhƣ sau: Học không giám sát (unsupervised training): thông tin đƣợc tập hợp từ tập ngữ liệu thô chƣa đƣợc gán nhãn. Học có giám sát (supervised training): thông tin đƣợc tập hợp từ tập ngữ liệu đã đƣợc gán nhãn để huấn luyện hoặc lấy làm dữ liệu cho quá trình trích chọn.

Và kết hợp cả hai phƣơng pháp trên là bán giám sát (semi-supervised). Đặc điểm của phƣơng pháp học máy không giám sát là phân cụm các trƣờng hợp xuất hiện của từ trong văn bản. WSI là một hƣớng tiếp cận cho vấn đề này. Phƣơng pháp tiếp cận cho WSI Một phƣơng pháp thay thế để tiếp cận WSD chính là WSI [10].

WSI nhằm mục đích xác định tự động nghĩa của từ một cách trực tiếp từ ngữ liệu, WSI thƣờng đƣợc xem nhƣ một bài toán phân cụm không giám sát. Đầu vào cho thuật toán phân cụm là các ví dụ của từ mục tiêu với những bối cảnh đi kèm nó và đầu ra là một phép phân cụm các ví dụ này thành các lớp tƣơng ứng với các nghĩa suy diễn. Nói cách khác, các ngữ cảnh đƣợc nhóm cùng nhau trong cùng một lớp biểu diễn một nghĩa đặc trƣng [12]. Từ đây rất nhiều phƣơng pháp phân cụm đƣợc sử dụng, ta đi xét ba phƣơng pháp điển hình:  Phân cụm theo ngữ cảnh.

 Phân cụm theo từ.  Đồ thị xuất hiện đồng thời (Co-occurrence graphs ). Hai phƣơng pháp tiếp cận đầu tiên có mối liên quan chặt chẽ và đƣợc bắt nguồn từ ý tƣởng tƣơng tự nhau. Phƣơng pháp đồ thị xuất hiện đồng thời cho thấy vấn đề từ các góc độ khác nhau, nó tạo ra kết quả của hình thức khác nhau.

Chúng ta sẽ lần lƣợt xem xét từng cách tiếp cận một.