TỰ ĐỘNG XÁC ĐỊNH QUAN HỆ NGỮ NGHĨA CỦA TỪ DỰA TRÊN HỌC MÁY THỐNG KÊ

Xử lý ngôn ngữ tự nhiên (NLP) ngày càng trở nên quan trọng, với nhiều ứng dụng thực tiễn như nhận dạng tiếng nói, dịch máy… 154 trang · Trường Đại Học Yale.

• Người hướng dẫn: Pgs. Nguyễn Phương Thái
• Trường học: Trường Đại Học Yale
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Tự Động Xác Định Quan Hệ Ngữ Nghĩa Của Từ Dựa Trên Học Máy Thống Kê
• Loại tài liệu: Luận Án Tiến Sĩ
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT
• MỤC LỤC
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ
• 1. MỞ ĐẦU
• 1.1. Đặt vấn đề
• 1.2. Bài toán xác định quan hệ ngữ nghĩa của từ
• 1.3. Hướng tiếp cận và phương pháp
• 1.4. Đóng góp của luận án
• 1.5. Cấu trúc của luận án
• 2. KIẾN THỨC CƠ SỞ VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Một số khái niệm cơ bản về từ
• 2.2. Từ và nghĩa của từ
• 2.3. Ngữ nghĩa từ vựng
• 2.4. Quan hệ ngữ nghĩa giữa các từ
• 2.5. Một số giả thuyết ngữ nghĩa cơ bản
• 2.6. Mô hình ngữ nghĩa phân phối
• 2.7. Mô hình nhúng từ
• 2.7.1. Lịch sử của các mô hình nhúng từ
• 2.7.2. Một số mô hình nhúng từ tổng quát
• 2.7.3. Một số mô hình nhúng từ chuyên biệt
• 2.8. Một số mô hình nhúng từ theo ngữ cảnh
• 2.9. Mạng nơ-ron hồi quy
• 2.10. Quan hệ bao thuộc
• 2.11. Một số nghiên cứu liên quan
• 2.12. Quan hệ đồng nghĩa - trái nghĩa
• 2.13. Một số nghiên cứu liên quan
• 2.14. Đo lường độ tương tự ngữ nghĩa giữa các từ
• 2.15. Một số nghiên cứu liên quan
• 2.16. Tóm tắt chương
• 3. XÁC ĐỊNH QUAN HỆ BAO THUỘC DỰA TRÊN MÔ HÌNH NHÚNG TỪ CHUYÊN BIỆT
• 3.1. Ý tưởng chính
• 3.2. Phân tích hạn chế của mô hình DWN
• 3.3. Đề xuất mô hình LERC
• 3.3.1. Mô hình DWN cải tiến
• 3.3.2. Tích hợp đặc trưng ngữ nghĩa mức dưới từ
• 3.3.3. Mô hình phân lớp quan hệ bao thuộc có giám sát
• 3.3.4. Phân tích ưu nhược điểm và tính mới của mô hình
• 3.4. Xây dựng bộ dữ liệu tiếng Việt DtVLE-999, DrVLE-999, DetVLE-999
• 3.4.1. Lựa chọn các cặp từ ứng viên
• 3.4.2. Đánh giá dữ liệu
• 3.4.3. Thống kê dữ liệu
• 3.5. Bộ dữ liệu đánh giá
• 3.6. Huấn luyện các mô hình nhúng từ
• 3.7. Đánh giá mô hình
• 3.8. Phân tích thống kê
• 3.9. Tóm tắt chương
• 4. PHÂN TÁCH QUAN HỆ ĐỒNG NGHĨA – TRÁI NGHĨA DỰA TRÊN NGỮ CẢNH ĐỒNG HIỆN VÀ MẪU CẤU TRÚC TỪ
• 4.1. Ý tưởng chính
• 4.2. Các mẫu cấu trúc từ tiếng Việt
• 4.2.1. Mẫu cấu trúc từ trái nghĩa
• 4.2.2. Mẫu cấu trúc từ đồng nghĩa
• 4.3. Đề xuất mô hình DVASNet
• 4.3.1. Các đặc trưng tĩnh
• 4.3.2. Mô hình DVASNet
• 4.4. Xây dựng bộ dữ liệu ASC tiếng Việt
• 4.4.1. Các mô hình cơ sở
• 4.4.2. Cài đặt thực nghiệm
• 4.4.3. Kết quả thực nghiệm
• 4.5. Tóm tắt chương
• 5. ĐO LƯỜNG ĐỘ TƯƠNG TỰ NGỮ NGHĨA CỦA CẶP TỪ
• 5.1. Ý tưởng chính
• 5.2. Đề xuất độ đo tương tự
• 5.2.1. Độ đo tương tự ExtLeskSim
• 5.2.2. Kỹ thuật GraphSim
• 5.3. Xây dựng bộ dữ liệu tiếng Việt
• 5.3.1. Dịch bộ dữ liệu SimLex-999 sang tiếng Việt
• 5.3.2. Đánh giá độ tương tự của cặp từ
• 5.3.3. Một số thống kê trên bộ dữ liệu
• 5.4. Thực nghiệm với mô hình ExtLeskSim
• 5.5. Thực nghiệm với mô hình GraphSim
• 5.6. Tóm tắt chương
• 6. KẾT LUẬN
• 6.1. Các đóng góp của luận án
• 6.2. Hướng phát triển
• DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Tự Động Xác Định Quan Hệ Ngữ Nghĩa của Từ

Xử lý ngôn ngữ tự nhiên (NLP) ngày càng trở nên quan trọng, với nhiều ứng dụng thực tiễn như nhận dạng tiếng nói, dịch máy, và tìm kiếm thông tin. Trong đó, bài toán tự động xác định quan hệ ngữ nghĩa của từ (LSRD) là một trong những thách thức lớn. Các mô hình LSRD đóng vai trò then chốt trong xây dựng cơ sở tri thức từ vựng, phân tích quan điểm, và hệ thống hỏi đáp. Theo tài liệu gốc, việc tích hợp thêm các mô hình xác định quan hệ ngữ nghĩa của từ là một trong các cách tiếp cận để vượt qua những thách thức của NLP khi xử lý dữ liệu ít, dữ liệu nhiễu hoặc hiểu được các thủ pháp nghệ thuật.

1.1. Tầm Quan Trọng Của Quan Hệ Ngữ Nghĩa Trong NLP

Quan hệ ngữ nghĩa đóng vai trò then chốt trong việc giúp máy tính hiểu được ý nghĩa sâu sắc của văn bản. Nó không chỉ giúp xác định mối liên hệ giữa các từ, mà còn hỗ trợ các ứng dụng như dịch máy, phân tích văn bản và xây dựng mạng ngữ nghĩa. Việc xác định chính xác các quan hệ này là yếu tố quyết định để nâng cao hiệu quả của các hệ thống NLP.

1.2. Các Tiếp Cận Phổ Biến trong Xác Định Quan Hệ Ngữ Nghĩa

Có hai hướng tiếp cận chính: tiếp cận mẫu từ vựng - cú pháp và tiếp cận phân phối. Tiếp cận mẫu sử dụng các mẫu từ vựng - cú pháp để đoán nhận quan hệ. Tiếp cận phân phối khai thác thông tin phân phối của từ trong ngữ liệu. Tiếp cận này chia thành hai nhóm: không giám sát (dựa trên biểu diễn từ (word embedding)) và có giám sát (dùng mạng nơ-ron để phân lớp). Luận án này tập trung vào tiếp cận có giám sát, sử dụng mô hình học máy để xác định quan hệ bao thuộc, đồng nghĩa, trái nghĩa, và tương đồng.

II. Thách Thức Xác Định Quan Hệ Ngữ Nghĩa Chính Xác Hiệu Quả

Mặc dù NLP đã có bước tiến lớn nhờ học sâu, việc xử lý dữ liệu ít, nhiễu, hoặc hiểu các thủ pháp nghệ thuật vẫn còn là thách thức. Các mô hình NLP cần phải xử lý tốt ngữ cảnh và tính toán ngữ nghĩa để hiểu ý nghĩa của từ. Điều này đòi hỏi các thuật toán phải có khả năng học từ một lượng lớn dữ liệu, đồng thời phải có khả năng suy luận và khái quát hóa.

2.1. Hạn Chế Của Các Mô Hình NLP Hiện Tại

Các mô hình NLP hiện tại vẫn còn gặp nhiều khó khăn trong việc xử lý ngôn ngữ một cách linh hoạt và tự nhiên như con người. Một trong những hạn chế lớn nhất là khả năng hiểu được quan hệ ngữ nghĩa phức tạp giữa các từ, đặc biệt là trong các tình huống có ngữ cảnh đa dạng hoặc khi sử dụng các thủ pháp tu từ như ẩn dụ, hoán dụ. Để giải quyết vấn đề này, cần phải có các phương pháp tiếp cận mới, có khả năng kết hợp thông tin ngữ nghĩa từ nhiều nguồn khác nhau.

2.2. Vấn Đề Thiếu Dữ Liệu Huấn Luyện Chất Lượng Cao

Một thách thức khác là sự thiếu hụt datasets đủ lớn và chất lượng cao để huấn luyện các mô hình NLP. Đặc biệt, đối với các ngôn ngữ ít phổ biến như tiếng Việt, việc thu thập và gán nhãn dữ liệu ngữ nghĩa là một quá trình tốn kém và mất nhiều thời gian. Điều này đặt ra yêu cầu phải phát triển các kỹ thuật học máy có khả năng hoạt động hiệu quả với dữ liệu hạn chế, hoặc sử dụng các phương pháp học chuyển giao (transfer learning) để tận dụng kiến thức từ các ngôn ngữ khác.

III. Phương Pháp Mô Hình Nhúng Từ Chuyên Biệt và Đặc Trưng SSF

Luận án đề xuất mô hình mạng nơ-ron học vector nhúng từ chuyên biệt từ các bộ ba (từ bao, từ thuộc, ngữ cảnh). Các vector này phù hợp hơn cho bài toán HR so với các mô hình Word2vec, fastText, GloVe. Luận án cũng khai thác đặc trưng về quan hệ ngữ nghĩa giữa các thành phần của từ ghép (Subword Semantic Feature - SSF). Thuật toán trích chọn SSF mã hóa quan hệ ngữ nghĩa và thông tin vị trí trong vector đặc trưng.

3.1. Mô Hình Mạng Nơ ron Học Vector Nhúng Từ Chuyên Biệt

Luận án tập trung vào việc phát triển một mô hình mạng nơ-ron có khả năng học vector nhúng từ chuyên biệt, được tối ưu hóa cho bài toán xác định quan hệ bao thuộc. Mô hình này được huấn luyện trên các bộ ba dữ liệu, bao gồm từ bao, từ thuộc và ngữ cảnh đồng xuất hiện của chúng. Nhờ đó, các vector nhúng từ học được có khả năng biểu diễn chính xác hơn mối quan hệ giữa các từ, so với các mô hình nhúng từ tổng quát như Word2vec, fastText hay GloVe.

3.2. Thuật Toán Trích Chọn Đặc Trưng Ngữ Nghĩa Mức Dưới Từ SSF

Để tận dụng thông tin ngữ nghĩa từ các thành phần cấu tạo của từ ghép, luận án đề xuất một thuật toán trích chọn đặc trưng ngữ nghĩa mức dưới từ (Subword Semantic Feature - SSF). Thuật toán này không chỉ mã hóa được quan hệ ngữ nghĩa giữa các thành phần của cặp từ, mà còn nắm bắt được cả thông tin vị trí của chúng trong các vector đặc trưng. Điều này giúp cho mô hình có khả năng phân biệt tốt hơn giữa các quan hệ ngữ nghĩa khác nhau, đặc biệt là trong trường hợp các từ ghép có cấu trúc phức tạp.

IV. Giải Pháp DVASNet Phân Tách Đồng Nghĩa Trái Nghĩa Hiệu Quả

Luận án đề xuất mô hình DVASNet, một mô hình mạng nơ-ron khai thác thông tin ngữ cảnh đồng xuất hiện của cặp từ và đặc trưng riêng của tiếng Việt (thông tin tương hỗ, quan hệ ngữ nghĩa giữa các thành phần). Kết quả thực nghiệm cho thấy DVASNet có hiệu năng cao hơn từ 14% đến 17% so với các mô hình trước đây. Luận án cũng đề xuất mô hình xác định quan hệ trái nghĩa dựa trên mô hình nhúng từ chuyên biệt.

4.1. Khai Thác Thông Tin Ngữ Cảnh Đồng Xuất Hiện Với DVASNet

Mô hình DVASNet được thiết kế để tận dụng tối đa thông tin ngữ cảnh đồng xuất hiện của cặp từ, từ đó nâng cao khả năng phân tách giữa quan hệ đồng nghĩa và quan hệ trái nghĩa. Mô hình này không chỉ xem xét thông tin ngữ nghĩa phân phối của các từ, mà còn khai thác thông tin ngữ cảnh trong đó hai từ xuất hiện cùng nhau. Điều này giúp cho mô hình có thể hiểu được mối quan hệ giữa các từ một cách sâu sắc hơn.

4.2. Ứng Dụng DVASNet Cho Tiếng Việt Đặc Trưng Riêng

Mô hình DVASNet được điều chỉnh để phù hợp với đặc trưng riêng của tiếng Việt, bao gồm thông tin tương hỗ giữa các từ và quan hệ ngữ nghĩa giữa các thành phần của từ. Bằng cách tích hợp các đặc trưng này, mô hình có thể tận dụng những đặc điểm ngôn ngữ độc đáo của tiếng Việt để cải thiện hiệu năng phân tách quan hệ đồng nghĩa và quan hệ trái nghĩa.

V. Ứng Dụng Đo Lường Độ Tương Tự Ngữ Nghĩa Với ExtLeskSim

Luận án đề xuất kỹ thuật ExtLeskSim để đo lường độ tương tự ngữ nghĩa sử dụng thông tin định nghĩa của từ. Kết quả cho thấy ExtLeskSim đạt hiệu năng cao đối với tiếng Việt. Luận án cũng đề xuất lược đồ GraphSim để nâng cao hiệu năng đo lường độ tương tự ngữ nghĩa dựa trên mạng từ. Kết quả cho thấy GraphSim đã nâng cao đáng kể hiệu năng cho các kỹ thuật WSM.

5.1. ExtLeskSim Đo Lường Dựa Trên Thông Tin Định Nghĩa Của Từ

Kỹ thuật ExtLeskSim được đề xuất trong luận án sử dụng thông tin định nghĩa của từ để đo lường độ tương tự ngữ nghĩa giữa các từ. Bằng cách so sánh các định nghĩa của hai từ, kỹ thuật này có thể xác định mức độ tương đồng về ý nghĩa giữa chúng. ExtLeskSim đã được chứng minh là đạt hiệu năng cao đối với tiếng Việt, cho thấy khả năng ứng dụng rộng rãi của nó trong các bài toán xử lý ngôn ngữ.

5.2. GraphSim Nâng Cao Hiệu Năng Đo Lường Với Mạng Từ

Luận án cũng đề xuất lược đồ GraphSim, một phương pháp tiếp cận mới để nâng cao hiệu năng đo lường độ tương tự ngữ nghĩa dựa trên mạng từ. GraphSim tận dụng cấu trúc đồ thị của mạng từ để khám phá các mối quan hệ gián tiếp giữa các từ, từ đó cải thiện độ chính xác của việc đo lường độ tương tự ngữ nghĩa. Kết quả thực nghiệm cho thấy GraphSim đã nâng cao đáng kể hiệu năng cho các kỹ thuật WSM (Word Similarity Measurement) được áp dụng.

VI. Kết Luận Hướng Phát Triển Xác Định Quan Hệ Ngữ Nghĩa

Luận án đã đóng góp vào việc nâng cao hiệu năng của các mô hình tự động xác định quan hệ ngữ nghĩa của từ, đặc biệt là trong tiếng Việt. Các kết quả nghiên cứu này có thể được ứng dụng trong nhiều lĩnh vực của NLP. Hướng phát triển tiếp theo có thể tập trung vào việc tích hợp thêm các nguồn tri thức bên ngoài, xử lý ngôn ngữ đa dạng hơn và xây dựng các mô hình có khả năng suy luận ngữ nghĩa tốt hơn.

6.1. Tích Hợp Tri Thức Nền Để Nâng Cao Độ Chính Xác

Một trong những hướng phát triển tiềm năng là tích hợp thêm các nguồn tri thức nền vào các mô hình học máy. Ví dụ, có thể sử dụng các graph tri thức hoặc từ điển ngữ nghĩa để cung cấp thêm thông tin về quan hệ ngữ nghĩa giữa các từ. Việc kết hợp tri thức nền có thể giúp cho các mô hình học máy hiểu được ngôn ngữ một cách sâu sắc hơn và đưa ra các quyết định chính xác hơn.

6.2. Xử Lý Ngôn Ngữ Đa Dạng Và Suy Luận Ngữ Nghĩa

Hướng phát triển khác là tập trung vào việc xử lý ngôn ngữ đa dạng hơn, bao gồm cả các ngôn ngữ ít phổ biến và các dạng văn bản không chuẩn như tin nhắn, bình luận trên mạng xã hội. Đồng thời, cần phải xây dựng các mô hình có khả năng suy luận ngữ nghĩa tốt hơn, tức là có thể hiểu được ý nghĩa ẩn ý và các thông điệp phức tạp trong văn bản. Điều này đòi hỏi các phương pháp tiếp cận mới, có khả năng kết hợp thông tin từ nhiều nguồn khác nhau và sử dụng các kỹ thuật suy luận tiên tiến.

Nội dung chính

Tổng quan luận án

Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) là một lĩnh vực nghiên cứu trong khoa học máy tính với mục tiêu giúp máy móc hiểu và xử lý ngôn ngữ tự nhiên của con người. Trong hệ thống các bài toán của NLP, tự động xác định quan hệ ngữ nghĩa của từ vựng (Lexical Semantic Relation Determination - LSRD) giữ vai trò then chốt, cung cấp dữ liệu nền tảng cho nhiều ứng dụng như dịch máy, tìm kiếm thông tin, khai phá văn bản, phân tích quan điểm người dùng, xây dựng bản thể học (Ontology) và phát triển các mạng ngữ nghĩa từ vựng như WordNet hay BabelNet.

Mặc dù các phương pháp tiếp cận học sâu sử dụng mạng nơ-ron nhiều tầng đã mang lại nhiều bước tiến nhờ năng lực học trên tập dữ liệu quy mô lớn, các mô hình hiện tại vẫn gặp nhiều trở ngại đối với các tác vụ có ít dữ liệu, dữ liệu chứa nhiều nhiễu, hoặc khi xử lý các hiện tượng ngôn ngữ mang tính nghệ thuật như ẩn dụ và hoán dụ. Mặt khác, các mô hình nhúng từ độc lập ngữ cảnh thông thường như Word2vec, GloVe hay fastText mã hóa đồng thời nhiều loại quan hệ ngữ nghĩa trong cùng một không gian vector, dẫn đến việc thiếu tính khu biệt đối với từng mối quan hệ ngữ nghĩa riêng rẽ. Đối với tiếng Việt, các nghiên cứu về quan hệ ngữ nghĩa trước đây phần lớn chỉ giới hạn trong phạm vi ngôn ngữ học truyền thống; các công trình theo định hướng ngôn ngữ học tính toán và ứng dụng cho hệ thống máy tính còn thiếu hụt, đặc biệt là tình trạng khan hiếm các bộ ngữ liệu kiểm chuẩn được gán nhãn chuẩn hóa.

Mục tiêu nghiên cứu của luận án là nâng cao hiệu năng của các mô hình tự động xác định bốn quan hệ ngữ nghĩa cơ bản của từ vựng bao gồm: quan hệ bao thuộc (Hypernymy), quan hệ đồng nghĩa (Synonymy), quan hệ trái nghĩa (Antonymy) và quan hệ tương tự ngữ nghĩa (Semantic Similarity). Luận án tập trung giải quyết ba bài toán cụ thể sau:

1. Bài toán xác định quan hệ bao thuộc (Hypernymy Recognition - HR).
2. Bài toán phân tách các cặp từ theo quan hệ đồng nghĩa - trái nghĩa (Antonymy-Synonymy Classification - ASC).
3. Bài toán đo lường độ tương tự ngữ nghĩa của cặp từ (Word Similarity Measurement - WSM).

Để định hướng việc xây dựng các mô hình tính toán, luận án đề xuất một giả thuyết nghiên cứu trọng tâm là "Giả thuyết tập quan hệ ngữ nghĩa", phát biểu rằng: "Quan hệ ngữ nghĩa giữa hai từ có thể được định vị thông qua mối quan hệ giữa các từ có quan hệ với chúng". Bên cạnh đó, luận án vận dụng hệ thống tám giả thuyết ngữ nghĩa học thống kê và phân phối đã được thừa nhận trong các nghiên cứu quốc tế:

1. Giả thuyết ngữ nghĩa thống kê (Statistical Semantics Hypothesis) của Weaver (1955) và Furnas và cộng sự (1987).
2. Giả thuyết phân phối (Distributional Hypothesis) của Harris (1954) và Firth (1957).
3. Giả thuyết phân phối mở rộng (Extended Distributional Hypothesis) của Lin và Pantel (2001).
4. Giả thuyết quan hệ tiềm ẩn (Latent Relation Hypothesis) của Turney và Littman (2005).
5. Giả thuyết bao thuộc phân phối (Distributional Inclusion Hypothesis) của Geffet và Dagan (2005).
6. Giả thuyết thông tin phân phối (Distributional Informativeness Hypothesis) của Santus và cộng sự (2014).
7. Giả thuyết kết hợp ngữ cảnh (Context Combination Hypothesis) của Baroni và cộng sự (2012).
8. Giả thuyết khác biệt tương tự (Similarity Differences Hypothesis) của Vylomova và cộng sự (2016).

Đối tượng nghiên cứu của luận án là các quan hệ ngữ nghĩa giữa các từ đơn, từ phức và thuật ngữ trong tiếng Việt cùng các tập từ đối chuẩn trong tiếng Anh. Phạm vi nghiên cứu về không gian dữ liệu gồm kho ngữ liệu đơn ngữ tiếng Việt (Vcorpus), kho ngữ liệu tiếng Anh, các cơ sở tri thức từ vựng (WordNet tiếng Anh, WordNet tiếng Việt, Từ điển tiếng Việt cho máy tính - VCL) và các tập dữ liệu kiểm chuẩn quốc tế. Về mặt phân loại học thuật, đặc trưng của ba bài toán được tổng hợp trong bảng sau:

Bài toán	Đặc trưng đầu ra: Định tính	Đặc trưng đầu ra: Định lượng	Đặc trưng quan hệ: Đối xứng	Đặc trưng quan hệ: Bất đối xứng	Ngôn ngữ: Tiếng Anh	Ngôn ngữ: Tiếng Việt
Xác định quan hệ bao thuộc (HR)	Có	Không	Không	Có	Có	Có
Phân tách quan hệ đồng nghĩa - trái nghĩa (ASC)	Có	Không	Có	Không	Không	Có
Đo lường độ tương tự ngữ nghĩa (WSM)	Không	Có	Có	Không	Có	Có

Tổng quan tài liệu và vị trí của luận án

Các nghiên cứu về biểu diễn ngữ nghĩa từ vựng trong lịch sử phát triển của ngôn ngữ học tính toán được chia thành ba hướng tiếp cận chính: ngữ nghĩa hình thức (Formal Semantics), ngữ nghĩa phân phối (Distributional Semantics) và tiếp cận kết hợp. Tiếp cận ngữ nghĩa phân phối được xây dựng trên các luận điểm ban đầu của Harris (1954) và Firth (1957), cùng với mô hình phân biệt ngữ nghĩa (Semantic Differential) của Charles Osgood (thập niên 1960). Hệ thống SMART của Đại học Cornell (1960) là ứng dụng đầu tiên của mô hình không gian vector. Tiếp đó, phương pháp Phân tích ngữ nghĩa tiềm ẩn (LSA/LSI) của Landauer và Dumais (1997) cùng mô hình không gian vector dựa trên sự đồng xuất hiện của Schütze (1992, 1993) và mô hình HAL (Hyperspace Analogue to Language) của Kevin Lund và Curt Burgess (1996) đã thiết lập nền móng cho việc biểu diễn từ bằng thống kê ngữ cảnh.

Đối với tiếp cận dựa trên mẫu từ vựng - cú pháp, Hearst (1992) đã công bố hệ thống mẫu cú pháp cho tiếng Anh nhằm nhận diện quan hệ bao thuộc. Các tiếp cận mở rộng sau đó bao gồm giả thuyết phân phối mở rộng của Lin và Pantel (2001) và giả thuyết quan hệ tiềm ẩn của Turney và Littman (2005).

Sự xuất hiện của các mô hình nhúng từ dựa trên mạng nơ-ron đánh dấu giai đoạn phát triển tiếp theo của học máy thống kê trong NLP:

• Các mô hình nhúng từ tổng quát độc lập ngữ cảnh: Word2vec với hai kiến trúc Skip-Gram và CBOW của Mikolov và cộng sự (2013); mô hình GloVe khai thác ma trận thống kê toàn cục của Pennington và cộng sự (2014); mô hình fastText kết hợp biểu diễn n-gram ký tự dưới từ của Bojanowski và cộng sự (2017); cùng các mô hình WordRank (Shihao Ji và cộng sự, 2016), LexVec (Alexandre Salle và cộng sự, 2016) và Bayesian Skip-gram (Arthur Brazinskas và cộng sự, 2018).
• Các mô hình nhúng từ chuyên biệt hóa: Để phân tách các quan hệ ngữ nghĩa cụ thể, Ono và cộng sự (2015) đề xuất mô hình WE-T và WE-TD cho bài toán trái nghĩa; Nghia The Pham và cộng sự (2015) phát triển mô hình mLCM; Kim Anh Nguyen và cộng sự (2016) đưa ra mô hình dLCE tích hợp ràng buộc đồng nghĩa và trái nghĩa vào Skip-Gram; Mrkšić và cộng sự (2016) xây dựng kỹ thuật ATTRACT-REPEL nhằm tiêm các ràng buộc ngữ nghĩa vào không gian vector có sẵn.
• Các mô hình nhúng từ theo ngữ cảnh: CoVe của McCann và cộng sự (2017), Context2Vec của Melamud và cộng sự (2016), ELMo của Peters và cộng sự (2018), BERT của Devlin và cộng sự (2018) cùng kiến trúc Transformer của Vaswani và cộng sự (2017), XLNet của Yang và cộng sự (2019), và RoBERTa của Liu và cộng sự (2019). Luận án của Soler (2019) nghiên cứu việc khai thác các mô hình nhúng từ theo ngữ cảnh cho các tác vụ biểu diễn nghĩa của từ trong ngữ cảnh cụ thể.
• Các mô hình xác định quan hệ bao thuộc: Mô hình mạng nơ-ron trọng số động DWN (Dynamic Weighting Neural Network) của Anh Tuan Luu và cộng sự (2016); các phương pháp kiểm tra bao hàm ngữ cảnh của Geffet và Dagan (2005); các hướng tiếp cận kết hợp của Baroni và Lenci (2011), Shwartz và cộng sự (2016); độ đo bất đối xứng SLQS của Santus và cộng sự (2014); và nghiên cứu về sự khác biệt tương tự của Vylomova và cộng sự (2016).

Khoảng trống nghiên cứu mà luận án lựa chọn giải quyết bao gồm:

1. Hạn chế của các mô hình nhúng từ tổng quát khi mã hóa gộp chung các mối quan hệ ngữ nghĩa khác nhau, dẫn tới độ chính xác bị suy giảm trong các bài toán phân loại chuyên biệt.
2. Thiếu vắng các mô hình tính toán khai thác đặc thù hình thái học của từ vựng tiếng Việt, đặc biệt là cấu trúc từ ghép và quan hệ ngữ nghĩa giữa các thành phần dưới từ (Subword).
3. Hạn chế của mô hình DWN khi chưa khai thác triệt để các đặc trưng cấu trúc nội hàm của từ và cơ chế gán trọng số ngữ cảnh tối ưu.
4. Sự thiếu hụt các bộ dữ liệu kiểm chuẩn có gán nhãn cho tiếng Việt phục vụ đánh giá các mô hình xác định quan hệ ngữ nghĩa.

Cơ sở lý thuyết và phương pháp nghiên cứu

Về mặt lý thuyết ngôn ngữ học, luận án sử dụng các khái niệm nền tảng về từ vựng học và ngữ nghĩa học từ vựng:

• Hình vị (Morpheme): Đơn vị nhỏ nhất có nghĩa của ngôn ngữ. Trong tiếng Việt thuộc loại hình ngôn ngữ đơn lập, hình vị thường tương ứng với một tiếng hoặc một chữ.
• Từ và nghĩa của từ: Theo quan điểm của Nguyễn Thiện Giáp, nghĩa của từ là mối quan hệ giữa năng biểu và sở biểu, bao gồm các thành tố: nghĩa sở biểu, nghĩa sở thị, nghĩa sở chỉ, nghĩa sở dụng và nghĩa ngữ pháp. Nghĩa thành phần (Sense) là sự thể hiện rời rạc về nghĩa của từ trong các ngữ cảnh sử dụng.
• Bốn quan hệ ngữ nghĩa cốt lõi:
  • Quan hệ bao thuộc (Hypernymy): Quan hệ ngữ nghĩa bất đối xứng giữa từ bao (Hypernym) và từ thuộc (Hyponym), còn gọi là quan hệ là một (IS-A), quan hệ kế thừa từ vựng (Lexical Entailment) hoặc quan hệ phân loại.
  • Quan hệ đồng nghĩa (Synonymy): Quan hệ giữa các từ có nghĩa tương đồng, có thể thay thế cho nhau trong các ngữ cảnh nhất định mà không làm biến đổi nghĩa cơ bản của câu.
  • Quan hệ trái nghĩa (Antonymy): Quan hệ đối lập về nghĩa được thiết lập trên cơ sở thế tương liên hai chiều toàn diện về nội dung và hình thức (theo Smith, 1867; Đỗ Hữu Châu; Nguyễn Thiện Giáp).
  • Quan hệ tương tự ngữ nghĩa (Semantic Similarity): Trường hợp đặc biệt của quan hệ liên quan ngữ nghĩa (Semantic Relatedness), chỉ mức độ tương đồng giữa các từ chia sẻ chung từ bao hoặc cùng phân loại chức năng (theo Resnik, 1995; Navigli và Martelli, 2019).

Về khung phân tích toán học của mô hình ngữ nghĩa phân phối (DSMs), luận án áp dụng cấu trúc hình thức hóa bảy thành phần của Freitas (2016): <T, C, R, W, M, d, S>, trong đó:

• T là tập hợp các đối tượng từ vựng; C là ngữ cảnh (tài liệu, đoạn văn hoặc cửa sổ trượt kích thước $\pm k$ từ); R là quan hệ giữa T và C.
• M là ma trận đồng xuất hiện kích thước $|V| \times |C|$ (như ma trận Từ - Tài liệu hoặc ma trận Từ - Ngữ cảnh).
• W là lược đồ lượng giá trọng số, sử dụng các công thức:
  • Thông tin tương hỗ theo từng điểm (Pointwise Mutual Information - PMI): $$PMI(w, c) = \log_2 \frac{P(w, c)}{P(w)P(c)}$$
  • Thông tin tương hỗ dương (Positive PMI - PPMI): $$PPMI(w, c) = \max(PMI(w, c), 0)$$
  • Tần suất từ - nghịch đảo tần suất tài liệu (TF-IDF): $$Tf\text{-}Idf(t, d, D) = Tf(t, d) \times Idf(t, D)$$
  • Thông tin tương hỗ theo từ điển (Lexicographer’s Mutual Information - LMI).
• d là hàm giảm chiều dữ liệu.
• S là độ đo tương tự áp dụng cho các vector, bao gồm tích vô hướng (Dot-Product), hàm Sigmoid chuẩn hóa, độ tương tự Cosine và các độ đo khoảng cách hình học.

Về phương pháp kỹ thuật thực tế:

• Phương pháp học máy có giám sát: Luận án sử dụng mô hình Máy vector hỗ trợ (Support Vector Machine - SVM) để phân lớp quan hệ ngữ nghĩa trên các vector đặc trưng tổng hợp.
• Mô hình mạng nơ-ron nhân tạo:
  • Mạng nơ-ron hồi quy hai chiều (BiLSTM) với các cổng điều khiển (cổng vào $i_t$, cổng nhớ $f_t$, cổng ra $o_t$) và tế bào nhớ $c_t$ để mã hóa chuỗi ngữ cảnh đồng xuất hiện của cặp từ.
  • Mạng nơ-ron nhiều tầng (Multi-Layer Perceptron - MLP) để nắm bắt các quan hệ phi tuyến.
  • Mạng nơ-ron với trọng số động cải tiến (EDWN) với các cơ chế chú ý (Attention) khác nhau.
• Phương pháp phân tích đồ thị: Xây dựng đồ thị ngữ nghĩa từ mạng từ WordNet và áp dụng thuật toán Floyd-Warshall để tìm đường đi ngắn nhất giữa mọi cặp đỉnh trên đồ thị phục vụ đo độ tương tự ngữ nghĩa.
• Phương pháp trích xuất đặc trưng hình thái: Thuật toán FeatExt trích chọn đặc trưng mức dưới từ (Subword Semantic Feature - SSF) và các mẫu cấu trúc từ (Word-Structure Pattern - WSP) dựa trên từ điển VCL.

Nguồn dữ liệu và tư liệu thực nghiệm:

• Kho ngữ liệu văn bản đơn ngữ tiếng Việt Vcorpus và kho ngữ liệu đơn ngữ tiếng Anh.
• Cơ sở từ điển và mạng từ: Từ điển tiếng Việt cho máy tính VCL, WordNet tiếng Anh (Princeton WordNet), WordNet tiếng Việt.
• Các tập dữ liệu kiểm chuẩn tiếng Anh: BLESS, WBLESS, BiBLESS, Ontolearn, SimLex-999.
• Bốn bộ dữ liệu chuẩn do tác giả luận án trực tiếp xây dựng và gán nhãn: VLE-999 (gồm DtVLE-999, DrVLE-999, DetVLE-999), ViAS-1000, VSimLex-999 và VESim-1000.

Nội dung chính theo từng chương

Chương 1: Kiến thức cơ sở và các nghiên cứu liên quan

Chương 1 hệ thống hóa toàn diện các khái niệm lý thuyết và kỹ thuật nền tảng của đề tài. Mở đầu, chương trình bày chi tiết về đơn vị hình vị, cấu trúc từ đơn, từ phức, thuật ngữ và nghĩa của từ theo ngữ nghĩa học từ vựng. Chương phân tích bản chất của bốn quan hệ ngữ nghĩa: bao thuộc, đồng nghĩa, trái nghĩa, tương tự ngữ nghĩa, cùng sự phân biệt giữa quan hệ liên quan ngữ nghĩa và tương tự ngữ nghĩa.

Tiếp theo, chương luận giải tám giả thuyết ngữ nghĩa học phân phối và thống kê làm cơ sở cho các mô hình tính toán. Nội dung kỹ thuật của chương tập trung phân tích cấu trúc mô hình ngữ nghĩa phân phối (DSMs) theo khung bảy thành phần của Freitas, các dạng ma trận đồng xuất hiện Từ - Tài liệu, Từ - Ngữ cảnh, và các lược đồ trọng số PMI, PPMI, TF-IDF cùng các hàm đo độ tương tự vector.

Chương 1 cũng điểm lại lịch sử phát triển của các mô hình nhúng từ, từ các kiến trúc tổng quát (Word2Vec CBOW/Skip-Gram, GloVe, fastText) đến các mô hình nhúng từ chuyên biệt (WE-T, WE-TD, mLCM, dLCE, ATTRACT-REPEL) và các mô hình biểu diễn theo ngữ cảnh (CoVe, Context2Vec, ELMo, BERT, XLNet, RoBERTa). Cuối chương, tác giả phân tích cấu trúc toán học của mạng nơ-ron hồi quy LSTM và tổng quan chi tiết về ba bài toán con của bài toán xác định quan hệ bao thuộc (phát hiện quan hệ, xác định chiều quan hệ, và phát hiện đồng thời xác định chiều), chỉ rõ những hạn chế của các công trình đi trước làm động lực cho các đề xuất trong các chương tiếp theo.

Chương 2: Xác định quan hệ bao thuộc dựa trên mô hình nhúng từ chuyên biệt

Chương 2 tập trung giải quyết bài toán xác định quan hệ bao thuộc (Hypernymy Recognition - HR). Tác giả tiến hành phân tích những nhược điểm của mô hình mạng nơ-ron trọng số động DWN do Anh Tuan Luu và cộng sự (2016) đề xuất, cụ thể là việc DWN chưa tối ưu hóa được các trọng số chú ý cho ngữ cảnh và bỏ qua các đặc trưng hình thái nội tại của các từ ghép.

Để khắc phục các hạn chế này, chương 2 đề xuất:

1. Mô hình EDWN (Extend Dynamic Weighting Neural Network): Mở rộng kiến trúc DWN bằng cách thiết lập và thử nghiệm năm lược đồ tính trọng số chú ý khác nhau, giúp mạng nơ-ron học các vector nhúng từ chuyên biệt từ các bộ ba gồm từ bao, từ thuộc và chuỗi ngữ cảnh đồng xuất hiện.
2. Thuật toán trích chọn vector đặc trưng ngữ nghĩa mức dưới từ (FeatExt - Thuật toán 1): Khai thác các mẫu ngữ nghĩa mức dưới từ (Subword Semantic Pattern - SSP) của các từ ghép tiếng Việt, mã hóa mối quan hệ ngữ nghĩa giữa các thành phần cấu tạo từ và lưu giữ thông tin vị trí của chúng.
3. Mô hình LERC (Lexical Entailment Recognition Combination): Tích hợp vector nhúng từ chuyên biệt học từ EDWN với vector đặc trưng ngữ nghĩa mức dưới từ SSF, sau đó sử dụng bộ phân lớp học máy có giám sát SVM để đưa ra quyết định phân loại quan hệ bao thuộc.

Về mặt dữ liệu, chương 2 xây dựng bộ dữ liệu kiểm chuẩn tiếng Việt VLE-999 với ba tập con tương ứng với ba bài toán con: DtVLE-999 (phát hiện quan hệ), DrVLE-999 (xác định chiều quan hệ), và DetVLE-999 (phát hiện đồng thời xác định chiều). Thực nghiệm đánh giá hiệu năng được tiến hành trên cả bộ dữ liệu tiếng Việt (VLE-999) và các bộ dữ liệu tiếng Anh chuẩn (BLESS, WBLESS, BiBLESS, Ontolearn). Kết quả thực nghiệm bằng độ đo Accuracy cho thấy mô hình LERC và EDWN đạt hiệu năng cao hơn so với mô hình DWN gốc và các mô hình biểu diễn từ nền tảng; việc bổ sung đặc trưng SSF giúp tăng độ chính xác phân loại rõ rệt qua 30 chu kỳ huấn luyện.

Chương 3: Phân tách quan hệ đồng nghĩa – trái nghĩa dựa trên ngữ cảnh đồng hiện và mẫu cấu trúc từ

Chương 3 giải quyết bài toán phân tách cặp từ theo quan hệ đồng nghĩa và trái nghĩa (Antonymy-Synonymy Classification - ASC) trong tiếng Việt. Tác giả tiến hành khảo sát các mẫu cấu trúc từ (Word-Structure Patterns - WSP) thể hiện sự tương đồng hoặc đối lập giữa các thành tố cấu tạo của các cặp từ đồng nghĩa và trái nghĩa tiếng Việt, thống kê tần suất xuất hiện thực tế của các mẫu này trong kho ngữ liệu.

Trên cơ sở đó, chương 3 đề xuất:

1. Mô hình mạng nơ-ron DVASNet (Distinguishing Vietnamese Antonyms and Synonyms Neural Network Model): Kiến trúc tích hợp đa tầng, kết hợp đồng thời thông tin ngữ nghĩa phân phối của từ, thông tin ngữ cảnh đồng xuất hiện được mã hóa bằng mạng BiLSTM, các đặc trưng thống kê tĩnh (PMI, LMI, độ tương tự ngữ nghĩa), và đặc trưng quan hệ ngữ nghĩa giữa các thành phần cấu tạo từ của cặp từ.
2. Mô hình nhúng từ chuyên biệt hóa cho quan hệ trái nghĩa: Sử dụng các cặp từ đồng nghĩa và trái nghĩa thu nhận từ WordNet và từ điển để học không gian vector nhúng từ có tích hợp các ràng buộc ngữ nghĩa, giúp phân tách khoảng cách vector giữa các từ đối lập.
3. Xây dựng bộ dữ liệu chuẩn ViAS-1000: Phục vụ công tác đánh giá thực nghiệm cho bài toán ASC trong tiếng Việt.

Thực nghiệm so sánh mô hình DVASNet với năm mô hình cơ sở trên hai bộ dữ liệu ViCon và ViAS-1000 cho thấy DVASNet vượt trội về mọi chỉ số: độ đo Recall tăng từ 22% đến 32% trên tập ViCon và tăng từ 33% đến 66% trên tập ViAS-1000; độ đo F1 tăng từ 8% đến 15% trên tập ViCon và tăng từ 29% đến 33% trên tập ViAS-1000 (tương ứng mức cải thiện từ 14% đến 17% F1 so với các mô hình trước đây).

Chương 4: Đo lường độ tương tự ngữ nghĩa của cặp từ

Chương 4 tập trung vào bài toán đo lường độ tương tự ngữ nghĩa của cặp từ (Word Similarity Measurement - WSM) cho cả trường hợp đơn ngữ và song ngữ. Chương đề xuất hai đóng góp thuật toán chính:

1. Kỹ thuật ExtLeskSim: Cải tiến thuật toán Lesk truyền thống dựa trên việc khai thác thông tin định nghĩa từ vựng tiếng Việt, tối ưu hóa khả năng so khớp ngữ nghĩa của các định nghĩa từ điển.
2. Lược đồ GraphSim (Thuật toán 2): Ứng dụng lý thuyết đồ thị vào cấu trúc mạng từ WordNet. Thuật toán sử dụng thuật toán Floyd-Warshall (Thuật toán 3) để tính toán đường đi ngắn nhất giữa mọi cặp đỉnh trên đồ thị, từ đó hiệu chỉnh và nâng cao độ chính xác của các độ đo tương tự cấu trúc truyền thống (như độ đo của Wu và Palmer).

Đối với bài toán cặp từ song ngữ Việt - Anh, chương 4 đề xuất mô hình mạng nơ-ron học không gian nhúng từ song ngữ Việt - Anh và mô hình WEWD kết hợp giữa thông tin phân phối với văn bản định nghĩa từ điển song ngữ.

Để phục vụ kiểm chuẩn, chương 4 xây dựng bộ dữ liệu VSimLex-999 (được chuyển ngữ và chuẩn hóa từ bộ dữ liệu chuẩn quốc tế SimLex-999 sang tiếng Việt) và bộ dữ liệu cặp từ song ngữ VESim-1000. Đánh giá thực nghiệm bằng hệ số tương quan tuyến tính Pearson cho thấy kỹ thuật ExtLeskSim và lược đồ GraphSim mang lại hệ số tương quan cao hơn đáng kể so với các mô hình gốc trên cả ngữ liệu tiếng Việt và tiếng Anh.

Kết quả và những đóng góp mới

Các đóng góp mới về mặt khoa học và lý luận của luận án gồm:

• Đề xuất và kiểm chứng "Giả thuyết tập quan hệ ngữ nghĩa", cung cấp cơ sở phương pháp luận để xác định mối quan hệ ngữ nghĩa gián tiếp giữa hai từ thông qua cấu trúc mạng lưới các từ liên đới.
• Đề xuất mô hình mạng nơ-ron EDWN với năm cơ chế trọng số chú ý, mô hình trích chọn đặc trưng mức dưới từ FeatExt (SSF, SSP), và mô hình tích hợp LERC giải quyết bài toán xác định quan hệ bao thuộc.
• Đề xuất kiến trúc mạng nơ-ron DVASNet kết hợp thông tin ngữ cảnh đồng xuất hiện qua BiLSTM, đặc trưng cấu trúc từ ghép tiếng Việt (WSP) và các đặc trưng thống kê tương hỗ (PMI, LMI) cho bài toán phân tách quan hệ đồng nghĩa - trái nghĩa.
• Đề xuất kỹ thuật ExtLeskSim, lược đồ cải tiến khoảng cách đồ thị GraphSim (sử dụng thuật toán Floyd-Warshall), và mô hình nhúng song ngữ WEWD cho bài toán đo lường độ tương tự ngữ nghĩa.

Các đóng góp mới về mặt thực tiễn và dữ liệu: Luận án đã xây dựng, chuẩn hóa và công bố bốn bộ dữ liệu kiểm chuẩn ngôn ngữ học tính toán cho cộng đồng nghiên cứu:

Tên bộ dữ liệu	Ngôn ngữ	Quy mô	Nhiệm vụ kiểm chuẩn
VLE-999 (DtVLE-999, DrVLE-999, DetVLE-999)	Tiếng Việt	999 cặp từ	Xác định quan hệ bao thuộc (phát hiện, xác định chiều, bài toán kết hợp)
ViAS-1000	Tiếng Việt	1.000 cặp từ	Phân tách quan hệ đồng nghĩa - trái nghĩa
VSimLex-999	Tiếng Việt	999 cặp từ	Đo lường độ tương tự ngữ nghĩa cặp từ đơn ngữ
VESim-1000	Việt - Anh	1.000 cặp từ	Đo lường độ tương tự ngữ nghĩa cặp từ song ngữ Việt - Anh

Các chỉ số thực nghiệm định lượng đạt được:

• Mô hình DVASNet đạt mức cải thiện độ đo F1 từ 14% đến 17% so với các mô hình trước đây; cụ thể F1 vượt từ 8% đến 15% trên ViCon, vượt từ 29% đến 33% trên ViAS-1000; chỉ số Recall vượt từ 22% đến 32% trên ViCon và từ 33% đến 66% trên ViAS-1000.
• Mô hình LERC và EDWN đạt độ chính xác Accuracy cao hơn mô hình DWN và các mô hình nhúng từ nền tảng trên cả tập dữ liệu tiếng Việt và tiếng Anh.
• Kỹ thuật ExtLeskSim và GraphSim đạt hệ số tương quan Pearson cao hơn các mô hình cơ sở trên VSimLex-999 và SimLex-999.

Kiến nghị và giải pháp đề xuất:

• Ứng dụng các mô hình đã phát triển vào các bài toán NLP ứng dụng như: tự động xây dựng và mở rộng WordNet tiếng Việt; hỗ trợ làm giàu bản thể học (Ontology); cải thiện chất lượng căn chỉnh ngữ nghĩa trong hệ thống dịch máy, hệ thống hỏi đáp tự động và mô hình nhận dạng kế thừa văn bản (Textual Entailment).
• Khai thác các bộ dữ liệu VLE-999, ViAS-1000, VSimLex-999 và VESim-1000 làm thước đo tiêu chuẩn phục vụ huấn luyện và đánh giá các thuật toán học máy xử lý ngôn ngữ tiếng Việt.

Hạn chế và hướng nghiên cứu tiếp

Về mặt hạn chế:

• Các mô hình nhúng từ và kiến trúc mạng nơ-ron đề xuất trong luận án chủ yếu tập trung vào không gian vector từ độc lập ngữ cảnh (từ tĩnh), chưa tích hợp đầy đủ năng lực biểu diễn của các mô hình ngôn ngữ lớn dựa trên kiến trúc Transformer tiền huấn luyện theo ngữ cảnh sâu (như mBERT, PhoBERT, RoBERTa quy mô lớn).
• Hiệu năng của các mô hình ExtLeskSim và GraphSim còn phụ thuộc vào mức độ bao phủ và tính hoàn thiện của các từ điển định nghĩa và mạng từ tiếng Việt hiện có (như VCL, WordNet tiếng Việt vốn có quy mô nhỏ hơn nhiều so với WordNet tiếng Anh).
• Phạm vi nghiên cứu mới chỉ tập trung xử lý bốn quan hệ ngữ nghĩa từ vựng cơ bản (bao thuộc, đồng nghĩa, trái nghĩa, tương tự ngữ nghĩa), chưa mở rộng sang các mối quan hệ ngữ nghĩa phức tạp khác như quan hệ thành phần - tổng thể (Meronymy/Holonymy), quan hệ nguyên nhân - kết quả, tính đa nghĩa sâu hoặc hiện tượng đồng âm.

Hướng nghiên cứu tiếp theo:

• Mở rộng phạm vi nghiên cứu để tự động xác định các quan hệ ngữ nghĩa từ vựng khác trong tiếng Việt.
• Tích hợp các kỹ thuật nhúng từ chuyên biệt và các đặc trưng mức dưới từ vào các mô hình ngôn ngữ tiền huấn luyện theo ngữ cảnh hiện đại.
• Ứng dụng các kết quả nghiên cứu vào các hệ thống xử lý ngôn ngữ tự nhiên cấp độ câu và văn bản như phát hiện ẩn dụ, nhận diện mỉa mai, tóm tắt văn bản tự động và hệ thống hỏi đáp thông minh.

Giá trị tham khảo

Luận án có giá trị tham khảo chuyên môn đối với các nhóm đối tượng sau:

• Nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành Khoa học máy tính, Hệ thống thông tin và Ngôn ngữ học tính toán: Có thể sử dụng Chương 1 làm tài liệu học thuật tổng quan về lý thuyết phân phối, không gian vector ngữ nghĩa và các mô hình học máy cho quan hệ từ vựng; sử dụng Chương 2, 3, 4 để tham khảo phương pháp luận thiết kế kiến trúc mạng nơ-ron chuyên biệt.
• Kỹ sư phát triển hệ thống xử lý ngôn ngữ tự nhiên: Có thể ứng dụng trực tiếp thuật toán trích chọn đặc trưng mức dưới từ FeatExt (Chương 2) để xử lý từ ghép tiếng Việt, áp dụng kiến trúc DVASNet (Chương 3) vào các tác vụ phân tích quan điểm, hoặc sử dụng lược đồ GraphSim (Chương 4) để đo độ tương đồng văn bản.
• Các nhà nghiên cứu phát triển tài nguyên ngôn ngữ: Có thể kế thừa bốn bộ dữ liệu chuẩn (VLE-999, ViAS-1000, VSimLex-999, VESim-1000) phục vụ kiểm chuẩn mô hình hoặc áp dụng các thuật toán để tự động mở rộng mạng từ WordNet tiếng Việt.

Câu hỏi thường gặp

1. "Giả thuyết tập quan hệ ngữ nghĩa" do luận án đề xuất được phát biểu như thế nào và có vai trò gì trong thiết kế mô hình?
Giả thuyết phát biểu nguyên văn: "Quan hệ ngữ nghĩa giữa hai từ có thể được định vị thông qua mối quan hệ giữa các từ có quan hệ với chúng". Trong luận án, giả thuyết này giữ vai trò kim chỉ nam phương pháp luận, được vận dụng qua hai chiến lược: tích hợp các ràng buộc quan hệ ngữ nghĩa vào không gian vector nhúng từ chuyên biệt và biểu diễn các mối quan hệ ngữ nghĩa bằng cấu trúc đồ thị để khai thác các thuật toán tìm đường đi tối ưu.

2. Mô hình LERC trong Chương 2 sử dụng các đặc trưng đầu vào nào để phân lớp quan hệ bao thuộc?
Mô hình LERC (Lexical Entailment Recognition Combination) sử dụng thuật toán máy vector hỗ trợ (SVM) với đầu vào là vector kết hợp từ hai nguồn đặc trưng: (1) vector nhúng từ chuyên biệt được học từ mô hình mạng nơ-ron trọng số động cải tiến EDWN (huấn luyện từ các bộ ba gồm từ bao, từ thuộc và ngữ cảnh đồng hiện), và (2) vector đặc trưng ngữ nghĩa mức dưới từ (Subword Semantic Feature - SSF) được trích chọn bởi Thuật toán 1 (FeatExt), giúp mã hóa cả thông tin vị trí và quan hệ ngữ nghĩa giữa các thành phần từ ghép.

3. Hiệu năng của mô hình DVASNet trong bài toán phân tách quan hệ đồng nghĩa - trái nghĩa vượt trội so với các mô hình cơ sở ở mức độ nào?
Trên bộ dữ liệu ViAS-1000 và ViCon, mô hình DVASNet đạt hiệu năng cao hơn từ 14% đến 17% theo độ đo F1 so với các mô hình trước đây. Cụ thể: chỉ số F1 của DVASNet vượt các mô hình cơ sở từ 8% đến 15% trên bộ dữ liệu ViCon và từ 29% đến 33% trên bộ dữ liệu ViAS-1000; chỉ số Recall của DVASNet vượt từ 22% đến 32% trên ViCon và từ 33% đến 66% trên ViAS-1000.

4. Kỹ thuật GraphSim trong Chương 4 giải quyết bài toán đo độ tương tự ngữ nghĩa bằng cách nào?
Lược đồ GraphSim chuyển đổi cấu trúc mạng từ vựng WordNet thành mô hình đồ thị ngữ nghĩa, sau đó áp dụng thuật toán Floyd-Warshall để tìm đường đi ngắn nhất giữa mọi cặp đỉnh trên đồ thị. Bằng cách tính toán khoảng cách ngắn nhất này, GraphSim lượng giá chính xác khoảng cách ngữ nghĩa giữa hai khái niệm, khắc phục hiện tượng độ đo bị triệt tiêu bằng 0 hoặc có sai lệch lớn trong các phương pháp đo cấu trúc truyền thống như Wu và Palmer.

5. Luận án đã đóng góp những bộ dữ liệu kiểm chuẩn nào cho cộng đồng nghiên cứu tiếng Việt?
Luận án đã trực tiếp xây dựng và công bố bốn bộ dữ liệu chuẩn hóa: VLE-999 (gồm DtVLE-999, DrVLE-999, DetVLE-999 với 999 cặp từ cho bài toán quan hệ bao thuộc), ViAS-1000 (1.000 cặp từ cho bài toán phân tách quan hệ đồng nghĩa - trái nghĩa), VSimLex-999 (999 cặp từ đơn ngữ dịch từ SimLex-999 cho bài toán đo độ tương tự ngữ nghĩa), và VESim-1000 (1.000 cặp từ song ngữ Việt - Anh cho bài toán tương tự ngữ nghĩa song ngữ).

Kết luận

Luận án tiến sĩ "Tự động xác định quan hệ ngữ nghĩa của từ dựa trên học máy thống kê" chuyên ngành Khoa học máy tính đã giải quyết trọn vẹn bài toán nhận dạng bốn quan hệ ngữ nghĩa từ vựng cơ bản gồm bao thuộc, đồng nghĩa, trái nghĩa và tương tự ngữ nghĩa trên ngữ liệu tiếng Việt và tiếng Anh. Thông qua việc đề xuất các kiến trúc mô hình học máy và mạng nơ-ron cải tiến như EDWN, LERC, DVASNet, ExtLeskSim và GraphSim, công trình đã chứng minh tính hiệu quả của việc kết hợp thông tin phân phối ngữ cảnh với các đặc trưng cấu trúc hình thái dưới từ của tiếng Việt và cấu trúc đồ thị mạng từ. Kết quả nghiên cứu không chỉ nâng cao hiệu năng thực nghiệm định lượng so với các mô hình cơ sở mà còn đóng góp bốn bộ dữ liệu kiểm chuẩn có giá trị thực tiễn cho sự phát triển của lĩnh vực ngôn ngữ học tính toán tiếng Việt.

Trích đoạn nội dung tài liệu

Mở đầu 7 Chương 3 Đề xuất mô hình phân tách các cặp từ theo quan hệ đồng nghĩa - trái nghĩa dựa trên ngữ cảnh đồng xuất hiện và mẫu cấu trúc từ. Chương 4 Trình bày về mô hình nâng cao độ chính xác đo lường độ tương tự ngữ nghĩa của cặp từ. Phần Kết luận Trình bày các kết luận cũng như những điểm hạn chế của luận án, và đưa ra những hướng nghiên cứu tiếp theo của luận án. Chương 1 KIẾN THỨC CƠ SỞ VÀ CÁC NGHIÊN CỨU LIÊN QUAN Trong chương này, luận án trình bày những kiến thức cơ sở được sử dụng trong các chương tiếp theo.

Mở đầu, Mục 1.1 trình bày một số khái niệm cơ bản về từ và ngữ nghĩa của từ, một số giả thuyết ngữ nghĩa cơ bản. Luận án cũng giới thiệu về hai mô hình biểu diễn ngữ nghĩa bằng không gian vector gồm mô hình ngữ nghĩa phân phối và mô hình nhúng từ (Mục 1. Bên cạnh đó, chương này cũng trình bày tổng quan, phân tích đánh giá các công trình nghiên cứu liên quan và đưa ra các vấn đề còn tồn tại mà luận án sẽ giải quyết về ba bài toán gồm xác định quan hệ bao thuộc (Mục 1.4), phân tách quan hệ đồng nghĩa - trái nghĩa (Mục 1.5), và đo lường độ tương tự ngữ nghĩa của cặp từ (Mục 1.1 Một số khái niệm cơ bản về từ 1.1 Hình vị Hình vị (Morpheme) hay từ tố, ngữ tố là đơn vị nhỏ nhất có nghĩa của ngôn ngữ, chúng tồn tại bằng cách lặp đi lặp lại dưới cùng một dạng hoặc dưới dạng tương đối giống nhau trong các từ [150]. Hình vị có thể đứng riêng một mình hay bị lệ thuộc.

Ví dụ: Một số hình vị tiếng Anh: house, man, black, sleep, walk, v.v Một số hình vị tiếng Việt: nhà, người, đẹp, tốt, đi, làm, v.v Tiếng Việt là một ngôn ngữ đơn lập (hay còn gọi là ngôn ngữ cách thể) nên một hình vị là một tiếng hay một chữ. Kiến thức cơ sở và các nghiên cứu liên quan 9 1.2 Từ và nghĩa của từ Từ là đơn vị cơ bản của ngôn ngữ, có thể dễ dàng tách khỏi chuỗi âm thanh lời nói, có cấu trúc hình thức chặt chẽ, có nội dung ý nghĩa hoàn chỉnh và được sử dụng như là những vật liệu có sẵn để tạo ra những đơn vị thông báo. Từ có thể làm tên gọi của sự vật (danh từ), chỉ các hoạt động (động từ), trạng thái, tính chất (tính từ), v. Từ là công cụ biểu thị khái niệm của con người đối với hiện thực.

Trong tiếng Việt, ngoài các từ đơn còn có các đơn vị có tính chất và chức năng như từ, chúng được gọi là những đơn vị tương đương từ như: từ phức (hạnh phúc, xanh rì, v.v), thuật ngữ (OSI, oxit bazơ, cây cân bằng, v.v), quán ngữ (vui như tết, buồn như trấu cắn, khôn nhà dại chợ, v.v), thành ngữ (bút Nam Tào, dao thày thuốc; nếm mật nằm gai; học thày không tày học bạn, v. Trong phạm vi của đề tài, luận án chỉ nghiên cứu một số quan hệ ngữ nghĩa của từ đơn, từ phức và thuật ngữ (sau đây gọi chung là từ). Trong ngữ nghĩa học từ vựng, nghĩa (Meaning) và nghĩa thành phần (Sense) của từ là hai khái niệm cơ bản. Theo Nguyễn Thiện Giáp [32], nghĩa thành phần của từ là cái sở biểu của từ; Nghĩa của từ là mối quan hệ giữa năng biểu và sở biểu, nó là quan hệ của từ với cái gì đó nằm ngoài bản thân nó.

Nghĩa của từ là một hiện tượng phức tạp, bao gồm một số thành tố đơn giản hơn như nghĩa sở biểu, nghĩa sở thị, nghĩa sở chỉ, nghĩa sở dụng, nghĩa ngữ pháp [32]. Một từ có thể có một hoặc nhiều nghĩa thành phần, nói cách khác, nghĩa thành phần là sự thể hiện rời rạc về nghĩa của từ. Ví dụ, một số nghĩa thành phần của từ đi được liệt kê trong WordNet tiếng Việt như sau: — Đi 1 : làm cho thứ gì đó đi qua hay đưa đến nơi nào đó, ví dụ: "đi dây điện ra sau tủ". — Đi 2 : đi hay đi qua một quãng đường, ví dụ: "chiếc xe này có thể đi được 150 ki lô mét một giờ".

— Đi 3 : (tàu xe) có trạng thái nào đó khi lái, ví dụ: "xe đi rất tốt". — Đi 4 : đi trên, đi dọc theo hoặc đi qua, ví dụ: "đi trên các xa lộ ở California". — Đi 5 : ngồi trên lưng một con vật, thường trong khi điều khiển chuyển động của nó, ví dụ: "Tôi còn thấy cảnh đầy tớ đi ngựa như các hoàng tử". Kiến thức cơ sở và các nghiên cứu liên quan 10 1.3 Ngữ nghĩa từ vựng Ngữ nghĩa học (Semantics) là lĩnh vực nghiên cứu về cách mà ngôn ngữ được sử dụng để biểu đạt ý nghĩa của các thành phần ngôn ngữ.

Nói cách khác, ngữ nghĩa học nhằm mục đích giải thích cách thức các nghĩa đen được mã hóa và giải mã bằng ngôn ngữ bởi người nói và người nghe. Ngữ nghĩa học từ vựng (Lexical Semantics) là lĩnh vực nghiên cứu nghĩa của hình vị, từ và các mối quan hệ ngữ nghĩa giữa chúng, cũng như cách thức mà nghĩa của từ liên quan đến cấu trúc và ngữ pháp [125].1 cho thấy rằng ngữ nghĩa học từ vựng là các nghiên cứu thuộc tầng cơ bản và cốt lõi nhất trong lĩnh vực ngữ nghĩa học, cũng như đóng vai trò quan trọng đối với các bài toán xử lý ngôn ngữ tự nhiên.1 : Kiến trúc các tầng ngữ nghĩa.4 Quan hệ ngữ nghĩa giữa các từ Quan hệ ngữ nghĩa giữa các từ là chủ đề nghiên cứu được quan tâm trong nhiều lĩnh vực như triết học, tâm lý học nhận thức, và khoa học máy tính. Các quan hệ ngữ nghĩa của từ đóng một vai trò thiết yếu trong ngữ nghĩa học từ vựng và được ứng dụng ở nhiều cấp độ trong các tác vụ hiểu và sinh ngôn ngữ. Các quan hệ ngữ nghĩa giữa các từ cũng là yếu tố trung tâm trong việc tổ chức các cơ sở tri thức ngữ nghĩa từ vựng [17].

Có nhiều loại quan hệ ngữ nghĩa giữa các từ, tuy nhiên trong phạm vi nghiên cứu của luận án này, luận án chỉ nghiên cứu về bốn quan hệ ngữ nghĩa cơ bản gồm: bao thuộc, đồng nghĩa, tương đồng ngữ nghĩa, trái nghĩa. Kiến thức cơ sở và các nghiên cứu liên quan 11 1.1 Quan hệ liên quan ngữ nghĩa Khái niệm quan hệ liên quan ngữ nghĩa (Semantic Relatedness) trong ngôn ngữ học tính toán tương ứng với khái niệm tương tự thuộc tính (Attributional Similarity) trong khoa học nhận thức. Hai từ được gọi là có liên quan ngữ nghĩa nếu giữa chúng tồn tại bất kỳ một loại quan hệ ngữ nghĩa nào. Quan hệ liên quan ngữ nghĩa được đặc trưng bởi các từ thường xuyên xuất hiện cùng nhau trong một số ngữ cảnh, có liên quan về thời gian, không gian, ví dụ như súng - bắn, bóng đá - cầu thủ, v.v loại quan hệ này còn được gọi là quan hệ liên kết ngữ nghĩa (Semantically Association).

Mức độ liên quan ngữ nghĩa của hai từ tỷ lệ với mức độ chia sẻ các thuộc tính ngữ nghĩa giữa chúng [128].2 Quan hệ tương tự ngữ nghĩa Trong lĩnh vực ngôn ngữ học tính toán, quan hệ tương tự ngữ nghĩa (Semantic Similarity) hay tương đồng phân loại (Taxonomic Similarity) dùng để chỉ các từ có sự tương đồng với nhau về loại hoặc chức năng. Resnik [110] cho rằng hai từ tương tự nhau về ngữ nghĩa nếu chúng có chung một từ bao. Ví dụ từ ô tô và xe đạp có chung từ bao là xe. Quan hệ tương tự ngữ nghĩa là trường hợp đặc biệt của quan hệ liên quan ngữ nghĩa.

Theo Navigli và Martelli [87], quan hệ tương tự ngữ nghĩa được đặc trưng bởi khả năng các từ có thể được dùng thay thế cho nhau trong một số ngữ cảnh nhất định mà không thay đổi đáng kể ngữ nghĩa cơ bản của câu. Xác định mức độ tương tự ngữ nghĩa giữa hai từ là phép đo thống kê mức độ chia sẻ các thuộc tính ngữ nghĩa giữa chúng. Phép đo này có ích trong một miền rất rộng các ứng dụng của lĩnh vực NLP. Mặc dù một số phương pháp đo đã được đề xuất để giải quyết bài toán này.

Tuy nhiên, cho đến hiện tại, việc tính toán chính xác độ tương tự ngữ nghĩa giữa các từ vẫn còn là một thách thức lớn.3 Quan hệ bao thuộc Quan hệ bao thuộc (Hypernymy) là một quan hệ ngữ nghĩa bất đối xứng giữa một từ bao (Hypernym) với một từ thuộc (hyponym), ví dụ thuật toán là một từ bao của lan truyền ngược, xe đạp điện là một từ thuộc của xe đạp. Quan hệ bao thuộc còn được gọi là quan hệ là một (IS-A) [71, 137], quan hệ kế thừa từ vựng (Lexical Entailment) [7, 7, 18, 130], hoặc quan hệ phân loại (Taxonomic Relation) [71]. Kiến thức cơ sở và các nghiên cứu liên quan 12 1.4 Quan hệ đồng nghĩa Quan hệ đồng nghĩa (Synonymy) là quan hệ ngữ nghĩa giữa hai từ có nghĩa giống nhau, chúng có thể được dùng thay thế cho nhau trong một số ngữ cảnh mà không làm nghĩa của câu thay đổi [86]. Ví dụ, do khán giả và người xem là hai từ đồng nghĩa nên hai câu sau đây tương đồng với nhau về nghĩa: - "Phim có nhiều đoạn khiến khán giả bị ngắt mạch cảm xúc bởi mảng miếng hài đan xen".

- "Phim có nhiều đoạn khiến người xem bị ngắt mạch cảm xúc bởi mảng miếng hài đan xen". Mặc dù tương đồng với nhau về nghĩa nhưng các từ đồng nghĩa khác nhau về âm thanh và có phân biệt với nhau về một vài sắc thái ngữ nghĩa hoặc sắc thái phong cách nào đó, hoặc đồng thời cả hai.5 Quan hệ trái nghĩa Quan hệ trái nghĩa (Antonymy) là quan hệ giữa các từ đối lập với nhau về nghĩa [72]. Quan hệ trái nghĩa lần đầu tiên được đề cập đến như một quan hệ ngữ nghĩa đối lập với quan hệ đồng nghĩa trong nghiên cứu của Smith [122] vào năm 1867. Trái nghĩa là một quan hệ có mặt trong tất cả các ngôn ngữ, được xác lập trên cơ sở của sự liên hệ đối lập hay trái ngược nhau về nghĩa, nó vừa là biện pháp tổ chức của từ vựng, vừa là biện pháp tổ chức của tư duy [54].

Trong tiếng Việt, quan hệ đối lập này thường phải dựa trên thế tương liên toàn diện về nội dung và hình thức giữa các từ. Tương liên được hiểu là quan hệ hai chiều giữa hai thực thể trên một tiêu chí lô gích một thế lưỡng cực, lưỡng phân. Hai từ có nghĩa đối lập nhau nhưng không tương liên thì không phải là từ trái nghĩa [54].