Luận án tiến sĩ: Xác định quan hệ ngữ nghĩa của từ qua học máy thống kê

Luận án tiến sĩ nghiên cứu công nghệ thông tin tự động xác định quan hệ ngữ nghĩa của từ dựa trên học máy thống kê, phát triển phương pháp mới, đánh giá hiệu quả ứng dụng trong

Trường đại học

Đại học Quốc gia Hà Nội

Chuyên ngành

Khoa học máy tính

Người đăng

Ẩn danh

Thể loại

luận án tiến sĩ

2022

154
1
0

Phí lưu trữ

45 Point

Mục lục chi tiết

LỜI CAM ĐOAN

LỜI CẢM ƠN

TÓM TẮT

MỤC LỤC

1. CHƯƠNG 1: KIẾN THỨC CƠ SỞ VÀ CÁC NGHIÊN CỨU LIÊN QUAN

1.1. Một số khái niệm cơ bản về từ

1.2. Ngữ nghĩa từ vựng

1.3. Quan hệ ngữ nghĩa giữa các từ

1.4. Một số giả thuyết ngữ nghĩa cơ bản

1.5. Mô hình ngữ nghĩa phân phối

1.6. Mô hình nhúng từ

1.6.1. Lịch sử của các mô hình nhúng từ

1.6.2. Một số mô hình nhúng từ tổng quát

1.6.3. Một số mô hình nhúng từ chuyên biệt

1.6.4. Một số mô hình nhúng từ theo ngữ cảnh

1.7. Mạng nơ-ron hồi quy

1.8. Quan hệ bao thuộc

1.8.1. Một số nghiên cứu liên quan

1.9. Quan hệ đồng nghĩa - trái nghĩa

1.9.1. Một số nghiên cứu liên quan

1.10. Đo lường độ tương tự ngữ nghĩa giữa các từ

1.10.1. Một số nghiên cứu liên quan

1.11. Tóm tắt chương

2. CHƯƠNG 2: XÁC ĐỊNH QUAN HỆ BAO THUỘC DỰA TRÊN MÔ HÌNH NHÚNG TỪ CHUYÊN BIỆT

2.1. Phân tích hạn chế của mô hình DWN

2.2. Đề xuất mô hình LERC

2.2.1. Mô hình DWN cải tiến

2.2.2. Tích hợp đặc trưng ngữ nghĩa mức dưới từ

2.2.3. Mô hình phân lớp quan hệ bao thuộc có giám sát

2.2.4. Phân tích ưu nhược điểm và tính mới của mô hình

2.3. Xây dựng bộ dữ liệu tiếng Việt DtVLE-999, DrVLE-999, DetVLE-999

2.3.1. Lựa chọn các cặp từ ứng viên

2.3.2. Đánh giá dữ liệu

2.3.3. Thống kê dữ liệu

2.4. Bộ dữ liệu đánh giá

2.5. Huấn luyện các mô hình nhúng từ

2.6. Đánh giá mô hình

2.7. Phân tích thống kê

2.8. Tóm tắt chương

3. CHƯƠNG 3: PHÂN TÁCH QUAN HỆ ĐỒNG NGHĨA - TRÁI NGHĨA DỰA TRÊN NGỮ CẢNH ĐỒNG HIỆN VÀ MẪU CẤU TRÚC TỪ

3.1. Các mẫu cấu trúc từ tiếng Việt

3.1.1. Mẫu cấu trúc từ trái nghĩa

3.1.2. Mẫu cấu trúc từ đồng nghĩa

3.2. Đề xuất mô hình DVASNet

3.2.1. Các đặc trưng tĩnh

3.2.2. Mô hình DVASNet

3.3. Xây dựng bộ dữ liệu ASC tiếng Việt

3.4. Cài đặt thực nghiệm

4. CHƯƠNG 4: ĐO LƯỜNG ĐỘ TƯƠNG TỰ NGỮ NGHĨA CỦA CẶP TỪ

4.1. Đề xuất độ đo tương tự

4.1.1. Độ đo tương tự ExtLeskSim

4.1.2. Kỹ thuật GraphSim

4.2. Xây dựng bộ dữ liệu tiếng Việt

4.2.1. Dịch bộ dữ liệu SimLex-999 sang tiếng Việt

4.2.2. Đánh giá độ tương tự của cặp từ

4.2.3. Một số thống kê trên bộ dữ liệu

4.3. Thực nghiệm với mô hình ExtLeskSim

4.4. Thực nghiệm với mô hình GraphSim

4.5. Tóm tắt chương

KẾT LUẬN

DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC

TÀI LIỆU THAM KHẢO

DANH MỤC CÁC TỪ VIẾT TẮT

DANH MỤC CÁC BẢNG

DANH MỤC CÁC HÌNH VẼ

Tóm tắt

I. Giới thiệu về quan hệ ngữ nghĩa

Trong lĩnh vực công nghệ thông tin, việc xác định quan hệ ngữ nghĩa giữa các từ là một nhiệm vụ quan trọng trong xử lý ngôn ngữ tự nhiên (NLP). Nghiên cứu này tập trung vào việc áp dụng các phương pháp học máy để tự động xác định các loại quan hệ ngữ nghĩa như quan hệ đồng nghĩa, trái nghĩa và bao thuộc. Các mô hình hiện tại thường gặp khó khăn trong việc xử lý các bài toán có ít dữ liệu hoặc dữ liệu có nhiễu. Do đó, việc phát triển các mô hình mới có khả năng học từ các tập dữ liệu lớn là cần thiết. Nghiên cứu này không chỉ giúp cải thiện độ chính xác trong việc xác định quan hệ ngữ nghĩa mà còn mở ra hướng đi mới cho các ứng dụng trong công nghệ thông tin.

1.1. Tầm quan trọng của việc xác định quan hệ ngữ nghĩa

Việc xác định quan hệ ngữ nghĩa giữa các từ có vai trò quan trọng trong nhiều ứng dụng của xử lý ngôn ngữ tự nhiên. Các hệ thống như dịch máy, tìm kiếm thông tin và phân tích cảm xúc đều cần đến khả năng hiểu biết về ngữ nghĩa. Các mô hình học máy hiện đại, đặc biệt là các mô hình dựa trên mạng nơ-ron, đã cho thấy hiệu quả cao trong việc xử lý các bài toán này. Tuy nhiên, việc áp dụng các mô hình này vào ngôn ngữ tiếng Việt vẫn còn nhiều thách thức do sự phức tạp của ngữ nghĩa và cấu trúc ngữ pháp. Do đó, nghiên cứu này nhằm mục tiêu phát triển các phương pháp mới để cải thiện khả năng xác định quan hệ ngữ nghĩa trong tiếng Việt.

II. Các phương pháp xác định quan hệ ngữ nghĩa

Nghiên cứu này đề xuất hai tiếp cận chính trong việc xác định quan hệ ngữ nghĩa: tiếp cận mẫu từ vựng - cú pháp và tiếp cận phân phối. Tiếp cận mẫu từ vựng - cú pháp sử dụng các mẫu đồng xuất hiện để xác định quan hệ giữa các từ. Ngược lại, tiếp cận phân phối không yêu cầu các từ cần xác định phải đồng xuất hiện trong kho ngữ liệu. Các phương pháp này được phân thành hai nhóm: không giám sát và có giám sát. Các mô hình không giám sát thường sử dụng biểu diễn từ bằng vector, trong khi các mô hình có giám sát sử dụng mạng nơ-ron để phân lớp các quan hệ. Việc áp dụng các mô hình này vào bài toán xác định quan hệ ngữ nghĩa sẽ giúp nâng cao hiệu quả và độ chính xác của các hệ thống NLP.

2.1. Tiếp cận mẫu từ vựng cú pháp

Tiếp cận mẫu từ vựng - cú pháp, còn được gọi là tiếp cận đường dẫn, sử dụng các mẫu từ vựng - cú pháp để đoán nhận quan hệ ngữ nghĩa. Các mẫu này được xây dựng dựa trên sự đồng xuất hiện của các từ trong kho ngữ liệu. Phương pháp này cho phép xác định quan hệ giữa các từ dựa trên ngữ cảnh mà chúng xuất hiện. Tuy nhiên, một trong những hạn chế của phương pháp này là nó yêu cầu một lượng lớn dữ liệu để xây dựng các mẫu chính xác. Do đó, việc phát triển các mô hình có khả năng học từ dữ liệu ít hơn là cần thiết để cải thiện hiệu quả của phương pháp này.

III. Kết quả thực nghiệm và đánh giá

Nghiên cứu đã thực hiện các thí nghiệm trên nhiều bộ dữ liệu khác nhau để đánh giá hiệu năng của các mô hình được đề xuất. Kết quả cho thấy các mô hình học máy có giám sát đạt được hiệu suất cao hơn so với các mô hình trước đây. Đặc biệt, mô hình DVASNet cho bài toán phân tách quan hệ đồng nghĩa và trái nghĩa đã chứng minh được khả năng vượt trội với độ chính xác cao hơn từ 14% đến 17% so với các mô hình cơ sở. Các bộ dữ liệu được xây dựng trong nghiên cứu này cũng đã được công bố để cộng đồng nghiên cứu có thể sử dụng và phát triển thêm.

3.1. Đánh giá mô hình DVASNet

Mô hình DVASNet đã được đánh giá trên nhiều bộ dữ liệu chuẩn tiếng Việt và cho thấy hiệu năng vượt trội trong việc phân loại các cặp từ theo quan hệ đồng nghĩa và trái nghĩa. Kết quả thực nghiệm cho thấy mô hình này không chỉ khai thác thông tin ngữ nghĩa phân phối mà còn có khả năng khai thác thông tin ngữ cảnh đồng xuất hiện của cặp từ. Điều này cho phép mô hình nắm bắt được các đặc trưng riêng của tiếng Việt, từ đó nâng cao độ chính xác trong việc xác định quan hệ ngữ nghĩa. Các kết quả này khẳng định giá trị thực tiễn của nghiên cứu trong việc phát triển các ứng dụng NLP cho tiếng Việt.

07/02/2025
Luận án tiến sĩ công nghệ thông tin tự động xác định quan hệ ngữ nghĩa của từ dựa trên học máy thống kê

Trích đoạn nội dung tài liệu

Mở đầu, Mục 1.1 trình bày một số khái niệm cơ bản về từ và ngữ nghĩa của từ, một số giả thuyết ngữ nghĩa cơ bản. Luận án cũng giới thiệu về hai mô hình biểu diễn ngữ nghĩa bằng không gian vector gồm mô hình ngữ nghĩa phân phối và mô hình nhúng từ (Mục 1. Bên cạnh đó, chương này cũng trình bày tổng quan, phân tích đánh giá các công trình nghiên cứu liên quan và đưa ra các vấn đề còn tồn tại mà luận án sẽ giải quyết về ba bài toán gồm zác định quan hệ bao thuộc (Mục 1.4), phân tách quan hệ đồng nghĩa - trái nghĩa (Mục 1.5), và đo lường độ tương tu ngữ nghĩa của cap từ (Mục 1.1 Một số khái niệm cơ bản về từ 1.1 Hình vị Hình vị (Morpheme) hay từ fố, ngỡ tố là đơn vị nhỏ nhất có nghĩa của ngôn ngữ, chúng tồn tại bằng cách lặp đi lặp lại dưới cùng một dạng hoặc dưới dạng tương đối giống nhau trong các từ [150]. Hình vị có thể đứng riêng một mình hay bị lệ thuộc.

Ví dụ: Một số hình vị tiếng Anh: house, man, black, sleep, walk, v.v Một số hình vị tiếng Việt: nhà, người, đẹp, tốt, đi, làm, v.v Tiếng Việt là một ngôn ngữ đơn lập (hay còn gọi là ngôn ngữ cách thể) nên một hình vị là một fiếng hay một chữ. Kiến thúc cơ sở tà các nghiên cứu liên quan 9 1.2 Tw và nghĩa của từ Từ là đơn vị cơ bản của ngôn ngữ, có thể dé dàng tách khỏi chuỗi âm thanh lời nói, có cấu trúc hình thức chặt chẽ, có nội dung ý nghĩa hoàn chỉnh và được sử dụng như là những vật liệu có săn để tạo ra những đơn vị thông báo. Từ có thể làm tên gọi của sự vật (danh từ), chỉ các hoạt động (động từ), trạng thái, tính chất (tính từ), v. Từ là công cụ biểu thị khái niệm của con người đối với hiện thực.

Trong tiếng Việt, ngoài các từ đơn còn có các đơn vị có tính chất và chức năng như từ, chúng được gọi là những đơn ui tương đương từ như: từ phức (hạnh phúc, xanh ri, v.v), thuật ngữ (OSI, ozit bazơ, cây cân bang, v.v), quán ngữ (vui như tết, buồn như trấu căn, khôn nhà dại chợ, v.v), thành ngữ (bút Nam Tào, dao thay thuốc; nếm mật nam gai; hoc thay không tàu học ban, v. Trong phạm vi của dé tài, luận án chỉ nghiên cứu một số quan hệ ngữ nghĩa của từ đơn, từ phức và thuật ngữ (sau đây gọi chung là từ). Trong ngữ nghĩa học từ vựng, nghia (Meaning) và nghĩa thành phan (Sense) của từ là hai khái niệm cơ bản. Theo Nguyễn Thiện Giáp [32], nghĩa thành phần của từ là cái sở biểu của từ; Nghia của từ là mối quan hệ giữa năng biểu và sở biểu, nó là quan hệ của từ với cái gì đó nằm ngoài bản thân nó.

Nghĩa của từ là một hiện tượng phức tạp, bao gồm một số thành tố đơn giản hơn như nghĩa sở biểu, nghĩa sở thị, nghĩa sở chỉ, nghĩa sở dụng, nghĩa ngữ pháp [32]. Một từ có thể có một hoặc nhiều nghĩa thành phần, nói cách khác, nghĩa thành phần là sự thể hiện rời rac về nghĩa của từ. Ví dụ, một số nghĩa thành phan của từ di được liệt kê trong WordNet tiếng Việt như sau: — Địi: làm cho thú gi đó di qua hay đưa đến nơi nào đó, ví dụ: "đi dâu điện ra sau ? tu". — Dig: di hay di qua một quãng đường, ví du: "chiếc xe này có thể di được 150 ki 16 mét mét gid".

— Dis: (tàu xe) có trang thái nào đó khi lái, ví du: "ze di rất tốt". — Dig: đi trên, di doc theo hoặc di qua, ví dụ: "di trên các xa lộ ở California". — Dis: ngồi trên lưng một con vat, thường trong khi điều khiển chuyển động của nó, ví dụ: "Tôi còn thấu cảnh day té di ngựa như các hoàng tử". Kiến thúc cơ sở tà các nghiên cứu liên quan 10 1.3 Ngữ nghĩa từ vựng Ngữ nghĩa hoc (Semantics) là lĩnh vực nghiên cứu về cách mà ngôn ngữ được sử dụng để biểu đạt ý nghĩa của các thành phần ngôn ngữ.

Nói cách khác, ngữ nghĩa học nhằm mục đích giải thích cách thức các nghĩa đen được mã hóa và giải mã bằng ngôn ngữ bởi người nói và người nghe. Ngữ nghĩa học từ vựng (Lexical Semantics) là lĩnh vực nghiên cứu nghĩa của hình vị, từ và các mối quan hệ ngữ nghĩa giữa chúng, cũng như cách thức mà nghĩa của từ liên quan đến cấu trúc và ngữ pháp [125].1 cho thấy rằng ngữ nghĩa học từ vựng là các nghiên cứu thuộc tầng cơ bản và cốt lõi nhất trong lĩnh vực ngữ nghĩa học, cũng như đóng vai trò quan trọng đối với các bài toán xử lý ngôn ngữ tự nhiên. Tầng ngữ nghĩa từ vựng (Lexical Semantics) Tang ngữ nghĩa hợp thành ¬.^ (Compositional Semantics) CÔ NghữãeñAcậu "`.1 : Kiến trúc các tầng ngữ nghĩa.4 Quan hệ ngữ nghĩa giữa các từ Quan hệ ngữ nghĩa giữa các từ là chủ đề nghiên cứu được quan tâm trong nhiều lĩnh vực như triết học, tâm lý học nhận thức, và khoa học máy tính. Các quan hệ ngữ nghĩa của từ đóng một vai trò thiết yếu trong ngữ nghĩa học từ vựng và được ứng dụng ở nhiều cấp độ trong các tác vụ hiểu và sinh ngôn ngữ.

Các quan hệ ngữ nghĩa giữa các từ cũng là yếu tố trung tâm trong việc tổ chức các cơ sở tri thức ngữ nghĩa từ vựng [17]. Có nhiều loại quan hệ ngữ nghĩa giữa các từ, tuy nhiên trong phạm vi nghiên cứu của luận án này, luận án chỉ nghiên cứu về bốn quan hệ ngữ nghĩa cơ bản gồm: bao thuộc, đồng nghĩa, tương đồng ngữ nghĩa, trái nghĩa. Kiến thúc cơ sở tà các nghiên cứu liên quan 11 1.1 Quan hệ liên quan ngữ nghĩa Khái niệm quan hệ liên quan ngữ nghĩa (Semantic Relatedness) trong ngôn ngữ học tính toán tương ứng với khái niệm tương tự thuộc tính (Attributional Similarity) trong khoa học nhận thức. Hai từ được gọi là có liên quan ngữ nghĩa nếu giữa chúng tồn tại bất kỳ một loại quan hệ ngữ nghĩa nào.

Quan hệ liên quan ngữ nghĩa được đặc trưng bởi các từ thường xuyên xuất hiện cùng nhau trong một số ngữ cảnh, có liên quan về thời gian, không gian, ví dụ như sting - bắn, bóng đá - cầu thủ, v.v loại quan hệ nay còn được gọi là quan hệ liên kết ngữ nghĩa (Semantically Association). Mức độ liên quan ngữ nghĩa của hai từ tỷ lệ với mức độ chia sẻ các thuộc tính ngữ nghĩa giữa chúng [128].2 Quan hệ tương tự ngữ nghĩa Trong lĩnh vực ngôn ngữ học tính toán, quan hệ tương tự ngữ nghĩa (Semantic Similarity) hay tương đồng phân loại (Taxonomic Similarity) dùng để chỉ các từ có sự tương đồng với nhau về loại hoặc chức năng. Resnik [110] cho rằng hai từ tương tự nhau về ngữ nghĩa nếu chúng có chung một từ bao. Ví dụ từ ô£ô và zeđạp có chung từ bao là re.

Quan hệ tương tự ngữ nghĩa là trường hợp đặc biệt của quan hệ liên quan ngữ nghĩa. Theo Navigli và Martelli [87], quan hệ tương tự ngữ nghĩa được đặc trưng bởi khả năng các từ có thể được dùng thay thế cho nhau trong một số ngữ cảnh nhất định mà không thay đổi đáng kể ngữ nghĩa cơ bản của câu. Xác định mức độ tương tự ngữ nghĩa giữa hai từ là phép đo thống kê mức độ chia sẻ các thuộc tính ngữ nghĩa giữa chúng. Phép đo này có ích trong một miền rất rộng các ứng dụng của lĩnh vực NLP.

Mặc dù một số phương pháp do đã được đề xuất để giải quyết bài toán này. Tuy nhiên, cho đến hiện tại, việc tính toán chính xác độ tương tự ngữ nghĩa giữa các từ vẫn còn là một thách thức lớn.3 QQuan hệ bao thuộc Quan hệ bao thuộc (Hypernymy) là một quan hệ ngữ nghĩa bất đối xứng giữa một tu bao (Hypernym) với một tv thuộc (hyponym), ví dụ thuật toán là một từ bao của lan truyêền ngược, ze đạp điện là một từ thuộc của zeđạp. Quan hệ bao thuộc còn được gọi là quan hệ Ia mot (IS-A) [71, 137], quan hệ kế thừa từ vung (Lexical Entailment) [7, 7, 18, 130], hoặc quan hệ phân loại (Taxonomic Relation) [71]. Kiến thúc cơ sở tà các nghiên cứu liên quan 12 1.4 Quan hệ đồng nghĩa Quan hệ đồng nghĩa (Synonymy) là quan hệ ngữ nghĩa giữa hai từ có nghĩa giống nhau, chúng có thể được dùng thay thế cho nhau trong một số ngữ cảnh mà không làm nghĩa của câu thay đổi [S6].

Ví dụ, do khán. giả và người em là hai từ đồng nghĩa nên hai câu sau đây tương đồng với nhau về nghĩa: - "Phim có nhiều đoạn khiến khán gid bị ngắt mạch cảm xúc bởi mảng miếng hài đan xen”. - "Phim có nhiều đoạn khiến người zem bị ngắt mạch cảm xúc bởi mảng miếng hài đan xen". Mặc dù tương đồng với nhau về nghĩa nhưng các từ đồng nghĩa khác nhau về âm thanh và có phân biệt với nhau về một vài sắc thái ngữ nghĩa hoặc sắc thái phong cách nào đó, hoặc đồng thời cả hai.5 Quan hệ trái nghĩa Quan hệ trái nghĩa (Antonymy) là quan hệ giữa các từ đối lập với nhau về nghĩa [72].

Quan hệ trái nghĩa lần đầu tiên được đề cập đến như một quan hệ ngữ nghĩa đối lập với quan hệ đồng nghĩa trong nghiên cứu của Smith [122] vào năm 1867. Trái nghĩa là một quan hệ có mặt trong tất cả các ngôn ngữ, được xác lập trên cơ sở của sự liên hệ đối lập hay trái ngược nhau về nghĩa, nó vừa là biện pháp tổ chức của từ vựng, vừa là biện pháp tổ chức của tư duy [54]. Trong tiếng Việt, quan hệ đối lập này thường phải dựa trên thế tương liên toàn diện về nội dung và hình thức giữa các từ. Tương liên được hiểu là quan hệ hai chiều giữa hai thực thể trên một tiêu chí lô gích một thế lưỡng cực, lưỡng phân.

Hai từ có nghĩa đối lập nhau nhưng không tương liên thì không phải là từ trái nghĩa [54]. Từ bat đôi lập với có, nhưng bất và có không phải là cặp từ trái nghĩa, mà bat trái nghĩa với hữu. Từ nhỏ đôi lập về nghĩa với các từ cd, cái, lớn, đại, mập, cô, uữđại nhưng bé chỉ trái nghĩa với lớn.5 Một số giả thuyết ngữ nghĩa cơ bản 1.1 Giả thuyết ngữ nghĩa thống kê Giả thuyết ngữ nghĩa thống kê (Statistical Semantics Hypothesis) được Weaver [139] đưa ra và sau đó được đề cập đến trong nghiên cứu của Furnas và cộng sự [28].

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Bài viết "Xác định quan hệ ngữ nghĩa từ bằng học máy thống kê trong công nghệ thông tin" khám phá cách mà học máy thống kê có thể được áp dụng để xác định mối quan hệ ngữ nghĩa giữa các từ trong lĩnh vực công nghệ thông tin. Tác giả trình bày các phương pháp và kỹ thuật hiện đại, giúp người đọc hiểu rõ hơn về cách thức mà ngữ nghĩa được phân tích và ứng dụng trong các hệ thống thông tin. Những kiến thức này không chỉ hữu ích cho các nhà nghiên cứu mà còn cho những ai quan tâm đến việc phát triển các ứng dụng ngôn ngữ tự nhiên.

Để mở rộng thêm kiến thức của bạn về các ứng dụng của học máy trong ngôn ngữ, bạn có thể tham khảo bài viết Luận văn thạc sĩ khoa học máy tính xây dựng hệ thống học sâu tự động thêm dấu cho tiếng việt, nơi trình bày về việc sử dụng học sâu để cải thiện việc xử lý ngôn ngữ tiếng Việt. Ngoài ra, bài viết Luận văn thạc sĩ nghiên cứu phân lớp tự động văn bản báo chí tiếng việt về tài nguyên và môi trường cũng sẽ cung cấp cho bạn cái nhìn sâu sắc về phân loại văn bản trong bối cảnh báo chí. Cuối cùng, bạn có thể tìm hiểu thêm về việc cải tiến thuật toán trong ngữ nghĩa qua bài viết Luận văn thạc sĩ cải tiến thuật toán gióng từ thông qua phân tích hình thái 01. Những tài liệu này sẽ giúp bạn có cái nhìn toàn diện hơn về ứng dụng của học máy trong ngôn ngữ và công nghệ thông tin.