Luận văn: Tính toán độ tương tự ngữ nghĩa văn bản (ĐH Công nghệ)

Luận văn thạc sĩ: Nghiên cứu tính toán độ tương tự ngữ nghĩa văn bản dựa trên độ tương tự giữa các từ. Giải pháp hiệu quả cho so sánh văn bản.

• Tác giả: Đỗ Thị Thanh Nga
• Người hướng dẫn: TS. Nguyễn Phương Thái
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Tính Toán Độ Tương Tự Ngữ Nghĩa Văn Bản Dựa Vào Độ Tương Tự Giữa Từ Với Từ
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2010
• Địa điểm: Hà Nội

Mục lục chi tiết

• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
• I. CHƢƠNG I: KHÁI NIỆM ĐỘ TƢƠNG TỰ
• I.1. Tổng quan về độ tƣơng tự
• I.2. Khái niệm độ tƣơng tự
• I.3. Định nghĩa độ tƣơng tự (Definition of Similarity)
• I.4. Độ tƣơng tự giữa các giá trị có thứ tự ƣu tiên (ordinal values)
• I.5. Độ tƣơng tự chuỗi (String Similarity-A case study)
• I.6. Độ tƣơng tự ngữ nghĩa
• II. CHƢƠNG II: ĐỘ TƢƠNG TỰ TỪ-TỪ
• II.1. Khái niệm từ, thuật ngữ
• II.2. Từ và cấu trúc từ của tiếng Việt
• II.2.1. Định nghĩa từ
• II.2.2. Cấu trúc từ của tiếng Việt
• II.3. Nghĩa của từ
• II.4. Từ đồng nghĩa
• II.5. Các cách tiếp cận xử lý tài liệu theo ngữ nghĩa
• II.5.1. Dựa trên trí tuệ nhân tạo (AI-based)
• II.5.2. Dựa trên Cơ sở tri thức (Knowledge-based)
• II.5.3. Dựa trên ngữ liệu (Corpus-based)
• II.6. Độ tƣơng tự ngữ nghĩa từ-từ dựa trên cơ sở tri thức (từ điển WordNet)
• II.6.1. Khái quát về từ điển WordNet
• II.6.2. Độ tƣơng tự từ-từ dựa trên từ điển WordNet
• II.7. Độ tƣơng tự ngữ nghĩa từ-từ dựa trên ngữ liệu
• II.7.1. Phƣơng pháp của Dekang Lin
• III. CHƢƠNG III: ĐỘ TƢƠNG TỰ VĂN BẢN-VĂN BẢN
• III.1. Xử lý văn bản tiếng Việt
• III.1.1. Một số kết quả đã đạt đƣợc
• III.1.2. Đặc trƣng của cấu trúc ngữ pháp tiếng Việt
• III.2. Tách từ trong văn bản tiếng Việt
• III.2.1. Các hƣớng tiếp cận tách từ
• III.2.1.1. Các hƣớng tiếp cận dựa trên “từ”
• III.2.1.2. Các hƣớng tiếp cận dựa trên ký tự
• III.2.2. Một số phƣơng pháp tách từ tiếng Việt hiện nay
• III.2.2.1. Phƣơng pháp Maximum Matching: Forward/Backward
• III.2.2.2. Phƣơng pháp Transformation-based Learning (TBL)
• III.2.2.3. Mô hình tách từ bằng WFST và mạng Neural
• III.2.2.3.1. Tầng mạng Neural
• III.2.3. Phƣơng pháp tách tách từ tiếng Việt dựa trên thống kê từ Internet và thuật giải di truyền
• III.2.3.1. GA Engine for Text Segmentation
• III.3. Độ tƣơng tự văn bản-văn bản
• IV. CHƢƠNG IV: TÍNH ĐỘ TƢƠNG TỰ NGỮ NGHĨA VĂN BẢN DỰA VÀO ĐỘ TƢƠNG TỰ GIỮA TỪ VỚI TỪ
• IV.1. Phát biểu bài toán
• IV.2. Giải quyết bài toán
• IV.2.1. Chuẩn bị dữ liệu
• IV.2.2. Tách từ: Tách văn bản thành các từ ghép và danh từ riêng
• IV.2.2.1. Tách từ ghép trong văn bản
• IV.2.2.2. Tách danh từ riêng trong văn bản
• IV.2.3. Tính toán độ tƣơng tự văn bản
• IV.3. Xây dựng hệ thống
• IV.3.1. Nhập trực tiếp 2 văn bản
• IV.3.2. Nhập 2 văn bản từ file
• IV.3.3. Lấy nội dung 2 văn bản từ URL
• IV.4. Kết quả thử nghiệm và đánh giá
• IV.4.1. Một số ví dụ cụ thể
• IV.4.2. Kết quả thử nghiệm
• IV.4.2.1. Cách tiến hành
• IV.4.2.2. Kết quả thử nghiệm
• HƢỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Độ Tương Tự Ngữ Nghĩa Văn Bản Luận Văn Thạc Sĩ

Trong kỷ nguyên số, nguồn tài liệu vô cùng phong phú. Sao chép tài liệu, đạo văn, sao chép luận án, luận văn trở thành vấn nạn. Thư viện điện tử ngày càng nhiều, một tài liệu có thể xuất hiện trên nhiều thư viện, nhiều trang web. Làm sao để phát hiện sao chép? Làm sao ngăn chặn đạo văn, đạo nhạc, đạo luận văn? Đề tài này đã được nghiên cứu hơn 10 năm qua. Hiện có một số giải pháp phát hiện sao chép, công cụ phần mềm cho phép phát hiện văn bản kiểm tra có sao chép từ tài liệu nguồn hay không. Các phương pháp chủ yếu dựa trên tìm kiếm và so khớp chuỗi. Tuy nhiên, so khớp chuỗi chỉ hiệu quả nếu sao chép nguyên văn. Yêu cầu cấp bách là phát hiện sao chép khi có sửa đổi, thay thế từ đồng nghĩa, thay đổi thứ tự câu. Vì vậy, đề tài “Tính toán độ tương tự ngữ nghĩa văn bản dựa vào độ tương tự giữa từ với từ” được chọn làm đề tài luận văn. Mục tiêu là vận dụng các phương pháp tính độ tương tự giữa từ với từ để tính độ tương đồng ngữ nghĩa giữa hai văn bản, giúp phát hiện một văn bản có được sao chép từ văn bản kia hay không. Luận văn tập trung vào tính độ tương tự ngữ nghĩa văn bản dựa trên tập ngữ liệu có sẵn, tận dụng tối đa đặc điểm của kho ngữ liệu, độ tương tự giữa từ với từ và tập các từ đồng nghĩa. Nghiên cứu lý thuyết về độ tương tự, cách tính độ tương tự giữa từ với từ. Nghiên cứu về kho ngữ liệu, hiện tượng từ đồng nghĩa. Tìm hiểu các cách tách từ trong văn bản tiếng Việt. Nghiên cứu các phương pháp tính độ tương tự ngữ nghĩa văn bản dựa trên độ tương tự giữa từ với từ. Luận văn gồm 4 chương: Khái niệm độ tương tự, độ tương tự từ-từ, độ tương tự văn bản-văn bản, và tính độ tương tự ngữ nghĩa văn bản dựa vào độ tương tự giữa từ với từ.

1.1. Các Phương Pháp Tiếp Cận Độ Tương Tự Ngữ Nghĩa Hiện Nay

Nghiên cứu "sự tương tự" (thường ở dạng đối ngẫu là "khoảng cách") thuộc phạm vi toán học, chẳng hạn trong lý thuyết tôpô và xấp xỉ; nhưng trong khoa học máy tính và các ứng dụng máy tính có phần khác. Trong khoa học máy tính, phép tính xấp xỉ thường được sử dụng theo một lối không có tính hệ thống và không theo thể thức. Trong ngữ cảnh này, khái niệm "sự tương tự" xuất hiện ở nhiều dạng, diễn xuất, và nhiều ứng dụng. Khái niệm "sự tương tự" có nhiều dạng khác nhau. Bất chấp những khác biệt, chúng đều có điểm chung: "sự tương tự" được sử dụng để so sánh hai (hay nhiều) đối tượng, hai hoàn cảnh, hai vấn đề, v.v… với nhiều nguyên do khác nhau. Luôn có mục đích nào đó với một phép so sánh như thế, bởi vì một hành động tiếp sau đó được thực hiện và cuối cùng thì một vấn đề nào đó phải được giải quyết. Vì lý do đó, hai đối tượng được đem so sánh giữ những vai trò khác nhau. Đối tượng thứ nhất đang được xem xét và được gọi là vấn đề. Đối tượng thứ hai là đã biết và đã lưu; thường được gọi là bản mẫu (prototype) hay tình huống (case).

1.2. Ứng Dụng Độ Tương Tự Trong Các Lĩnh Vực Khoa Học Máy Tính

Lập luận dựa theo tình huống (CBR) là một cách rất tổng quát để giải quyết vấn đề bằng cách sử dụng các kinh nghiệm trước đó. Những kinh nghiệm này được ghi lại trong một cơ sở dữ liệu gọi là kho tình huống. Ý tưởng bên dưới nhằm tái sử dụng những kinh nghiệm là: “Nếu hai vấn đề là tương tự thì chúng có các giải pháp tương tự”. CBR cũng có một giả định cơ bản là luôn tồn tại kinh nghiệm. Với điều kiện này, CBR có thể được áp dụng cho hầu hết các dạng ứng dụng. Thường thì có rất nhiều kinh nghiệm được lưu trữ và một khía cạnh thiết yếu là nhanh chóng tìm ra những kinh nghiệm hữu ích (bài toán thu hồi). Trong cơ sở dữ liệu (Databases), “sự tương tự” cũng có liên quan với tìm kiếm, và có quan hệ nào đó với CBR. Đa phần cơ sở dữ liệu cần so trùng chính xác. Các phép đo độ tương tự giữ một vai trò trong một số cơ sở dữ liệu đặc biệt như cơ sở dữ liệu không gian (spatial database) hay cơ sở dữ liệu địa lý (geo- database). Nhận dạng mẫu (Pattern Recognition) cũng là một vấn đề rất tổng quát, nghiên cứu sự vận hành và thiết kế các hệ thống nhận dạng các mẫu trong dữ liệu.

II. Thách Thức Tính Toán Độ Tương Tự Ngữ Nghĩa Luận Văn

Độ tương tự là một khái niệm quan trọng và đã được sử dụng rộng rãi. Các định nghĩa trước đây về độ tương tự bị trói buộc trong một ứng dụng cụ thể hoặc một dạng thể hiện của tri thức. Nhiều độ đo độ tương tự đã được đưa ra, chẳng hạn như nội dung thông tin, độ đo thông tin chung, độ đo dựa trên khoảng cách và mô hình đặc trưng tương phản. McGill đã khảo sát và so sánh 67 độ đo độ tương tự đã sử dụng trong tìm kiếm thông tin. Một vấn đề trong độ đo độ tương tự trước đây là mỗi một trong số chúng bị trói buộc trong một ứng dụng cụ thể hoặc đảm đương một mô hình cụ thể. Ví dụ độ đo về độ tương tự giữa các khái niệm dựa trên khoảng cách thừa nhận rằng phạm vi được thể hiện trong một mạng. Nếu một tập các tài liệu không được thể hiện như một mạng, độ đo dựa trên khoảng cách sẽ không được áp dụng. Hệ số dice (súc sắc) và hệ số cosin chỉ có thể được áp dụng khi các đối tượng được thể hiện như các vecto đặc trưng bằng số. Một vấn đề khác với các độ đo độ tương tự trước đây là các điều giả định cơ bản của chúng thường không ở trạng thái rõ ràng.

2.1. Định Nghĩa Chính Thức Về Độ Tương Tự Ngữ Nghĩa Văn Bản

Mục đích là cung cấp định nghĩa chính thức về khái niệm độ tương tự, đầu tiên đưa ra các trực giác về độ tương tự. Trực giác 1: Độ tương tự giữa A và B có liên quan tới sự tương đồng của chúng. Sự tương đồng càng nhiều, độ tương tự càng lớn. Trực giác 2: Độ tương tự giữa A và B có liên quan tới những sự khác biệt giữa chúng. Càng nhiều sự khác biệt, độ tương tự càng thấp. Trực giác 3: Độ tương tự lớn nhất giữa A và B đạt được khi A và B giống hệt nhau (đồng nhất - identical). Rất nhiều các đặc trưng có các giá trị ưu tiên. Ví dụ, thuộc tính “chất lượng” có thể mang một trong các giá trị sau: “excellent”, “good”, “average”, “bad”, “awful”.

2.2. Độ Tương Tự Chuỗi Và Ứng Dụng Thực Tế

Xem xét công việc tìm kiếm từ một danh sách từ các từ mà được xuất phát từ cùng một gốc như là một từ cho sẵn. Ví dụ, cho trước từ “eloquently”, mục đích của chúng ta là để tìm ra các từ liên quan khác như “ineloquent”, “ineloquently”, “eloquent” và “eloquence”. Để làm điều đó, ta có thể định nghĩa độ đo tương tự giữa hai chuỗi và xếp hạng các từ trong danh sách từ theo thứ tự giảm dần của độ tương tự với từ cho sẵn. Những từ xuất phát từ cùng một từ gốc nên xuất hiện sớm trong bảng xếp hạng. Tiến hành thử nghiệm với 3 độ đo sau: Độ tương tự ngữ nghĩa là một khái niệm ở đó tập các tài liệu hoặc các thuật ngữ trong một danh sách các thuật ngữ được gán một tỷ lệ dựa trên sự giống nhau về nội dung ý nghĩa của chúng. Độ đo độ tương tự ngữ nghĩa gần đây được áp dụng và phát triển trong rất nhiều lĩnh vực như trong y học (so sánh các gen), trong phân lớp văn bản (các văn bản tương tự nhau thì cùng thuộc một lớp),… Mỗi lĩnh vực khác nhau có các cách để tính độ tương tự ngữ nghĩa khác nhau.

III. Phương Pháp Tính Độ Tương Tự Từ Từ Để So Sánh Văn Bản

Khái niệm từ nghe rất thông dụng dễ hiểu nhưng định nghĩa chính xác thế nào thì không đơn giản. Từ trước tới nay cũng có nhiều định nghĩa được đưa ra, tất cả đều đúng nhưng chưa hoàn chỉnh. Dưới đây, nêu ra một số định nghĩa về từ. Thời Hy Lạp cổ đại, trường phái ngôn ngữ Alexandre định nghĩa: “Từ là đơn vị nhỏ nhất trong chuỗi lời nói”. Sapir: “Từ là một đoạn nhỏ nhất có ý nghĩa, hoàn toàn có khả năng độc lập và bản thân có thể làm thành câu tối giản”. Còn với những nhà ngôn ngữ học tiếng Việt, thì theo Lê Văn Lý: “Từ là một tín hiệu ngữ âm có thể cấu tạo bằng một âm vị hay sự kết hợp với âm vị, mà sự phát âm chỉ tiến hành trong một lần, hoặc là một âm tiết mà chữ viết biểu thị bằng một đơn vị tách rời có thể hiểu được”. Theo Nguyễn Kim Thản thì “Từ là đơn vị cơ bản của ngôn ngữ, có thể tách khỏi các đơn vị khác của lời nói để vận dụng một cách độc lập và là một khối hoàn chỉnh về mặt ý nghĩa và cấu tạo”. Quan niệm của ông về “đơn vị cơ bản” là những đơn vị có số lượng hữu hạn để thông báo, trao đổi tư tưởng cho nhau.

3.1. Xử Lý Ngữ Nghĩa Văn Bản Dựa Trên Trí Tuệ Nhân Tạo AI

Trong xử lý ngôn ngữ tự nhiên, bài toán gán nhãn ngữ nghĩa hay còn gọi là “khử sự nhập nhằng ngữ nghĩa của từ” là bài toán khó khăn nhất và cũng là bài toán trọng tâm mà đến nay trên thế giới vẫn chưa giải quyết ổn thỏa. Hiện nay, có rất nhiều mô hình với nhiều hướng tiếp cận khác nhau, chủ yếu là: Đây là cách tiếp cận sớm nhất (1960) với những lý thuyết rất hay về mạng ngữ nghĩa, khung ngữ nghĩa và các ý niệm nguyên thủy và các quan hệ như IS-A, PART- OF…Tuy nhiên, do hầu hết các tri thức về ngữ nghĩa trong cách tiếp cận này đều được xây dựng bằng tay, vì vậy các mô hình đều dừng lại ở mức độ biểu diễn trên một vài câu. Vấn đề khó khăn của cách tiếp cận này là thiếu tri thức.

3.2. Tiếp Cận Ngữ Nghĩa Văn Bản Dựa Trên Cơ Sở Tri Thức Knowledge

Vào đầu thập niên 80, người ta đã chuyển sang hướng khai thác tri thức tự động từ các từ điển điện tử (MRD: Machine – Readable Dictionaries) như các từ điển đồng nghĩa…để có thể phần nào khắc phục hạn chế của hướng tiếp cận dựa trên trí tuệ nhân tạo (thiếu tri thức). Kết quả của hướng tiếp cận này là sự ra đời của mạng WordNet – Một cơ sở tri thức khổng lồ về ngữ nghĩa theo hướng liệt kê nét nghĩa. Tuy nhiên, các cơ sở tri thức nói trên cũng chỉ là những nguồn thông tin để hệ thống chọn nghĩa tham khảo, còn chọn thông tin nào trong số những thông tin có liên quan đó thì ta phải tự xác định trong từng trường hợp cụ thể.

3.3. Độ Tương Tự Từ Từ Dựa Trên Từ Điển WordNet Ưu Điểm

Wordnet là một cơ sở dữ liệu tri thức từ vựng học được thiết kế dựa trên những lý thuyết về ngôn ngữ tâm lý theo cách liên tưởng từ ngữ của con người. WordNet được tổ chức dựa theo các quan hệ ngữ nghĩa bởi vì một quan hệ ngữ nghĩa là một quan hệ giữa các nghĩa và các nghĩa có thể được đại diện bởi nhiều synset. Và chúng ta có thể xem những quan hệ ngữ nghĩa như là những con trỏ giữa các synset. Đó là đặc tính của quan hệ ngữ nghĩa và chúng có tác động qua lại với nhau. Một từ bất kỳ có thể có nhiều nghĩa (word meaning) và khi đó mỗi nghĩa của nó sẽ thuộc vào những tập đồng nghĩa khác nhau.

IV. Xử Lý Văn Bản Tiếng Việt Để Tính Tương Tự Thạc Sĩ

Tiếng nói và chữ viết là hai yếu tố cơ bản nhất của bất kỳ ngôn ngữ nào. Trong sự phát triển của công nghệ thông tin (CNTT) ở Việt Nam, một số việc liên quan đến “tiếng Việt” đã được làm và ít nhiều có kết quả ban đầu: (a) Trước hết là các bộ gõ chữ Việt và thành công của việc đưa được bộ mã chữ Việt vào bảng mã Unicode, cũng như việc chọn Unicode cho bộ mã chuẩn tiếng Việt (nhân đây cũng xin nói thêm, do chưa ý thức về chuẩn, rất nhiều cán bộ CNTT, nhiều cơ quan nhà nước vẫn chưa chịu đổi thói quen cũ để dùng bộ mã chuẩn Unicode, một việc rất quan trọng của xử lý tiếng Việt). Bảo tồn chữ Nôm trên máy tính cũng là một việc đầy nỗ lực và nhiều ý nghĩa được nhiều người theo đuổi lâu nay, cần được nhà nước tiếp tục ủng hộ lâu dài. (b) Tiếp theo có thể kể đến các chương trình nhận dạng chữ Việt in (OCR: optical character recognition), như hệ VnDOCR của Viện Công nghệ Thông tin, Viện Khoa học và Công nghệ Việt Nam.

4.1. Các Bài Toán Xử Lý Ngôn Ngữ Tự Nhiên Trong Tiếng Việt

Nhận dạng tiếng nói (speech recognition): từ sóng tiếng nói, nhận biết và chuyển chúng thành dữ liệu văn bản tương ứng. Tổng hợp tiếng nói (speech synthesis): từ dữ liệu văn bản, phân tích và chuyển thành tiếng người nói. Nhận dạng chữ viết (optical character recognition, OCR): từ một văn bản in trên giấy, nhận biết từng chữ cái và chuyển chúng thành một tệp văn bản trên máy tính. Dịch tự động (machine translation): từ một tệp dữ liệu văn bản trong một ngôn ngữ (tiếng Anh chẳng hạn), máy tính dịch và chuyển thành một tệp văn bản trong một ngôn ngữ khác (tiếng Việt chẳng hạn). Tìm kiếm thông tin (information retrieval): từ một nguồn rất nhiều tệp văn bản hay tiếng nói, tìm ra những tệp có nội dung liên quan đến một vấn đề (câu hỏi) ta cần biết (hay trả lời).

4.2. Đặc Trưng Cấu Trúc Ngữ Pháp Tiếng Việt Ảnh Hưởng Tới Xử Lý

Các đặc điểm trong câu của tiếng Việt: Câu được cấu tạo đa thành phần, có câu đơn, câu ghép, câu tối giản. Các câu được phân tách bằng các dấu chấm câu. Câu hoàn chỉnh có hoặc không sử dụng các trạng từ, từ cảm thán (các từ dừng sẽ được loại bỏ khi phân tách để lọc thông tin). Câu được hình thành từ các từ, hoặc các câu đơn. Mỗi câu mang một ý nghĩa thông tin hoàn chỉnh. Với các tài liệu tiếng Anh, các từ được phân cách nhau bởi dấu cách. Việc xử lý phân tách từ từ các văn bản tiếng Anh tương đối dễ dàng. Trong tiếng Việt không thể phân tách được thành những từ riêng bởi dấu cách. Vì từ có thể gồm một, hai hoặc nhiều hơn số lượng âm tiết (số lượng từ ghép). Vì thế, việc tách từ để chính xác đòi hỏi giải thuật tách từ tốt.

V. Đánh Giá Kết Quả Tính Tương Tự Ngữ Nghĩa Luận Văn Hay

Các độ đo độ tương tự văn bản đã được dùng từ rất lâu trong các ứng dụng của xử lý ngôn ngữ tự nhiên và các lĩnh vực liên quan. Một trong những ứng dụng sớm nhất của độ tương tự văn bản có lẽ là mô hình vecto trong tìm kiếm thông tin, ở đó tài liệu có liên quan nhất tới câu truy vấn đầu vào được xác định bằng cách xếp hạng các tài liệu trong tập theo thứ tự ngược của độ tương tự. Độ tương tự văn bản cũng được dùng cho phản hồi liên quan (relevance feedback), phân lớp văn bản, và gần đây hơn là cho trích chọn văn bản, và phương pháp cho việc đánh giá dịch máy tự động hay tóm tắt văn bản. Độ đo độ tương tự văn bản cũng được sử dụng cho việc đánh giá tính chặt chẽ của văn bản. Với một số trường hợp, phương pháp tự động tìm độ tương tự giữa hai đoạn văn bản là sử dụng việc so khớp từ đơn giản, và tạo ra một điểm tương tự dựa trên số đơn vị từ vựng xảy ra ở cả hai đoạn văn bản đầu vào.

5.1. Phương Pháp Kết Hợp Độ Tương Tự Từ Vựng Và Ngữ Nghĩa

Chúng ta xem xét một phương pháp đo độ tương tự ngữ nghĩa văn bản bằng cách khai thác thông tin có thể được tạo ra từ độ tương tự của các từ thành phần. Cho trước 2 đoạn văn bản, chúng ta muốn tự động nhận được một độ đo (score) chỉ tới độ tương tự của chúng ở mức độ ngữ nghĩa, do đó phương pháp so khớp từ truyền thống đã được dùng cho công việc này. Mặc dù chúng ta nhận ra sự thật là một phương pháp toàn diện về độ tương tự ngữ nghĩa văn bản cũng nên tính đến cả cấu trúc văn bản nhưng đầu tiên chúng ta cũng gác lại vấn đề này và thử mô hình độ tương tự ngữ nghĩa văn bản như là hàm của độ tương tự ngữ nghĩa của các từ thành phần.

5.2. Ứng Dụng IDF Trong Tính Độ Tương Tự Ngữ Nghĩa Văn Bản

Trong phần này, ta cũng tính đến cả đặc trưng của từ (idf) để đưa ra trọng số cao hơn cho việc nhận dạng sự phù hợp ngữ nghĩa của 2 từ riêng lẻ và đưa ra trọng số kém hơn cho các khái niệm chung chung. Trong khi đặc trưng của từ cũng được đo cho một vài lĩnh vực bằng độ sâu của chúng trong phân cấp ngữ nghĩa, chúng ta cũng đang tăng cường nhân tố này với độ đo đặc trưng từ trên tập corpus, dựa trên phân phối thông tin đã nghiên cứu từ một tập văn bản lớn. Đặc trưng của một từ được xác định dựa vào tần suất tài liệu đảo ngược (idf), được tính bằng tổng số tài liệu trong tập corpus chia cho tổng số tài liệu chứa từ đó.

VI. Phát Triển Độ Tương Tự Ngữ Nghĩa Văn Bản Hướng Nghiên Cứu

Luận văn trình bày một phương pháp tính độ tương tự ngữ nghĩa văn bản dựa vào độ tương tự giữa từ với từ. Phương pháp này kết hợp các kỹ thuật xử lý ngôn ngữ tự nhiên, kho ngữ liệu, và từ điển đồng nghĩa. Mặc dù có những hạn chế nhất định, phương pháp này có tiềm năng ứng dụng trong nhiều lĩnh vực, bao gồm phát hiện đạo văn, tìm kiếm thông tin, và phân tích sentiment. Hướng phát triển tiếp theo là cải thiện độ chính xác của phương pháp bằng cách sử dụng các mô hình ngôn ngữ tiên tiến hơn, chẳng hạn như mô hình ngôn ngữ transformer (ví dụ: BERT, Sentence Transformers).

6.1. Tương Lai Của Độ Tương Tự Ngữ Nghĩa Trong Xử Lý Ngôn Ngữ

Sự phát triển của độ tương tự ngữ nghĩa sẽ tiếp tục đóng vai trò quan trọng trong việc xây dựng các hệ thống xử lý ngôn ngữ tự nhiên thông minh hơn. Các hệ thống này có khả năng hiểu sâu sắc hơn ý nghĩa của văn bản và tương tác với con người một cách tự nhiên hơn. Ứng dụng của độ tương tự ngữ nghĩa trong tương lai sẽ bao gồm dịch máy tự động chính xác hơn, chatbot thông minh hơn, và hệ thống phân tích văn bản mạnh mẽ hơn.

6.2. Ứng Dụng Cụ Thể Hệ Thống Khuyến Nghị Nội Dung Tự Động

Một ứng dụng tiềm năng khác của độ tương tự ngữ nghĩa là trong việc xây dựng các hệ thống khuyến nghị nội dung tự động. Bằng cách so sánh độ tương tự giữa các bài viết, video, hoặc sản phẩm khác nhau, hệ thống có thể đề xuất nội dung phù hợp nhất với sở thích và nhu cầu của từng người dùng. Điều này có thể cải thiện đáng kể trải nghiệm người dùng và giúp họ khám phá nội dung mới một cách dễ dàng hơn.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Tính cấp thiết của đề tài Trong thời đại công nghệ số nhƣ hiện nay, các nguồn tài liệu là vô cùng phong phú. Việc “sao chép tài liệu” theo nghĩa tiêu cực nhƣ đạo văn, sao chép các luận án, luận văn, đồ án trở nên phổ biến và đang là vấn nạn. Ở qui mô rộng hơn, các thƣ viện điện tử ngày càng nhiều, một tài liệu có thể đƣợc phát hành trên internet nhiều lần trong những thƣ viện điện tử khác nhau, trên các trang web khác nhau.

Làm thế nào để phát hiện sự sao chép tài liệu theo nghĩa tiêu cực? Làm thế nào ngăn chặn việc sao chép trái phép, đạo văn, đạo nhạc, đạo luận văn, đồ án? Chủ đề này đã đƣợc nghiên cứu từ khoảng hơn 10 năm qua. Hiện tại, đã có một số giải pháp cho việc phát hiện sao chép và một vài công cụ phần mềm cho phép phát hiện một tài liệu (gọi là văn bản kiểm tra) có sao chép từ một tập hợp các tài liệu nguồn hay không. Tập hợp các tài liệu nguồn có thể là đóng- tức là các tài liệu tập hợp trƣớc trong một thƣ viện điện tử- hoặc là mở, chẳng hạn nhƣ tập các tài liệu văn bản trên internet. Đã có một số nghiên cứu đề xuất các phƣơng pháp khác nhau để xác định xem một đoạn văn bản của một tài liệu có nằm trong một tài liệu nào khác hay không.

Các phƣơng pháp này chủ yếu dựa trên tìm kiếm và so khớp chuỗi. Tuy nhiên, các phƣơng pháp so khớp chuỗi chỉ có hiệu quả nếu việc sao chép là “nguyên văn”. Do vậy một yêu cầu cấp bách đặt ra là làm thế nào để phát hiện việc sao chép khi có sửa đổi đôi chút nhƣ thay thế một số từ bằng từ đồng nghĩa hay thay đổi một ít trong thứ tự các câu trong văn bản. Chính vì vậy, đề tài “Tính toán độ tƣơng tự ngữ nghĩa văn bản dựa vào độ tƣơng tự giữa từ với từ” đƣợc chọn làm đề tài luận văn tốt nghiệp của tôi.

Mục tiêu của luận văn Vận dụng các phƣơng pháp tính độ tƣơng tự giữa từ với từ để tính độ tƣơng đồng ngữ nghĩa giữa hai văn bản giúp phát hiện một văn bản có đƣợc sao chép từ văn bản kia hay không. Đối tượng và nhiệm vụ của luận văn Đối tƣợng:  Tập các văn bản trong bộ dữ liệu mẫu.  Tập các tài liệu trên Internet. TIEU LUAN MOI download : [e-mail] 4 Nhiệm vụ: Luận văn tập trung vào tính độ tƣơng tự ngữ nghĩa văn bản dựa trên tập ngữ liệu có sẵn.

Trong đó có tận dụng tối đa các đặc điểm của kho ngữ liệu, đến độ tƣơng tự giữa từ với từ và tập các từ đồng nghĩa. Phương pháp và nội dung nghiên cứu  Nghiên cứu lý thuyết về độ tƣơng tự, các cách tính độ tƣơng tự giữa từ với từ.  Nghiên cứu về kho ngữ liệu, hiện tƣợng từ đồng nghĩa.  Tìm hiều các cách tách từ trong văn bản tiếng Việt.

 Nghiên cứu các phƣơng pháp tính độ tƣơng tự ngữ nghĩa văn bản dựa trên độ tƣơng tự giữa từ với từ. Kết cấu của luận văn Nội dung chính của luận văn gồm 4 chƣơng:  Chƣơng I: Khái niệm độ tƣơng tự.  Chƣơng II: Độ tƣơng tự từ-từ.  Chƣơng III: Độ tƣơng tự văn bản-văn bản.

 Chƣơng IV: Tính độ tƣơng tự ngữ nghĩa văn bản dựa vào độ tƣơng tự giữa từ với từ. TIEU LUAN MOI download : [e-mail] 5 CHƢƠNG I. KHÁI NIỆM ĐỘ TƢƠNG TỰ 1. Tổng quan về độ tƣơng tự Nghiên cứu “sự tƣơng tự” (thƣờng ở dạng đối ngẫu của nó là “khoảng cách”) thuộc phạm vi toán học, chẳng hạn trong lý thuyết tôpô và xấp xỉ; nhƣng trong khoa học máy tính và các ứng dụng máy tính có phần khác.

Trong khoa học máy tính, phép tính xấp xỉ thƣờng đƣợc sử dụng theo một lối không có tính hệ thống (non-systematic) và không theo thể thức (ad-hoc). Trong ngữ cảnh này, khái niệm “sự tƣơng tự” xuất hiện ở nhiều dạng, diễn xuất, và nhiều ứng dụng. Khái niệm “sự tƣơng tự” có nhiều dạng khác nhau. Bất chấp những khác biệt, chúng đều có điểm chung: “sự tƣơng tự” đƣợc sử dụng để so sánh hai (hay nhiều) đối tƣợng, hai hoàn cảnh, hai vấn đề, v.v… với nhiều nguyên do khác nhau.

Luôn có mục đích nào đó với một phép so sánh nhƣ thế, bởi vì một hành động tiếp sau đó đƣợc thực hiện và cuối cùng thì một vấn đề nào đó phải đƣợc giải quyết. Vì lý do đó, hai đối tƣợng đƣợc đem so sánh giữ những vai trò khác nhau. Đối tƣợng thứ nhất đang đƣợc xem xét và đƣợc gọi là vấn đề (problem). Đối tƣợng thứ hai là đã biết và đã lƣu; thƣờng đƣợc gọi là bản mẫu (prototype) hay tình huống (case).

“Sự tƣơng tự” đƣợc sử dụng một cách gián tiếp trong quá trình giải quyết vấn đề, nổi bật là các phƣơng pháp dựa trên phép loại suy (Analogy), lập luận dựa theo tình huống (Case-Based Reasoning), và nhận dạng mẫu (Pattern Recognition). Chúng có liên hệ với nhau và không có ranh giới rõ ràng giữa phép loại suy và các phƣơng pháp khác. Ở đây, chúng ta chấp nhận quan điểm rằng phép loại suy gắn với các đối tƣợng thuộc nhiều lĩnh vực, trong khi CBR và nhận dạng mẫu sử dụng độ tƣơng tự trong cùng một lĩnh vực. Một khác biệt cơ bản giữa CBR và phép loại suy là CBR thƣờng (không phải luôn luôn) xét các đối tƣợng đƣợc mô tả theo cùng ngôn ngữ mô tả và thuật ngữ, trong khi phép loại suy có thể xét các lý thuyết hoàn toàn khác nhau.

Dƣới đây là một số ngữ cảnh cần đến “sự tƣơng tự”:  Lập luận dựa theo tình huống (CBR) là một cách rất tổng quát để giải quyết vấn đề bằng cách sử dụng các kinh nghiệm trƣớc đó. Những kinh nghiệm này đƣợc ghi lại trong một cơ sở dữ liệu gọi là kho tình huống. Ý tƣởng bên dƣới nhằm tái sử dụng những kinh nghiệm là: “Nếu hai vấn đề là tƣơng tự thì chúng có các giải pháp tƣơng tự”. CBR cũng có một giả định cơ bản là luôn tồn tại kinh nghiệm.

Với điều kiện này, CBR có thể đƣợc áp dụng cho hầu hết các dạng ứng dụng. Thƣờng thì có rất nhiều kinh nghiệm đƣợc lƣu trữ và một khía cạnh thiết yếu là nhanh chóng tìm ra những kinh nghiệm hữu ích (bài toán thu hồi). TIEU LUAN MOI download : [e-mail] 6  Trong cơ sở dữ liệu (Databases), “sự tƣơng tự” cũng có liên quan với tìm kiếm, và có quan hệ nào đó với CBR. Đa phần cơ sở dữ liệu cần so trùng chính xác.

Các phép đo độ tƣơng tự giữ một vai trò trong một số cơ sở dữ liệu đặc biệt nhƣ cơ sở dữ liệu không gian (spatial database) hay cơ sở dữ liệu địa lý (geo- database).  Nhận dạng mẫu (Pattern Recognition) cũng là một vấn đề rất tổng quát, nghiên cứu sự vận hành và thiết kế các hệ thống nhận dạng các mẫu trong dữ liệu. Vì những mẫu nhƣ thế không phải lúc nào cũng giống hệt nhau, khái niệm “sự tƣơng tự” thƣờng đóng một vai trò quyết định.  Trong phân loại (Classification) và phân tích cụm (Cluster Analysis), “sự tƣơng tự” đƣợc sử dụng để phân loại các đối tƣợng: các đối tƣợng tƣơng tự thuộc về cùng một lớp/cụm, các đối tƣợng không tƣơng tự thuộc về các lớp/cụm khác nhau.

 Trong diễn xuất hình ảnh (Image Interpretation), các hình ảnh đƣợc diễn xuất theo ý nghĩa của chúng và chúng đƣợc so sánh với nhau. Ví dụ, một ảnh y khoa thực tế và một ảnh không có bệnh lý nào đó đƣợc so sánh với nhau; độ tƣơng tự giữa những ảnh này đƣợc sử dụng để cho biết ảnh thực kia có chứa bệnh lý hay không. Xác minh hình ảnh (Image Identification) cũng thuộc về lĩnh vực này.  Trong tâm lý học nhận thức và xã hội (Cognitive and Social Psychology), “sự tƣơng tự” là cái gì đó chủ quan; ám chỉ thái độ, giá trị, sở thích, và cá tính giữa những con ngƣời tƣơng xứng mức độ nào.

Có nhiều dạng mô hình về sự tƣơng tự trong tâm lý học, bốn mô hình nổi bật là hình học (geometric), đặc tính (featural), dựa trên canh lề (alignment-based), và biến đổi (transformational).  Trong lĩnh vực an ninh, quốc phòng để xác định đối tƣợng ảnh khi muốn xác định vân tay, kiểm tra những băng đĩa mang những nội dung cần kiểm soát,… Độ đo tƣơng tự là một trong những phƣơng pháp tốt để máy tính phân biệt đƣợc các văn bản qua nội dung của chúng. Xét trên khía cạnh nào đó, độ tƣơng tự càng lớn, hai văn bản giống nhau càng nhiều. Khái niệm độ tƣơng tự Độ tƣơng tự là một khái niệm quan trọng và đã đƣợc sử dụng rộng rãi.

Các định nghĩa trƣớc đây về độ tƣơng tự đƣợc trói buộc trong một ứng dụng cụ thể hoặc một dạng thể hiện của tri thức. Nhiều độ đo độ tƣơng tự đã đƣợc đƣa ra, chẳng hạn nhƣ nội dung thông tin (Resnik, 1995b), độ đo thông tin chung (mutual information – Hindle, 1990), độ đo TIEU LUAN MOI download : [e-mail] 7 dựa trên khoảng cách (Lee et al., 1998; Rada et al 1998) và mô hình đặc trƣng tƣơng phản (Tversky, 1977). McGill etc đã khảo sát và so sánh 67 độ đo độ tƣơng tự đã sử dụng trong tìm kiếm thông tin (McGill et al. Một vấn đề trong độ đo độ tƣơng tự trƣớc đây là mỗi một trong số chúng bị trói buộc trong một ứng dụng cụ thể hoặc đảm đƣơng một mô hình cụ thể.

Ví dụ độ đo về độ tƣơng tự giữa các khái niệm dựa trên khoảng cách (Lee et al., 1989; Rada et al., 1989) thừa nhận rằng phạm vi đƣợc thể hiện trong một mạng. Nếu một tập các tài liệu không đƣợc thể hiện nhƣ một mạng, độ đo dựa trên khoảng cách sẽ không đƣợc áp dụng. Hệ số dice (súc sắc) và hệ số cosin chỉ có thể đƣợc áp dụng khi các đối tƣợng đƣợc thể hiện nhƣ các vecto đặc trƣng bằng số. Một vấn đề khác với các độ đo độ tƣơng tự trƣớc đây là các điều giả định cơ bản của chúng thƣờng không ở trạng thái rõ ràng.

Ngoài việc biết các giả định này, không thể tạo ra sự tranh luận về mặt lý thuyết hay phản đối bất cứ độ đo cụ thể nào. Hầu hết tất cả các so sánh và đánh giá của các độ đo độ tƣơng tự trƣớc đây đều dựa trên kết quả do kinh nghiệm. Định nghĩa độ tƣơng tự trong phần sau đạt đƣợc 2 mục đích:  Tính phổ biến (universality): Chúng ta định nghĩa độ tƣơng tự trong thuật ngữ lý thuyết thông tin. Điều đó có thể đƣợc áp dụng miễn là phạm vi có một mô hình xác suất.