Mô hình tìm kiếm văn bản tiếng Việt ngữ nghĩa – Luận án Tiến sĩ Đỗ Thị Thanh Tuyền

Luận án tiến sĩ Khoa học Máy tính: Phát triển mô hình tìm kiếm văn bản tiếng Việt dựa trên ngữ nghĩa, cải thiện độ chính xác tìm kiếm.

• Tác giả: Đỗ Thị Thanh Tuyền
• Người hướng dẫn: PTS. Nguyễn Tuấn Đăng
• Trường học: Trường Đại học Công nghệ Thông tin
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Mô hình tìm kiếm văn bản tiếng Việt dựa trên ngữ nghĩa
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2020
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC BẢNG
• DANH MỤC HÌNH ẢNH
• DANH MỤC TỪ VIẾT TẮT
• MỞ ĐẦU
• prefix.1. Lý do lựa chọn đề tài
• prefix.2. Mục đích của luận án
• prefix.3. Nội dung nghiên cứu
• prefix.4. Đối tượng nghiên cứu
• prefix.5. Phạm vi nghiên cứu
• prefix.6. Ý nghĩa khoa học và thực tiễn của đề tài
• prefix.7. Cấu trúc của luận án
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. TRUY XUẤT THÔNG TIN
• 1.1.1. Lịch sử nghiên cứu
• 1.1.2. Một số mô hình truy xuất thông tin căn bản
• 1.2. TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 1.2.1. Chú giải ngữ nghĩa
• 1.2.2. Mở rộng câu truy vấn tự động
• 1.3. CÁC CƠ SỞ CHO TRUY XUẤT VĂN BẢN TIẾNG VIỆT
• 1.3.1. Phân tích hình thái
• 1.3.2. Phân tích cú pháp phụ thuộc
• 1.3.3. Phân tích ngữ nghĩa của câu
• 1.4. VẤN ĐỀ NGỮ NGHĨA TRONG TRUY XUẤT VĂN BẢN TIẾNG VIỆT
• 1.4.1. Ngữ nghĩa của từ
• 1.4.2. Ngữ nghĩa của ngữ đoạn
• 1.4.3. Ngữ nghĩa của văn bản
• 1.4.4. Truy xuất văn bản bản theo ngữ nghĩa
• 1.5. CÁC VẤN ĐỀ CẦN NGHIÊN CỨU
• 2. CHƯƠNG 2: MÔ HÌNH TRUY XUẤT VĂN BẢN DỰA TRÊN NGỮ NGHĨA
• 2.1. BIỂU DIỄN NGỮ NGHĨA
• 2.1.1. Ngôn ngữ biểu diễn ngữ nghĩa
• 2.1.2. Cấu trúc biểu diễn ngữ nghĩa của cụm từ
• 2.1.3. Cấu trúc biểu diễn ngữ nghĩa của văn bản
• 2.2. ĐỀ XUẤT MÔ HÌNH CHUNG
• 2.2.1. Các yếu tố ảnh hưởng đến độ chính xác và độ phủ
• 2.2.2. Biểu diễn văn bản và câu truy vấn
• 2.2.3. Tính toán độ liên quan giữa văn bản và câu truy vấn
• 2.3. ĐỘ ĐO KHOẢNG CÁCH NGỮ NGHĨA
• 2.3.1. Khoảng cách Jaccard-Tanimoto
• 2.3.2. Độ đo khoảng cách ngữ nghĩa
• 2.4. CHỈ MỤC NGỮ NGHĨA
• 2.4.1. Chỉ mục lớp nghĩa
• 2.4.2. Chỉ mục quan hệ nghĩa
• 2.5. TRUY XUẤT CHỈ MỤC NGỮ NGHĨA
• 2.5.1. Truy xuất chỉ mục lớp nghĩa
• 2.5.2. Truy xuất chỉ mục quan hệ nghĩa
• 2.5.3. Tính toán khoảng cách ngữ nghĩa
• 2.5.4. Tính độ liên quan để xếp hạng
• 2.6. MÔ HÌNH HỆ THỐNG
• 2.6.1. Thành phần Phân tích tài liệu
• 2.6.2. Thành phần Lập chỉ mục
• 2.6.3. Thành phần Phân tích câu truy vấn
• 2.6.4. Thành phần Truy xuất chỉ mục
• 2.6.5. Thành phần Xếp hạng
• 2.7. CÁC THAM SỐ CỦA MÔ HÌNH
• 2.7.1. Mô hình phân tích cú pháp phụ thuộc
• 2.7.2. Mô hình gán nhãn nghĩa
• 2.7.3. Hệ số kết hợp kết quả so khớp
• 2.7.4. Hệ số điều chỉnh trọng số vị trí
• 3. CHƯƠNG 3: CƠ SỞ TRI THỨC NGỮ NGHĨA TỪ VỰNG TIẾNG VIỆT
• 3.1. NÉT NGHĨA LÀ GÌ?
• 3.2. CƠ SỞ TRI THỨC NGỮ NGHĨA TỪ VỰNG TIẾNG VIỆT LÀ GÌ?
• 3.3. LÝ DO XÂY DỰNG VLO
• 3.3.1. Thể hiện chi tiết nghĩa của từ vựng
• 3.3.2. Thể hiện chi tiết các ràng buộc giữa các nghĩa từ vựng
• 3.3.3. Có khả năng suy diễn các quan hệ phụ thuộc
• 3.4. CẤU TRÚC CỦA CƠ SỞ TRI THỨC NGỮ NGHĨA TỪ VỰNG TIẾNG VIỆT
• 3.4.1. Các thành phần trong VLO
• 3.4.2. Các đặc điểm của VLO
• 3.4.3. Xây dựng VLO
• 3.5. MỘT SỐ VẤN ĐỀ KHI XÂY DỰNG VLO
• 3.5.1. Tính khách quan
• 3.5.2. Chi phí xây dựng
• 3.5.3. Đánh giá VLO
• 3.6. KẾT CHƯƠNG
• 4. CHƯƠNG 4: PHƯƠNG PHÁP PHÂN TÍCH NGỮ NGHĨA CỤM TỪ TIẾNG VIỆT
• 4.1. PHÂN TÍCH NGỮ NGHĨA CỦA CÂU
• 4.1.1. Hướng giải quyết vấn đề
• 4.2. GÁN NHÃN NGHĨA CHO TỪ VỰNG
• 4.3. PHÂN TÍCH QUAN HỆ PHỤ THUỘC THEO NGỮ NGHĨA CÂU
• 4.3.1. Rút gọn quan hệ phụ thuộc
• 4.3.2. Áp dụng các ràng buộc nghĩa và mở rộng quan hệ nghĩa
• 4.3.3. Biểu diễn theo cấu trúc ngữ nghĩa
• 4.4. ĐÁNH GIÁ KẾT QUẢ PHÂN TÍCH NGỮ NGHĨA
• 4.4.1. Đánh giá kết quả gán nhãn nghĩa
• 4.4.2. Đánh giá kết quả phân tích ngữ nghĩa
• 4.4.3. Đánh giá tác dụng của việc phân tích ngữ nghĩa
• 4.5. KẾT CHƯƠNG
• 5. CHƯƠNG 5: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. CÁC CHỈ SỐ ĐÁNH GIÁ
• 5.1.1. Độ chính xác, độ phủ và độ F
• 5.1.2. Độ chính xác bộ phận
• 5.1.3. Độ chính xác trung bình
• 5.2. BỘ DỮ LIỆU THỬ NGHIỆM
• 5.3. CÀI ĐẶT THỬ NGHIỆM
• 5.3.1. Chương trình TF.IDF
• 5.3.2. Chương trình BM25
• 5.3.3. Chương trình SEMDORE
• 5.3.4. Chương trình QRYEXP
• 5.3.5. Chương trình WE
• 5.3.6. Chương trình LDA
• 5.4. KẾT QUẢ SO SÁNH VÀ THỬ NGHIỆM
• 5.4.1. Thử nghiệm về ảnh hưởng của mô hình
• 5.4.2. Thử nghiệm về ảnh hưởng của term
• 5.4.3. So sánh với một phương pháp Automatic Query Expansion
• 5.4.4. So sánh với một phương pháp sử dụng vector ngữ nghĩa
• 5.4.5. So sánh với một phương pháp sử dụng LDA
• 5.4.6. So sánh hiệu quả của mô hình đề xuất và các mô hình liên quan
• 5.5. KẾT CHƯƠNG
• KẾT LUẬN VÀ KIẾN NGHỊ
• appendix.1. Kết luận
• appendix.2. Kiến nghị
• DANH MỤC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ CÓ LIÊN QUAN ĐẾN LUẬN ÁN
• appendix.3. Danh mục Bài báo hội nghị
• appendix.4. Danh mục Bài báo tạp chí
• appendix.5. Danh mục Đề tài nghiên cứu khoa học
• TÀI LIỆU THAM KHẢO
• appendix.6. Tiếng Việt
• appendix.7. Tiếng Anh
• PHỤ LỤC A
• A.1. Xác định hệ số điều khiển trọng số vị trí
• A.2. Truy hồi chỉ mục lớp nghĩa
• A.3. Truy hồi chỉ mục quan hệ nghĩa
• A.4. Tính toán độ liên quan xếp hạng
• A.5. Tạo từ điển và danh sách posting cho chỉ mục lớp nghĩa
• A.6. Tính trọng số trong chỉ mục lớp nghĩa
• A.7. Tạo từ điển và danh sách postings cho chỉ mục quan hệ nghĩa
• A.8. Tính trọng số cho chỉ mục quan hệ nghĩa
• A.9. Tính trọng số truy vấn

Tóm tắt

I. Giải mã mô hình tìm kiếm văn bản tiếng Việt ngữ nghĩa

Trong bối cảnh bùng nổ thông tin số, việc truy xuất tài liệu chính xác và nhanh chóng trở thành một nhu cầu cấp thiết. Các hệ thống tìm kiếm truyền thống dựa trên từ khóa (keyword-based search) thường gặp khó khăn khi xử lý sự phức tạp và đa dạng của ngôn ngữ tự nhiên, đặc biệt là tiếng Việt. Để giải quyết vấn đề này, mô hình tìm kiếm văn bản tiếng Việt ngữ nghĩa hiệu quả ra đời như một giải pháp đột phá. Thay vì chỉ so khớp các chuỗi ký tự, mô hình này tập trung vào việc hiểu ý định và ngữ cảnh đằng sau truy vấn của người dùng. Cốt lõi của phương pháp này là kỹ thuật Xử lý ngôn ngữ tự nhiên (NLP), cho phép máy tính phân tích, diễn giải và hiểu ngôn ngữ của con người. Mô hình này không chỉ tìm các tài liệu chứa chính xác từ khóa, mà còn tìm ra những văn bản có nội dung liên quan về mặt ý nghĩa, ngay cả khi chúng không sử dụng cùng một từ vựng. Nền tảng của tìm kiếm ngữ nghĩa là việc chuyển đổi văn bản và truy vấn thành các biểu diễn số học, thường là các vector embedding. Các vector này nắm bắt được mối quan hệ ngữ nghĩa giữa các từ và cụm từ. Khi một người dùng thực hiện một truy vấn ngữ nghĩa, hệ thống sẽ tính toán độ tương đồng ngữ nghĩa giữa vector của truy vấn và vector của các văn bản trong cơ sở dữ liệu để trả về kết quả phù hợp nhất. Điều này giúp vượt qua những thách thức cố hữu của tiếng Việt như từ đồng nghĩa, đa nghĩa và cấu trúc câu phức tạp, mang lại trải nghiệm tìm kiếm thông minh và chính xác hơn.

1.1. Tìm kiếm ngữ nghĩa khác biệt gì so với tìm kiếm từ khóa

Sự khác biệt cơ bản nằm ở cấp độ xử lý. Tìm kiếm từ khóa hoạt động ở cấp độ bề mặt (lexical level), thực hiện so khớp chính xác các từ hoặc cụm từ. Nếu văn bản không chứa từ khóa trong truy vấn, nó sẽ bị bỏ qua. Ngược lại, tìm kiếm ngữ nghĩa hoạt động ở cấp độ ý nghĩa (semantic level). Nó sử dụng các mô hình như Word2Vec tiếng Việt hoặc PhoBERT để hiểu rằng 'thủy phi cơ' và 'máy bay đáp trên mặt nước' đề cập đến cùng một khái niệm. Nhờ vậy, nó có thể truy xuất các tài liệu liên quan mà tìm kiếm từ khóa sẽ bỏ lỡ, giúp tăng đáng kể độ phủ (recall) của kết quả.

1.2. Các khái niệm cốt lõi Vector Embedding và Độ tương đồng

Khái niệm trung tâm của tìm kiếm ngữ nghĩa là Vector Embedding. Đây là quá trình biểu diễn từ, câu hoặc toàn bộ văn bản dưới dạng một vector số thực trong không gian nhiều chiều. Trong không gian này, các từ có ngữ nghĩa tương tự (ví dụ: 'vua' và 'hoàng đế') sẽ có vị trí gần nhau. Độ tương đồng ngữ nghĩa (Semantic Similarity) là thước đo khoảng cách giữa các vector này, thường được tính bằng độ đo cosine. Một giá trị tương đồng cao cho thấy truy vấn và văn bản có mối liên hệ chặt chẽ về mặt ý nghĩa, ngay cả khi chúng sử dụng từ ngữ khác nhau. Đây là chìa khóa để xây dựng một mô hình tìm kiếm văn bản tiếng Việt ngữ nghĩa hiệu quả.

II. Vì sao tìm kiếm từ khóa không đủ cho văn bản tiếng Việt

Tiếng Việt, với đặc thù về cấu trúc và từ vựng, đặt ra nhiều thách thức lớn cho các hệ thống tìm kiếm dựa trên từ khóa truyền thống. Những hệ thống này thường chỉ có thể trả về kết quả nếu các từ trong truy vấn xuất hiện chính xác trong văn bản. Hạn chế này dẫn đến hai vấn đề chính: độ chính xác thấp và độ phủ không đầy đủ. Thứ nhất, vấn đề từ đồng nghĩa rất phổ biến. Người dùng có thể tìm kiếm 'máy bay hạ cánh trên biển', nhưng tài liệu lại viết về 'thủy phi cơ'. Một hệ thống tìm kiếm từ khóa sẽ bỏ lỡ tài liệu quan trọng này. Thứ hai là vấn đề từ đa nghĩa (polysemy), khi một từ có nhiều nghĩa khác nhau tùy thuộc vào ngữ cảnh. Ví dụ, từ 'đường' có thể chỉ con đường, gia vị, hoặc đường lối chính sách. Nếu không có khả năng phân tích ngữ cảnh, hệ thống sẽ trả về nhiều kết quả không liên quan. Các mô hình như TF-IDF hay BM25, mặc dù hiệu quả trong việc xếp hạng tài liệu dựa trên tần suất từ, vẫn không thể giải quyết được 'khoảng cách ngữ nghĩa' này. Chúng không hiểu được mối liên hệ sâu sắc giữa các khái niệm. Chính vì những lý do này, việc nghiên cứu và áp dụng một mô hình tìm kiếm văn bản tiếng Việt ngữ nghĩa hiệu quả trở nên cực kỳ quan trọng, nhằm khắc phục những điểm yếu cố hữu và mang lại kết quả tìm kiếm thực sự thông minh.

2.1. Thách thức từ hiện tượng đồng nghĩa và đa nghĩa trong NLP

Hiện tượng đồng nghĩa (synonymy) và đa nghĩa (polysemy) là hai trong số những rào cản lớn nhất trong Xử lý ngôn ngữ tự nhiên cho tiếng Việt. Hệ thống phải có khả năng nhận biết rằng các từ khác nhau có thể cùng chỉ một khái niệm và một từ có thể chỉ nhiều khái niệm khác nhau. Việc thiếu một cơ sở tri thức ngữ nghĩa có cấu trúc, như một WordNet hoàn chỉnh cho tiếng Việt, càng làm cho vấn đề này trở nên phức tạp. Luận án của Đỗ Thị Thanh Tuyền (2020) đã chỉ ra rằng việc xây dựng một Cơ sở tri thức ngữ nghĩa từ vựng (VLO) là một bước đi cần thiết để giải quyết bài toán này một cách hệ thống.

2.2. Hạn chế của các mô hình TF IDF và BM25 truyền thống

Các mô hình thống kê như TF-IDF và BM25 xếp hạng tài liệu dựa trên tần suất xuất hiện và độ hiếm của từ. Chúng hiệu quả khi truy vấn và tài liệu chia sẻ chung một lượng lớn từ vựng. Tuy nhiên, chúng hoàn toàn 'mù' về mặt ngữ nghĩa. Chúng không thể nhận ra mối quan hệ giữa 'giải phương trình bậc hai' và 'tìm nghiệm của ax^2+bx+c=0'. Do đó, kết quả trả về thường không đầy đủ và thiếu chính xác khi người dùng sử dụng các thuật ngữ khác với thuật ngữ trong tài liệu gốc. Đây là động lực chính để phát triển các mô hình tìm kiếm dựa trên vector embedding.

III. Phương pháp biểu diễn ngữ nghĩa cho văn bản và truy vấn

Để máy tính có thể 'hiểu' được văn bản, bước đầu tiên và quan trọng nhất là chuyển đổi ngôn ngữ tự nhiên thành một định dạng có cấu trúc. Đây chính là nhiệm vụ của việc biểu diễn ngữ nghĩa. Thay vì xem văn bản như một túi từ (bag-of-words), các phương pháp hiện đại phân tích sâu hơn vào cấu trúc câu và mối quan hệ giữa các từ. Luận án của Đỗ Thị Thanh Tuyền (2020) đã đề xuất một ngôn ngữ biểu diễn ngữ nghĩa dựa trên các quan hệ phụ thuộc, cho phép nắm bắt không chỉ từ vựng mà cả cấu trúc cú pháp và vai trò của từng từ trong câu. Cách tiếp cận này yêu cầu phân tích một câu thành các thành phần cốt lõi như chủ thể, hành động, và đối tượng, cùng với các bổ ngữ của chúng. Ví dụ, câu 'mèo nhỏ đuổi chuột' được phân tích thành các quan hệ như 'chủ thể(đuổi, mèo)', 'tân ngữ(đuổi, chuột)', và 'bổ ngữ(mèo, nhỏ)'. Việc biểu diễn này giúp hệ thống so khớp ở mức độ sâu hơn, thay vì chỉ so khớp bề mặt. Các mô hình Transformer như PhoBERT đã nâng cao đáng kể khả năng này bằng cách tạo ra các vector embedding nhận biết ngữ cảnh (context-aware), giúp phân biệt các nghĩa khác nhau của cùng một từ dựa vào các từ xung quanh nó. Đây là nền tảng vững chắc để xây dựng một mô hình tìm kiếm văn bản tiếng Việt ngữ nghĩa hiệu quả.

3.1. Xây dựng Cơ sở tri thức ngữ nghĩa từ vựng tiếng Việt VLO

Một đóng góp quan trọng được nêu trong nghiên cứu gốc là việc xây dựng Cơ sở tri thức ngữ nghĩa từ vựng tiếng Việt (VLO). VLO không chỉ là một từ điển đồng nghĩa, mà là một ontology chứa các nghĩa từ vựng, các lớp nghĩa, và quan trọng nhất là các 'ràng buộc ngữ nghĩa' giữa chúng. Các ràng buộc này quy định những từ nào có thể kết hợp với nhau một cách hợp lý về mặt ngữ nghĩa. Ví dụ, động từ 'ăn' yêu cầu một chủ thể là sinh vật và một tân ngữ là thức ăn. VLO đóng vai trò then chốt trong việc khử nhập nhằng và đảm bảo kết quả phân tích cú pháp phụ thuộc là chính xác về mặt ngữ nghĩa.

3.2. Kỹ thuật phân tích cú pháp phụ thuộc để hiểu cấu trúc câu

Phân tích cú pháp phụ thuộc (Dependency Parsing) là quá trình xác định các mối quan hệ ngữ pháp giữa các từ trong một câu, tạo thành một cây phụ thuộc. Gốc của cây thường là động từ chính. Phương pháp được đề xuất kết hợp kết quả phân tích cú pháp tự động với các ràng buộc từ VLO để điều chỉnh và hoàn thiện cây phụ thuộc. Kết quả là một biểu diễn ngữ nghĩa chi tiết, nắm bắt được ai làm gì, cái gì, như thế nào. Biểu diễn này chính xác hơn nhiều so với việc chỉ sử dụng một vector duy nhất cho cả câu, đặc biệt với các truy vấn phức tạp.

IV. Bí quyết lập chỉ mục và truy xuất trong tìm kiếm ngữ nghĩa

Sau khi văn bản được chuyển đổi sang dạng biểu diễn ngữ nghĩa, bước tiếp theo là tổ chức và lưu trữ chúng một cách hiệu quả để có thể truy xuất nhanh chóng. Đây là vai trò của việc lập chỉ mục (indexing). Với tìm kiếm ngữ nghĩa, đặc biệt là tìm kiếm vector (vector search), chỉ mục truyền thống là không đủ. Thay vào đó, các hệ thống cần sử dụng các cấu trúc dữ liệu chuyên dụng có khả năng tìm kiếm các vector gần nhất trong không gian nhiều chiều một cách hiệu quả. Luận án đề xuất một mô hình chỉ mục kép độc đáo, bao gồm Chỉ mục lớp nghĩa (Semantic Class Index - SCI) và Chỉ mục quan hệ nghĩa (Semantic Relation Index - SRI). SCI giúp tăng khả năng so khớp và mở rộng truy vấn dựa trên các lớp nghĩa chung, trong khi SRI đảm bảo kết quả truy xuất phải đúng về mặt cấu trúc ngữ nghĩa ở cấp độ câu. Khi người dùng nhập một truy vấn, hệ thống sẽ phân tích nó, chuyển thành biểu diễn ngữ nghĩa tương ứng, sau đó sử dụng các chỉ mục này để tìm kiếm và tính toán khoảng cách ngữ nghĩa. Cuối cùng, các tài liệu được xếp hạng dựa trên độ liên quan và trả về cho người dùng, tạo nên một quy trình hoàn chỉnh cho mô hình tìm kiếm văn bản tiếng Việt ngữ nghĩa hiệu quả.

4.1. Vai trò của Cơ sở dữ liệu Vector Vector Database

Với sự bùng nổ của các mô hình Transformer, việc lưu trữ và truy vấn hàng triệu, thậm chí hàng tỷ vector đã trở thành một bài toán lớn. Cơ sở dữ liệu vector (Vector Database) như Milvus, Pinecone hay các thư viện như Faiss ra đời để giải quyết vấn đề này. Chúng sử dụng các thuật toán xấp xỉ láng giềng gần nhất (Approximate Nearest Neighbor - ANN) như HNSW để tăng tốc độ tìm kiếm một cách đáng kinh ngạc mà vẫn đảm bảo độ chính xác cao. Việc tích hợp một vector database là bước đi thiết yếu để triển khai các hệ thống tìm kiếm ngữ nghĩa ở quy mô lớn.

4.2. Quy trình truy xuất và xếp hạng dựa trên độ tương đồng

Quy trình truy xuất bắt đầu bằng việc phân tích câu truy vấn, tương tự như cách phân tích tài liệu. Sau đó, hệ thống thực hiện hai bước chính: truy xuất ứng viên (candidate retrieval) và xếp hạng (ranking). Trong bước truy xuất, hệ thống sử dụng chỉ mục (ví dụ, chỉ mục ANN trong một vector database) để nhanh chóng lọc ra một tập hợp các tài liệu có khả năng liên quan nhất. Ở bước xếp hạng, một công thức tính độ tương đồng ngữ nghĩa phức tạp hơn, như độ đo Jaccard-Tanimoto được đề xuất trong luận án, được áp dụng trên tập ứng viên này để tính toán điểm số chính xác cho từng tài liệu và sắp xếp chúng theo thứ tự giảm dần.

V. Đánh giá hiệu quả mô hình tìm kiếm ngữ nghĩa đề xuất

Bất kỳ một mô hình nghiên cứu nào cũng cần được kiểm chứng thông qua các thử nghiệm thực tế để đánh giá tính hiệu quả và khả năng ứng dụng. Mô hình tìm kiếm văn bản tiếng Việt ngữ nghĩa hiệu quả được đề xuất trong luận án của Đỗ Thị Thanh Tuyền đã được đánh giá một cách nghiêm ngặt trên bộ dữ liệu chuẩn. Cụ thể, nghiên cứu sử dụng bộ dữ liệu VN-CRANFIELD-1, một phiên bản tiếng Việt của bộ dữ liệu Cranfield kinh điển trong lĩnh vực truy xuất thông tin. Các chỉ số đánh giá chính được sử dụng bao gồm Độ chính xác trung bình (Mean Average Precision - MAP), một thước đo toàn diện cho chất lượng xếp hạng của hệ thống. Kết quả thực nghiệm cho thấy mô hình đề xuất vượt trội so với các phương pháp nền tảng. So với mô hình vector sử dụng công thức TF-IDF và mô hình xác suất với công thức BM25, mô hình tìm kiếm ngữ nghĩa cho thấy sự cải thiện đáng kể về chỉ số MAP. Điều này chứng tỏ rằng việc phân tích sâu vào cấu trúc ngữ nghĩa của câu, thay vì chỉ dựa vào từ vựng, mang lại lợi ích rõ rệt trong việc tìm kiếm các tài liệu thực sự liên quan. Những kết quả này khẳng định giá trị khoa học và tiềm năng thực tiễn của hướng tiếp cận ngôn ngữ học tính toán trong bài toán truy xuất văn bản tiếng Việt.

5.1. So sánh hiệu năng với các mô hình baseline TF IDF và BM25

Trong các thử nghiệm, mô hình đề xuất được so sánh trực tiếp với hai baseline mạnh là TF-IDF và BM25. Kết quả, được ghi nhận trong Bảng 5.4 và 5.12 của luận án, chỉ ra rằng mô hình ngữ nghĩa đạt được chỉ số MAP cao hơn. Sự vượt trội này đặc biệt rõ rệt với các truy vấn yêu cầu sự suy luận hoặc hiểu biết về các từ đồng nghĩa. Trong khi TF-IDF và BM25 thất bại trong việc tìm các tài liệu không chia sẻ từ khóa chung, mô hình ngữ nghĩa vẫn có thể xác định chúng nhờ vào việc so khớp trên không gian ý nghĩa, khẳng định tính ưu việt của truy vấn ngữ nghĩa.

5.2. Phân tích kết quả và ý nghĩa thực tiễn của mô hình

Kết quả thực nghiệm không chỉ là những con số. Chúng chứng minh rằng đầu tư vào việc xây dựng tài nguyên ngôn ngữ (như VLO) và phát triển các phương pháp phân tích ngữ nghĩa sâu là một hướng đi đúng đắn. Trong thực tế, mô hình này có thể được ứng dụng trong nhiều lĩnh vực như xây dựng hệ thống gợi ý nội dung, tạo các công cụ tìm kiếm tài liệu pháp lý, hay các hệ thống hỏi-đáp thông minh. Khả năng hiểu chính xác ý định của người dùng giúp giảm thời gian tìm kiếm và nâng cao sự hài lòng, mang lại giá trị kinh tế và xã hội to lớn.

VI. Tương lai của tìm kiếm ngữ nghĩa và vai trò của LLMs

Lĩnh vực tìm kiếm ngữ nghĩa đang phát triển với tốc độ chóng mặt, được thúc đẩy mạnh mẽ bởi những tiến bộ trong học sâu và các Mô hình Ngôn ngữ Lớn (LLMs). Trong khi các phương pháp dựa trên ngôn ngữ học tính toán như trong luận án đặt nền móng vững chắc cho việc biểu diễn và suy luận có cấu trúc, tương lai của ngành này nằm ở sự kết hợp hài hòa giữa tri thức biểu tượng (symbolic knowledge) và các phương pháp học sâu (deep learning). Các mô hình như PhoBERT hay các LLM dành riêng cho tiếng Việt có thể tự động học các biểu diễn ngữ nghĩa phong phú từ dữ liệu khổng lồ mà không cần xây dựng cơ sở tri thức thủ công. Tuy nhiên, chúng vẫn có thể gặp khó khăn với các suy luận phức tạp hoặc các lĩnh vực chuyên ngành đòi hỏi độ chính xác cao. Do đó, một hướng đi đầy hứa hẹn là sử dụng LLMs để tăng cường và tự động hóa việc xây dựng các cơ sở tri thức như VLO. Sự kết hợp này sẽ tạo ra một thế hệ mới của các mô hình tìm kiếm văn bản tiếng Việt ngữ nghĩa hiệu quả, vừa có khả năng hiểu ngôn ngữ linh hoạt của LLMs, vừa có độ chính xác và khả năng giải thích được của các hệ thống dựa trên tri thức. Đây chính là chân trời mới cho các nhà nghiên cứu và kỹ sư trong lĩnh vực Xử lý ngôn ngữ tự nhiên.

6.1. Hướng tích hợp với các Mô hình Ngôn ngữ Lớn LLM

Tương lai của tìm kiếm ngữ nghĩa có thể là các hệ thống lai (hybrid systems). LLMs có thể được sử dụng ở giai đoạn đầu để tạo ra các vector embedding chất lượng cao cho cả truy vấn và tài liệu. Sau đó, các phương pháp dựa trên tri thức có cấu trúc (như VLO) có thể được áp dụng để tinh chỉnh lại kết quả xếp hạng, đảm bảo tính logic và chính xác. Ngoài ra, việc fine-tuning mô hình ngôn ngữ trên các bộ dữ liệu chuyên ngành sẽ giúp tăng cường đáng kể hiệu suất tìm kiếm trong các lĩnh vực cụ thể như y tế, luật pháp hay tài chính.

6.2. Các ứng dụng tiềm năng Tóm tắt và phân loại văn bản

Năng lực hiểu ngữ nghĩa sâu của các mô hình này không chỉ dừng lại ở việc tìm kiếm. Chúng là nền tảng cho nhiều tác vụ NLP quan trọng khác. Ví dụ, một khi hệ thống đã xác định được các văn bản liên quan nhất đến một truy vấn, nó có thể tự động thực hiện tóm tắt văn bản từ các nguồn này để cung cấp một câu trả lời ngắn gọn, súc tích cho người dùng. Tương tự, các vector embedding được tạo ra cũng là đặc trưng đầu vào tuyệt vời cho các bài toán phân loại văn bản, giúp tự động sắp xếp tài liệu vào các danh mục phù hợp một cách chính xác.

Trích đoạn nội dung tài liệu

Chương 1 – Tổng quan bản. Mỗi mô hình truy xuất khác nhau sẽ giải quyết hai vấn đề này theo những cách khác nhau.1 Mô hình Vector (Salton, Wong and Yang 1975) Mô hình vector có đặc điểm sau [95]: - Dùng cấu trúc Bag of Word – BOW, có dạng của một vector nhiều chiều để biểu diễn văn bản. Mỗi chiều trong không gian tương ứng với một term. - Phương pháp phân tích văn bản hoặc câu truy vấn là tách các term trong văn bản hoặc câu truy vấn, sau đó xác định số lần xuất hiện của nó trong văn bản và trong tập văn bản để tính toán trọng số của nó.

Giá trị trọng số của mỗi term là giá trị của chiều tương ứng trong vector biểu diễn văn bản hoặc câu truy vấn đó. - Phương pháp so khớp văn bản và câu truy vấn là tính toán khoảng cách giữa hai vector biểu diễn của văn bản và câu truy vấn. Khoảng cách giữa hai vector có thể được tính theo các chuẩn (metric) khác nhau, chẳng hạn Euclide, Cosine, Jaccard, v. Văn bản được biểu diễn mô hình vector là một vector thưa và chưa thể hiện được mối liên hệ giữa các term thường xuất hiện cùng nhau.

Vì thế, phương pháp phân tích ngữ nghĩa tiềm ẩn, Latent Semantic Analysis – LSA [56], [25], được áp dụng trên ma trận biểu diễn các vector văn bản theo cột để giảm số chiều. Kết quả khi áp dụng phân tích ngữ nghĩa tiềm ẩn trên mô hình vector có tác dụng làm tăng MAP của kết quả truy xuất văn bản. Với sự phát triển của mạng neuron học sâu, Deep Neural Network – DNN, các term trong văn bản có thể được biểu diễn bằng một vector gọi là vector ngữ nghĩa hay word embedding [67]. Khi này, một tài liệu văn bản sẽ được biểu diễn bằng một vector được tính toán từ các vector ngữ nghĩa của các term có trong tài liệu đó.

Các vector ngữ nghĩa của các term trong tập văn bản có thể được ước lượng từ một khối lượng văn bản rất lớn [66], [59], [85]. 11 Chương 1 – Tổng quan 1.2 Mô hình xác suất Mô hình xác suất có các đặc điểm [41]: - Văn bản được biểu diễn bằng một phân phối đa thức của các term. - Phương pháp phân tích tài liệu là xác định phân phối đa thức của các term có trong tài liệu đó. - Phương pháp so khớp văn bản và tài liệu là tính xác suất tài liệu có liên quan đến câu truy vấn theo công thức (1.1) 𝑠𝑖𝑚(𝑞, 𝑑 ) = 𝑝(𝑅̅|𝑞, 𝑑) Trong đó: o sim(q,d) là độ trùng khớp giữa câu truy vấn q và tài liệu d.

o 𝑝(𝑅|𝑞, 𝑑) là xác suất cặp tài liệu d và câu truy vấn q được xác định là có liên quan. o 𝑝(𝑅̅|𝑞, 𝑑) là xác suất cặp tài liệu d và câu truy vấn q được xác định là không liên quan. Trong các mô hình xác suất, mô hình xác suất sử dụng công thức tính toán độ liên quan BM25 [91] là một trong những mô hình truy xuất đơn giản nhưng có kết quả xếp hạng đạt MAP cao.3 Mô hình chủ đề Mô hình chủ đề có đặc điểm như sau: - Văn bản được biểu diễn bằng một vector với số chiều có thể chọn. Mỗi chiều tương ứng với một chủ đề (topic).

- Phương pháp phân tích tài liệu được thực hiện qua hai bước. Bước thứ nhất xác định các chủ đề của tập văn bản. Mỗi chủ đề là một phân phối đa thức của toàn bộ term trong tập văn bản. Bước thứ hai là tính toán xác suất theo từng chủ đề cho từng văn bản.

Giá trị xác suất này là giá trị của chiều tương ứng trong vector tài liệu. 12 Chương 1 – Tổng quan - Phương pháp so khớp văn bản và câu truy vấn là tính toán xác suất mà văn bản tạo ra câu truy vấn. Lúc này, văn bản được xem như là một mô hình ngôn ngữ và câu truy vấn là một câu trong ngôn ngữ đó. Phương pháp phân tích tài liệu có thể được thực hiện theo phương pháp phân tích ngữ nghĩa tiềm ẩn theo xác suất, Probability Latent Semantic Analysis – PLSA [50], hoặc theo phương pháp phân tích Latent Dirichlet Allocation – LDA [13].

Phương pháp phân tích LDA được phát triển từ PLSA và cả hai phương pháp LDA cũng như PLSA đã được hai tác giả (Wei và Croft 2006) áp dụng trong truy xuất văn bản bản [105].2 TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU Năm 1964, B. Raphael đã đưa ra khái niệm “Semantic Information Retrieval. Theo tác giả này, thuật ngữ “semantic” được quan niệm là "… ‘meaning’ of material". Để xây dựng một hệ thống “semantic information retrieval”, B.

Raphael đã chọn cách tiếp cận theo ngữ nghĩa học miêu tả (“descriptive semantics”) và đưa ra một số luận điểm làm cơ sở cho việc giải quyết vấn đề truy xuất thông tin dựa trên ngữ nghĩa như sau [89]:  Để biểu diễn “ngữ nghĩa” trên máy tính, các từ có thể được tổ chức theo cấu trúc cây với các đường đi thể hiện một dạng liên hệ nào đó giữa hai từ.  Các giới từ, liên từ, … được sử dụng để thực hiện chức năng ngữ pháp trong câu được gọi là các từ chức năng (“function word”). Những từ được sử dụng để chỉ các thực thể, tính chất, hành vi, … trong thế giới thực được gọi là các từ nội dung (“content word”). Trong một phát biểu, các từ thuộc loại function word được dùng để liên kết các từ thuộc loại content word.

Trong trường hợp đầy đủ thì một câu là để mô tả, giải thích hoặc suy diễn. Ngữ nghĩa không phải chỉ là các thực thể mà còn là các quan hệ giữa các thực thể đó.  Cây từ vựng đảm bảo một thứ tự "<". Thứ tự "<" chỉ quan hệ chứa trong hoặc thuộc.

Các động từ và các giới từ được dùng để biểu diễn quan hệ giữa các 13 Chương 1 – Tổng quan thực thể. Các động từ cũng được tổ chức dạng cây với quan hệ chứa trong hoặc thuộc. Theo đó, giả sử "S V1 O" là một câu đúng, và V1 < V2, S là chủ ngữ, V1 và V2 là các động từ, O là tân ngữ, thì câu "S V2 O" là một câu đúng.  Ngữ pháp cung cấp và bổ sung thông tin để xác định ngữ nghĩa dễ dàng hơn.

Trong ngôn ngữ tự nhiên, ngữ pháp là các quy tắc để giúp con người nhanh chóng xác định được các quan hệ ngữ nghĩa của các phát biểu trong giao tiếp. Các quan điểm về tìm kiếm thông tin dựa trên ngữ nghĩa của B. Raphael chi tiết và chặt chẽ. Mặc dù tác giả đã giới thiệu phương pháp để xác định kết quả tìm kiếm một cách rõ ràng.

Tuy nhiên, vấn đề tổ chức từ vựng và các quan hệ giữa các từ vựng theo yêu cầu tính toán của phương pháp là một vấn đề khó khi áp dụng để truy xuất trên một tập văn bản lớn. Các nghiên cứu liên quan trực tiếp đến semantic information retrieval giải quyết vấn đề tăng khả năng trùng khớp giữa văn bản và câu truy vấn bằng cách phân tích ngữ nghĩa của văn bản cũng như của câu truy vấn và tiến hành so khớp trên kết quả phân tích ngữ nghĩa đó. Ngữ nghĩa trong các nghiên cứu này được xác định từ các từ điển đồng nghĩa hoặc ontology. Có hai nhóm phương pháp giải quyết vấn đề này là chú giải ngữ nghĩa và mở rộng câu truy vấn tự động.1 Chú giải ngữ nghĩa Chú giải ngữ nghĩa (semantic annotation) là việc xác định ngữ nghĩa của từng đơn vị trong văn bản.

Ngữ nghĩa được xác định có thể là một thực thể, một khái niệm trong một miền tri thức hoặc có thể là nghĩa của từ vựng. Các thực thể, khái niệm hay nghĩa của từ vựng có thể có các mối liên hệ về nghĩa với nhau. Các nghiên cứu theo hướng chú giải ngữ nghĩa ở mức từ vựng có thể sử dụng nghĩa của từ vựng được tổ chức trong WordNet [68] dưới dạng các synset để chú giải cho từng từ vựng trong văn bản. Các nghiên cứu này có thể kể đến: - Tác giả Gonzalo và các đồng tác giả (1998) [45], Mihalcea và các đồng tác giả [65] cho thấy kết quả truy xuất khi sử dụng kết quả chú giải ngữ nghĩa bằng synset trong WordNet [68] kết hợp với từ vựng của văn bản làm tăng 14 Chương 1 – Tổng quan độ chính xác và độ phủ của của kết quả truy xuất với điều kiện kết quả chú giải ngữ nghĩa có tỉ lệ lỗi dưới 30%.

- Tác giả Ozcan và các đồng tác giả (2004) [83] áp dụng mô hình phân tích ngữ nghĩa tiềm ẩn lên kết quả chú giải ngữ nghĩa với synset trong WordNet [68] để giảm số chiều của không gian vector và tăng cường giải quyết trường hợp từ gần nghĩa. Kết quả nghiên cứu cho thấy MAP tăng lên 13% trên tập dữ liệu MED so với việc sử dụng từ khóa và mô hình vector. - Tác giả Giunchiglia và các đồng tác giả (2008) [44] chú giải ngữ nghĩa bằng các synset trong WordNet [68] đồng thời sử dụng công thức tính độ liên quan được xây dựng riêng cho thấy độ chính xác tăng lên 10% và độ phủ tăng lên 20%. - Tác giả Wolf và các đồng tác giả (2009) [106] sử dụng kết quả chú giải ngữ nghĩa với synset trong WordNet [68] với mô hình xác suất kết hợp với mô hình dịch máy để giải quyết trường hợp những từ có nghĩa gần giống nhau.

Kết quả nghiên cứu cho thấy khi áp dụng chú giải ngữ nghĩa cho văn bản thì độ chính xác không tăng hoặc tăng không đáng kể trên các bộ dữ liệu khác nhau. Nguyên nhân được chỉ ra là do kết quả xác định nghĩa của từ vựng còn chưa chính xác đủ để tác động tốt đến kết quả truy xuất văn bản. - Kết quả nghiên cứu gần đây về việc sử dụng WordNet [68] để chú giải ngữ nghĩa cho văn bản của tác giả Ngô Minh Vương và các đồng tác giả (2018) [74] cho thấy MAP của kết quả truy xuất tăng lên 17% so với việc sử dụng từ ngữ của văn bản trên cùng tập dữ liệu thử nghiệm. Cũng theo hướng chú giải ngữ nghĩa ở mức từ vựng nhưng không sử dụng WordNet [68] mà sử dụng các nhóm từ đồng nghĩa được rút trích tự động (sense cluster), tác giả Gonzalo và các đồng tác giả (2000) [46] cho thấy độ chính xác của kết quả truy xuất được cải tiến so với việc sử dụng từ ngữ của văn bản.

Với các nghiên cứu truy xuất văn bản trong một miền tri thức tương đối nhỏ, Các tác giả Soner (2012) [53], Fernandez (2011) [39], Castells (2006) [16], Hliaoutakis (2006) [48] và Vallet (2005) [103] đã sử dụng một ontology riêng cho lĩnh vực của mình.