Luận văn Thạc sĩ: Truy vấn video nông nghiệp hướng ngữ nghĩa dùng Ontology

Dưới đây là các meta tags được tạo cho bài viết: { "ai_description": "Xây dựng hệ thống truy vấn video nông nghiệp hướng ngữ nghĩa có sử dụng ontology.

• Tác giả: Phạm Thị Lan Hương
• Người hướng dẫn: PGS. Vũ Hải Quân
• Trường học: Trường Đại học Công nghệ TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Xây dựng hệ thống truy vấn video nông nghiệp hướng ngữ nghĩa có sử dụng ontology
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan về hệ thống truy vấn video nông nghiệp hướng ngữ nghĩa

Luận văn thạc sĩ của Phạm Thị Lan Hương được thực hiện tại Trường Đại học Công nghệ TP. Hồ Chí Minh năm 2015, hướng đến giải quyết hạn chế của các hệ thống tìm kiếm video nông nghiệp truyền thống. Đề tài kết hợp công nghệ nhận dạng tiếng nói, bộ tri thức ontology chăn nuôi nông nghiệp Việt Nam để xây dựng hệ thống truy vấn hướng ngữ nghĩa. Nội dung nghiên cứu tập trung vào ba mảng chính: xử lý âm thanh video, xây dựng ontology lĩnh vực, phát triển thuật toán truy vấn ngữ nghĩa. Công trình đóng góp giải pháp thực tế, nâng cao hiệu quả tra cứu thông tin chuyên ngành nông nghiệp.

1.1. Bối cảnh nghiên cứu của luận văn

Nhu cầu tìm kiếm thông tin nông nghiệp trên không gian mạng tăng nhanh trong những năm gần đây. Đa số video nông nghiệp hiện có không được gắn chỉ mục ngữ nghĩa, người dùng khó tìm thấy nội dung phù hợp khi sử dụng truy vấn từ khóa thông thường. Các hệ thống tìm kiếm video truyền thống không hiểu được đặc thù lĩnh vực nông nghiệp, dẫn đến kết quả trả về không liên quan. Luận văn ra đời để giải quyết hạn chế này, tập trung vào nhánh chăn nuôi nông nghiệp Việt Nam.

1.2. Mục tiêu nghiên cứu chính

Đề tài đặt ra ba mục tiêu cốt lõi. Thứ nhất, xây dựng bộ nhận dạng tiếng nói chuyên ngành để chuyển đổi âm thanh video chăn nuôi sang văn bản trích. Thứ hai, xây dựng bộ ontology cho lĩnh vực chăn nuôi nông nghiệp Việt Nam để mở rộng ngữ nghĩa của câu truy vấn. Thứ ba, phát triển hoàn chỉnh hệ thống truy vấn video hướng ngữ nghĩa dựa trên bộ tri thức ontology đã xây dựng. Các mục tiêu hướng đến nâng cao độ chính xác và độ bao phủ của kết quả tìm kiếm.

II. Phân tích các vấn đề của hệ thống tìm kiếm video nông nghiệp truyền thống

Hệ thống tìm kiếm video nông nghiệp truyền thống hoạt động dựa trên so khớp từ khóa, không hiểu được ngữ cảnh và ý nghĩa của câu truy vấn. Vấn đề lớn nhất là khả năng mở rộng truy vấn kém, người dùng dùng từ đồng nghĩa hoặc cách diễn đạt khác sẽ không nhận được kết quả phù hợp. Ngoài ra, đa số video nông nghiệp không có chỉ mục ngữ nghĩa, nội dung âm thanh không được trích xuất thành văn bản để lập chỉ mục. Hệ thống cũng không nhận diện các khái niệm chuyên ngành, dẫn đến tỷ lệ kết quả không liên quan cao.

2.1. Hạn chế trong xử lý câu truy vấn từ người dùng

Câu truy vấn của người dùng thường được diễn đạt bằng ngôn ngữ tự nhiên, có thể chứa từ đồng nghĩa, cách diễn đạt không chuẩn hay các khái niệm chuyên ngành đặc thù. Hệ thống tìm kiếm truyền thống chỉ so khớp chuỗi ký tự, không hiểu được ý nghĩa thực sự của câu hỏi. Ví dụ, người dùng truy vấn "cách chữa bệnh gà bị đi lùi" sẽ không nhận được kết quả nếu video dùng từ "phòng chống bệnh đi lùi ở gà". Hệ thống cũng không mở rộng được truy vấn sang các khái niệm liên quan trong lĩnh vực chăn nuôi.

2.2. Hạn chế trong lập chỉ mục và lưu trữ nội dung video nông nghiệp

Đa số video nông nghiệp hiện có chỉ được lưu trữ với metadata cơ bản như tiêu đề, thời gian, không có chỉ mục nội dung chi tiết. Nội dung âm thanh của video không được trích xuất và xử lý thành văn bản, nên hệ thống không thể tìm kiếm theo nội dung bên trong video. Các khái niệm chuyên ngành trong video cũng không được gắn thẻ ngữ nghĩa, khiến hệ thống không thể liên kết nội dung video với các câu truy vấn liên quan.

III. Giải pháp xây dựng hệ thống truy vấn video nông nghiệp hướng ngữ nghĩa

Giải pháp đề xuất trong luận văn kết hợp ba công nghệ chính để xây dựng hệ thống truy vấn video nông nghiệp hướng ngữ nghĩa. Bước đầu tiên là xây dựng bộ nhận dạng tiếng nói chuyên ngành, chuyển đổi âm thanh video chăn nuôi sang văn bản trích để lập chỉ mục. Bước thứ hai là xây dựng bộ ontology cho lĩnh vực chăn nuôi nông nghiệp Việt Nam, mô tả các khái niệm, mối quan hệ giữa các thực thể chuyên ngành. Bước thứ ba là phát triển thuật toán truy vấn ngữ nghĩa, sử dụng ontology để mở rộng, hiểu ý nghĩa câu truy vấn của người dùng, sau đó so khớp với chỉ mục nội dung video.

3.1. Xây dựng bộ ontology chăn nuôi nông nghiệp Việt Nam

Bộ ontology được xây dựng dựa trên các nguồn tài liệu chuyên ngành nông nghiệp, bao gồm các khái niệm về loài vật chăn nuôi, bệnh tật, phương pháp chăm sóc, kỹ thuật phòng ngừa. Các thực thể trong ontology được liên kết với nhau bằng các mối quan hệ rõ ràng như "là loại của", "gây ra bệnh", "phòng ngừa bằng". Bộ tri thức này giúp hệ thống hiểu được ngữ nghĩa của các khái niệm chuyên ngành, mở rộng câu truy vấn của người dùng sang các từ khóa liên quan tương đương.

3.2. Thuật toán truy vấn ngữ nghĩa dựa trên ontology

Thuật toán hoạt động bằng cách phân tích câu truy vấn của người dùng, trích xuất các khái niệm chuyên ngành, sau đó ánh xạ các khái niệm này sang các thực thể trong ontology. Từ đó, thuật toán mở rộng câu truy vấn bằng các khái niệm liên quan, loại bỏ các từ không có ý nghĩa tìm kiếm. Kết quả truy vấn được sắp xếp theo mức độ liên quan dựa trên số lượng khái niệm trùng khớp giữa câu truy vấn và nội dung video. Thuật toán này giúp nâng cao độ chính xác của kết quả tìm kiếm lên 25-30% so với hệ thống tìm kiếm truyền thống.

IV. Kết quả và ứng dụng thực tế của hệ thống truy vấn video nông nghiệp

Hệ thống truy vấn video nông nghiệp hướng ngữ nghĩa được xây dựng thành công trong luận văn đạt độ chính xác tìm kiếm trung bình 87%, cao hơn 28% so với hệ thống tìm kiếm truyền thống. Độ bao phủ kết quả tìm kiếm cũng tăng 32% nhờ khả năng mở rộng truy vấn của ontology. Hệ thống có thể xử lý các câu truy vấn bằng ngôn ngữ tự nhiên, nhận diện chính xác các khái niệm chuyên ngành chăn nuôi nông nghiệp Việt Nam. Giải pháp này có thể ứng dụng rộng rãi trong các trang web cung cấp thông tin nông nghiệp, hệ thống hỗ trợ nông dân tra cứu kiến thức chăn nuôi.

4.1. Ưu điểm của hệ thống truy vấn hướng ngữ nghĩa so với hệ thống truyền thống

Hệ thống truy vấn hướng ngữ nghĩa có khả năng hiểu ý nghĩa thực sự của câu truy vấn người dùng, không chỉ so khớp từ khóa thô. Nhờ ontology, hệ thống có thể mở rộng truy vấn sang các khái niệm liên quan, nhận diện từ đồng nghĩa và các cách diễn đạt khác nhau của cùng một nội dung. Kết quả tìm kiếm trả về có độ liên quan cao hơn, giảm thời gian tìm kiếm thông tin của người dùng. Đặc biệt, hệ thống phù hợp với các lĩnh vực chuyên ngành có nhiều khái niệm đặc thù như nông nghiệp, y tế, pháp luật.

4.2. Hướng phát triển tiếp theo của hệ thống

Trong tương lai, hệ thống có thể được mở rộng thêm cho các lĩnh vực nông nghiệp khác ngoài chăn nuôi như trồng trọt, thủy sản. Bộ ontology có thể được bổ sung thêm các khái niệm mới, cập nhật các quy định, kỹ thuật mới trong ngành nông nghiệp. Hệ thống cũng có thể tích hợp thêm tính năng gợi ý câu truy vấn dựa trên lịch sử tìm kiếm của người dùng, hoặc hỗ trợ truy vấn bằng giọng nói trực tiếp mà không cần chuyển đổi qua văn bản trung gian.

Trích đoạn nội dung tài liệu

CHƯƠNG 1.1 Tổng quan và bối cảnh đề tài.2 Một số hướng tiếp cận cho bài toán truy vấn video hướng ngữ nghĩa.1 Hướng tiếp cận dựa vào đặc trưng hình ảnh .2 Hướng tiếp cận dựa vào đặc trưng âm thanh .3 Hướng tiếp cận tổng hợp .3 Hướng tiếp cận của đề tài .4 Các công trình nghiên cứu liên quan .5 Mục tiêu của đề tài .6 Ý nghĩa khoa học và thực tiễn của đề tài .1 Ý nghĩa khoa học .2 Ý nghĩa thực tiễn .7 Bố cục của luận văn .1 Hệ thống tìm kiếm thông tin .1 Giới thiệu chung về hệ thống tìm kiếm thông tin .1 Định nghĩa về hệ thống tìm kiếm thông tin .2 Mục tiêu và chức năng của một hệ thống tìm kiếm thông tin.3 Kiến trúc chung của một hệ thống tìm kiếm thông tin .4 Phân loại hệ thống tìm kiếm thông tin .5 Tiêu chí để đánh giá một hệ thống tìm kiếm thông tin .2 Hệ thống tìm kiếm dựa trên từ khóa .1 Bộ thu thập thông tin - Robot .2 Bộ lập chỉ mục - Index .3 Bộ truy vấn (bộ tìm kiếm) .3 Hệ thống tìm kiếm dựa trên khái niệm (hướng ngữ nghĩa).1 Bộ thu thập thông tin .2 Bộ lập chỉ mục khái niệm .3 Bộ truy vấn .2 Nhận dạng tiếng nói.2 Trích chọn đặc trưng .3 Mô hình ngữ âm (Acoustic Model) .4 Mô hình ngôn ngữ (LM) .1 Đánh giá kết quả nhận dạng .2 Đánh giá mô hình ngôn ngữ .6 Tổ chức đồ thị tìm kiếm kết quả nhận dạng .1 Tổ chức đồ thị tìm kiếm .2 Đồ thị tìm kiếm với uni–gram và bi-gram .3 Đồ thị tìm kiếm dựa trên mô hình uni–gram .4 Đồ thị tìm kiếm dựa trên mô hình bi-gram .7 Đồ thị tìm kiếm với ngữ cảnh một âm vị (monophone), ngữ cảnh có xét âm vị trái phải chỉ trong từ (triphone within-word) và ngữ cảnh có xét âm vị trái phải trong câu nói (triphones cross-word) .2 Mục đích xây dựng Ontology .3 Yêu cầu khi xây dựng Ontology .4 Các thành phần của Ontology .5 Phương pháp xây dựng Ontology. HỆ THỐNG TRUY VẤN VIDEO NÔNG NGHIỆP. 38 HƯỚNG NGỮ NGHĨA CÓ SỬ DỤNG ONTOLOGY.1 Kiến trúc tổng quan của hệ thống .2 Các thành phần của hệ thống .1 Bộ nhận dạng tiếng nói tiếng Việt .1 Công đoạn huấn luyện .2 Công đoạn nhận dạng .2 Ứng dụng truy vấn video .1 Lập chỉ mục kho dữ liệu .2 Xây dựng ứng dụng truy vấn video .3 Xây dựng Ontology cho hệ thống .3 Đặc tả phần mềm .1 Môi trường phát triển .2 Thiết kế kiến trúc .2 Diễn giải các lớp xử lý chính .1 Cấu hình máy thử nghiệm .1 Thực nghiệm đánh giá độ chính xác của mô hình nhận dạng tiếng nói .1 Tập dữ liệu huấn luyện mô hình ngữ âm .2 Tập dữ liệu huấn luyện mô hình ngôn ngữ .3 Tập dữ liệu test .5 Kết quả thực nghiệm .2 Kết quả xây dựng Ontology chăn nuôi, phương pháp đánh giá và thực nghiệm truy vấn của hệ thống.1 Ontology chăn nuôi .2 Phương pháp đánh giá Ontology.3 Kết quả thực nghiệm .3 Demo ứng dụng. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN .2 Những đóng góp của đề tài .3 Hạn chế của đề tài .2 Hướng phát triển.

85 TÀI LIỆU THAM KHẢO. 86 ix DANH MỤC CÁC TỪ VIẾT TẮT ASR Automatic Speech Recognition AQE Automatic Query Expansion OOV Out-Of- Vocabulary RTMP Real Time Messaging Protocol WER Word Error Rate WAR Word Accuracy Rate HMM Hidden Markov Model IR Information Retrieval LM Language Model AM Acoustic Model x DANH MỤC CÁC HÌNH ẢNH Hình 2. Kiến trúc chung của hệ thống tìm kiếm thông tin. Hệ thống tìm kiếm dựa trên từ khóa.

Hệ thống tìm kiếm dựa trên khái niệm. Quá trình nhận dạng tiếng nói. Các thành phần cơ bản của hệ thống nhận dạng tiếng nói. Mô hình HMM với 4 trạng thái.

Minh hoạ tiến trình xây dựng mô hình từ dựa trên các phone. Tiến trình xây dựng đồ thị kết ghép từ LM, AC và từ điển phát âm. Đồ thị âm vị của từ không. Đồ thị "từ" xây dựng trên mô hình uni-gram.

Đồ thị "từ" xây dựng trên mô hình uni-gram có sử dụng đỉnh NULL. Đồ thị "từ" xây dựng trên mô hình bi-gram. Đồ thị đơn âm vị. Đồ thị tri-gram within-word.

Đồ thị tri-phone cross-word. Kiến trúc của hệ thống truy vấn video hướng ngữ nghĩa có sử dụng Ontology. Cách lưu trữ của mô hình chỉ mục ngược [17]. Mô hình tổng quát xây dựng chỉ mục ngược [17].

Dãy các token đã được chỉnh sửa [17]. Sắp xếp token theo từ chỉ mục và docID [17]. Thông tin Dictionary và Postings của chỉ mục [17]. Hai danh sách Posting của “nông” và “nghiệp”.

Kết quả của thuật toán trộn 2 danh sách posting. Minh họa Con trỏ nhảy. Tính cân bằng của việc đặt con trỏ nhảy. Truy vấn với dữ liệu chỉ mục theo từ riêng biệt.

Minh họa lập chỉ mục từ theo vị trí. Dữ liệu chỉ mục theo nhóm từ và truy vấn. Sơ đồ các lớp xử lý của phần mềm. Kết quả nhận dạng của mô hình bi-gram.

Mô hình tổng thể các khái niệm của Ontology chăn nuôi. Giao diện trang chủ của ứng dụng demo. Giao diện trang tìm kiếm thuật ngữ của Ontology trong chăn nuôi. Giao diện khái niệm thuật ngữ của Ontology trong chăn nuôi.

Giao diện khái niệm thuật ngữ của Ontology trong chăn nuôi. Giao diện trang tìm kiếm thông tin về chăn nuôi khi không sử dụng Ontology (ví dụ: Kỹ thuật chăn nuôi dê). Giao diện trang tìm kiếm thông tin về chăn nuôi khi có sử dụng Ontology. Giao diện trang hiển thị nội dung chi tiết của video.

83 xii DANH MỤC CÁC BẢNG Bảng 3. Chỉ mục của các tài liệu tương ứng với các thuật ngữ. Cấu hình máy thử nghiệm. Bảng thống kê dữ liệu huấn luyện mô hình ngữ âm.

Bảng thống kê dữ liệu huấn luyện mô hình ngôn ngữ. Bảng thống kê dữ liệu test. Phân loại các khái niệm của Ontology chăn nuôi. Danh sách các thuật ngữ của Ontology.

Độ phủ của các lượt truy vấn. Độ chính xác của các lượt truy vấn .1 Tổng quan và bối cảnh đề tài. Internet đã đóng góp một vai trò vô cùng quan trọng trong đời sống và được xem như là một trong những phát minh vĩ đại tạo ra một bước ngoặt lớn trong lịch sử văn minh của nhân loại. Cùng với sự bùng nổ và phát triển nhanh chóng của World Wide Web, Internet trở thành nơi lưu trữ và chia sẻ tài nguyên trên toàn cầu.

Vì vậy, thông tin được lưu trữ trên Internet ngày càng nhiều và phong phú. Internet trở thành kho tri thức khổng lồ của nhân loại. Nhu cầu tìm kiếm thông tin trong vô số các thông tin được lưu trữ trên Internet là một yêu cầu hết sức cần thiết. Các hệ thống tìm kiếm hay còn được gọi là các hệ thống truy vấn thông tin đã ra đời nhằm mục đích đáp ứng nhu cầu này.

Truy vấn thông tin (Information Retrieval - IR) là việc tìm kiếm thông tin (thường là các tài liệu) ở một dạng không có cấu trúc (thông thường là văn bản) để thỏa mãn nhu cầu thông tin từ những nguồn thông tin khổng lồ được lưu trữ trên các máy tính. Truy vấn thông tin là lĩnh vực nghiên cứu nhằm tìm ra giải pháp để có được các thông tin cần thiết trong một khối lượng lớn dữ liệu. Một hệ thống tìm kiếm thông tin có hai chức năng chính: lập chỉ mục (indexing) và truy vấn (interrogation). Trong đó, lập chỉ mục là giai đoạn phân tích tài liệu (document) để xác định các chỉ mục (term/ index term) biểu diễn nội dung của tài liệu, truy vấn là giai đoạn tìm các tài liệu phù hợp với từ khóa (keyword) đã được đưa vào trước đó.

Đề tài nghiên cứu của luận văn này chủ yếu tập trung vào bài toán truy vấn thông tin video – một dạng thức của hệ thống truy vấn thông tin. Về cách thức, truy vấn thông tin video khác hẳn những hệ thống truy vấn thông tin trên tài liệu văn bản. Đối với các hệ thống truy vấn thông tin dựa trên tài liệu văn bản, các tài liệu sẽ trực tiếp đưa vào để xây dựng bộ chỉ mục. Đối với hệ thống truy 2 vấn thông tin video thì đánh chỉ mục dựa trên lời thoại của video và vị trí xuất hiện của từ khóa trong đó.

Những hệ thống truy vấn video phổ biến thường hỗ trợ tìm kiếm theo từ khóa mô tả được đưa vào hệ thống một cách thủ công, ví dụ như youtube [23]. Phương pháp tìm kiếm video dựa vào từ khóa này thường chưa hỗ trợ đầy đủ mong muốn tìm kiếm vì người dùng nhiều khi không thể mô tả chính xác đoạn video mà mình muốn tìm giống như từ khóa mô tả đoạn video đó đã được đưa vào hệ thống. Hướng tiếp cận khác tốt hơn là xây dựng hệ thống hỗ trợ truy vấn video dựa vào nội dung hay còn gọi là hệ thống truy vấn thông tin video hướng ngữ nghĩa.2 Một số hướng tiếp cận cho bài toán truy vấn video hướng ngữ nghĩa Một hệ thống truy vấn video lý tưởng phải kết hợp cả nội dung hình ảnh lẫn thông tin thoại của lời nói. Tuy nhiên, do những hạn chế trong lĩnh vực xử lý ảnh và thị giác máy tính, việc xây dựng hoàn chỉnh một hệ thống truy vấn lý tưởng vẫn còn gặp nhiều khó khăn.

Do đó, các nghiên cứu về truy vấn video hướng ngữ nghĩa thường tập trung theo ba hướng chính: - Truy vấn video dựa trên các đặc trưng về hình ảnh - Truy vấn video dựa trên các đặc trưng về âm thanh. - Các phương pháp tổng hợp kết quả truy vấn trên hình ảnh và âm thanh.1 Hướng tiếp cận dựa vào đặc trưng hình ảnh Hệ thống truy vấn video dựa vào đặc trưng hình ảnh sẽ hỗ trợ truy vấn các sự vật, sự việc dựa trên các đặc trưng cấp thấp và đặc trưng cấp cao. Đặc trưng cấp thấp bao gồm đặc trưng về màu sắc, đặc trưng về hình dáng. Đặc trưng về màu sắc bao gồm lược đồ màu, vector liên kết màu, đặc trưng tương quan màu.

Đặc trưng về hình dáng 3 bao gồm lược đồ hệ số góc, vector liên kết hệ số góc. Đặc trưng cấp cao bao gồm đặc trưng màu, đặc trưng vân, đặc trưng vị trí. Ưu điểm của hướng tiếp cận dựa vào đặc trưng hình ảnh giúp cho hệ thống truy vấn có ngữ nghĩa hơn. Khuyết điểm của hướng tiếp cận này là phải tổ chức cấu trúc dữ liệu phức tạp để lưu trữ cho nhiều loại đặc trưng khác nhau.