Luận văn: Nghiên cứu, xây dựng hệ thống tìm kiếm video theo nội dung - Đỗ Văn Hải

Luận văn thạc sĩ nghiên cứu và xây dựng hệ thống tìm kiếm video theo nội dung. Phân tích các phương pháp trích rút đặc trưng video hiệu quả.

• Tác giả: Đỗ Văn Hải
• Người hướng dẫn: TS. Huỳnh Quyết Thắng
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Xử Lý Thông Tin Và Truyền Thông
• Đề tài: Nghiên Cứu, Xây Dựng Hệ Thống Tìm Kiếm Video Theo Nội Dung
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2006
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Tìm Kiếm Video Theo Nội Dung

Tìm kiếm video theo nội dung (CBVR - Content-Based Video Retrieval) là một lĩnh vực nghiên cứu quan trọng trong xử lý thông tin và truyền thông hiện đại. Luận văn thạc sĩ này tập trung vào việc xây dựng hệ thống tự động tìm kiếm các đối tượng video một cách hiệu quả và tiện lợi. Với sự phát triển nhanh chóng của công nghệ thông tin và Internet tốc độ cao, lượng dữ liệu video ngày càng tăng exponentially. Con người đang "chìm ngập trong dữ liệu mà vẫn đói trí thức", do đó nhu cầu về một hệ thống tìm kiếm video thông minh trở nên vô cùng bức thiết. Luận văn này sẽ giải quyết bộ phận nào đó của vấn đề trên bằng cách nghiên cứu các đặc trưng cơ bản nhất của video và đưa ra các phương pháp trích rút cao cấp.

1.1. Định Nghĩa Và Khái Niệm CBVR

CBVR là quá trình tìm kiếm video dựa trên các đặc tính nội dung thực tế của video như màu sắc, kết cấu, và chuyển động. Khác với tìm kiếm dựa trên văn bản, CBVR sử dụng các thuật toán xử lý hình ảnh và video để trích rút thông tin trực tiếp từ dữ liệu video. Các đặc trưng này được lưu trữ trong cơ sở dữ liệu để so sánh với truy vấn của người dùng, giúp tìm ra các video tương tự một cách nhanh chóng và chính xác.

1.2. Tầm Quan Trọng Của Hệ Thống Tìm Kiếm Video

Trong era của truyền thông số, video số ngày càng trở nên phổ biến trong nhiều lĩnh vực như truyền thông, giáo dục đào tạo, giải trí, và xuất bản. Việc quản lý và tìm kiếm video hiệu quả là một thách thức lớn. Một hệ thống tìm kiếm video tốt không chỉ giúp tiết kiệm thời gian mà còn nâng cao chất lượng trải nghiệm người dùng, phục vụ các nhu cầu đa dạng của xã hội hiện đại.

II. Các Phương Pháp Trích Rút Đặc Trưng Video

Trích rút đặc trưng là bước quan trọng nhất trong tìm kiếm video theo nội dung. Luận văn tập trung vào các phương pháp trích rút đặc trưng cơ bản từ video, bao gồm phân tích từng khung hình và các đoạn video. Các đặc trưng được trích rút bao gồm: thông tin về màu sắc (color histogram), entropy, và các giá trị thống kê khác. Phương pháp kết hợp Entropy với giá trị trung bình và so sánh biểu đồ màu đã chứng minh hiệu quả cao trong việc tìm kiếm ảnh. Các thuật toán này được áp dụng để cải thiện độ chính xác (precision) và khả năng gọi lại (recall) của hệ thống, tạo nên một công cụ tìm kiếm video mạnh mẽ cho các ứng dụng thực tế.

2.1. Trích Rút Đặc Trưng Màu Sắc

Đặc trưng màu sắc là một trong những đặc trưng quan trọng nhất trong tìm kiếm video. Phương pháp biểu đồ màu (color histogram) cho phép mô tả phân bố của các màu trong một khung hình. Tuy nhiên, hai ảnh có biểu đồ màu khác nhau nhưng lại có Entropy giống nhau có thể không được tìm thấy bằng phương pháp đơn lẻ. Do đó, việc kết hợp nhiều phương pháp trích rút đặc trưng là cần thiết để nâng cao hiệu suất tìm kiếm.

2.2. Phương Pháp Entropy Và Giá Trị Trung Bình

Entropy là một phương pháp đo lường mức độ không chắc chắn hoặc sự phân tán của thông tin trong một hình ảnh. Khi kết hợp Entropy với giá trị trung bình của ảnh, hệ thống tìm kiếm video có thể phát hiện được những khung hình có đặc tính tương tự một cách hiệu quả hơn. Kết quả tìm kiếm dựa trên phương pháp này cho thấy độ chính xác cao khi áp dụng vào các bài toán tìm kiếm video thực tế.

III. Phát Hiện Chuyển Cảnh Trong Video

Phát hiện chuyển cảnh là một thành phần then chốt trong hệ thống tìm kiếm video theo nội dung. Chuyển cảnh là những thay đổi đột ngột hoặc dần dần giữa các khung hình liên tiếp trong video. Các loại chuyển cảnh phổ biến bao gồm: fade (phai dần), dissolve (hòa tan), và wipe (quét). Luận văn sử dụng thuật toán cửa số trượt (sliding window) kết hợp với ngưỡng so sánh để phát hiện chuyển cảnh đột ngột. Phương pháp này tính toán sự khác biệt giữa các khung hình liên tiếp thông qua chỉ số PEC (Pixel Error Count). Việc phát hiện chuyển cảnh chính xác giúp phân chia video thành các đoạn cơ sở (shot), tạo cơ sở vững chắc cho quá trình tìm kiếm video tự động hiệu quả hơn.

3.1. Các Loại Chuyển Cảnh Trong Video

Trong video, chuyển cảnh có thể xảy ra theo nhiều cách khác nhau. Chuyển cảnh dần dần fade là hiệu ứng phía dần đó hoặc dần sáng lên. Dissolve là sự hòa tan mềm mại từ cảnh này sang cảnh khác. Wipe là hiệu ứng quét ngang hoặc dọc. Việc nhận dạng chính xác các loại chuyển cảnh này là bước đầu tiên để phân đoạn video và thực hiện tìm kiếm video hiệu quả.

3.2. Thuật Toán Cửa Số Trượt Và Ứng Dụng

Thuật toán cửa số trượt (sliding window algorithm) hoạt động bằng cách dịch chuyển một cửa sổ trên chuỗi khung hình video. Mỗi vị trí cửa sổ đều tính toán sự khác biệt giữa các khung hình bên trong. Chỉ số PEC được theo dõi để phát hiện những thay đổi đột ngột. Khi PEC vượt quá ngưỡng định trước, hệ thống nhận dạng một chuyển cảnh. Phương pháp này cho phép phân đoạn video thành các shot riêng biệt, tạo nền tảng vững chắc cho hệ thống tìm kiếm video tự động chính xác hơn.

IV. Đánh Giá Hiệu Suất Và Ứng Dụng Thực Tế

Đánh giá hiệu suất của hệ thống tìm kiếm video là rất quan trọng để xác định độ hiệu quả của các thuật toán được sử dụng. Luận văn sử dụng các chỉ số precision (độ chính xác) và recall (khả năng gọi lại) để đánh giá kết quả tìm kiếm. Biểu đồ precision-recall được vẽ để thể hiện sự cân bằng giữa hai chỉ số này. Kết quả cho thấy rằng phương pháp kết hợp các đặc trưng khác nhau mang lại hiệu suất tốt hơn so với sử dụng một phương pháp đơn lẻ. Giá trị precision thay đổi tùy theo số lượng ảnh lấy ra và loại ảnh được tìm kiếm. Hệ thống tìm kiếm video có thể được ứng dụng rộng rãi trong truyền thông, giáo dục, giải trí, và nhiều lĩnh vực khác, giúp người dùng tìm kiếm thông tin video một cách nhanh chóng và chính xác.

4.1. Chỉ Số Precision Và Recall

Precision đo lường tỷ lệ các kết quả trả về là chính xác so với tổng số kết quả trả về. Recall đo lường tỷ lệ các kết quả chính xác được tìm thấy so với tổng số kết quả chính xác có sẵn. Khi số lượng ảnh lấy ra tăng, precision thường giảm nhưng recall tăng. Việc đánh giá hiệu suất tìm kiếm video cần phải cân bằng giữa hai chỉ số này để đạt được kết quả tối ưu nhất cho ứng dụng thực tế.

4.2. Ứng Dụng Trong Thực Tế

Hệ thống tìm kiếm video theo nội dung có thể được ứng dụng trong nhiều lĩnh vực: truyền thông (tìm kiếm nội dung phim, video tin tức), giáo dục (tìm kiếm video bài giảng), giải trí (tìm kiếm video âm nhạc, phim hoạt hình), và công nghiệp (tìm kiếm video giám sát). Các phương pháp được trình bày trong luận văn cung cấp nền tảng vững chắc cho việc phát triển các công cụ tìm kiếm video thông minh trong tương lai.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. TỎNG QUAN VE TIM KIEM VIDEO THEO NOI DUNG.1 11 Dat van dé.2 Giới thiệu sơ lược về CBVR.3 Các nghiên cứu trên thế giới về CBVR.4 Hướng nghiễn cứu và nội dung của luận và Kết luận chương. PHƯƠNG PHÁP TÌM KIẾM ANH THEO NOI DUNG AP DỤNG TRONG BÀI TOÁN TÌM KIỀM VIDEO THEO NỘI DUNG.1 Đặt vn da.2 Tổng quan vẻ tìm kiểm ảnh theo nội dung 2. HH gai Khung 8 ii 2.2 Co ché tinh todn chung otia CBIR.

3 Một số đặc trưng của ảnh la tạ 2.3 Dac tính màu sắc của ảnh.1 Không gian mau cu 12 2.3 Biểu dễ tương quan mau (Color Correlogram).4 Đặc trưng Entrony của ảnh.2 Lý thuyết thông thì và hàm Bniropy.3 Entropy anh a mét dic trung, - 22 2.5 Phép do khoang cach.2 Một số tính chal của độ đo.3 Mội số độ đo thông dụng, 24 2.4 Các độ do được sử dụng trong tìm kiểm ảnh theo nội dụng.6 Xây dựng phần mềm tìm kiếm ảnh ứng dụng trong hệ thống tìm kiếm video.1 Tim kiểm ảnh sử dụng phương pháp so sánh biểu đồ máu trong không gian máu RGB .2 Tim kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu trong không gian màu CTIET.3 Tin kiém ánh sử dụng phương pháp Entropy.4 Tim kiém ảnh kết hợp hai phuong phap Entropy va so sanh bii mau.7 Thử nghiệm, so sảnh, đánh giá các phương pháp tìm kiếm ảnh.1 Đánh giá trong hệ thống tìm kiểm ảnh. 40 Danh sách hình vẽ 1lình 1.20 Hai ảnh có biểu đỗ màu khác nhau nhưng lại có Entropy giống nhau.21 Kết quả tìm kiếm ảnh dựa trên phuong phap Entropy két hop với giá trị trung bình (ảnh truy vẫn hên phải) 36 Tình 2.22 Kết hợp giái thuật tìm kiểm ảnh sử dụng đặc trưng Entropy- giá trị trung bình và giả thuật so sánh biểu để màu.23 Sơ để khối hệ thống tìm kiếm ảnh sử dụng thuật toán kết hợp *“Entropy-giá trị trung binh” và “So sánh biểu dé mau”.24 Kết quả tìm kiểm ánh dựa trên phương phap Entropy-gia tri trung bình kết hợp với phương pháp so sánh biểu đồ màu (ảnh truy. vấn bên phải).25 Biéu dé precision-recall.26 Giá trị precision cia cae phuong phap khí số lượng ảnh lẫy ra khắc nhau.27 Giá trị precision déi với các loại ảnh khảc nhau khi lây ra SŨ anh.1 Khái niệm về khung hình.2 Khải niệm về đoạn cơ sở và chuyển cảnh.3 Chuyển cánh dần dẫn fade inh 3.4 Chuyển cảnh dần dần dissolve inh 3.5 Chuyển cảnh dần dần winc.6 Phát hiện chuyển cảnh bằng ngưỡng đơn giãn .7 Cửa sã truy vẫn trượt với HWS=ä Tình 3.8 Cửa số truy vẫn trượt với HWS= O .9 Biểu đồ biến đổi của PEC trong 200 khung hình .10 Vi du vỀ trường hợp thuật toán cửa số trượt nhận dạng nhầm trong phân đoạn video.11 Hệ thống nhát hiện chuyển cảnh đột ngột dựa vào thuật toán cửa số trượt kết hợp với ngưỡng so sánh.2 Cơ sở đữ liệu ánh thử nghiệm .3 So sánh, đánh giá về tốc đô tìm kiếm - 43 2.4 So sánh, đánh giá về độ chỉnh xác - 42 2.5 Nhân xét ~ 46 Tết luận chương. PHAN DOAN VIDEO.1 Giới thiệu sơ lược phần đoạn vidco.1 Một số khái niệm.2 Một số hình thức chuyển cảnh 4§ 3.3 Các hưởng tiếp cận trong phâu đoạn video.2 Mật số phương pháp phân đoạn video.1 8o sánh diễm ảnh.3 So sánh biểu 46 mau 3.4 Một số phương pháp khác.3 Đề xuất phương pháp phân đoạn video trong chuyển cảnh đột ngột 58 3.1 Thuật toán phát hiện chuyển cảnh đột ngột sử dụng ngưỡng đơn giản 36 3.2 Phát hiện chuyên cánh đột ngột sử đụng cửa số trượt.3 Thuật toán cải tiền đề xuất.4 Xây dựng và đánh é thom 3.1 Các tham số dan gid oie s s s s s s s se s s e s se s e e s .2 So để hệ thống cải tiên 62 3.3 Cfc than sé ctla thud.4 Kết quả thử nghiệm - - 64 ¥ 3.5 Nhận xét Kết luận chương.

TRÍCH CHỌN KHUNG HÌNH CHÍNH TRONG VIDEO.1 Dat vấn đề 4⁄2 Một số kỹ thuật trích chọn khung hình chính hiện nay.3 Trích chọn khung hình chính bằng việc khảo sát đường sai khác tích oT 4.2 Xây dựng được sai kháo ích luỹ.3 Thuật toán trích chọn khung hình chính.4 Xây dựng phần mềm trích chọn khung hình chính. Kết luận chương. XAY DUNG HE THONG TIM KIEM VIDEO THEO NOI DUNG DỰA TRÊN PHƯƠNG PHÁP TÌM KIEM ANH TRONG CÁC KHUNG HÌNH CHÍNH.1 Lựa chọn phương pháp xây dựng.2 Các mô-ấun của hệ thống.1 Mé-dun phan down video 81 5.2 Móc đụn trích chọn khung hình chính, 5.3 Mé-dun tim kiém anh theo ngi dung.4 Mô-đm cơ sở đữ liệu 5.3 Giao diện hệ thống. vi Danh sách hình vẽ DANH SÁCH HÌNH VE Tinh 1.1 Sơ để hệ thống tìm kiếm video nghiên cứu trong luận văn.1 Cơ chế huat động của hệ thắng CBTR.2 Không gian màu RGB.3 Không gian mau CMY.4 Một số cách biểu diễn không gian mau FSV Hình 2.5 Không gian mau CIELAB Hình 2.6 Mô tả biểu đề màu.7 Những ảnh khác nhan nhưng có biểu đề màu giống nhau.8 Hàm Enfropy trong không gian hai chiểu.9 Mô tả một số hảm hoảng cách thuộc họ L,.10 Tính và so sánh ảnh bằng biéu dé mau cục bộ.11 Biểu đổ màu Red, Green, Blue độc lận.12 Sư dồ khối hệ thống tìm kiếm ảnh sử dụng phương pháp sơ sánh biểu đổ màu trong không gian màu RGB.13 Kết quả tìm kiếm ảnh dựa trên không gian màu RGB (ảnh truy vẫn bên phải Hình 2.14 Biểu đổ mầu trong không gian mau CTELAB.15 Sơ để khối hệ thống tim kiểm ảnh sử dụng phương pháp sơ sánh biểu đổ màu trong không gian mau CIELAB.16 Kết quả tim kiém Anh dya trén khéng gian mau CIELAB (anh truy van hén phải).17 Giá trị Entropy ứng với các biểu đồ mẫu R, G, B.18 So dé khéi hé théng tim kiểm ảnh sử dụng phương pháp sơ sánh Entropy.19 Kết quả tìm kiếm ảnh dựa trên phương pháp Entropy (ảnh truy vấn hên phải).

vill Kết luận chương. KÉT LUẬN TAI LIEU THAM KHÀO. PHỤ LỤC TOM TAT LUAN VAN.2 Cơ sở đữ liệu ánh thử nghiệm .3 So sánh, đánh giá về tốc đô tìm kiếm - 43 2.4 So sánh, đánh giá về độ chỉnh xác - 42 2.5 Nhân xét ~ 46 Tết luận chương. PHAN DOAN VIDEO.1 Giới thiệu sơ lược phần đoạn vidco.1 Một số khái niệm.2 Một số hình thức chuyển cảnh 4§ 3.3 Các hưởng tiếp cận trong phâu đoạn video.2 Mật số phương pháp phân đoạn video.1 8o sánh diễm ảnh.3 So sánh biểu 46 mau 3.4 Một số phương pháp khác.3 Đề xuất phương pháp phân đoạn video trong chuyển cảnh đột ngột 58 3.1 Thuật toán phát hiện chuyển cảnh đột ngột sử dụng ngưỡng đơn giản 36 3.2 Phát hiện chuyên cánh đột ngột sử đụng cửa số trượt.3 Thuật toán cải tiền đề xuất.4 Xây dựng và đánh é thom 3.1 Các tham số dan gid oie s s s s s s s se s s e s se s e e s .2 So để hệ thống cải tiên 62 3.3 Cfc than sé ctla thud.4 Kết quả thử nghiệm - - 64 ¥ 2.2 Co ché tinh todn chung otia CBIR.

3 Một số đặc trưng của ảnh la tạ 2.3 Dac tính màu sắc của ảnh.1 Không gian mau cu 12 2.3 Biểu dễ tương quan mau (Color Correlogram).4 Đặc trưng Entrony của ảnh.2 Lý thuyết thông thì và hàm Bniropy.3 Entropy anh a mét dic trung, - 22 2.5 Phép do khoang cach.2 Một số tính chal của độ đo.3 Mội số độ đo thông dụng, 24 2.4 Các độ do được sử dụng trong tìm kiểm ảnh theo nội dụng.6 Xây dựng phần mềm tìm kiếm ảnh ứng dụng trong hệ thống tìm kiếm video.1 Tim kiểm ảnh sử dụng phương pháp so sánh biểu đồ máu trong không gian máu RGB .2 Tim kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu trong không gian màu CTIET.3 Tin kiém ánh sử dụng phương pháp Entropy.4 Tim kiém ảnh kết hợp hai phuong phap Entropy va so sanh bii mau.7 Thử nghiệm, so sảnh, đánh giá các phương pháp tìm kiếm ảnh.1 Đánh giá trong hệ thống tìm kiểm ảnh.2 Cơ sở đữ liệu ánh thử nghiệm .3 So sánh, đánh giá về tốc đô tìm kiếm - 43 2.4 So sánh, đánh giá về độ chỉnh xác - 42 2.5 Nhân xét ~ 46 Tết luận chương. PHAN DOAN VIDEO.1 Giới thiệu sơ lược phần đoạn vidco.1 Một số khái niệm.2 Một số hình thức chuyển cảnh 4§ 3.3 Các hưởng tiếp cận trong phâu đoạn video.2 Mật số phương pháp phân đoạn video.1 8o sánh diễm ảnh.3 So sánh biểu 46 mau 3.4 Một số phương pháp khác.3 Đề xuất phương pháp phân đoạn video trong chuyển cảnh đột ngột 58 3.1 Thuật toán phát hiện chuyển cảnh đột ngột sử dụng ngưỡng đơn giản 36 3.2 Phát hiện chuyên cánh đột ngột sử đụng cửa số trượt.3 Thuật toán cải tiền đề xuất.4 Xây dựng và đánh é thom 3.1 Các tham số dan gid oie s s s s s s s se s s e s se s e e s .2 So để hệ thống cải tiên 62 3.3 Cfc than sé ctla thud.4 Kết quả thử nghiệm - - 64 ¥ 2.2 Cơ sở đữ liệu ánh thử nghiệm .3 So sánh, đánh giá về tốc đô tìm kiếm - 43 2.4 So sánh, đánh giá về độ chỉnh xác - 42 2.5 Nhân xét ~ 46 Tết luận chương. PHAN DOAN VIDEO.1 Giới thiệu sơ lược phần đoạn vidco.1 Một số khái niệm.2 Một số hình thức chuyển cảnh 4§ 3.3 Các hưởng tiếp cận trong phâu đoạn video.2 Mật số phương pháp phân đoạn video.1 8o sánh diễm ảnh.3 So sánh biểu 46 mau 3.4 Một số phương pháp khác.3 Đề xuất phương pháp phân đoạn video trong chuyển cảnh đột ngột 58 3.1 Thuật toán phát hiện chuyển cảnh đột ngột sử dụng ngưỡng đơn giản 36 3.2 Phát hiện chuyên cánh đột ngột sử đụng cửa số trượt.3 Thuật toán cải tiền đề xuất.4 Xây dựng và đánh é thom 3.1 Các tham số dan gid oie s s s s s s s se s s e s se s e e s .2 So để hệ thống cải tiên 62 3.3 Cfc than sé ctla thud.4 Kết quả thử nghiệm - - 64 ¥ 2.2 Co ché tinh todn chung otia CBIR. 3 Một số đặc trưng của ảnh la tạ 2.3 Dac tính màu sắc của ảnh.1 Không gian mau cu 12 2.3 Biểu dễ tương quan mau (Color Correlogram).4 Đặc trưng Entrony của ảnh.2 Lý thuyết thông thì và hàm Bniropy.3 Entropy anh a mét dic trung, - 22 2.5 Phép do khoang cach.2 Một số tính chal của độ đo.3 Mội số độ đo thông dụng, 24 2.4 Các độ do được sử dụng trong tìm kiểm ảnh theo nội dụng.6 Xây dựng phần mềm tìm kiếm ảnh ứng dụng trong hệ thống tìm kiếm video.1 Tim kiểm ảnh sử dụng phương pháp so sánh biểu đồ máu trong không gian máu RGB .2 Tim kiếm ảnh sử dụng phương pháp so sánh biểu đồ màu trong không gian màu CTIET.3 Tin kiém ánh sử dụng phương pháp Entropy.