Mở đầu Trước khi bắt đầu tìm hiểu về bài toán truy vấn video, tôi xin trình bày một số mô hình truy vấn video tương tác với người dùng dựa trên nội dung đã từng được công bố. Sau đó tôi sẽ giới thiệu tổng quát về hệ thống truy van video va các nghiên cứu gần đây đối với các bài toán cấu thành.2 Các mô hình tham gia Video Browser Showdown 2021 Để có thể xây dựng hệ thống, tôi tiến hành khảo sát những hệ thống trước đó đã được đánh giá và xây dựng trên bộ dữ liệu lớn. Đặc biệt, cuộc thi quốc tế Video Browser Showdown (VBS)[10] đã được tổ chức thường niên mục tiêu đánh giá các hệ thống truy van video tiên tiến nhất. Là một phan của hội nghị International Conference on MultiMedia Modeling (MMM) kể từ năm 2012, nó nhằm thúc đẩy nghiên cứu về các hệ thống truy xuất video quy mô lớn hiệu quả, nhanh chóng va dễ sử dụng cho các tình huống tìm kiếm nội dung thực sự có liên quan trong thực tế (ví dụ: tìm kiếm một bản tin về một họa sĩ đang phát 2.
Kiến thức cơ sở và các nghiên cứu liên quan biểu, đằng sau là một bức tranh màu vàng). Kể từ đó rất nhiều mô hình truy xuất video dựa trên nội dung đã được ra đời với nhiều cải tiến khác nhau.1 Mô hình IVOS [1] Đây là mô hình truy vấn video dựa trên vật thể có trong khung hình. Tại đây người dùng có thể tìm kiếm các khung hình chính có chứa một hoặc nhiều đối tượng, có thể được lọc thêm theo vị trí, màu sắc, kích thước tương đối và độ tin cậy phát hiện hình 2. Điều này cho phép người dùng thực hiện các truy vấn khám phá chang hạn như “một người ở bên trái” hoặc “một chiếc 6 tô nhỏ mau xanh lam ở đầu đường” Hệ thống đầu sau (back-end) sử dụng thông tin đối tượng được phát hiện nhờ mô hình YoloV4[1 1] được huấn luyện cho 80 lớp đối tượng trong bộ dữ liệu MS COCO [12], để phát hiện các đối tượng trong khung hình chính.
Mỗi đối tượng được phát hiện được lưu lại với tên, vị trí và kích thước của nó, và màu sắc chủ đạo của khung hình chứa đối tượng được trích xuất. Kiến thức cơ sở và các nghiên cứu liên quan 2.2 Visione [2] VISIONE cung cấp nhiều chức năng tim kiếm dé cho phép người dùng tim kiếm video bằng cách sử dụng các truy vấn văn bản hoặc hình ảnh mô tả nội dung của một cảnh trong video mục tiêu. Cụ thể, hệ thống hỗ trợ: * Người dùng có thể cung cấp mô tả văn ban bằng ngôn ngữ tự nhiên ví dụ như "một cô gái đang hát trong quán bar" như hình 2.2 « Tìm kiếm theo từ khóa: Người dùng có thể chỉ định các từ khóa liên quan đến cảnh mục tiêu (ví dụ: "cô gái, trong quán bar, hát") « Tìm kiếm theo vi trí đối tượng: Người dùng có thể vẽ trên một bang đơn giản để chỉ định các đối tượng xuất hiện trong cảnh mục tiêu và vị trí tọa độ của chúng * Tìm kiếm theo vị trí màu sắc: Người dùng có thé chỉ định một số màu sắc hiện có trong cảnh mục tiêu và vị trí không gian của chúng « Tìm kiếm theo ví dụ hình ảnh: Một hình ảnh có thể được sử dụng làm truy van để truy xuất các cảnh video tương tự về mặt hình ảnh. Hình ảnh có thể được chọn trong giao diện duyệt web như là một trong các kết quả của tìm kiếm trước đó hoặc được tải lên từ URL hoặc tệp cục bộ 2.
Kiến thức cơ sở và các nghiên cứu liên quan (Objects & Colors: ®MUST OSHOULD ) Paste image URL Upload an image 43 16:9 Sim Reorder 3roup by videc A girl singing in a bar| p» bar music* @ Clean All || Un-Clean All Hình 2.2: Hệ thống Visione. ! Nhóm tác giả đã công bố mô hình TERN[2] để có thể mã hóa dữ liệu dạng hình ảnh và văn bản nhờ đó có thể thực hiện phép so sánh trên đặc trưng đã được chuẩn hóa cho ra được mối tương quan giữa hình ảnh và văn bản hoặc giữa hình ảnh và hình ảnh. An Interactive Video Search Tool(IVS) IVS hỗ trợ các loại tìm kiếm khác nhau, bao gồm tìm kiếm dựa trên văn bản và tìm kiếm dựa trên hình ảnh (Hình 2. Để cho phép các loại tìm kiếm này, các siêu dữ liệu đa dạng được trích xuất bằng cách sử dụng các thuật toán tiên tiến nhất cho việc phát hiện vật thể, nhận dạng giọng nói, nhận dạng ký tự và các đặc trưng hình ảnh.
Kiến thức cơ sở và các nghiên cứu liên quan 8M2S 1= = 3 #==m =‹-.- = Interactive Search Panel Tìm kiếm hình ảnh phụ thuộc vào sự có sẵn của các thông tin hình ảnh phong phú mô tả các thuộc tính khác nhau của hình ảnh. Mà không mất tính tổng quát, IVS sử dụng các siêu dữ liệu sau đây như các mô tả cho bộ dữ liệu. s Phát hiện đối tượng: Một cách dé mô tả hình ảnh là xác định các đối tượng được chụp trong hình ảnh. Vì vậy, có thể sử dụng một số phương pháp học sâu cho nhận dạng hình ảnh và phát hiện đối tượng.
Mỗi khung hình chính trong tập dữ liệu được liên kết với một tập con của 1000 đối tượng có thể phát hiện được bởi mạng nơ-ron tích chập NASnet[13]. Với mỗi đối tượng được phát hiện, hệ thống xem xét chỉ 10 đối tượng có độ tự tin cao nhất để giảm ảnh hưởng của sai số phát hiện trong quá trình tìm kiếm. Hơn nữa, vì thuật toán NASnet chú thích đối tượng phát hiện được một cách tổng quát va trừu tượng (ví dụ, người). ° Khuôn mặt: Kho dữ liệu còn được bổ sung bằng thông tin các khuôn mặt con người đã được phát hiện thông qua Apple Image Core API3 !.
API trả về số lượng khuôn mặt được phát hiện (tức là không có khuôn mặt, một khuôn mặt, hai khuôn mặt, ba khuôn mặt, bốn khuôn mặt hoặc nhiều khuôn mặt). Vì việc phát hiện khuôn mặt ám chỉ sự tổn tại của một người, 'https://developer.com/documentation/coreimage/cifacefeature 2. Kiến thức cơ sở và các nghiên cứu liên quan IVS sử dụng siêu dữ liệu được trích xuất từ phân tích phát hiện khuôn mặt là các chỉ báo cho người trong phương pháp tìm kiếm. » Đặc trưng hình ảnh: Các khung chính của tập dữ liệu được trích xuất các đặc trưng hình ảnh bao gồm màu sắc và góc cạnh.
Ngoài ra, tác giả sử dụng một trong các phương pháp tiên tiến hiện nay (được gọi là regional maximum activations of convolutions (R-MAC) [14]), sử dụng mạng nơ- ron sâu để học các đặc trưng từ hình ảnh. R-MAC trích xuất một vector đặc trưng bao gồm 512 chiêu. ¢ Nhận diện văn bản: Nhận dạng ký tự quang hoc (OCR) cho phép trích xuất văn bản viết xuất hiện trong một số phần của hình ảnh (ví dụ, văn bản được viết trên biển báo giao thông hoặc trên cửa hàng được chụp trong hình ảnh). Với việc một phần của các khung chính của tập dữ liệu được gắn nhãn với một số hoặc nhiều văn bản (dựa trên kết quả phân tích thông qua Apple Image Core API để nhận dạng văn bản.
Tác giả đã trích xuất văn bản từ tập con này bằng cách sử dụng TesseractOCR [15]. Hơn nữa, vì một số đoạn ngắn của tập dữ liệu có chứa lời nói, những đoạn phim này đã được phân tích bằng Google Cloud Speech-to-Text API để trích xuất các từ khóa được nói để gắn thẻ chúng với các khung chính tương ứng của chúng.3 Hệ thông truy vấn video Sau khi tham gia khảo sát và nghiên cứu các mô hình được xây dựng và đánh giá thông qua cuộc thi VBS, tôi nhận thấy các mô hình truy vấn video thường được chia làm 2 giai đoạn(Hình 2.4): ‹ Tiền xử lí dữ liệu: Ở giai đoạn này, bộ dữ liệu dang video sẽ được tinh gon bằng các phương pháp trích xuất thông tin về thị giác, âm thanh, văn 10 2. Kiến thức cơ sở và các nghiên cứu liên quan bản,. Sau có các siêu dữ liệu này sẽ được lưu trữ và đánh chỉ mục.
Toàn bộ quá trình này mục tiêu nhắm tới là làm tăng độ chính xác và giảm thời gian truy vân. * Xây dựng hệ thống truy van: Sau khi đã có được các thông tin từ quá trình tiền xử lí dữ liệu, một hệ thống truy xuất là cần thiết để người dùng có thể thực hiện các thao tác truy van. Query đầu vào sẽ được ánh xạ với các thông tin có trong kho dữ liệu, từ đó trả về kết quả tương đồng nhất theo một độ đo cụ thể để trả về danh sách các video. Trích xuất h 4 Hệ thống truy vấn video thông tin Ƒ gu tương tác với người dùng dựa trên nội dung Hình 2.4: Các giai đoạn xây dựng hệ thống truy vấn video 2.4 Các hướng tiếp cận Hệ thống của tôi cung cấp 4 hướng tiếp cận đa dạng cho việc truy vấn video, bao gồm truy vân về cả âm thanh và thị giác: ¢ Hệ thống của tôi hỗ trợ truy vấn ngữ nghĩa hình ảnh để giúp người dùng tìm kiếm video bằng cách mô tả phân cảnh hoặc ý nghĩa của phân cảnh.
« Có thể sử dụng truy vấn vật thé để tìm kiếm video dựa trên các đối tượng xuất hiện trong đó. Kiến thức cơ sở và các nghiên cứu liên quan s Truy vấn chữ trong ngoại cảnh cho phép người dùng tìm kiếm video bằng cách nhập các từ khóa mô tả nội dung của văn bản có trong một khung hình của video. * Cuối cùng, người dùng có thể sử dụng truy vấn âm thanh để tìm kiếm video dựa trên nội dung âm thanh xuất hiện trong các video. Với những hướng tiếp cận đa dạng này, tôi hy vọng rằng hệ thống sẽ có thể hỗ trợ tim kiếm và truy cập dé dàng đến các video cần tìm kiếm.5 Tình hình nghiên cứu Phát hiện chuyển cảnh (Hình 2.5): là bài toán phát hiện các chuyển đổi trong video, chang hạn như chuyển từ cảnh này sang cảnh khác, chuyển zoom, pan hoặc chuyển động camera.
Điều này có thể giúp ích cho quá trình chia nhỏ video, lựa chọn khung hình chính nhằm nâng cao tốc độ xử lí cho mô hình truy vấn. Hiện nay, có rất nhiều phương pháp được sử dụng để phát hiện chuyển cảnh trong video. Các phương pháp này bao gồm cả phương pháp dựa trên cấu trúc cảnh (structure-based) và phương pháp dựa trên nội dung (content-based). Phương pháp cấu trúc cảnh chủ yếu dựa trên sự thay đổi trong cấu trúc của các cảnh, bao gồm điểm ảnh(Pixel-based) [16], góc canh(Edge-based)[17] va biểu đồ mau(Histogram-based)[18], các hướng tiếp cận trên thường sử dụng các thuật toán như đặt ngưỡng (thresholding), tính toán chênh lệch khung hình (frame differencing) và phát hiện góc cạnh (edge detection).