Chương 1. Giới thiệu: Trinh bay ly do chọn dé tài, giới thiệu bài toán, các thách thức chung và hướng tiếp cận phổ biến; trình bày mục tiêu nghiên cứu của khóa luận. Các nghiên cứu liên quan: Giải thích các định nghĩa, khái niệm, mô tả chỉ tiết bài toán truy vấn sự kiện video, tổng quan về một số công trình nghiên cứu liên quan tới bài toán. Cơ sở lý thuyết: Trình bày về các kiến thức nền tảng được sử dụng trong xây dựng hệ thống.
Xây dựng hệ thống: Mô tả chỉ tiết các thành phần trong hệ thống. Kết quả thực nghiệm và phân tích: Kết quả đánh giá hệ thống và phân tích. Kết luận và hướng phát triển: Kết luận về khóa luận tốt nghiệp và hướng phát triển trong tương lai. Chương 2 CÁC NGHIÊN CỨU LIÊN QUAN Chương 2 cung cấp cái nhìn tổng thể về bài toán truy vấn sự kiện trong video, bao gồm các định nghĩa cơ bản và các phương pháp tiếp cận chính.
Đầu tiên, chương trình bày các khái niệm như khung hình (frame), khung hình chính (keyframe), đoạn video, và sự kiện trong video, giúp định hình cơ sở lý thuyết cho các phân tích tiếp theo. Tiếp theo, chương mô tả hệ thống truy vấn sự kiện video với các chức năng chính như khai thác thông tin, lưu trữ dữ liệu, và xử lý truy vấn. Chương cũng để cập đến các kỹ thuật tiền xử lý như trích xuất keyframes, phân đoạn video, và xử lý âm thanh để tối ưu hóa chi phí lưu trữ và tăng hiệu suất. Các phương pháp trích xuất thông tin như nhận diện đối tượng, nhận diện chữ viết, và xử lý âm thanh cũng được giới thiệu chi tiết.
Cuối cùng, chương nói về các phương thức lưu trữ và truy vấn thông tin như PCA, cấu trúc đồ thị (graph-based), ElasticSearch, và Faiss, cùng với các kỹ thuật xử lý truy van như truy vấn đa phương thức, tái xếp hạng, và truy van theo ngữ cảnh thời gian, nhằm cải thiện hiệu suất và độ chính xác của hệ thống truy vấn sự kiện video. CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Một số định nghĩa cơ bản trong bài toán truy van sự kiên video 2.1 Frame (khung hình) Frame (khung hình) là một đơn vị cơ bản của video, tương tự như một bức ảnh tĩnh. Video là tập hợp của nhiều khung hình được chiếu liên tục theo thời gian để tạo ra chuyển động. Mỗi giây video thường bao gồm nhiều khung hình, được gọi là frames per second (fps).
Ví dụ, video có tốc độ 30 fps sẽ có 30 khung hình mỗi giây. Video frame Hình 2.1: Hình minh hoa về cau trúc của video gồm các khung hình. CÁC NGHIÊN CỨU LIÊN QUAN 2.2 Keyframe (khung hình chính) Keyframe (khung hình chính) là một loại khung hình đặc biệt trong video, được sử dụng để thể hiện nội dung chính của các khung hình lân cận. Keyframe chứa hầu hết thông tin hình ảnh và đóng vai trò là điểm tham chiếu cho các khung hình xung quanh, giúp tái tạo lại các thay đổi về hình ảnh và chuyển động một cách hiệu quả.
Trích xuất keyframes Video frames Keyframes Hình 2.2: Hình minh họa về khung hình chính. Như được trong minh họa trong Hình 2.2, ở bên trái là các khung hình liên tiếp của video, có thể thấy các khung hình này trường có độ khác biệt rất nhỏ và đồng thời thể hiện một nội dung chung. Ở bên phải là các khung hình chính đại diện cho các khung hình xung quanh, chứa hầu hết thông tin mà các khung hình xung quanh thể hiện. Chính vì vậy, khung hình chính đóng vai trò quan trọng và thường được sử dụng trong xử lý và lưu trữ dif liệu video nhờ tối ưu hóa chi phí, đồng thời đảm bảo rằng nội dung chính của video được thể hiện day đủ và chính 12 2.
CÁC NGHIÊN CỨU LIÊN QUAN 2. Doan video Doan video là một phan hoặc một đoạn riêng biệt của một bản ghi video, thường được xác định bởi các ranh giới thời gian cụ thể như thời điểm bắt đầu và kết thúc (được mô tả ở Hình 2. Độ dài của đoạn video có thể dao động từ một phần của giây đến vài phút, phụ thuộc vào ngữ cảnh và mục đích của việc phân đoạn. Các đoạn video thường được nhận diện và xử lý dựa trên nội dung, đặc điểm hoặc sự liên quan đến một nhiệm vụ hoặc phân tích cụ thể.
Ranh giới thời gian Thời điểm bắt đầu. Thời điểm kết thúc Hình 2.3: Hình minh họa về các đoạn video.4 Sự kiện trong video Sự kiện trong video có thể được hiểu là một sự xuất hiện có ý nghĩa hoặc sự việc xảy ra trong một đoạn video cụ thể. Điều này có thể bao gồm các hành động, tương tác, thay đổi cảnh quan hay môi trường, hoặc bất kỳ đặc điểm đáng chú ý nào liên quan đến phân tích hoặc hiểu nội dung video. Các sự kiện thường được xác định dựa trên các đặc trưng ngữ nghĩa của chúng, phân biệt với các phần khác trong video.
CÁC NGHIÊN CỨU LIÊN QUAN 2.5 Tìm kiếm sự kiện trong video Tìm kiếm sự kiện trong video là quá trình tìm kiếm và trả về các đoạn video có chứa sự kiện khớp với những mô tả đầu vào về đặc trưng nội dung của sự kiện. Mô tả đầu vào có thể bao gồm các chỉ tiết cụ thể về hành động, tương tác, hoặc các đặc điểm hình ảnh và âm thanh liên quan đến sự kiện đó. Quá trình này có thể áp dụng cho một video đơn lẻ hoặc một tập hợp nhiều video. in Om ¬ Trích xuất thông tin—>] =——Trích xuất thông tin— Hình 2.4: Hình minh họa về quá trình tim kiếm sự kiện trong video.6 Hệ thống truy van sự kiện video Hệ thống truy van sự kiện video là một hệ thống hỗ trợ việc khai thác va lưu trữ thông tin từ video, đồng thời cung cấp các phương thức xử lý truy vấn nhằm phân tích yêu cầu truy vấn, tìm kiếm và trả về kết quả phù hợp từ bộ nhớ.
Hệ thống này bao gồm các chức năng chính như: ¢ Khai thác thông tin: Sử dụng các công nghệ tiên tiến như nhận diện hình ảnh, xử lý ngôn ngữ tự nhiên, và học máy để phân tích và nhận biết các đặc trưng nội dung của sự kiện trong video. CÁC NGHIÊN CỨU LIÊN QUAN ¢ Lưu trữ thông tin: Quản lý và lưu trữ hiệu quả các tệp video cũng như các thông tin khai thác được, để dễ dàng truy cập và xử lý. « Xử lý truy van: Nhận diện và phân tích các mô tả đầu vào từ người dùng để tìm kiếm các sự kiện tương ứng.2 Các hướng tiếp cận 2.1 Hướng tiếp cận chung Nhiều hệ thống, phương pháp cho bài toán truy vấn sự kiện video đã được giới thiệu, đặc biệt là trong các cuộc thi như VBS, LifeLog Search Challenge [8, 9]. Nhìn chung các phương pháp đã được giới thiệu cho bài toán này đều tiếp cận theo các bước sau đây: « Tiền xử lý dữ liệu: Xử lý dữ liệu nhằm chuẩn bị đầu vào cho bước trích xuất đặc trưng/ trích xuất thông tin.
Trong đó, các kỹ thuật xử lý khác nhau được áp dụng với các dang dif liệu khác nhau, cu thể được mô tả ở nội dung 2. « Trích xuất đặc trưng: Trích xuất các thông tin của video từ dữ liệu đã tiền xử lý nhằm chuẩn bị lưu trữ và phục vụ cho việc truy vấn. Các đặc trưng chính được trích xuất và phương pháp trích xuất sẽ được mô tả ở nội dung 2. « Lưu trữ dữ liệu: Tổ chức lưu trữ thông tin đã được trích xuất từ dữ liệu video một cách hiệu quả nhằm tối ưu cho quá trình truy vấn.Một số hướng tiếp cận trong việc tối ưu hóa lưu trữ được mô tả trong nội dung 2.
« Xử lý truy vấn: Thực hiện quá trình xử lý truy vấn đầu vào và tìm kiếm, so khớp với các thông tin được lưu trữ nhằm đưa ra kết quả tương ứng. CÁC NGHIÊN CỨU LIÊN QUAN việc so khớp tuần tự, một số phương pháp đã được giới thiệu nhằm tối ưu tốc độ truy van cũng như kết hợp kết quả từ nhiều mô-đun sé được mô tả ở nội dung 2. Tiền xử lý hình ảnh Trích xuất keyframes Video là tập hợp của rất nhiều khung hình, và đa phần các phương pháp tiếp cận đều xử lý dữ liệu video dựa trên thông tin của các khung hình này. Tuy nhiên, số lượng khung hình trong một video là rất lớn, thường khoảng 30 khung hình trên mỗi giây đối với video có tốc độ khung hình 30 fps.
Điều này làm cho việc xử lý toàn bộ các khung hình trở nên tốn kém về mặt tài nguyên và thời gian. Hơn nữa, các khung hình liền kề nhau thường không có sự khác biệt đáng kể và thông tin chứa trong chúng thường rất giống nhau. Vì vậy, các phương pháp trước đây thường tập trung vào việc trích xuất và xử lý thông tin dựa trên các keyframes. Keyframes là những khung hình đại diện, mang nhiều thông tin nhất của một đoạn video (được mô tả chỉ tiết ở nội dung 2.
Việc chọn lọc keyframes giúp giảm thiểu chi phí tính toán và lưu trữ mà vẫn giữ được các thông tin quan trọng. Có hai hướng tiếp cận chính trong giai đoạn trích xuất keyframes: chọn khung hình theo phương pháp lấy mẫu phụ (subsample frames) và chọn khung hình dựa trên đặc trưng hình ảnh. ¢ Subsample frames: Với phương pháp này, các khung hình được chon cách nhau một khoảng cố định. Ví dụ, nếu chọn khoảng cách là d, thì video sé chọn khung hình đầu tiên, sau đó là khung hình thứ 1 + đ, tiếp theo là khung hình thứ 1 + 2đ, và cứ như vậy cho đến khi hết video.
Phương pháp này có ưu điểm là tiết kiệm chỉ phí tính toán do chỉ cần xử lý một số lượng 16 2. CÁC NGHIÊN CỨU LIÊN QUAN nhỏ khung hình thay vì toàn bộ video. Tuy nhiên, điểm hạn chế của phương pháp này là việc chọn khoảng cách đ sao cho phù hợp là rất khó. Nếu đ quá nhỏ, số lượng khung hình được chon sẽ nhiều, dẫn đến chi phí lưu trữ và xử lý lớn.
Ngược lại, nêu d quá lớn, có thể bỏ qua nhiều thông tin quan trọng trong video. Ví dụ, trong một video giám sát, nếu khoảng cách giữa các khung hình được chọn quá lớn, có thể bỏ qua những hành động quan trọng xảy ra trong thời gian ngắn. Dựa trên đặc trưng hình ảnh: Phương pháp này chọn keyframe dựa trên sự khác biệt về đặc trưng hình ảnh giữa các khung hình. Các đặc trưng này có thể là các đặc trưng được xác định bằng tay (handcraft features) như các cạnh, màu sắc, hình dạng, hoặc các đặc trưng được trích xuất tự động thông qua các mô hình học sâu (deep features).