Đặt vấn đề Theo dự báo của Cisco Visual Networking Index (Cisco VNI)SH, lưu lượng dữ liệu Internet toàn cầu dự kiến sẽ dat 4,8 Zettabytes (ZB) vào năm 2022, trong đó đữ liệu video được dự đoán chiếm 82% tổng lượng đữ liệu này. Global Internet Growth and Trends More More Bi xe Faster Broadband More kg Eas Speeds Video Viewing rs Use Connections Key Digital Transformers By 2022 2017 i Billion Billion Mbps Source: Cisco VNI Global IP Traffic Forecast, 2017-2022 Hình 1.1 Dự báo tăng trưởng lưu lượng internet toàn cầu Lượng video chiếm số lượng lớn như vậy là kết quả của nhiều yếu tố, bao gôm: * Su phát triển bùng né của thiết bị di động, mang xã hội và các nền tang chia sẻ video như TIkTok, Instagram, YouTube,. đã tạo nên một cuộc cách mạng trong cách thức con người tạo ra và chia sẻ video. Theo thống kê, mỗi ngày có hon 500 giờ video được tải lên YouTube, hon | tỷ video được xem trên TikTok và hơn 95 triệu bài đăng được chia sẻ trên Instagram.
* Sự phát triển của hệ thống camera giám sát thông minh: Các hệ thống camera giám sát có độ phân giải cao, sử dung trí tuệ nhân tao dé nhận diện khuôn mặt, biên sô xe. đang ngày càng được sử dụng rộng rãi. Camera giám sát thường GIỚI THIEU — PHÁT BIEU BÀI TOÁN dùng dé ghi hình liên tục trong khoảng thời gian dài nên thường có dung lượng lớn, dẫn đến lượng dữ liệu lưu trữ và truyền tải tăng cao. * Ngoài ra, còn có một số yếu tố khác thúc đây sự tăng trưởng của lượng video khổng lồ này, như: Dịch vụ streaming video và âm nhạc; Trò chơi trực tuyến và đám mây gaming; Dịch vụ truyền hình qua Internet (IPTV).
Sự bùng nỗ lượng video nói trên dẫn đến một số khó khăn trong việc quan lý, lưu trữ, tìm kiếm video như: * Dung lượng lưu trữ tăng: Lượng video không 16 cần một lượng lớn dung lượng lưu trữ, việc xây dựng và vận hành hệ thống lưu trữ video lớn đòi hỏi chi phí đầu tư và vận hành không lồ. Việc quản lý và bảo trì hệ thống lưu trữ lớn cũng trở nên phức tạp hơn. + _ Thời gian truy van tăng: Khi kho video ngày càng lớn, việc tìm kiếm một video cụ thé trở nên khó khăn và tốn thời gian hơn. Người dùng có thé phải mat nhiều phút hoặc thậm chí nhiều giờ để tìm kiếm video mong muốn, dẫn đến sự thất vọng và nản lòng.
Việc chờ đợi quá lâu đề truy cập video có thể ảnh hưởng tiêu cực đến trải nghiệm người dùng. » Kho khăn trong việc quản lý va phân loại dữ liệu: Việc xử lý thủ công hang terabyte hoặc petabyte dữ liệu video là vô cùng tốn kém về thời gian và nguồn lực. Dữ liệu video có thê ở nhiều định dạng, độ phân giải và nội dung khác nhau, khiến việc quản lý và phân loại trở nên phức tạp hơn. Dé giải quyết các khó khăn trên, đòi hỏi phải có các công cụ và giải pháp mới phù hợp.
Video Summarization (VSUM) được xem là giải pháp tiềm năng cho vân đê này. 10 GIỚI THIỆU — PHÁT BIEU BÀI TOÁN video gốc video tóm tắt Hình 1.2 Video Summarization Tóm tắt video (Video Summarization) nhằm tự động tạo ra một phiên bản ngắn gọn hơn mà vẫn giữ được những thông tin quan trọng hoặc những khoảnh khắc thú vi của video gôc. Video Summarization giúp giải quyêt một sô van dé như: * Video Summarization giúp việc lập chỉ mục và truy xuất video hiệu quả hơn băng cách tạo ra các đoạn tóm tắt ngắn gọn, thay vì phải xử lý toàn bộ nội dung đài. Điều này giúp tiết kiệm thời gian và tài nguyên, nâng cao hiệu suất trong việc tìm kiếm và truy cập video.
» Cai thiện trải nghiệm người dung là một lợi ích quan trọng khác của Video Summarization. Người xem có thé nhanh chóng nam bắt nội dung chính ma không cần xem toàn bộ video, giúp tiết kiệm thời gian và giữ được sự hứng thú. Điều này làm giảm tỷ lệ bỏ dở và nâng cao sự hài lòng của người xem. * Video Summarization cũng tăng cường việc tiếp cận nội dung bằng cách cung cấp các đoạn tóm tắt ngăn gọn, giúp người xem dễ dàng xem nhiều video hơn trong thời gian ngắn.
Điều này đặc biệt hữu ích trong các nên tảng nội dung trực tuyến (như TikTok, Facebook, Instagram.), nơi người dùng có thể duyệt qua nhiêu video một cách nhanh chóng và hiệu quả Với mỗi lĩnh vực khác nhau (domain-specific applications) sẽ có các tiêu chí khác nhau trong việc lựa chọn các khung hình quan trọng đê đưa vào bản tóm tat video. Vi dụ đôi với thê thao, người xem muôn xem những khoảnh khắc quan 11 GIỚI THIỆU — PHÁT BIEU BÀI TOÁN trọng ảnh hưởng đến kết quả của trận đấu. Trong khi đó, tóm tắt video giám sát cần chứa các cảnh bất thường và đáng chú ý. Cụ thể: Full movie (e.
1h 30’-2h) Movie trailer (2'30") Source: https://www.com/watch?v=wb49-0VoF78 J. for Augmenting Creativity: Application to Movie Trailer Creation. of the 25th ACM Int. on Multimedia, ser.
New York, NY, USA: ACM, 2017.3 Movie trailer Trong lĩnh vực phim anh, việc tạo ra các bản tóm tắt video (trailer) dựa trên một sô tiêu chí lựa chọn chính nhăm đảm bảo hiệu quả và sức hâp dân như: * Tom lược được cốt truyện chính: Chọn các cảnh quay giới thiệu tổng quan về cốt truyện chính của phim mà không tiết lộ quá nhiều chỉ tiết hoặc kết thúc. - _ Nhân vật quan trọng: Bao gồm các đoạn phim giới thiệu những nhân vật chính và mối quan hệ quan trọng giữa họ. * Cảnh hành động hoặc đỉnh điểm: Chọn những cảnh hành động gây cấn, đỉnh điểm hoặc những khoảnh khắc đặc sắc của phim. * Doan hội thoại hoặc câu thoại đáng nhớ: Chon lọc những câu thoại hay hoặc mang tính chất gây ấn tượng.
Với loại dữ liệu là video thể thao: Trong lĩnh vực thé thao, việc tạo ra các bản tóm tắt video về các dién biễn chính của trận đấu là một phần quan trọng dé giới thiệu và thu hút sự chú ý của người xem, dựa trên các tiêu chí như: » _ Tập trung vào những tình huống quyết định: Nhắn mạnh vào những khoảnh khắc quan trọng và quyết định trong trận đấu, chăng hạn như bàn thắng, cứu thua, 12 GIỚI THIỆU — PHÁT BIEU BÀI TOÁN hoặc các pha phòng ngự xuất sắc. Điều này giúp tạo ra một đoạn tóm tắt súc tích va hap dan, tập trung vào những điểm cốt lõi của trận dau. 1h 30’) Source: https://www.com/watch?v=oo-2lFTiƒUU Hinh 1.4 Game’s highlights * Chia sẻ thông tin chi tiết về trận đấu: Ngoài việc chi tập trung vào các highlights, cần cung cấp một số thông tin chỉ tiết về trận đấu, như điểm số cuối cùng, thống kê về các pha tan công và phòng ngự, hoặc những thông tin về các cầu thủ nổi bật. Điều này giúp người xem hiéu rõ hơn về diễn biến của trận đấu và cảm thấy hài lòng với đoạn tóm tắt.
Các tiêu chí nay không chi làm nôi bật những khoảnh khac đáng nhớ mà con cung cap một cái nhìn toàn diện về trận đâu, giúp người xem dé dàng năm bat được những điểm chính và tận hưởng trải nghiệm xem thể thao một cách trọn vẹn Với loại dữ liệu là video giám sát: Với video giám sát, các sự kiện quan trọng được xác định dựa trên một tập hợp các tiêu chí, chăng hạn như: * Su di chuyên của người: Đây là một tiêu chí quan trọng dé phát hiện các sự kiện bất thường, chăng hạn như trộm cắp, xâm nhập, hoặc tai nạn. ¢ Su tương tác giữa các đối tượng: Ví dụ, một hệ thống có thê phát hiện một đám đông đông người hoặc một vụ va chạm giữa hai xe. * Cac thay đổi bất thường: Ví dụ, một hệ thống có thé phát hiện một vật thé lạ xuất hiện trong khung hình hoặc sự thay đôi đột ngột về ánh sảng. 13 GIỚI THIỆU — PHÁT BIEU BÀI TOÁN Raw CCTV material (e.
24h) Summary of important actions/events (with timestamps) Video samples extracted from: https:JIwww.com/watch?v=gk3qTMIcadk 23 Hinh 1.5 Tom tat video giam sat 1.2 Cac thách thức đôi với bài toán tóm tắt video Tóm tắt video là một bài toán khó trong lĩnh vực thị giác máy tính. Đề đạt hiệu quả tối đa, hệ thống cần phải hiểu được nội dung của video, bao gồm cả hình ảnh và âm thanh, từ đó tạo ra một bản tóm tắt ngắn gọn nhưng vẫn truyền tải được thông tin chính của video. Tuy nhiên, dé đạt được hiệu quả tóm tắt cao, can phai giải quyết một số thách thức sau: » Su đa dạng của các loại video: Có vô số loại video khác nhau, từ phim ảnh, chương trình truyền hình, video thé thao đến video hướng dẫn, video ghi lại sự kiện, v. Mỗi loại video sở hữu đặc điểm và nội dung riêng biệt, đòi hỏi các phương pháp tóm tắt phù hợp.
Ví dụ, tóm tắt phim điện ảnh khác với tóm tắt video hướng dẫn. * - Kích thước và độ phức tạp: Video thường có dung lượng lớn và chứa đựng nhiều thông tin đa dạng, bao gồm hình ảnh, âm thanh, chuyên động và văn bản. Việc xử lý và phân tích tat cả các yếu tổ này một cách hiệu quả là một thách thức lớn đối với các mô hình tóm tắt. * Su mất mát thông tin: Quá trình tóm tắt video buộc phải lược bỏ một phần thông tin ban đầu để tạo ra bản tóm tắt ngắn gọn.
Việc lựa chọn thông tin nào được giữ lại và thông tin nào bị loại bỏ là một vấn đề quan trọng, ảnh hưởng đến độ chính xác và hiệu quả của bản tóm tắt. 14 GIỚI THIEU — PHÁT BIEU BÀI TOÁN » - Xác định nội dung quan trọng: Xác định đâu là nội dung quan trọng trong video là một yêu tố then chốt ảnh hưởng đến chất lượng bản tóm tắt. Điều này phụ thuộc vào nhiều yếu tố như mục đích tóm tắt, đối tượng người xem va độ dai mong muốn của bản tóm tắt. Ngoài ra, tóm tắt video còn gặp phải một số thách thức khác như: » _ Thiếu hụt dữ liệu huấn luyện: Việc thu thập và chú thích dữ liệu video cho tóm tắt là một quá trình tốn kém và tốn thời gian, dẫn đến thiếu hụt dir liệu huấn luyện cho các mô hình.
Các bộ dữ liệu video chuẩn cho máy học đáng tin cậy hiện nay như TVSum!"! hay SumMeP! đều là những bộ dit liệu có kích thước nhỏ và nội dung video mang tính tông quát (tập trung vào các chủ đề phô biến, ít đề cập đến các lĩnh vực chuyên môn hoặc các trường hợp cụ thé). Điều này dẫn đến các mô hình được huấn luyện trên các tập đữ liệu này có tính khái quát thấp và khó ứng dựng trong trường hợp thực tế.