Chương 1. Tổng quan tạo thành video tóm tắt, vì vậy video tóm tắt sẽ có đặc điểm là chỉ bao gồm những đoạn được coi là quan trọng, còn những thông tin trong các đoạn khác sé bị lược bỏ hoàn toàn và không nằm trong video tóm tắt. Một số công trình nghiên cứu thuộc nhóm phương pháp Video Summarization là: ¢ Hoc có giám sát: Flexible Detect-to-Summarize Network for Video Sum- marization[29| ; Supervised Video Summarizaton via Multiple Feature Sets with Parallel Attention[5]; Combining global and local attention with po- sitional encoding for video summarization[1]; Video summarization with long short-term memory|28], Category-specific video summarization|22]. ¢ Hoc không giám sát: Creating summaries from user videos[8]; A generic framework of user attention model and its application in video summa- rization[18]; A Top-Down Approach for Video Summarizatio: vised Procedure Learning via Joint Dynamic Summarization| Nhóm phương pháp nay can yêu cầu toàn bộ video trong quá trình xử ly để tao ra video tóm tắt, vì vậy cần phải tiêu tốn tài nguyên để lưu trữ toàn bộ video trong quá trình thực hiện, điều này sẽ bat lợi với các hệ thống bị hạn chế về mặt tài nguyên.
Hơn nữa, các phương pháp này sẽ mất một khoảng thời gian dài để có thể tạo ra video tóm tắt, điều này sẽ không phù hợp với các tác vụ cần kết quả gần sát với thời gian thực. Video Fast Forwarding Khác với Video Summarization, các phương pháp thuộc nhóm Video Fast For- warding sẽ tạo ra các bản tóm tat chứa nội dung trai dài theo dòng chảy thời gian của video đầu vào. Các phương pháp trước đây chủ yếu tập trung vào việc điều khiển tốc độ của video tùy thuộc vào từng đoạn, điều này được thực hiện dựa trên việc phân tích: Chương 1. Tổng quan s Các dạng chuyển động trong video: Smartplayer: user-centric video fast- forwardingl2]; An extended framework for adaptive playback-based video summarization[21]; Constant pace skimming and temporal subsampling of video using motion activity, [20].
¢ Thông tin về mặt ngữ nghĩa: A new player-enabled rapid video naviga- tion method using temporal quantization and repeated weighted boost- ing search[11]; A smart video player with content based fast-forward play- back[12]. Theo đó, khác với nhóm phương pháp Video Summarization, video tóm tắt từ các phương pháp Video Fast Forwarding chứa nội dung bao quát của toàn video mà không bỏ qua hẳn 1 đoạn thông tin liên tục nào. Tuy nhiên, các phương pháp này cũng yêu cầu xử lý toàn bộ video, điều này mang lại những khó khăn và bắt lợi tương tự nhóm phương pháp Video Summa- rization, hơn nữa các phương pháp này vẫn thể hiện độ hiệu quả chưa được cao trong kết quả đầu ra. FFNet FFNet được biết đến là mô hình đầu tiên thuộc nhóm phương pháp Video Fast Forwarding sử dụng kỹ thuật RL để giải quyết van dé này.
Ý tưởng chính của FFNet nằm ở việc bỏ qua các frame không quan trọng tiếp theo dựa trên việc phân tích và đánh giá frame hiện tại. Với mỗi frame được xét, mô hình sẽ rút trích đặc trưng của frame và đánh giá, sau đó quyết định số frame tiếp theo bị bỏ qua, các frame này sẽ không được mô hình xử lý cũng như không được thêm vào video đầu ra. Sau đó, mô hình tiếp tục xét frame tiếp theo được nhảy tới và tiếp tục quyết định số frame kế tiếp bị bỏ qua, quá trình này sẽ lặp lại như vậy cho đến khi kết thúc video. Theo đó, video tóm tắt sẽ gồm các frame được xét, điều 10 Chương 1.
Tổng quan này cũng cho thấy FENet không cần xử lý toàn bộ video mà chỉ cần xử lý một lượng frame trong đó để tạo ra video tóm tắt, từ đó giúp tiết kiệm tài nguyên xử lý hơn. Hơn nữa, với chiến lược này, FFNet có thể tạo ra video tóm tắt rất nhanh và đáp ứng được yêu cầu gần sát với thời gian thực. Với công trình nghiên cứu này, chúng tôi thực hiện một số hướng cải tiến để tạo ra một mô hình tốt hơn trong việc xử lý cũng như tạo ra video tóm tắt có chất lượng về mặt biểu thị nội dung hiệu quả hơn. Thuật toán chỉ tiết của mô hình FFNet và các van dé cải tiền được trình bày trong chương | 11 Chương 2 Cơ sở lý thuyết 2.1 Học tang cường Học tăng cường (Reinforcment Learning - RL) là một trong ba phương pháp học máy chính, bên cạnh học có giám sát (Supervised Learning) và học không giám sát (Unsupervised Learning).
Điểm đặc biệt của học tăng cường so với 2 phương pháp còn lại là về dữ liệu sử dụng trong quá trình huấn luyện mô hình. Học có giám sát là một nhóm các phương pháp sử dụng dữ liệu đã được đánh nhãn để phục vụ cho quá trình học. Ngược lại, học không giám sát sử dụng dữ liệu không được đánh nhãn sẵn, theo đó mô hình sẽ tự học ra quy luật dựa trên các đặc trưng của dữ liệu. Khác với cả 2 nhóm phương pháp trên, các phương pháp học tăng cường không can chuẩn bị sẵn dữ liệu, theo đó dir liệu sẽ được tạo ra trong quá trình học và trải nghiệm của tác tử, từ đó sử dụng những dữ liệu này để huấn luyện mô hình.
Hai thành phần quan trọng trong học tăng cường là môi trường (environment) và tác tử (agent): ¢ Môi trường (Environment): là bài toán cần giải quyết được mô hình hóa bao gồm 2 thành phan là không gian trạng thái (set of states) và hàm điểm 12 Chương 2. Cơsở lý thuyết thưởng (reward function). © Tác tử (Agent): hoạt động trên môi trường được thiết lập. Mỗi khi tác tử ở một trạng thái nào đó (trạng thái hiện tại), tác tử sẽ phân tích để đưa ra hành động phù hợp, sau khi thực hiện hành động được chọn, tác tử sẽ được chuyển đến trạng thái mới (trạng thái tiếp theo).
Theo đó, tác tử sẽ nhận được tín hiệu phản hồi từ môi trường để cho biết việc thực hiện hành động này ở trạng thái này có hiệu quả (tốt hay xấu) như thế nào, từ đó tác tử rút kinh nghiệm cho những lần tiếp theo khi gặp trạng thái tương tự. Quá trình học trong RL diễn ra thông qua việc tác tử trải nghiệm trực tiếp trên môi trường được thiết lập để tạo ra dữ liệu và sử dụng dit liệu đó cho việc huân luyện. Để áp dụng kĩ thuật RL, bài toán cần được mô hình hóa về môi trường phù hợp gồm các thành phần sau: © S:1a không gian trạng thái được thiết lập từ bài toán, bao gồm tập hợp tất cả các trạng thái sự tồn tai trong đó. ® A: Tập hợp tất cả các hành động a, mà tác tử có thể chọn khi ở một trạng thái nào đó, sau khi thực hiện hành động thì tác tử sẽ được chuyển đến trạng thái tiếp theo.
® r(s,a,s’): là điểm thưởng nhận được sau khi thực hiện hành động a từ trạng thái s và chuyển sang trạng thái s”. Độ lớn của điểm thưởng sẽ phản ánh độ hiệu quả của quyết định lựa chọn hành động này. Điểm thưởng tích lũy (tổng điểm thưởng của tất cả các bước từ đầu đến khi kết thúc) được tính bằng công thức: R=} (ŒY ey) = Ve (Se, ak S41) (2. Cơsở lý thuyết Trong đó: 7(s¿,ø¿,s¿+¡) là điểm thưởng tức thời tại bước thứ k.
Hệ số dis- count + có chức năng làm giảm trọng số điểm thưởng của các bước càng về sau, điều này giúp cho điểm thưởng tích lũy được hội tụ. 7 (Policy): Là chiến lược lựa chọn hành động sao cho tối đa hóa điểm thưởng tích lũy sẽ nhận được trong hiện tại và cả tương lai.2) a Trong đó, E[R|sự, a, 7] là điểm thưởng tích lũy kỳ vọng nếu tại trang thái sự , thực hiện hành động a và những lựa chọn sau đều tuân theo chiến lược 7r. Để dễ hình dung vẻ việc mô hình hóa bài toán, chúng tôi lay một ví dụ là trò chơi con rắn (Snake). Trong trò chơi này, người chơi cần điều khiển con rắn di chuyển trong một không gian giới hạn được quy định, ở đó có các điểm thức ăn và tiêu của con rắn là di chuyển tới để ăn thức ăn và gia tăng điểm tích lũy.
Người chơi sẽ cổ gắng ăn được càng nhiều điểm càng tốt cho đến khi kết thúc trò chơi. Theo đó, bài toán được mô hình hóa như sau: ¢ Không gian trạng thái (S) là vùng không gian hữu han mà con rắn được phép di chuyển, bao gồm tất cả các trạng thái (s) có thể xảy ra. Trong đó, mỗi trạng thái s, biểu diễn thông tin vẻ các thành phan (vị trí của con ran và các điểm thức ăn) ở thời điểm k. Theo đó, trạng thái sẽ thay đổi theo thời gian dựa trên việc đi chuyển của con rắn.
s Tập hop A gồm tất cả các hành động (a) mà người chơi có thể chọn tại 1 thời điểm để điều khiển con rắn. Cụ thể, người chơi có 3 lựa chọn là: tiến lên, qua trái, qua phải. Sau khi người chơi thực hiện hành động (2), con rắn sẽ di chuyển theo hướng được chọn và trạng thái hiện tại s„ sẽ chuyển sang trạng thái tiếp theo sự. Cơsở lý thuyết © 7(s¿„ñ,s¿¿¡) là điểm thưởng người chơi nhận được sau khi thực hiện hành động.
Điểm thưởng nay cho biết quyết định vừa rồi có hiệu quả (tốt hay xấu) như thế nào. Cụ thể, điểm thưởng ở trong trường hợp này liên quan đến việc có ăn được thức ăn hay không, nếu con rắn ăn được thức ăn thì điểm thưởng sẽ cao. ® 7 (Policy) là chiến lược mà người chơi sử dụng để tính toán và lựa chọn hành động phù hợp trong suốt quá trình điều khiển con rắn. Chiến lược càng tốt thi tổng điểm thưởng thu về sẽ càng cao.
Vì vậy, tiêu của bài toán này là tìm ra chiến lược chơi tối tru. Trong kĩ thuật RL, quá trình học được thực hiện thông qua việc tác tử được trải nghiệm trên môi trường không gian trạng thái. Đầu tiên, tác tử khởi tạo một chiến lược (policy) và sử dụng chiến lược này để trải nghiệm trên môi trường không gian trạng thái. Theo đó, ở mỗi bước lặp thứ k, tác tử đang ở trạng thái (s¿), tac tử sẽ dựa trên chiến lược hiện tại để phân tích và quyết định chọn 1 hành động (z¿) nào đó trong số các hành động hợp lệ, việc chọn hành động trong quá trình học cần kèm thêm một số thành phần nhiễu để tác tử có thể khám phá và tạo ra các trải nghiệm mới, sau khi thực hiện hành động này tác tử sẽ được chuyển đến trạng thái tiếp theo (sự.
Sau khi quá trình này diễn ra, tác tử thu về điểm thưởng (reward) tương ứng, điểm thưởng này được phản hồi từ môi trường để cho biết việc chọn hành động a, ở trạng thái sự có hiệu quả như thé nao (thể hiện qua độ lớn của điểm thưởng).