Chương 1: Tổng quan - Giới thiệu về lý do chọn để tài đặt ra những mục tiêu, thách thức, phạm vi liên quan trong khi làm khóa luận. Chương 2: Trình bày cơ sở lý thuyết và một số nghiên cứu liên quan. Chương 3: Trình bày xây dựng hệ thống cho bài toán tóm tắt các sự kiện lớn trong cuộc đời trên tập dữ liệu video BBC Eastenders. Chương 4: Trình bày thực nghiệm và đánh giá.
Chương 5: Trình bày xây dựng ứng dụng minh họa đề tài. Chương 6: Trình bày kết luận và hướng phát triển của đề tài. Chương 2 CƠ SỞ LÝ THUYET VÀ MỘT SO NGHIÊN CỨU LIÊN QUAN Để hiểu rõ bài toán tóm tắt những sự kiện quan trọng của các nhân vật trong chuỗi video BBC Eastenders TV, ta cần làm rõ các khái niệm liên quan, đồng thời tìm hiểu một số phương pháp tiếp cận hiện nay. Vì vậy, trong chương này, nhóm sinh viên giới thiệu một số khái niệm cơ bản về bài toán nền tảng tóm tắt video, đồng thời trình bày một số phương pháp nghiên cứu đã từng được áp dụng từ trước đến nay.1 Tổng quan bài toán 2.1 Bài toán tóm tắt video cơ sở Sự phát triển bùng nổ của dữ liệu video đã mang lại sự cấp thiết để phát triển các kỹ thuật thị giác máy tính có thể duyệt và xem video một cách hiệu quả [3, 4].
Để giải quyết vấn đề này, bài toán tóm tắt video trên 2 bộ dữ liệu chuẩn là TVSUM và SumMe đã thu hút sự chú ý ngày càng tăng trong vài năm qua [5, 6, 7] và nhiều phương pháp tóm tắt video đã được đề xuất [8, 7, 9]. Nói chung, mục tiêu của việc tóm tắt video là tạo ra một phiên bản nhỏ gọn hơn 2. Cơ sở lý thuyết và một số nghiên cứu liên quan của video gốc trong khi vẫn giữ được nội dung quan trọng và phù hợp của nó [10, 11]. Cụ thể (Hình 3.14): ¢ Đầu vào: Một video.
* Đầu ra: Video ngắn hơn video gốc (thường bằng 15% so với video gốc) nhưng vẫn chứa đầy đủ nội dung chính. Theo các bài khảo sát [8, 12, 4] đã chỉ ra rằng một hệ thống tóm tắt video được chia làm ba bước: * Shot boundary detection: Bước này đảm nhận vào trò cắt video đầu vào thành những phân đoạn nhỏ, riêng biệt, không trùng nhau. ¢ Frame-level importance score prediction: Tính toán độ quan trọng của mỗi khung hình. Cơ sở lý thuyết và một số nghiên cứu liên quan ¢ Key shot selection: Từ thông tin đã có ở bước 1 và bước 2, bước nay sẽ tính toán điểm quan trọng của mỗi phân đoạn và sẽ tổng hợp video đầu ra có độ dài nhỏ hơn hoặc báng độ dài mong muôn ở đầu vào.2 Bài toán tóm tắt những sự kiện quan trọng của các nhân vật trong chuỗi video BBC Eastenders TV Lấy cảm hứng từ bài toán tóm tắt video trên 2 bộ dữ liệu chuẩn TvSum, SumMe và nhằm thúc đẩy việc nghiên cứu tóm tắt video, bắt đầu từ năm 2020, nhiệm vụ tóm tắt video được bổ sung trong TRECVID, nơi mỗi đội tham gia có nhiệm cụ tóm tắt các sự kiện chính trong cuộc đời của các nhân vật cụ thể trong một số tuần của loạt phim BBC EastEnders TV.
Cụ thể hơn, đối với 5 nhân vật khác nhau của loạt phim, những người tham gia phải gửi 4 bản tóm tắt tương ứng với 5, 10, 15 và 20 phân đoạn được chọn với tổng độ dài tối đa của mỗi bản tóm tắt tương ứng 50s, 100s, 150s và 200s. Nhằm đánh giá một cách khách quan, cuộc thi cung cấp một bộ 5 câu hỏi cho mỗi nhân vật để đánh giá mỗi bản tóm tắt trả lời bao nhiêu câu hỏi trong số đó. Vì vậy đầu vào và đầu ra của cuộc thi có một chút khác biệt so với nhiệm vụ tóm tắt video thông thường: * Đầu vào: — Chuỗi video BBC EastEnders TV (11 videos, tổng thời lượng 20 giờ). — Một nhân vật cụ thể.
- Số lượng phân đoạn tối đa (5, 10, 15, 20) và tổng độ dài tương ứng (50s, 100s, 150s, 200s). « Dau ra: Bản video tóm tat các sự kiện quan trong của nhân vật đó với số lượng phân đoạn và tổng thời gian theo yêu cầu. Có thể nói nhiệm vụ này khó hơn rất nhiều so với bài toán tóm tắt video thông thường. Khi mà sự kiện chính trong cuộc đời của nhân vật như : Sự ra đời 2.
Cơ sở lý thuyết và một số nghiên cứu liên quan của một đứa trẻ chứ không phải là một trận ốm ngắn, một cuộc ly hôn chứ không phải là một cuộc tranh cãi với người thân, sự ra đi của một người thân yêu hơn là sự ra đi của người mà bạn không quen biết,. Ngoài ra độ dài của mỗi video rất dài, trung bình mỗi video lên đến 2 tiếng.2 Khái niệm co bản 2.1 Xác xuất xảy ra đồng thời Định lý nhân xác suất: là một định lí đùng để xác định xác suất để cả 2 sự kiện A và B xảy ra.Trong bài toán giản lược video, định lý nhân xác suất được áp dụng trong phương pháp tính độ quan trọng của các nhân vật xuất hiện đồng thời.B Trong đó: A: là biến cố A. B: là biến cô B. C: là biên cô xảy ra cả A và B.2 Mang Nơ-ron nhân tạo 2.1 Giới thiệu mạng Nơ-ron Năm 1943, Warren McCulloch và Walter Pitts đưa ra một mô hình đơn giản các nơ-ron nhân tạo.
Đây cũng chính là bước khởi đầu lịch sử của ANN. Cho tới tận ngày nay, mô hình này vẫn được xem như là nền tảng cho hầu hết các ANN. Ở đây, các nơ-ron được gọi là các Perceptron [13] Nơ-ron nhân tạo cơ bản (hình 2. Cơ sở lý thuyết và một số nghiên cứu liên quan Inputs Weights ow W, Weighted Step Hình 2.2: Cấu tao của tế bao noron nhân tạo Trong đó: X1,X2,x3: là các đầu vào W1,W2,W3: các trọng số tương ứng với các đầu vào Weighted Sum: hàm xử lí tính tổng các trọng số Step Function: hàm chuyển (hàm kích hoạt).
Trong một mạng nơron có ba kiểu đơn vị: * Các đơn vị đầu vào (Input units): nhận tín hiệu từ bên ngoài; * Các đơn vị đầu ra (Output units): gửi dữ liệu ra bên ngoài; * Các đơn vị ẩn (Hidden units): Đầu ra của một lớp ẩn này sẽ là đầu vào của lớp ẩn kia. Mỗi lớp ẩn được cấu thành bởi một loạt các đơn vị ẩn (hidden unit). Mục tiêu của lớp ẩn là xây dựng các phép biểu diễn, các đặc trưng bằng cách kết hợp các đặc trưng của lớp trước đó. Cơ sở lý thuyết và một số nghiên cứu liên quan Mộ mạng nơ-ron có thể có một hoặc nhiều đầu vào: xọ, xị, x2, ., Xn nhưng chỉ có một đầu ra.
Một đầu vào tới một đơn vị có thể là dữ liệu từ bên ngoài mạng, hoặc đầu ra của một đơn vị khác, hoặc là đầu ra của chính nó.2 Một số hàm xử lý ¢ Hàm bước nhị phân (Binary step function, Hard limitfunction) (Hình 2.4) Ham này cũng được biết đến với tên "Hàm ngưỡng". Dau ra của ham nay được giới hạn vào một trong hai giá trị: Công thức: 1 néux>0 (2.1b) như chúng ta có thể thấy từ phương trình trên, đây là một hàm ngưỡng rất đơn giản. Nếu x lớn hơn 0, ta xuất ra 1, ngược lại, ta xuất 0.3: Đồ thị của hàm bước nhị phân 12 2. Cơ sở lý thuyết và một số nghiên cứu liên quan ¢ Ham sigmoid (Sigmoid function (logsig)) (Hình 2.3) Công thức: t= ¥ win s(t) = l+e 1 (2.2) i=l Ham sigmoid là một lựa chọn tốt hơn cho việc học so với hàm bước đơn giản vi nó: 1.
Liên tục và có thể phân biệt ở mọi nơi. Đối xứng quanh trục y. Tiệm cận ké các giá trị bão hòa của nó. Ưu điểm chính ở đây là sự mượt mà của hàm sigmoid giúp việc tạo ra các thuật toán học tập dễ dàng hơn.
Tuy nhiên, có hai vẫn đề lớn với hàm sigmoid: 1. Các đầu ra của sigmoid không được căn giữa. Các tế bào thần kinh bão hòa về cơ bản tiêu diệt gradient, vì delta của gradient sẽ cực kỳ nhỏ (Gradient Vanishing).4: Đồ thi của hàm Sigmoid 13 2. Cơ sở lý thuyết và một số nghiên cứu liên quan ¢ Ham sigmoid lưỡng cực (Bipolar sigmoid function (tanh)) (Hình 2.5) Công thức: LAI CN f(x) = tanh(x) = (2.3) exte~* Ham nay có các thuộc tính tuơng tự ham sigmoid.
Nó làm việc tốt đối với các ứng dụng có đầu ra yêu cầu trong khoảng [-1,1]. Ham tanh là có điểm 0 ở giữa, nhưng các gradient vẫn bị triệt tiêu khi các tế bào thần kinh trở nên bão hòa (Gradient Vanishing).5: Đồ thị của hàm Tanh ¢ Hàm ReLU (Rectified Linear Unit) (Hình 2.6) Công trình nghiên cứu của Hahnloser và các cộng sự năm 2000 giới thiệu hàm kích hoạt Rectified Linear Unit (ReLU) [14] được định nghĩa như sau: Công thức: f(x) = max(0,x) (2.4) Ham ReLU là một hàm kích hoạt được sử dung rất phổ biến khi xây dung mạng nơ-ron. Khắc phục nhược điểm tiêu biến gradient (Gradient Vanishing) của hàm sigmoid và hàm tanh. Cơ sở lý thuyết và một số nghiên cứu liên quan ReLU f(x) -2 0 xX Hình 2.6: Đồ thi của hàm ReLU ¢ Ham Leaky ReLUs (Hình 2.7) Một biến thể của ReLU, được gọi là Leaky ReLUs [15] cho phép một gradi- ent nhỏ, khác 0 khi đơn vi (unit) không hoạt động: Công thức: x nếu x >0 (2.5b) Khác với hàm ReLU, hàm Leaky ReLUs thực sự được phép nhận một giá tri ^ âm.
¢ Hàm ELU (Exponential Linear Units) (Hình 2.8) Ham Exponential Linear Units (ELU) được giới thiệu bởi Clevert và các cộng sự trong một bai báo 2015. [16] Công thức : x nếu x > 0 (2. Cơ sở lý thuyết và một số nghiên cứu liên quan Leaky ReLU (alpha=0.7: Đồ thị của hàm Leaky ReLUs Giá trị của œ là không đổi và được đặt khi kiến trúc mạng được khởi tạo - điều này không giống như PReLUs nơi học œ. Giá trị điển hình của œ là œ = 1.
Thông qua các nghiên cứu của Clevert và các cộng sự [16], ELU thường thu được độ chính xác phân loại cao hơn ReLUs.8: Đồ thị của hàm ELU 2.3 Hàm mắt mát Khi huấn luyện mạng nơ-ron nhân tạo, hàm mat mát đóng vai trò cực kì quan trọng. Nó là thước đo cho biết độ lỗi của mô hình với so với kết quả thật sự. Cơ sở lý thuyết và một số nghiên cứu liên quan lỗi càng nhỏ, mô hình càng hoạt có hiệu quả. Sau đây nhóm sinh viên sẽ giới thiệu một số hàm mất mát cơ bản cho bài toán.