Tóm Tắt Sự Kiện Quan Trọng Của Nhân Vật Trong Phim - Khóa Luận Tốt Nghiệp Khoa Học Máy Tính

LỜI CẢM ƠN

1. CHƯƠNG 1: TỔNG QUAN

1.1. Đặt vấn đề

1.2. Thách thức, Mục tiêu và phạm vi

1.3. Đóng góp của khóa luận

1.4. Cấu trúc khóa luận

2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN

2.1. Giới thiệu bài toán

2.2. Bài toán tóm tắt video cơ sở

2.3. Bài toán tóm tắt những sự kiện quan trọng của nhân vật cuộc thi TRECVID MSUM 2022

2.4. Một số phương pháp tiếp cận phổ biến

2.4.1. Phương pháp tiếp cận của đội MEMAD cho bài toán TRECVID VSUM 2020

2.4.2. Phương pháp tiếp cận của nhóm nghiên cứu NI_UIT cho bài toán TRECVID VSUM 2020

2.4.3. Tính điểm quan trọng

2.4.4. Phương pháp tiếp cận của nhóm nghiên cứu ADAPT cho bài toán TRECVID VSUM 2021

2.4.5. Phương pháp tiếp cận của nhóm nghiên cứu EURECOM cho bài toán TRECVID VSUM 2021

2.4.5.1. Lọc ra các phân đoạn có sự xuất hiện của nhân vật quan tâm

2.4.5.2. Phân loại phân đoạn bằng lời thoại

2.4.6. Phương pháp tiếp cận của nhóm nghiên cứu NH_UIT cho bài toán TRECVID VSUM 2021

2.4.6.1. Tính điểm quan trọng

3. CHƯƠNG 3: XÂY DỰNG HỆ THỐNG CHO BÀI TOÁN TÓM TẮT SỰ KIỆN QUAN TRỌNG CỦA NHÂN VẬT TRONG PHIM

3.1. Nhận diện khuôn mặt

3.2. So khớp văn bản

3.3. Tổng hợp độ quan trọng của phân đoạn

3.4. Tạo video tóm tắt

4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ

4.1. Mô tả

4.2. Tổng quan tập dữ liệu TRECVID MSUM 2022

4.3. Độ đo và tiêu chí đánh giá

4.4. Đánh giá và kết quả

4.4.1. Kết quả thực nghiệm trên một nhân vật

4.4.2. Kết quả cuộc thi TRECVID trên tập test

4.4.3. Kết quả trường hợp

4.4.4. Kết quả tập dữ liệu tự thu thập

4.4.4.1. Giới thiệu tập dữ liệu

5. CHƯƠNG 5: XÂY DỰNG ỨNG DỤNG MINH HỌA

5.1. Giao diện trực quan hoá dữ liệu

5.2. Giao diện trực quan kết quả thực nghiệm

6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

6.1. Kết luận

6.2. Hướng phát triển

TÀI LIỆU THAM KHẢO

I. Tổng quan về khóa luận

Khóa luận tập trung vào tóm tắt sự kiện quan trọng của nhân vật trong phim, một bài toán mới trong lĩnh vực khoa học máy tính. Mục tiêu chính là tự động hóa quá trình tóm tắt các sự kiện liên quan đến nhân vật cụ thể trong phim, giúp người xem nắm bắt nội dung chính mà không cần xem toàn bộ phim. Bài toán này đặt ra thách thức lớn về việc xác định và sắp xếp các sự kiện quan trọng theo cốt truyện của nhân vật.

1.1. Thách thức và mục tiêu

Thách thức chính bao gồm việc xử lý dữ liệu video đa dạng, chất lượng hình ảnh không đồng nhất, và yêu cầu cao trong việc xác định sự kiện quan trọng. Mục tiêu của khóa luận là xây dựng hệ thống tự động tóm tắt sự kiện của nhân vật dựa trên nhận diện khuôn mặt, chuyển đổi âm thanh thành văn bản, và phân tích nội dung video.

1.2. Phạm vi và đóng góp

Phạm vi nghiên cứu bao gồm việc tìm hiểu các phương pháp hiện có, xây dựng bộ dữ liệu, và thử nghiệm các phương pháp mới. Đóng góp chính của khóa luận là hoàn thiện bộ dữ liệu, đề xuất phương pháp mới, và xây dựng ứng dụng web minh họa kết quả.

II. Cơ sở lý thuyết và phương pháp tiếp cận

Khóa luận dựa trên các phương pháp phân tích nhân vật và tóm tắt video hiện có, đồng thời đề xuất hướng tiếp cận mới phù hợp với bài toán tóm tắt sự kiện của nhân vật. Các phương pháp được nghiên cứu bao gồm nhận diện khuôn mặt, chuyển đổi âm thanh thành văn bản, và phân tích nội dung video.

2.1. Bài toán tóm tắt video cơ bản

Bài toán tóm tắt video cơ bản tập trung vào việc rút gọn video bằng cách chọn các khung hình hoặc phân đoạn quan trọng. Tuy nhiên, bài toán trong khóa luận yêu cầu cao hơn khi cần tập trung vào các sự kiện liên quan đến nhân vật cụ thể.

2.2. Phương pháp tiếp cận cho bài toán mới

Các phương pháp tiếp cận bao gồm nhận diện khuôn mặt để xác định sự xuất hiện của nhân vật, chuyển đổi âm thanh thành văn bản để phân tích lời thoại, và sử dụng video captioning để mô tả nội dung video. Các phương pháp này được kết hợp để tạo ra bản tóm tắt chính xác và hiệu quả.

III. Xây dựng hệ thống và thực nghiệm

Hệ thống được xây dựng dựa trên các phương pháp đã đề xuất, bao gồm nhận diện khuôn mặt, chuyển đổi âm thanh thành văn bản, và phân tích nội dung video. Thực nghiệm được tiến hành trên bộ dữ liệu từ cuộc thi TRECVID và bộ dữ liệu tự thu thập.

3.1. Nhận diện khuôn mặt và phân tích lời thoại

Hệ thống sử dụng MTCNN và FaceNet để nhận diện khuôn mặt của nhân vật trong video. Âm thanh được chuyển đổi thành văn bản để phân tích lời thoại và xác định các sự kiện quan trọng.

3.2. Đánh giá kết quả

Kết quả thực nghiệm cho thấy hệ thống có khả năng tóm tắt chính xác các sự kiện quan trọng của nhân vật. Tuy nhiên, vẫn còn một số hạn chế về độ chính xác khi xử lý các video có chất lượng hình ảnh thấp.

IV. Ứng dụng và hướng phát triển

Khóa luận đã xây dựng ứng dụng web minh họa kết quả tóm tắt sự kiện của nhân vật. Ứng dụng này giúp người dùng dễ dàng theo dõi và đánh giá kết quả. Hướng phát triển trong tương lai bao gồm cải thiện độ chính xác của hệ thống và mở rộng ứng dụng cho các loại video khác.

4.1. Ứng dụng web minh họa

Ứng dụng web được thiết kế để trực quan hóa kết quả tóm tắt, giúp người dùng dễ dàng theo dõi các sự kiện quan trọng của nhân vật. Giao diện thân thiện và dễ sử dụng.

4.2. Hướng phát triển

Hướng phát triển bao gồm cải thiện độ chính xác của hệ thống, tích hợp thêm các phương pháp phân tích video tiên tiến, và mở rộng ứng dụng cho các loại video khác như phim tài liệu và video thể thao.

Khóa Luận Tốt Nghiệp Khoa Học Máy Tính: Tóm Tắt Sự Kiện Quan Trọng Của Nhân Vật Trong Phim