Kỹ Thuật Tìm Kiếm Video Trong Hệ Thống Đào Tạo

• Người hướng dẫn: PGS. TS Đặng Văn Đức
• Trường học: Trường Đại Học Công Nghệ Thông Tin Và Truyền Thông
• Chuyên ngành: Kỹ Thuật Tìm Kiếm Video
• Đề tài: Kỹ Thuật Tìm Kiếm Video Trong Hệ Thống Đào Tạo
• Loại tài liệu: luận văn
• Năm xuất bản: 2018
• Địa điểm: Thái Nguyên

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TÌM KIẾM VIDEO
• 1.1. Kiến trúc tổng quan hệ thống tìm kiếm video
• 1.2. Mô hình dữ liệu video
• 1.2.1. Khái niệm mô hình dữ liệu video
• 1.2.2. Yêu cầu đối với một mô hình dữ liệu video
• 1.2.3. Mô hình dữ liệu video điển hình
• 1.2.4. Mô hình tổng quát về SDL video
• 1.2.5. Kiến trúc tổng thể SDL video
• 1.2.6. Yêu cầu chính của SDL video
• 2. CHƯƠNG 2: MỘT SỐ KỸ THUẬT SỬ DỤNG TRONG XÂY DỰNG HỆ THỐNG TÌM KIẾM VIDEO
• 2.1. Kỹ thuật tách lia video
• 2.2. Kỹ thuật tìm Frame đại diện cho lia video
• 2.3. Đối sánh tìm kiếm frame đại diện
• 2.4. Ưu điểm và nhược điểm của biểu đồ màu
• 2.5. Tách lia biến đổi dần dần
• 3. CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM
• 3.1. Dữ liệu thử nghiệm
• 3.2. Mô tả hệ thống, môi trường và công cụ thử nghiệm
• 3.3. Đánh giá kết quả thử nghiệm
• PHẦN KẾT LUẬN
• DANH MỤC TÀI LIỆU THAM KHẢO
• DANH MỤC HÌNH ẢNH
• DANH MỤC TỪ VỰNG VIẾT TẮT

I. Tổng Quan Về Hệ Thống Tìm Kiếm Video Theo Nội Dung

Với sự phát triển của xã hội, ngành công nghệ thông tin và truyền thông cũng phát triển nhanh chóng. Các nghiên cứu về công nghệ liên quan đến video đã đạt được những thành tựu nhất định. Một số lượng lớn các dữ liệu video được ứng dụng nhiều trong công nghệ giải trí (phim ảnh, clip âm nhạc). Nhiều phòng chức năng có nhiệm vụ lưu trữ và thu thập các video (tư liệu lịch sử, tư liệu khai quật khảo cổ của địa phương hay quốc gia). Chính sự phát triển vượt bậc của công nghệ thu giữ (capture) dữ liệu nghe nhìn và không gian lưu trữ ngày càng gia tăng đã cho phép tạo ra các bộ sưu tập khổng lồ các dữ liệu đa phương tiện. Tuy nhiên, khi CSDL ngày càng phình to ra thì những khó khăn trong việc tìm kiếm video mong muốn lại cũng tăng lên. Như trong nhiều ứng dụng, đòi hỏi không chỉ nhận biết video nào chứa thông tin cần tìm, mà còn cần nhận biết phần nào của video chứa thông tin cần tìm. Duyệt video để tìm kiếm một vài thông tin cụ thể là rất tốn kém thời gian, do vậy cần thiết phải có các phương pháp tự động định vị các shot (lia) chứa thông tin cần tìm. Để giải quyết vấn đề này, đề tài luận văn nghiên cứu kỹ thuật tìm kiếm video theo nội dung, tập trung nghiên cứu kỹ thuật tách lia video hay phân đoạn video thành các shot, định danh các khung frame được mỗi lia và chỉ số hóa và tìm kiếm theo đặc trưng của các khung frame.

1.1. Kiến Trúc Tổng Quan Hệ Thống Tìm Kiếm Video

Kiến trúc tổng quan của hệ thống tìm kiếm video theo nội dung bao gồm hai giai đoạn chính: offline và online. Giai đoạn offline xử lý trước băng video thành các lia. Các lia đại diện cho video, tách thành các frame. Đối với lia tĩnh, có thể chọn luôn được frame đại diện. Đối với lia động thì có nhiều phương pháp tìm frame đại diện như sử dụng phương tính trung bình biểu đồ màu của các đoạn, frame có biểu đồ màu gần nhất là frame đại diện. Phần tìm frame đại diện sẽ được trình bày rõ ở chương 2. Sau khi có frame đại diện cho mỗi video, sẽ có một cơ sở dữ liệu frame đại diện. Giai đoạn online nhận ảnh đầu vào, tiền xử lý chọn ra một ảnh tương tự như frame đại diện cho video. Khi đã có ảnh đầu vào, đối sánh đặc trưng của ảnh đầu vào với frame đại diện, nếu tương đồng thì cho ra video cần tìm. Đánh giá mức độ phù hợp và phản hồi kết quả.

1.2. Ứng Dụng Hệ Thống Tìm Kiếm Video Theo Nội Dung

Video là media giàu thông tin. Một video đầy đủ bao gồm phụ đề (subtitle) bằng text, rãnh tiếng (tiếng nói và không phải tiếng nói), các ảnh được ghi và trình chiếu theo tốc độ cố định. Vậy video được xem như tổ hợp text, audio và các ảnh có chiều thời gian ảnh động. Thêm nữa, video còn kết hợp với metadata như tên video, tác giả/ nhà sản xuất. Các dữ liệu video được ứng dụng nhiều trong công nghệ giải trí (phim ảnh, clip âm nhạc). Nhiều phòng chức năng có nhiệm vụ lưu trữ và thu thập các video (tư liệu lịch sử, tư liệu khai quật khảo cổ của địa phương hay quốc gia). Chính vì sự giàu thông tin và ứng dụng nhiều trong các lĩnh vực như vậy mà luận văn này của tác giả đề cập đến phương pháp tiệm cận tổng quát đến chỉ mục và truy tìm video trên cơ sở shot (lia). Việc tìm kiếm này là chia trình tự video thành nhóm các frame tương tự, sau đó chỉ mục và truy tìm trên cơ sở các frame đại diện của các nhóm này (gọi là shot).

II. Mô Hình Dữ Liệu Video Trong Hệ Thống Đào Tạo E Learning

Video giống như một tập các hình ảnh ở các thời điểm được sắp xếp, biểu diễn theo một chuỗi thời gian nhất định. Trên thực tế chính là chuyển động của các điểm ảnh từ trạng thái này sang trạng thái khác, hay là sự chuyển động của mỗi đối tượng riêng lẻ được phân tích từ dữ liệu video. Công cụ tìm kiếm video cho phép người dùng thuận tiện trong quá trình tìm kiếm phục vụ nhiều mục đích khác nhau như giải trí, giáo dục và truyền thông. Video sẽ được tổ chức trong một cấu trúc phân cấp của những cảnh, ảnh chụp và khung. Mô hình dữ liệu video tổng quát: băng video bao gồm dãy các ảnh chụp theo tốc độ nhất định. Chúng ta gọi các đoạn này là video shot. Một shot là trình tự các frame liên tục, ngắn có một hay nhiều các đặc trưng sau: Mô tả cùng một cảnh (scene), báo hiệu một thao tác máy quay (bấm máy quay), chứa sự kiện mô tả hay một hành động của một đối tượng, được người sử dụng lựa chọn như thực thể để chỉ mục. Trong mô hình còn thể hiện cut detection: là quá độ từ shot này sang shot khác - hard cut - Quá độ từ từ (gradual).

2.1. Khái Niệm Mô Hình Dữ Liệu Video Trong Đào Tạo

Mô hình dữ liệu video là đơn vị trung tâm của một hệ thống CSDL video. Một mô hình dữ liệu cần phải tách rời người dùng ra khỏi chi tiết của việc quản lý các thiết bị lưu trữ và cấu trúc lưu trữ. Điều này đòi hỏi phải phát triển các mô hình dữ liệu tương ứng để tổ chức các kiểu dữ liệu khác nhau thường gặp trong các hệ thống CSDL video. Các mô hình dữ liệu video (cũng giống như các mô hình dữ liệu truyền thống khác) nắm bắt các đặc tính cố định cũng như động của nội dung CSDL và vì vậy nó cung cấp các khuôn mẫu cơ bản cho việc phát triển các công cụ cần thiết để sử dụng dữ liệu video. Các thuộc tính cố định có thể bao gồm các đối tượng tạo nên dữ liệu video, mối liên hệ giữa các đối tượng, thuộc tính của các đối tượng… Các đặc tính động bao gồm sự tương tác...

2.2. Yêu Cầu Đối Với Mô Hình Dữ Liệu Video E Learning

Một mô hình dữ liệu video đáp ứng các yêu cầu nêu trên, chúng ta cần phải có được một số các yêu cầu cụ thể cho nó như sau: Có khả năng lưu trữ lớn, đầy đủ các khả năng của một CSDL truyền thông, có khả năng khai thác dữ liệu thuận tiện, hỗ trợ truy vấn video, có khả năng tích hợp, tổng hợp và thể hiện, có giao diện video và tương tác. Để cho hệ thống hoạt động tốt chúng ta cần phải giải quyết các vấn đề sau: Hệ thống CSDL video sẽ được xây dựng như thế nào để có thể bao gồm các lĩnh vực ứng dụng khác, xây dựng phần hạt nhân cho việc phân rã, lưu trữ và quản lý thông tin ở mức độ nào? Các công nghệ, cấu trúc nền tảng được sắp xếp và sử dụng như thế nào? Xác định được hai tầng thể hiện nào mà một hệ thống video phải có để đạt được các yêu cầu và các cách thức thể hiện khác nhau. Làm cách nào để hỗ trợ việc đồng bộ hóa việc thể hiện các dữ liệu tạm thời cũng như các dữ liệu bộ phận của các dữ liệu video khác nhau. Các kiến thức về tổng hợp dữ liệu đối với CSDL video, làm thế nào để có thể phát triển được một ngôn ngữ truy vấn đáng tin cậy và có hiệu quả để hỗ trợ cho vô số phương thức truy nhập và các kiểu đối tượng khác nhau. Làm thế nào để ngôn ngữ truy vấn hỗ trợ được các đặc tính và hình thái khác nhau của dữ liệu video. Giả sử các kiểu media khác nhau có các yêu cầu cập nhật và sửa đổi thông tin khác nhau thì hệ thống sẽ cập nhật các thành phần này như thế nào.

III. Kỹ Thuật Tách Lia Video Trong Hệ Thống Đào Tạo

Trong chương này sẽ trình bày hệ thống tìm kiếm video theo nội dung. Nêu khái niệm và ý nghĩa của mô hình dữ liệu video. Video giống như một tập các hình ảnh ở các thời điểm được sắp xếp, biểu diễn theo một chuỗi thời gian nhất định. Trên thực tế chính là chuyển động của các điểm ảnh từ trạng thái này sang trạng thái khác, hay là sự chuyển động của mỗi đối tượng riêng lẻ được phân tích từ dữ liệu video. Công cụ tìm kiếm video cho phép người dùng thuận tiện trong quá trình tìm kiếm phục vụ nhiều mục đích khác nhau như giải trí, giáo dục và truyền thông. Video sẽ được tổ chức trong một cấu trúc phân cấp của những cảnh, ảnh chụp và khung.

3.1. Phương Pháp Tách Lia Video Biến Đổi Đột Ngột

Phương pháp tách lia video biến đổi đột ngột là một trong những kỹ thuật cơ bản trong xử lý video. Nó giúp chia video thành các đoạn nhỏ hơn, gọi là lia, dựa trên sự thay đổi đột ngột về nội dung hình ảnh. Các lia này thường tương ứng với các cảnh quay khác nhau trong video. Việc tách lia là bước quan trọng để phân tích và tìm kiếm video hiệu quả hơn. Các thuật toán thường sử dụng sự khác biệt về màu sắc, độ sáng hoặc các đặc trưng hình ảnh khác giữa các khung hình liên tiếp để phát hiện các điểm cắt cảnh đột ngột.

3.2. Kỹ Thuật Tách Lia Video Biến Đổi Dần Dần

Kỹ thuật tách lia video biến đổi dần dần phức tạp hơn so với biến đổi đột ngột. Các biến đổi dần dần, như mờ dần (fade) hoặc hòa tan (dissolve), diễn ra trong một khoảng thời gian, làm cho việc phát hiện trở nên khó khăn hơn. Các thuật toán thường sử dụng phân tích thống kê hoặc mô hình hóa sự thay đổi hình ảnh theo thời gian để xác định các điểm chuyển cảnh dần dần. Việc này đòi hỏi sự nhạy bén và khả năng xử lý nhiễu tốt để tránh bỏ sót hoặc phát hiện sai các điểm chuyển cảnh.

IV. Tìm Frame Đại Diện Cho Lia Video Trong E Learning

Sau khi video được chia thành các lia, việc tìm frame đại diện cho mỗi lia là rất quan trọng. Frame đại diện giúp tóm tắt nội dung của lia và được sử dụng để tìm kiếm và duyệt video nhanh chóng. Có nhiều phương pháp để tìm frame đại diện, bao gồm chọn frame đầu tiên, frame giữa, hoặc frame có đặc trưng hình ảnh nổi bật nhất. Việc lựa chọn phương pháp phù hợp phụ thuộc vào nội dung và mục đích sử dụng của video.

4.1. Phương Pháp Chọn Frame Đầu Tiên Làm Đại Diện

Phương pháp chọn frame đầu tiên làm đại diện là đơn giản và nhanh chóng. Tuy nhiên, nó có thể không hiệu quả nếu frame đầu tiên không phản ánh chính xác nội dung của lia. Phương pháp này thường được sử dụng khi thời gian xử lý là yếu tố quan trọng và độ chính xác không quá cao.

4.2. Phương Pháp Chọn Frame Giữa Làm Đại Diện

Phương pháp chọn frame giữa làm đại diện thường hiệu quả hơn so với chọn frame đầu tiên. Frame giữa có khả năng cao hơn phản ánh nội dung trung bình của lia. Tuy nhiên, nó vẫn có thể không phù hợp nếu nội dung của lia thay đổi đáng kể trong suốt thời gian.

4.3. Phương Pháp Chọn Frame Nổi Bật Nhất Làm Đại Diện

Phương pháp chọn frame nổi bật nhất làm đại diện là phức tạp nhất nhưng cũng có khả năng cho kết quả tốt nhất. Phương pháp này sử dụng các thuật toán phân tích hình ảnh để xác định frame có đặc trưng nổi bật nhất, ví dụ như độ tương phản cao, màu sắc đặc biệt, hoặc chứa các đối tượng quan trọng. Frame này thường phản ánh chính xác nhất nội dung của lia.

V. Ứng Dụng Thực Tế Kỹ Thuật Tìm Kiếm Video E Learning

Các kỹ thuật tìm kiếm video có nhiều ứng dụng thực tế trong hệ thống đào tạo e-learning. Chúng có thể được sử dụng để tạo ra các công cụ tìm kiếm mạnh mẽ cho phép sinh viên nhanh chóng tìm thấy các video liên quan đến chủ đề họ đang học. Chúng cũng có thể được sử dụng để tạo ra các hệ thống gợi ý video cá nhân hóa, giúp sinh viên khám phá các video mới mà họ có thể quan tâm. Ngoài ra, các kỹ thuật tìm kiếm video có thể được sử dụng để phân tích nội dung video và tạo ra các bản tóm tắt tự động, giúp sinh viên tiết kiệm thời gian và tập trung vào các điểm chính.

5.1. Tạo Công Cụ Tìm Kiếm Video Mạnh Mẽ Cho E Learning

Các công cụ tìm kiếm video mạnh mẽ cho phép sinh viên tìm kiếm các video dựa trên từ khóa, chủ đề, hoặc các đặc trưng hình ảnh. Các công cụ này có thể sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) để hiểu ý nghĩa của các từ khóa và các kỹ thuật nhận dạng đối tượng để tìm kiếm các video chứa các đối tượng cụ thể. Điều này giúp sinh viên nhanh chóng tìm thấy các video liên quan đến nhu cầu học tập của họ.

5.2. Xây Dựng Hệ Thống Gợi Ý Video Cá Nhân Hóa

Các hệ thống gợi ý video cá nhân hóa sử dụng các thuật toán machine learning để phân tích lịch sử xem video của sinh viên và gợi ý các video mới mà họ có thể quan tâm. Các hệ thống này có thể sử dụng các kỹ thuật phân tích video để hiểu nội dung của các video và các kỹ thuật phân tích người dùng để hiểu sở thích của sinh viên. Điều này giúp sinh viên khám phá các video mới và mở rộng kiến thức của họ.

VI. Kết Luận Và Hướng Phát Triển Kỹ Thuật Tìm Kiếm Video

Luận văn đã trình bày các kỹ thuật tìm kiếm video theo nội dung, tập trung vào kỹ thuật tách lia video và tìm frame đại diện. Các kỹ thuật này có nhiều ứng dụng trong hệ thống đào tạo e-learning, giúp sinh viên tìm kiếm và khám phá video hiệu quả hơn. Trong tương lai, các nghiên cứu sẽ tập trung vào việc phát triển các kỹ thuật tìm kiếm video thông minh hơn, sử dụng AI và deep learning để hiểu nội dung video sâu sắc hơn và cung cấp các kết quả tìm kiếm chính xác và phù hợp hơn.

6.1. Phát Triển Kỹ Thuật Tìm Kiếm Video Dựa Trên AI

Việc ứng dụng AI trong tìm kiếm video mở ra nhiều tiềm năng mới. Các thuật toán AI có thể được sử dụng để phân tích nội dung video một cách tự động, bao gồm nhận dạng đối tượng, phân tích cảm xúc, và hiểu ngôn ngữ. Điều này cho phép tạo ra các công cụ tìm kiếm thông minh hơn, có khả năng hiểu ý định của người dùng và cung cấp các kết quả tìm kiếm chính xác và phù hợp hơn.

6.2. Nghiên Cứu Ứng Dụng Deep Learning Trong Tìm Kiếm Video

Deep learning là một lĩnh vực con của AI đang phát triển mạnh mẽ. Các mô hình deep learning có khả năng học các đặc trưng phức tạp từ dữ liệu video, cho phép tạo ra các hệ thống tìm kiếm video có độ chính xác cao. Các nghiên cứu hiện tại đang tập trung vào việc sử dụng deep learning để phân tích nội dung video, nhận dạng đối tượng, và dự đoán hành vi của người dùng.