MỞ ĐẦU. Lý do chọn đề tài. Mục tiêu nghiên cứu. Đối tƣợng và phạm vi nghiên cứu.
Phƣơng pháp nghiên cứu. Ý nghĩa khoa học và thực tiễn. 3 CHƢƠNG 1: TỔNG QUAN VỀ BÀI TO N B M S T ĐỐI TƢỢNG BỊ CHE KHUẤT TRONG VIDEO. Dữ liệu video .Khái niệm video .Một số bài toán trên dữ liệu video.
Bài toán phát hiện đối tƣợng bị che khuất trong video. Đối tượng bị che khuất. Quy trình phát hiện che khuất trong hệ thống giám sát tự động. Sự phổ biến của đối tượng bị che khuất trong video.
Một số tiếp cận trong phát hiện đối tƣợng bị che khuất. Tiếp cận dựa trên Histogram matching. Tiếp cận dựa trên Template matching.3 Tiếp cận dựa trên Keypoint. Kết luận chƣơng 1.
24 CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ B M S T ĐỐI TƢỢNG BỊ CHE KHUẤT. Kỹ thuật dựa trên histogram matching .1 Thuật toán dựa trên Histogram. Thuật toán dựa trên biểu đồ tích lũy. Kỹ thuật dựa trên Template Matching.
Vị trí đối tượng tốt nhất. Đối sánh mẫu thích ứng. Kỹ thuật dựa vào đặc trƣng bất biến tỉ lệ (Scale Invariant Feature Transforms- SIFT). Đặc trưng bất biến tỉ lệ.
Trích chọn điểm bất biến tỉ lệ. Xây dựng mô hình đặc trưng bất biến tỉ lệ. Kết luận chƣơng 2. 45 CHƢƠNG 3: THỰC NGHIỆM.
Bài toán bám sát đối tƣợng bị che khuất trong video. Phân tích yêu cầu và thu thập dữ liệu. Mô hình chƣơng trình thử nghiệm và môi trƣờng cài đặt. Kết quả thực nghiệm.
Đáng giá thực nghiệm. Kết luận chƣơng 3. 54 DANH MỤC TÀI LIỆU THAM KHẢO. 56 QUY T ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO) e DANH MỤC CÁC CH VI T TẮT Từ viết tắt Từ viết đầy đủ A2G Area under 2 Gaussians CHD Cumulative Histogram Difference CHP Cumulative Histogram Power CHS Cumulative Histogram Size DSSD Deconvolutional single shot detector D2G Difference between 2 Gaussians HOG Histograms of Oriented Gradients ImageNet Large Scale Visual Recognition ILSVRC2015 Challenge in 2015 LCT Long-term Correlation filter Tracker LHA Linearized Histogram Area LHD Linearized Histogram Difference MACH Maximum average correlation height MACF Motion Aware Correlation Filter NCC Normalized Cross Correlation PSR Peak to Side lobe Ratio SAD Sum of Absolute Differences SSD Sum of Squared Differences SIFT Scale Invariant Feature Transform STC Spatio Temporal Context T2G Truncated 2 Gaussians VSAM Video Surveillance and Monitoring VOT Visual Object Tracking e DANH MỤC CÁC H NH ẢNH Hình 1.
Sơ đồ quy trình phát hiện che khuất dựa trên một hoặc nhiều camera. Kết quả của thuật toán phát hiện. Kết quả phát hiện. Theo dõi đồng thời 2 đối tƣợng [20].
(1) Hình ảnh từ camera bãi đậu xe. (2) Đầu ra của mô-đun trừ nền. Theo dõi kết quả về sự hiện diện của đối tƣợng bị che khuất. Phát hiện sự kiện tổng hợp nhiều camera về sự kiện trộm cắp trong siêu thị.
Kết quả phát hiện thu đƣợc từ việc khác biệt khung hiện tại với khung nền. Kết quả bám sát và phát hiện đối tƣợng với một và nhiều ngƣời 15 Hình 1. Vị trí của đối tƣợng đƣợc đánh dấu tƣơng ứng trong hình. Minh hoạ quá trình so sánh ảnh.
Minh họa keypoint. Mô tả hoạt động máy dò đối tƣợng. Xác định vị trí của một góc giới hạn đối tƣợng. Thuật toán để tìm vị trí đối tƣợng tốt nhất.
Thuật toán cập nhật mẫu. Ghép ảnh định hƣớng đa tỉ lệ (Multi-Scale Oriented Patches). Trích xuất các bản vá định hƣớng ở nhiều tỷ lệ (Extract oriented patches at multiple scales). Quá trình tính không gian đo ( ) và hàm sai khác D.
Quá trình tìm điểm cực trị trong các hàm sai khác DoG. Minh họa quá trình lựa chọn các điểm keypoints. Tạo bộ mô tả cục bộ. Mô tả đối tƣợng khuôn mặt và đối tƣợng ngƣời bị che bởi đối tƣợng khác.
Khuôn mặt và đối tƣợng tiger bị che khuất bởi nền. Mô tả bám sát cho 3 đối tƣợng ngƣời tƣơng ứng với 3 màu. Sơ đồ quy trình phát hiện che khuất dựa cách tiếp cận keypoint 50 Hình 3. Giao diện chƣơng trình.
Lấy video đầu vào có ảnh là quyển sách bị che khuất bởi bàn tay. Xoay quyển sách và che khuất quyển sách bằng bàn tay. Kết quả chƣơng trình phát hiện đối tƣợng. Lý do chọn đề tài Hiện nay, cả thế giới và Việt Nam đang trong cuộc cách mạng công nghiệp lần thứ 4, với bản chất là máy tính thay thế dần vài trò của con ngƣời trong việc điều hành mọi công việc của đời sống xã hội.
Xu thế phát triển của cuộc cách mạng công nghiệp lần thứ 4, kéo theo nhiều lĩnh vực của công nghệ thông tin phát triển, trong đó có lĩnh vực xử lý ảnh và thị giác máy. Một trong những bài toán quan trọng trong xử lý ảnh và thị giác máy đó là giám sát tự động dƣới sự hỗ trợ của camera với các vấn đề nghiên cứu: phát hiện đối tƣợng, nhận dạng đối tƣợng, theo vết/ bám sát đối tƣợng trong video. Giám sát tự động là một vấn đề đƣợc rất nhiều nhà nghiên cứu quan tâm đặc biệt bởi những ứng dụng thiết thực của nó cho đời sống xã hội. Chẳng hạn nhƣ các hệ thống giám sát các hành vi khả nghi của tội phạm, khủng bố ở các địa điểm nhạy cảm của các chính phủ.
Hệ thống giám sát trong các viện bảo tàng, lƣu trữ để chống trộm cắp các di vật đang đƣợc trƣng bày. Hệ thống giám sát các hiện tƣợng bất bình thƣờng, vi phạm pháp luật, tai nạn ở các điểm giao thông. Hệ thống giám sát phòng chống hỏa hoạn. Các hệ thống giám sát trong các siêu thị, cửa hàng, công ty để chống trộm cắp v.
Hệ thống giám sát tự động đƣợc sử dụng để phát hiện, nhận ra và bám sát các đối tƣợng nhất định trong một cảnh. Loại hệ thống này chủ yếu đƣợc sử dụng trong các ứng dụng nhƣ an ninh cho con ngƣời, các tòa nhà lớn, phát hiện mục tiêu quân sự và giám sát giao thông trong các thành phố. Về cơ bản, nó là một hệ thống ghi video đƣợc sử dụng để phân tích hậu sự kiện. Trƣớc đây, con ngƣời xem các video trong loại hệ thống nói trên để kiểm tra, theo dõi bất kỳ hoạt động bất thƣờng nào.
Các hệ thống này không thể cung cấp đủ bảo mật bởi nhiều vấn đề khác nhau. Từ đó hơn là giám sát video thụ động, ta e 2 cần sử dụng hệ thống video hiệu quả, tức giám sát phải nhanh chóng, đáng tin cậy và sử dụng các thuật toán mạnh mẽ để phát hiện, phân loại, theo dõi và phân tích hoạt động đối tƣợng chuyển động. Vì vậy, hệ thống này phải nâng cao cảnh báo về sự xuất hiện của bất kỳ sự kiện đáng ngờ nào. Phát hiện đối tƣợng chuyển động là giai đoạn quan trọng để phân tích thông tin video.
Việc phát hiện ra các đối tƣợng chuyển động trong video nhờ các kỹ thuật xử lý ảnh và thị giác máy, trên cơ sở đó đoán nhận một số hành vi của đối tƣợng là một việc làm có ý nghĩa khoa học và thực tiễn, nhất là trong bối cảnh Việt Nam đang phát triển đô thị thông minh. Phát hiện và bám sát đối tƣợng trong video là một trong những bài toán quan trọng nhất của giám sát tự động, đã đƣợc nghiên cứu từ rất lâu, đã và đang dần đƣợc ứng dụng vào nhiều trong các hệ thống thế giới thực nhƣ: hệ thống hỗ trợ lái xe, giám sát giao thông, phân tích và hiểu cảnh, xe tự lái v. Tuy nhiên, phát hiện đối tƣợng trong video vẫn còn nhiều thách thức khi áp dụng vào thực tế nhƣ vấn đề ảo ảnh, bóng đỗ và quan trọng nhất là đối tƣợng bị che khuất. Đối tƣợng bị che khuất có thể đƣợc chia thành hai loại chính.
Thứ nhất là một phần của một đối tƣợng bị che bởi một phần của đối tƣợng khác. Thứ hai, sự chồng lấp của các đối tƣợng lên nhau trong quá trình theo vết hay bám sát các đối tƣợng này. Nghiên cứu phát hiện đối tƣợng bị che khuất trong video với cả hai trƣờng hợp vẫn đang đƣợc các nhà nghiên cứu quan tâm, do khả năng ứng dụng của chúng trong các hệ thống giám sát tự động là rất lớn. Với những phân tích trên, luận văn lựa chọn đề tài nghiên cứu “NGHIÊN CỨU BÀI TOÁN BÁM SÁT ĐỐI TƢỢNG BỊ CHE KHUẤT TRONG VIDEO”.
Mục tiêu nghiên cứu - Tổng quan về bài toán bám sát đối tƣợng bị che khuất trong video. e 3 - Một số kỹ thuật bám sát đối tƣợng. - Xây dựng mô hình giám sát tự động. - Cài đặt thử nghiệm và đánh giá kết quả.
Đối tƣợng và phạm vi nghiên cứu - Đối tƣợng nghiên cứu của đề tài là dữ liệu video thu thập từ camera giám sát với các đối tƣợng bị che khuất. - Phạm vi nghiên cứu: Đề tài tập trung nghiên cứu các thuật toán xử lý ảnh với dữ liệu video đầu vào. Các kỹ thuật phát hiện và bám sát đối tƣợng che khuất trong video. Phƣơng pháp nghiên cứu - Phƣơng pháp nghiên cứu tài liệu; - Phƣơng pháp phân tích, tổng hợp và lựa chọn kỹ thuật phù hợp; - Phƣơng pháp lý thuyết kết hợp thực nghiệm.
Ý nghĩa khoa học và thực tiễn - Ý nghĩa khoa học: Tập trung nghiên cứu các thuật toán xử lý ảnh với dữ liệu video. Phát hiện và theo bám sát đối tƣợng bị che khuất. - Ý nghĩa thực tiễn: Ứng dụng xây dựng mô hình hệ thống giám sát tự động, phát hiện và bám sát đối tƣợng bị che khuất. Mang ý nghĩa thực tiễn cao khi áp dụng vào các cơ quan, công ty, trung tâm thƣơng mại yêu cầu một hệ thống giám sát hỗ trợ an ninh… e 4 CHƢƠNG 1: TỔNG QUAN VỀ BÀI TOÁN BÁM SÁT ĐỐI TƢỢNG BỊ CHE KHUẤT TRONG VIDEO 1.
Dữ liệu video 1. Giới thiệu Khái niệm video đã xuất hiện từ rất lâu theo sự xuất hiện của những phát kiến về hình ảnh chuyển động. Năm 1834, nhà toán học William George Horner phát minh ra máy Zeotrope, một thiết bị dùng để tạo sự chuyển động từ một dãy ảnh liên tục. Phát minh này có thể coi là sự mở màn cho công cuộc khai sinh ra ảnh video.
Năm 1877, Emile Reynaud cải tiến chiếc zeotrope thành praxinoscope. Hình ảnh thu nhận đƣợc từ máy này rõ ràng hơn từ zeotrope. Năm 1889, George Eastman đã phát minh ra phim chụp ảnh linh hoạt, cho phép lƣu trữ nhiều hình ảnh trên một cuộn phim. Đến năm 1895, Louis Lumiere là một trong những ngƣời đầu tiên đƣa ra hệ thống máy chiếu phim.