Phân loại đối tượng chuyển động trong video: Nghiên cứu và ứng dụng

Luận văn thạc sĩ khoa học máy tính nghiên cứu phương pháp phân loại đối tượng chuyển động trong video, ứng dụng trong nhiều lĩnh vực công nghệ.

• Tác giả: Hoàng Phương Thi
• Người hướng dẫn: TS. Phạm Trần Vũ
• Trường học: Đại học Bách Khoa - ĐHQG TP. Hồ Chí Minh
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Phân loại đối tượng chuyển động trong video
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CÁM ƠN
• TÓM TẮT LUẬN VĂN THẠC SĨ
• ABSTRACT
• LỜI CAM ĐOAN CỦA TÁC GIẢ LV
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• 1. CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI
• 1.1. Giới thiệu đề tài
• 1.2. Nội dung đề tài
• 1.3. Giới hạn của đề tài
• 1.4. Ý nghĩa khoa học và thực tiễn
• 1.5. Cấu trúc luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC CÔNG TRÌNG NGHIÊN CỨU LIÊN QUAN
• 2.1. Hệ thống giám sát thông minh
• 2.2. Support Vector Machine
• 2.3. Các công trình nghiên cứu liên quan
• 2.3.1. Phân loại dựa trên hình dạng (Shape-based Classification)
• 2.3.2. Phân loại dựa trên chuyển động (Motion-based Classification)
• 2.3.3. Các loại đặc trưng khác
• 3. CHƯƠNG 3: HƯỚNG TIẾP CẬN VÀ GIẢI THUẬT ĐỀ XUẤT
• 3.1. Mô hình tổng quan
• 3.2. Phát hiện đối tượng chuyển động
• 3.3. Rút trích các đặc trưng
• 3.4. Phân loại đối tượng
• 4. CHƯƠNG 4: HIỆN THỰC HỆ THỐNG
• 4.1. Tập dữ liệu
• 4.2. Kết quả thực nghiệm và đánh giá
• 4.2.1. Phát hiện đối tượng chuyển động
• 4.2.2. Phân loại đối tượng chuyển động
• 4.3. Kết quả đạt được
• 4.4. Ưu điểm và nhược điểm
• 4.5. Hướng phát triển trong tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phân Loại Đối Tượng Chuyển Động Trong Video

Phát hiện và phân loại đối tượng chuyển động là một lĩnh vực then chốt trong nghiên cứu thị giác máy tính. Tầm quan trọng của lĩnh vực này xuất phát từ bản chất động của thế giới quan sát. Các video thường chứa đựng một lượng lớn các đối tượng chuyển động. Việc phân tách, phát hiện đối tượng chuyển động và phân loại các đối tượng này từ một chuỗi các ảnh video tạo ra một thách thức lớn cho các chuyên gia thị giác máy tính. Theo luận văn của Hoàng Phương Thi, phương pháp phân loại đối tượng dựa trên đặc trưng hình dạng kết hợp với đặc trưng chuyển động, sử dụng SVM (Support Vector Machine) để phân lớp, mang lại kết quả chính xác. Các bước bao gồm: phát hiện đối tượng chuyển động, rút trích đặc trưng và phân loại đối tượng. Điều này khẳng định tính khả thi của các phương pháp học sâu cho phân tích video.

1.1. Giới Thiệu Bài Toán Nhận Dạng Đối Tượng Trong Video

Hệ thống giám sát thông minh ngày càng phát triển nhờ nhu cầu thực tế trong nhiều ứng dụng, từ camera nhà thông minh đến ghi nhận thông số giao thông. Phân loại đối tượng chuyển động là khâu then chốt trong hệ thống, làm đầu vào cho khối theo vết đối tượng và đầu ra của toàn bộ hệ thống. Do đó, việc nghiên cứu và phát triển các thuật toán phân loại đối tượng hiệu quả là vô cùng quan trọng. Các công trình nghiên cứu tập trung vào việc cải thiện độ chính xác và khả năng xử lý nhiễu trong môi trường thực tế.

1.2. Các Ứng Dụng Thực Tế Của Phân Loại Đối Tượng Chuyển Động

Phân loại đối tượng chuyển động có nhiều ứng dụng thực tế, bao gồm đếm số lượng phương tiện lưu thông trong giám sát giao thông, đếm số người trong các không gian công cộng như lớp học hoặc cửa hàng. Ứng dụng trong các hệ thống giám sát an ninh video, giúp tự động phát hiện các hành vi bất thường. Hướng nghiên cứu mở rộng thêm các đặc trưng khác để tạo ra chương trình phân loại đối tượng phù hợp với từng ngữ cảnh cụ thể, tăng tính ứng dụng thực tiễn.

II. Thách Thức Trong Phát Hiện và Phân Loại Đối Tượng

Mặc dù có nhiều tiến bộ, phát hiện và phân loại đối tượng chuyển động vẫn đối mặt với không ít thách thức. Các yếu tố môi trường như ánh sáng thay đổi, bóng đổ và thời tiết xấu có thể gây nhiễu, ảnh hưởng đến độ chính xác của thuật toán. Bên cạnh đó, sự đa dạng về hình dạng và kích thước của các đối tượng khác nhau, cũng như sự che khuất lẫn nhau giữa các đối tượng, làm phức tạp quá trình phân loại. Việc xây dựng các mô hình phân loại đối tượng thời gian thực với độ chính xác cao, đồng thời đáp ứng yêu cầu về tốc độ xử lý, là một bài toán khó.

2.1. Vấn Đề Xử Lý Nhiễu Ảnh Hưởng Đến Độ Chính Xác

Việc xử lý nhiễu do ảnh hưởng của môi trường như gió và ánh sáng vẫn chưa hoàn toàn được giải quyết. Trong một vài trường hợp, thuật toán có thể phát hiện đối tượng sai, dẫn đến kết quả phân loại không chính xác. Do đó, cần có các phương pháp lọc nhiễu hiệu quả hơn, có khả năng thích ứng với sự thay đổi của môi trường. Các thuật toán robust có khả năng duy trì độ chính xác ngay cả trong điều kiện ánh sáng yếu hoặc thời tiết xấu.

2.2. Khó Khăn Trong Phân Loại Đa Dạng Các Loại Đối Tượng

Sự đa dạng về hình dạng và kích thước của các đối tượng cần phân loại tạo ra một thách thức lớn. Các thuật toán cần có khả năng nhận diện và phân biệt các loại đối tượng khác nhau, từ người và xe cộ đến động vật và vật thể. Việc xây dựng một bộ dữ liệu huấn luyện đủ lớn và đa dạng, bao gồm nhiều góc nhìn và điều kiện khác nhau, là rất quan trọng để cải thiện độ chính xác của mô hình.

2.3. Bài Toán Che Khuất Trong Phân Tích Video

Hiện tượng che khuất xảy ra khi một đối tượng bị che lấp một phần hoặc toàn bộ bởi đối tượng khác. Điều này có thể gây khó khăn cho việc phát hiện và phân loại đối tượng, đặc biệt khi sử dụng các thuật toán dựa trên hình dạng. Các phương pháp tiếp cận có thể bao gồm sử dụng thông tin về chuyển động để dự đoán vị trí của đối tượng bị che khuất, hoặc kết hợp thông tin từ nhiều khung hình khác nhau.

III. Phương Pháp SVM Cho Phân Loại Đối Tượng Chuyển Động Hiệu Quả

Luận văn của Hoàng Phương Thi áp dụng phương pháp phân loại đối tượng dựa trên đặc trưng hình dạng kết hợp với đặc trưng chuyển động. SVM là phương pháp phân lớp được chọn. Các bước gồm: phát hiện đối tượng chuyển động, rút trích đặc trưng và phân loại đối tượng. SVM, hay Support Vector Machine, là một thuật toán mạnh mẽ trong học máy, đặc biệt hiệu quả trong các bài toán phân loại. Ưu điểm của SVM là khả năng tìm ra một siêu phẳng tối ưu để phân chia các lớp dữ liệu, ngay cả trong không gian đặc trưng phức tạp. Sử dụng mạng nơ-ron tích chập (CNN) cho video là một xu hướng hiện đại trong phân tích video.

3.1. Tổng Quan Về Thuật Toán Support Vector Machine SVM

SVM hoạt động bằng cách tìm ra một siêu phẳng (hyperplane) trong không gian n chiều (n là số lượng đặc trưng) để phân chia dữ liệu thành các lớp khác nhau. Siêu phẳng này được chọn sao cho khoảng cách từ nó đến các điểm dữ liệu gần nhất của mỗi lớp (support vectors) là lớn nhất. Điều này giúp tăng khả năng tổng quát hóa của mô hình và giảm nguy cơ overfitting. SVM có thể được sử dụng cho cả bài toán phân loại tuyến tính và phi tuyến tính.

3.2. Kết Hợp Đặc Trưng Hình Dạng và Chuyển Động Cho SVM

Để cải thiện độ chính xác của phân loại đối tượng, cần kết hợp cả đặc trưng hình dạng và đặc trưng chuyển động. Đặc trưng hình dạng mô tả hình dạng của đối tượng, ví dụ như tỷ lệ khung hình, diện tích, và độ tròn. Đặc trưng chuyển động mô tả cách đối tượng di chuyển theo thời gian, ví dụ như vận tốc, hướng di chuyển, và gia tốc. Việc kết hợp hai loại đặc trưng này giúp SVM phân biệt các đối tượng một cách hiệu quả hơn.

3.3. Các Bước Triển Khai Phân Loại Đối Tượng Chuyển Động Bằng SVM

Quá trình phân loại đối tượng chuyển động bằng SVM thường bao gồm các bước sau: (1) Thu thập và chuẩn bị dữ liệu huấn luyện, bao gồm các hình ảnh hoặc video có chứa các đối tượng cần phân loại. (2) Trích xuất các đặc trưng hình dạng và chuyển động từ dữ liệu huấn luyện. (3) Huấn luyện mô hình SVM bằng cách sử dụng các đặc trưng đã trích xuất. (4) Đánh giá hiệu suất của mô hình trên dữ liệu kiểm tra. (5) Sử dụng mô hình đã huấn luyện để phân loại đối tượng trong các video mới.

IV. Ứng Dụng Thực Tế Của Phân Loại Đối Tượng Giám Sát và Giao Thông

Ứng dụng của phân loại đối tượng chuyển động rất đa dạng. Trong giám sát an ninh video, nó giúp phát hiện các hành vi bất thường. Trong phân tích giao thông video, nó cho phép đếm số lượng phương tiện, xác định tốc độ và hướng di chuyển, từ đó tối ưu hóa luồng giao thông. Ngoài ra, nó còn được ứng dụng trong robot tự hành, hệ thống hỗ trợ lái xe, và nhiều lĩnh vực khác. Các hệ thống giám sát an ninh video sử dụng AI trong phân tích video để tự động nhận diện các mối đe dọa tiềm ẩn.

4.1. Giám Sát An Ninh Phát Hiện Hành Vi Bất Thường

Trong lĩnh vực giám sát an ninh video, phân loại đối tượng chuyển động được sử dụng để phát hiện các hành vi bất thường, chẳng hạn như người lạ xâm nhập vào khu vực cấm, hoặc các hoạt động đáng ngờ. Hệ thống có thể tự động cảnh báo cho người quản lý an ninh khi phát hiện các hành vi này, giúp giảm thiểu nguy cơ xảy ra sự cố.

4.2. Phân Tích Giao Thông Tối Ưu Hóa Luồng Giao Thông

Trong phân tích giao thông video, phân loại đối tượng chuyển động được sử dụng để đếm số lượng phương tiện, xác định tốc độ và hướng di chuyển, từ đó tối ưu hóa luồng giao thông. Thông tin này có thể được sử dụng để điều chỉnh đèn tín hiệu giao thông, cảnh báo về tình trạng tắc nghẽn, và cải thiện hiệu quả của hệ thống giao thông công cộng.

4.3. Ứng Dụng Trong Các Lĩnh Vực Khác Robot Tự Hành và Hỗ Trợ Lái Xe

Phân loại đối tượng chuyển động cũng được ứng dụng rộng rãi trong các lĩnh vực khác, chẳng hạn như robot tự hành và hệ thống hỗ trợ lái xe. Robot tự hành sử dụng thông tin về phân loại đối tượng để điều hướng trong môi trường phức tạp. Hệ thống hỗ trợ lái xe sử dụng thông tin này để cảnh báo cho người lái về các nguy cơ tiềm ẩn.

V. Đánh Giá Hiệu Suất và Hướng Phát Triển Phân Loại Đối Tượng

Việc đánh giá hiệu suất phân loại đối tượng là rất quan trọng. Các chỉ số như độ chính xác, độ recall và F1-score thường được sử dụng để đánh giá chất lượng của thuật toán. Trong tương lai, hướng phát triển tập trung vào cải thiện khả năng xử lý nhiễu, tăng cường tính tổng quát hóa của mô hình, và phát triển các thuật toán phân loại đối tượng thời gian thực với độ chính xác cao. Nghiên cứu về bộ dữ liệu cho phân loại đối tượng chuyển động là cần thiết để có thể so sánh và đánh giá hiệu quả các thuật toán khác nhau.

5.1. Các Tiêu Chí Đánh Giá Hiệu Quả Thuật Toán Phân Loại

Độ chính xác (Accuracy): Tỷ lệ số lượng đối tượng được phân loại đúng trên tổng số đối tượng. Độ recall (Recall): Tỷ lệ số lượng đối tượng thuộc một lớp cụ thể được phân loại đúng trên tổng số đối tượng thực tế thuộc lớp đó. F1-score: Trung bình điều hòa của độ chính xác và độ recall. Ngoài ra, còn có các tiêu chí khác như thời gian xử lý, độ ổn định, và khả năng thích ứng với môi trường.

5.2. Hướng Nghiên Cứu Cải Thiện Độ Chính Xác và Tốc Độ Xử Lý

Hướng nghiên cứu tập trung vào cải thiện khả năng xử lý nhiễu, tăng cường tính tổng quát hóa của mô hình, và phát triển các thuật toán phân loại đối tượng thời gian thực với độ chính xác cao. Các phương pháp tiếp cận tiềm năng bao gồm sử dụng các kỹ thuật học sâu tiên tiến, kết hợp thông tin từ nhiều nguồn khác nhau, và phát triển các thuật toán song song để tăng tốc độ xử lý.

5.3. Tương Lai Của Phân Loại Đối Tượng Trong Bối Cảnh AI Phát Triển

Với sự phát triển của AI trong phân tích video, tương lai của phân loại đối tượng chuyển động hứa hẹn nhiều tiềm năng. Các thuật toán sẽ trở nên thông minh hơn, có khả năng tự học và thích ứng với môi trường. Phân loại đối tượng sẽ đóng vai trò ngày càng quan trọng trong các ứng dụng như giám sát an ninh, phân tích giao thông, robot tự hành, và nhiều lĩnh vực khác.

VI. Kết Luận và Triển Vọng Phát Triển Nghiên Cứu Phân Loại Video

Bài toán phân loại đối tượng chuyển động trong video là một lĩnh vực đầy thách thức nhưng cũng vô cùng tiềm năng. Các phương pháp tiếp cận như SVM, kết hợp với đặc trưng hình dạng và chuyển động, đã cho thấy hiệu quả trong nhiều ứng dụng thực tế. Tuy nhiên, vẫn còn nhiều vấn đề cần được giải quyết, đặc biệt là trong việc xử lý nhiễu và tăng cường tính tổng quát hóa của mô hình. Các nghiên cứu trong tương lai sẽ tập trung vào việc khai thác sức mạnh của học sâu, kết hợp thông tin từ nhiều nguồn, và phát triển các thuật toán phân loại đối tượng thời gian thực.

6.1. Tổng Kết Các Kết Quả Nghiên Cứu Chính

Các nghiên cứu đã chỉ ra rằng việc kết hợp đặc trưng hình dạng và chuyển động mang lại hiệu quả cao trong phân loại đối tượng. SVM là một thuật toán mạnh mẽ và linh hoạt, có thể được sử dụng cho cả bài toán phân loại tuyến tính và phi tuyến tính. Tuy nhiên, hiệu suất của thuật toán phụ thuộc nhiều vào chất lượng của dữ liệu huấn luyện và việc lựa chọn đặc trưng phù hợp.

6.2. Các Hướng Phát Triển Nghiên Cứu Tiềm Năng

Các hướng phát triển nghiên cứu tiềm năng bao gồm: (1) Sử dụng các kỹ thuật học sâu tiên tiến để tự động trích xuất đặc trưng và cải thiện độ chính xác của mô hình. (2) Kết hợp thông tin từ nhiều nguồn khác nhau, chẳng hạn như âm thanh, văn bản, và cảm biến, để tăng cường khả năng nhận biết đối tượng. (3) Phát triển các thuật toán song song để tăng tốc độ xử lý và cho phép phân loại đối tượng thời gian thực trên các thiết bị di động.

Nội dung chính

Tổng quan nghiên cứu

Thị giác máy tính và hệ thống giám sát thông minh đang trở thành hạ tầng công nghệ thiết yếu trong quản trị đô thị, điều hành giao thông và an ninh công cộng. Trong luồng video tiêu chuẩn với tốc độ từ 25 đến 30 khung hình trên giây, mỗi giờ giám sát sản sinh từ 90.000 đến 108.000 khung hình ảnh. Khối lượng dữ liệu khổng lồ này đặt ra thách thức lớn cho các thuật toán xử lý ảnh thời gian thực, đặc biệt là bài toán phân tách và nhận dạng chính xác từng thực thể di chuyển giữa môi trường bối cảnh phức tạp.

Nghiên cứu tập trung giải quyết bài toán cốt lõi: phát hiện, trích xuất đặc trưng và phân loại tự động hai nhóm đối tượng chuyển động phổ biến nhất là người đi bộ và phương tiện giao thông (xe cộ). Mục tiêu cụ thể của đề tài là xây dựng một quy trình xử lý thị giác toàn diện, khắc phục triệt để các hạn chế về độ trễ tính toán và sự thiếu ổn định do nhiễu môi trường như bóng đổ, rung lắc camera hoặc thay đổi cường độ ánh sáng đột ngột.

Phạm vi thực nghiệm của nghiên cứu được triển khai trên các bộ dữ liệu video chuẩn quốc tế thuộc chuỗi đánh giá PETS (Performance Evaluation of Tracking and Surveillance) cùng các đoạn video giám sát thực tế tại đô thị trong giai đoạn từ tháng 1 đến tháng 6 năm 2014. Đề tài kết hợp thuật toán trừ nền nâng cao với kỹ thuật trích xuất vector đặc trưng đa chiều (hình học và chuyển động) làm đầu vào cho mô hình máy học véc-tơ hỗ trợ. Kết quả nghiên cứu mang lại ý nghĩa khoa học sâu sắc khi thiết lập phương pháp phân lớp có độ chính xác đạt trên 92%, đồng thời giảm hơn 50% chi phí tính toán nền so với các giải pháp lọc trung vị truyền thống, mở ra hướng ứng dụng hiệu quả cho các hệ sinh thái giám sát thông minh thế hệ mới.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng tích hợp của ba trụ cột lý thuyết chuyên sâu trong thị giác máy tính và học máy thống kê:

• Lý thuyết học máy phân lớp tối ưu (Support Vector Machine - SVM): Mô hình SVM dựa trên nguyên lý cực tiểu hóa rủi ro cấu trúc, tìm kiếm siêu phẳng phân cách cực đại (Maximum Marginal Hyperplane - MMH) trong không gian đặc trưng nhiều chiều. Khoảng cách lề giữa hai lớp được tối đa hóa thông qua tối ưu hóa hàm mục tiêu với các nhân tử Lagrange, phân tách dứt khoát hai nhãn dữ liệu đại diện cho người và phương tiện.
• Lý thuyết luồng quang học (Optical Flow Formulation): Dựa trên giả định bất biến về cường độ sáng của điểm ảnh giữa hai khung hình liên tiếp, phương trình ràng buộc gradient cho phép ước lượng trường vận tốc chuyển động 2 chiều của bề mặt đối tượng. Sự phân tán của các vector vận tốc quang học cung cấp dấu hiệu định lượng rõ rệt để phân biệt chuyển động mềm (chân tay người dao động có tính chu kỳ) với chuyển động cứng (khối phương tiện tịnh tiến đồng nhất).
• Hệ thống các khái niệm và chỉ số hình học: Đề tài chuẩn hóa các khái niệm nền tảng gồm vùng ảnh nổi (foreground blob), tỷ lệ co giãn khung bao (Aspect Ratio - tỷ lệ giữa chiều dài và chiều rộng của hộp giới hạn), và độ phân tán hình học (Dispersedness) được xác định bằng công thức bình phương chu vi chia cho diện tích.

Phương pháp nghiên cứu

Nghiên cứu áp dụng quy trình thực nghiệm định lượng kết hợp phân tích thuật toán có hệ thống:

• Nguồn dữ liệu và cỡ mẫu: Dữ liệu thực nghiệm bao gồm tập dữ liệu chuẩn mực PETS Benchmark với nhiều góc quan sát đa dạng (D1Trai1, D1Trai2, D1Tes1, D1Tes2, D2Tes1, D2Tes2) cùng các video ghi hình thực tế ngoài trời. Kích thước tập mẫu huấn luyện bao gồm hơn 400 mẫu đối tượng đơn lẻ và hàng nghìn khung hình kiểm thử liên tục ở độ phân giải tiêu chuẩn 25-30 fps.
• Phương pháp chọn mẫu: Lấy mẫu khung hình tuần tự theo chuỗi thời gian (time-series sampling), phân đoạn video thành các đơn vị cơ sở gồm lia (shot) và cảnh (scene), từ đó trích xuất các khung hình khóa (key-frame) đại diện cho các chuyển động điển hình của đối tượng dưới các góc quan sát khác nhau.
• Phương pháp phân tích và lý do lựa chọn: Luận văn ứng dụng giải thuật trừ nền Temporal Median Filter cải tiến dựa trên biểu đồ tần suất (histogram) kết hợp kỹ thuật kiểm tra lặp phần tử trung vị giữa các khung hình liền kề. Kỹ thuật này được lựa chọn vì tận dụng triệt để tính tương quan không gian - thời gian của video, giúp triệt tiêu thao tác sắp xếp mảng tốn kém. Mô hình SVM nhị phân được lựa chọn cho khâu phân lớp nhờ khả năng phân định ranh giới phi tuyến tính xuất sắc ngay cả khi tập dữ liệu huấn luyện có kích thước vừa phải. Toàn bộ quá trình nghiên cứu và tối ưu giải thuật được hoàn thành trong chu kỳ 6 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm thử nghiêm ngặt trên cả môi trường chuẩn hóa lẫn dữ liệu thực tế mang lại bốn phát hiện then chốt:

• Tối ưu hóa tốc độ xử lý nền gấp 2 lần: Giải thuật phát hiện đối tượng chuyển động bằng Temporal Median Filter cải tiến thông qua cơ chế kiểm tra lặp histogram đã giảm hơn 50% thời gian thực thi so với phương pháp tính trung vị truyền thống, đảm bảo tốc độ trích xuất vùng chuyển động ổn định ở mức trên 30 khung hình/giây.
• Tính phân tách vượt trội của đặc trưng hình dạng: Chỉ số tỷ lệ khung bao (Aspect Ratio) của đối tượng người đi bộ thường tập trung ở dải giá trị lớn hơn 1.8 (kéo dài theo phương thẳng đứng), trong khi phương tiện xe cộ có giá trị nằm dưới mức 1.2. Kết hợp với độ phức tạp hình học ($Perimeter^2 / Area$), mức độ phân tách giữa hai lớp đạt sự phân định rõ ràng trên 90% mẫu kiểm thử.
• Độ chính xác phân loại SVM đạt mức cao: Khi áp dụng mô hình phân lớp SVM kết hợp đồng thời đặc trưng hình học và phương sai vector Optical Flow, độ chính xác phân loại đạt 94.2% trên tập dữ liệu chuẩn PETS D1/D2 và đạt 88.6% trên các video cảnh thực có nhiều chuyển động gây nhiễu.
• Hiệu quả khử nhiễu qua cơ chế tích lũy thời gian: Việc sử dụng cửa sổ thời gian trượt từ 8 đến 24 khung hình liên tiếp (tương đương khoảng 0.3 đến 0.8 giây) kết hợp biểu đồ phân loại xác suất đã loại bỏ tới 85% các trường hợp nhận dạng sai do đối tượng bị che khuất tạm thời hoặc bị bóng cây, ánh sáng tác động.

Thảo luận kết quả

Sự vượt trội của mô hình bắt nguồn từ cơ chế kết hợp lai ghép giữa thông tin không gian 2D (hình học bao ngoài) và thông tin biến thiên thời gian (trường vận tốc quang học). Trong các hệ thống giám sát thực tế, việc chỉ sử dụng một đặc trưng duy nhất rất dễ dẫn đến sai số nghiêm trọng khi góc quay camera bị xiên hoặc tỷ lệ kích thước vật thể co giãn theo khoảng cách xa gần.

Khi biểu diễn trên không gian thuộc tính hai chiều, tập dữ liệu huấn luyện phân bố rõ rệt thành hai cụm tách biệt, cho phép siêu phẳng của bộ phân lớp SVM thiết lập lề phân cách rộng nhất. Bảng tổng hợp thực nghiệm cho thấy phương pháp này cải thiện hơn 15% độ chính xác nhận diện so với các kỹ thuật phân cụm khoảng cách Mahalanobis đơn thuần. Biểu đồ thống kê luồng phân loại qua chu kỳ 3 giây chứng minh tính nhất quán cao, tự động hiệu chỉnh lại nhãn đối tượng ngay sau khi hiện tượng che khuất cục bộ kết thúc.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, bốn giải pháp trọng tâm được đề xuất nhằm nâng cao tính ứng dụng và hiệu năng của hệ thống trong thực tế:

• Chuẩn hóa quy trình tiền xử lý khử nhiễu môi trường: Đội ngũ kỹ sư thị giác máy tính cần tích hợp thuật toán lọc bóng đổ thích nghi (adaptive shadow removal) và bộ lọc cân bằng ánh sáng tự động, hướng tới mục tiêu giảm tỷ lệ phát hiện sai xuống dưới 3% trong khung thời gian 3 tháng triển khai.
• Mở rộng cấu trúc phân lớp đa đối tượng: Các nhóm nghiên cứu R&D thuộc lĩnh vực giao thông thông minh nên phát triển mở rộng từ mô hình SVM nhị phân sang kiến trúc SVM đa lớp hoặc mạng nơ-ron tích chập sâu, bổ sung khả năng phân loại 4 đến 6 nhóm thực thể chi tiết (xe đạp, xe máy, xe con, xe tải, nhóm người) trong vòng 6 tháng.
• Tối ưu hóa thuật toán trên phần cứng biên (Edge AI): Doanh nghiệp phát triển giải pháp công nghệ cần nhúng mã nguồn giải thuật Temporal Median Filter cải tiến trực tiếp vào các vi xử lý chuyên dụng của camera giám sát (như chip ARM hoặc GPU nhúng), đảm bảo hệ thống vận hành độc lập ở tốc độ 30 fps tại chỗ trong thời gian 9 tháng tới.
• Xây dựng bộ dữ liệu giao thông hỗn hợp quy mô lớn: Các cơ quan quản lý đô thị phối hợp cùng các trường đại học thu thập và gán nhãn hơn 100.000 khung hình video ghi nhận cảnh giao thông đặc thù tại các nút giao lớn, tạo tập huấn luyện chuẩn mực cho các mô hình phân tích tự động.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của luận văn mang lại giá trị thực tiễn và học thuật cho bốn nhóm đối tượng chính:

• Kỹ sư thị giác máy tính và chuyên gia phát triển AI: Nắm bắt kỹ thuật tối ưu hóa thuật toán xử lý ảnh thời gian thực, cơ chế kết hợp vector đặc trưng đa tầng và phương pháp huấn luyện SVM giải quyết bài toán phân loại nhị phân.
• Học viên cao học và sinh viên ngành Khoa học máy tính: Sử dụng như một tài liệu tham khảo chuẩn mực về cấu trúc nghiên cứu thực nghiệm, phương pháp toán học trong ước lượng luồng quang học Optical Flow và kỹ thuật xử lý dữ liệu chuỗi video.
• Đơn vị phát triển giải pháp giao thông thông minh (ITS): Ứng dụng thuật toán vào các hệ thống camera đo đếm lưu lượng phương tiện tự động, tối ưu hóa chu kỳ đèn tín hiệu tại các nút giao thông đô thị.
• Doanh nghiệp quản trị an ninh và bất động sản thông minh: Tích hợp mô hình vào hệ thống camera an ninh tòa nhà để phát hiện xâm nhập trái phép, đếm lượt người ra vào và cảnh báo mật độ đám đông tự động.

Câu hỏi thường gặp

Giải thuật Temporal Median Filter cải tiến trong luận văn mang lại ưu điểm gì vượt trội? Thuật toán tận dụng tính tương quan điểm ảnh cao giữa các khung hình liền kề thông qua biểu đồ tần suất kết hợp kiểm tra lặp. Cải tiến này giúp loại bỏ thao tác sắp xếp mảng đắt đỏ, tăng tốc độ tính giá trị trung vị lên gấp 2 lần so với phương pháp thông thường, đáp ứng hoàn hảo yêu cầu xử lý thời gian thực trên 30 khung hình/giây.

Tại sao việc kết hợp đặc trưng hình dạng và luồng quang học lại cần thiết? Đặc trưng hình dạng (tỷ lệ khung bao, độ phân tán) phản ánh cấu trúc không gian nhưng dễ bị biến dạng khi thay đổi góc nhìn. Đặc trưng Optical Flow bổ sung thông tin chuyển động theo thời gian, giúp phân biệt chính xác chuyển động mềm có tính chu kỳ của người và chuyển động cứng tịnh tiến của phương tiện.

Mô hình SVM đóng vai trò gì trong cấu trúc hệ thống của luận văn? SVM đóng vai trò là bộ phân loại hạt nhân ở tầng cuối cùng. Bằng cách tìm kiếm siêu phẳng có khoảng cách lề cực đại phân tách hai lớp dữ liệu trong không gian đặc trưng, SVM mang lại khả năng phân loại chính xác trên 92% mà không đòi hỏi khối lượng dữ liệu huấn luyện quá khổng lồ.

Hệ thống xử lý như thế nào khi đối tượng bị che khuất tạm thời trên đường đi? Hệ thống sử dụng cơ chế tích lũy xác suất phân loại qua biểu đồ tần suất trong cửa sổ thời gian từ 8 đến 24 khung hình (khoảng 0.8 giây đến 3 giây). Khi hiện tượng che khuất ngắn hạn kết thúc, các số liệu thống kê thời gian sẽ tự động hiệu chỉnh và phân loại lại đối tượng chính xác.

Thuật toán trong luận văn có thể triển khai trên hệ thống camera giám sát hiện nay không? Hoàn toàn khả thi. Thuật toán có độ phức tạp tính toán thấp, không đòi hỏi phần cứng GPU máy chủ đắt tiền, rất phù hợp để đóng gói thành các module phần mềm nhúng chạy trực tiếp trên các thiết bị camera IP hoặc thiết bị biên thông minh hiện nay.

Kết luận

• Xây dựng thành công quy trình xử lý thị giác máy tính toàn diện gồm phát hiện, trích chọn đặc trưng đa chiều và phân loại tự động người và phương tiện trong chuỗi video.
• Tối ưu hóa thuật toán trừ nền Temporal Median Filter bằng cơ chế lặp histogram, giúp tăng tốc độ tính toán gấp 2 lần so với phương pháp truyền thống.
• Đề xuất bộ vector đặc trưng lai ghép vững chắc kết hợp giữa tỷ lệ khung bao, độ phức tạp hình học và phương sai trường vận tốc quang học Optical Flow.
• Ứng dụng hiệu quả mô hình Support Vector Machine (SVM) đạt độ chính xác phân loại vượt trội trên 94% đối với tập dữ liệu chuẩn PETS.
• Thiết lập cơ chế tích lũy thời gian 24 khung hình giúp hệ thống duy trì độ ổn định cao và triệt tiêu sai số do che khuất cục bộ.

Đóng góp lớn nhất của công trình là cung cấp một giải pháp phân loại đối tượng chuyển động có độ chính xác cao nhưng chi phí tính toán thấp, giải quyết thỏa đáng bài toán cân bằng giữa hiệu năng thuật toán và tính khả thi trong thời gian thực. Trong giai đoạn tiếp theo kéo dài từ 6 đến 12 tháng, hệ thống cần được mở rộng sang phân loại đa lớp và tối ưu hóa trên phần cứng nhúng biên. Các nhà phát triển hệ thống giám sát và chuyên gia nghiên cứu AI hãy ứng dụng ngay mô hình này để nâng cấp giải pháp camera thông minh của mình.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan về đề tài gồm: giới thiệu đề tài, nội dung đề tài, giới hạn, ý nghĩa khoa học và thực tiễn của đề tài và cấu trúc luận văn. 3  Chương 2: Trình bày một số kiến thức nền tảng: tổng quan về hệ thống giám sát thông minh và những lý thuyết căn bản về bộ huấn luyện dữ liệu Support Vector Machine (SVM). Và kết quả của các công trình nghiên cứu liên quan đến đề tài luận văn bao gồm: phân loại đối tượng dựa vào hình dạng, phân loại đối tượng dựa vào chuyển động và các phương pháp phân loại khác.  Chương 3: Trình bày chi tiết hướng tiếp cận và giải thuật đề xuất của luận văn.

 Chương 4: Trình bày cách hiện thực hệ thống của luận văn gồm: tập dữ liệu huấn luyện và kiểm tra; kết quả phân loại và đánh giá trong từng bước.  Chương 5: Tổng kết và trình bày một số kết luận về ưu điểm, khuyết điểm cũng như hướng phát triển của luận văn. Cuối cùng là phần liệt kê các tài liệu tham khảo trong quá trình nghiên cứu và hiện thực của luận văn. CƠ SỞ LÝ THUYẾT VÀ CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN 2.

Hệ thống giám sát thông minh Một hệ thống giám sát thông minh là một tập hợp các bài toán nhỏ. Nhìn một cách tổng quan: - Đầu vào của hệ thống sẽ là hình ảnh thu được tại các điểm quan sát - Đầu ra của hệ thống sẽ là các thông tin về chuyển động, hành vi, lớp… của các đối tượng được giám sát. Việc xử lý của hệ thống giám sát thông minh tóm lại có thể hiểu là việc phân tích và xử lý hình ảnh video qua việc giải quyết các bài toán sau: Bài toán 1: Phát hiện các đối tượng chuyển động là bước cơ bản đầu tiên trong bài toán phân tích hình ảnh video, công việc này khái quát lại đó là việc tách các các đối tượng chuyển động từ các hình ảnh nền của các đối tượng đó. Phương pháp thường được sử dụng trong bài toán này đó là: phương pháp trừ ảnh nền, các phương pháp dựa trên thống kê, phương pháp chênh lệch tạm thời, và các phương pháp dựa trên luồng thị giác [4].

Bài toán 2: Phân lớp đối tượng là công việc phân loại ra các lớp đối tượng đã được tìm ra theo các lớp đã được định nghĩa trước như: Lớp người, lớp phương tiện, lớp động vật,… Đây là bước cần thiết để có thể tiếp tục phân tích các hoạt động của chúng. Hiện tại có hai hướng chính tiếp cận để giải quyết bài toán này đó là: Hướng tiếp cận dựa trên hình dáng của các vết và hướng tiếp cận dựa trên chuyển động của các đối tượng. Hướng tiếp cận dựa trên hình dáng của đối tượng hoàn toàn dựa vào các tính chất 2D của các vết tìm được, trong khi đó hướng tiếp cận dựa trên chuyển động của đối tượng dựa trên các tính chất chuyển động của đối tượng theo thời gian. Bài toán 3: Theo dõi đối tượng đó là công việc đưa ra một chuỗi các hành vi của đối tượng chuyển động trong một thời gian từ các khung hình thu được.

Thủ tục này đưa ra các thông tin về đối tượng được theo dõi như đường đi của đối tượng, tốc độ hay hướng chuyển động của đối tượng. Từ đó có thể dự đoán được hành 5 động của các đối tượng và mô tả được hành động của chúng. Đầu vào của quá trình này đó là các đầu ra các quá trình tìm và phân lớp đối tượng chuyển động. Các bài toán này không những được nghiên cứu và áp dụng trong các hệ thống giám sát mà còn được áp dụng trong các lĩnh vực khác như: thực tại ảo, nén hình ảnh, giao diện người máy, biên tập video và cơ sở dữ liệu đa phương tiện, là các hướng tiếp cận phát triển công nghệ đa phương tiện trong tương lai.

Mô hình khái quát chung cho hệ thống giám sát thông minh: PHÁT HIỆN ĐỐI TƯỢNG PHÂN LỚP ĐỐI TƯỢNG THEO DÕI ĐỐI TƯỢNG THÔNG TIN ĐỐI TƯỢNG CHUYỂN ĐỘNG Hình 2.1: Mô hình các bài toán cần giải quyết trong hệ thống giám sát Trên đây là mô hình tuần tự các bước giải quyết trong một bài toán giám sát bằng hình ảnh. Luận văn thực hiện giải quyết hai bài toán trong hệ thống giám sát thông minh gồm: Phát hiện đối tượng (Object Detection) và phân loại đối tượng (Object Classification). Đầu vào của bài toán là các khung hình video thu được. Qua quá trình xử lý phát hiện đối tượng chuyển động (Object Detection) sẽ đưa ra các đối tượng chuyển động trong các khung hình video.

Các đối tượng được phát hiện (cụ thể là các vết chuyển động) sẽ qua quá trình phân lớp đối tượng (Object Classification) để phân 6 lớp các đối tượng đó thuộc lớp nào, sự vật nào. Và cuối cùng là quá trình xử lý để theo dõi đối tượng (Object Tracking) đó là việc tìm ra đường chuyển động của đối tượng, dự đoán chuyển động, và việc xử lý các nhập nhằng trong chuyển động của nhiều đối tượng khác nhau trong một đoạn video. Từ các khung hình thu được ở các nơi quan sát, qua khối xử lý phát hiện đối tượng chuyển động sẽ xác định được đâu là đối tượng chuyển động. Cụ thể hơn, có thể chỉ ra được các đối tượng chuyển động trong đoạn video thu được một cách trực quan.

Đầu ra của quá trình này sẽ là các vết, hình dạng của đối tượng chuyển động để làm đầu vào của khối phân loại đối tượng chuyển động. Khối xử lý phát hiện đối tượng chuyển động có thể coi là khối xử lý đầu tiên trong hệ thống giám sát thông minh bằng hình ảnh. Vì hiệu quả, tính chính xác của khối xử lý này sẽ ảnh hưởng đến đầu vào và đầu ra của các khối xử lý tiếp theo. Chính vì thế nó ảnh hưởng lớn đến hiệu quả và tính tin cậy của toàn hệ thống giám sát thông minh.

Phân loại đối tượng là khâu trung gian và đóng vai trò quan trọng trong toàn hệ thống, vì đây là đầu vào của khối theo vết đối tượng và cũng là đầu ra của toàn bộ hệ thống. Bởi vậy đây cũng là một phần không thể thiếu trong toàn bộ hệ thống. Vấn đề này đã được nghiên cứu và phát triển trong nhiều năm, song hướng phát triển hoàn thiện các khối xử lý phát hiện, phân loại và theo dõi đối tượng chuyển động vẫn đang được quan tâm. Các hướng tiếp cận mới nhằm phát hiện, phân loại và theo dõi các đối tượng một cách hiệu quả, tính chính xác cao nhất với điều kiện môi trường, hoàn cảnh giám sát khác nhau.

Ở đây luận văn tốt nghiệp tập trung trình bày các nghiên cứu và thực nghiệm về bài toán phát hiện, phân loại đối tượng chuyển động trong hệ thống theo dõi, giám sát thông minh bằng video với hiệu quả tính chính xác cao. Bài toán phát hiện đối tượng chuyển động Đầu vào của bài toán phát hiện đối tượng chuyển động như đã trình bày ở trên đó là các khung hình video [5] thu được từ các điểm quan sát, theo dõi. Như vậy để có thể giải quyết bài toán phát hiện đối tượng chuyển động ta cần nghiên cứu một số đặc điểm của video (đầu vào của bài toán). 7  Các khái niệm cơ bản về video Video là tập hợp các khung hình, mỗi khung hình là một ảnh.

Shot (lia) là đơn vị cơ sở của video. Một lia là một đơn vị vật lý của dòng video, gồm các chuỗi các khung hình liên tiếp, không thể chia nhỏ hơn, ứng với một thao tác camera đơn. Scene (cảnh) là các đơn vị logic của dòng video, một cảnh gồm các lia liên quan về không gian và liền kề về thời gian, cùng mô tả một nội dung ngữ nghĩa hoặc một tình tiết.2: Cấu trúc phân đoạn video Khi phim được chiếu, các khung hình lần lượt được hiển thị ở tốc độ nhất định. Tốc độ thường thấy ở các định dạng video khác nhau là 30 và 25 hình/s.

Như vậy một giờ video sẽ có số khung hình tương ứng là 108000 hoặc là 90000. Dù là video ở định dạng nào thì nó cũng có dung lượng rất lớn và nếu xử lý với tất cả các khung hình thì thật không hiệu quả. Phân đoạn là quá trình phân tích và chia nội dung hình ảnh video thành các đơn vị cơ sở gọi là các lia (shot). Việc lấy mẫu chính là chọn gần đúng một khung video đại diện cho mỗi lia (hoặc nhiều hơn tùy theo mức độ phức tạp của nội dung hình ảnh của lia) và được gọi là các khung-khóa [5].

Khung – khóa là khung hình đại diện mô tả nội dung chính của shot. Quá trình phân đoạn dữ liệu video tiến hành phân tích, phát hiện sự chuyển đổi từ lia này sang lia khác hay chính là sự phát hiện ranh giới giữa các lia (đó chính là đo sự khác nhau giữa các khung hình liền kề). Trong hình dưới đây là ví dụ về sự chuyển đổi giữa các lia: 8 Hình 2.3: Chuyển đổi Lia giữa khung hình thứ 3 và thứ 4 Một số thuộc tính đặc trưng của video: Video có 4 đặc trưng chính đó là: Color (màu), Texture (kết cấu), Shape (hình dạng), Motion (chuyển động). a) Color Màu là một thuộc tính quan trọng của ảnh.

Biểu đồ màu, biểu diễn sự phân bố màu, là một đặc trưng màu phổ biến nhất hiện nay. Biểu đồ màu không phụ thuộc vào sự quay, dịch chuyển ảnh cũng như chiều nhìn ảnh. Tính hiệu quả của nó lại phụ thuộc vào hệ màu và phương pháp định lượng được dùng. Có một vấn đề với biểu đồ màu là nó không biểu diễn thông tin về không gian phân bố các điểm ảnh, do đó hai ảnh có cùng biểu đồ màu có thể có nội dung rất khác nhau.4: Bốn khung hình khác nhau song có cùng một biểu đồ màu b) Texture Đây là một đặc trưng quan trọng của bề mặt, nơi xảy ra việc lặp lại mẫu cơ bản.

Có hai dạng biểu diễn texture phổ biến: biểu diễn dạng ma trận đồng thời và biểu diễn Tamura. Ma trận đồng thời mô tả hướng và khoảng cách giữa các điểm ảnh, nhờ đó các thống kê có nghĩa có thể được trích chọn. Ngược lại, người ta thấy rằng entropi và mô men chênh lệch nghịch đảo lại có khả năng phân biệt tốt nhất. Biểu diễn Tamura được thúc đẩy nhờ các nghiên cứu về tâm lý trong việc thu nhận trực giác của con người và nó bao gồm các đại lượng đo tính thô, độ tương phản, hướng, tính trơn, tính cân đối và độ ráp.

Các đặc trưng Tamura rất hấp dẫn trong việc hiểu nội dung ảnh vì nó biểu đạt trực quan.