TÓM TẮT Phát hiện đối tƣợng là xác định sự hiện diện c a đối tƣợng cụ thể c ng nhƣ xác định vị trí c a đối tƣợng. Ba giai đoạn cơ bản trong một hệ thống phát hiện đối tƣợng gồm trích rút các đặc trƣng cụ thể từ các đối tƣợng mẫu; Xây dựng mô hình phân loại đối tƣợng theo mẫu và xây dựng bộ phát hiện, nhận dạng chính xác các đối tƣợng đang ở vị trí nào trong ảnh hoặc video. Phát hiện ngƣời là một ch đề thu hút sự chú ý nghiên c u bởi các ng dụng đa dạng c a nó. Đề tài này nghiên c u phát hiện ngƣời đi bộ (upright people) dựa theo phƣơng pháp trƣợt cửa sổ (sliding window) để phát hiện ngƣời trên ảnh tĩnh và video.
Trích rút các đặc trƣng HOG (Histogram of Oriented Gradients) từ các đối tƣợng mẫu; dùng thuật toán SVM (Support Vector Machines) để thực hiện phân loại. Để tăng tốc độ hệ thống, dùng phƣơng pháp bộ mô tả đặc trƣng HOG cải thiện tính nhanh bộ mô tả đặc trƣng HOG. Cuối cùng, đề xuất ng dụng bộ phát hiện ngƣời vào mô hình hệ thống nhận dạng cảnh báo an ninh. Luận văn gồm bốn chƣơng: Chƣơng 1: Tổng quan.
Chƣơng 2: Cơ sở lý thuyết. Chƣơng 3: Thực nghiệm - Đánh giá. Chƣơng 4: Kết luận và hƣớng phát triển. v ABSTRACT Object detection is to determine the presence of a particular object as well as locate the object.
The three basic stages in an object detection system including extraction of specific features from the sample objects; Build an object classification model depending on a samples and build a detector that find exactly where objects are in the image or video. Human detection is a topic that attracts attention researched by its various applications. This topic explores detecting upright people based on the sliding window method to detect people on still images and videos. Extract HOG (Histogram of Oriented Gradients) features from samples of objects; Use the SVM (Support Vector Machines) algorithm to perform the classifier.
To speed up the system, use the improved HOG feature descriptor method to compute the HOG feature descriptor. Finally, the proposed people detector is suggested into applications for security alert identification system. The thesis consists of four chapters: Chapter 1: Overview. Chapter 2: Theoretical basis.
Chapter 3: Experiment - Evaluations. Chapter 4: Conclusions and Development. vi MỤC LỤC LÝ LỊCH KHOA HỌC. i LỜI CAM ĐOAN.
ii CẢM TẠ. iv MỤC LỤC. vi DANH SÁCH CÁC HÌNH. ix DANH SÁCH CÁC CHỮ VIẾT TẮT.
x CHƢƠNG 1: TỔNG QUAN .Các nghiên c u liên quan đến đề tài .Các nghiên c u trong nƣớc .Các nghiên c u ngoài nƣớc .Mục tiêu nghiên c u .Nhiệm vụ và giới hạn c a đề tài .Nhiệm vụ c a đề tài. Giới hạn c a đề tài .Phƣơng pháp nghiên c u .Kế hoạch thực hiện. 6 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT .Tổng quan về phƣơng pháp xử lý ảnh .Vector gradient ảnh .Vector gradient ảnh .Đặc trƣng HOG .Bộ mô tả HOG tĩnh .Bộ mô tả HOG chuyển động .Trích rút đặc trƣng HOG. Các biến thể c a phƣơng pháp HOG.
Các bộ mô tả đặc trƣng khác. Cải thiện cách tính đặc trƣng HOG. Máy vector hỗ trợ SVM (Support Vetor Machines). Phân loại tuyến tính với lề cực đại (maximum-margin linear classifier).
Các điều kiện Karush-Kuhn-Tucker. Hàm phân loại tuyến tính với lề mềm cực đại (Soft Margin Classifiers). Hàm nhân và SVM phi tuyến (Kernel function and nonlinear SVMs). Phƣơng pháp trƣợt window phát hiện ngƣời.
Đề xuất ng dụng phát hiện ngƣời trong giám sát an ninh .Sự cấp thiết đề xuất mô hình nhận dạng cảnh báo an ninh. Đề xuất mô hình hệ thống nhận dạng cảnh báo an ninh. 41 CHƢƠNG 3: THỰC NGHIỆM - ĐÁNH GIÁ. Sơ đồ các bƣớc thực hiện.
Trích rút đặc trƣng HOG. Huấn luyện và test bộ phân loại nhị phân. Xây dựng bộ phát hiện ngƣời trên ảnh tĩnh. Cải thiện thời gian tính đặc trƣng HOG dùng matlab.
Phát hiện ngƣời trong video. Kết quả từ bộ phân loại SVM. Kết quả cải thiện tính thời gian trích đặc trƣng HOG. KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN.
62 TÀI LIỆU THAM KHẢO. 64 viii DANH SÁCH CÁC HÌNH HÌNH TRANG Hình 2.1: Sơ đồ các bƣớc cơ bản trong xử lý ảnh .2: Đạo hàm theo hƣớng vector u.3: Ví dụ về pixel cần tính vector gradient .4: Sơ đồ tổng quan về trích rút đặc trƣng HOG tĩnh hoặc HOG chuyển động qua một cửa sổ phát hiện và SVM phân loại đối tƣợng .5: Sơ đồ tổng quan về trích rút đặc trƣng HOG tĩnh .6: Sơ đồ tổng quan về trích rút đặc trƣng HOG chuyển động .7: Ví dụ cửa sổ nhận dạng cao 128 pixel x rộng 64 pixel .8: Ví dụ về (a) ảnh xám; (b) ảnh gradient X; (c)ảnh gradient Y .9: Tính góc và biên độ theo X-gradient và Y-gradient .10: Mô tả 9 bin hƣớng c a HOG (a) và ví dụ về HOG c a một cell ảnh (8x8 pixels) .11: Ví dụ về HOG c a một block ảnh (2x2 cells) .12: Ảnh (a) và hình dung (Visualization) HOG c a ảnh: (b) kích thƣớc cell 8x8 pixel, (c) kích thƣớc cell 16x16 pixel .13: Mô tả toàn bộ quá trình trích rút đặc trƣng HOG .14: Các biến thể c a bộ mô tả HOG tĩnh. (a) Bộ mô tả R-HOG với các block 3 × 3 cells. (b) Bộ mô tả C-HOG với cell trung tâm đƣợc chia thành các phần nhỏ theo góc nhƣ trong shape contexts.
(c) Bộ mô tả C-HOG với một cell đơn trung tâm .15: Hai biến thể cƣờng độ gradient (GShapeC) và biên hiện có (E-ShapeC) chỉ dùng 1bin hƣớng C .16: Mô tả hiệu quả c a HOG tốt hơn so với các phƣơng pháp trƣớc đó. (a) thực hiện trên tập dữ liệu c a MIT; (b) thực hiện trên tập dữ liệu c a INRIA23 Hình 2.17: Xử lý gradient theo hƣớng c a ảnh đối với phƣơng pháp tổng tích l y 24 ix Hình 2.18: Sơ đồ cải thiện tính đặc trƣng HOG .19: Có vô số đƣờng thẳng có thể phân chia tuyến tính, tuy nhiên với đƣờng phân chia H5, đã có một điểm bị phân loại nhầm .20: Không thể phân chia các lớp dữ liệu một cách tuyến tính. Ánh xạ dữ liệu trong không gian ban đầu vào một không gian mới nhiều chiều hơn .21: Việc phân tách dữ liệu trở nên dễ dàng hơn trong không gian mới .22: Các siêu phẳng phân chia tập mẫu thành hai lớp và support vector trong SVM .23: Các siêu phẳng H+ và H- trong SVM .24: Mô tả phƣơng pháp trƣợt window .25: Ví dụ hai window phát hiện gần nhau.26: Ví dụ về loại bỏ không cực đại (Non-Maximum Suppression) .27: Minh họa hình chóp tỉ lệ, mỗi m c mô tả một tỉ lệ so với ảnh gốc .28: Một vài kết quả phát hiện trƣớc (a) và sau (b) khi loại bỏ các phát hiện trùng lặp .29: Sơ đồ khối hệ thống nhận dạng cảnh báo an ninh .1: Sơ đồ các bƣớc thực hiện phát hiện ngƣời .2: Một vài ảnh positive huấn luyện trên tập dữ liệu c a INRIA .3: Một vài kết quả phát hiện ngƣời trên ảnh tĩnh .4: Một vài kết quả phát hiện ngƣời trên video .5: So sánh các đƣờng cong ROC.6: Đƣờng cong ROC test với tập dữ liệu c a INRIA .7: So sánh thời gian trích đặc trƣng trƣớc và sau cải thiện phƣơng pháp tính vector đặc trƣng HOG c a ảnh - (a): Bƣớc trƣợt 4:4:32; (b) Bƣớc trƣợt 4:4:64. x DANH SÁCH CÁC CHỮ VIẾT TẮT ACF - Aggregated Channel Features C-HOG - Circle Histogram of Oriented Gradients DET - Detection Error Tradeoff EHOG - Enhanced Histogram of Oriented Gradients FN - False Negative FP - False Positive INRIA - French National Institute for Research in Computer Science and Control HOG - Histogram of Oriented Gradients HIKSVM - Histogram Intersection Kernel Support Vector Machine MHOG - Multiple Histogram of Oriented Gradients MIT - Massachusetts Institute of Technology RBF - Radial Basis Function R-HOG - Rectangle - Histogram of Oriented Gradients ROC - Receiver Operating Characteristic SS-HOG - Scale Space Histogram of Oriented Gradients SVM - Support Vector Machines TN - True Negative TP - True Positive xi Chƣơng 1 TỔNG QUAN 1.
Giới thiệu Trong thập kỷ qua, các hệ thống tự động phát hiện ngƣời đã thu hút sự chú ý đáng kể trong lĩnh vực thị giác máy tính và nhận dạng mẫu do bởi sự đa dạng các ng dụng c a nó. Phát hiện ngƣời đƣợc dùng rộng rãi trong nhiều lĩnh vực khác nhau nhƣ phát hiện hoạt động c a ngƣời trong an ninh, camera giám sát và phát hiện ngƣời đi bộ ng dụng trong xe thông minh, Tự động phát hiện ngƣời trong ảnh và video gặp nhiều thách th c đối với hệ thống thị giác máy tính. Nguyên nhân ch yếu là do ảnh hƣởng c a môi trƣờng, quang cảnh, trang phục, hình dáng đa dạng làm cho con ngƣời khó nhận dạng. Ví dụ nhƣ con ngƣời có thể mặc quần áo với đa dạng màu sắc, diện mạo và tƣ thế khác nhau, sự che khuất lẫn nhau c a những ngƣời trong đám đông, điều kiện chiếu sáng khác nhau, Phát hiện đối tƣợng là xác định sự hiện diện c a đối tƣợng cụ thể c ng nhƣ xác định vị trí c a đối tƣợng trong hình ảnh.
Ý tƣởng then chốt trong các phƣơng pháp phát hiện đối tƣợng là dựa vào các đặc trƣng cụ thể đƣợc trích rút ra từ các đối tƣợng mẫu, nhờ các thuật toán học xác định và phân loại, so khớp đối tƣợng giống với đối tƣợng mẫu. Bài toán phát hiện ngƣời có thể đƣợc phát biểu đơn giản là: cho một ảnh hoặc cảnh video, xác định tất cả các vị trí có đối tƣợng là con ngƣời. Nghiên c u phát hiện ngƣời dựa vào một bộ mô tả đặc trƣng, sau đó dùng giải thuật học máy để học các đặc trƣng c a một lớp các đối tƣợng. Cuối cùng là nhận dạng, phát hiện đối tƣợng trong một ảnh hoặc video dùng mô hình đã đƣợc huấn luyện.
Phát hiện đối tƣợng cụ thể là ngƣời đi bộ (pedestrian), đã đƣợc quan tâm trong nhiều năm gần đây. Cùng với yêu cầu phát triển xã hội, hiệu quả các hệ thống phát hiện đòi hỏi ngày càng đƣợc cải thiện. Có nhiều hƣớng tiếp cận khác nhau để giải bài toán phát hiện khác nhau [1] nhƣ: phƣơng pháp tìm các điểm quan trọng (Find 1 interest points), phƣơng pháp trƣợt cửa sổ (Sliding windows), phƣơng pháp đề xuất các vùng đối tƣợng (Generate region proposals) và phân đoạn vùng ảnh Đề tài “ ng dụng kỹ thuật phát hiện ngƣời trong giám sát an ninh” nghiên c u phát hiện ngƣời đi bộ (pedestrians) dựa theo phƣơng pháp trƣợt cửa sổ (Sliding windows) để phát hiện ngƣời trên ảnh tĩnh đồng thời thực hiện cải thiện phƣơng pháp trích rút đặc trƣng HOG (Histogram of Oriented Gradients) bằng mô tả đặc trƣng HOG mở rộng.