LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của tôi. Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ công trình nào khác.HCM, ngày 23 tháng 10 năm 2015 (Ký tên và ghi rõ họ tên) Phan Tiến Vƣơng ii LỜI CẢM ƠN Một đề tài nghiên cứu không thể thành công nếu không có sự trợ giúp kết hợp với nỗ lực cố gắng của ngƣời nghiên cứu. Do đó, tôi xin chân thành cảm ơn sự hỗ trợ của: Ban giám hiệu Trƣờng Đại Học Sƣ Phạm Kỹ Thuật TP. Khoa Cơ Khí Động Lực.
Lê Thanh Phúc cùng toàn thể quý thầy cô đã dạy và hƣớng dẫn nhiệt tình và tạo mọi điều kiện thuận lợi cho tôi trong thời gian theo học tại trƣờng. Các bạn kỹ sƣ đồng nghiệp đã động viên ủng hộ tinh thần. Tuy thời gian thực hiện đề tài là 6 tháng nhƣng do lƣợng kiến thức chủ chốt để phục vụ cho công tác nghiên cứu và thực hiện đề tài thuộc chuyên ngành điện tử và điều khiển tự động, công nghệ thông tin nên khả năng tiếp cận và lĩnh hội của học viên chuyên ngành cơ khí động lực gặp nhiều khó khăn và hạn chế. Tuy nhiên, với sự hƣớng dẫn và tạo điều kiện thuận lợi của Thầy TS.
Lê Thanh Phúc và các bạn đồng nghiệp, tôi đã lĩnh hội đƣợc rất nhiều kiến thức mới, bổ ích để phục vụ cho ngành cơ khí động lực và công tác nghiên cứu sau khi ra trƣờng. Vì vậy, một lần nữa tôi xin chân thành cảm ơn quý thầy cô và các bạn. Xin chúc quý thầy cô cùng toàn thể các bạn luôn dồi dào sức khoẻ và thành công! TP.HCM, ngày 23 tháng 10 năm 2015. Ngƣời cảm ơn Phan Tiến Vƣơng iii TÓM TẮT Nhận dạng ngƣời đi đƣờng, xe và chƣớng ngại vật là một đề tài hỗ trợ cảnh báo cho ngƣời lái xe và cho hệ thống giao thông thông minh.
Mô hình nhận ngƣời đi đƣờng với giả định tỉ lệ kích thƣớc ngƣời trong ảnh không đổi. Nhận dạng ngƣời đi đƣờng dùng giải thuật máy học SVM với đặc trƣng HOG. Mô hình nhận xe với tỉ lệ kích thƣớc xe trong ảnh thay đổi. Nhận dạng xe và chƣớng ngại vật dùng Cascade of boosting với đặc trƣng HOG.
Thực nghiệm cho thấy kết quả nhận dạng khá tốt: Nhận dạng ngƣời đi đƣờng đạt độ chính xác 91% khi dùng 4,500 ảnh dƣơng (ảnh ngƣời đi đƣờng), 4,000 ảnh âm (không phải ngƣời đi đƣờng) và 200 ảnh để kiểm tra. Nhận dạng xe đạt độ chính xác 93% khi dùng 1500 ảnh dƣơng (ảnh xe), 3,000 ảnh âm (không phải xe) và 200 ảnh để kiểm tra. Nhận dạng chƣớng ngại vật đạt độ chính xác 84% khi dùng 100 ảnh dƣơng (chƣớng ngại vật), 1,000 ảnh âm (không phải chƣớng ngại vật) và 50 ảnh để kiểm tra. Đề tài nghiên cứu sử dụng Webcam làm bộ phận thu hình ảnh chính đƣợc gắn trên xe ô tô xử lý bằng phần mềm Matlab và chạy thực nghiệm trên đƣờng cho kết quả nhận dạng tốt.
Đề tài đã xây dựng đƣợc một chƣơng trình nhận dạng ngƣời đi đƣờng, xe và chƣớng ngại vật. iv ABSTRACT Pedestrians detection, vehicle detection and object recognition are applied to support drivers in warning them and to intelligent transportation system. The system which detects pedestrians is based on an assumption that the sizes of human images are fixed. Human dectection process employs Support Vector Machine- Histograms of Oriented Gradients And the system identifies vehicles when the sizes of those in the images are changeable.
Vehicle detection and object recognition process employs Cascade of boosting -Histograms of Oriented Gradients. Experiments show fairly good results: pedestrians acquisition process gained a 91% accuracy after analysing 3500 positive images (images of pedestrians), 4000 negative images (non-pedestrians) and 200 testing images. Vehicles acquistition process gained a 93.1 % accuracy after analysing 1500 positive images (images of vehicles), 2000 negative images (non-vehicle) and 200 testing images. Obstacles acquisition process gained a 84 % accuracy after analysing 100 positive images (images of obstacles), 1000 negative images (non-obstacle) and 50 testing images.
This research uses webcam built in cars as the major camera and works with Matlab. Practical experiments on the streets have achieved good acquisition results.The research also creates a programme identifying pedestrians, vehicles and obstacles. v MỤC LỤC Trang tựa TRANG Quyết định giao đề tài Lý lịch khoa học i Lời cam đoan ii Lời cảm ơn iii Tóm tắt iv Mục lục vi Danh sách các chữ viết tắt xi Danh sách các hình xii Danh sách các bảng xvi CHƢƠNG 1.1 Tổng quan chung về lĩnh vực nghiên cứu .2 Nhận dạng ngƣời đi đƣờng .3 Hệ thống cảnh báo sớm khi phát hiện ngƣời đi đƣờng trên xe .4 Nhận dạng xe và chƣớng ngại vật .5 Mô hình nhận dạng xe tổng quát .6 Hệ thống cảnh báo va chạm (Forward Collision Warning) .7 Phƣơng pháp nhận dạng ngƣời đi đƣờng xe và chƣớng ngại vật bằng xử lý ảnh .2 Các kết quả nghiên cứu trong và ngoài nƣớc đã công bố .1 Các kết quả nghiên cứu trong nƣớc .2 Các kết quả nghiên cứu quốc tế .3 Mục đích của đề tài .4 Phƣơng pháp nghiên cứu .5 Ý nghĩa khoa học và tính thực tiễn của đề tài .6 Giới hạn đề tài .7 Kế hoạch thực hiện. 11 vi CHƢƠNG 2.1 Lý thuyết tổng quan về xử lý ảnh .1 Ảnh số là gì? .2 Hệ thống xử lý ảnh .2 Các vấn đề cơ bản trong xử lý ảnh .1 Biểu diễn và mô hình hóa ảnh .2 Tăng cƣờng ảnh .3 Nắn chỉnh biến dạng .6 Trích chọn đặc điểm .7 Đặc điểm biên và đƣờng biên .10 Đo khoảng cách giữa các pixels .3 Các mô hình màu .1 Mô hình màu RGB .2 Mô hình màu CMY.3 Mô hình HSV .4 Mô hình sáng .4 Đặc Trƣng Haar-like .5 Thuật toán AdaBoost .6 Bộ phân lớp Cascade.7 Bộ phân lớp Cascade of boosting .8 Đặc trƣng Histogram of Oriented Gradients .2 Chuẩn hóa Gamma & Colour .4 Chia hƣớng & gom đặc trƣng tại mỗi nhóm cell .5 Tính đặc trƣng cho khối và chuẩn hóa .6 Tính vector đặc trƣng cho cửa sổ.9 Máy vector hỗ trợ (SVM) .1 Siêu phẳng - Hyperplane .2 SVM tuyến tính .3 Các điều kiện Karush-Kuhn-Tucker (KKT) .4 Giải thuật SMO.
THUẬT TOÁN NHẬN DẠNG .1 Giới thiệu MATLAB .1 Khởi động Matlab.2 Một số lệnh thông dụng trong Matlab .3 Lập trình trong MATLAB.2 Nhận dạng ngƣời đi đƣờng sử dụng HOG và SVM .1 Tạo dữ liệu mẫu huấn luyện âm và mẫu huấn luyện dƣơng .2 Huấn luyện SVM .3 Nhận dạng ngƣời đi đƣờng .3 Nhận dạng xe và chƣớng ngại vật .1 Tạo bộ huấn luyện nhận dạng mẫu nhận dạng xe và chƣớng ngại vật.2 Hoạt động của bộ xử lý phân loại.3 Tạo nhãn nhận dạng cho mẫu.4 Sử dụng TrainCascadeObjectDetector tạo mẫu .5 Nhận dạng các đối tƣợng từ mẫu huấn luyện .4 Đo khoảng cách từ camera tới đối tƣợng .1 Mô hình đo khoảng cách trong ảnh .2 Kỹ Thuật camera calibration. THỰC NGHIỆM VÀ ĐÁNH GIÁ .1 Thông số Webcam .2 Kết quả thực nghiện .2 Tốc độ thu thập. KẾT LUẬN VÀ ĐỀ NGHỊ .1 Kết quả đạt đƣợc .2 Những vấn đề tồn tại .3 Hƣớng phát triển. 105 TÀI LIỆU THAM KHẢO.
109 ix DANH SÁCH CÁC CHỮ VIẾT TẮT MATLAB Maxtrix Laboratory CMU Carnegie Mellon University MIT Massachusetts Institute of Technology DARPA Defense Advanced Research Projects Agency HDTV High-definition television ROI Regions of Interest RGB Red, Green, Blue HSL Hue, Saturation, Luminance 2D Two Demension 3D Three Demension TIFF Targed Image File Format JPEG Joint Photographics Experts Group GIF Graphics Interchange Format BMP Window Bitmap PNG Portable Network Graphics XWD X Window Dump PCX Personal Computer Exchange CMY Cyan, Magnenta, Yellow HOG Histograms of Oriented Gradients SIFT Scale-Invariant Feature Transform PCA Principal component analysis CBC Cascade of boosting Classifier SVM Support Vector Machine DAB Discrete AdaBoost AdaBoost RAB - Real AdaBoost DAB GAB Gentle AdaBoost TP True Positive FP False Positive TN True Negative FN False Negative x DANH SÁCH CÁC HÌNH HÌNH TRANG Hình 1.1: Ứng dụng của sản phẩm TMPV760 [1] 2 Hình 1.2: Nhận dạng ngƣời đi đƣờng [2] 2 Hình 1.3: Phát hiện ngƣời đi đƣờng bằng công nghệ không dây [3].4: Mô hình tổng quát giải quyết bài toán nhận dạng xe [6] 6 Hình 1.5: Cảnh báo va chạm sử dụng camera và các cảm biến [6] 6 Hình 1.6: Nhận dạng xe bằng các phƣơng pháp khác nhau [6] 8 Hình 2.1: Ảnh tƣơng tự và ảnh số [17] 14 Hình 2.2: Hệ thống xử lý ảnh [17] 15 Hình 2.3: a, ảnh thật, b, ảnh zoom, c, ma trận điểm [17] 16 Hình 2.4: Ảnh thu nhận và ảnh mong muốn [17] 17 Hình 2.5: Mô hình màu [17] 23 Hình 2.6: Hệ tọa độ màu RGB [17] 24 Hình 2.7: Mô hình màu HSV [17] 25 Hình 2.8: Đặc trƣng Harr-like cơ bản [18] 26 Hình 2.9: Các đặc trƣng mở rộng của các đặc trƣng Haar-like cơ sở [18].10: Cách tính Integral Image của ảnh [18] 27 Hình 2.11: Ví dụ cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh 27 Hình 2.12: Cách tính nhanh tổng điểm ảnh của vùng D trên ảnh với các đặc trƣng xoay 45o [18] 28 Hình 2.13: Ví dụ cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh [18] 28 Hình 2.14: Lƣợc đồ cơ bản của AdaBoot [18] 29 Hình 2.15: Thuật toán học AdaBoot [18].16: Bộ phân loại cascade of classifiers [19].17: Bộ phân lớp cascade of boosted classifiers [19].18: Sơ đồ rút trích đặc trƣng HOG [20] 36 Hình 2.19: Hình ảnh miêu tả Sơ đồ rút trích đặc trƣng HOG [20] 37 xi Hình 2.20: Đặc trƣng HOG loại R-HOG và C-HOG [20] 40 Hình 2.21: Đặc trƣng Centre-Surround HOG [20] 40 Hình 2.22: Độ lớn của bin [20] 41 Hình 2.23: Các đƣờng phân chia hai tập dữ liệu mang đặc trƣng khác nhau[22] 43 Hình 2.24: Các siêu phẳng H1 và H2 phân chia các mẫu tích cực và thụ động thành hai lớp khác nhau [22] 44 Hình 3.1: Cửa sổ làm việc Matlab 49 Hình 3.2: Cửa sổ GUI File .4: Tập mẫu ảnh âm .5: Tập mẫu ảnh dƣơng .6: Xác định đặc trƣng HOG cho ảnh âm.7: Xác định đặc trƣng HOG cho ảnh dƣơng .8: Miêu tả phân loại với máy học vector SVM .9: Sơ đồ nhận dạng ngƣời đi đƣờng.10: Phát hiện ngƣời đi đƣờng từ phía sau.11: Phát hiện ba ngƣời ngƣời đi đƣờng .12: Một số kết quả nhận dạng ngƣời đi đƣờng.13: Mô hình đào tạo phân loại với Computer Vision System Toolbox™ .14: Công cụ Training Image Labeler .15: Chèn hình mẫu ảnh xe vào Training Image Labeler .16: Chèn hình mẫu ảnh chƣớng ngại vật vào Training Image Labeler .17: mẫu ảnh xe kích thƣớc 20x20 pixel và 64x64 pixel .18: Mẫu xe kích thƣớc 128x128 pixel .19: Mẫu ảnh cọc tiêu đƣờng .20: Dữ liệu data xuất từ Training Image Labeler .21: Hình trích xuất HOG từ vùng ảnh ROI của xe .22: Trích xuất HOG từ vùng ảnh ROI của chƣớng ngại vật .23: Kết quả nhận dạng xe.24: Kết quả nhận dạng chƣớng ngại vật .25: Mô hình đo khoảng cách trong ảnh [25].