MỞ ĐẦU. Lý do chọn đề tài. Mục đích nghiên cứu. Đối tƣợng và phạm vi nghiên cứu.
Phƣơng pháp nghiên cứu. Ý nghĩa khoa học và thực tiễn của đề tài. KHÁI QUÁT VỀ NHẬN DẠNG KHUÔN MẶT VÀ BÀI TOÁN GIÁ SÁT TỰ ĐỘNG. Khái quát về nhận dạng khuôn mặt.
Hệ thống sinh trắc học. Hệ thống nhận dạng khuôn mặt. Hệ thống xác minh hay xác thực khuôn mặt. Những thách thức trong bài toán nhận dạng khuôn mặt.
Một số nghiên cứu về nhận dạng khuôn mặt. Một số ứng dụng liên quan đến nhận dạng khuôn mặt. Cơ sở lý thuyết về ảnh và xử lý ảnh số. Khái niệm về ảnh số.
Các kiểu ảnh số. Điểm ảnh và ma trận điểm ảnh. Mức xám của ảnh. Biến đổi ảnh xám.
Xử lý ảnh số. Một số phƣơng pháp phát hiện khuôn mặt ngƣời. Hƣớng tiếp cận dựa trên tri thức. Hƣớng tiếp cận dựa trên đặc trƣng không thay đổi.
Hƣớng tiếp cận dựa trên so khớp mẫu. Hƣớng tiếp cận dựa trên diện mạo. Các khó khăn gặp phải trong nhận dạng khuôn mặt. Kết luận chƣơng 1.
NHẬN DẠNG KHUÔN MẶT DỰA TRÊN HISTOGRAM HƢỚNG GRADIENT VÀ MẠNG NORON TÍCH CHẬP 33 2. Kỹ thuật trích chọn đặc trƣng histogram hƣớng gradient. Thuật toán HOG. Nhận dạng khuôn mặt dựa trên mạng CNN.
Bài toán giám sát khuôn mặt tự động. Hệ thống mạng CNN trong nhận dạng mặt ngƣời. Phƣơng pháp nhận dạng khuôn mặt dựa trên HOG và CNN. Kết luận chƣơng 2.
Giới thiệu bài toán. Phân tích yêu cầu và thu thập dữ liệu. Môi trƣờng cài đặt và kết quả cài đặt thử nghiệm. 59 e DANH MỤC CÁC CHỮ VIẾT TẮT Chữ tắt Dạng đầy đủ PCA Principal Component Analysis LDA Linear Discriminant Analysis HMM Hidden Markov Model CT Computer Tomography MRI Magnetic Resonance Imaging DoG Difference of Gauss PDM Point Distribution Model SVM Support VectorMachine ANN Artificial Neural Network HOG Histogram of Oriented Gradient CNN Convolutional neural networks KLT Kanade-Lucas-Tomasi e DANH MỤC CÁC HÌNH ẢNH Hình 1.
Ma trận điểm ảnh. Mô hình RGB 3 chiều. Hệ thống xử lý ảnh số. (a) Ảnh ban đầu cóđộ phân giải n = 1; (b), (c), và (d)Ảnh có độ phân giải n = 4, 8, 16.
Một loại tri thức của ngƣời nghiên cứu phân tích trên khuôn mặt. Phƣơng pháp chiếu: (a) Ảnh chỉ có một khuôn mặt và hình nền đơn giản; (b) Ảnh chỉ có một khuôn mặt và hình nền phức tạp; (c) Ảnh có nhiều khuôn mặt. Chiếu từng phần ứng viên để xác định khuôn mặt. Mẫu khuôn mặt, có 16 vùng và 23 quan hệ (mũi tên).
Mô hình mạng ANN theo Rowley. Mô phỏng các gradient. Hình ảnh đầu vào đƣợc chia thành các lƣới ô vuông. Mapping độ lớn gradients với các bins.
Ví dụ phân chia gradient. Biểu đồ Histogram of Gradient gồm 9 bins tƣơng ứng với một ô vuông trong lƣớt ô vuông. Kiến trúc mạng CNN. Bộ lọc tích chập đƣợc sử dụng trong ma trận điểm ảnh.
Phƣơng thức Avarage Pooling và Max Pooling. Tổng quan về phƣơng pháp nhận dạng mặt ngƣời bằng mạng nơ ron tích chập. Thiết kế mạng nơ ron để xử lý ảnh. Các giai đoạn dò tìm và hiệu chỉnh.
Kiến trúc DCNN đƣợc sử dụng. Ví dụ các điểm mốc trên khuôn mặt ngƣời. Kết quả mẫu của liên kết khuôn mặt của JANUS CS2. Sơ đồ mô hình tổng quan.
Error! Bookmark not defined. Giao diện chính chƣơng trình. Phát hiện khuôn mặt và định danh. Lý do chọn đề tài Xử lý ảnh và Thị giác máy đang phát triển mạnh mẽ và đang đƣợc thu hút sự quan tâm của nhiều nhà khoa học.
Trong những năm qua, nhận dạng khuôn mặt trong video đã nhận đƣợc sự chú ý đáng kể. Đã xuất hiện những công nghệ khả thi sau nhiều thập niên nghiên cứu đóng góp vào xu thế này, chúng không chỉ ứng dụng vào các ứng dụng thƣơng mại, ứng dụng bảo mật mà còn nhiều lĩnh vực khác trong cuộc sống. Mặc dù hệ thống nhận dạng khuôn mặt hiện tại đã đạt đến một mức độ phát triển nhất định, nhƣng chúng vẫn còn nhiều hạn chế khi áp dụng vào các điều kiện thực tế. Ví dụ, các hình ảnh nhận dạng của video đƣợc lấy trong môi trƣờng thực tế với sự thay đổi độ sáng, khuôn mặt nghiêng hoặc độ phân giải thấp của hình ảnh thu đƣợc vẫn là vấn đề khó giải quyết.
Nói cách khác, các thuật toán hiện tại vẫn chƣa đƣợc hoàn thiện tốt nhất. Nhận dạng khuôn mặt có nhiều ứng dụng, đặc biệt là ứng dụng trong giám sát tự động. Trong thời đại chuyển đổi số và ứng dụng công nghệ thông tin mạnh nhƣ hiện nay, nhu cầu phát hiện, nhận dạng và giám sát tự động đang trở nên cấp thiết hơn cả. Với lƣợng camera có thể lắp đặt nhiều nơi, tính thực tiễn của giám sát tự động qua camera là rất cao, ứng dụng vào nhiều mục đích và lĩnh vực, phục vụ nhiều nhu cầu trong đời sống.
Với những phân tích trên, tôi xin chọn nghiên cứu đề tài “NGHIÊN CỨU NHẬN DẠNG KHUÔN MẶT VÀ ỨNG DỤNG TRONG GIÁM SÁT TỰ ĐỘNG ”. Mục đích nghiên cứu - Nghiên cứu các đặc trƣng khuôn mặt và các thuật toán trích chọn các đặc trƣng đó. - Nghiên cứu phân loại khuôn mặt và xây dựng tập CSDL. e 2 - Xây dựng mô hình hệ thống giám sát tự động.
- Cài đặt thử nghiệm và đánh giá kết quả 3. Đối tƣợng và phạm vi nghiên cứu 3. Đối tượng nghiên cứu: Đối tƣợng nghiên cứu của đề tài là ảnh có khuôn mặt ngƣời và các thuật toán trích chọn các đặc trƣng khuôn mặt. Phạm vi nghiên cứu: Phạm vi nghiên cứu của đề tài này là nghiên cứu các phƣơng pháp trích chọn đặc trƣng khuôn mặt trên ảnh khuôn mặt của ngƣời Việt Nam và Lào, ứng dụng vào xây dựng hệ thống giám sát tự động cho đơn vị công tác.
Phƣơng pháp nghiên cứu Phƣơng pháp nghiên cứu của đề tài đƣợc lựa chọn là lý thuyết kết hợp với thực nghiệm. Phƣơng pháp phân tích kỹ thuật và tổng hợp ứng dụng các thuật toán để giải quyết bài toán thực nghiệm. Ý nghĩa khoa học và thực tiễn của đề tài Những giá trị khoa học và thực tiễn của đề tài: - Các đặc trƣng để phát hiện và nhận biết khuôn mặt ngƣời trên ảnh và video, các kỹ thuật trích chọn đặc trƣng. - Xây dựng mô hình phát hiện và nhận dạng mặt ngƣời thời gian thực.
- So sánh hiệu suất đối với khuôn mặt ngƣời Lào và Việt Nam. NỘI DUNG CHÍNH Nội dung của đề tài đƣợc chia thành 3 chƣơng. Chƣơng 1: Giới thiệu tổng quan về nhận dạng khuôn mặt Trong chƣơng này, đề tài giới thiệu tổng quan về các khái niệm cơ bản trong xử lý ảnh và nhận dạng mặt ngƣời, một số phƣơng pháp và kỹ thuật phát hiện cũng nhƣ nhận dạng khuôn mặt. Một số ứng dụng của nhận dạng khuôn mặt trong giám sát tự động.
e 3 Chƣơng 2: Một số kỹ thuật nhận dạng khuôn mặt Lý thuyết về kỹ thuật dựa vào phân tích đặc trƣng, kỹ thuật dựa vào phân lớp và ứng dụng vào bài toán giám sát tự động. Chƣơng 3: Chƣơng trình thử nghiệm Giới thiệu bài toán, mô tả tập dữ liệu đầu vào đƣợc sử dụng, cài đặt thử nghiệm, và phân tích đánh giá kết quả thực nghiệm. KHÁI QUÁT VỀ NHẬN DẠNG KHUÔN MẶT VÀ BÀI TOÁN GIÁ SÁT TỰ ĐỘNG 1. Khái quát về nhận dạng khuôn mặt 1.
Hệ thống sinh trắc học Hệ thống sinh trắc học là một hệ thống đƣợc thiết kế để xác minh và nhận dạng một ngƣời dựa vào những đặc trƣng sinh học duy nhất của ngƣời đó. Hệ thống nhận dạng khuôn mặt Hệ thống nhận dạng khuôn mặt là một hệ thống đƣợc thiết kế để tìm thông tin của một ngƣời. Kĩ thuật nhận dạng là kiểm tra sự phù hợp dựa trên phép so sánh một-nhiều cụ thể là tìm ra một ngƣời là ai trong số những ngƣời đã đƣợc lƣu trữ trong hệ thống dựa vào thông tin khuôn mặt. Hệ thống xác minh hay xác thực khuôn mặt Hệ thống xác minh/xác thực khuôn mặt là một hệ thống đƣợc thiết kế để xác minh thông tin của một ngƣời .Kĩ thuật xác minh là kiểm tra sự phù hợp trên phép so sánh một-một cụ thể là đối chiếu thông tin mới nhận về một ngƣời với thông tin đã lƣu trữ về ngƣời này có khớp hay không dựa trên thông tin khuôn mặt.
Những thách thức trong bài toán nhận dạng khuôn mặt Những biến đổi quá lớn giữa các ảnh khuôn mặt khác nhau từ một ngƣời cần nhận dạng gồm trạng thái cảm xúc trên khuôn mặt, ánh sáng, và các thay đổi vị trí của khuôn. Giới hạn về số ảnh cần thiết cho việc nhận dạng, tập học không thể bao quát đƣợc tất cả các biến đổi có thể có trên khuôn mặt của một ngƣời cần nhận dạng trong thế giới thực. Một số nghiên cứu về nhận dạng khuôn mặt Bài toán nhận dạng khuôn mặt cần xác định hai vấn đề chính: dùng thông tin nào để nhận dạng: chân mày, cặp mắt, mũi, môi, tai, hay kết hợp các thông tin trên.Và dùng phƣơng pháp nào để huấn luyện cho máy nhận dạng e 5 dùng nguồn thông tin đó. Nhận dạng khuôn mặt trên máy tính đã trãi qua nhiều bƣớc thăng trầm với các kết quả nhƣ sau: o Wenyi Zhao, Arvindh Krishnaswamy, Rama Chellappa, Danie L.Swets, ohn Weng (1998)[1] sử dụng phƣơng pháp PCA (phân tích thành phần chính) kết hợp LDA (phân tích độc lập tuyến tính).
Bƣớc 1, chiếu ảnh khuôn mặt từ không gian ảnh thô sang không gian các không gian khuôn mặt (Mỗi lớp khuôn mặt đƣợc nhận dạng sẽ đƣợc mô hình hóa bằng một không gian khuôn mặt) dùng PCA. Bƣớc 2, sử dụng phƣơng pháp LDA để tạo bộ phân loại tuyến tính có khả năng phân lớp các lớp khuôn mặt. o Emmanuel Viennet và Francoise Fogelman Soulie (1998),[3] sử dụng phƣơng pháp mạng neural nhân tạo để xử lý và nhận dạng khuôn mặt o Antonio J.Colmenarez và Thomas S.Huang (1998),[4] sử dụng kỹ thuật học thị giác và phù hợp mẫu 2-D. Ông quan niệm bài toán dò tìm khuôn mặt là thao tác phân loại khuôn mặt trong đó khuôn mặt thuộc về một lớp và các đối tƣợng khác thuộc về lớp còn lại bằng cách ƣớc lƣợng mô hình xác suất cho mỗi lớp, và việc dò tìm sử dụng luật quyết định Maximum- likelihood.
o Kazunori Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor Elagin, Hartmut Neven, and Christoph (1998),[5] nhận dạng khuôn mặt dựa vào sóng Gabor và phƣơng pháp phù hợp đồ thị bó.