ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN KHOA KY THUAT MAY TINH HOANG THI BÍCH LIEU PHAM THANH DAT KHOA LUAN TOT NGHIEP TREN ANH KHUON MAT NGUOI Eyeglass detection and removal for face recognition KY SU HE THONG NHUNG VA ROBOTIC TP. HO CHI MINH, 2021 ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN KHOA KY THUAT MAY TINH HOANG THI BICH LIEU - 16521713 PHAM THANH DAT- 16521500 KHOA LUAN TOT NGHIEP PHÁT HIỆN VÀ LOẠI BO MAT KÍNH TREN ANH KHUÔN MAT NGƯỜI Eyeglass detection and removal for face recognition KY SU HE THONG NHUNG VA ROBOTIC GIANG VIEN HUONG DAN TIEN SI DOAN DUY TP.
HO CHi MINH, 2021 THONG TIN HOI DONG CHAM KHÓA LUẬN TOT NGHIỆP Hội đồng cham khóa luận tốt nghiệp, thành lập theo Quyết định số 64/QD-DHCNTT ngày 26 tháng 01 năm 2021 của Hiệu trưởng Trường Đại học Công nghệ Thông tin. LỜI CẢM ƠN Dé thực hiện thành công khóa luận tốt nghiệp với dé tài “Nhận diện và loại bó mắt kính trên ảnh khuôn mặt người”, bên cạnh sự nỗ lực của nhóm -, chúng em luôn nhận được sự giúp đỡ tận tình từ quý thầy cô, đồng nghiệp, bạn bè và nhiều cơ quan, tô chức. Lời đầu tiên, chúng em xin chân thành gửi lời cảm ơn đến Trường Đại học Công nghệ Thông tin - ĐHQG TP. Hồ Chí Minh, Ban chủ nhiệm và quý thầy cô tại Khoa Kỹ thuật Máy tính đã tạo điều kiện tốt nhất để chúng em có được một môi trường học tập năng động và hiệu quả trong suốt quá trình học tập tại nhà trường.
Nhờ có sự chỉ dạy và dẫn dắt của các thầy cô, chúng em đã được học tập và tích luỹ được những kiến thức nền tảng của ngành Kỹ thuật Máy tính. Chúng em đặc biệt cảm ơn TS. Đoàn Duy đã luôn hỗ trợ và hướng dẫn chúng em trong suốt quá trình thực hiện đề tài. Nhờ sự chỉ dẫn của thay, chúng em da học hỏi được những kiến thức bồ ích và cần thiết, cũng như có cơ hội thực hành và trau dồi những kiến thức trên.
Cuối cùng, chúng em chân thành cảm ơn gia đình, bố mẹ, những người luôn ở bên cạnh ủng hộ, giúp đỡ chúng em có thời gian nghiên cứu dé tài và hết lòng hỗ trợ chúng em về mặt tinh thần trong suốt thời gian thực hiện đề tài. Trong thời gian thực hiện khóa luận tốt nghiệp, dù đã cố găng hoàn thiện đề tài nhưng không tránh khỏi những thiếu sót. Chúng em rất hoan nghênh và chân thành cảm ơn các ý kiến đóng góp của Quý Thầy Cô và bạn đọc để khoá luận được hoàn thiện hơn. Chúng em hy vọng khóa luận này sẽ là một tài liệu tham khảo hữu ích cho những ai yêu thích các lĩnh vực liên quan của đề tài.
H6 Chí Minh, ngày 23 tháng 01 năm 2021 Sinh viên Hoàng Thị Bích Liễu Sinh viên Phạm Thành Đạt Tran trọng cam on! MỤC LỤC Churong 1. nga on co na. Đối tượng nghiên cứu. Phạm vi nghiÊn CỨU.--ss¿s*èk*EEEketEEEktEEkktEErkriktririirieikiirierrrrierrrke 4 1.
Gidi han G6 nh. Tình hình nghiên cứu liÊn quan. Tình hình nghiên cứu quốc tẾ. _ Tình hình nghiên cứu trong nƯỚC.
Warn dé cOn 0 ệnớg'iaaaddỔỔ£ÝÝ. NOI DUNG NGHIÊN CU U. Mục tiêu nghiên CỨU .-- 2-2 x2 HHHYHHY Hà Hàng Hàng 9 3. Giai php dé XUat na.
Bài toán xác định khuôn mặt người — Haar Cascade. _ Thực hiện chuyển đổi ảnh mức xám — Grayscale Convert. Xác định vùng nhận dạng mắt kính — Glass Covered Region. Xác định có mắt kính trên ảnh khuôn mặt TIƯỜI.
Thực hiện loại bỏ mắt kính. _ Xây dựng chương trình demo. Cai đặt môi trưỜng. Môi trường được sử dụng trong đề tài:.
Cải đặt OpenCV với ++:.-eccccerireriirkiiriiiiiiiiriiriirir 20 Chương 4. Thu viện xử lý ảnh OpenCV,. Những thuật toán xử lý ảnh liên quan đề tài. Module Haar Cascade.
Phương pháp Grayscale Convert. Region Of Interest — ROIL. Làm mờ ảnh. Bộ lọc LapÏaC14T.
Bộ lọc Sobel.HHHH HH he 36 4. Phương pháp phát hiện cạnh cắt ngang. Thuật toán Canny Edge DefectIon.--------cse-cererserrerrreerxee 41 Chương 5. KẾT QUA THỰC NGHIỆM.
Cơ sở dữ liỆU. _ Chi tiết số lượng ảnh. _ Các thông số của ảnh. Nguồn ảnh thu thập trên mạng.
Kết quả thu được. Phương thức đánh giá. _ Kết quả thực nghiệm.cccccr HH HH HH HH nên 54 Chương 6. da g ỶỶŸ'âiỶíi'.
Hướng phát triển của đề tài.e-s-+ecesteecetrreretrrrrtrrrrrrrrrrrrrrrrte TÀI LIỆU THAM KHẢO DANH MỤC HÌNH Hình 3.2-1 Lưu đồ giải pháp dé Xuất .--- ¿2-5 St+SxeEE2EE2E2 2E EEEerkerkrrkrree 10 Hình 3.2-2 Kết quả áp dụng module Haar Cascade xác định khuôn mặt.2-3 Kết qua áp dung Grayscale Convert .2-4 Xác định GCR trên khuôn mặt .2-5 Kết quả áp dụng Gaussian Blur dé làm mờ ảnh .2-6 Kết quả áp dụng Canny Edge Detection dé lọc cạnh biên.2-7 Xác định đường viền ngoài.--- 22 2 x+E+2E+2EE+EEeEEerEerrkerkerrrrex 14 Hình 3.2-8 Xác định đường vién trong.--- ¿+ x+++EE+E++EzEerEerkerxerkererree 14 Hình 3.2-9 Kết qua toa độ điểm ảnh thuộc mắt kính.2-10 Thực hiện quét ảnh theo chiỀU đỌC.¿- c5 +keEt+EeEeEeExerrrkerxereree 16 Hình 3.2-11 Hình ảnh phóng to ảnh xét theo chiều đọc .2-12 Thay thế các điểm ảnh ROI bằng điểm ảnh màu.2-13 Kết quả thực nghiệm loại bỏ và khôi phục ảnh .2-14 Sơ đồ xây dựng chương trình demo.---- 2-2 2 2+s+x+zx+zs+zsz +2 18 Hình 3.2-15 Giao diện đưa ảnh đầu vàO .---¿- - + Sk+E+E£EE+EEEEeEerkererkererrrrs 19 Hình 3.2-16 Giao điện cho kết quả ảnh đầu ra.--2---¿- 5c ©+©sz2zx++z++zx+zrxz 19 Hình 4.2-1 Ví dụ bộ loc áp dung trong Haar Cascade.2-2 Ví dụ bộ lọc Haar trên ảnh.- --- + * 333322 EEE+eeeeeeeeeeeszee 24 Hình 4.2-3 Ví dụ chuyển đổi ảnh màu về ảnh xám.2-4 Ví dụ minh hoạ bộ anh RGB .- c5 552 S221 EES**ekeeeezee 25 Hình 4.2-5 Ví dụ mình hoạ phép toán 2D Convolution.----‹--- «<< ss+<sss+ 28 Hình 4.2-6 Minh hoạ cách xác định trọng số của Gaussian kernel.2-7 Kết quả thực nghiệm bộ lọc Median.---2- 2 2 +s£+zz+zx+zxzzsz 30 Hình 4.2-8 So sánh kết quả bộ lọc Gauss và bộ lọc Bilateral.2-9 Hai kernel phổ biến trong bộ lọc Laplacian.2-10 Biểu diễn của công thức LoG trên mặt phang (X, y).2-11 Minh hoa phản ứng của LoG với một bước cạnh.2-12 Minh hoạ hướng của 8ðTad1€TIE.2-13 Hướng của ðTadI€Ti(.2-14 Ví dụ xác định hướng ørad1€nI[ .-- - «5s sxss*cseeseeeserserseesee 45 Hình 4.2-15 Ví dụ ngưỡng maxVal và min ValL.-- - -- + + ss + +sekseeeeeeeeereere 46 Hình 5.2-1 Anh đầu vào trường hợp có kính mà không có khuôn mặt người.2-2 Anh đầu vào trường hợp có khuôn mặt người nhưng không có kinh.2-3 Anh minh hoạ tỉ lệ phục hồi hình ảnh khi loại bỏ mắt kính. 52 DANH MỤC BANG Bảng 5.1-1 Cơ sở dữ liệu ảnh Bảng 5.2-1 Bảng kết quả số lần chạy thực nghiệm từng loại hình anh .2-2 Kết quả thực nghiệm.-- 2-2 2 + SE‡EE#EE£EEEEEEEEEEEEEEEEEkrrkrrkrree DANH MỤC TỪ VIET TAT AAM Active Appearance Model GAN Genertive Adversarial Networks GCR Glass Covered Region GUI Graphical User Interface HPF High Pass Filter LFP Local Feature Based LoG Laplacian of Gaussian LPF Low Pass Filter NMS Non — maximum Suppression OCR Optical Character Recognition PC Personal Computer PCA Principal Component Analysis ROI Region Of Interest RGB Red Green Blue SAIL Stanford Artificial Intelligence Language TOM TAT KHÓA LUẬN Trong những năm gần đây, các giải pháp nhận diện khuôn mặt người ngày càng trở nên pho biến. Các phương pháp phát hiện và nhận diện khuôn mặt thường có dữ liệu xử lý dựa trên các khuôn mặt không đeo kính. Đối với các trường hợp người đeo kính thì độ chính xác nhận dạng sẽ giảm đáng kể.
Trong khi đó, thực tẾ các trường hợp người đeo kính cần được nhận dạng chiếm một tỉ lệ khá cao. Vì vậy, việc loại bỏ mắt kính trên khuôn mặt là một bước quan trọng để nâng cao hiệu quả của các giải pháp nhận dạng khuôn mặt. Trên thế giới đã có một số công trình nghiên cứu liên quan đến phát hiện và loại bỏ kín mắt trên ảnh. Tiêu biểu có nghiên cứu của Jang và các cộng sự công bố năm 2010 [1].
Đề tài sử dụng phương pháp Active Appearance Model — AAM để loại bỏ mắt kính trên hình ảnh khuôn mặt. Phương pháp này là một giải pháp hiệu quả cho bài toán nhận dạng khuôn mặt người khi đeo kính. Năm 2004, Chengyu Wu và các cộng sự cũng công bố nghiên cứu sử dụng phương pháp Principal Component Analysis — PCA để tái tạo lại ảnh sau đó loại bỏ kính khỏi gương mặt [2]. Hạn chế của nghiên cứu này là chỉ ứng dụng cho ảnh đen trắng.
Các công trình nghiên cứu trong nước, trong khi đó, chủ yếu tập trung vào nhận dạng và xử lý anh khuôn mặt không đeo kính. Theo tìm hiểu của nhóm tác giả, hiện tại chưa có công trình nghiên cứu nào được công bồ trong nước về phát hiện và loại bỏ kính mắt khỏi ảnh gương mặt. Dựa trên kết quả khảo sát, nhóm tác giả đề xuất thực hiện nghiên cứu “Phát hiện và loại bỏ mắt kính trên ảnh khuôn mặt người”. Kết quả nghiên cứu của đề tài góp phần hoàn chỉnh và nâng cao tính hiệu quả của các giải pháp nhận dạng khuôn mặt.
Bên cạnh đó, nghiên cứu cũng có khả năng triển khai ứng dụng trên nhiều lĩnh vực như kiểm soát an ninh, y té, thoi trang va ban lẻ. Lý do thực hiện đề tài Trong những năm gần đây, các giải pháp nhận diện khuôn mặt người ngày càng trở nên phô biến. Nhận diện khuôn mặt người — Face Recognition là một lĩnh vực nghiên cứu của ngành Computer Vision, và cũng được xem là một lĩnh vực nghiên cứu của ngành Biometrics, tương tự như nhận dang vân tay — Fingerprint Regconition, hay nhận dạng mống mắt — Iris Regconition. Sự khác biệt giữa các phương pháp này nằm ở bước trích chọn đặc trưng — Feature Extraction của mỗi lĩnh vực.
So với nhận dạng vân tay và mong mat, nhận diện khuôn mặt người có nguồn đữ liệu phong phú hơn (hình ảnh, video, camera, .) và ít đời hỏi sự tương tác có kiểm soát, có thê lay được Input một cách dé dang mà không cần bat kì tương tác trực tiếp nao, trong khi các phương pháp còn lại dé liệu Input lấy từ con người đòi hỏi có sự hợp tác trong môi trường có kiêm soát. Hiện nay các phương pháp nhận dạng khuôn mặt được chia thành nhiều hướng theo các tiêu chí khác nhau, nhưng cơ bản có thể gôm vào ba loại chính: phương pháp tiếp cận toàn cục — Global (như Eigenfaces — PCA, Eisherfaces — LDA); phương pháp tiếp cận dựa trên các đặc điểm cục bộ - Local Feature Based (như LBP, Gabor wavelets); và phương pháp lai — Hybrid là sự kết hợp của hai phương pháp toàn cục và cục bộ. Các ứng dụng cụ thể của nhận dạng khuôn mặt dựa trên hai mô hình nhận dạng. Thứ nhất, bài toán xác định danh tính (Identification).
Trong bài toán này, chúng ta cần xác định danh tính của ảnh kiểm tra đầu vào dựa vào một cơ sở dữ liệu có sẵn. Bài toán có tính chất 1:N, xác định một đối tượng trong N đối tượng.