Chương 1.Hiện trạng hiện may :.Nội dung thực hiện :.Phương pháp: .Giới hạn đề tài và kết quả mong đợi :.--22-©2+22E++22EE++t2EE++ttrxrrerrrrrrrrrs 5 2.Giới thiệu về Deep learning:.Deep Neural NÑetWOrK:.- cà th 12H11 HH1 H10 101 11x re. --- c1 111191131 9118 1E 191 vn nh ng rưy 9 2. -- c1 91 E1 1E E1 91 211 ng HH Hàn 9 2.Tìm hiểu bộ xác định facial landmark của Dlib :. HH HH HH HH HH TH HH HH Hy 21 2.Convolutional Nerural Network (CNN)[ I7]:.Sự xuất hiện mạng ResÌNet:.Các bước trong KNN:.
PHAN TÍCH VÀ THIET KE HE THÓNG:.Tổng quan hệ thống :. Téng quan toàn bộ của hệ thống:.Xây dựng hệ thống nhận diện khuôn mặt: .Thiết kế web :. Giải thuật điểm danh tự ỘNĐ::.- ng nh Hàn HH51 Chuong 4. THUC NGHIEM VA KET QUẢ: .------2¿52-z+2sz+cssesrx 52 lun.Phát hiện khuôn mặt và định danh 53 AB.Daamh gids an.
KET LUẬN VÀ HƯỚNG PHAT TRIÊN:.Những điều đạt được:.Những hạn chế:.Hướng phat tren: .1: Sơ đồ mô phỏng cấu trúc một neural network đơn.1: Cấu trúc của Deep Neural NetWOrk.3: Minh hoa tinh năng OpenC V.4: Logo DLID oo.6: Nvidia Jetson Nano.7: Thông sé JETSON NANO DEVELOPER KIT cơ bản.8: Độ phổ biến của các ngôn ngữ lập trình trên thé giới.9: Facial landmark xác định 68 điểm trên khuôn mặt.10: Mô tả quy trình tiếp nhận và xử lý dữ liệu mang CNN.11: Mô tả quá trình tích chập và kết qua đầu ra tương ứng .12: Phép phân tích pooling.13: Phép làm phẳng .-- 22:22 ©252222+2EEE2ESE2EEEEEEEESEEErEEkrrrrrrrrrrrrrk 24 Hìn 2.14: Mạng thần kinh đã được làm phẳng.15: Chuỗi các vector ảnh sau khi phân tách.16: Van đề suy thoái mạng neural.17: ResNet sử dụng kết nối tắt xuyên qua một hay nhiều lớp Hìn h 2.19: Minh hoa ChO 01 .- ¿+ 11121111111 101 1T HT TH HT Hàng ghế30 Hìn h 2.23: Laravel tuân theo Mô hình MVC .1: Sơ đồ tổng quát hệ thống điểm danh.---- 5 + s2 £s+£+zx+£zx+=+2 32 Hình 3.2: Sơ đồ hệ thống thiết bị nhúng.3: Sơ đồ lay mẫu dữ liệu khuôn mặt trước nhận dạng.4: Quy trình lấy mẫu .--¿- ¿- ¿5£ +2SE2E+2EE2E2E£EEEEESEEEEEEerxerxerreree 36 Hình 3. - - - Gà T g n rự 38 Hình 3.6: Trang đăng nhập hệ thống .- ¿2 - ¿2E +E££E+E+E£EE+E+EeEErErEerersrkee 40 Hình 3.7: Trang hệ thống quản lý điểm danh sinh viên .8: Trang quản lý điểm danh.-- - 2 2-5 S22E+E£EEE£E£E£EE£EeEeEErkrrerersrkee 4I Hình 3.9: Trang thông tin điểm danh lớp học.-----:--: ¿5 ++5+22++xz+x+zxez+zz+zs+2 42 Hình 3.10: Trang quản lý lớp hỌC.11: Trang quản lý thông tin lớp hỌc. -- <5 52+ Ex+sseeeereeeeeeeeres 44 Hình 3.12: Trang quản lý thông tin danh sách sinh viên.13: Trang quản lý thông tin thêm mới sinh viên .14: Trang quản lý thông tin edit sinh viÊn. - --- 55+ *£++sc+sseeesss 46 Hình 3.15: Giao điện khi bật thiết bị .-:- ¿52-52 2E2222E22E2ECEE2EEEEErkerrkerrrrrree 47 Hình 3.16: Giao diện tính năng ““VIIDEO”.- c1 1191 1 vn re 48 Hình 3.17: Giao diện khi click/touch chọn icon “AIDDMIN”.18: Giao diện khi đăng nhập thành công vào Admin .19: Giao diện thêm ID sinh viên vào cơ sở dit liệu .20: Quá trình tra1nn1g.-- - - - -- c6 1111139 10111119 911 ng ng re 50 Ipi1:6/2006-1i10i0à419)59n.1: Thiết bị điểm danh o.2: Phát hiệ khuôn mặt và định danh.3: Nhận diện và định danh khoảng cách 2m.4: Nhận diện và định danh khoảng cách 4m .5: Nhận diện và định danh khoảng cách 7m.6: Nhận diện và định danh khoảng cách IÖm.7: Nhận diện với góc nghiêng khoảng 30 độ.8: Biêu đồ Độ chính xác (%) khi phát hiện và nhận diện theo khoảng cách 56 Hình 4.9: Lúc chưa có đối tượng.---¿-¿- - + +s+x+E+EE+E+E£EEEEEEEEEEEEEEEEEErErkerrkrkee 57 Hình 4.10: Tài nguyên sử dụng CPU.-- -- - - -G 1 211v ng ng re 57 Hình 4.11: Biểu đồ thời gian sử lý trên 1 khung hình giữa GPU va CPU.
58 DANH MUC BANG Bang 2.1: Các thành phan của Qt.2 : Các thông số của Jetson Nam0.1 : Bảng số liệu thời gian thực thi hệ thống.--2:55 25255255256 DANH MUC TU VIET TAT Cum tù/Kí hiệu Mô tả REID Radio Frequency Identification CNN Convolutional Neural Network FPS Frames-per-second GPU Graphics Processing Unit CPU Central Processing Unit GUI Graphical User Interface GCC GNU Compiler Collection XML Extensible Markup Language JSON JavaScript Object Notation AI Artificial Intelligence SO-DIMM Small Outline Dual In-line Memory Module HDMI High-Definition Multimedia Interface SDIO Secure Digital Input Output ĐC Inter-Integrated Circuit UART Universal Asynchronous Receiver-Transmitter MIPI-CSI MIPI Camera Serial Interface ARM Advanced RISC Machine RAM Random Access Memory PCIe PCI Express GFLOPS Giga Floating Point Operations Per Second LPDDR Low-Power Double Data Rate SDK Software Development Kit OpenCV Open Source Computer Vision Library HTML Hypertext Markup Language CSS Cascading Style Sheets MySQL "My" is the name of co-founder Michael Widenius's daughter and "SQL" is Structured Query Language QML Qt Modeling Language JSON JavaScript Object Notation CUDA Compute Unified Device Architecture KNN K-Nearest Neighbors PHP | Hypertext Preprocessor MVC | Model View Controller TÓM TẮT KHÓA LUẬN Điểm danh là một công việc thường xuyên tại các cơ quan nhà nước, doanh nghiệp, trường học, tuy nhiên hiện nay công việc điểm danh này tại hầu hết các trường học, doanh nghiệp và các cơ quan vẫn còn thực hiện thủ công bằng tay hoặc nhận diện vân tay làm tiêu tốn nhiều khá nhiều thời gian và dé xảy ra sự cố khi có tác động từ môi trường (mưa làm ướt vân tay, tiêu tốn tài nguyên nhân lực dé điểm danh, .) Từ đó chúng tôi xây dựng hệ thống điểm danh sinh viên trong lớp học tự động băng Dual Camera có tích hợp mạng CNN kết hợp hệ thống nhúng trong phạm vi lớp học. Bằng cách sử dụng board Jetson Nano để xử lý ảnh và đưa dữ liệu điểm danh lên Website dé tự động cập nhật dữ liệu và quản lý, kiểm soát người dùng, kiểm tra việc điểm danh của sinh viên. Thông báo quá trình học tập trên lớp của sinh viên đến phụ huynh một cách chính xác và nhanh chóng nhất. Hiện trang hiện nay : Việc điểm danh vân tay trong các trường hoc là một công việc thường xuyên và tốn thời gian của giáo viên và học sinh trước mỗi giờ học.
Các hệ thống điểm danh vân tay tự động hiện nay thường chỉ có một cơ sở đữ liệu mẫu hạn chế nên không đáp ứng đủ cho trường hợp sỐ lượng sinh viên hoặc học sinh lớn. Đồng thời việc điểm danh tự động trong trường học hiện nay thường là sử dụng các hệ thống máy chấm công vân tay, các hệ thống này chỉ xác nhận đơn lẻ thông tin sinh viên tham gia hay không tham gia tại một địa điểm cố định nao đó. Điểm danh là một công việc thường xuyên tại các đơn vị trường học, tuy nhiên hầu hết các trường học hiện nay thì công việc này đang được thực hiện bằng tay. Nghĩa là mỗi giáo viên hoặc người quản lý sẽ phải gọi tên và kiểm tra sự có mặt của học sinh hoặc sinh viên trước giờ học, hoặc trước giờ thi.
Việc này gây mat thời gian đồng thời có thé có hiện tượng mạo danh. Có nhiều giải pháp công nghệ dé tự động hóa quá trình điểm danh một cách tự động và hạn chế việc giả mạo như nhận dạng giọng nói, thẻ từ RFID, nhập mã số, nhận dạng ảnh. Mỗi công nghệ đêu có các ưu và khuyêt điêm riêng. — Phương pháp nhận dạng tiếng nói chưa đạt độ chính xác tin cậy, tại lúc điểm danh có nhiều sinh viên hỗn loạn gây nhiễu sẽ càng làm giảm chất lượng nhận dạng.
— Phương pháp thẻ từ RFID đạt độ chính xác tin cậy nhưng dễ bị làm giả và tốn nhiều chi phí cho việc cấp phát thẻ. — Phương pháp nhập mã số đơn giản, chính xác 100% nhưng dễ bị giả mạo do học sinh, sinh viên có thê cung câp mã cho người khác. Chúng tôi có một giải pháp có thé giải quyết các nhược điểm trên. Đó là điểm danh bằng cách sử dụng công nghệ xử lý ảnh.
Trên thế giới, khu vực Newham của London, Anh, trước đây đã thử nghiệm hệ thống nhận dạng khuôn mặt được tích hợp vào hệ thống camera khu vực lân cận hay ở Sân bay quốc tế Tocumen ở Panama vận hành hệ thống giám sát toàn sân bay sử dụng hàng trăm camera nhận dạng trực tiếp khuôn mặt để xác định các cá nhân đi qua qua sân bay (trích Wikipedia) Tại Việt Nam, việc áp dụng công nghệ xử lý ảnh vào thực tế là một thách thức về công nghệ và tài chính. Chi một số nhà hàng, khách san và siêu thi dùng dé nghiên cứu hành vi người dùng. Mục tiêu đề tài : Xây dựng hệ thống điểm danh tự động sử dụng công nghệ xử lý ảnh trên board Jetson Nano với độ chính xác cao, thời gian thực hiện ngắn. Cu thé hơn: Hiện thực được hệ thống điểm danh tự động trên một lớp học và cập nhật thông tin điểm danh sinh viên trên website.
Website cập nhật thông tin điểm danh sinh viên trong một lớp học day đủ. Xử lý và cải tiễn thuật toán, tăng tốc FPS sử dụng GPU trên board Jetson Nano nhằm tăng hiệu năng tối đa của hệ thống điểm danh. Camera với điều kiện ánh sáng đầy đủ, hệ thống sẽ tự động nhận diện, điểm danh sinh viên (1 Camera gan va 1 Camera xa). Hệ thống nhận dang qua video quay từ 2 camera trên thiết bi nhúng.
Kết quả mong đợi: Hệ thống hoạt động chính xác dự kiến > 90% (khi cả 2 Camera được lắp đặt phía trên bảng với góc nghiêng 30 độ hướng xuống ché ngồi các sinh viên trong điêu kiện ánh sáng đây đủ và sinh viên phải nhìn vê hướng camera). Nội dung thực hiện : Nghiên cứu thuật toán nhận dạng người và website thống kê điểm danh: o Tìm kiếm các tài liệu liên quan machine learning, các thuật toán về machine learning, các tài liệu dé xây dựng một website. o Nghiên cứu, đọc hiểu, chọn lọc những tài liệu phù hợp có thé áp dụng cho đề tài. Thực hiện thuật toán trong hệ thống nhúng: o Mô tả thiết kế hệ thống.
o Chuan bị môi trường bao gồm các thư viện liên quan. o_ Lập trình các chức năng của hệ thống. Xây dựng website điểm danh: o_ Thiết kế và xây dựng giao diện cho website. o Thiết kế và xây dựng back-end của website.
o_ Thiết kế và quản lý Database của website. ©_ Quản lý Database và Website trên Server Internet. Đánh giá hiệu suất của hệ thống thông qua độ chính xác và thời gian hoàn thành điểm danh đôi với từng đôi tượng sinh viên: o Test lỗi, test chức năng, sự én định của hệ thống. o_ Tối ưu hóa hệ thống dé đạt yêu cầu đặt ra từ trước.
Phương pháp: Về phần mềm: Thiết kế sơ đồ hệ thống. Lập trình C/C++ trên linux. Lập trình Laravel, HTML, CSS, MySQL,. để xây dựng website và cập nhật Database thông tin sinh viên vào hệ thống quản lý điểm danh.
Nghiên cứu thuật toán về machine learning như: CNN, MobileNetV1,. Sử dụng các thu viện như: Dlib, OpenCV. Về phần cứng: Thiết lập Linux trong jetson nano va cài đặt thư viện.