Chương 1. Hiện trạng hiện may :. Mục tiêu đề tài:,. Nội dung thực hiện :.
Phương pháp:. Giới hạn dé tài và kết quả mong đợi :.---cc5cccsccscrre 4 Chương 2, CƠ SỞ LÝ THUYT. Giới thiệu về Deep learning:. s5 E93 1k TT 1 TT 0 rà 5 2.2 Deep Neural NefWOK:.
- 1 ST HH1 rờ6 2. Tổng quan về OpenCV, Dlib, MXNet và ncnn:. OpeV XS SR. Tính năng và các module phổ biến của OpenCV:.- tt” HH it 11 2.
Một số tính năng nồi bật của Nemn :. Tổng quan Qt: 2. Tổng quan về thiết bị và công nghệ nhúng sử dung: 2. Nvidia Jetson Nano:.
Cầu tạo phần cứng :. Ngôn ngữ lập trình C++: 2. Hệ quản trị cơ sở dữ liệu MySQL :. Thuật toán áp dụng dé nhận dạng khuôn mặt người :.
Tìm hiểu bộ xác định facial landmark của DIIb :. Convolutional Nerural Network (CNN):. Sự xuất hiện mạng ResNet :. Các bước trong KÌNN:.-cscct tcrererrrrrrrrrrrrrrrrrrrrrrrrrrree 31 PIN.
PHAN TÍCH VA THIET KE HE THÓNG:. Tổng quan hệ thống :. Tổng quan toàn bộ của hệ thống:. Xây dựng hệ thống nhận diện khuôn mặt: .----¿ 37 DANH MỤC HÌNH Hình 1.1: Sơ đồ mô phỏng cấu trúc một neural network đơn.1: Cau trúc của Deep Neural Networfk.----- 2: ©s©++x+2zxvzx+srxesrxrrrxee 6 Hình 2.-- kh HH TT HH HH Tu ch ch HH Hàng 7 Hình 2.3: Minh họa tính năng OpenCV.4: Logo DLIib 01157 dd.6: Nvidia Jetson Namo 0:54.7: Thông số JETSON NANO DEVELOPER KIT cơ bản.8: Độ phô biến của các ngôn ngữ lập trình trên thế giới.9: Facial landmark xác định 68 điểm trên khuôn mặt.10: Mô tả quy trình tiếp nhận và xử lý dữ liệu mang CNN.11: Mô tả quá trình tích chập và kết quả đầu ra tương ứng.12: Phép phân tích pooÌIng.--- ---- + 22c 3333 3**#EE+EEEseeExeereeeereereeessrs 26 Hình 2.13: Phép làm phắng.
2 252 ©5£2E2+SE9EEE2E2E12E1271711221221271 71211211 re.14: Mạng thần kinh đã được làm phẳng.15: Chuỗi các vector ảnh sau khi phân tách.----2- 5 + s+sz£+szzx+s4 27 Hình 2.16: Van đề suy thoái mạng neural.---- 2 2 x+x+2E++EE+EE+EEtzE+zEszrxerxerex 28 Hình 2.17: ResNet sử dụng kết nối tắt xuyên qua một hay nhiều lớp .18: Minh hoạ cho ví dỤ.19: Minh hoạ cho ví dụ.20: Minh hoạ cho ví dụ.21: Logo PHP oo.- c1 132111211111 1111 11111111111 1110111111111 ng ng nh Hiện 34 Hình 2.23: Laravel tuân theo Mô hình MVC .- sec + ssskrsrrsrrske 34 Hình 3.1: Sơ đồ tong quát hệ thống điểm danh.-- 2-2 2 2+Ee£Ee£Ez£z£zEzzxe2 36 Hình 3.3: Sơ đồ lay mau dữ liệu khuôn mặt trước nhận dạng.4: Quy trình lay mẫu.--- 2-22 2+SESEE‡EE2EE2E12E15711211221221 21711212 re.----- 1n HS S1 S2111 1n 1kg ng KT ky 42 Hình 3.6: Trang đăng nhậtp.-- - -- -- 1S 19132 112 1111111112111 1 111 11 11H HH Hy 43 Hình 3.8: Trang quản lý sinh VIÊn.9: Trang thêm sinh vién mỚII.10: Sinh viên chưa điểm danh.-- 2-2: 222222E£EE£EE2EE2EEEEEeEEEExerkrrkrrer 46 Hình 3.11: Cập nhật sinh viên điểm danh lên web .----2-©2¿ 2 x+£xezzz+zzzzed 47 Hình 4.1: Thiết bị điểm danh .2: Phát hiện khuôn mặt.---- - -G + 2222132222113 EE +22 E3 EEverexeeerreeecee 48 Hình 4.3: Detection deplay và bắt đầu định danh.4: Điền tên và mã số sinh viên.5: Sau khi lay mẫu.--- 2-2 +25 +EE+EE£EE9EE2E1221E7121121122171 211211 1E re,50 Hình 4.6: Sau khi fraInInng.-- - c2 3 322132111211 151 11 1191111111111 1 11H ng ry 51 Hình 4.7: Nhận diện khoảng cách 2m.8: Nhận diện khoảng cách 7m.9: Nhận diện khoảng cách TŨm.10: Nhận diện với góc nghiêng khoảng 30 độ .---- ¿55-5 ccS<<ss+<s++ 33 Hình 4.11: Biểu đồ Độ chính xác (%) khi phát hiện và nhận diện theo khoảng cách ¬—-.12: Lúc chưa có đối ¡"1020117575 ÔỐÖ Ö .13: Tài nguyên sử dung GP.14: Sử dung tài nguyên hệ thống.- -- 2-52 SE E2EE2EEEEEEEEEEEEEkerkrrer 56 DANH MỤC BANG Bang 2.1: Các thành phần của QI.2 : Các thông số của Jetson Nano.---¿--2¿2+©22+2x2Ext2EEtEE2Exzrxrrxrsree Bảng 4.1 : Bảng số liệu thời gian thực thi hệ thống.---:--2:©22©5z5c+z+2 DANH MỤC TU VIET TAT Cum từ/Kí hiệu Mô tả RFID Radio Frequency Identification CNN Convolutional Neural Network KNN K-Nearest Neighbors GPL General Public License BSD Berkeley Software Distribution CL Convolution Layer MVC Model View Controller MSSV Mã số sinh viên HOG Histogram of oriented gradients NN Nerual Network GPU Graphics Processing Unit CPU Central Processing Unit MFlops Million floating point operations per second TOM TAT KHÓA LUẬN Điểm danh là một công việc thường xuyên tại các cơ quan, trường học, tuy nhiên công việc này tại hầu hết các trường học hiện nay vẫn còn thực hiện thủ công bằng tay tốn nhiều thời gian. Từ đó xây dựng hệ thống điểm danh sinh viên bằng sự tích hợp công nghệ AI trên hệ thông nhúng trong phạm vi lớp hoc. Sử dung board jetson nano dé xử lý ảnh và đưa dữ liệu điểm danh lên website để người sử dụng có thể quản lý, kiểm tra việc điêm danh của sinh viên. Hiện trạng hiện nay : Việc điểm danh vân tay trong các trường học là một công việc thường xuyên và tốn thời gian của giáo viên và học sinh trước mỗi giờ học.
Các hệ thống điểm danh vân tay tự động hiện nay thường chỉ có một cơ sở dữ liệu mẫu hạn chế nên không đáp ứng đủ cho trường hợp số lượng sinh viên hoặc học sinh lớn. Đồng thời việc điểm danh tự động trong trường học hiện nay thường là sử dụng các hệ thống máy chấm công van tay, các hệ thống nay chỉ xác nhận đơn lẻ thông tin sinh viên tham gia hay không tham gia tại một địa điểm có định nào đó. Điểm danh là một công việc thường xuyên tại các đơn vị trường học, tuy nhiên hầu hết các trường học hiện nay thì công việc này đang được thực hiện bằng tay. Nghia là mỗi giáo viên hoặc người quản lý sẽ phải gọi tên và kiểm tra sự có mặt của học sinh hoặc sinh viên trước giờ học, hoặc trước giờ thi.
Việc này gây mất thời gian đồng thời có thể có hiện tượng mạo danh. Có nhiều giải pháp công nghệ để tự động hóa quá trình điểm danh một cách tự động và hạn chế việc giả mạo như nhận dạng giọng nói, thẻ từ RFID, nhập mã số, nhận dang anh. Mỗi công nghệ đều có các ưu và khuyết điểm riêng. e Phương pháp nhận dạng tiếng nói chưa đạt độ chính xác tin cậy, tại lúc điểm danh có nhiều sinh viên hỗn loạn gây nhiễu sẽ càng làm giảm chất lượng nhận dạng.
¢ Phuong pháp thẻ từ RFID đạt độ chính xác tin cậy nhưng dé bị làm giả và tốn nhiều chỉ phí cho việc cấp phát thẻ. e Phương pháp nhập mã số đơn giản, chính xác 100% nhưng dễ bị gia mạo do học sinh, sinh viên có thé cung cấp mã cho người khác. Chúng tôi có một giải pháp có thể giải quyết các nhược điểm trên. Đó là điểm danh bằng cách sử dụng công nghệ xử lý ảnh.
Trên thế giới, khu vực Newham của London, Anh, trước đây đã thử nghiệm hệ thống nhận dạng khuôn mặt được tích hợp vào hệ thống camera khu vực lân cận hay ở Sân bay quốc tế Tocumen ở Panama vận hành hệ thống giám sát toàn sân bay sử dụng hàng trăm camera nhận dạng trực tiếp khuôn mặt dé xác định các cá nhân đi qua qua sân bay (trích Wikipedia) Tại Việt Nam, việc áp dụng công nghệ xử lý ảnh vào thực tế là một thách thức về công nghệ và tài chính. Chỉ một số nhà hàng, khách sạn và siêu thị dùng để nghiên cứu hành vi người dùng. Mục tiêu đề tài: Xây dựng hệ thống điểm danh tự động sử dụng công nghệ xử lý ảnh trên jetson nano với độ chính xác cao, thời gian thực hiện ngắn. Cụ thê hơn: — Hiện thực được hệ thống điểm danh tự động trên một lớp học và cập nhật thông tin điểm danh sinh viên trên website.
— Lập trình hệ thống trên board jetson nano. — Đánh giá hiệu suất của hệ thống thông qua độ chính xác và thời gian hoàn thành điểm danh đối với từng đối tượng sinh viên. Nội dung thực hiện : — Nghiên cứu thuật toán nhận dạng người và website thông kê điểm danh : + Tìm kiếm các tài liệu liên quan machine learning, các thuật toán về machine learning, các tài liệu để xây dựng một website. + Nghiên cứu , đọc hiểu, chọn lọc những tài liệu phù hợp có thể áp dụng cho dé tai.
— _ Thực hiện thuật toán trong hệ thống nhúng: + Mô tả thiết kế hệ thống. + Chuan bị môi trường bao gồm các thư viện liên quan. + Lập trình các chức năng của hệ thống. — Xây dựng website điểm danh: + Thiết kế và xây dựng giao diện cho website.
+ Thiết kế và xây dựng back-end của website. — Đánh giá hiệu suất của hệ thống thông qua độ chính xác và thời gian hoàn thành điểm danh đối với từng đối tượng sinh viên: + Test lỗi, test chức năng, sự ổn định của hệ thống. +Tối ưu hóa hệ thống dé đạt yêu cầu đặt ra từ trước. Phương pháp: ¢ Về phần mềm : — Thiét kế sơ đồ hệ thống.
— Lập trình C/C++ trên linux. — Lập trình PHP, html, css. để xây dựng website cập nhật thông tin điểm danh. Nghiên cứu thuật toán về machine learning như: CNN, MobileNetVI,.
— Sử dụng các thư viện như: Dlib, OpenCV. e Về phan cứng : — Thiết lập Linux trong jetson nano và cài đặt thư viện. — Training model hoặc sử dụng model sẵn có và tối ưu hóa cơ sở đữ liệu để cải thiện hiệu suất. Giới hạn dé tài và kết qua mong đợi : — Camera đặt từ trên bảng nhìn xuống, với điều kiện ánh sáng đầy đủ, hệ thống sẽ tự động điểm danh sinh viên.
— Website cập nhật thông tin điểm danh sinh viên trong một lớp học day đủ. — Giới hạn điểm danh sinh viên khoảng 30 sinh viên/ 1 lớp. — Thời gian nhận dang từ 5 fps đến 30fps đối với một sinh viên. Hệ thống nhận dang qua video quay từ camera trên thiết bị nhúng.
Kết quả mong đợi : Hệ thống hoạt động chính xác dự kiến >= 70% Chương2. Giới thiệu về Deep learning: 2. Neural network: Neural network là một mô hình toán hoc hay mô hình tinh toán được xây dung dựa trên các mạng neural sinh học. Nó gồm có một nhóm các layer nối với nhau, và xử lý thông tin bằng cách truyền theo các kết nối và tính giá trị mới tại các layer Thành phần cơ bản của mô hình neural network chia làm 3 phần: layer đầu tiên là input layer, các layer ở giữa được gọi là hidden layer, layer cuối cùng được gọi là output layer.
Các lớp này có nhiệm vụ xử lý tín hiệu nhận được theo thứ tự lớp sau nhận giá trị output của lớp trước để tiến hành. Việc các lớp này xử lý theo cách nao thường phụ thuộc vào từng yêu cầu khác nhau. Số lượng các lớp an (hidden layer) là không giới hạn. Số lớp an và cách xử lý ở từng lớp kể trên sẽ quyết định kết quả và hiệu quả của công việc cân xử lý.1 : Sơ đồ mô phỏng cau trúc một neural network đơn 2.