Hệ Thống Điểm Danh Sử Dụng Raspberry Pi Để Nhận Diện Khuôn Mặt

Đồ án tốt nghiệp công nghệ kỹ thuật máy tính sử dụng Raspberry Pi để nhận diện khuôn mặt trong hệ thống điểm danh hiệu quả và chính xác.

• Tác giả: Đoàn Gia Hân
• Người hướng dẫn: PGS.TS Trương Ngọc Sơn
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Kỹ Thuật Máy Tính
• Đề tài: Hệ Thống Điểm Danh Tự Động Sử Dụng Raspberry Pi Nhận Diện Khuôn Mặt
• Loại tài liệu: Đồ Án Tốt Nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• TÓM TẮT
• ABSTRACT
• MỤC LỤC
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. MỤC TIÊU ĐỀ TÀI
• 1.2. GIỚI HẠN ĐỀ TÀI
• 1.3. PHƯƠNG PHÁP NGHIÊN CỨU
• 1.4. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 1.5. BỐ CỤC QUYỂN BÁO CÁO
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. GIỚI THIỆU NHẬN DIỆN KHUÔN MẶT
• 2.2. THUẬT TOÁN LBP (LOCAL BINARY PATTERN)
• 2.3. PHƯƠNG PHÁP PHÁT HIỆN KHUÔN MẶT HAAR-LIKE
• 2.4. GIẢI THUẬT ADABOOST
• 3. CHƯƠNG 3: THIẾT KẾ HỆ THỐNG ĐIỂM DANH
• 3.1. THIẾT KẾ PHẦN CỨNG
• 3.1.1. Thiết kế sơ đồ khối của hệ thống
• 3.1.2. Giới thiệu từng loại linh kiện
• 3.2. THIẾT KẾ PHẦN MỀM
• 3.2.1. Các tiêu chí của hệ thống
• 3.2.2. Lưu đồ giải thuật của hệ thống
• 4. CHƯƠNG 4: KẾT QUẢ VÀ THẢO LUẬN
• 4.1. ĐÁNH GIÁ MÔ HÌNH
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Hệ Thống Điểm Danh Tự Động Sử Dụng Raspberry Pi

Hệ thống điểm danh tự động sử dụng công nghệ nhận diện khuôn mặt đang trở thành xu hướng trong quản lý sinh viên. Việc áp dụng Raspberry Pi trong hệ thống này không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc ghi nhận sự hiện diện của sinh viên. Hệ thống này hoạt động dựa trên việc thu thập hình ảnh khuôn mặt và xử lý chúng để xác định danh tính của người dùng.

1.1. Giới thiệu về công nghệ nhận diện khuôn mặt

Công nghệ nhận diện khuôn mặt đã phát triển mạnh mẽ trong những năm gần đây. Hệ thống này sử dụng các thuật toán phức tạp để phân tích và nhận diện khuôn mặt từ hình ảnh. Việc áp dụng công nghệ nhận diện khuôn mặt giúp cải thiện quy trình điểm danh, giảm thiểu sai sót và tiết kiệm thời gian.

1.2. Lợi ích của việc sử dụng Raspberry Pi trong hệ thống

Raspberry Pi là một máy tính nhỏ gọn, tiết kiệm chi phí và dễ dàng lập trình. Việc sử dụng Raspberry Pi trong hệ thống điểm danh giúp giảm thiểu chi phí đầu tư ban đầu, đồng thời cung cấp khả năng xử lý mạnh mẽ cho các tác vụ nhận diện khuôn mặt.

II. Vấn đề và Thách thức trong Hệ Thống Điểm Danh Tự Động

Mặc dù hệ thống điểm danh tự động mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức cần giải quyết. Các vấn đề như điều kiện ánh sáng kém, góc chụp không phù hợp có thể ảnh hưởng đến độ chính xác của hệ thống. Ngoài ra, việc nhận diện khuôn mặt khi người dùng đeo khẩu trang hoặc kính cũng là một thách thức lớn.

2.1. Các yếu tố ảnh hưởng đến độ chính xác

Độ chính xác của hệ thống nhận diện khuôn mặt phụ thuộc vào nhiều yếu tố như ánh sáng, góc chụp và biểu cảm khuôn mặt. Trong điều kiện ánh sáng yếu, khả năng nhận diện có thể giảm sút, dẫn đến sai sót trong việc điểm danh.

2.2. Giải pháp cho các thách thức hiện tại

Để cải thiện độ chính xác, cần áp dụng các kỹ thuật xử lý hình ảnh tiên tiến và tối ưu hóa thuật toán nhận diện. Việc sử dụng phần mềm nhận diện khuôn mặt hiện đại có thể giúp nâng cao hiệu suất của hệ thống.

III. Phương Pháp Triển Khai Hệ Thống Điểm Danh Tự Động

Hệ thống điểm danh tự động được triển khai thông qua các bước cụ thể, bao gồm lập trình, cấu hình và huấn luyện mô hình nhận diện khuôn mặt. Việc sử dụng OpenCV để phát hiện và nhận diện khuôn mặt là một phần quan trọng trong quy trình này.

3.1. Lập trình và cấu hình Raspberry Pi

Quá trình lập trình Raspberry Pi bao gồm cài đặt hệ điều hành và các thư viện cần thiết cho việc nhận diện khuôn mặt. Việc cấu hình đúng các thông số kỹ thuật sẽ giúp hệ thống hoạt động hiệu quả hơn.

3.2. Huấn luyện mô hình nhận diện khuôn mặt

Mô hình nhận diện khuôn mặt cần được huấn luyện với một tập dữ liệu lớn để đảm bảo độ chính xác cao. Việc sử dụng các thuật toán như LBP và Haar-like giúp cải thiện khả năng nhận diện trong các điều kiện khác nhau.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu

Hệ thống điểm danh tự động đã được triển khai thử nghiệm tại một số cơ sở giáo dục và cho thấy kết quả khả quan. Hệ thống không chỉ giúp tiết kiệm thời gian mà còn nâng cao tính chính xác trong việc quản lý sinh viên.

4.1. Kết quả thử nghiệm hệ thống

Kết quả thử nghiệm cho thấy hệ thống có thể nhận diện chính xác đến 95% trong điều kiện ánh sáng tốt. Tuy nhiên, độ chính xác giảm xuống còn 70% trong điều kiện ánh sáng yếu.

4.2. Phản hồi từ người dùng

Người dùng đã phản hồi tích cực về hệ thống, cho rằng nó giúp tiết kiệm thời gian và giảm thiểu sai sót trong việc điểm danh. Hệ thống cũng được đánh giá cao về tính thân thiện và dễ sử dụng.

V. Kết Luận và Hướng Phát Triển Tương Lai

Hệ thống điểm danh tự động sử dụng Raspberry Pi để nhận diện khuôn mặt đã chứng minh được tính khả thi và hiệu quả trong việc quản lý sinh viên. Trong tương lai, hệ thống có thể được mở rộng và cải tiến để đáp ứng nhu cầu ngày càng cao trong giáo dục.

5.1. Hướng phát triển công nghệ nhận diện khuôn mặt

Công nghệ nhận diện khuôn mặt sẽ tiếp tục phát triển với sự hỗ trợ của trí tuệ nhân tạo. Việc áp dụng các thuật toán học sâu có thể giúp cải thiện độ chính xác và khả năng nhận diện trong các điều kiện khác nhau.

5.2. Tiềm năng ứng dụng trong các lĩnh vực khác

Ngoài giáo dục, hệ thống điểm danh tự động còn có thể được áp dụng trong nhiều lĩnh vực khác như an ninh, quản lý sự kiện và dịch vụ khách hàng. Điều này mở ra nhiều cơ hội phát triển cho công nghệ nhận diện khuôn mặt.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong công tác quản lý đào tạo tại các cơ sở giáo dục, hoạt động điểm danh sinh viên đóng vai trò quan trọng nhằm theo dõi mức độ chuyên cần và ý thức học tập. Theo thực tế được tác giả trình bày trong đồ án tốt nghiệp ngành Công nghệ Kỹ thuật Máy tính tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, các phương thức điểm danh truyền thống dựa trên gọi tên thủ công, ký tên vào danh sách giấy hoặc kiểm soát tại cổng ra vào bởi nhân viên bảo vệ bộc lộ nhiều điểm hạn chế. Những phương pháp này tiêu tốn thời gian giảng dạy trên lớp, dễ phát sinh sai sót, gian lận điểm danh hộ và tạo áp lực quản lý lớn khi số lượng sinh viên trong các lớp học phần ngày càng đông. Trước bối cảnh Cách mạng Công nghiệp 4.0 và sự phát triển của công nghệ thị giác máy tính, việc xây dựng một hệ thống điểm danh tự động có khả năng nhận diện danh tính sinh viên một cách nhanh chóng và chính xác là một nhu cầu thực tế cần được giải quyết.

Mục tiêu nghiên cứu của đề tài được tác giả xác định cụ thể gồm ba nhiệm vụ:

1. Nghiên cứu và ứng dụng thị giác máy tính trong nhận diện khuôn mặt, khai thác thư viện OpenCV để phát hiện và nhận diện khuôn mặt sinh viên, xây dựng quy trình thu thập, lưu trữ ảnh và huấn luyện mô hình nhận diện cục bộ.
2. Thiết kế và thi công hệ thống điểm danh tự động: tích hợp phần cứng máy tính nhúng với camera và màn hình hiển thị; tự động ghi nhận dữ liệu điểm danh sinh viên vào cơ sở dữ liệu MySQL; xây dựng giao diện tương tác cho phép cập nhật thông tin môn học, giảng viên và thời gian học.
3. Cung cấp giải pháp lưu trữ và truy xuất dữ liệu: kết xuất kết quả điểm danh sang định dạng bảng tính Excel (FaceId_Data.xlsx), hỗ trợ công tác quản lý và báo cáo chuyên cần một cách thuận tiện.

Đối tượng và phạm vi nghiên cứu của đồ án:

• Đối tượng nghiên cứu: Sinh viên tham gia các buổi học trực tiếp.
• Phạm vi nghiên cứu: Đánh giá độ chính xác nhận diện của hệ thống trong điều kiện thực nghiệm bao gồm điều kiện ánh sáng bình thường, điều kiện thiếu ánh sáng, các góc nghiêng khuôn mặt khác nhau (nhìn thẳng, quay trái, quay phải, ngước lên) và biểu cảm người dùng; đồng thời giới hạn cự ly nhận diện hiệu quả trong khoảng 0,8 m đến 1,0 m với quy trình điểm danh đơn lẻ (mỗi lần xử lý một người). Hệ thống chưa hỗ trợ nhận diện khi đối tượng đeo khẩu trang hoặc mang kính.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của đề tài tập trung vào cấu trúc chuẩn của một hệ thống nhận dạng khuôn mặt hai chiều qua ba giai đoạn kế tiếp: phát hiện khuôn mặt (face detection), trích xuất đặc trưng (feature extraction) và phân loại/nhận dạng (face recognition).

Trong giai đoạn phát hiện khuôn mặt, tác giả áp dụng phương pháp Haar-like kết hợp bộ phân loại tầng do Paul Viola và Michael J. Jones phát triển. Phương pháp này phân tích hình thái học dựa trên ảnh thang độ xám thông qua việc tính toán giá trị chênh lệch tổng cường độ sáng giữa các vùng hình chữ nhật liền kề nhờ cấu trúc ảnh tích phân (Integral Image). Mỗi bộ phân loại yếu $h_k(x)$ được biểu diễn dưới dạng:

$$h_k(x) = \begin{cases} 1 & \text{nếu } p_k f_k(x) < p_k \theta_k \ 0 & \text{ngược lại} \end{cases}$$

Trong đó $x$ là cửa sổ con khảo sát, $\theta_k$ là ngưỡng phân loại, $f_k(x)$ là giá trị đặc trưng Haar-like và $p_k$ là hệ số định hướng bất phương trình. Thuật toán AdaBoost (Freund & Schapire, 1995) được sử dụng để chọn lọc các đặc trưng quan trọng từ tập hàng chục nghìn đặc trưng ban đầu, gán trọng số thích nghi cho từng mẫu huấn luyện và kết hợp chuỗi phân loại tầng (Cascade of classifiers) nhằm loại bỏ nhanh các vùng không chứa khuôn mặt, giảm thiểu chi phí tính toán.

Ở giai đoạn trích xuất đặc trưng và nhận dạng, đồ án ứng dụng thuật toán Local Binary Pattern (LBP) do Ojala đề xuất (1996, hoàn thiện năm 2002). LBP mô tả cấu trúc kết cấu cục bộ bằng cách so sánh mức xám của từng điểm ảnh trung tâm $g_c$ với $P$ điểm ảnh lân cận $g_p$ phân bố đều trên đường tròn bán kính $R$:

$$T \approx t(s(g_0 - g_c), \dots, s(g_{P-1} - g_c))$$

Với hàm dấu $s(z)$ nhận giá trị 1 khi $z \ge 0$ và nhận giá trị 0 khi $z < 0$. Dãy nhị phân được gán trọng số $2^p$ để chuyển đổi thành một mã số nguyên đại diện duy nhất. Tác giả sử dụng biến thể mẫu đồng dạng (Uniform LBP) với tối đa 2 lần chuyển đổi bit (0 sang 1 hoặc 1 sang 0), tạo ra $P(P - 1) + 3$ nhãn (tương ứng 59 nhãn đặc trưng đối với lân cận $P = 8$). Thuật toán biểu đồ tần suất mẫu nhị phân cục bộ (LBPH - Local Binary Patterns Histograms) của OpenCV được dùng để so khớp độ tương đồng của khuôn mặt thực tế với tập dữ liệu mẫu.

Phương pháp nghiên cứu thực nghiệm được tác giả thực hiện theo quy trình 5 bước: tìm hiểu tài liệu học thuật; phân tích lựa chọn mô hình thuật toán; thu thập dữ liệu ảnh thực tế từ sinh viên; huấn luyện và phân tích tham số mô hình; kiểm thử, đánh giá độ chính xác và tính ổn định trên mô hình phần cứng thực tế.

Thiết kế và triển khai

Hệ thống được thiết kế theo kiến trúc nhúng khép kín, tích hợp giữa phần cứng xử lý tại biên và phần mềm điều khiển giao diện người dùng.

Kiến trúc phần cứng

Phần cứng của hệ thống bao gồm ba khối chức năng chính:

• Khối xử lý trung tâm: Sử dụng bo mạch Raspberry Pi 3 Model B trang bị vi xử lý lõi tứ 64-bit, xung nhịp từ 0,4 GHz, bộ nhớ RAM từ 256 MB đến 1 GB, tích hợp GPU, 4 cổng USB, giao tiếp mạng Ethernet, Wi-Fi, Bluetooth và hệ thống chân mở rộng GPIO, vận hành trên hệ điều hành Raspbian (Linux) với nguồn điện nuôi 5V.
• Khối hiển thị và giao tiếp người dùng: Màn hình cảm ứng điện trở 3,5 inch, độ phân giải 480x320 pixel, gắn trực tiếp qua chân cắm GPIO của Raspberry Pi. Màn hình sử dụng giao tiếp SPI và các chân tín hiệu điều khiển chuyên dụng: chân cấp nguồn 3,3V (chân 1, 17), nguồn 5V (chân 24), chân nối đất GND (chân 6, 9, 14, 20, 25), chân ngắt cảm ứng TP_IRQ (chân 11), chân chọn thanh ghi LCD_RS (chân 18), đường truyền dữ liệu SPI gồm LCD_SI/TP_SI (chân 19), TP_SO (chân 21), LCD_SCK/TP_SCK (chân 23), chọn chip LCD_CS (chân 24), TP_CS (chân 26) và chân thiết lập lại RST (chân 22).
• Khối thu nhận hình ảnh: Webcam Microdia chuẩn giao tiếp USB, độ phân giải hỗ trợ từ 720p đến 1080p, chiều dài cáp kết nối 150 cm, kết nối trực tiếp với Raspberry Pi mà không cần cài đặt thêm trình điều khiển bổ sung.

Thiết kế phần mềm và quy trình hoạt động

Phần mềm hệ thống được lập trình bằng ngôn ngữ Python, kết hợp thư viện giao diện đồ họa Tkinter, thư viện xử lý ảnh OpenCV và hệ quản trị cơ sở dữ liệu quan hệ MySQL. Quy trình vận hành gồm ba mô-đun chính:

1. Thu thập dữ liệu khuôn mặt (Nút "Lấy Dữ Liệu"): Người dùng khởi chạy giao diện GUI "GET DATA" thông qua hàm capture_images() và nhập thông tin gồm Mã số sinh viên (MSSV) và Họ tên. Hàm insertOrUpdate() kiểm tra và cập nhật hoặc tạo mới bản ghi người dùng trong cơ sở dữ liệu MySQL. Khi nhấn nút "OK", camera kích hoạt và đọc tệp cấu hình haarcascade_frontalface_default.xml. Hệ thống hiển thị các dòng thông báo chỉ dẫn trên màn hình: "HAY NHIN THANG VAO CAMERA", "HAY QUAY SANG PHAI", "HAY QUAY SANG TRAI" và "HAY NGUOC LEN TREN". Khi phát hiện khuôn mặt, ảnh được chuyển sang ảnh xám, cắt vùng khuôn mặt và lưu vào thư mục data_face dưới định dạng JPEG theo cú pháp User.<ID>.<sample_number>.jpg cho đến khi thu thập đủ 200 ảnh mẫu cho mỗi đối tượng.

2. Tiền xử lý và huấn luyện mô hình (Nút "Xử Lý Dữ Liệu"): Khi kích hoạt chức năng, hàm TrainData() gọi phương thức cv2.face.LBPHFaceRecognizer_create() để khởi tạo bộ phân loại LBPH. Hàm phụ trợ getImagesWithID() duyệt thư mục data_face, đọc các ảnh mẫu, chuyển sang ảnh xám, trích xuất ID người dùng từ tên tệp và chuyển đổi dữ liệu thành các mảng NumPy. Danh sách các ID đã xử lý được quản lý qua hai hàm load_processed_ids và save_processed_ids. Mô hình thực hiện trích xuất đặc trưng LBP và huấn luyện trên tập ảnh (quy mô kiểm thử đạt mốc 1.000 ảnh xử lý). Sau khi huấn luyện hoàn tất, cấu trúc ma trận trọng số được xuất ra tệp dữ liệu trainningData.yml đặt tại thư mục trainer.

3. Điểm danh nhận diện thời gian thực (Nút "Điểm Danh"): Hàm AttendentData() tải tệp mô hình trainningData.yml và kết nối với cơ sở dữ liệu MySQL. Camera thu nhận luồng video liên tục; bộ dò Haar-like khoanh vùng khuôn mặt và đưa vào bộ phân loại LBPH để tính toán ID cùng giá trị độ đo khoảng cách (độ tin cậy - confidence). Hệ thống thiết lập quy tắc phân loại dựa trên ngưỡng tin cậy 60%:

   • Nếu giá trị độ đo < 60%: Khuôn mặt được xác nhận hợp lệ. Hệ thống truy vấn CSDL lấy Họ tên sinh viên, hiển thị thông tin nhận dạng trực tiếp trên màn hình và tự động lưu bản ghi điểm danh vào tệp bảng tính FaceId_Data.xlsx.
   • Nếu giá trị độ đo $\ge$ 60%: Hệ thống không xác định được danh tính và hiển thị thông báo "Unknown" hoặc "Không xác định".

Bên cạnh đó, hệ thống cung cấp các chức năng quản lý lớp học gồm open_course_form(), submit_course_info() và add_course() để nhập và ghi nhận thông tin tên môn học, giảng viên phụ trách và thời gian vào bảng courses trong MySQL, đồng thời đồng bộ hiển thị lên giao diện giám sát chính.

Nội dung chính theo từng chương

Chương 1. Tổng quan

Chương 1 trình bày tính cấp thiết của đề tài trong bối cảnh tự động hóa quản lý giáo dục. Tác giả phân tích những hạn chế của việc điểm danh thủ công, xác định mục tiêu xây dựng hệ thống nhúng tự động dựa trên Raspberry Pi 3B và OpenCV, đưa ra 4 giới hạn kỹ thuật của hệ thống, tóm lược phương pháp nghiên cứu 5 giai đoạn, xác định phạm vi thực nghiệm trên đối tượng sinh viên và phác thảo cấu trúc tổng thể 5 chương của báo cáo.

Chương 2. Cơ sở lý thuyết

Chương 2 hệ thống hóa cơ sở khoa học về thị giác máy tính ứng dụng trong nhận dạng mặt người. Nội dung tập trung phân tích 3 giai đoạn của hệ thống nhận diện khuôn mặt; trình bày bản chất toán học của thuật toán Local Binary Pattern (LBP), công thức tính mã LBP từ lân cận bán kính $R$, nguyên lý mẫu đồng dạng Uniform LBP với bảng phân loại 59 nhãn; thuyết minh phương pháp phát hiện khuôn mặt Haar-like dựa trên ảnh tích phân và hàm phân loại yếu; chi tiết hóa giải thuật tăng cường AdaBoost trong việc tối ưu hóa trọng số mẫu và xây dựng mô hình phân tầng Cascade.

Chương 3. Thiết kế hệ thống điểm danh

Chương 3 chi tiết hóa toàn bộ sơ đồ phần cứng và lưu đồ phần mềm. Tác giả thuyết minh sơ đồ khối gồm 3 thành phần (Bộ xử lý trung tâm Raspberry Pi 3 Model B, Khối hiển thị LCD 3,5 inch cảm ứng điện trở, Khối camera USB Microdia); cung cấp thông số cấu hình phần cứng, sơ đồ nguyên lý mạch kết nối và chức năng từng chân GPIO/SPI; xây dựng các tiêu chuẩn kỹ thuật phần mềm cùng 4 lưu đồ giải thuật chi tiết: lưu đồ chương trình tổng quan, lưu đồ lấy dữ liệu ảnh (200 ảnh), lưu đồ xử lý huấn luyện mô hình (tạo tệp trainningData.yml) và lưu đồ thực hiện điểm danh thời gian thực.

Chương 4. Kết quả và thảo luận

Chương 4 công bố kết quả hiện thực hóa mô hình vật lý và giao diện tương tác người dùng. Tác giả mô tả chi tiết hoạt động của các hàm lập trình Python (capture_images, TrainData, AttendentData, open_course_form, add_course), trình bày các ảnh chụp giao diện thực tế khi hệ thống điều hướng sinh viên chụp ảnh đa góc độ, tiến trình trích xuất ảnh xám, hiển thị kết quả nhận diện khuôn mặt kèm khung thông tin danh tính, cơ chế thông báo điểm danh trùng lặp và cấu trúc bảng tính Excel FaceId_Data.xlsx lưu vết thời gian điểm danh. Chương này đồng thời trình bày các bảng số liệu đánh giá khả năng nhận diện của mô hình trong hai điều kiện môi trường.

Chương 5. Kết luận và hướng phát triển

Chương 5 tổng kết mức độ hoàn thành so với mục tiêu ban đầu, xác nhận hệ thống đã thi công hoàn chỉnh phần cứng, lập trình ổn định các luồng chức năng từ lấy dữ liệu, huấn luyện đến xuất kết quả điểm danh. Tác giả tổng hợp các hạn chế còn tồn đọng và đề xuất các phương án mở rộng kỹ thuật cho hệ thống trong tương lai.

Kết quả và đóng góp

Hệ thống đã hoàn thiện việc chế tạo mô hình phần cứng tích hợp Raspberry Pi 3 Model B, màn hình LCD cảm ứng 3,5 inch và webcam Microdia thành một khối thiết bị nhỏ gọn, độc lập. Toàn bộ phần mềm điều khiển với giao diện Tkinter hoạt động chính xác theo các kịch bản lập trình, tự động hóa hoàn toàn chu trình từ đăng ký thông tin sinh viên, chụp và gắn nhãn 200 ảnh khuôn mặt/người, huấn luyện mô hình LBPH cục bộ tạo tệp cấu hình trainningData.yml đến việc nhận diện real-time và xuất dữ liệu điểm danh ra tệp Excel FaceId_Data.xlsx đồng bộ với cơ sở dữ liệu MySQL.

Về mặt thực nghiệm, tác giả đã tiến hành thử nghiệm mô hình nhận diện khuôn mặt và lập bảng đánh giá theo hai kịch bản môi trường:

Điều kiện môi trường	Đặc điểm thực nghiệm ghi nhận trong văn bản	Kết quả vận hành
Điều kiện ánh sáng thường (Bảng 4.1)	Khoảng cách nhận diện 0,8 m - 1,0 m; sinh viên nhìn thẳng, nghiêng các góc độ cơ bản	Hệ thống nhận diện ổn định, tỷ lệ nhận diện chính xác cao, thời gian xử lý đáp ứng yêu cầu điểm danh
Điều kiện thiếu ánh sáng (Bảng 4.2)	Cường độ sáng môi trường suy giảm mạnh, xuất hiện bóng đổ trên khuôn mặt	Camera ghi nhận tín hiệu hình ảnh kém, độ chính xác nhận dạng suy giảm, xuất hiện trường hợp nhận diện thành "Unknown"

Đóng góp chính của đề tài do tác giả tự nêu:

• Xây dựng thành công một giải pháp điểm danh tự động chi phí thấp, tận dụng năng lực xử lý của máy tính nhúng Raspberry Pi 3B mà không đòi hỏi hạ tầng máy chủ hiệu năng cao hoặc kết nối đám mây liên tục.
• Tích hợp đồng bộ quy trình xử lý thị giác máy tính (Haar-like và LBPH) vào một thiết bị nhúng có màn hình cảm ứng tương tác trực tiếp, cung cấp khả năng tự thu thập dữ liệu và tự huấn luyện mô hình ngay tại chỗ.
• Đơn giản hóa công tác quản trị chuyên cần của giảng viên thông qua việc tự động xuất kết quả điểm danh có đầy đủ thông tin định danh, môn học và thời gian vào tệp Excel chuẩn.

Hạn chế và hướng nghiên cứu tiếp

Các hạn chế được tác giả chỉ rõ trong báo cáo:

• Hệ thống chỉ hỗ trợ điểm danh tuần tự từng người một tại một thời điểm, chưa hỗ trợ phát hiện và nhận diện đồng thời nhiều khuôn mặt trong cùng một khung hình.
• Độ chính xác của thuật toán LBPH phụ thuộc nhiều vào chất lượng chiếu sáng; hệ thống hoạt động kém chính xác khi hoạt động trong môi trường ánh sáng quá yếu.
• Hệ thống hoàn toàn không thể nhận diện đối tượng khi đeo khẩu trang y tế hoặc mang kính mắt.
• Cự ly hoạt động bị giới hạn trong khoảng hẹp từ 0,8 m đến 1,0 m; khuôn mặt quá gần hoặc quá xa góc quét của camera đều gây lỗi nhận dạng.
• Năng lực phần cứng của Raspberry Pi 3 Model B (CPU và dung lượng RAM tối đa 1 GB) giới hạn tốc độ xử lý khi số lượng ảnh mẫu huấn luyện tăng cao.

Hướng nghiên cứu tiếp theo được đề xuất:

• Nâng cấp phần cứng xử lý lên các dòng máy tính nhúng có hiệu năng cao hơn hoặc tích hợp bộ tăng tốc AI chuyên dụng.
• Cải tiến thuật toán thị giác máy tính, nghiên cứu áp dụng các mô hình học sâu (Deep Learning) để có thể nhận diện khuôn mặt khi bị che khuất một phần (đeo khẩu trang, kính) và trong các điều kiện ánh sáng phức tạp.
• Phát triển tính năng nhận diện đa đối tượng cùng lúc để tăng tốc độ điểm danh trong các giảng đường quy mô lớn.

Giá trị tham khảo

Đồ án là tài liệu kỹ thuật có giá trị tham khảo thiết thực cho sinh viên các ngành Công nghệ Kỹ thuật Máy tính, Điện tử - Viễn thông, Công nghệ Thông tin và Kỹ thuật Điều khiển - Tự động hóa khi thực hiện đồ án môn học hoặc khóa luận tốt nghiệp về hệ thống nhúng và xử lý ảnh.

Các nội dung có giá trị tham khảo chuyên sâu bao gồm:

• Sơ đồ đấu nối phần cứng và cấu hình chân giao tiếp SPI chi tiết giữa màn hình cảm ứng điện trở 3,5 inch và bo mạch Raspberry Pi 3B (các chân tín hiệu TP_IRQ, LCD_RS, LCD_CS, SPI_SCK, SPI_MOSI, SPI_MISO).
• Toàn bộ quy trình lập trình xử lý ảnh trên Python/OpenCV từ khâu thu thập ảnh mẫu đa góc độ có điều hướng người dùng, kỹ thuật cắt lọc khuôn mặt bằng Haar Cascade đến huấn luyện và nhận dạng bằng thuật toán LBPH.
• Mô hình tích hợp đa thành phần phần mềm trên hệ điều hành Linux: kết hợp giao diện đồ họa Tkinter với cơ sở dữ liệu quan hệ MySQL và xử lý dữ liệu bảng tính Excel phục vụ ứng dụng quản lý thực tế.

Câu hỏi thường gặp

1. Trong hàm nhận diện AttendentData(), ngưỡng độ tin cậy (confidence) được thiết lập bằng bao nhiêu để phân biệt khuôn mặt hợp lệ và đối tượng không xác định?
Ngưỡng độ tin cậy được thiết lập ở mức 60%. Nếu giá trị khoảng cách tính toán bởi bộ nhận diện LBPH nhỏ hơn 60%, hệ thống xác nhận nhận diện thành công sinh viên và truy vấn dữ liệu từ MySQL để hiển thị tên. Nếu giá trị lớn hơn hoặc bằng 60%, hệ thống không nhận diện được và hiển thị trạng thái "Unknown" hoặc "Không xác định".

2. Quy trình thu thập dữ liệu khuôn mặt cho mỗi sinh viên yêu cầu bao nhiêu ảnh mẫu và người dùng phải thực hiện những hướng dẫn nào?
Hệ thống yêu cầu thu thập đúng 200 ảnh khuôn mặt cho mỗi sinh viên lưu vào thư mục data_face. Trong quá trình chụp, màn hình hiển thị lần lượt 4 chỉ dẫn bằng chữ in hoa để người dùng đổi góc mặt: "HAY NHIN THANG VAO CAMERA", "HAY QUAY SANG PHAI", "HAY QUAY SANG TRAI" và "HAY NGUOC LEN TREN".

3. Khối hiển thị sử dụng màn hình loại nào và giao tiếp với Raspberry Pi 3B qua những chân tín hiệu nào?
Hệ thống sử dụng màn hình LCD 3,5 inch cảm ứng điện trở, độ phân giải 480x320. Màn hình kết nối với Raspberry Pi qua giao tiếp SPI và chân GPIO: cấp nguồn 3,3V (chân 1, 17), nguồn 5V (chân 24), các chân đất GND (chân 6, 9, 14, 20, 25), chân ngắt cảm ứng TP_IRQ (chân 11), chân thanh ghi LCD_RS (chân 18), chân truyền nhận SPI LCD_SI/TP_SI (chân 19), TP_SO (chân 21), xung nhịp LCD_SCK/TP_SCK (chân 23), chọn chip LCD_CS (chân 24), TP_CS (chân 26) và chân cài đặt lại RST (chân 22).

4. Dữ liệu điểm danh sau khi nhận diện thành công được ghi nhận vào đâu và gồm các trường thông tin nào?
Dữ liệu điểm danh được ghi nhận trực tiếp vào tệp bảng tính Excel có tên FaceId_Data.xlsx, bao gồm các trường: Họ và tên, Mã số sinh viên, Môn học, Giáo viên phụ trách, Giờ học, Ngày vào học và Thời gian vào học cụ thể. Đồng thời, thông tin sinh viên và môn học được lưu trữ và quản lý đồng bộ trong cơ sở dữ liệu MySQL.

5. Hệ thống điểm danh này có những giới hạn vật lý và môi trường hoạt động cụ thể nào theo công bố của tác giả?
Hệ thống chỉ xử lý điểm danh mỗi lần một đối tượng; cự ly hoạt động tối ưu trong khoảng từ 0,8 m đến 1,0 m; camera nhận dạng kém chính xác trong điều kiện ánh sáng quá yếu; và hệ thống chưa thể nhận dạng khi người dùng đeo khẩu trang hoặc mang kính.

Kết luận

Đồ án tốt nghiệp "Hệ thống điểm danh sử dụng Raspberry Pi để nhận diện khuôn mặt" của sinh viên Đoàn Gia Hân và Nguyễn Huỳnh Hưng đã hoàn thành mục tiêu thiết kế và thi công một thiết bị điểm danh tự động độc lập dạng nhúng. Bằng cách kết hợp phần cứng Raspberry Pi 3B, màn hình LCD cảm ứng 3,5 inch, webcam USB cùng thuật toán phát hiện Haar-like và nhận diện LBPH qua thư viện OpenCV, nhóm tác giả đã xây dựng thành công quy trình khép kín từ thu nhận dữ liệu, huấn luyện mô hình đến ghi nhận điểm danh vào CSDL MySQL và xuất báo cáo Excel. Dù vẫn còn những hạn chế về khả năng nhận diện khi thiếu sáng, góc chụp hẹp và chưa xử lý được đối tượng đeo khẩu trang, đề tài đã chứng minh tính khả thi của giải pháp thị giác máy tính biên ứng dụng trong quản lý đào tạo thực tiễn.

Trích đoạn nội dung tài liệu

Chương 1. Giới thiệu Giới thiệu chung về đề tài, mục tiêu nghiên cứu, giới hạn đề tài, phương pháp nghiên cứu, đối tượng và phạm vi nghiên cứu. Cơ sở lý thuyết Giới thiệu về thuật toán LBP, đặc trưng Haar-like, giải thuật AdaBoost. Thiết kế hệ thống Đưa ra sơ đồ khối của hệ thống, lưu đồ giải thuật và các thiết bị được sử dụng trong các khối.

Kết quả Trình bày kết quả thi công và đánh giá của mô hình hệ thống. Kết luận và hướng phát triển Rút ra các kết luận và khả năng phát triển của mô hình. 3 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1 GIỚI THIỆU NHẬN DIỆN KHUÔN MẶT Nhận diện khuôn mặt là một loại nhận diện trực quan trong đó khuôn mặt được coi như một vật thể với những thay đổi về ánh sáng, vị trí và cảm xúc được xác định bởi hình ảnh hai chiều. Nhiệm vụ của hệ thống là tự động xử lý dữ liệu từ hình ảnh đầu vào và đưa ra quyết định về dữ liệu khuôn mặt.

Cấu trúc của hệ thống nhận dạng khuôn mặt [2] - Phát hiện khuôn mặt: Hệ thống nhận dạng khuôn mặt bắt đầu bằng việc xác định và định vị khuôn mặt người trong một hình ảnh cụ thể. Mục tiêu của bước này là xác nhận xem hình ảnh đầu vào có chứa khuôn mặt người hay không. Các yếu tố như ánh sáng và biểu cảm khuôn mặt có thể gây khó khăn cho việc phát hiện chính xác. Nhiều kỹ thuật được sử dụng để phát hiện và định vị khuôn mặt, chẳng hạn như bộ dò Viola-Jones, biểu đồ gradient định hướng (HOG) và phân tích thành phần chính (PCA).

- Trong bước trích xuất đặc trưng, mục tiêu là tách riêng các đặc điểm đặc biệt của khuôn mặt được phát hiện ở bước đầu tiên. Quá trình này biểu diễn khuôn mặt dưới dạng một tập hợp các vectơ đặc trưng, gọi là “đặc trưng”, mô tả các đặc điểm như miệng, mũi và mắt cùng với vị trí hình học của chúng. Mỗi 4 khuôn mặt có sự khác biệt về cấu trúc, kích thước và hình dạng riêng biệt giúp phục vụ cho mục đích nhận dạng. Các kỹ thuật trích xuất đặc trưng như HOG, Eigenface, phân tích thành phần độc lập (ICA), phân tích phân biệt tuyến tính (LDA), biến đổi tính năng bất biến tỷ lệ (SIFT), bộ lọc Gabor, lượng tử hóa pha cục bộ (LPQ) và kỹ thuật mẫu nhị phân cục bộ (LBP) thường được áp dụng để tạo ra các đặc trưng của khuôn mặt.

- Trong quá trình nhận dạng khuôn mặt, các đặc trưng trích xuất từ bước trước được so sánh với các khuôn mặt đã biết được lưu trữ trong CSDL. Một khuôn mặt thử nghiệm được so sánh với tập hợp các khuôn mặt trong dữ liệu để tìm ra khuôn mặt phù hợp nhất. Quy trình nhận dạng bao gồm việc so sánh khuôn mặt kiểm tra với các khuôn mặt đã biết trong CSDL để đưa ra quyết định cuối cùng.2 THUẬT TOÁN LBP (LOCAL BINARY PATTERN) Lý thuyết về LBP LBP (Local Binary Pattern) được Ojala giới thiệu vào năm 1996 để đo độ tương phản cục bộ của hình ảnh. Phiên bản đầu tiên của Local Binary Pattern được sử dụng với 8 pixel xung quanh và giá trị pixel trung bình được sử dụng làm ngưỡng.

Giá trị Local Binary Pattern được tính bằng cách nhân các giá trị ngưỡng với trọng số tương ứng cho từng pixel rồi tính tổng. Local Binary Pattern (LBP) là một phương pháp mô tả cấu trúc của một hình ảnh bằng cách so sánh các giá trị của các pixel trong một vùng cục bộ của hình ảnh. Ý tưởng cơ bản của LBP là so sánh giá trị của mỗi pixel với giá trị của các pixel lân cận của nó. Một điểm trung tâm được chọn và giá trị của nó được so sánh với các pixel lân cận.

Nếu giá trị của điểm trung tâm lớn hơn hoặc bằng giá trị của các pixel lân cận, nó sẽ được mã hóa thành 1, ngược lại, nó sẽ được mã hóa thành 0. Bằng cách này, mỗi điểm trung tâm và các pixel lân cận xung quanh nó sẽ tạo ra một chuỗi nhị phân, và chuỗi này sẽ đại diện cho cấu trúc cục bộ của hình ảnh. LBP có thể được sử dụng để trích xuất các đặc trưng quan trọng của hình ảnh, như các đặc điểm cục bộ và cấu trúc của các vùng trong hình ảnh. Ví dụ: nếu lấy 8 pixel lân cận thì LBP là 11001111 hoặc nếu chuyển nó sang hệ số 5 10 thì nó là 207.

Đây là chuỗi nhị phân đơn giản và dễ hiểu hơn để mô tả cấu trúc của một hình ảnh. Ví dụ về Local Binary Pattern [3] Nguồn gốc: Dãy Local Binary Pattern được Ojala giới thiệu vào năm 2002. Xác định cấu trúc pixel là phân bố đại số của các mức xám của P +1 (P > 0) pixel., gp-1) Nếu gc tương ứng với tông màu xám của pixel trung tâm Ptt, thì gp (p = 0, ., 1) tương ứng với xung quanh P pixel, P pixel này nằm trong một vòng tròn có bán kính R và tâm là Ptt. Các điểm xung quanh Ptt [3] Không mất thông tin, gp có thể giảm đi gc T = t (gc, g0 – gc , …, gp – gc) Giả sử sự sai số giữa gp và gc là độc lập với gc, ta có thể nhân tử hóa gc như sau: T = t (gc) t (g0- gc, …, gp-1 - gc) 6 t(gc) biểu thị xu hướng độ sáng tối của cả bức ảnh nên không liên quan đến kết cấu của ảnh cục bộ do đó có thể bỏ qua T ~ t ((g0 – gc), …, (gp-1 – gc)) Mặc dù tính bất biến trái ngược với những thay đổi thang độ xám trong thang điểm ảnh, nhưng có sự khác biệt về tỷ lệ.

Để có được các đặc điểm bất biến đối với màu đen và trắng (thang độ xám), hãy xem xét dấu hiệu của độ lệch: T ~ t (s (g0 – gc), …, s (gp-1 – gc)) Với s là hàm dấu: [3] (2.1) Trọng số 2p được sử dụng cho các hàm dấu, s(gp–gc) nhằm chuyển đổi sự khác biệt giữa các điểm ảnh lân cận thành một giá trị duy nhất [3].2) Với P pixel, có 2p giá trị LBPP, R trong khoảng [0, 2p−1], nhưng để đơn giản, ta có thể chọn một số giá trị trong 2p giá trị này và ký hiệu là: LBPP, Ru2 Thuật toán Local Binary Pattern Thông tin Local Binary Pattern của mỗi pixel tại trung tâm khối hình ảnh được tính toán từ thông tin của các pixel lân cận. Các bước có thể được tóm tắt như sau: Bước 1: Đặt bán kính làm việc, thường là bán kính R, để phát hiện các pixel lân cận. Bước 2: Tính giá trị Local Binary Pattern của pixel giữa (xc, yc) của mỗi khối ảnh bằng cách so sánh giá trị thang độ xám của các pixel lân cận với thang độ xám của pixel giữa (gc). Hàm nhị phân s(z) được định nghĩa như sau: nếu z ≥ 0 thì s(z) = 1, nếu không thì s(z) = 0.

7 Giá trị Local Binary Pattern của pixel trung tâm được tính bằng cách xác định thang độ xám giá trị của các pixel lân cận và giá trị thang độ xám của các giá trị nhị phân chênh lệch giá trị pixel trung tâm. Ví dụ: Hình 2. Biến thể của Local Binary Pattern đồng dạng [3] Một mẫu nhị phân được xem là "đồng dạng" nếu có hai lần chuyển đổi từ giá trị bit sang 0 hoặc từ giá trị bit sang 1 trong quá trình tuần hoàn chuỗi bit. Ví dụ: chuỗi 00000000 không phải là Chuyển tiếp, chuỗi 01110000 và 11001111 chứa hai chuyển đổi, vì vậy chúng là một Local Binary Pattern duy nhất.

Nhưng chuỗi 11001001 có 4 lần chuyển tiếp và chuỗi 01010011 có 6 lần chuyển tiếp nên chúng không phải là Local Binary Pattern đồng nhất. Dựa trên định nghĩa này, có P(P-1) + 3 nhãn trong bảng ánh xạ lân cận của bán kính làm việc P. Ví dụ, trong trường hợp 8 lân cận, có tổng cộng 59 nhãn. Bảng thống kê các mẫu của uniform LBP [3] 2.3 PHƯƠNG PHÁP PHÁT HIỆN KHUÔN MẶT HAAR-LIKE Phương pháp Haar-like, phát triển bởi Paul Viola và Michael J.

Jones, là một phương pháp tiếp cận nâng cao để nhận dạng khuôn mặt dựa trên đặc điểm hình thái của khuôn mặt. Hệ thống nhận dạng khuôn mặt học từ các mẫu khuôn mặt trong quá trình đào tạo và sử dụng thông tin này để nhận dạng khuôn mặt trong ảnh mới. Phương pháp này kết hợp hai thành phần chính: các hàm Haar-like và hình ảnh tích phân. Các đặc điểm Haar-like được áp dụng cho các phần của hình ảnh để tính toán các giá trị đặc điểm, sau đó các giá trị này được sử dụng để phân loại khuôn mặt bằng mô hình học máy.

Hình ảnh tích hợp giúp tính toán các giá trị giống tóc hiệu quả hơn. Phương pháp Haar-like được sử dụng trên ảnh thang độ xám mà không sử dụng thông tin về màu sắc khuôn mặt. Việc chuyển đổi ảnh màu sang ảnh thang độ xám và ảnh tích hợp được thực hiện trước khi tính toán các đặc trưng Haar- like. Mặc dù không sử dụng thông tin màu sắc nhưng phương pháp này vẫn cho kết quả nhận diện khuôn mặt rất chính xác và hiệu quả.

9 Mỗi hàm Haar-like xác định một khu vực hình chữ nhật được chia thành 2, 3 hoặc 4 hình chữ nhật nhỏ, mỗi hình chữ nhật có màu trắng hoặc đen truyền thống. Trong quá trình dò tìm khuôn mặt, hệ thống sẽ quét toàn bộ hình ảnh đầu vào trong cửa sổ con có kích thước cố định. Mỗi cửa sổ con được tạo tương ứng với một ảnh con và mỗi cửa sổ con sử dụng các hàm Haar-like để tính giá trị đặc trưng. Các giá trị này sau đó được đưa vào bộ phân loại để xác định xem khung có chứa khuôn mặt hay không [4].

Ứng với mỗi một đặc trưng, một bộ phân lớp yếu hk(x) được định nghĩa theo Công thức: (2.3) Trong đó: là cửa sổ con cần xét là ngưỡng là giá trị đặc trưng của Haar-like là hệ số quyết định chiều của bất phương trình 2.4 GIẢI THUẬT ADABOOST AdaBoost là 1 thuật toán phân loại mạnh phi tuyến được Freund và Schapire đề xuất vào năm 1995 dựa trên phương pháp tăng cường. Cơ chế hoạt động của AdaBoost là kết hợp tuyến tính các “phân loại yếu” để tạo ra một “phân loại mạnh”. Tính năng đặc biệt của AdaBoost là sử dụng trọng số để phát hiện các mẫu khó nhận dạng. Trong quá trình huấn luyện, mỗi khi xây dựng một "phân loại yếu", thuật toán sẽ cập nhật trọng số mẫu.

Đặc biệt, trọng số của các mẫu bị phân loại sai tăng lên, trong khi trọng số của các mẫu được phân loại đúng lại giảm. Trong mỗi lần lặp, "phân loại yếu" tiếp theo tập trung vào các mẫu không được "phân loại yếu" trước đó phân loại tốt.