Đồ án thiết kế hệ thống nhận diện khuôn mặt phục vụ điểm danh tại ĐH Sư phạm Kỹ thuật TPHCM

Nghiên cứu thiết kế hệ thống nhận diện khuôn mặt điểm danh sử dụng thuật toán Haar Cascade, LBP kết hợp Python và Arduino tại ĐH SPKT TPHCM.

• Tác giả: Nguyễn Hoàng Quân
• Người hướng dẫn: ThS. Lê Minh Thành
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật công nghệ Điện tử - Viễn thông
• Đề tài: Thiết kế hệ thống nhận diện khuôn mặt phục vụ cho hệ thống điểm danh
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan hệ thống nhận diện khuôn mặt điểm danh ĐH SPKT TPHCM

Cách mạng công nghiệp lần thứ tư thúc đẩy mạnh mẽ ứng dụng trí tuệ nhân tạo. Nhiều đơn vị giáo dục triển khai công nghệ thị giác máy tính vào vận hành. Trường Đại học Sư phạm Kỹ thuật TP.HCM tiên phong nghiên cứu lĩnh vực này. Đề tài tốt nghiệp ngành Điện tử Viễn thông phát triển mô hình điểm danh tự động. Hệ thống nhận diện khuôn mặt điểm danh tại ĐH SPKT TPHCM giải quyết triệt để hạn chế của phương pháp thủ công. Quy trình điểm danh truyền thống bằng giấy tờ gây tốn kém thời gian. Thẻ từ hay vân tay tiềm ẩn nguy cơ gian lận và lây nhiễm dịch bệnh. Mô hình mới xây dựng quy trình khép kín từ thu thập hình ảnh đến xác thực. Thiết bị nhận diện nhân viên qua camera với độ chính xác cao. Dữ liệu được xử lý nhanh chóng qua các thuật toán thị giác thông minh. Màn hình LCD lập tức hiển thị thông tin xác nhận sau khi quét. Cơ sở dữ liệu đám mây ghi nhận lịch sử ra vào theo thời gian thực. Hệ thống hỗ trợ đắc lực cho công tác quản trị và kiểm soát nhân sự. Đề tài mở ra tiềm năng ứng dụng rộng rãi trong các cơ sở đào tạo thông minh.

1.1. Bối cảnh nghiên cứu đề tài tại trường ĐH SPKT TPHCM

Trường Đại học Sư phạm Kỹ thuật TP.HCM luôn chú trọng đổi mới công nghệ quản lý giáo dục. Nhà trường có quy mô đào tạo lớn với hàng chục nghìn sinh viên và cán bộ. Nhu cầu kiểm soát chấm công và điểm danh hằng ngày diễn ra vô cùng cấp thiết. Việc áp dụng công nghệ tự động giúp tối ưu hóa nguồn lực nhân sự. Sinh viên Khoa Đào tạo Chất lượng cao đã bắt tay thực hiện đồ án thiết kế hệ thống nhận diện. Đề tài tập trung xây dựng mô hình phần cứng kết hợp phần mềm nhận diện thông minh. Thiết bị hướng tới môi trường giảng đường và văn phòng làm việc hiện đại. Nghiên cứu tạo tiền đề vững chắc cho việc số hóa học đường.

1.2. Mục tiêu và phạm vi xây dựng hệ thống điểm danh

Mục tiêu cốt lõi của nghiên cứu là xây dựng trạm điểm danh nhận diện khuôn mặt độc lập. Thiết bị có khả năng phát hiện nhanh chân dung nhân viên khi bước vào vùng quét. Hệ thống tiến hành trích xuất đặc trưng sinh trắc học và so khớp dữ liệu. Kết quả nhận diện được phản hồi ngay lập tức qua màn hình hiển thị trực quan. Thông tin điểm danh được lưu trữ an toàn trên cơ sở dữ liệu thời gian thực. Hệ thống hỗ trợ xuất báo cáo định dạng bảng tính để phục vụ công tác đánh giá. Phạm vi thử nghiệm áp dụng trực tiếp tại các phòng ban của nhà trường. Mô hình đáp ứng tốt yêu cầu xử lý dữ liệu với chi phí triển khai tối ưu.

II. Thách thức nhận diện khuôn mặt điểm danh tại ĐH SPKT TPHCM

Hệ thống điểm danh truyền thống bộc lộ rất nhiều bất cập trong môi trường giáo dục quy mô lớn. Phương pháp ký tên thủ công gây mất nhiều thời gian của giảng viên và sinh viên. Tình trạng điểm danh hộ xảy ra phổ biến và khó kiểm soát triệt để. Hình thức quét vân tay hay thẻ từ tiềm ẩn nguy cơ quên thẻ và hỏng hóc thiết bị phần cứng. Trong giai đoạn dịch bệnh, thiết bị tiếp xúc vật lý còn tăng nguy cơ lây nhiễm chéo. Nhận diện sinh trắc học khuôn mặt mang lại giải pháp không tiếp xúc an toàn vượt trội. Tuy nhiên, việc áp dụng thị giác máy tính vào thực tế gặp nhiều rào cản kỹ thuật. Môi trường ánh sáng phòng học thay đổi thất thường ảnh hưởng lớn đến chất lượng ảnh chụp. Góc nghiêng khuôn mặt khi người di chuyển qua cảm biến gây khó khăn cho việc nhận diện. Hệ thống phần cứng nhúng cần năng lực tính toán đủ mạnh để xử lý ảnh nhanh chóng. Độ trễ thuật toán nếu quá lớn sẽ gây ùn tắc tại cửa ra vào phòng học. Những vấn đề kỹ thuật này đòi hỏi giải pháp tối ưu hóa thuật toán toàn diện.

2.1. Hạn chế của phương pháp điểm danh truyền thống

Điểm danh truyền thống tồn tại nhiều nhược điểm lớn trong quản trị đại học. Thầy cô thường phải gọi tên từng sinh viên trong danh sách dài. Quá trình này làm lãng phí từ mười đến mười lăm phút mỗi buổi dạy. Một số trường học chuyển sang dùng máy chấm công quét vân tay. Tuy nhiên, thiết bị cơ học dễ bám bẩn và nhanh hao mòn sau thời gian sử dụng. Tình trạng sinh viên quét thẻ hộ người khác vẫn diễn ra thường xuyên. Lỗ hổng quản lý này làm sai lệch dữ liệu chuyên cần thực tế. Việc tổng hợp danh sách đi trễ cuối tháng tốn nhiều công sức đối chiếu thủ công. Mọi quy trình quản lý đều đòi hỏi phải được tự động hóa.

2.2. Vấn đề nhận dạng ảnh và tốc độ xử lý phần cứng

Công nghệ nhận diện khuôn mặt đối mặt với nhiều bài toán hóc búa về xử lý tín hiệu hình ảnh. Độ phân giải của camera ảnh hưởng trực tiếp đến chất lượng dữ liệu đầu vào. Sự thay đổi về góc nhìn khiến các điểm mốc trên mặt bị che khuất một phần. Yếu tố ánh sáng tự nhiên tại giảng đường thường xuyên biến thiên phức tạp. Thiết bị vi điều khiển và máy tính nhúng có bộ nhớ RAM tương đối hạn hẹp. Thuật toán nhận diện phức tạp dễ dẫn đến hiện tượng nghẽn cổ chai tài nguyên. Tốc độ nhận diện bị chậm làm giảm trải nghiệm của người tham gia điểm danh. Ngoài ra, việc phân biệt chính xác nhân viên đã lưu trữ và người lạ đòi hỏi ngưỡng tin cậy cực kỳ chuẩn xác.

III. Giải pháp nhận diện khuôn mặt điểm danh tại ĐH SPKT TPHCM

Đề tài tốt nghiệp tại ĐH SPKT TPHCM đề xuất mô hình tích hợp đồng bộ giữa phần cứng và thuật toán thông minh. Quy trình vận hành bao gồm ba giai đoạn độc lập nhưng liên kết chặt chẽ. Cảm biến hồng ngoại nhận biết chuyển động để kích hoạt camera ghi hình khi có người đến gần. Thuật toán Haar Cascade tiến hành quét từng khung hình để phát hiện chính xác vị trí khuôn mặt. Ảnh chân dung sau đó được chuyển đổi sang thang độ xám và phân đoạn ma trận điểm ảnh. Kỹ thuật Local Binary Patterns Histogram (LBPH) trích xuất các đặc trưng kết cấu cục bộ. Thuật toán chia ảnh thành các lưới nhỏ rồi tổng hợp thành một chuỗi biểu đồ thống nhất. Hệ thống đối sánh biểu đồ đầu vào với tập dữ liệu khuôn mặt đã lưu trữ trước đó. Thông tin mã định danh và họ tên nhân viên được trích xuất cùng độ tin cậy tương ứng. Kết quả xác thực chuyển tới màn hình LCD hiển thị công khai để nhân viên kiểm tra. Dữ liệu điểm danh được tải trực tiếp lên dịch vụ cơ sở dữ liệu thời gian thực Firebase. Báo cáo định dạng CSV hỗ trợ trích xuất thống kê chuyên cần và kiểm soát đi trễ.

3.1. Ứng dụng thuật toán Haar Cascade và LBP nhận diện

Thuật toán Haar Cascade đảm nhận nhiệm vụ định vị khuôn mặt từ luồng video trực tiếp. Kỹ thuật này sử dụng các bộ đặc trưng Haar hình chữ nhật để nhận biết đường nét mắt, mũi và miệng. Khi xác định đúng vùng mặt, hệ thống áp dụng kỹ thuật Local Binary Patterns (LBP). Phương pháp LBP gán nhãn cho từng điểm ảnh dựa trên sự chênh lệch độ sáng với các điểm lân cận. Hình ảnh chuyển đổi thành các lưới ma trận tám nhân tám để trích xuất biểu đồ phân bố độ xám. Chuỗi biểu đồ 16.384 điểm biểu diễn chính xác các đặc tính duy nhất của khuôn mặt. Thuật toán so sánh khoảng cách giữa các biểu đồ để nhận dạng đối tượng với sai số tối thiểu.

3.2. Tích hợp phần cứng cảm biến LCD và cơ sở dữ liệu Firebase

Mô hình phần cứng kết nối chặt chẽ giữa cảm biến hồng ngoại, camera và màn hình LCD. Cảm biến hồng ngoại phát hiện chuyển động của nhân viên để khởi động camera tức thì. Màn hình LCD tiếp nhận tín hiệu hiển thị mã nhân viên và họ tên kèm trạng thái điểm danh. Khi phát hiện người chưa đăng ký, màn hình cảnh báo dòng chữ Người lạ rõ ràng. Cơ sở dữ liệu Firebase Realtime đóng vai trò trung tâm lưu trữ toàn bộ dữ liệu giao dịch. Thông tin điểm danh bao gồm ngày tháng, thời gian chi tiết và trạng thái được cập nhật trực tuyến. Hệ thống trích xuất dữ liệu ra định dạng tập tin CSV để người quản lý thống kê số lần và thời gian đi trễ của nhân sự một cách minh bạch.

IV. Đánh giá nhận diện khuôn mặt điểm danh tại ĐH SPKT TPHCM

Đồ án tốt nghiệp tại Đại học Sư phạm Kỹ thuật TP.HCM chế tạo thành công mô hình điểm danh mẫu. Kết quả thử nghiệm thực tế chứng minh tính khả thi cao của giải pháp thị giác máy tính. Thiết bị vận hành ổn định trong điều kiện khoảng cách và góc nhìn tiêu chuẩn. Hệ thống tự động phân loại chính xác nhân viên đã đăng ký và đối tượng chưa có thông tin. Việc tích hợp đám mây Firebase hỗ trợ xuất dữ liệu báo cáo chuyên cần nhanh chóng. Bảng thống kê CSV phản ánh trung thực số lượt đi muộn cùng thời lượng trễ từng cá nhân. Dù vậy, mô hình vẫn bộc lộ một số giới hạn kỹ thuật cần tiếp tục khắc phục. Tốc độ nhận diện đôi lúc còn trễ khi điều kiện ánh sáng môi trường yếu. Tỷ lệ chính xác cần được cải thiện hơn khi đối tượng xoay góc mặt quá lớn. Nhóm tác giả định hướng nâng cấp hệ thống với các thuật toán học sâu như CNN. Mô hình tương lai sẽ tích hợp thêm camera góc rộng để nhận diện đa khuôn mặt cùng lúc. Thiết bị có tiềm năng ứng dụng mạnh mẽ tại các trường học và doanh nghiệp thông minh.

4.1. Hiệu năng nhận diện và cảnh báo người lạ thực tế

Thực nghiệm tại hiện trường cho thấy mô hình hoạt động hiệu quả trong các trường hợp nhân viên đứng chính diện. Khi camera bắt được góc mặt chuẩn, hệ thống nhận diện danh tính và phản hồi dữ liệu trong vòng vài giây. Màn hình LCD lập tức hiển thị tên và mã số tương ứng để đối chiếu. Trường hợp người lạ xuất hiện, hệ thống nhận biết dữ liệu không khớp và cảnh báo tức thì. Giao diện LCD hiển thị dòng chữ Người lạ nhằm nhắc nhở đối tượng chưa có quyền truy cập. Đồng thời hệ thống gửi dữ liệu Nguoila lên Firebase để lưu vết bảo mật. Tính năng cảnh báo này giúp nâng cao mức độ an toàn cho khu vực làm việc.

4.2. Hướng phát triển và ứng dụng thực tiễn trong tương lai

Hệ thống mở ra triển vọng lớn cho mô hình chuyển đổi số trường học và cơ quan hành chính. Trong giai đoạn phát triển tiếp theo, thuật toán mạng nơ-ron sâu sẽ thay thế các bộ lọc truyền thống. Sự thay đổi này giúp nâng cao độ chính xác khi đối tượng đeo khẩu trang hoặc kính mắt. Hệ thống cũng có thể nâng cấp phần cứng xử lý lên các bo mạch GPU nhúng chuyên dụng. Khả năng tính toán mạnh mẽ hơn sẽ giảm thời gian trễ xuống dưới một giây. Mô hình có thể mở rộng tính năng nhận diện hàng loạt người di chuyển qua cửa cùng lúc. Việc kết nối phần mềm quản lý nhân sự tổng thể sẽ tạo nên hệ sinh thái chấm công tự động hoàn chỉnh.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong công tác quản lý nhân sự và chấm công tại các cơ quan, doanh nghiệp, các phương thức truyền thống như sử dụng thẻ từ RFID hoặc dấu vân tay thường bộc lộ hạn chế về mặt thời gian, đặc biệt là tình trạng ùn tắc khi lượng nhân viên xếp hàng điểm danh cùng một thời điểm quá đông. Sự phát triển của các công nghệ kỹ thuật mới, đặc biệt là trí tuệ nhân tạo và xử lý ảnh, mở ra xu hướng tối ưu hóa quy trình chấm công thông qua nhận diện khuôn mặt nhằm nâng cao tính tiện lợi, độ chính xác và bảo mật. Thực tế đã ghi nhận các giải pháp thương mại hóa như phần mềm BiSchool của công ty Beet Innovators phục vụ kiểm soát an ninh học đường hoặc thiết bị BiFace ứng dụng trong nhà máy, doanh nghiệp. Xuất phát từ bối cảnh đó, đồ án tập trung xây dựng một hệ thống điểm danh bằng khuôn mặt có khả năng tự động hóa và tích hợp màn hình thông báo kết quả tại chỗ.

Mục tiêu nghiên cứu của đồ án bao gồm các nhiệm vụ cụ thể sau:

1. Thiết kế hệ thống thu thập hình ảnh và lưu trữ thông tin cá nhân của nhân viên phục vụ cơ sở dữ liệu điểm danh.
2. Xây dựng thuật toán nhận diện khuôn mặt từ luồng hình ảnh thời gian thực dựa trên các dữ liệu mẫu đã lưu trữ.
3. Xuất và lưu trữ thông tin nhận diện thành công (họ tên, mã số, chức vụ, trạng thái, thời gian thực) vào tập tin bảng tính phục vụ công tác quản lý.
4. Truyền dữ liệu nhận diện không dây lên nền tảng đám mây và điều khiển màn hình LCD hiển thị họ tên, mã số nhân viên ngay tại vị trí cửa ra vào.

Về phạm vi và giới hạn nghiên cứu:

• Không gian và đối tượng: Hệ thống được thử nghiệm trong không gian phòng làm việc quy mô 10 người nhằm tối ưu hóa dung lượng lưu trữ và tài nguyên tính toán.
• Hạ tầng kỹ thuật: Các khối phần cứng giao tiếp dữ liệu nội bộ thông qua mạng Wi-Fi; tốc độ đường truyền mạng là yếu tố ảnh hưởng trực tiếp đến thời gian phản hồi chung.
• Khả năng xử lý: Nghiên cứu tập trung vào bài toán phát hiện và nhận diện khuôn mặt người thật, chưa tích hợp module chống các hình thức giả mạo khuôn mặt (ảnh in, video).

Cơ sở lý thuyết và phương pháp

Đồ án kết hợp các lý thuyết về thị giác máy tính truyền thống, hệ quản trị cơ sở dữ liệu và giao thức truyền thông nhúng:

• Thuật toán phát hiện khuôn mặt Haar Cascade: Do Paul Viola và Michael Jones đề xuất, sử dụng các đặc trưng dạng hình chữ nhật (Haar-like features) bao gồm đặc trưng cạnh (edge features), đặc trưng đường (line features) và đặc trưng xung quanh tâm (center-surround features) để phân biệt cường độ sáng tối giữa các vùng trên khuôn mặt xám (vùng mắt tối hơn trán và má, sống mũi sáng hơn hai bên mắt). Thuật toán áp dụng khái niệm Ảnh tích hợp (Integral Image) để tính tổng giá trị điểm ảnh trong bất kỳ vùng chữ nhật nào chỉ bằng bốn phép truy xuất mảng hai chiều: $$ii(x, y) = \sum_{x' \le x, y' \le y} i(x', y')$$ Kỹ thuật tăng cường Adaboost được sử dụng để lựa chọn các đặc trưng quan trọng và liên kết các bộ phân loại yếu (weak classifiers) thành bộ phân loại mạnh (strong classifier) theo cấu trúc phân tầng 38 tầng với hơn 600 đặc trưng.

• Thuật toán trích xuất đặc trưng LBP (Local Binary Pattern / LBPH): Phương pháp trích xuất kết cấu bề mặt cục bộ thông qua cửa sổ trượt $3 \times 3$. Cường độ điểm ảnh trung tâm được dùng làm ngưỡng so sánh với 8 điểm ảnh lân cận (gán bit 1 nếu giá trị lân cận lớn hơn hoặc bằng ngưỡng, gán bit 0 nếu nhỏ hơn). Chuỗi 8 bit nhị phân được chuyển đổi sang số thập phân thay thế cho điểm ảnh trung tâm. Ảnh sau đó được chia thành các lưới nhỏ ($X \times Y$) để tính toán biểu đồ tần suất (histogram) cục bộ và ghép nối thành véc-tơ đặc trưng tổng hợp. Trong đồ án, kích thước véc-tơ đặc trưng được chuẩn hóa thành 128 chiều từ ảnh đầu vào $450 \times 450$ pixel.

• Phương pháp nhận diện bằng khoảng cách Euclide: Tiến hành đo lường khoảng cách hình học giữa véc-tơ đặc trưng 128 chiều trích xuất từ khuôn mặt cần nhận diện với các véc-tơ đặc trưng mẫu lưu trong cơ sở dữ liệu. Kết quả nhận diện tương ứng với mẫu có khoảng cách nhỏ nhất thỏa mãn ngưỡng tin cậy đặt trước.

• Nền tảng dữ liệu và giao thức truyền thông:

  • Hệ quản trị cơ sở dữ liệu quan hệ MySQL: Tích hợp với ngôn ngữ lập trình Python nhằm quản lý thông tin lý lịch nhân viên (họ tên, mã định danh, chức vụ).
  • Nền tảng Google Firebase: Đóng vai trò máy chủ trung gian lưu trữ dữ liệu thời gian thực (trạng thái cảm biến, kết quả nhận diện) giữa phần mềm máy tính và vi điều khiển.
  • Chuẩn giao tiếp liên mạch I2C (Inter-Integrated Circuit): Sử dụng hai đường tín hiệu SDA (Serial Data) và SCL (Serial Clock) với cấu trúc khung truyền gồm bit Start, địa chỉ 7-bit, bit đọc/ghi, bit xác thực ACK/NACK, khung dữ liệu 8-bit và bit Stop để truyền dữ liệu hiển thị từ vi điều khiển sang màn hình LCD.

Thiết kế và triển khai

Hệ thống được thiết kế theo cấu trúc hợp nhất giữa phần cứng nhúng và phần mềm xử lý trên máy tính, gồm 5 khối chức năng chính:

1. Khối máy ảnh: Thu thập luồng hình ảnh thời gian thực tại lối ra vào và truyền dữ liệu video về máy tính thông qua giao thức mạng không dây dựa trên địa chỉ IP cục bộ. Tác giả đã tiến hành so sánh ba thiết bị để đưa ra lựa chọn:

Tiêu chí	Camera TP-Link	Module ESP32 Camera	Module OV7670
Độ phân giải	Full HD 1080p	$1632 \times 1232$	$640 \times 480$
Kích thước	Lớn	Nhỏ gọn	Nhỏ gọn
Giá thành	Tương đối cao	Trung bình	Thấp
Phương thức kết nối	Không dây (Wi-Fi)	Không dây (Wi-Fi)	Có dây

Module ESP32 Camera được lựa chọn nhờ kích thước nhỏ gọn, độ phân giải đáp ứng yêu cầu xử lý, tích hợp sẵn kết nối Wi-Fi truyền luồng dữ liệu độc lập và hỗ trợ thư viện phát triển trong môi trường Arduino.

2. Khối xử lý trung tâm: Sử dụng máy tính cá nhân cài đặt ngôn ngữ Python và thư viện giao diện Tkinter. Quy trình xử lý bao gồm việc thu nhận luồng video từ địa chỉ IP của ESP32 Camera, chuẩn hóa kích thước ảnh về $450 \times 450$ pixel, chuyển đổi sang ảnh xám, áp dụng bộ lọc Haar Cascade để khoanh vùng khuôn mặt, trích xuất véc-tơ 128 đặc trưng bằng LBP và phân loại đối chiếu bằng không gian Euclide. Giao diện phần mềm cung cấp các chức năng: quản lý thông tin nhân viên, kích hoạt nhận diện, trích xuất danh sách điểm danh và thống kê nhân viên đi trễ.

3. Khối nhận và khối hiển thị: Khối nhận sử dụng vi điều khiển ESP8266 kết nối Wi-Fi để liên tục đọc dữ liệu cập nhật từ Google Firebase. Khối hiển thị sử dụng màn hình LCD 20x04 kết nối với ESP8266 qua giao tiếp I2C. Quy tắc hiển thị trên LCD 20x04 được lập trình như sau:

   • Dòng 1: Họ và tên nhân viên (nếu chuỗi dài hơn 15 ký tự, chữ cái đầu của họ sẽ được viết tắt; nếu vẫn vượt quá 15 ký tự, chữ cái đầu của tên lót tiếp tục được viết tắt).
   • Dòng 2: Mã số nhân viên.
   • Dòng 3: Thời gian nhận diện thành công (giờ, phút, giây).
   • Dòng 4: Trạng thái điểm danh (hiển thị "Dunggio" hoặc "TreGio"). Trường hợp không khớp dữ liệu, LCD hiển thị cảnh báo "Nguoila".

4. Khối điều khiển tự động và cảm biến: Một cảm biến hồng ngoại phát hiện vật cản được bố trí phía trước máy ảnh. Khi có người tiếp cận, cảm biến gửi trạng thái số 1 lên Firebase thông qua khối nhận. Phần mềm trung tâm đọc trạng thái này để tự động bật camera và tiến hành nhận diện; khi không có người (trạng thái 0), camera dừng hoạt động để tiết kiệm tài nguyên.

5. Thiết kế nguồn điện: Mạch hoạt động dựa trên các bộ chuyển đổi nguồn Adapter 5V - 2A cắm trực tiếp lưới điện.

Thiết bị	Dòng điện tiêu thụ (mA)
Cảm biến hồng ngoại	43
Vi điều khiển ESP8266	320
Màn hình LCD 20x04	30 ~ 40
Tổng cộng	393 ~ 403 (xấp xỉ 0.5 A)

Tổng dòng tiêu thụ của cảm biến, ESP8266 và LCD xấp xỉ 0.5 A, do đó một bộ nguồn Adapter 5V - 2A đáp ứng an toàn cho cụm mạch này. Riêng module ESP32 Camera tiêu thụ dòng khởi động và hoạt động lớn nên được cấp riêng một Adapter 5V - 2A độc lập.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Trình bày lịch sử phát triển của các phương thức chấm công từ quét thẻ từ RFID, vân tay đến sinh trắc học khuôn mặt ứng dụng trí tuệ nhân tạo. Nêu rõ tính cấp thiết của việc tự động hóa điểm danh, hạn chế ùn tắc tại cửa văn phòng. Xác định rõ mục tiêu chế tạo hệ thống nhận diện khuôn mặt kết hợp màn hình LCD thông báo và giới hạn nghiên cứu trong phạm vi thử nghiệm 10 người, giao tiếp mạng nội bộ Wi-Fi và không xử lý nhận diện khuôn mặt giả.

Chương 2: Cơ sở lý thuyết

Đi sâu vào nguyên lý toán học và thuật toán của hệ thống. Mô tả chi tiết thuật toán phát hiện khuôn mặt Haar Cascade, nguyên lý tính toán của 4 nhóm đặc trưng Haar-like cơ bản, phương pháp xây dựng ma trận Ảnh tích hợp để tối ưu tốc độ cộng điểm ảnh và thuật toán Adaboost phân tầng. Trình bày thuật toán trích xuất đặc trưng LBP, các công thức biến đổi ngưỡng nhị phân cục bộ, biểu diễn ma trận pixel và kỹ thuật ghép nối biểu đồ tần suất. Giới thiệu các đặc tính bảo mật, cấu trúc lưu trữ của MySQL và cấu trúc khung truyền dữ liệu nhị phân chuẩn I2C.

Chương 3: Thiết kế hệ thống

Xây dựng sơ đồ đặc tả và sơ đồ khối chức năng tổng thể. Đưa ra các phân tích kỹ thuật để lựa chọn linh kiện phần cứng (so sánh thông số giữa ESP32 Camera, TP-Link và OV7670; thống kê công suất tiêu thụ điện của ESP8266, LCD 20x04 và cảm biến hồng ngoại). Trình bày các khảo sát thực nghiệm ban đầu về khả năng phát hiện khuôn mặt của Haar Cascade theo số lượng người và khoảng cách chụp. Mô tả chi tiết lưu đồ thuật toán chương trình chính trên máy tính và lưu đồ chương trình khởi động hệ thống tự động dựa trên cảm biến vật cản và Firebase.

Chương 4: Kết quả

Mô tả mô hình phần cứng hoàn chỉnh sau khi lắp ráp và kiểm thử. Trình bày giao diện điều khiển viết bằng Tkinter, minh chứng quá trình thu thập 100 ảnh mẫu cho mỗi nhân viên, lưu trữ thông tin vào MySQL. Thể hiện các kết quả nhận diện thực tế trên giao diện phần mềm, bảng dữ liệu cập nhật trên Google Firebase và hình ảnh hiển thị thực tế trên màn hình LCD 20x04 đối với các trường hợp: nhân viên đúng giờ, nhân viên đi trễ và đối tượng chưa đăng ký ("Nguoila"). Kiểm tra việc xuất các tập tin định dạng CSV lưu trữ lịch sử điểm danh, thời gian trễ và thống kê tổng số lần đi trễ của từng cá nhân.

Chương 5: Kết luận và hướng phát triển

Đánh giá mức độ hoàn thành nhiệm vụ so với các mục tiêu đề ra ban đầu. Thừa nhận những điểm còn tồn tại của hệ thống như tốc độ phản hồi còn chậm, độ chính xác suy giảm khi đối tượng nghiêng đầu hoặc mạng Wi-Fi không ổn định. Đề xuất các giải pháp nâng cấp phần cứng, thuật toán và mở rộng tính năng cho các nghiên cứu tiếp theo.

Kết quả và đóng góp

Qua quá trình thử nghiệm, hệ thống đạt được các kết quả kỹ thuật cụ thể:

• Khả năng phát hiện khuôn mặt bằng Haar Cascade: Khảo sát trên 10 bức ảnh thử nghiệm với mật độ người khác nhau cho thấy thuật toán phát hiện đầy đủ số khuôn mặt khi góc nhìn trực diện:

Số thứ tự	Số người trong ảnh	Số khuôn mặt phát hiện
1	5	5
2	11	11
3	7	7
4	7	7
5	5	5
6	4	5 (phát hiện dư 1 vùng nhầm)
7	10	10
8	4	4
9	6	6
10	8	8

• Khảo sát khoảng cách chụp ảnh tối ưu: Thực nghiệm chụp ảnh khuôn mặt ở các mốc cự ly 15 cm, 20 cm, 25 cm, 30 cm và 40 cm. Kết quả cho thấy khoảng cách từ 25 cm đến 30 cm là tối ưu nhất; tỷ lệ kích thước khuôn mặt trong khung hình cân đối, tốc độ phát hiện nhanh và thời gian thu thập đủ tập dữ liệu 100 ảnh mẫu đạt khoảng 4 giây.

• Tính năng quản trị và cảnh báo:

  • Hệ thống tự động phân loại và ghi nhận trạng thái vào tập tin CSV theo thời gian thực: ghi nhận thông tin nhân viên điểm danh đúng giờ ("Dunggio"), tự động tính khoảng thời gian đi trễ và thống kê số lần trễ của từng nhân viên theo tháng ("TreGio").
  • Phân biệt người lạ: Khi phát hiện khuôn mặt không trùng khớp với cơ sở dữ liệu mẫu, hệ thống hiển thị kết quả "Nguoi la" trên giao diện máy tính, đồng bộ trạng thái "Nguoila" lên Firebase và phát dòng chữ cảnh báo "Nguoila" trên màn hình LCD.
  • Cơ chế tự động hóa: Tích hợp thành công cảm biến hồng ngoại để đánh thức camera qua biến cờ trạng thái trên Firebase, giảm thiểu việc duy trì luồng camera liên tục.

Về mặt đóng góp: Đồ án đã hiện thực hóa một mô hình thực nghiệm khép kín từ khâu thu thập ảnh bằng phần cứng IoT không dây, xử lý thị giác máy tính trên PC đến việc phân phối kết quả tức thời ra thiết bị ngoại vi thông qua kiến trúc đám mây Firebase, chứng minh tính khả thi của giải pháp kết hợp giữa vi điều khiển giá thành thấp và máy tính xử lý trung tâm.

Hạn chế và hướng nghiên cứu tiếp

Theo đánh giá trực tiếp của tác giả trong báo cáo, đồ án còn một số hạn chế kỹ thuật:

• Tốc độ hoạt động toàn hệ thống còn khá chậm và độ chính xác nhận diện tổng thể chưa cao do độ trễ truyền dữ liệu hình ảnh và tín hiệu qua mạng Wi-Fi.
• Thuật toán Haar Cascade chỉ phát hiện hiệu quả khi khuôn mặt nhìn thẳng vào máy ảnh; khi khuôn mặt nghiêng một góc nhất định, hệ thống không thể nhận diện được.
• Hệ thống chỉ nhận diện dựa trên các đặc trưng ảnh tĩnh bề mặt, chưa có module nhận biết thực thể sống (liveness detection) để ngăn chặn việc giả mạo bằng hình ảnh hoặc video.
• Cơ sở dữ liệu và thử nghiệm mới dừng lại ở quy mô nhỏ (phòng 10 người).

Các hướng phát triển được đề xuất bao gồm:

• Tối ưu hóa thuật toán hoặc áp dụng mô hình học sâu để nâng cao độ chính xác khi khuôn mặt thay đổi góc nghiêng hoặc biểu cảm.
• Cải thiện tốc độ truyền dẫn và xử lý dữ liệu giữa camera, máy tính và khối vi điều khiển hiển thị.
• Bổ sung cơ chế phát hiện khuôn mặt giả nhằm nâng cao tính an toàn sinh trắc học.
• Mở rộng quy mô cơ sở dữ liệu để đáp ứng nhu cầu chấm công tại các doanh nghiệp lớn.

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho sinh viên các ngành Kỹ thuật Điện tử - Viễn thông, Công nghệ Thông tin, Kỹ thuật Máy tính và Cơ điện tử khi thực hiện các đề tài tốt nghiệp liên quan đến thị giác máy tính và ứng dụng IoT. Các nội dung có giá trị ứng dụng cao gồm:

• Quy trình kết nối và lập trình truyền luồng video từ module ESP32 Camera qua Wi-Fi về máy tính xử lý.
• Phương pháp phối hợp giữa phần mềm xử lý trung tâm viết bằng Python Tkinter với dịch vụ đám mây Google Firebase và vi điều khiển ESP8266.
• Kỹ thuật tính toán công suất nguồn, ghép nối phần cứng vi điều khiển với màn hình LCD qua giao tiếp I2C và thuật toán xử lý chuỗi ký tự hiển thị trên màn hình ma trận nhỏ.

Câu hỏi thường gặp

1. Hệ thống xử lý thế nào khi họ và tên nhân viên vượt quá chiều dài cho phép trên màn hình LCD 20x04?
Nếu họ và tên nhân viên dài hơn 15 ký tự, hệ thống sẽ tự động viết tắt họ thành một chữ cái đầu tiên kèm dấu chấm. Nếu sau khi viết tắt họ mà độ dài chuỗi ký tự vẫn vượt quá 15 ký tự, chữ cái đầu của tên lót sẽ tiếp tục được viết tắt thành ký tự đầu tiên để đảm bảo hiển thị trọn vẹn trên dòng đầu của LCD 20x04.

2. Cảm biến hồng ngoại đóng vai trò gì trong việc kích hoạt hệ thống nhận diện?
Cảm biến hồng ngoại được lắp phía trước để nhận diện sự xuất hiện của nhân viên. Khi phát hiện vật cản, cảm biến gửi giá trị số "1" lên Google Firebase thông qua ESP8266. Phần mềm trên máy tính quét Firebase, nếu nhận giá trị "1" sẽ tự động khởi chạy camera để tiến hành nhận diện khuôn mặt; nếu giá trị là "0", camera giữ trạng thái tắt nhằm tiết kiệm tài nguyên.

3. Khoảng cách và thời gian tối ưu cho việc thu thập dữ liệu mẫu khuôn mặt là bao nhiêu?
Qua khảo sát thực nghiệm của đồ án, cự ly đứng tối ưu trước máy ảnh là từ 25 cm đến 30 cm. Ở khoảng cách này, khuôn mặt hiển thị rõ nét, không bị quá lớn hay quá nhỏ, và hệ thống chỉ mất khoảng 4 giây để chụp đủ 100 bức ảnh mẫu phục vụ huấn luyện thuật toán.

4. Khi một người chưa đăng ký thông tin đứng trước camera, hệ thống sẽ phản hồi ra sao?
Hệ thống sẽ không tìm thấy đặc trưng tương thích trong cơ sở dữ liệu mẫu và trả về kết quả "Nguoi la" trên giao diện máy tính. Đồng thời, chuỗi "Nguoila" được gửi lên Firebase và màn hình LCD 20x04 sẽ hiển thị dòng thông báo cảnh báo "Nguoila" tại cửa.

5. Cấu hình nguồn điện cấp cho các thiết bị phần cứng được tính toán như thế nào?
Toàn bộ hệ thống sử dụng nguồn cấp ngoài từ Adapter 5V - 2A. Trong đó, một Adapter 5V - 2A dùng để cấp nguồn chung cho cảm biến hồng ngoại (43 mA), vi điều khiển ESP8266 (320 mA) và màn hình LCD 20x04 (30-40 mA) với tổng dòng tiêu thụ xấp xỉ 0.4 A. Riêng module ESP32 Camera do yêu cầu dòng hoạt động lớn nên được cấp riêng một nguồn Adapter 5V - 2A độc lập.

Kết luận

Đồ án "Thiết kế hệ thống nhận diện khuôn mặt phục vụ cho hệ thống điểm danh" của sinh viên Nguyễn Hoàng Quân đã xây dựng thành công mô hình tích hợp giữa thị giác máy tính và phần cứng IoT. Bằng việc kết hợp thuật toán Haar Cascade, bộ trích xuất LBP và phân loại khoảng cách Euclide trên nền tảng Python, hệ thống đã thực hiện được các chức năng thu thập dữ liệu, nhận diện điểm danh và xuất báo cáo CSV thời gian thực. Thông tin kết quả được truyền tải đồng bộ qua Google Firebase để hiển thị trực tiếp lên màn hình LCD 20x04 điều khiển bởi ESP8266. Dù vẫn còn hạn chế về khả năng nhận diện mặt nghiêng và tốc độ đường truyền Wi-Fi, đề tài đã đáp ứng các mục tiêu thiết kế phần cứng và phần mềm cho một hệ thống điểm danh tự động ở quy mô phòng làm việc nhỏ.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan Người thực hiện đề tài sẽ đưa ra sơ lược về các hệ thống chấm công từ trước đến nay và giới thiệu về việc áp dụng nhận diện khuôn mặt bằng trí tuệ nhân tạo vào việc chấm công. Từ đó, đưa ra các mục tiêu và giới hạn để thiết kế hệ thống nhận diện khuôn mặt để điểm danh. Chương 2: Cơ sở lý thuyết Tổng quan về các thuật toán dùng để phát hiện và nhận diện gương mặt. Ngoài ra, người thực hiện đề tài còn trình bày về giao thức kết nối giữa màn hình LCD và esp8266, cách mà hai thiết bị nhận và hiển thị thông tin lên để thông báo.

2 Chương 3: Thiết kế hệ thống Dựa trên mục đích sử dụng cho nên việc lựa chọn những linh kiện nhằm mục đích làm hệ thống có sự tối ưu hóa và hơn hết là hoạt động ổn định, tính thẩm mỹ dễ dùng cho người sử dụng. Chương 4: Kết quả Đưa ra kết quả đạt được từ hệ thống nhận diện mà người thực hiện đề tài đã thiết kế. Từ những kết quả này, đưa ra những nhận xét và đánh giá dựa trên những tiêu chí mà người thực hiện đề tài đã đề ra. Chương 5: Kết luận và hướng phát triển Sau khi xem xét các kết quả, người thực hiện đồ tài sẽ đưa ra những đánh giá về những điều đã đạt và chưa đạt của hệ thống.

Từ đó, đưa ra những hướng phát triển để hoàn thiện hệ thống hơn. 3 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Tổng quan bài toán phát hiện khuôn mặt 2.1 Giới thiệu thuật toán Haar cascade Ngày nay, các ứng dụng của việc nhận diện khuôn mặt đang dần xuất hiện khá rộng rãi trong đời sống chúng ta. Ban đầu, hệ thống chỉ có thể nhận diện với những bức ảnh đen trắng và người được lấy ảnh phải nhìn thẳng vào máy ảnh. Chính điều này là một trong những điều kiện làm cho hệ thống nhận diện đời đầu không đáp ứng được những nhu cầu cần thiết trong cuộc sống.

Vì vậy với nhiều sự cải thiện đáng kể cho bài toán nhận diện ngày nay, chúng ta có thể nhận diện và phát hiện được khuôn mặt trong nhiều môi trường khác nhau, nhiều đối tượng trong một khung hình và có thể nhận diện được khuôn mặt trong nhiều tư thế khác nhau. Có rất nhiều cách để giải quyết một bài toán nhận diện khuôn mặt dựa trên các hướng tiếp cận khác nhau. Trong bài nghiên cứu này, người thực hiện đồ án sẽ sử dụng thuật toán Haar Cascade của hai tác giả Paul Viola và Michael Jones bằng cách sử dụng những đặc trưng trên khuôn mặt như mắt, mũi và miệng [3]. Hệ thống sẽ lấy tập mẫu từ hình ảnh của khuôn mặt nhân viên.

Sau khi quá trình này thành công, hệ thống sẽ tự động trích ra những đặc trưng hay còn gọi là tham số để phục vụ cho quá trình nhận diện. Đây là phương pháp học máy mà người thực hiện đề tài thực hiện đồ án sẽ sử dụng trong quá trình nhận diện.2 Đặc trưng Haar-like 2.1 Đối tượng nhận diện Trên một bức ảnh, vùng khuôn mặt bao gồm tập hợp nhiều điểm ảnh nhưng có mối quan hệ khác nhau so với các vùng ảnh ikhác, imối iquan ihệ inày itạo nên các đặc trưng riêng trên khuôn mặt. Những đặc trưng riêng này của khuôn mặt được thể hiện rõ sau khi chuyển đổi qua ảnh xám như hình 2.1: Cường độ của vùng mắt sẽ tối hơn so với vùng trán và vùng má, cường độ vùng sống mũi sẽ sáng hơn so với vùng hai 4 mắt, … [4]. Chúng ta có rất nhiều đặc trưng khác trên khuôn mặt và đặc trưng Haar- like sẽ dựa vào những đặc điểm này mà nhận diện.1 Đặc trưng Haar-like thể hiện trên khuôn mặt.