Bối cảnh và vấn đề nghiên cứu

Trong quản lý giáo dục và an ninh học đường, việc kiểm soát người ra vào và theo dõi điểm danh đóng vai trò then chốt nhằm duy trì trật tự và an toàn lớp học. Phương thức quản lý truyền thống hiện nay tại đa số các cơ sở đào tạo chủ yếu dựa vào việc điểm danh thủ công (gọi tên, ký danh sách) hoặc sử dụng các thiết bị quét thẻ từ. Tuy nhiên, các hình thức này bộc lộ nhiều hạn chế thực tiễn: gây mất nhiều thời gian, mang tính lặp đi lặp lại, dễ phát sinh sai sót, phụ thuộc nhiều vào nhân sự trực tiếp và tiềm ẩn rủi ro an ninh khi xảy ra hiện tượng điểm danh hộ hoặc xâm nhập trái phép.

Trước thực tế đó, nhóm tác giả Trần Nguyễn Khánh Duy và Dương Minh Trí (ngành Công nghệ Kỹ thuật Điện tử - Viễn thông, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh) đã thực hiện đồ án tốt nghiệp với đề tài: "Thiết kế mô hình giám sát và nhận dạng người ra vào phòng học". Đề tài ứng dụng các thuật toán thị giác máy tính và trí tuệ nhân tạo (AI) trên nền tảng phần cứng nhúng nhằm tự động hóa toàn diện quy trình nhận diện, ghi nhận thông tin ra vào và cảnh báo các trường hợp bất thường.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định cụ thể như sau:

  1. Nghiên cứu nguyên lý trí tuệ nhân tạo, các thuật toán xử lý ảnh và mô hình máy học ứng dụng trong nhận dạng khuôn mặt.
  2. Tính toán, lựa chọn linh kiện phần cứng và thiết kế mô hình hệ thống giám sát tự động kích thước nhỏ gọn.
  3. Thu thập dữ liệu hình ảnh, thực hiện tiền xử lý, huấn luyện và điều chỉnh mô hình máy học nhận dạng khuôn mặt.
  4. Xây dựng chương trình điều khiển trung tâm trên máy tính nhúng, tích hợp cơ sở dữ liệu thời gian thực.
  5. Thiết kế giao diện người dùng trên nền tảng Website để theo dõi luồng người ra vào, hiển thị dữ liệu trực quan và hỗ trợ quản trị từ xa.
  6. Thi công mô hình hoàn chỉnh, kiểm nghiệm hoạt động trong các điều kiện môi trường ánh sáng khác nhau và đánh giá hiệu năng.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Quy trình nhận dạng khuôn mặt con người qua dữ liệu luồng video từ camera; phân tích độ phân giải, hành vi di chuyển ra vào phòng học; các mô hình học máy và mạng nơ-ron tích chập (CNN, Haar Cascade Classifier, Local Binary Patterns Histograms - LBPH, Single Shot MultiBox Detector - SSD).
  • Phạm vi nghiên cứu: Hệ thống được xây dựng và thử nghiệm tại phòng học thực nghiệm; sử dụng máy tính nhúng Raspberry Pi 4 Model B với các điều kiện giới hạn về năng lực tính toán, bộ nhớ và dung lượng lưu trữ cục bộ; thời gian thực hiện nghiên cứu từ ngày 13/09/2024 đến ngày 30/12/2024.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên các khối kiến thức về xử lý ảnh số, trí tuệ nhân tạo và hệ thống nhúng IoT:

  • Khái niệm nhận diện khuôn mặt sinh trắc học: Phân tích các đặc trưng hình học và kết cấu trên khuôn mặt (khoảng cách mắt, hình dạng mũi, đường viền hàm) để đối chiếu với tập dữ liệu lưu trữ.
  • Thuật toán Haar Cascade Classifier: Kỹ thuật phát hiện đối tượng do Paul Viola và Michael Jones đề xuất (2001), sử dụng các đặc trưng dạng Haar (Haar-like features), kỹ thuật ảnh tích phân (Integral Image) để tính toán nhanh độ chênh lệch cường độ sáng, thuật toán học AdaBoost để chọn lọc các đặc trưng phân loại mạnh và cấu trúc phân loại tầng (cascade) nhằm loại bỏ nhanh các vùng ảnh nền không chứa khuôn mặt.
  • Thuật toán Local Binary Patterns Histograms (LBPH): Kỹ thuật trích xuất đặc trưng kết cấu cục bộ bất biến với sự thay đổi cường độ ánh sáng đơn điệu. LBPH so sánh giá trị mức xám của pixel trung tâm với các pixel lân cận trong vùng cửa sổ cục bộ để tạo ra mã nhị phân, chia ảnh thành các khối nhỏ để tính biểu đồ tần suất (histogram), sau đó nối các histogram thành vector đặc trưng duy nhất. Khoảng cách Euclid hoặc Chi-square được áp dụng để so sánh vector đặc trưng của ảnh đầu vào với dữ liệu đã huấn luyện.
  • Mô hình mạng học sâu Single Shot MultiBox Detector (SSD): Mô hình mạng nơ-ron tích chập (CNN) phát hiện đối tượng một lần, sử dụng các bản đồ đặc trưng đa tỷ lệ (multi-scale feature maps) và các hộp giới hạn mặc định (anchor boxes / default bounding boxes) nhằm định vị và phân loại đối tượng trong thời gian thực, phục vụ giải quyết bài toán theo dõi đa đối tượng (Multiple Object Tracking - MOT).
  • Cơ sở dữ liệu đám mây Firebase Realtime Database: Nền tảng quản lý và đồng bộ dữ liệu thời gian thực của Google, cho phép cập nhật tức thì trạng thái ra vào lên đám mây và kết nối tới ứng dụng giao diện.

Phương pháp nghiên cứu thực nghiệm được triển khai:

  • Phương pháp phân tích - tổng hợp lý thuyết chuyên ngành: Khảo sát tài liệu lập trình Python, thư viện OpenCV, kiến trúc phần cứng Raspberry Pi và giao thức kết nối Firebase API.
  • Phương pháp thu thập và tiền xử lý dữ liệu: Sử dụng camera ghi hình trực tiếp, lật ảnh theo trục chuẩn, chuyển đổi ảnh từ không gian màu RGB sang không gian màu xám (grayscale) để giảm khối lượng tính toán.
  • Phương pháp trích xuất và huấn luyện mô hình: Sử dụng hàm detectMultiScale của Haar Cascade để cắt vùng khuôn mặt, gán nhãn định danh người dùng qua hàm getImagesAndLabels(), sau đó áp dụng bộ nhận dạng cv2.face.LBPHFaceRecognizer_create() để huấn luyện và lưu thông số mô hình vào tệp cấu hình trainer.yml.
  • Phương pháp kiểm thử thực nghiệm: Bố trí mô hình hoạt động trong các kịch bản môi trường thực tế với cường độ chiếu sáng khác nhau nhằm đánh giá độ tin cậy của thuật toán phát hiện và nhận dạng.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo dạng thiết bị nhúng IoT kết hợp xử lý thị giác máy tính tại biên (edge processing), bao gồm các khối thành phần kỹ thuật sau:

Kiến trúc phần cứng

  • Khối xử lý trung tâm: Bo mạch máy tính nhúng Raspberry Pi 4 Model B trang bị bộ vi xử lý Broadcom BCM2711, 4 lõi ARM Cortex-A72 (64-bit) tốc độ 1.5 GHz, bộ nhớ RAM 4GB LPDDR4, bộ xử lý đồ họa VideoCore VI hỗ trợ OpenGL ES 3.0. Thiết bị tích hợp kết nối mạng không dây Wi-Fi băng tần kép 802.11b/g/n/ac (2.4 GHz và 5 GHz), Bluetooth 5.0, cổng Gigabit Ethernet, 2 cổng USB 3.0, 2 cổng USB 2.0, 2 cổng micro-HDMI xuất hình ảnh 4Kp60 và 40 chân GPIO.
  • Khối thu thập hình ảnh: Camera USB chuẩn HD kết nối trực tiếp với Raspberry Pi qua giao tiếp USB, đảm bảo độ phân giải hình ảnh rõ nét trong cự ly chụp tối ưu phục vụ nhận dạng.
  • Khối nguồn: Bộ đổi nguồn chuyên dụng cung cấp dòng điện và điện áp ổn định cho toàn bộ mạch và thiết bị ngoại vi.

Kiến trúc phần mềm và luồng dữ liệu

Phần mềm hệ thống được phát triển bằng ngôn ngữ Python, kết hợp thư viện OpenCV trên hệ điều hành Raspberry Pi OS (Linux). Giao diện người dùng được xây dựng bằng HTML, CSS và Python, tích hợp cơ sở dữ liệu Firebase. Hệ thống vận hành qua hai tiến trình chính:

  1. Tiến trình đăng ký dữ liệu khuôn mặt: Chương trình 01_face_dataset.py kích hoạt camera thu nhận luồng video. Mỗi khung hình được chuyển đổi sang thang độ xám. Thuật toán Haar Cascade (detectMultiScale) quét ảnh để tìm vị trí khuôn mặt dựa trên các tham số cấu hình scaleFactor và minNeighbors. Khi nhận diện được khuôn mặt, hệ thống vẽ khung chữ nhật bao quanh (cv2.rectangle), cắt vùng ảnh khuôn mặt với kích thước chuẩn, đặt tên tệp theo cú pháp {id}_{count}.jpg và lưu vào thư mục Dataset. Chương trình getImagesAndLabels() duyệt thư mục dữ liệu, đọc nhãn định danh từ tên file, đưa vào thuật toán LBPH để huấn luyện và xuất kết quả ra tệp nhị phân trainer.yml.

  2. Tiến trình giám sát và nhận diện thời gian thực: Chương trình final_main.py đọc luồng video trực tiếp từ camera. Từng khung hình được chuyển sang ảnh xám và phân tích bởi Haar Cascade để phát hiện vùng mặt. Vùng mặt sau đó được chuyển qua mô hình LBPH (tải từ trainer.yml) để tính toán mã nhị phân cục bộ và đối chiếu với các vector mẫu trong cơ sở dữ liệu. Khi độ trùng khớp đạt ngưỡng quy định, hệ thống xác định danh tính (ID), phân loại trạng thái người vào hoặc người ra, ghi nhận thời gian thực và đẩy bản ghi trực tiếp lên Firebase Realtime Database. Giao diện Website tự động đồng bộ dữ liệu từ Firebase, hiển thị danh sách người ra vào cùng số lượng thống kê theo từng ngày.

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 trình bày tổng quan về tính cấp thiết của đề tài trong bối cảnh tự động hóa quản lý lớp học và đảm bảo an ninh học đường. Tác giả phân tích các hạn chế cố hữu của hình thức quản lý thủ công và điểm danh bằng thẻ từ (chậm trễ, tốn nhân lực, dễ xảy ra gian lận hoặc sai sót). Từ đó, đồ án xác lập mục tiêu thiết kế mô hình thiết bị giám sát tự động ứng dụng AI, có khả năng nhận dạng khuôn mặt, đếm lượt người ra vào và quản lý dữ liệu từ xa qua giao diện web. Chương này cũng phân định rõ ràng đối tượng nghiên cứu (con người, hành vi di chuyển, mô hình học sâu SSD và các giải thuật thị giác máy tính) và phạm vi nghiên cứu (hệ thống nhúng Raspberry Pi 4 Model B, giới hạn không gian phòng học và thời gian thực hiện đề tài).

Chương 2: Cơ sở lý thuyết

Chương 2 cung cấp nền tảng học thuật và kỹ thuật chuyên sâu phục vụ việc xây dựng hệ thống:

  • Phân tích nguyên lý nhận diện khuôn mặt sinh trắc học và các yếu tố kỹ thuật tiên quyết cho bài toán giám sát (chất lượng cảm biến camera, băng thông đường truyền mạng, tính bảo mật dữ liệu cá nhân).
  • Tổng quan về học máy (quy trình chuẩn bị dữ liệu, tiền xử lý, huấn luyện, đánh giá độ chính xác, ưu nhược điểm của các giải thuật học máy và các hiện tượng quá khớp, thiếu khớp).
  • Phân tích thuật toán Haar Cascade Classifier: nguyên lý đặc trưng Haar-like, bảng ảnh tích phân (Integral Image) phục vụ tính toán nhanh độ chênh lệch cường độ sáng vùng chữ nhật, thuật toán AdaBoost kết hợp các bộ phân loại yếu và cơ chế phân loại tầng (cascade stages) giúp tối ưu tốc độ tính toán trên phần cứng hạn chế tài nguyên.
  • Phân tích thuật toán Local Binary Patterns Histograms (LBPH): quy trình gán nhãn nhị phân cho pixel trung tâm dựa trên vùng lân cận, chia ảnh thành các ô lưới (blocks), xây dựng biểu đồ histogram biểu diễn kết cấu cục bộ, ghép nối vector đặc trưng toàn cục và phương pháp so khớp khoảng cách Euclid hoặc Chi-square; nêu rõ ưu thế bất biến với ánh sáng của thuật toán.
  • Trình bày mô hình học sâu Single Shot MultiBox Detector (SSD): kiến trúc mạng tích chập cơ sở (base network CNN), bản đồ đặc trưng đa tỷ lệ và cơ chế hộp giới hạn mặc định (anchor boxes) phục vụ phát hiện và theo dõi nhiều đối tượng chuyển động (MOT) trong video.
  • Giới thiệu cơ sở dữ liệu thời gian thực Firebase của Google và thông số kỹ thuật chi tiết của máy tính nhúng Raspberry Pi 4 Model B (vi xử lý ARM Cortex-A72, RAM 4GB, đồ họa VideoCore VI, các chuẩn kết nối mạng và chức năng chân kết nối GPIO).

Chương 3: Thiết kế hệ thống nhận diện và đếm người ra vào phòng học

Chương 3 chi tiết hóa quy trình thiết kế kỹ thuật từ yêu cầu chức năng đến kiến trúc triển khai:

  • Thiết lập các yêu cầu kỹ thuật đối với mô hình: kích thước nhỏ gọn, tiêu thụ năng lượng thấp, hoạt động ổn định trong thời gian dài, khả năng nhận diện và đếm người độc lập trong thời gian thực, tự động gửi dữ liệu lên máy chủ.
  • Xây dựng sơ đồ khối tổng thể gồm 5 khối chức năng: Khối nguồn, Khối dữ liệu thời gian thực, Khối xử lý trung tâm, Khối cơ sở dữ liệu và Khối giao diện người dùng.
  • Thuyết minh chi tiết các module phần mềm: Khối ghi và xử lý khung hình video (chuyển đổi thang độ xám, điều chỉnh scaleFactor, minNeighbors), Khối phát hiện khuôn mặt (cv2.CascadeClassifier), Khối vẽ hộp giới hạn và lưu trữ ảnh khuôn mặt vào thư mục Dataset theo định dạng {id}_{count}.jpg, Khối đọc và dán nhãn (getImagesAndLabels()), và Khối huấn luyện mô hình bằng LBPH xuất tệp cấu hình trainer.yml.
  • Xây dựng 4 lưu đồ giải thuật hoàn chỉnh mô tả hoạt động của hệ thống: Lưu đồ giải thuật đăng ký khuôn mặt, Lưu đồ giám sát trong thời gian thực, Lưu đồ hoạt động tổng thể của hệ thống và Lưu đồ hoạt động của Website.

Chương 4: Kết quả thi công

Chương 4 phản ánh kết quả chế tạo phần cứng và thử nghiệm thực tế của mô hình:

  • Trình bày hình ảnh mô hình hoàn thiện, bố trí cấu trúc phần cứng bên trong hộp thiết bị và các thông số kích thước cơ khí của mô hình.
  • Thử nghiệm các chức năng vận hành cốt lõi: khởi chạy chương trình từ hệ thống thư mục, hiển thị giao diện phần mềm giám sát, nhận diện khuôn mặt trong luồng video trực tiếp.
  • Kiểm tra mô hình trong các điều kiện môi trường chiếu sáng khác nhau: thử nghiệm trong điều kiện ánh sáng đầy đủ và thử nghiệm trong môi trường có ánh sáng mạnh.
  • Kiểm tra tính năng phân biệt luồng di chuyển: ghi nhận chính xác dữ liệu người vào và dữ liệu người ra phòng học.
  • Đánh giá khả năng đồng bộ dữ liệu: kiểm tra việc đẩy dữ liệu lên cơ sở dữ liệu đám mây Firebase Realtime Database và hiển thị dữ liệu nhật ký ra vào theo từng ngày trên giao diện Website.
  • Thiết lập bảng đánh giá tổng hợp hiệu năng và mức độ đáp ứng các tiêu chí kỹ thuật đã đề ra ban đầu.

Chương 5: Kết luận và hướng phát triển

Chương 5 tổng kết toàn bộ kết quả đạt được của đồ án tốt nghiệp, chỉ rõ những điểm mạnh về khả năng tự động hóa giám sát trên phần cứng nhúng chi phí thấp, thẳng thắn nhìn nhận các hạn chế kỹ thuật còn tồn tại liên quan đến điều kiện chiếu sáng và góc quay camera, đồng thời định hình các hướng nghiên cứu nâng cấp hệ thống trong tương lai.

Kết quả và đóng góp

Kết quả thực nghiệm

Hệ thống đã được chế tạo hoàn chỉnh và vận hành thực tế tại phòng học mô hình với các kết quả cụ thể:

  1. Thi công hoàn chỉnh phần cứng thiết bị nhúng tích hợp bộ xử lý Raspberry Pi 4 Model B, camera USB HD và hệ thống cấp nguồn khép kín trong vỏ hộp bảo vệ.
  2. Vận hành thành công pipeline xử lý ảnh thời gian thực: thu thập mẫu tự động qua 01_face_dataset.py, phát hiện khuôn mặt bằng Haar Cascade, huấn luyện trích xuất đặc trưng LBP và tạo tệp mô hình trainer.yml.
  3. Hệ thống phân biệt được hai trạng thái người vào và người ra phòng học, tự động cập nhật số đếm và nhận diện định danh cá nhân trong luồng video.
  4. Tích hợp cơ sở dữ liệu Firebase Realtime Database ghi nhận lịch sử ra vào theo từng ngày và hiển thị trực quan lên giao diện Website cho người quản lý.
  5. Mô hình được thử nghiệm thực tế trong các điều kiện chiếu sáng khác nhau (ánh sáng đầy đủ và môi trường có ánh sáng mạnh), ghi nhận kết quả nhận diện và truyền thông dữ liệu ổn định.
Thành phần / Tiêu chí Thông số kỹ thuật / Giải pháp triển khai Ghi chú vận hành
Bo mạch trung tâm Raspberry Pi 4 Model B (Broadcom BCM2711, 4 nhân Cortex-A72 1.5 GHz, RAM 4GB) Xử lý thuật toán tại biên
Cảm biến thu hình Camera USB chuẩn HD Thu thập luồng khung hình thời gian thực
Hệ điều hành Raspberry Pi OS (Linux) Nền tảng thực thi dịch vụ nhúng
Thuật toán phát hiện Haar Cascade Classifier (OpenCV) Dò tìm vùng mặt bằng detectMultiScale
Thuật toán nhận dạng Local Binary Patterns Histograms (LBPH) Huấn luyện và xuất tệp trainer.yml
Lưu trữ dữ liệu ảnh Tệp ảnh xám chuẩn hóa, định dạng {id}_{count}.jpg Lưu trong thư mục Dataset
Cơ sở dữ liệu đám mây Google Firebase Realtime Database Lưu trữ nhật ký và đồng bộ thời gian thực
Giao diện người dùng Website (HTML, CSS, Python) Giám sát trạng thái phòng và số liệu theo ngày
Điều kiện thử nghiệm Ánh sáng đầy đủ và ánh sáng mạnh Đánh giá độ ổn định nhận diện

Giải pháp và kiến nghị của tác giả

  • Tối ưu hóa các tham số quét ảnh: Điều chỉnh tỉ mỉ hai tham số scaleFactor (tỉ lệ giảm kích thước ảnh trong các lần quét) và minNeighbors (ngưỡng số vùng lân cận chấp nhận một khuôn mặt) trong hàm detectMultiScale của Haar Cascade nhằm cân bằng giữa độ chính xác và tốc độ xử lý trên vi xử lý nhúng.
  • Tối ưu tiền xử lý: Chuyển đổi toàn bộ khung hình sang ảnh xám (grayscale) trước khi phát hiện và trích xuất đặc trưng, giúp giảm thiểu đáng kể chi phí tính toán cho bộ nhớ RAM và CPU của Raspberry Pi.
  • Kiến nghị bố trí phần cứng: Xác định khoảng cách tối ưu từ vị trí camera đến đối tượng di chuyển qua cửa phòng học, đồng thời lựa chọn góc lắp đặt chiến lược để camera bao quát được toàn bộ luồng người ra vào.

Đóng góp của đề tài

So với các phương thức quản lý điểm danh và kiểm soát ra vào truyền thống, đồ án mang lại các đóng góp thiết thực:

  • Xây dựng thành công một mô hình giám sát thông minh hoạt động độc lập tại biên trên phần cứng máy tính nhúng giá thành thấp, không đòi hỏi cấu hình máy chủ tính toán đắt tiền.
  • Kết hợp giải thuật phát hiện Haar Cascade và nhận dạng LBPH phù hợp với tài nguyên nhúng, đảm bảo tính thời gian thực trong việc ghi nhận người ra vào lớp học.
  • Tự động hóa quy trình quản trị dữ liệu học đường thông qua kết nối đám mây Firebase và giao diện web, thay thế hoàn toàn sổ sách thủ công hoặc thẻ từ, hỗ trợ phát hiện các trường hợp xâm nhập trái phép.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  1. Giới hạn tài nguyên phần cứng: Raspberry Pi 4 Model B có bộ nhớ RAM và năng lực tính toán hạn chế so với các máy tính chuyên dụng có card đồ họa rời (GPU), dẫn đến tốc độ xử lý các mô hình học sâu phức tạp bị giới hạn.
  2. Nhạy cảm với điều kiện môi trường: Hiệu quả phát hiện và nhận dạng của thuật toán Haar Cascade và LBPH suy giảm khi điều kiện ánh sáng quá yếu, ánh sáng bị chói gắt hoặc khi khuôn mặt có sự thay đổi lớn về góc nghiêng, biểu cảm và bị che khuất một phần.
  3. Phạm vi triển khai: Mô hình mới chỉ được thiết kế, chế tạo và thử nghiệm ở quy mô mô hình mẫu phòng học đơn lẻ, chưa được thử nghiệm mở rộng trong điều kiện lưu lượng người qua lại mật độ cao hoặc môi trường toàn trường học.

Hướng nghiên cứu tiếp

  1. Nâng cấp cảm biến thu hình: Tích hợp camera hồng ngoại để đảm bảo khả năng giám sát và nhận dạng chính xác trong điều kiện ban đêm hoặc môi trường phòng học thiếu sáng.
  2. Tối ưu thuật toán thích ứng: Bổ sung các giải thuật tự động cân bằng sáng và tiền xử lý nâng cao để xử lý linh hoạt sự thay đổi đột ngột của ánh sáng môi trường.
  3. Nghiên cứu triển khai mô hình học sâu hiện đại: Nghiên cứu tối ưu hóa mô hình mạng học sâu SSD (Single Shot MultiBox Detector) hoặc các mạng CNN tiên tiến thông qua việc chia nhỏ mô hình, triển khai container trạng thái trên thiết bị nhúng để nâng cao khả năng theo dõi đa đối tượng (MOT) đồng thời.
  4. Tăng cường bảo mật và mở rộng quy mô: Áp dụng các phương thức mã hóa dữ liệu sinh trắc học truyền lên Firebase, bổ sung tính năng cảnh báo truy cập trái phép tự động qua tin nhắn/email cho quản trị viên và mở rộng hệ thống sang mô hình quản lý tập trung nhiều phòng học.

Giá trị tham khảo

Đồ án tốt nghiệp là tài liệu tham khảo có giá trị học thuật và kỹ thuật thực hành đối với:

  • Sinh viên và học viên chuyên ngành Công nghệ Kỹ thuật Điện tử - Viễn thông, Kỹ thuật Máy tính, Công nghệ Thông tin, Hệ thống Nhúng và IoT đang thực hiện đồ án môn học hoặc khóa luận tốt nghiệp về xử lý ảnh, thị giác máy tính và ứng dụng AI trên thiết bị nhúng.
  • Các kỹ sư và nhà phát triển hệ thống quan tâm đến giải pháp điểm danh tự động, kiểm soát ra vào chi phí thấp sử dụng bo mạch Raspberry Pi kết hợp OpenCV và Google Firebase.

Các nội dung có giá trị tham khảo cao nhất trong tài liệu bao gồm:

  • Quy trình chuẩn bị dữ liệu khuôn mặt và mã nguồn thực thi: Kỹ thuật lập trình thu thập mẫu ảnh (01_face_dataset.py), phương pháp gán nhãn dữ liệu (getImagesAndLabels()) và quy trình huấn luyện xuất file mô hình LBPH (trainer.yml).
  • Kinh nghiệm tinh chỉnh tham số thị giác máy tính: Cách thức cấu hình tham số scaleFactor, minNeighbors của Haar Cascade trên nền tảng Linux nhúng nhằm tối ưu hóa giữa tốc độ khung hình và độ chính xác nhận diện.
  • Giải pháp kiến trúc IoT hoàn chỉnh: Mô hình luồng dữ liệu hai chiều từ camera nhúng, qua bộ xử lý biên Raspberry Pi, đồng bộ thời gian thực lên Firebase và hiển thị trên giao diện Website.

Câu hỏi thường gặp

1. Bo mạch xử lý trung tâm được sử dụng trong hệ thống có cấu hình phần cứng như thế nào? Hệ thống sử dụng bo mạch máy tính nhúng Raspberry Pi 4 Model B với bộ vi xử lý Broadcom BCM2711 gồm 4 lõi ARM Cortex-A72 64-bit chạy ở tốc độ 1.5 GHz, bộ nhớ RAM 4GB LPDDR4, bộ xử lý đồ họa VideoCore VI hỗ trợ OpenGL ES 3.0. Bo mạch trang bị kết nối mạng không dây Wi-Fi chuẩn 802.11b/g/n/ac băng tần kép (2.4 GHz và 5 GHz), Bluetooth 5.0, cổng Gigabit Ethernet, 2 cổng USB 3.0, 2 cổng USB 2.0, 2 cổng micro-HDMI xuất hình 4Kp60 và 40 chân kết nối GPIO.

2. Đồ án kết hợp những thuật toán xử lý ảnh nào để thực hiện nhận dạng người ra vào? Đồ án sử dụng thuật toán Haar Cascade Classifier của thư viện OpenCV để phát hiện và định vị các vùng ảnh chứa khuôn mặt từ khung hình video thông qua hàm detectMultiScale. Sau đó, hệ thống sử dụng thuật toán Local Binary Patterns Histograms (LBPH) để trích xuất đặc trưng kết cấu nhị phân cục bộ của khuôn mặt, so sánh khoảng cách với các vector mẫu đã huấn luyện trong tệp trainer.yml nhằm xác định danh tính (ID) của người ra vào.

3. Quá trình thu thập và lưu trữ tập dữ liệu khuôn mặt phục vụ huấn luyện diễn ra như thế nào? Quá trình này được thực hiện qua chương trình 01_face_dataset.py. Camera chụp lại các khung hình, chuyển đổi sang thang độ xám (grayscale) và áp dụng Haar Cascade để định vị khuôn mặt. Mỗi vùng khuôn mặt được vẽ khung chữ nhật bao quanh (cv2.rectangle), cắt xén thành ảnh riêng biệt và lưu vào thư mục Dataset theo cấu trúc đặt tên tệp quy ước {id}_{count}.jpg (trong đó {id} là mã định danh cá nhân và {count} là số thứ tự ảnh chụp).

4. Dữ liệu giám sát được lưu trữ và cập nhật lên hệ thống quản lý bằng phương thức nào? Hệ thống sử dụng nền tảng cơ sở dữ liệu thời gian thực Firebase Realtime Database của Google. Khi hệ thống nhận diện và phân loại trạng thái người vào hoặc người ra thành công, thông tin định danh cùng thời gian thực sẽ được đồng bộ trực tiếp lên Firebase. Từ đó, giao diện Website quản lý (xây dựng bằng HTML, CSS và Python) sẽ truy xuất dữ liệu từ Firebase để hiển thị trực quan lịch sử người ra vào và số lượng thống kê theo từng ngày.

5. Những yếu tố khách quan nào ảnh hưởng trực tiếp đến độ chính xác của hệ thống và giải pháp đề xuất là gì? Độ chính xác của hệ thống chịu tác động lớn bởi điều kiện chiếu sáng môi trường (thiếu sáng hoặc ánh sáng quá gắt) và góc quay của camera. Để khắc phục, nhóm tác giả đề xuất tối ưu hóa các tham số scaleFactor, minNeighbors, lựa chọn cự ly và góc đặt camera chiến lược bao quát cửa ra vào, đồng thời đề xuất tích hợp camera hồng ngoại và các thuật toán thích ứng ánh sáng trong giai đoạn phát triển tiếp theo.

Kết luận

Đồ án tốt nghiệp "Thiết kế mô hình giám sát và nhận dạng người ra vào phòng học" đã hoàn thành việc thiết kế, chế tạo và thử nghiệm một hệ thống giám sát tự động khép kín trên nền tảng phần cứng nhúng Raspberry Pi 4 Model B kết hợp camera USB HD. Nhóm tác giả đã triển khai thành công quy trình xử lý thị giác máy tính kết hợp giữa thuật toán phát hiện khuôn mặt Haar Cascade và thuật toán nhận dạng đặc trưng Local Binary Patterns Histograms (LBPH), đồng thời tích hợp cơ sở dữ liệu đám mây Firebase Realtime Database và giao diện Website theo dõi thời gian thực. Kết quả thực nghiệm khẳng định tính khả thi của mô hình trong việc tự động đếm và ghi nhận người ra vào lớp học trong các điều kiện chiếu sáng khác nhau, tạo tiền đề kỹ thuật vững chắc cho việc nâng cấp các giải pháp an ninh và quản lý học đường thông minh.