Bối cảnh và vấn đề nghiên cứu

Sự chuyển dịch phương thức giảng dạy và học tập sang môi trường kỹ thuật số đòi hỏi sự hỗ trợ từ các giải pháp công nghệ thông tin. Các nền tảng học trực tuyến phổ biến như Microsoft Teams, Zoom hay Google Classroom tạo điều kiện cho người học tiếp cận kiến thức từ xa nhưng bộc lộ hạn chế trong việc hỗ trợ giảng viên quan sát, giám sát mức độ chuyên cần và thái độ học tập của người học. Nhằm khắc phục tình trạng thiếu tương tác và suy giảm độ tập trung trong mô hình lớp học kết hợp (Hybrid Classroom), nghiên cứu tiếp cận mô hình gồm hai thành phần chính: bục giảng thông minh (Smart Podium) và bàn học thông minh (Smart Desk). Trong cấu trúc này, bàn học thông minh đóng vai trò là trạm thu thập dữ liệu hành vi tại chỗ, hỗ trợ giảng viên nắm bắt trạng thái tiếp thu của người học để kịp thời điều chỉnh phương pháp sư phạm.

Khảo sát các giải pháp lớp học thông minh sau giai đoạn đại dịch Covid-19 cho thấy một số mô hình thương mại, tiêu biểu như giải pháp của INDOTA, đã bước đầu ứng dụng Internet vạn vật (IoT) để điều khiển thiết bị ngoại vi và truyền phát nội dung bài giảng qua hệ thống màn hình hiển thị. Tuy nhiên, giải pháp này chưa tích hợp trí tuệ nhân tạo (AI) để phân tích hành vi người học. Nhiều công trình nghiên cứu khác về lớp học thông minh hiện mới dừng lại ở mức đề xuất khung lý thuyết mà chưa hoàn thiện thành sản phẩm phần cứng nhúng hoạt động trong thực tế.

Từ thực trạng trên, đề tài xác định ba vấn đề kỹ thuật cần giải quyết:

  1. Thiết kế bộ điều khiển có kích thước nhỏ gọn, lắp đặt trực tiếp trên bàn học, tích hợp khả năng thu thập dữ liệu hình ảnh khuôn mặt và âm thanh từ học sinh.
  2. Thiết lập cơ chế kết nối giữa môi trường học trực tiếp (offline) và trực tuyến (online), cho phép học sinh theo dõi bài giảng mà không cần trang bị thêm thiết bị phụ trợ phức tạp.
  3. Hiện thực hóa kênh giao tiếp thời gian thực nhằm đồng bộ dữ liệu bài giảng từ bục giảng xuống bàn học và truyền ngược dữ liệu phân tích hành vi về máy chủ.

Mục tiêu tổng quát của đề tài là xây dựng bộ điều khiển nhúng trên bàn học thông minh, tích hợp camera và màn hình cảm ứng để thu thập thông tin, đánh giá độ tập trung của người học và gửi báo cáo phân tích cho giảng viên vào cuối buổi học. Năm nhiệm vụ nghiên cứu cụ thể bao gồm:

  1. Ứng dụng framework Qt để xây dựng giao diện người dùng trực quan, dễ thao tác cho cả người học và giảng viên.
  2. Nghiên cứu và áp dụng phương pháp trích xuất đặc trưng hình ảnh nhằm tính toán mức độ tập trung dựa trên các chỉ số trắc sinh học khuôn mặt.
  3. Tích hợp và tối ưu hóa toàn bộ hệ thống phần mềm cùng mô hình AI trên nền tảng phần cứng nhúng phù hợp.
  4. Xây dựng phương thức truyền thông thời gian thực để bảo đảm tính liên tục và ổn định của luồng dữ liệu.
  5. Kiểm thử, đo lường các thông số kỹ thuật thực tế nhằm hoàn thiện sản phẩm phần cứng - phần mềm có thể vận hành ổn định.

Phạm vi nghiên cứu của khóa luận được giới hạn trong việc phát triển chương trình nhúng hoạt động trên kit phát triển NVIDIA Jetson Nano Dev Kit; giải thuật đánh giá hành vi đạt độ chính xác từ 75% trở lên; mô phỏng việc truyền nhận dữ liệu giữa ứng dụng nhúng và máy chủ thông qua giao thức mạng Internet.

Cơ sở lý thuyết và phương pháp nghiên cứu

Đề tài áp dụng các lý thuyết nền tảng về thị giác máy tính (Computer Vision), xử lý ảnh số và học máy (Machine Learning) để giải quyết bài toán phát hiện khuôn mặt và nhận diện điểm mốc sinh trắc học. Hai phương pháp phát hiện khuôn mặt chính được khảo sát gồm:

  • Mô hình HOG kết hợp Linear SVM: Kỹ thuật Histogram of Oriented Gradients (Navneet Dalal và Bill Triggs, 2005) trích xuất đặc trưng cục bộ dựa trên phân bố của các vector gradient độ sáng. Ảnh đầu vào kích thước $128 \times 64$ pixel được chia thành các ô (cell) $8 \times 8$ pixel để tính toán biểu đồ hướng gradient 9 bin, sau đó chuẩn hóa theo từng khối (block) $2 \times 2$ ô bằng chuẩn L2 nhằm giảm thiểu ảnh hưởng của sự thay đổi ánh sáng. Vector đặc trưng thu được (chiều dài 3.780 chiều) được đưa vào bộ phân loại Linear Support Vector Machine (SVM) để xác định sự hiện diện của khuôn mặt nhìn thẳng.
  • Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) và kiến trúc MTCNN: Tiếp cận học sâu thông qua mạng nơ-ron đa tầng gồm các lớp tích chập (Convolutional layer), hàm kích hoạt phi tuyến tính (ReLU), lớp lấy mẫu thu nhỏ (Pooling layer) và lớp kết nối đầy đủ (Fully Connected layer). Khảo sát cấu trúc mạng tích chập đa tầng MTCNN gồm ba mạng xếp chồng: P-Net (Proposal Network) tạo vùng ứng viên khuôn mặt thông qua kim tự tháp ảnh (Image Pyramid); R-Net (Refinement Network) sàng lọc và loại bỏ các vùng ứng viên sai bằng kỹ thuật Non-Maximum Suppression (NMS); O-Net (Output Network) tinh chỉnh hộp bao giới hạn (bounding box) và định vị 5 điểm mốc cơ bản (mắt, mũi, khóe miệng).

Để phục vụ bài toán trích xuất chi tiết hành vi, đề tài sử dụng mô hình nhận diện 68 điểm mốc khuôn mặt (68 facial landmarks) tích hợp trong thư viện Dlib. Mô hình này được huấn luyện trên tập dữ liệu chuẩn 300-W (gồm 300 ảnh với 600 khuôn mặt đã qua phép biến đổi affine), cung cấp tọa độ 2D của các vùng: hàm (điểm 1–17), lông mày (18–27), mũi (28–36), mắt (37–48) và miệng (49–68).

Dựa trên tọa độ 68 điểm mốc, hệ thống thiết lập ba chỉ số trắc sinh học để định lượng hành vi:

  • Tỷ lệ khung hình mắt (Eye Aspect Ratio - EAR): Đo lường độ mở của mắt dựa trên khoảng cách giữa các cặp điểm mốc mí trên và mí dưới so với khoảng cách hai khóe mắt, áp dụng cho 12 điểm mốc trên cả hai mắt nhằm phát hiện trạng thái nhắm mắt, chớp mắt kéo dài hoặc dấu hiệu buồn ngủ.
  • Tỷ lệ khung hình miệng (Mouth Aspect Ratio - MAR): Đo lường tỷ lệ khoảng cách giữa môi trên và môi dưới so với chiều rộng khóe miệng nhằm phát hiện hành vi mở miệng, ngáp hoặc nói chuyện riêng.
  • Ước lượng tư thế đầu (Head Pose Estimation): Sử dụng thuật toán Perspective-n-Point (PnP) để ánh xạ các điểm mốc 2D trích xuất từ ảnh sang mô hình 3D tiêu chuẩn của khuôn mặt, từ đó tính toán ba góc quay Euler gồm góc quay ngang (Yaw), góc gập lên xuống (Pitch) và góc nghiêng (Roll) nhằm phát hiện hành vi quay đầu, mất tập trung khỏi màn hình học tập.

Phương pháp nghiên cứu thực nghiệm bao gồm việc kiểm thử thuật toán trên hai bộ dữ liệu thực nghiệm chuẩn: YawDD (tập dữ liệu chuyên dụng để kiểm thử hành vi ngáp và mở miệng) và Pointing'04 (tập dữ liệu hình ảnh khuôn mặt phục vụ đánh giá góc quay và tư thế đầu). Quy trình phát triển phần mềm tuân thủ khung phương pháp Agile, chia nhỏ các hạng mục thành các chu kỳ phát triển ngắn (Sprint từ 1 đến 4 tuần) và sử dụng hệ thống GitLab để quản lý mã nguồn, theo dõi tiến độ và kiểm soát phiên bản.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo mô hình kiến trúc phân tán kết hợp giữa thiết bị biên (Edge Device) và máy chủ đám mây (Public Cloud Server). Cấu trúc tổng thể của mô hình Hybrid Classroom bao gồm:

  • Trạm bàn học thông minh (Smart Desk): Đóng vai trò thiết bị biên, gồm một máy tính nhúng kết nối với camera góc rộng và màn hình cảm ứng. Thiết bị đảm nhiệm việc thu nhận video thời gian thực, chạy mô hình AI nhận diện khuôn mặt cục bộ, tính toán các chỉ số EAR, MAR, Head Pose và ghi nhận mức độ tập trung của người học.
  • Máy chủ trung tâm (Server / LMS): Đóng vai trò máy chủ lưu trữ dữ liệu, cung cấp các giao diện lập trình ứng dụng (Web/API), quản lý người dùng, lớp học và tiếp nhận dữ liệu báo cáo tập trung từ các Smart Desk.
  • Trạm bục giảng thông minh (Smart Podium): Tiếp nhận dữ liệu phân tích đã được tổng hợp từ máy chủ để hiển thị bảng điều khiển (Dashboard) trực quan hóa mức độ tham gia (engagement) của toàn bộ lớp học theo thời gian thực cho giảng viên.

Nhóm tác giả tiến hành đánh giá thực nghiệm và so sánh ba phương án phần cứng trước khi lựa chọn nền tảng triển khai:

Tiêu chí Raspberry Pi 5 Jetson Nano Dev Kit Thiết bị di động (Android)
Bộ xử lý (CPU) ARM Cortex-A76 (4 nhân, 2.4 GHz) ARM Cortex-A57 (4 nhân) Đa dạng tùy thiết bị
Bộ nhớ (RAM) 4GB hoặc 8GB LPDDR4X 4GB LPDDR4 Đa dạng tùy thiết bị
Bộ nhớ lưu trữ Thẻ nhớ microSD 16GB eMMC, hỗ trợ thẻ microSD Bộ nhớ trong eMMC/UFS
Bộ xử lý đồ họa (GPU) Broadcom VideoCore VII NVIDIA Maxwell (128 nhân CUDA) Đa dạng tùy thiết bị
Hệ điều hành Raspberry Pi OS, Ubuntu NVIDIA JetPack (dựa trên Ubuntu) Android
Ưu điểm Giá rẻ, hiệu năng CPU cao, cộng đồng lớn GPU tích hợp tối ưu cho AI, có eMMC ổn định Ứng dụng phong phú, màn hình tích hợp
Nhược điểm Không có GPU chuyên dụng cho tăng tốc AI Giá thành cao hơn, cộng đồng nhỏ hơn Phân mảnh phần cứng, khó can thiệp sâu

Dựa trên bảng so sánh, NVIDIA Jetson Nano Dev Kit phiên bản tích hợp 16GB eMMC được lựa chọn nhờ cấu trúc GPU 128 nhân CUDA kiến trúc Maxwell, hỗ trợ tốt các thư viện tính toán song song, đảm bảo khả năng thực thi mô hình thị giác máy tính cục bộ với độ trễ thấp và độ ổn định cao hơn so với giải pháp chạy hoàn toàn trên thẻ nhớ microSD.

Về công nghệ phát triển phần mềm nhúng, nhóm tác giả so sánh ba công nghệ giao diện:

Tiêu chí Qt / QML GTK+ Flutter
Ngôn ngữ lập trình C++, QML, JavaScript C, C++, Python Dart
Nền tảng hỗ trợ Linux, Windows, macOS, Android, Embedded Linux, Windows, macOS Android, iOS, Windows, macOS, Linux
Công cụ phát triển Qt Creator GNOME Builder, Visual Studio Code Android Studio, Visual Studio Code
Giao diện người dùng Widget, QML khai báo Widget Widget
Hiệu suất thực thi Cao, biên dịch mã máy gốc C++ Cao, biên dịch mã máy gốc Tốt, sử dụng Skia Graphics Engine
Tài liệu và cộng đồng Lâu đời, tài liệu phong phú, hỗ trợ nhúng tốt Phát triển lâu năm từ GNOME Tăng trưởng nhanh, tài liệu từ Google

Framework Qt/QML được chọn làm công nghệ phát triển chính. Kiến trúc phần mềm của ứng dụng Smart Desk được phân tách thành hai tầng:

  • Tầng giao diện (Frontend): Xây dựng bằng ngôn ngữ khai báo QML, phụ trách việc dựng các màn hình đăng nhập, danh sách lớp học, giao diện hiển thị tài liệu học tập và hiển thị trạng thái kết nối.
  • Tầng xử lý nghiệp vụ (Backend): Lập trình bằng C++, đảm nhiệm các luồng tính toán song song gồm: luồng thu nhận khung hình từ camera qua OpenCV, luồng chạy mô hình HOG và 68 điểm mốc qua Dlib, luồng tính toán chỉ số tập trung và luồng truyền thông mạng gửi dữ liệu JSON lên server.
  • Giao tiếp giữa Frontend và Backend: Thực hiện thông qua cơ chế Signal - Slot của Qt để điều phối sự kiện bất đồng bộ giữa các luồng, kết hợp lớp dữ liệu kế thừa từ QAbstractListModel để ánh xạ dữ liệu trực tiếp từ C++ sang các thành phần hiển thị QML mà không gây tắc nghẽn luồng giao diện chính.

Quy trình triển khai chương trình xuống phần cứng thực tế được cấu hình thông qua IDE Qt Creator trên máy tính phát triển, biên dịch chéo (cross-compile) và nạp tệp thực thi xuống Jetson Nano thông qua giao thức SSH qua cổng mạng Gigabit Ethernet.

Nội dung chính theo từng chương

Chương 1. Giới thiệu đề tài

Chương mở đầu phân tích bối cảnh áp dụng công nghệ thông tin trong giáo dục trực tuyến và mô hình lớp học kết hợp, chỉ ra nhược điểm thiếu khả năng giám sát tập trung của các phần mềm họp trực tuyến hiện nay. Tác giả tổng thuật mô hình lớp học thông minh Hybrid Classroom với hai thành phần cốt lõi là bục giảng thông minh (Smart Podium) và bàn học thông minh (Smart Desk). Khảo sát các giải pháp hiện nay cho thấy giải pháp của INDOTA mới dừng lại ở việc điều khiển thiết bị IoT cơ bản, trong khi các công trình học thuật khác chưa tạo ra sản phẩm thực tế hoàn chỉnh. Từ đó, chương xác định ba bài toán kỹ thuật cần giải quyết, định hình mục tiêu thiết kế bộ điều khiển bàn học sử dụng Qt, tích hợp thuật toán AI đo độ tập trung trên phần cứng nhúng Jetson Nano với yêu cầu độ chính xác trên 75%.

Chương 2. Lựa chọn phần cứng và công nghệ

Chương 2 trình bày chi tiết quá trình khảo sát, đối chuẩn kỹ thuật và lựa chọn các thành phần cốt lõi cho hệ thống:

  • Phần cứng: Phân tích thông số kỹ thuật của ba nền tảng (Raspberry Pi 5, Jetson Nano Dev Kit và thiết bị Android), lựa chọn Jetson Nano nhờ lợi thế 128 nhân CUDA hỗ trợ xử lý thị giác máy tính.
  • Công nghệ lập trình nhúng: So sánh Qt/QML, GTK+ và Flutter, lựa chọn Qt vì khả năng biên dịch mã máy C++ hiệu năng cao, tối ưu tài nguyên phần cứng giới hạn và hỗ trợ mạnh cho thiết bị nhúng thông qua Qt Creator.
  • Thư viện xử lý ảnh và học máy: Phân tích vai trò của OpenCV trong việc đọc luồng video và xử lý ảnh cơ bản; phân tích thư viện Dlib trong việc hỗ trợ các thuật toán máy học.
  • Mô hình thị giác máy tính: So sánh mô hình truyền thống HOG kết hợp Linear SVM với các kiến trúc học sâu CNN và MTCNN (gồm ba mạng P-Net, R-Net, O-Net). Nhóm tác giả quyết định chọn HOG + Linear SVM kết hợp mô hình 68 facial landmarks của Dlib do yêu cầu cân đối giữa độ chính xác nhận diện điểm mốc và tốc độ xử lý thời gian thực, tránh hiện tượng rớt khung hình (skip frame) trên thiết bị nhúng.
  • Quy trình phát triển: Lựa chọn mô hình phát triển phần mềm Agile kết hợp nền tảng quản lý mã nguồn GitLab.

Chương 3. Phân tích và thiết kế hệ thống

Chương 3 tập trung vào việc mô tả đặc tả yêu cầu, phân tích ca sử dụng và thiết kế kiến trúc hệ thống:

  • Đặc tả yêu cầu: Hệ thống phải đáp ứng các tính năng xác thực đăng nhập người dùng, tham gia vào phiên lớp học theo thời khóa biểu, kích hoạt hệ thống camera và module AI để theo dõi liên tục độ tập trung trong suốt tiết học, tự động kết xuất dữ liệu báo cáo gửi lên máy chủ giảng viên.
  • Ràng buộc hệ thống: Đảm bảo giao diện vận hành đơn giản cho học sinh, đáp ứng các tiêu chuẩn bảo mật dữ liệu cá nhân, hạn chế nguy cơ thất thoát luồng video sinh trắc học ra bên ngoài và duy trì độ ổn định liên tục trong thời gian dài.
  • Kiến trúc chi tiết: Trình bày sơ đồ phân tầng ứng dụng nhúng trên Smart Desk, phương thức đồng bộ luồng giữa Backend C++ và Frontend QML, cơ chế gửi tín hiệu Signal-Slot và sơ đồ kết nối API mạng giữa thiết bị nhúng và hệ thống máy chủ lớp học thông minh.

Chương 4. Thiết lập hệ thống đánh giá và triển khai phần cứng

Chương 4 mô tả chi tiết phương pháp toán học và giải thuật trích xuất hành vi từ luồng hình ảnh:

  • Giải thuật tính EAR: Sử dụng 12 điểm mốc ở hai mắt để tính tỷ lệ khép mở mi mắt, đối chiếu ngưỡng để xác định mật độ nhấp nháy mắt và các khoảng nhắm mắt kéo dài bất thường.
  • Giải thuật tính MAR: Trích xuất các điểm mốc miệng để tính tỷ lệ mở rộng khẩu độ môi, phân biệt trạng thái ngậm miệng, nói chuyện và ngáp dựa trên chuỗi thời gian của chỉ số MAR.
  • Giải thuật Head Pose Estimation: Áp dụng biến đổi hình học phối cảnh từ các điểm mốc 2D sang mô hình khuôn mặt 3D chuẩn, tính toán ma trận xoay và trích xuất ba góc Euler (Yaw, Pitch, Roll) để xác định góc quay đầu sang trái, sang phải, cúi đầu hoặc ngửa đầu.
  • Quy trình tích hợp phần cứng: Hướng dẫn cấu hình môi trường hệ điều hành NVIDIA JetPack, thiết lập chuỗi công cụ biên dịch chéo, cấu hình kết nối mạng SSH và nạp ứng dụng Qt lên kit Jetson Nano.

Chương 5. Đánh giá kết quả và kết luận

Chương 5 công bố các kết quả đo lường và đánh giá thực nghiệm trên hệ thống:

  • Đánh giá độ chính xác của các chỉ số AI: Tiến hành kiểm thử chỉ số MAR và EAR trên bộ dữ liệu YawDD, kiểm thử độ chính xác ước lượng tư thế đầu trên bộ dữ liệu Pointing'04; so sánh kết quả đạt được với các giải pháp ứng dụng học sâu (Deep Learning).
  • Đánh giá hiệu năng và tài nguyên phần cứng: Đo lường mức tiêu hao tài nguyên CPU, bộ nhớ RAM trên kit Jetson Nano ở ba trạng thái: trạng thái nghỉ của hệ điều hành, trạng thái chỉ chạy ứng dụng giao diện Qt và trạng thái chạy đồng thời cả ứng dụng Qt lẫn module AI thị giác máy tính.
  • Đánh giá giao tiếp hệ thống: Kiểm tra tính thông suốt của việc truyền tải dữ liệu trạng thái lên giao diện Web theo dõi thời gian thực dành cho giảng viên.
  • Tổng kết đề tài: Đối chiếu các kết quả thực tế với mục tiêu ban đầu, chỉ ra các mặt hạn chế còn tồn tại và đề xuất hướng phát triển tiếp theo.

Kết quả và đóng góp

Khóa luận đã hoàn thành việc thiết kế, chế tạo và thử nghiệm thành công mô hình mẫu của bộ điều khiển bàn học thông minh (Smart Desk Controller) với các kết quả cụ thể:

  • Hoàn thiện ứng dụng phần mềm nhúng: Xây dựng thành công ứng dụng nhúng đa luồng bằng Qt/QML trên hệ điều hành Ubuntu/JetPack, cung cấp đầy đủ các chức năng đăng nhập, vào lớp học và quản lý luồng dữ liệu đánh giá.
  • Tích hợp thành công giải thuật thị giác máy tính trên thiết bị biên: Ứng dụng mô hình HOG + Linear SVM kết hợp 68 facial landmarks của Dlib, cho phép trích xuất ổn định các chỉ số sinh trắc học trực tiếp trên Jetson Nano.
  • Độ chính xác nhận diện hành vi:
    • Thuật toán phát hiện mở miệng và ngáp qua chỉ số MAR kết hợp trạng thái nhắm mắt qua chỉ số EAR đạt độ chính xác cao trên tập dữ liệu chuẩn YawDD.
    • Thuật toán ước lượng góc quay đầu qua góc Euler đạt độ chính xác tương thích tốt trên tập dữ liệu chuẩn Pointing'04, đảm bảo vượt chỉ tiêu độ chính xác 75% đặt ra ban đầu khi so sánh với một số mô hình học sâu.
  • Tối ưu hóa tải tài nguyên hệ thống: Đo đạc thực tế trên kit Jetson Nano cho thấy hệ thống duy trì mức sử dụng RAM và CPU trong ngưỡng cho phép khi chạy đồng thời giao diện người dùng và tiến trình AI, đảm bảo tốc độ khung hình ổn định, không xảy ra hiện tượng rớt khung hình nghiêm trọng.
  • Kết nối hệ thống thời gian thực: Thiết lập thành công kênh truyền thông dữ liệu mạng giữa ứng dụng nhúng và giao diện Web giám sát của giảng viên, cho phép trực quan hóa mức độ tập trung của học sinh theo từng mốc thời gian trong buổi học.

Đóng góp kỹ thuật của đề tài thể hiện ở việc hiện thực hóa mô hình lý thuyết Smart Desk thành sản phẩm phần cứng - phần mềm nhúng cụ thể, chứng minh tính khả thi của việc giám sát hành vi người học tại thiết bị biên cục bộ bằng các thuật toán máy học gọn nhẹ, giúp giảm tải băng thông mạng và hạn chế việc phải truyền phát liên tục luồng video thô của người học lên máy chủ đám mây.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận một số hạn chế kỹ thuật trong quá trình thực nghiệm:

  • Phương pháp nhận diện khuôn mặt HOG + Linear SVM có độ nhạy nhất định với sự thay đổi góc quay khuôn mặt lớn (khi học sinh quay mặt góc quá rộng, thuật toán dễ mất dấu khuôn mặt).
  • Năng lực tính toán của phần cứng Jetson Nano (với 4GB RAM) gây ra giới hạn nhất định trong việc mở rộng đồng thời nhiều tác vụ phân tích phức tạp khác.
  • Dữ liệu kiểm thử độ chính xác chủ yếu dựa trên các bộ dữ liệu ảnh mẫu (YawDD, Pointing'04) và kịch bản mô phỏng trong phòng thí nghiệm, chưa tiến hành thử nghiệm dài hạn trong môi trường lớp học thực tế với điều kiện ánh sáng thay đổi phức tạp.
  • Chức năng thu thập và phân tích dữ liệu âm thanh (tiếng nói) từ micro chưa được tích hợp hoàn chỉnh vào mô hình đánh giá tổng thể.

Các hướng phát triển tiếp theo được tác giả đề xuất:

  1. Nâng cấp mô hình nhận diện khuôn mặt sang các kiến trúc mạng nơ-ron tích chập nhẹ được tối ưu hóa bằng TensorRT nhằm tăng khả năng nhận diện ở các góc quay nghiêng lớn mà vẫn duy trì tốc độ xử lý thời gian thực.
  2. Tích hợp thêm module xử lý tín hiệu âm thanh từ micro để phân tích tiếng ồn, phân biệt giọng nói học sinh với bài giảng của giáo viên nhằm tăng độ chuẩn xác cho chỉ số tập trung.
  3. Hoàn thiện hệ sinh thái kết nối đa điểm đồng thời giữa nhiều trạm Smart Desk với bục giảng Smart Podium thông qua hệ thống máy chủ quản lý học tập (LMS) hoàn chỉnh.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo hữu ích cho sinh viên và kỹ sư thuộc các chuyên ngành Kỹ thuật Máy tính, Công nghệ Thông tin, Hệ thống Nhúng và Khoa học Dữ liệu ứng dụng.

Tài liệu có giá trị tham khảo chuyên môn cao ở các nội dung:

  • Quy trình đối chuẩn, so sánh lựa chọn phần cứng nhúng (giữa Raspberry Pi 5 và Jetson Nano) và công nghệ lập trình GUI (Qt/QML, GTK+, Flutter) cho các bài toán biên có tài nguyên hạn chế.
  • Kỹ thuật lập trình nhúng C++ trên framework Qt: Cơ chế xử lý đa luồng, đồng bộ bất đồng bộ thông qua Signal - Slot, ánh xạ dữ liệu C++ sang giao diện QML thông qua QAbstractListModel.
  • Phương pháp toán học và lập trình trích xuất các chỉ số trắc sinh học hành vi (EAR, MAR, Head Pose Estimation qua góc Euler) từ mô hình 68 điểm mốc khuôn mặt của Dlib.
  • Các nhà phát triển hệ thống giáo dục thông minh (EdTech) có thể tham khảo kiến trúc phân tán giữa trạm thiết bị biên (Smart Desk) và máy chủ hiển thị (Smart Podium).

Câu hỏi thường gặp

1. Vì sao nhóm tác giả lựa chọn NVIDIA Jetson Nano thay vì Raspberry Pi 5 dù Raspberry Pi 5 sở hữu vi xử lý CPU xung nhịp cao hơn?
Raspberry Pi 5 sử dụng vi xử lý ARM Cortex-A76 tốc độ 2.4 GHz nhưng bộ xử lý đồ họa Broadcom VideoCore VII không chuyên dụng cho các tác vụ tính toán học máy. Ngược lại, Jetson Nano Dev Kit sở hữu GPU kiến trúc NVIDIA Maxwell với 128 nhân CUDA chuyên dụng, hỗ trợ thư viện tăng tốc xử lý thị giác máy tính và học máy, phù hợp với yêu cầu xử lý liên tục các tác vụ AI thời gian thực của đề tài.

2. Lý do nhóm tác giả chọn mô hình HOG + Linear SVM thay vì các kiến trúc học sâu như CNN hoặc MTCNN để nhận diện khuôn mặt?
Mặc dù các kiến trúc học sâu như CNN hay MTCNN có độ chính xác cao hơn trong các điều kiện biến đổi phức tạp, chúng đòi hỏi chi phí tính toán lớn và tiêu tốn nhiều tài nguyên bộ nhớ. Nhóm tác giả ưu tiên giải pháp nhẹ, tốc độ xử lý nhanh, không gây hiện tượng trễ hoặc rớt khung hình khi chạy đồng thời với giao diện đồ họa trên kit Jetson Nano. Do đó, mô hình HOG + Linear SVM tích hợp sẵn trong thư viện Dlib là lựa chọn tối ưu để trích xuất 68 điểm mốc khuôn mặt trong thời gian thực.

3. Ba chỉ số sinh trắc học nào được sử dụng để đánh giá độ tập trung của học sinh trong khóa luận?
Hệ thống sử dụng ba chỉ số trắc sinh học trích xuất từ 68 điểm mốc:

  • Tỷ lệ khung hình mắt (EAR - Eye Aspect Ratio): Tính toán từ 12 điểm mốc trên hai mắt để theo dõi mật độ nhấp nháy mắt và phát hiện nhắm mắt kéo dài (ngủ gật).
  • Tỷ lệ khung hình miệng (MAR - Mouth Aspect Ratio): Tính toán từ các điểm mốc viền môi để xác định khẩu độ mở miệng, phát hiện hành vi ngáp hoặc nói chuyện riêng.
  • Ước lượng tư thế đầu (Head Pose Estimation): Dựa trên việc ánh xạ tọa độ 2D sang mô hình khuôn mặt 3D để trích xuất ba góc quay Euler (Yaw, Pitch, Roll), từ đó phát hiện hành vi quay đầu sang hướng khác.

4. Dữ liệu thực nghiệm nào được sử dụng để kiểm thử độ chính xác của các thuật toán nhận diện hành vi?
Nhóm tác giả sử dụng hai tập dữ liệu chuẩn: tập dữ liệu YawDD để kiểm thử độ chính xác của thuật toán tính chỉ số MAR và EAR trong việc phát hiện hành vi ngáp, mở miệng; và tập dữ liệu Pointing'04 để kiểm thử độ chính xác của thuật toán ước lượng tư thế đầu và góc quay khuôn mặt.

5. Kiến trúc phần mềm ứng dụng trên Smart Desk được tổ chức như thế nào trong môi trường Qt?
Ứng dụng được chia làm hai tầng: tầng giao diện Frontend viết bằng ngôn ngữ khai báo QML và tầng nghiệp vụ Backend viết bằng C++. Backend đảm nhiệm các luồng tính toán độc lập gồm đọc camera qua OpenCV, nhận diện điểm mốc qua Dlib, tính toán chỉ số tập trung và giao tiếp mạng. Hai tầng liên lạc bất đồng bộ thông qua cơ chế Signal - Slot và mô hình dữ liệu QAbstractListModel, giúp luồng giao diện luôn mượt mà khi các luồng tính toán AI hoạt động với cường độ cao.

Kết luận

Khóa luận tốt nghiệp của sinh viên Đào Ngọc Minh Trí và Nguyễn Chí Thiện đã hoàn thành việc nghiên cứu, thiết kế và chế tạo thành công bộ điều khiển bàn học thông minh Smart Desk trong mô hình lớp học Hybrid Classroom. Đề tài kết hợp giải pháp phần cứng nhúng NVIDIA Jetson Nano với framework Qt/QML và thư viện Dlib để trích xuất các chỉ số hành vi học sinh (EAR, MAR, góc quay Euler) hoàn toàn tại thiết bị biên. Kết quả thực nghiệm cho thấy hệ thống hoạt động ổn định, đạt độ chính xác trên 75% và tối ưu hóa tài nguyên phần cứng, mở ra tiềm năng ứng dụng thực tế trong việc hỗ trợ giảng viên nâng cao chất lượng quản lý lớp học.