Bối cảnh và vấn đề nghiên cứu

Sau đại dịch Covid-19, phương thức đào tạo trong giáo dục đại học và phổ thông có sự chuyển dịch rõ rệt sang mô hình lớp học kết hợp (Hybrid Classroom). Mô hình này kết hợp giữa phương pháp giảng dạy truyền thống tại lớp học trực tiếp và tương tác trực tuyến thông qua sự hỗ trợ của các thiết bị thông minh và công nghệ mạng, giúp quá trình dạy học linh hoạt, duy trì liên tục và thích ứng với các biến động xã hội.

Trong các nghiên cứu quốc tế, hệ thống lớp học kết hợp AUO tại Đại học Quốc gia Thanh Hoa (Đài Loan) đã triển khai màn hình LED 135 inch, hai màn hình cảm ứng 86 inch cùng hệ thống camera theo dõi tự động (VC-TR1, VC-B30U) và bộ xử lý truyền thông LC200. Mặc dù đáp ứng được nhu cầu hiển thị và kết nối từ xa, mô hình này vẫn chủ yếu dừng lại ở mức độ truyền dẫn đa phương tiện thông thường, chưa tích hợp các thuật toán trí tuệ nhân tạo (AI) và giải pháp vạn vật kết nối (IoT) để hỗ trợ vận hành tự động. Tại Việt Nam, nghiên cứu "Smart Desk in Hybrid Classroom: Detecting student's lack of concentration when studying" (Lê Mạnh Hùng, Đoàn Thiên Minh, Nguyễn Duy Diêu, Nguyễn Minh Sơn - Hội nghị ACOMPA 2022) thuộc Trường Đại học Công nghệ Thông tin - ĐHQG-HCM đã đề xuất mô hình lớp học gồm bục giảng thông minh và bàn học thông minh có tích hợp AI để giám sát sự tập trung của người học. Tuy nhiên, việc tối ưu hóa hạ tầng tính toán biên và xây dựng thiết bị bục giảng độc lập, đa chức năng vẫn là bài toán cần được tiếp tục giải quyết.

Đề tài khóa luận tốt nghiệp ngành Kỹ thuật máy tính của tác giả Lê Thị Thu Huyền và Phan Ái Linh (năm 2024), dưới sự hướng dẫn của TS. Nguyễn Minh Sơn, tập trung vào việc nghiên cứu, tích hợp công nghệ tính toán biên (Edge Computing) cho thiết bị bục giảng trong mô hình lớp học Hybrid. Mục tiêu nghiên cứu được xác định cụ thể gồm:

  1. Thiết kế và triển khai một máy chủ biên (Miniserver) trong phạm vi trường học nhằm phục vụ giao tiếp thời gian thực giữa thiết bị bục giảng và các thiết bị IoT khác (như bàn học thông minh).
  2. Xây dựng chức năng truyền phát video trực tiếp (stream video) và đồng bộ hóa dữ liệu giữa Miniserver với máy chủ đám mây (Cloud server) phục vụ giảng dạy trực tuyến.
  3. Hiện thực ứng dụng nhúng trên nền tảng Qt chạy trên phần cứng bục giảng với các chức năng: tự động đăng nhập bằng nhận diện khuôn mặt giáo viên, điểm danh học sinh tự động khi vào lớp, giao bài tập và giám sát trạng thái lớp học.

Đối tượng nghiên cứu là hệ thống thiết bị bục giảng thông minh, kiến trúc máy chủ biên Miniserver và các thuật toán học sâu nhận diện khuôn mặt được tối ưu hóa cho thiết bị nhúng. Phạm vi không gian của đề tài là môi trường mạng cục bộ trường học kết hợp máy chủ ảo trên nền tảng điện toán đám mây; phạm vi thời gian nghiên cứu và thực nghiệm được tiến hành trong năm học 2023 - 2024. Giới hạn kỹ thuật của đề tài đặt ra các chỉ số cụ thể: ứng dụng Qt C++ chạy ổn định trên phần cứng nhúng NVIDIA Jetson Nano; Miniserver có khả năng chịu tải tối đa 1.000 người dùng truy cập đồng thời; thuật toán nhận diện khuôn mặt đạt độ chính xác kiểm thử trên 90% với thời gian xử lý dưới 150 ms/khung hình; độ trễ truyền thông thời gian thực giữa bục giảng và bàn học nhỏ hơn 2 giây.

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp giữa khung lý thuyết về kiến trúc tính toán phân tán, mô hình học sâu cho thị giác máy tính và các giao thức truyền thông mạng thời gian thực:

  • Mô hình tính toán biên (Edge Computing): Khác với mô hình tập trung toàn bộ dữ liệu lên đám mây, tính toán biên đặt năng lực xử lý tại các điểm gần nguồn phát sinh dữ liệu (Miniserver đặt tại trường học). Cấu trúc này giúp giảm tải băng thông đường truyền internet, triệt tiêu độ trễ mạng và nâng cao khả năng đáp ứng tức thời trong lớp học.
  • Mạng nơ-ron tích chập đa nhiệm MTCNN (Multi-task Cascaded Convolutional Networks): Sử dụng chuỗi 3 mạng nơ-ron xếp tầng gồm P-Net (Proposal Network - quét ảnh tạo khung khuôn mặt ứng viên), R-Net (Refine Network - lọc và loại bỏ khung giả mạo), và O-Net (Output Network - xác định tọa độ khung và 5 điểm mốc đặc trưng). Mạng được tối ưu với hàm mất mát Triplet Loss theo công thức: $$L_{triplet} = \max\left(0, |f(A) - f(P)|^2 - |f(A) - f(N)|^2 + \text{margin}\right)$$ nhằm kéo gần khoảng cách biểu diễn giữa ảnh mốc (Anchor) và ảnh cùng danh tính (Positive), đồng thời đẩy xa ảnh khác danh tính (Negative). Khóa luận kế thừa bộ trọng số đã được huấn luyện sẵn của Google để đảm bảo chất lượng trích xuất ban đầu.
  • Mô hình trích xuất đặc trưng MobileFaceNet: Cấu trúc tích chập hiệu năng cao dành cho thiết bị di động và phần cứng nhúng, dựa trên các kỹ thuật then chốt: Depthwise Separable Convolution (tách lớp tích chập thành Depthwise và Pointwise nhằm giảm thiểu phép tính), Batch Normalization (chuẩn hóa dữ liệu trung gian), Residual Learning (kết nối tắt chống tiêu biến gradient) và Linear Bottleneck.
  • Giải thuật cắt tỉa mô hình (Pruning): Giảm số lượng tham số dư thừa của MobileFaceNet thông qua các tiêu chí đánh giá như Minimum weight, Activation, Mutual information, Taylor expansion và tỷ lệ phần trăm số không trung bình (APoZ - Average Percentage of Zeros).
  • Mô hình chống giả mạo khuôn mặt MiniFASNetV1: Giải pháp mã nguồn mở Silent Face Anti-Spoofing của Minivision, sử dụng cấu trúc tích chập tách biệt theo chiều sâu kết hợp các hàm kích hoạt phi tuyến để phát hiện các hình thức tấn công bằng ảnh in hoặc màn hình điện thoại.
  • Giao thức mạng và công nghệ phần mềm: Giao thức RTSP (Real-Time Streaming Protocol) chạy trên tầng ứng dụng kết hợp giao thức RTP/RTCP để truyền tải luồng video trực tiếp từ camera và màn hình bục giảng; thư viện Socket.IO hoạt động trên nền tảng WebSocket (hỗ trợ chuyển đổi AJAX long-polling) đảm bảo truyền nhận dữ liệu hai chiều; công cụ Docker và Docker Compose hỗ trợ đóng gói môi trường phần mềm.

Phương pháp nghiên cứu trong đề tài là phương pháp thiết kế và thực nghiệm kỹ thuật: thiết kế kiến trúc phân tầng, phân tách phần mềm nhúng và máy chủ theo mô hình MVC, tinh chỉnh mô hình học sâu (fine-tuning) trên tập dữ liệu đặc thù, chuyển đổi mô hình sang định dạng nhị phân C++ (tệp .param và .bin) để tối ưu hóa trên phần cứng nhúng, sau đó tiến hành kiểm thử chịu tải và đo lường các thông số thực tế.

Nguồn dữ liệu huấn luyện và đánh giá được tác giả tổng hợp từ các bộ dữ liệu ảnh khuôn mặt công khai quốc tế và dữ liệu người Việt Nam:

Bộ dữ liệu Số lượng ảnh Số lượng định danh Ghi chú
FaceNet (Google) ~200.000.000 8.000.000 Công khai
MS-Celeb-1M 10.000.000 100.000 Công khai
MegaFace 4.700.000 672.000 Công khai
Social Face Classification 4.400.000 4.030 Công khai
CASIA-WebFace 494.414 10.575 Công khai
LFW 13.233 5.749 Công khai
Age-DB 30 16.488 568 Công khai
VN-Celeb ~23.000 1.000 Khuôn mặt người Việt Nam

Thiết kế và triển khai

Hệ thống được thiết kế theo cấu trúc phân tán gồm hai thành phần vật lý chính: Thiết bị bục giảng nhúng và Máy chủ biên (Miniserver), đồng thời dự phòng kết nối mở rộng lên máy chủ ảo AWS EC2.

Phần cứng thiết bị bục giảng

Thiết bị bục giảng được xây dựng trên kit phát triển NVIDIA Jetson Nano Developer Kit B01 với các thông số:

  • Vi xử lý đồ họa (GPU): 128 lõi kiến trúc Maxwell, năng lực tính toán 472 GFLOPs (FP16).
  • Vi xử lý trung tâm (CPU): 4 nhân ARM Cortex-A57 tốc độ 1,43 GHz.
  • Bộ nhớ RAM: 4 GB 64-bit LPDDR4 băng thông 25,6 GB/s.
  • Lưu trữ: eMMC 16 GB kết hợp khe cắm thẻ microSD.
  • Cổng kết nối ngoại vi: 1 cổng HDMI 2.0, 1 cổng Gigabit Ethernet, 4 cổng USB 3.0 kết nối webcam Logitech và màn hình cảm ứng, cổng GPIO 40 chân và nguồn cấp 5V/4A.

Kiến trúc phần mềm ứng dụng nhúng (Qt C++)

Ứng dụng trên Jetson Nano được phát triển bằng ngôn ngữ C++ kết hợp framework Qt và ngôn ngữ khai báo giao diện QML (Qt Quick), tổ chức thành 3 khối module chính:

  • Khối MVC: Xây dựng các lớp Model (Classroom, Subject, User, Docs, Assignment, Question, Device, Attendance), View (giao diện hiển thị QML tối ưu cho màn hình cảm ứng) và Controller điều khiển luồng dữ liệu.
  • Khối Server Client: Gồm module HTTP client trao đổi dữ liệu RESTful API, module RTSP stream video và lớp SocketIoClient bằng C++ áp dụng mẫu thiết kế Singleton để lắng nghe, phát sự kiện thời gian thực.
  • Khối AI: Tích hợp mô hình MobileFaceNet nhận diện khuôn mặt giáo viên để đăng nhập tự động, thuật toán Anti-Spoofing chống gian lận ảnh và mô hình FaceMesh (kế thừa từ khóa luận trước đó) trích xuất 468 điểm mốc nhằm theo dõi trạng thái học sinh. Ngoài ra, hai module phụ trợ là BootApp (tải cấu hình ban đầu) và Logger (ghi nhật ký lỗi hệ thống) được tích hợp trực tiếp.

Kiến trúc máy chủ và cơ sở dữ liệu

Miniserver vận hành dựa trên hệ điều hành Linux/Windows, đóng gói các tiến trình thông qua Docker:

  • Máy chủ API và Socket.IO: Xây dựng bằng Node.js và Express.js. Để chịu tải lượng kết nối lớn, hệ thống triển khai máy chủ Nginx làm Reverse Proxy và cân bằng tải theo thuật toán least_conn. Nginx (lắng nghe cổng 4025) tự động điều phối lưu lượng tới hai máy chủ socket nội bộ chạy trên cổng 4026 và 4027.
  • Hệ thống đệm Redis: Đóng vai trò làm bộ nhớ đệm (cache) lưu trữ token, trạng thái phiên làm việc và đồng bộ tin nhắn socket giữa các cụm tiến trình NodeJS.
  • Máy chủ RTSP: Điều phối các luồng truyền phát video từ camera góc rộng và luồng chia sẻ màn hình bài giảng của bục giảng.
  • Cơ sở dữ liệu MongoDB: Thiết kế 14 collections lưu trữ dữ liệu phi quan hệ linh hoạt, gồm: Documents, Class, Classroom, Assign, Attendance, Question, Users, Schedule, Subjects, Device, Noti, Student, Log, Parent.
  • Luồng xử lý một API máy chủ: Khách gửi yêu cầu -> Xác thực JSON Web Token (JWT) -> Kiểm tra phân quyền truy cập -> Lưu trữ phiên -> Kiểm tra bộ nhớ đệm Redis và truy vấn MongoDB -> Phản hồi kết quả.

Nội dung chính theo từng chương

Chương 1. GIỚI THIỆU ĐỀ TÀI

Chương 1 trình bày bối cảnh chuyển đổi số trong giáo dục và sự cần thiết của mô hình lớp học Hybrid sau đại dịch. Tác giả tổng hợp, so sánh các nghiên cứu tiêu biểu trong và ngoài nước, từ đó chỉ ra khoảng trống nghiên cứu về việc ứng dụng AI và IoT vào thiết bị bục giảng. Chương này xác định rõ 3 mục tiêu cốt lõi của đề tài, các giới hạn kỹ thuật (chạy trên Jetson Nano, nhận diện khuôn mặt chính xác trên 90% dưới 150 ms, chịu tải 1.000 kết nối) và kết quả kỳ vọng đạt được.

Chương 2. TÌM HIỂU LÝ THUYẾT VÀ LỰA CHỌN CÔNG NGHỆ

Tác giả phân tích cơ sở lý thuyết của các công nghệ lựa chọn:

  • Lập trình nhúng đa nền tảng với Qt Framework (cơ chế signals/slots, Meta-Object Compiler, Qt Quick/QML).
  • Đánh giá năng lực phần cứng máy tính nhúng AI NVIDIA Jetson Nano B01.
  • Lý thuyết mạng học sâu phát hiện và nhận diện khuôn mặt: kiến trúc MTCNN với hàm mất mát Triplet Loss; mô hình MobileFaceNet với các lớp tích chập tách biệt theo chiều sâu (Depthwise Separable Convolution); các tiêu chí cắt tỉa mạng (Pruning).
  • Thuật toán chống giả mạo khuôn mặt MiniFASNetV1 từ giải pháp mã nguồn mở Silent Face Anti-Spoofing của Minivision.
  • Ngăn xếp công nghệ máy chủ: Node.js, Express.js, cơ sở dữ liệu MongoDB, giao thức RTSP truyền luồng video và thư viện Socket.IO (kết hợp SocketIO-CPP-Client trên C++).
  • Nền tảng ảo hóa Docker, giải pháp tính toán biên (Miniserver) và đối sánh cấu hình máy chủ cục bộ với máy ảo AWS EC2:
Thuộc tính Cấu hình AWS EC2 Cấu hình máy chủ cục bộ (Local/Miniserver)
Hệ điều hành Ubuntu 20.04 LTS focal Windows 10 Pro 64-bit
Kiến trúc / Vi xử lý Nền tảng đám mây 2,7 GHz Intel Core i7 thế hệ 11, 2,7 GHz
Bộ nhớ RAM 1 GB 16 GB
Bộ nhớ lưu trữ SSD 32 GB SSD 512 GB
Vị trí đặt máy Singapore Việt Nam

Chương 3. THIẾT KẾ VÀ HIỆN THỰC HỆ THỐNG

Chương 3 tập trung phân tích các yêu cầu kỹ thuật và nghiệp vụ thực tiễn của lớp học Hybrid:

  • Phân tích các ca sử dụng (Use-case) của bục giảng: Đăng nhập (bằng khuôn mặt hoặc tài khoản mật khẩu), Quản lý lớp học trực tuyến, Theo dõi trạng thái học sinh (kiểm tra camera, phát hiện mất tập trung), Điểm danh tự động và Giao bài tập theo thời gian thực.
  • Thiết kế mô hình kiến trúc tổng thể liên kết giữa nhóm thiết bị nhúng (bục giảng, bàn học), Miniserver cục bộ và hạ tầng đám mây.
  • Thiết kế chi tiết thành phần ứng dụng Qt theo mô hình MVC, tách biệt logic giao tiếp mạng (SocketIO, HTTP, RTSP), xử lý giao diện người dùng và module AI nhận diện.
  • Thiết kế các dịch vụ xử lý nghiệp vụ phía máy chủ: ClassService, SubjectService, UserService, DocsService, AssignService, QuestionsService, DeviceService, AttendanceService.
  • Xây dựng sơ đồ cơ sở dữ liệu MongoDB gồm 14 bảng quan hệ dữ liệu liên kết.

Chương 4. TRIỂN KHAI HIỆN THỰC HỆ THỐNG

Nội dung chương mô tả chi tiết quá trình hiện thực hóa các thành phần hệ thống:

  • Cấu trúc thư mục mã nguồn máy chủ API và thiết lập tệp điều phối docker-compose.yml.
  • Cấu hình cân bằng tải Nginx sử dụng thuật toán least_conn phân phối giữa 2 cổng tiến trình Socket.IO (4026, 4027).
  • Viết mã nguồn lớp SocketIoClient bằng C++ cho ứng dụng Qt với cơ chế đồng bộ hóa bằng std::mutex.
  • Xây dựng các trang giao diện đồ họa Qt/QML: Đăng nhập/thông tin cá nhân, Lịch giảng dạy, Quản lý lớp học và tài liệu bài giảng, Giao bài tập/bài kiểm tra, Danh sách lớp và điểm danh học sinh, Trung tâm thông báo và Màn hình trình phát video stream.
  • Chuẩn bị dữ liệu và huấn luyện mô hình MobileFaceNet: Tinh chỉnh mô hình trên tập dữ liệu người Việt Nam VN-Celeb (~23.000 ảnh), thực hiện kỹ thuật Pruning giảm dung lượng, chuyển đổi trọng số từ định dạng PyTorch (.pth) sang định dạng nén nhị phân (.param và .bin) tương thích thư viện C++ trên Jetson Nano.
  • Chuyển đổi mô hình Anti-Spoofing sang C++ và xây dựng lớp giao tiếp FaceService.
  • Hiện thực truyền phát RTSP video màn hình thiết bị và video camera qua lớp ScreenStreamer.
  • Tích hợp module Logger ghi nhật ký vận hành và triển khai toàn bộ ứng dụng xuống thiết bị Jetson Nano.

Chương 5. KIỂM THỬ VÀ ĐÁNH GIÁ HỆ THỐNG

Chương này công bố các quy trình và kết quả kiểm thử thực nghiệm:

  • Kiểm thử các điểm cuối API trên máy chủ bằng công cụ Postman, đảm bảo chu kỳ xác thực JWT và tính toàn vẹn của dữ liệu trả về.
  • Kiểm thử tải máy chủ Socket.IO trong các kịch bản gửi nhận gói tin kích thước nhỏ và gói tin kích thước lớn: Đánh giá số lượng yêu cầu xử lý trên giây, thời gian phản hồi trung bình, số lượng kết nối người dùng đồng thời và mức độ chiếm dụng bộ nhớ RAM của tiến trình socket dưới áp lực tải nặng.
  • Kiểm thử độ chính xác và thời gian xử lý thực tế của module nhận diện khuôn mặt và chống giả mạo trực tiếp trên phần cứng Jetson Nano.
  • Kiểm thử luồng truyền phát video RTSP: Đánh giá độ ổn định và độ trễ khi phát đồng thời luồng video màn hình bài giảng và luồng camera bục giảng.
  • Đo lường tài nguyên phần cứng: Ghi nhận dung lượng RAM tiêu thụ trên kit Jetson Nano trước khi chạy ứng dụng và sau khi nạp toàn bộ các tiến trình đồ họa Qt, mô hình AI và luồng stream.

Chương 6. ĐÁNH GIÁ KẾT QUẢ VÀ KẾT LUẬN

Chương cuối tổng kết toàn bộ kết quả đạt được, đối chiếu các thông số thực nghiệm với chỉ tiêu đề ra trong đề cương ban đầu. Tác giả phân tích các hạn chế còn tồn tại và đề xuất định hướng phát triển hoàn thiện hệ thống trong tương lai.

Kết quả và đóng góp

Khóa luận đã hoàn thành các mục tiêu kỹ thuật đặt ra và ghi nhận kết quả cụ thể qua kiểm thử:

Tiêu chí đánh giá Mục tiêu đề ra trong đề cương Kết quả thực nghiệm đạt được
Nền tảng hoạt động của ứng dụng Qt Chạy trên thiết bị nhúng Jetson Nano Hoạt động ổn định, không bị đứt quãng trên Jetson Nano B01
Khả năng chịu tải của Miniserver Tối đa 1.000 người dùng truy cập Đạt khả năng chịu tải thông qua cân bằng tải Nginx và nhiều cụm Socket.IO
Độ trễ giao tiếp thời gian thực Nhỏ hơn 2 giây Duy trì phản hồi tức thời dưới ngưỡng cho phép
Độ chính xác nhận diện khuôn mặt Đạt trên 90% (kỳ vọng trên 95%) Đạt trên 95% sau khi tinh chỉnh trên tập dữ liệu người Việt VN-Celeb
Tốc độ xử lý khung hình AI trên nhúng Nhỏ hơn 150 ms (kỳ vọng nhỏ hơn 100 ms) Đạt tốc độ nhận diện dưới 100 ms trên mỗi khung hình
Tích hợp truyền phát video RTSP Stream video lớp học online trên Miniserver Phát thành công cả luồng video camera và màn hình bài giảng

Về mặt giải pháp kỹ thuật, tác giả đề xuất và hiện thực hóa:

  • Giải pháp cân bằng tải phía máy chủ cục bộ bằng Nginx kết hợp Redis đệm phiên, giải quyết bài toán nghẽn cổ chai khi hàng trăm thiết bị bàn học cùng phát sinh kết nối Socket.IO đồng thời.
  • Quy trình tối ưu hóa và chuyển đổi các mô hình học sâu phức tạp (MTCNN, MobileFaceNet, MiniFASNetV1) từ môi trường nghiên cứu Python sang mã máy C++ thuần, giúp phần mềm vận hành trực tiếp trên GPU Maxwell công suất thấp của kit Jetson Nano mà không phụ thuộc vào kết nối máy chủ đám mây.

Đóng góp mới của khóa luận so với các nghiên cứu trước đây tại đơn vị:

  • So với mô hình lớp học AUO của Đại học Quốc gia Thanh Hoa, đề tài đã bổ sung hoàn chỉnh hai trụ cột công nghệ AI (nhận diện khuôn mặt, chống giả mạo) và IoT (quản lý kết nối thiết bị trường học phân tán).
  • So với nghiên cứu của nhóm tác giả Lê Mạnh Hùng và cs. (2022) vốn chỉ tập trung vào thiết bị bàn học thông minh và thuật toán phát hiện mất tập trung, khóa luận này đã hoàn thiện mảnh ghép thiết bị bục giảng thông minh, phát triển Miniserver theo mô hình tính toán biên để tạo thành một hệ sinh thái lớp học Hybrid hoàn chỉnh.

Hạn chế và hướng nghiên cứu tiếp

Các hạn chế được nhóm tác giả thẳng thắn thừa nhận trong văn bản:

  • Do giới hạn về mặt tài chính, quá trình thử nghiệm mở rộng trên hạ tầng đám mây AWS EC2 mới dừng lại ở cấu hình phần cứng tối thiểu (1 vCPU, 1 GB RAM, đặt tại trung tâm dữ liệu Singapore), dẫn đến việc chưa thể đánh giá toàn diện năng lực mở rộng đa vùng của hệ thống khi mở rộng ra ngoài phạm vi mạng nội bộ trường học.
  • Thuật toán nhận diện khuôn mặt và chống giả mạo dù đã được tinh chỉnh nhưng hiệu năng vẫn có thể bị suy giảm trong các điều kiện môi trường có ánh sáng quá yếu hoặc góc nghiêng camera lớn tại các giảng đường thực tế.
  • Phần cứng Jetson Nano B01 có dung lượng RAM 4 GB chia sẻ chung giữa CPU và GPU, do đó khi hệ thống đồng thời chạy các tác vụ nặng (nhận diện khuôn mặt liên tục, trích xuất 468 điểm FaceMesh và truyền phát 2 luồng RTSP độ phân giải cao), mức chiếm dụng bộ nhớ tăng cao, tiềm ẩn nguy cơ tràn RAM nếu không giải phóng tài nguyên kịp thời.

Hướng nghiên cứu tiếp theo được đề ra:

  • Tiếp tục tối ưu hóa sâu hơn các mô hình học sâu bằng cách áp dụng công cụ tăng tốc NVIDIA TensorRT để giảm thiểu hơn nữa độ trễ suy luận trên thiết bị nhúng.
  • Nâng cấp phần cứng máy chủ biên và thiết bị bục giảng lên các phiên bản vi xử lý nhúng thế hệ mới có dung lượng RAM lớn hơn.
  • Triển khai thử nghiệm tích hợp đồng bộ giữa thiết bị bục giảng với hệ thống nhiều bàn học thông minh trong một phòng học thực tế quy mô lớn, từ đó hoàn thiện hệ sinh thái lớp học thông minh tại Trường Đại học Công nghệ Thông tin.

Giá trị tham khảo

Bản khóa luận là tài liệu tham khảo kỹ thuật hữu ích đối với:

  • Sinh viên và học viên cao học thuộc các ngành Kỹ thuật máy tính, Khoa học máy tính, Công nghệ thông tin, Kỹ thuật điều khiển và Tự động hóa đang thực hiện đồ án, luận văn liên quan đến Hệ thống nhúng (Embedded Systems), Trí tuệ nhân tạo biên (Edge AI) và Thiết bị kết nối thông minh (IoT).
  • Lập trình viên phần mềm nhúng cần tài liệu tham khảo chi tiết về phương pháp xây dựng giao diện ứng dụng hiệu năng cao bằng Qt/QML (C++) tích hợp với kiến trúc MVC.
  • Các nhóm nghiên cứu thị giác máy tính tìm kiếm quy trình thực tế để tối ưu hóa, cắt tỉa (pruning) và chuyển đổi các mô hình nhận diện khuôn mặt (MTCNN, MobileFaceNet, MiniFASNetV1) từ framework PyTorch sang định dạng nhị phân C++ tương thích với phần cứng nhúng NVIDIA.
  • Kỹ sư hệ thống quan tâm đến kiến trúc máy chủ thời gian thực quy mô vừa và nhỏ, cách cấu hình Nginx cân bằng tải thuật toán least_conn, phối hợp Redis cache và Docker trên máy chủ biên cục bộ.

Câu hỏi thường gặp

1. Khóa luận sử dụng nền tảng phần cứng nào để chế tạo thiết bị bục giảng thông minh?
Thiết bị bục giảng được phát triển trên kit máy tính nhúng NVIDIA Jetson Nano Developer Kit B01, trang bị GPU Maxwell 128 lõi, CPU 4 nhân ARM Cortex-A57 tốc độ 1,43 GHz, 4 GB RAM LPDDR4, kết hợp với webcam Logitech và màn hình cảm ứng tương tác qua giao tiếp HDMI và USB 3.0.

2. Giải thuật nhận diện khuôn mặt được tối ưu hóa như thế nào để chạy trên phần cứng nhúng có tài nguyên giới hạn?
Nhóm tác giả sử dụng mạng MobileFaceNet kết hợp các lớp tích chập tách biệt theo chiều sâu (Depthwise Separable Convolution) và áp dụng giải thuật cắt tỉa mô hình (Pruning) theo các tiêu chí như Minimum weight, Activation và APoZ. Sau khi tinh chỉnh trên tập dữ liệu người Việt Nam VN-Celeb, mô hình được chuyển đổi từ định dạng PyTorch sang tệp tham số và nhị phân C++ (.param và .bin) để chạy trực tiếp trên Jetson Nano, đạt tốc độ suy luận dưới 100 ms/khung hình.

3. Cơ chế cân bằng tải và xử lý giao tiếp thời gian thực của Miniserver được thiết kế ra sao?
Miniserver sử dụng Nginx làm máy chủ Reverse Proxy và cân bằng tải theo giải thuật least_conn. Khi người dùng kết nối qua cổng 4025, Nginx phân phối lưu lượng tới hai máy chủ ứng dụng Socket.IO độc lập chạy trên cổng 4026 và 4027. Bộ nhớ đệm Redis được tích hợp để lưu trữ trạng thái phiên làm việc và đồng bộ thông điệp giữa các tiến trình Node.js.

4. Ứng dụng nhúng trên bục giảng được tổ chức theo kiến trúc phần mềm nào?
Ứng dụng được viết bằng ngôn ngữ C++ kết hợp framework Qt và ngôn ngữ QML theo mẫu kiến trúc Model-View-Controller (MVC). Trong đó, phần View xây dựng bằng QML để đảm bảo giao diện cảm ứng mượt mà; phần Model và Controller bằng C++ đảm nhận logic dữ liệu, kết nối với máy chủ API/Socket và module thị giác máy tính AI.

5. Hệ thống sử dụng giải pháp nào để ngăn chặn hành vi giả mạo khi điểm danh hoặc đăng nhập bằng khuôn mặt?
Hệ thống tích hợp mô hình MiniFASNetV1 thuộc giải pháp mã nguồn mở Silent Face Anti-Spoofing của Minivision. Mô hình này được chuyển đổi sang mã C++ chạy song song với module nhận diện khuôn mặt để phân tích tính chất ảnh thật, ngăn ngừa các trường hợp sử dụng ảnh in hoặc hình ảnh trên màn hình điện thoại để đánh lừa hệ thống.

Kết luận

Khóa luận của tác giả Lê Thị Thu Huyền và Phan Ái Linh đã giải quyết bài toán tích hợp công nghệ tính toán biên cho thiết bị bục giảng trong mô hình lớp học Hybrid một cách bài bản và hoàn chỉnh. Nghiên cứu đã hiện thực hóa thành công thiết bị bục giảng nhúng chạy trên nền tảng Jetson Nano với khả năng nhận diện khuôn mặt giáo viên, điểm danh học sinh, chia sẻ bài giảng và truyền phát video trực tiếp. Đồng thời, kiến trúc Miniserver kết hợp cân bằng tải Nginx, Redis và Socket.IO bảo đảm khả năng giao tiếp thời gian thực ổn định và giảm tải áp lực tính toán lên đám mây. Các kết quả thực nghiệm đạt độ chính xác trên 95% và tốc độ xử lý dưới 100 ms/khung hình đã minh chứng cho tính khả thi và giá trị ứng dụng cao của đề tài trong chuyển đổi số giáo dục.