Ứng dụng xử lý ảnh trong điểm danh học sinh

Đồ án ứng dụng xử lý ảnh trong điểm danh học sinh tại Trường ĐH Sư phạm Kỹ thuật TPHCM

• Tác giả: Phan Huỳnh Nguyên
• Người hướng dẫn: ThS. Nguyễn Duy Thảo
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ Kỹ thuật Điện tử - Viễn thông
• Đề tài: Ứng dụng xử lý ảnh trong điểm danh học sinh
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan về ứng dụng xử lý ảnh điểm danh tại ĐH SPKT TPHCM

Điểm danh truyền thống làm lãng phí thời gian giảng dạy tại giảng đường. Phương pháp gọi tên thủ công dễ phát sinh sai sót và gian lận. Người học có thể điểm danh hộ người khác. Việc lưu trữ sổ sách giấy tờ gây cồng kềnh và khó kiểm soát dữ liệu. Nhà trường cần giải pháp số hóa thông minh hơn. Công nghệ thị giác máy tính mang lại hướng đi đột phá. Nghiên cứu tại Trường ĐH SPKT TPHCM thiết lập hệ thống điểm danh tự động qua camera giám sát. Quy trình vận hành kết hợp kỹ thuật xử lý ảnh số hiện đại và cơ sở dữ liệu điện tử. Camera ghi nhận hình ảnh khuôn mặt người học ngay trong lớp học. Thuật toán tự động định vị và trích xuất các đặc trưng khuôn mặt tiêu biểu. Hệ thống tiến hành so khớp với hồ sơ lưu trữ để xác thực danh tính. Giải pháp này rút ngắn thời gian điểm danh xuống từng mili-giây. Dữ liệu có mặt được cập nhật tức thì lên máy chủ quản trị. Giảng viên hoàn toàn giải phóng khỏi áp lực điểm danh đầu giờ. Toàn bộ thông tin điểm danh đảm bảo tính khách quan, minh bạch và chính xác cao.

1.1. Bối cảnh nghiên cứu tại Trường ĐH SPKT TPHCM

Trường ĐH SPKT TPHCM đào tạo số lượng sinh viên kỹ thuật rất lớn. Các giảng đường thường xuyên tập trung đông sinh viên trong mỗi ca học. Giảng viên gặp nhiều áp lực khi phải điểm danh từng cá nhân. Khóa luận tốt nghiệp ngành Công nghệ Kỹ thuật Điện tử Viễn thông đã tập trung giải quyết bài toán cấp thiết này. Đề tài được hướng dẫn trực tiếp bởi ThS. Nguyễn Duy Thảo. Mục tiêu nghiên cứu nhằm tạo ra công cụ quản lý lớp học tự động và chuẩn xác. Đề tài khai thác sức mạnh thị giác máy tính phục vụ môi trường giáo dục đại học. Hệ thống loại bỏ hoàn toàn tình trạng điểm danh hộ, giúp nâng cao tính kỷ luật học đường.

1.2. Mục tiêu và phạm vi ứng dụng đề tài

Nghiên cứu hướng tới thiết lập mô hình nhận diện khuôn mặt tự động trong không gian giảng đường. Phạm vi thực nghiệm thu thập dữ liệu ảnh và video từ camera tại điều kiện ánh sáng 100 đến 1000 lux. Toàn bộ hình ảnh sinh viên được gán nhãn thông tin cụ thể bao gồm mã số, họ tên và lớp sinh hoạt. Dữ liệu xử lý được đồng bộ trực tiếp vào hệ thống cơ sở dữ liệu chuyên dụng. Phần mềm sở hữu giao diện người dùng trực quan, thân thiện và dễ thao tác. Quá trình kiểm thử thực tế chứng minh hệ thống vận hành mượt mà, thời gian đáp ứng nhanh chóng. Kết quả nghiên cứu khẳng định tiềm năng ứng dụng rộng rãi tại các khoa, phòng ban trong toàn trường.

II. Phân tích vấn đề điểm danh bằng xử lý ảnh tại ĐH SPKT TPHCM

Bài toán nhận dạng khuôn mặt trong lớp học chứa đựng nhiều thách thức kỹ thuật. Mạng nơ-ron truyền thống ANN bộc lộ nhiều điểm hạn chế nghiêm trọng khi xử lý dữ liệu ảnh. Mạng ANN xem mỗi pixel ảnh là một đầu vào độc lập. Cấu trúc này làm mất đi thông tin không gian và mối liên hệ giữa các điểm ảnh lân cận. Hơn nữa, số lượng tham số trong mạng nơ-ron truyền thống bùng nổ khi kích thước ảnh tăng cao. Khả năng tính toán của thiết bị phần cứng nhanh chóng bị quá tải. Mạng ANN cũng không thể nhận diện đối tượng khi vị trí vật thể bị xê dịch trong khung hình. Bên cạnh hạn chế thuật toán, điều kiện môi trường thực tế tạo ra nhiều trở ngại. Cường độ ánh sáng trong phòng học biến thiên liên tục từ 100 lux đến 1000 lux. Góc chụp khuôn mặt của sinh viên thay đổi ngẫu nhiên khi ngồi học hoặc di chuyển. Các hiện tượng che khuất một phần mặt do khẩu trang hoặc kính mắt gây nhiễu tín hiệu. Độ phân giải của camera lớp học đôi khi không đồng đều giữa các khung hình. Những yếu tố trên đòi hỏi một mô hình học sâu chuyên biệt có khả năng chống nhiễu vượt trội.

2.1. Hạn chế của mạng ANN trong xử lý ảnh số

Mạng nơ-ron nhân tạo ANN truyền thống không phù hợp cho việc nhận diện khuôn mặt sinh viên. Cấu trúc mạng phẳng đòi hỏi duỗi thẳng ma trận ảnh hai chiều thành vector một chiều. Thao tác này phá hủy toàn bộ mối tương quan không gian giữa các điểm ảnh kề nhau. Hình thái các bộ phận quan trọng như mắt, mũi và miệng bị mất đi tính liên kết hình học. Bên cạnh đó, số lượng trọng số kết nối tăng theo cấp số nhân khiến mô hình dễ bị quá khớp. Khi sinh viên nghiêng đầu hoặc thay đổi vị trí, mạng ANN gần như mất hoàn toàn khả năng nhận diện. Sự thất bại này đòi hỏi giải pháp thay thế hiệu quả hơn.

2.2. Biến thiên ánh sáng và khoảng cách nhận diện

Môi trường phòng học thực tế luôn tồn tại nhiều yếu tố gây nhiễu cho hệ thống thị giác máy tính. Ánh sáng tự nhiên thay đổi liên tục theo từng thời điểm trong ngày. Góc chiếu sáng phức tạp tạo ra các vùng bóng tối trên gương mặt sinh viên. Khoảng cách giữa camera và vị trí ngồi của từng người học không cố định. Sự biến thiên khoảng cách làm thay đổi độ phân giải vùng khuôn mặt thu thập được. Kích thước khuôn mặt quá nhỏ hoặc bị nhòe mờ gây cản trở trích xuất vector đặc trưng. Nếu dữ liệu huấn luyện không đồng đều, mô hình rất dễ nhận diện sai lệch danh tính người học.

III. Giải pháp công nghệ xử lý ảnh điểm danh sinh viên ĐH SPKT TPHCM

Đề tài phát triển giải pháp nhận dạng khuôn mặt đột phá dựa trên mô hình học sâu. Mạng nơ-ron tích chập CNN khắc phục hoàn toàn nhược điểm của mạng ANN cổ điển. Cấu trúc CNN tổ chức dữ liệu theo ba chiều gồm chiều cao, chiều rộng và chiều sâu. Các lớp tích chập áp dụng bộ lọc cục bộ để tự động trích xuất đặc trưng không gian. Lớp gộp Pooling giảm tải số lượng tham số và tăng tốc độ xử lý ảnh. Hệ thống tích hợp thuật toán MTCNN nhằm phát hiện khuôn mặt và căn chỉnh điểm mốc sinh trắc chính xác. Tiếp theo, kiến trúc FaceNet chuyển đổi hình ảnh khuôn mặt thành chuỗi vector đặc trưng 128 chiều. Mô hình tối ưu hóa khoảng cách nội lớp (Intra-class distance) để giữ tính nhất quán cho cùng một sinh viên. Đồng thời, thuật toán mở rộng khoảng cách giữa các lớp khác nhau (Inter-class distance). Quy trình này ngăn ngừa nguy cơ nhận diện nhầm lẫn giữa các sinh viên có khuôn mặt tương tự. Dữ liệu nhận diện được lưu trữ tự động vào cơ sở dữ liệu để hoàn tất tiến trình điểm danh.

3.1. Ứng dụng mạng CNN và kiến trúc MTCNN

Mạng CNN đóng vai trò trụ cột trong việc trích xuất thông tin ảnh khuôn mặt. Kiến trúc này sử dụng các lớp tích chập với các bộ lọc kích thước nhỏ. Bộ lọc trượt trên ảnh để phát hiện các cạnh, góc và đường nét đặc trưng. Để chuẩn bị đầu vào chất lượng, hệ thống ứng dụng mạng phân tầng MTCNN. Thuật toán MTCNN thực hiện ba bước dò tìm nối tiếp nhau. Đầu tiên, mô hình quét ảnh và đề xuất các khung chữ nhật chứa mặt người. Tiếp theo, hệ thống tinh chỉnh vùng biên và loại bỏ khung dự đoán sai lệch. Cuối cùng, thuật toán xác định 5 điểm mốc quan trọng gồm mắt, mũi và khóe miệng để căn chỉnh ảnh chuẩn xác.

3.2. Mô hình FaceNet và đồng bộ cơ sở dữ liệu

FaceNet biến đổi hình ảnh khuôn mặt đã căn chỉnh thành không gian vector Euclidean. Mỗi khuôn mặt sinh viên được đại diện bởi một chuỗi số 128 phần tử duy nhất. Hàm mất mát Triplet Loss huấn luyện mô hình phân tách rõ ràng giữa các đối tượng. Khoảng cách Euclidean giữa các vector càng nhỏ thể hiện mức độ tương đồng càng lớn. Sau khi nhận dạng thành công, phần mềm trích xuất mã số sinh viên tương ứng. Hệ thống kết nối với cơ sở dữ liệu quan hệ SQL hoặc NoSQL qua giao diện quản trị. Bản ghi điểm danh tự động chèn thông tin thời gian, môn học và trạng thái điểm diện. Toàn bộ tiến trình vận hành khép kín và an toàn bảo mật.

IV. Hiệu quả ứng dụng xử lý ảnh trong điểm danh tại ĐH SPKT TPHCM

Kết quả thực nghiệm khẳng định tính khả thi vượt trội của hệ thống điểm danh tự động. Thuật toán MTCNN và kiến trúc FaceNet duy trì hiệu suất nhận dạng ổn định. Chỉ số khoảng cách nội lớp đạt mức phân tán thấp, chứng tỏ các vector đại diện khuôn mặt sinh viên có độ nhất quán cao. Khoảng cách giữa các lớp người học khác nhau được mở rộng rõ rệt. Nhờ vậy, tỷ lệ nhận diện sai sót giữa các sinh viên được hạn chế tối đa. Giao diện phần mềm hiển thị trực tiếp khung viền nhận diện kèm họ tên người học ngay trên màn hình. Dữ liệu có mặt lập tức được ghi nhận và lưu trữ vào hệ thống cơ sở dữ liệu. Toàn bộ tiến trình chỉ mất chưa đầy một giây cho mỗi lượt xác thực. Nhà trường có thể triển khai giải pháp này rộng rãi tại các phòng thí nghiệm, giảng đường lớn và cổng ra vào. Công nghệ giúp tối ưu hóa chi phí vận hành và loại bỏ hoàn toàn tình trạng điểm danh hộ. Đây là bước tiến quan trọng trong lộ trình chuyển đổi số của Trường ĐH SPKT TPHCM.

4.1. Đánh giá độ chính xác và tính thực tiễn

Hệ thống đạt được tỷ lệ nhận diện chuẩn xác cao trong các kịch bản thử nghiệm phòng học. Mô hình phản hồi tức thì khi sinh viên xuất hiện trước ống kính camera. Việc tính toán các chỉ số Intra-class và Inter-class distance cho thấy tính đồng nhất mạnh mẽ của tập vector embeddings. Một số trường hợp khuôn mặt chụp thiếu sáng hoặc góc nghiêng lớn được khắc phục nhờ bổ sung mẫu huấn luyện. Giao diện điều khiển hiển thị trực quan thông tin sinh viên ngay khi phát hiện. Phần mềm hoạt động ổn định trên nền tảng phần cứng thông dụng, không đòi hỏi chi phí đầu tư hạ tầng máy chủ quá đắt đỏ.

4.2. Khả năng mở rộng vào chuyển đổi số nhà trường

Nghiên cứu mang đến giá trị thực tiễn cao cho tiến trình số hóa tại Trường ĐH SPKT TPHCM. Hệ thống điểm danh bằng xử lý ảnh dễ dàng tích hợp vào cổng thông tin đào tạo trực tuyến sẵn có. Dữ liệu chuyên cần của người học được cập nhật xuyên suốt theo thời gian thực. Giảng viên và cán bộ quản lý có thể truy xuất báo cáo thống kê chuyên cần chỉ qua một thao tác. Trong tương lai, mô hình có thể phát triển thêm tính năng nhận diện hành vi hoặc phân tích cảm xúc người học. Đây là tiền đề vững chắc để xây dựng mô hình lớp học thông minh và trường đại học số toàn diện.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong công tác quản lý giáo dục, quy trình điểm danh học sinh truyền thống bằng phương pháp gọi tên hoặc ký tên vào danh sách lớp bộc lộ nhiều điểm hạn chế. Quy trình thủ công này tiêu tốn nhiều thời gian giảng dạy của giáo viên, dễ xảy ra sai sót trong khâu ghi nhận và tiềm ẩn tình trạng thiếu minh bạch do điểm danh hộ. Nhằm giải quyết các bất cập này, đề tài "Ứng dụng xử lý ảnh trong điểm danh học sinh" của nhóm tác giả Phan Huỳnh Nguyên và Hoàng Minh Chương (chuyên ngành Công nghệ Kỹ thuật Điện tử - Viễn thông, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, thực hiện dưới sự hướng dẫn của ThS. Nguyễn Duy Thảo) tập trung ứng dụng kỹ thuật thị giác máy tính và học sâu để tự động hóa công tác điểm danh thông qua nhận diện khuôn mặt.

Mục tiêu trọng tâm của đề tài là nghiên cứu, thiết kế và phát triển một hệ thống kèm giao diện phần mềm có khả năng nhận diện khuôn mặt học sinh dựa trên mạng nơ-ron từ dữ liệu ảnh tĩnh hoặc video, đồng thời tự động cập nhật kết quả vào cơ sở dữ liệu theo thời gian thực. Theo quyết định giao nhiệm vụ và nội dung nghiên cứu được phê duyệt, đề tài thực hiện 6 nhiệm vụ cụ thể:

1. Tìm hiểu các cơ sở lý thuyết về xử lý ảnh số, bài toán nhận dạng khuôn mặt, học sâu và mô hình mạng nơ-ron tích chập.
2. Tìm hiểu và ứng dụng hệ thống nhận dạng, điểm danh học sinh bằng thuật toán mạng nơ-ron, nơ-ron tích chập và quản lý dữ liệu thu thập được trên cơ sở dữ liệu.
3. Thiết kế giao diện người dùng phục vụ thao tác vận hành và điểm danh.
4. Thi công phần mềm, chạy thử nghiệm và điều chỉnh hệ thống.
5. Đánh giá kết quả thực hiện và viết báo cáo khóa luận.
6. Bảo vệ luận văn tốt nghiệp.

Đối tượng nghiên cứu của đồ án là các thuật toán trích xuất đặc trưng, phát hiện và nhận diện khuôn mặt từ tập dữ liệu hình ảnh, video học sinh. Về phạm vi không gian và giới hạn kỹ thuật, dữ liệu đầu vào được thu thập từ camera điện thoại trong dải cường độ ánh sáng từ 100 đến 1000 lux. Hệ thống được giới hạn xử lý cho lớp học có quy mô tối đa 30 học sinh nhằm duy trì độ chính xác của mô hình; chương trình chỉ thực hiện điểm danh ở thời điểm đầu giờ học, chưa hỗ trợ phát hiện khi học sinh rời lớp giữa chừng. Toàn bộ phần mềm được triển khai và thử nghiệm trên máy tính cá nhân, chưa tích hợp mô hình phần cứng chuyên dụng độc lập tại phòng học, với định hướng ứng dụng thử nghiệm cho các cơ sở giáo dục từ bậc trung cấp trở xuống.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng phương pháp luận dựa trên các nguyên lý xử lý ảnh số, học máy (Machine Learning) và học sâu (Deep Learning). Trong mô hình học máy có giám sát, bài toán nhận diện học sinh được xếp vào nhóm phân loại đặc trưng. Để khắc phục các hạn chế của mạng nơ-ron nhân tạo truyền thống (ANN) khi xử lý dữ liệu ma trận điểm ảnh—như số lượng trọng số bùng nổ dẫn đến hiện tượng quá khớp (overfitting), thiếu khả năng bảo toàn cấu trúc không gian cục bộ và tính bất biến tịnh tiến—nhóm nghiên cứu ứng dụng kiến trúc mạng nơ-ron tích chập (Convolutional Neural Network - CNN).

Cấu trúc CNN trong đề tài gồm ba thành phần chủ đạo:

• Lớp tích chập (Convolutional Layer): Sử dụng các bộ lọc không gian (kernel kích thước 3x3 hoặc 5x5) trượt trên ma trận ảnh để tạo ra các bản đồ đặc trưng (feature maps). Giá trị tính toán đi qua hàm kích hoạt phi tuyến ReLU được định nghĩa theo công thức: $$f(x) = \max(0, x)$$
• Lớp gộp (Pooling Layer): Giảm số chiều không gian của bản đồ đặc trưng, từ đó giảm số lượng tham số tính toán và hạn chế quá khớp.
• Lớp kết nối đầy đủ (Fully Connected Layer): Nhận đầu vào là vector một chiều sau khi làm phẳng để tổng hợp các đặc trưng bậc cao và hỗ trợ phân loại.

Đối với tác vụ phát hiện khuôn mặt, tác giả sử dụng mạng nơ-ron tích chập đa nhiệm liên tầng MTCNN (Multi-Task Cascaded Convolutional Networks), bao gồm ba tầng mạng phối hợp tuần tự:

• P-Net (Proposal Network): Kiến trúc CNN nông, hoạt động trên kim tự tháp ảnh (image pyramid) với kích thước kernel 12x12 nhằm quét toàn bộ khung hình, tạo ra các khung bao ứng viên (candidate bounding boxes) sơ bộ và loại bỏ các vùng trùng lặp thông qua giải thuật Non-Maximum Suppression (NMS).
• R-Net (Refine Network): Tiếp nhận các khung bao từ P-Net, áp dụng kiến trúc sâu hơn để phân loại lại, loại bỏ các khung bao giả và tinh chỉnh tọa độ hình học.
• O-Net (Output Network): Tầng mạng phức tạp nhất, chịu trách nhiệm xác nhận lần cuối vùng khuôn mặt, tối ưu hóa tọa độ hộp giới hạn và xác định chính xác 5 điểm mốc giải phẫu (facial landmarks) bao gồm vị trí 2 mắt, đỉnh mũi và 2 khóe miệng.

Đối với tác vụ nhận diện danh tính theo hướng tiếp cận One-Shot Learning, tác giả sử dụng mạng FaceNet dựa trên cấu trúc Siamese Network. Mạng nơ-ron đóng vai trò là một bộ mã hóa ánh xạ ảnh khuôn mặt đầu vào thành một vector đặc trưng (embedding) trong không gian Euclid 128 chiều. Để so sánh mức độ tương đồng giữa hai vector khuôn mặt $A$ và $B$, hệ thống áp dụng công thức khoảng cách cosine (Cosine Distance): $$\text{Cosine Distance} = 1 - \frac{A \cdot B}{|A| |B|}$$ Khoảng cách cosine giữa hai vector càng nhỏ thì mức độ tương đồng danh tính giữa hai khuôn mặt càng cao và ngược lại.

Nguồn dữ liệu thực nghiệm phục vụ việc huấn luyện được xây dựng từ tập ảnh khuôn mặt của học sinh trong một lớp học, kết hợp với các kỹ thuật tăng cường dữ liệu ảnh học (data augmentation) bằng thư viện imgaug, xoay góc ảnh và thay đổi độ sáng để gia tăng kích thước mẫu.

Thiết kế và triển khai hệ thống

Hệ thống điểm danh được thiết kế theo mô hình xử lý phân tách thành hai khối chức năng độc lập: Khối huấn luyện (Training block) và Khối nhận diện (Inference block), tích hợp cùng hệ quản trị cơ sở dữ liệu MySQL và giao diện đồ họa người dùng xây dựng qua công cụ Qt Designer.

1. Kiến trúc khối huấn luyện

• Thu nhận dữ liệu: Dữ liệu ảnh chân dung học sinh chụp từ camera điện thoại được phân loại vào các thư mục riêng biệt theo từng cá nhân.
• Tiền xử lý và tăng cường: Đọc ảnh, chuyển đổi sang không gian mức xám để tăng cường độ tương phản, giảm nhiễu, tăng chi tiết rồi chuẩn hóa lại định dạng ảnh RGB với kích thước chuẩn 224x224 pixel.
• Trích xuất và lưu trữ đặc trưng: MTCNN phát hiện và căn chỉnh khuôn mặt; FaceNet xử lý vùng mặt cắt được để trích xuất vector embedding 128 chiều. Các vector đặc trưng cùng nhãn định danh học sinh được đóng gói và xuất thành tệp dữ liệu định dạng .pickle.

2. Kiến trúc khối nhận diện

• Tiếp nhận luồng dữ liệu: Chương trình hỗ trợ đầu vào từ tệp ảnh tĩnh hoặc video ghi hình lớp học.
• Tiền xử lý khung hình: Áp dụng thuật toán cân bằng biểu đồ mức xám cục bộ tương phản hạn chế (CLAHE), lọc song phương (bilateral filtering) và tăng cường độ sáng để làm rõ chi tiết khuôn mặt trong khung hình.
• Định vị và so khớp: MTCNN quét và trích xuất các khuôn mặt hợp lệ (thỏa mãn ngưỡng diện tích, độ tin cậy và 5 điểm mốc). FaceNet trích xuất vector 128 chiều tương ứng cho từng khuôn mặt phát hiện được, sau đó tiến hành so sánh với tập embedding trong tệp .pickle bằng khoảng cách cosine. Khi giá trị khoảng cách nằm dưới ngưỡng quy định, hệ thống gán nhãn tên học sinh và hiển thị độ tin cậy.

3. Thiết kế cơ sở dữ liệu MySQL

Hệ thống sử dụng cơ sở dữ liệu quan hệ MySQL để quản lý hai nhóm thông tin chính:

• Bảng user: Quản lý tài khoản đăng nhập của giáo viên hoặc người quản trị lớp học, bao gồm các trường username và password.
• Bảng danh sách học sinh: Lưu trữ danh sách học sinh tương ứng với từng lớp học, mã số học sinh và trạng thái điểm danh theo các tuần học. Khi hoàn tất chu trình nhận diện, phần mềm thực hiện câu lệnh truy vấn SQL để tự động cập nhật trạng thái có mặt vào bảng điểm danh.

4. Giao diện người dùng

Giao diện phần mềm được lập trình bằng Python kết hợp Qt Designer, tổ chức thành ba màn hình tương tác:

• Màn hình Đăng nhập (Login): Xác thực người dùng qua tài khoản và mật khẩu đã lưu trong cơ sở dữ liệu MySQL.
• Màn hình Đăng ký (Register): Hỗ trợ tạo mới tài khoản quản lý lớp học khi chưa có thông tin trên hệ thống.
• Màn hình Chính (Main Interface): Cung cấp các nút chức năng chọn tuần học, chọn tệp ảnh hoặc video nguồn, thêm học sinh mới, lưu danh sách, xuất dữ liệu và thanh trạng thái tiến trình (progress bar) thể hiện quá trình nhận diện.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày lý do chọn đề tài, phân tích thực trạng điểm danh truyền thống trong các cơ sở giáo dục, đặt ra mục tiêu tự động hóa quy trình quản lý sĩ số thông qua công nghệ xử lý ảnh số. Tác giả xác lập 6 nội dung nghiên cứu chính cùng 5 điều kiện giới hạn kỹ thuật của hệ thống (sĩ số tối đa 30 học sinh, điều kiện chiếu sáng 100-1000 lux, xử lý ảnh tĩnh/video trên máy tính, chỉ điểm danh đầu giờ và định hướng áp dụng từ cấp trung cấp trở xuống). Bố cục toàn văn đồ án được chia làm 5 chương.

Chương 2: Cơ sở lý thuyết

Chương này tổng thuật nền tảng lý thuyết liên quan đến xử lý ảnh số và học sâu. Nội dung bao gồm việc phân loại học máy (học có giám sát với bài toán hồi quy, phân loại; học không giám sát với bài toán phân cụm, giảm chiều dữ liệu qua PCA, LLE, phát hiện bất thường). Tác giả đi sâu phân tích kiến trúc mạng nơ-ron tích chập CNN (lớp tích chập, hàm ReLU, lớp pooling, lớp kết nối đầy đủ) để chứng minh ưu thế so với mạng ANN truyền thống. Tiếp đó, nguyên lý hoạt động của mạng liên tầng MTCNN (P-Net, R-Net, O-Net) và mô hình trích xuất vector embedding 128 chiều FaceNet dựa trên Siamese Network được trình bày chi tiết kèm công thức khoảng cách cosine.

Chương 3: Thiết kế hệ thống

Chương 3 chi tiết hóa quy trình thiết kế toàn bộ hệ thống điểm danh. Tác giả trình bày sơ đồ đặc tả hệ thống, sơ đồ khối và lưu đồ giải thuật chi tiết của khối huấn luyện mô hình và khối nhận diện (cho cả ảnh tĩnh lẫn dữ liệu video). Chương này cũng mô tả cấu trúc hai bảng dữ liệu trong MySQL (user và bảng quản lý học sinh), giải thích phương thức đồng bộ dữ liệu điểm danh theo thời gian thực và trình bày thiết kế các màn hình giao diện đồ họa được dựng bằng Qt Designer.

Chương 4: Kết quả thực nghiệm

Chương 4 cung cấp số liệu thực nghiệm thu được từ quá trình huấn luyện và thử nghiệm nhận diện. Dữ liệu thử nghiệm gồm 15 thư mục tương ứng với 15 học sinh trong lớp học. Quá trình huấn luyện sinh ra 702 vector embeddings trong thời gian thực thi là 486 giây. Chương này phân tích chi tiết chỉ số khoảng cách nội lớp (Intra-class distance) dao động quanh mức 0.3 và khoảng cách liên lớp (Inter-class distance) giữa các học sinh. Kết quả nhận diện trên ảnh tĩnh và video được chụp màn hình minh họa, kèm theo bảng cập nhật trạng thái có mặt tự động trên cơ sở dữ liệu MySQL và giao diện người dùng.

Chương 5: Kết luận và hướng phát triển

Chương 5 tóm tắt các mục tiêu công nghệ đã đạt được của đề tài, bao gồm việc xây dựng hoàn chỉnh phần mềm nhận diện khuôn mặt kết hợp cơ sở dữ liệu và giao diện điểm danh. Tác giả thẳng thắn chỉ ra các điểm giới hạn còn tồn đọng và đề xuất các giải pháp nâng cấp trong tương lai như mở rộng quy mô sĩ số, nâng cao khả năng xử lý dưới điều kiện ánh sáng phức tạp và tích hợp phần cứng camera trực tiếp tại lớp học.

Kết quả và đóng góp

1. Kết quả thực nghiệm chính

Quá trình đánh giá thực nghiệm mô hình trên tập dữ liệu thực tế mang lại các số liệu cụ thể được ghi nhận trong văn bản khóa luận:

Thông số thực nghiệm	Giá trị ghi nhận trong khóa luận
Số lượng thư mục học sinh thử nghiệm	15 học sinh (tương ứng 15 thư mục dữ liệu)
Số lượng ảnh thu thập ban đầu mỗi học sinh	7 đến 10 ảnh cận cảnh (dao động 9 - 12 ảnh sau tiền xử lý)
Tổng số vector embedding thu được từ huấn luyện	702 embeddings
Thời gian hoàn thành chu trình huấn luyện	486 giây
Chiều không gian vector đặc trưng (FaceNet)	128 chiều
Ngưỡng dao động khoảng cách nội lớp (Intra-class distance)	Dao động trong khoảng xấp xỉ 0.3
Giới hạn sĩ số thiết kế tối đa của hệ thống	30 học sinh
Dải điều kiện ánh sáng thu nhận dữ liệu	100 đến 1000 lux

Phân tích định lượng từ đồ án cho thấy:

• Khoảng cách nội lớp (Intra-class distance): Các học sinh như Hùng, Khoa có giá trị khoảng cách nội lớp rất thấp, thể hiện sự đồng nhất và nhất quán cao giữa các vector embedding của cùng một người. Ngược lại, học sinh Tiến và Tùng có giá trị nội lớp lớn hơn do ảnh hưởng của sự dao động về góc chụp, ánh sáng hoặc độ nét của ảnh đầu vào.
• Khoảng cách liên lớp (Inter-class distance): Các học sinh như Linh, Anh có giá trị khoảng cách liên lớp cao, cho thấy vector đặc trưng có độ tách biệt rõ rệt so với các học sinh khác, tạo điều kiện thuận lợi cho việc nhận diện chính xác. Một số học sinh như Hùng, Kiệt có khoảng cách liên lớp thấp hơn, tiềm ẩn nguy cơ nhầm lẫn danh tính khi nhận diện.
• Cân bằng dữ liệu: Tác giả chủ động điều chỉnh số lượng ảnh mẫu: học sinh Phương ngồi xa camera có khuôn mặt nhỏ và ít đặc trưng nên được thu thập nhiều ảnh hơn; học sinh Tiến ngồi gần có khuôn mặt lớn, rõ nét nên số lượng ảnh ít lại nhằm tránh hiện tượng mô hình thiên vị trong quá trình nhận diện.

2. Đóng góp kỹ thuật và giải pháp đề xuất

• Xây dựng thành công quy trình khép kín kết hợp bộ phát hiện MTCNN và trích xuất đặc trưng FaceNet để nhận diện khuôn mặt tự động phục vụ công tác điểm danh.
• Tích hợp đồng bộ luồng xử lý nhận diện với hệ quản trị cơ sở dữ liệu quan hệ MySQL, cho phép tự động cập nhật trạng thái có mặt của học sinh theo từng tuần học mà không cần sự can thiệp thủ công của giáo viên.
• Phát triển giao diện đồ họa trực quan qua Qt Designer, tích hợp các tính năng nghiệp vụ: đăng nhập phân quyền theo giáo viên, đăng ký tài khoản mới, chọn tuần học, tải tệp ảnh/video và hiển thị trực quan khung nhận diện kèm tên và độ tin cậy.

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế của đề tài

Dựa trên phạm vi nghiên cứu và các giới hạn kỹ thuật được tác giả trình bày:

• Hệ thống bị giới hạn ở quy mô tối đa 30 học sinh; khi sĩ số tăng lên, độ chính xác và hiệu năng nhận diện chưa được kiểm chứng đầy đủ.
• Quy trình điểm danh chỉ được thực hiện vào thời điểm đầu giờ học, chưa có chức năng phát hiện và cảnh báo khi học sinh tự ý rời khỏi phòng học trong suốt tiết học.
• Mô hình phụ thuộc nhiều vào chất lượng nguồn hình ảnh và video; yêu cầu hình ảnh phải rõ nét và điều kiện ánh sáng phòng học phải nằm trong khoảng đủ sáng từ 100 đến 1000 lux, không bị chói lóa.
• Hệ thống hoàn toàn vận hành dưới dạng phần mềm cài đặt trên máy tính cá nhân, chưa được triển khai đóng gói thành thiết bị phần cứng nhúng hoặc hệ thống camera chuyên dụng cố định tại giảng đường.
• Phạm vi triển khai chỉ mới được định hướng thử nghiệm cho các trường từ bậc trung cấp trở xuống, chưa đủ điều kiện mở rộng cho các trường đại học lớn hoặc môi trường doanh nghiệp có quy mô nhân sự phức tạp.

2. Hướng nghiên cứu tiếp

• Tối ưu hóa thuật toán để nâng cao độ chính xác khi nhận diện trong điều kiện ánh sáng yếu, ngược sáng hoặc ánh sáng không đồng đều.
• Mở rộng tập dữ liệu huấn luyện cho những cá nhân có khoảng cách nội lớp cao (như trường hợp học sinh Tùng) để tăng cường tính ổn định của vector embedding.
• Phát triển tính năng giám sát sĩ số liên tục trong suốt buổi học, tự động ghi nhận khi học sinh ra hoặc vào lớp học.
• Tích hợp hệ thống phần mềm với phần cứng chuyên dụng (camera IP, máy tính nhúng tại lớp học) để thử nghiệm triển khai thực tế trên diện rộng.

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho sinh viên, giảng viên và các nhóm nghiên cứu thuộc khối ngành Công nghệ Kỹ thuật Điện tử - Viễn thông, Công nghệ Thông tin, Khoa học Máy tính và Kỹ thuật Điều khiển - Tự động hóa đang thực hiện các đề tài liên quan đến xử lý ảnh số và thị giác máy tính.

Các nội dung có giá trị tham khảo ứng dụng cao trong đồ án gồm:

• Quy trình chuẩn hóa chuỗi xử lý kết hợp giữa mạng MTCNN (định vị 5 điểm mốc khuôn mặt) và FaceNet (mã hóa vector đặc trưng 128 chiều) theo nguyên lý One-Shot Learning.
• Phương pháp đánh giá chất lượng bộ dữ liệu huấn luyện thông qua việc phân tích hai chỉ số khoảng cách nội lớp (Intra-class distance) và khoảng cách liên lớp (Inter-class distance).
• Cách thức xây dựng kiến trúc phần mềm tích hợp đa thành phần trong môi trường Python: xử lý ảnh, liên kết cơ sở dữ liệu MySQL và thiết kế giao diện người dùng đồ họa bằng Qt Designer.

Câu hỏi thường gặp

1. Hệ thống sử dụng thuật toán nào cho tác vụ định vị khuôn mặt và trích xuất đặc trưng nhận diện?
Hệ thống sử dụng mạng nơ-ron tích chập đa nhiệm liên tầng MTCNN (gồm ba mạng con P-Net, R-Net và O-Net) để phát hiện khuôn mặt và định vị 5 điểm mốc giải phẫu. Sau đó, mô hình FaceNet được sử dụng để trích xuất đặc trưng khuôn mặt thành vector embedding 128 chiều trong không gian Euclid.

2. Độ tương đồng giữa hai khuôn mặt được xác định bằng phương pháp và công thức toán học nào?
Độ tương đồng giữa hai khuôn mặt được tính toán thông qua khoảng cách cosine (Cosine Distance) giữa hai vector embedding 128 chiều $A$ và $B$. Công thức tính là $\text{Cosine Distance} = 1 - \frac{A \cdot B}{|A| |B|}$. Khoảng cách càng nhỏ biểu thị hai khuôn mặt có khả năng cùng thuộc về một người càng cao.

3. Kết quả huấn luyện thực nghiệm ghi nhận được bao nhiêu vector đặc trưng và trong thời gian bao lâu?
Trong quá trình thử nghiệm với dữ liệu của 15 học sinh (mỗi học sinh ban đầu có từ 7 đến 10 ảnh), mô hình huấn luyện đã trích xuất được tổng cộng 702 vector embeddings trong thời gian thực thi là 486 giây, sau đó toàn bộ dữ liệu này được lưu trữ vào tệp định dạng .pickle.

4. Chỉ số Intra-class distance và Inter-class distance trong đồ án có ý nghĩa gì đối với chất lượng mô hình?
Chỉ số Intra-class distance (khoảng cách nội lớp) phản ánh độ sai lệch giữa các vector đặc trưng của cùng một học sinh; giá trị này dao động quanh mức 0.3 và càng thấp thì dữ liệu của học sinh đó càng có tính nhất quán cao. Chỉ số Inter-class distance (khoảng cách liên lớp) phản ánh sự khác biệt giữa các học sinh khác nhau; giá trị này càng cao thì mô hình càng phân biệt rõ ràng giữa các cá nhân, giúp giảm thiểu rủi ro nhận diện nhầm lẫn.

5. Hệ thống điểm danh này có những giới hạn kỹ thuật cụ thể nào trong quá trình vận hành?
Hệ thống chỉ hỗ trợ lớp học có sĩ số tối đa 30 học sinh, yêu cầu cường độ ánh sáng đạt từ 100 đến 1000 lux, chỉ thực hiện chức năng điểm danh một lần ở đầu giờ học và hiện tại chỉ được vận hành thử nghiệm trên máy tính cá nhân chứ chưa có mô hình phần cứng triển khai thực tế.

Kết luận

Khóa luận tốt nghiệp của tác giả Phan Huỳnh Nguyên và Hoàng Minh Chương đã hoàn thành việc thiết kế và xây dựng thành công phần mềm điểm danh học sinh tự động ứng dụng kỹ thuật xử lý ảnh và mạng nơ-ron tích chập. Giải pháp công nghệ kết hợp hiệu quả giữa mạng MTCNN để định vị khuôn mặt và FaceNet để trích xuất vector đặc trưng 128 chiều, kết nối đồng bộ với cơ sở dữ liệu MySQL và giao diện điều khiển trực quan Qt Designer. Dù còn một số giới hạn về quy mô sĩ số tối đa 30 học sinh và sự phụ thuộc vào điều kiện chiếu sáng phòng học, công trình đã giải quyết tốt bài toán tự động hóa quy trình quản lý điểm danh và cung cấp tài liệu tham khảo có giá trị kỹ thuật thực tiễn cho các nghiên cứu ứng dụng thị giác máy tính tiếp theo.

Trích đoạn nội dung tài liệu

Chương 1: Tổng Quan. Chương này nêu ra được các vấn đề về tình hình nghiên cứu hiện nay, lý do, mục tiêu chọn đề tài, giới hạn và bố cục của đề tài. • Chương 2: Cơ Sở Lý Thuyết. Chương này nói ra các lý thuyết liên quan đến xử lý ảnh, mạng neural nhân tạo, mạng no-ron tích chập và các phương pháp phát hiện và nhận diện khuôn mặt.

• Chương 3: Thiết Kế Hệ Thống. Chương này trình bày các khối của hệ thống, quá trình nhận diện. • Chương 4: Kết Quả, Nhận Xét và Đánh Giá. Trình bày quá trình và kết quả mô phỏng, nhận xét quá trình huấn luyện và nhận diện khuôn mặt.

Đưa ra các ưu điểm nhược điểm của hệ thống. • Chương 5: Kết Luận và Hướng Phát Triển Kết luận lại hệ thống này ra sao và hướng phát triển cho tương lai. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 3 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT CHƯƠNG 2.

CƠ SỞ LÝ THUYẾT Nhận dạng là một lĩnh vực quan trọng trong xử lý ảnh, tập trung vào việc xác định danh tính con người hoặc các đặc điểm từ dữ liệu hình ảnh, từ việc so sánh với các mẫu đã được huấn luyện từ trước. Trong đồ án này, sử dụng nhận dạng khuôn mặt, để tạo ra hệ thống tự động điểm danh học sinh với độ chính xác cao, làm giảm thời gian của thầy cô trong quá trình điểm danh. Hệ thống sử dụng mạng no-ron tích chập đa nhiệm liên tầng (MTCNN) để phát hiện và định vị khuôn mặt, cùng với FaceNet để trích xuất đặc trưng và nhận diện danh tính dựa trên phương pháp One-Shot Learning. Các phương pháp nhận dạng được sử dụng bao gồm: Phương pháp học sâu: Sử dụng MTCNN và FaceNet để tự động trích xuất đặc trưng, đạt độ chính xác cao.

Phương pháp One-Shot Learning với Siamese Network: Cho phép nhận diện với chỉ một mẫu tham chiếu. Sau khi kết hợp các bước trên đã tạo nên một hệ thống nhận diện khuôn mặt hiệu quả, đáp ứng nhu cầu tự động hóa điểm danh. Để hiểu rõ hơn về các vấn đề liên quan đến nhận dạng, đặc biệt là nhận dạng khuôn mặt và các phương pháp nói trên thì chúng ta sẽ tìm hiểu các nội dung sau.1 GIỚI THIỆU VỀ XỬ LÝ ẢNH Xử lý ảnh (Image Processing) là một lĩnh vực thuộc khoa học máy tính, tập trung vào các thuật toán và kỹ thuật để phân tích, biến đổi thông tin từ dữ liệu ảnh số. Công nghệ này cho phép máy tính hiểu và xử lý hình ảnh theo cách tương tự như thị giác con người, từ việc cải thiện chất lượng ảnh, phát hiện đối tượng, đến nhận diện các đặc điểm cụ thể như khuôn mặt hay ký tự [1].

Các phương pháp xử lý ảnh được ứng dụng và phát triển trong rất nhiều lĩnh vực khác nhau: • Lĩnh vực y tế: Chẩn đoán hình ảnh: Xử lý ảnh được sử dụng để các bác sĩ thấy rõ hình ảnh hơn để chẩn đoán bệnh một cách chính xác như MRI, CT scans,. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 4 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT • Lĩnh vực công nghiệp: Áp dụng vào quá trình kiểm tra phát hiện chất lượng. • Lĩnh vực an ninh: dung nhận dạng khuôn mặt để giám sát, phát hiện các vật nguy hiểm như vũ khí chất nổ.2 GIỚI THIỆU CƠ SỞ VỀ HỌC MÁY VÀ HỌC SÂU 2.

Hiện nay học máy được chia thành 3 bao gồm: Học có giám sát: Là một thuật toán máy học được cung cấp một tập dữ liệu bao gồm thông tin đầu vào và thông tin đầu ra (hay còn gọi là các đặc trưng và nhãn). Mục tiêu là tìm hiểu các mẫu trong bộ dữ liệu và tạo ra mô hình dựa trên thông tin đầu vào và ra.