Luận Văn Thạc Sĩ: Ứng Dụng Thuật Toán Nhận Dạng Trong Điểm Danh Học Sinh

Luận văn thạc sĩ toán học phân tích vận dụng thuật toán nhận dạng để điểm danh học sinh trong lớp học tại trường thpt, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả

• Tác giả: Nguyễn Hoàng Thanh
• Người hướng dẫn: PGS. Trần Mạnh Hà
• Trường học: Trường Đại Học Bà Rịa – Vũng Tàu
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Vận Dụng Thuật Toán Nhận Dạng Ảnh Để Điểm Danh Học Sinh Trong Lớp Học Tại Trường THPT
• Loại tài liệu: luận văn
• Năm xuất bản: 2023
• Địa điểm: Bà Rịa – Vũng Tàu

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC HÌNH ẢNH – SƠ ĐỒ
• DANH MỤC CÁC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI VÀ NỘI DUNG
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu của luận văn
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Cấu trúc luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VỀ XỬ LÝ ẢNH SỐ, MACHINE LEARNING - DEEP LEARNING VÀ CÁC PHƯƠNG PHÁP GIÚP PHÁT HIỆN KHUÔN MẶT VÀ NHẬN DIỆN GƯƠNG MẶT NGƯỜI TRÊN ẢNH
• 2.1. Cở sở lý thuyết về xử lý ảnh số, xử lý các vấn đề trong xử lý ảnh [1][4][15][33]
• 2.1.1. Cơ sở lý thuyết xử lý ảnh
• 2.1.2. Các Khía cạnh Cơ bản của Xử lý Hình ảnh
• 2.1.2.1. Hình ảnh Số và Điểm ảnh
• 2.1.2.2. Nắn chỉnh biến dạng
• 2.1.2.3. Phương pháp khử nhiễu ảnh
• 2.1.2.4. Phương pháp điều chỉnh mức xám của ảnh
• 2.1.3. Phương pháp nhận dạng [14]
• 2.2. Một số kỹ thuật xử lý ảnh số [5]
• 2.2.1. Các phương pháp xử lý ảnh nhiễu
• 2.2.1.1. Kỹ thuật trung bình
• 2.2.1.2. Phương pháp trung vị
• 2.2.1.3. Phương pháp thông thấp
• 2.2.1.4. Kỹ thuật lọc thông cao
• 2.2.2. Phương pháp sử dụng các điểm biên
• 2.2.3. Một số kĩ thuật phát hiện biên
• 2.2.3.1. Kỹ thuật gradient
• 2.2.3.2. Kỹ thuật Laplace
• 2.2.3.3. Kỹ thuật sobel
• 2.2.3.4. Kỹ thuật prewitt
• 2.3. Phương thức hoạt động của học sâu
• 2.4. Các ứng dụng phổ biến của học sâu trong xử lý ảnh
• 2.5. Hiển thị màu trên ảnh
• 2.6. Kỹ thuật nhận dạng gương mặt
• 2.7. Phân loại đối tượng và người thông qua các đặc điểm
• 2.8. Các phương pháp nhận dạng đối tượng được sử dụng hiện nay [7-9] [11-13]
• 2.8.1. Phân loại dựa trên Đặc trưng
• 2.8.2. Nhận dạng dựa trên mô hình
• 2.8.3. Nhận dạng đối tượng dựa trên so khớp mẫu
• 2.8.4. Nhận dạng đối tượng dựa trên diện mạo (Face Recognition)
• 2.9. Một số kỹ thuật phát hiện người [30-32]
• 2.10. Kỹ thuật phát hiện đối tượng bằng mạng thần kinh tích chập
• 2.10.1. Lớp tích chập (Convolution Layer)
• 2.10.2. Lớp chuyển đổi (ReLU Layer)
• 2.10.3. Lớp tổng hợp (Pooling Layer)
• 2.10.4. Lớp kết nối đầy đủ (Fully-Connected Layer)
• 2.10.5. Các bước thực hiện nhận dạng đối tượng bằng mạng thần kinh tích chập
• 2.11. Sử dụng thuật toán MTCNN để phát hiện gương mặt
• 2.11.1. Mạng nơ ron P-Net
• 2.11.2. Mạng nơ ron R-Net
• 2.11.3. Mạng nơ ron O-Net
• 2.11.4. Phương thức tăng cường chất lượng dữ liệu của MTCNN
• 2.11.4.1. Xác định tọa độ hai mắt và phân loại vị trí mắt
• 2.11.4.2. Xác định góc xoay ảnh
• 2.12. Kỹ thuật nhận diện gương mặt và định danh sử dụng Facenet
• 2.12.1. Giới thiệu về nhận dạng gương mặt
• 2.12.2. Nhận dạng gương mặt với thuật toán FaceNet
• 2.12.3. Thuật toán Triplet Loss
• 2.12.4. Phương pháp đo độ tương tự (cosine similarity)
• 3. CHƯƠNG 3: GIẢI PHÁP ĐIỂM DANH HỌC SINH SỬ DỤNG KỶ THUẬT NHẬN DẠNG ĐỐI TƯỢNG KẾT HỢP
• 3.1. Giải pháp cho bài toán điểm danh học sinh
• 3.1.1. Bài toán đặt ra
• 3.1.2. Phương pháp giải quyết bài toán
• 3.2. Xây dựng mô hình nhận dạng gương mặt
• 3.2.1. Thu thập mẫu dữ liệu
• 3.2.2. Thu thập ảnh điểm danh
• 3.2.3. Phát hiện khuôn mặt từ ảnh dữ liệu vào
• 3.2.4. Tiến hành nhận dạng khuôn mặt với ảnh mẫu
• 3.3. Dữ liệu thu thập
• 3.3.1. Dữ liệu ảnh mẫu để thực hiện huấn luyện
• 3.3.2. Dữ liệu đầu vào để thực hiện lấy khuôn mặt
• 3.4. Các yếu tố để mô hình đạt được hiệu quả
• 3.4.1. Một số quy tắc cần thực hiện
• 3.4.2. Các trường hợp phát hiện và nhận dạng sai
• 4. CHƯƠNG 4: QUY TRÌNH VÀ KẾT QUẢ THỰC NGHIỆM VIỆC ÁP DỤNG TRONG THỰC TẾ TẠI LỚP HỌC
• 4.1. Cài đặt thực nghiệm
• 4.2. Cấu trúc chương trình chính
• 4.3. Quy trình hoạt động hệ thống
• 4.3.1. Mô tả quy trình lấy mẫu điểm danh ban đầu
• 4.3.2. Mô tả quy trình lấy dữ liệu đầu vào – đầu ra
• 4.3.3. Mô tả quy trình điểm danh
• 4.4. Kết quả của quá trình thực nghiệm
• 4.5. Đánh giá kết quả quá trình thực nghiệm
• 4.6. Kết luận và phương hướng phát triển đề tài
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về thuật toán nhận dạng

Trong bối cảnh phát triển công nghệ, thuật toán nhận dạng đã trở thành một công cụ quan trọng trong nhiều lĩnh vực, bao gồm giáo dục. Việc áp dụng thuật toán nhận dạng vào điểm danh học sinh tại các trường THPT không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc xác định danh tính học sinh. Hệ thống này hoạt động bằng cách sử dụng camera để ghi lại hình ảnh của học sinh và áp dụng các phương pháp nhận diện khuôn mặt để xác định sự hiện diện của họ trong lớp học. Như vậy, công nghệ giáo dục không chỉ dừng lại ở việc giảng dạy mà còn mở rộng ra các lĩnh vực quản lý và theo dõi học sinh.

1.1. Lợi ích của việc tự động hóa điểm danh

Việc tự động hóa điểm danh học sinh mang lại nhiều lợi ích cho cả giáo viên và học sinh. Đầu tiên, quy trình này giúp tiết kiệm thời gian, cho phép giáo viên tập trung vào việc giảng dạy hơn là các thủ tục hành chính. Thứ hai, độ chính xác của việc điểm danh được nâng cao, giảm thiểu khả năng nhầm lẫn trong các lớp học đông đúc. Cuối cùng, việc không phải tham gia vào quy trình điểm danh thủ công giúp tạo ra trải nghiệm tích cực hơn cho học sinh, từ đó thúc đẩy tinh thần tham gia học tập của họ.

II. Cơ sở lý thuyết về xử lý ảnh và nhận dạng

Cơ sở lý thuyết về xử lý ảnh là nền tảng quan trọng trong việc phát triển thuật toán nhận dạng. Hệ thống nhận diện khuôn mặt dựa vào việc xử lý các hình ảnh thu được từ camera. Các bước chính bao gồm tiền xử lý ảnh, trích xuất đặc trưng và nhận dạng. Việc nhận diện khuôn mặt được thực hiện thông qua các mô hình học sâu như CNN, MTCNN. Các phương pháp này giúp phát hiện và nhận diện khuôn mặt một cách chính xác, từ đó hỗ trợ cho quá trình điểm danh học sinh.

2.1. Các phương pháp xử lý ảnh

Trong xử lý ảnh, có nhiều phương pháp khác nhau được áp dụng như lọc trung bình, khử nhiễu, và điều chỉnh mức xám. Những phương pháp này giúp cải thiện chất lượng hình ảnh trước khi đưa vào quá trình nhận diện. Đặc biệt, việc sử dụng các phương pháp này không chỉ giúp tăng cường độ chính xác mà còn giảm thiểu sai sót trong quá trình nhận diện. Các kỹ thuật này đều có vai trò quan trọng trong việc xây dựng một hệ thống quản lý học sinh hiệu quả và hiện đại.

III. Giải pháp điểm danh học sinh sử dụng nhận diện khuôn mặt

Giải pháp điểm danh học sinh thông qua việc sử dụng thuật toán nhận dạng là một bước tiến lớn trong quản lý giáo dục. Hệ thống này không chỉ giúp tự động hóa quy trình điểm danh mà còn cung cấp dữ liệu chính xác về sự hiện diện của học sinh trong lớp. Việc xây dựng mô hình nhận diện khuôn mặt bao gồm các bước như thu thập dữ liệu, phát hiện khuôn mặt và nhận diện. Mỗi bước đều cần được thực hiện một cách cẩn thận để đảm bảo hiệu quả cao nhất cho hệ thống.

3.1. Quy trình thực hiện

Quy trình thực hiện giải pháp này bắt đầu từ việc thu thập mẫu ảnh của học sinh. Sau đó, các ảnh này sẽ được xử lý để phát hiện khuôn mặt bằng thuật toán MTCNN. Tiếp theo, các khuôn mặt sẽ được xác định và so sánh với dữ liệu mẫu để thực hiện việc điểm danh. Quy trình này không chỉ đơn giản hóa công việc cho giáo viên mà còn nâng cao tính chính xác trong việc quản lý học sinh.

IV. Kết quả thực nghiệm và ứng dụng thực tế

Kết quả thực nghiệm cho thấy hệ thống điểm danh học sinh sử dụng thuật toán nhận dạng có độ chính xác cao và hiệu suất tốt trong môi trường lớp học. Việc áp dụng công nghệ này không chỉ giúp cải thiện quy trình điểm danh mà còn tạo ra một môi trường học tập hiện đại hơn. Hệ thống này có thể được mở rộng và áp dụng tại nhiều trường học khác nhau, góp phần nâng cao hiệu quả quản lý giáo dục.

4.1. Đánh giá kết quả

Đánh giá kết quả thực nghiệm cho thấy rằng việc sử dụng công nghệ thông tin trong trường học đã mang lại nhiều lợi ích thiết thực. Hệ thống không chỉ giúp giáo viên tiết kiệm thời gian mà còn tạo ra một trải nghiệm học tập tích cực cho học sinh. Từ đó, có thể thấy rằng việc áp dụng AI trong giáo dục không chỉ là xu hướng mà còn là yêu cầu thiết yếu trong thời đại công nghệ 4.0.

Nội dung chính

Tổng quan nghiên cứu

Điểm danh truyền thống tại các cơ sở giáo dục phổ thông hiện nay tiêu tốn từ 5 đến 10 phút trong mỗi tiết học 45 phút, tương đương việc lãng phí khoảng 10% đến 15% thời lượng giảng dạy của giáo viên. Bên cạnh việc tiêu hao thời gian, phương pháp điểm danh bằng cách gọi tên thủ công hoặc ký tên giấy còn tiềm ẩn sai sót từ 5% đến 8% do nhầm lẫn hoặc điểm danh hộ trong các lớp học đông đúc có sĩ số từ 40 đến 45 học sinh. Nhằm giải quyết triệt để vấn đề này, luận văn thạc sĩ chuyên ngành Công nghệ thông tin với đề tài "Vận dụng thuật toán nhận dạng ảnh để điểm danh học sinh trong lớp học tại trường THPT" của học viên Nguyễn Hoàng Thanh, dưới sự hướng dẫn khoa học của PGS. Trần Mạnh Hà tại Trường Đại học Bà Rịa – Vũng Tàu (hoàn thành vào tháng 09/2023), đã tập trung nghiên cứu giải pháp tự động hóa toàn diện quy trình kiểm diện lớp học.

Mục tiêu cốt lõi của nghiên cứu là xây dựng mô hình điểm danh thông minh theo thời gian thực dựa trên thị giác máy tính và học sâu. Bằng việc kết hợp mạng nơ-ron tích chập đa tầng để phát hiện khuôn mặt và thuật toán trích xuất vector đặc trưng diện mạo, hệ thống có khả năng nhận diện chính xác danh tính học sinh trong lớp học thông qua luồng video từ camera tĩnh. Nghiên cứu được triển khai thử nghiệm thực tế tại Trường Trung học Phổ thông Đinh Tiên Hoàng với phạm vi không gian phòng học tiêu chuẩn. Giải pháp mang lại ý nghĩa thực tiễn to lớn khi rút ngắn thời gian điểm danh xuống dưới 30 giây cho toàn bộ lớp học, giảm tải 100% thao tác thủ công cho giáo viên và cung cấp dữ liệu chuyên cần minh bạch với độ trễ ghi nhận chỉ dưới 1 giây.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng lý thuyết xử lý ảnh số kết hợp học sâu (Deep Learning). Hai mô hình nòng cốt được vận dụng bao gồm mạng Multi-task Cascaded Convolutional Networks (MTCNN) và kiến trúc FaceNet:

• Mạng nơ-ron tích chập đa tầng MTCNN: Cấu trúc gồm 3 mạng CNN xếp chồng hoạt động liên hoàn để phát hiện vị trí khuôn mặt và trích xuất 5 điểm mốc quan trọng (2 mắt, 1 mũi, 2 khóe môi). Giai đoạn 1 sử dụng Proposal Network (P-Net) với kích thước đầu vào $12 \times 12 \times 3$ để quét nhanh các vùng ứng viên. Giai đoạn 2 dùng Refine Network (R-Net) kích thước $24 \times 24 \times 3$ nhằm loại bỏ các cửa sổ giả lập. Giai đoạn 3 sử dụng Output Network (O-Net) kích thước $48 \times 48 \times 3$ để tinh chỉnh khung giới hạn và xác định tọa độ các điểm mốc hình học.
• Kiến trúc mạng FaceNet: Sử dụng hàm mất mát Triplet Loss để ánh xạ hình ảnh khuôn mặt vào không gian Euclid đa chiều (128 hoặc 512 chiều). Độ tương đồng giữa ảnh thực tế và ảnh mẫu trong cơ sở dữ liệu được đo lường bằng khoảng cách khoảng cách Euclid hoặc độ tương tự Cosine (Cosine Similarity).
• Các khái niệm bổ trợ: Các kỹ thuật tiền xử lý ảnh gồm bộ lọc trung vị (Median Filter) ma trận $3 \times 3$, phép biến đổi Gamma điều chỉnh mức xám, và kỹ thuật căn chỉnh góc xoay khuôn mặt dựa trên phương trình nối tâm hai mắt $C_l(x_{cl}, y_{cl})$ và $C_r(x_{cr}, y_{cr})$.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp định lượng trên tập dữ liệu thực tế:

• Nguồn dữ liệu và cỡ mẫu: Bộ dữ liệu bao gồm hơn 500 ảnh chụp mẫu khuôn mặt chuẩn của học sinh các lớp học tại Trường THPT Đinh Tiên Hoàng, cùng hàng trăm khung hình video ghi nhận trực tiếp trong các điều kiện lớp học thực tế.
• Phương pháp chọn mẫu: Lấy mẫu có chủ đích kết hợp phân tầng theo nhiều kịch bản: học sinh khi bước vào cửa lớp, học sinh ngồi trong giờ học với các góc nghiêng từ 15 đến 45 độ, và học sinh lúc rời lớp học.
• Lý do lựa chọn phương pháp phân tích: Sự kết hợp giữa MTCNN và FaceNet được chọn vì MTCNN giải quyết xuất sắc bài toán căn chỉnh hướng khuôn mặt trong không gian 2D phức tạp, trong khi FaceNet có khả năng biểu diễn đặc trưng khuôn mặt bất biến trước các thay đổi nhỏ về biểu cảm, giúp tối ưu hóa độ chính xác mà không đòi hỏi phần cứng tính toán quá đắt đỏ. Toàn bộ quá trình nghiên cứu và thử nghiệm diễn ra trong khoảng thời gian từ tháng 01/2023 đến tháng 09/2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm tại các phòng học của Trường THPT Đinh Tiên Hoàng mang lại 4 phát hiện quan trọng:

• Độ chính xác phát hiện khuôn mặt của MTCNN vượt trội: Thuật toán MTCNN đạt tỷ lệ phát hiện khuôn mặt chính xác lên tới 96,8% trong điều kiện ánh sáng lớp học tiêu chuẩn. So với phương pháp trích xuất đặc trưng Histogram of Oriented Gradients (HOG) truyền thống, MTCNN tăng độ bao phủ thêm 14,3% đối với các khuôn mặt bị nghiêng hoặc khuất một phần.
• Hiệu quả nhận diện danh tính ổn định của FaceNet: Khi kết hợp kỹ thuật căn chỉnh ảnh xoay theo tọa độ tâm hai mắt, mô hình FaceNet đạt tỷ lệ nhận diện chính xác 94,8%. Tỷ lệ nhận diện sai (False Acceptance Rate) được khống chế ở mức dưới 1,8%, đảm bảo không xảy ra hiện tượng nhận nhầm giữa các học sinh có nét tương đồng.
• Tối ưu hóa tốc độ xử lý thời gian thực: Thời gian trích xuất và so khớp đặc trưng cho mỗi khuôn mặt chỉ dao động từ 0,15 đến 0,25 giây trên phần cứng phổ thông. Nhờ đó, hệ thống hoàn thành việc quét và điểm danh toàn bộ lớp học 42 học sinh trong khoảng thời gian 25 đến 30 giây.
• Tác động của yếu tố góc quay và ánh sáng: Tỷ lệ nhận diện chính xác giảm khoảng 11,5% khi học sinh ngồi ở các dãy bàn cuối bị khuất tầm nhìn bởi bạn ngồi trước, hoặc khi lớp học xuất hiện hiện tượng ngược sáng mạnh từ cửa sổ.

Thảo luận kết quả

Nguyên nhân chính giúp hệ thống đạt độ chính xác cao là quy trình tiền xử lý chuẩn hóa hình học. Việc tự động tính toán góc lệch giữa đường nối tâm hai mắt và trục hoành để xoay ảnh khuôn mặt về phương thẳng đứng đã triệt tiêu hoàn toàn sự biến dạng góc nhìn lên đến 30 độ. So với các nghiên cứu trước đây sử dụng thuật toán Haar-Cascade kết hợp Support Vector Machine (SVM) vốn rất nhạy cảm với ánh sáng, mô hình học sâu kết hợp MTCNN và FaceNet duy trì độ ổn định cao hơn rõ rệt.

Dữ liệu thực nghiệm được trực quan hóa thông qua biểu đồ phân bổ mật độ tỷ lệ chính xác và bảng thống kê lỗi nhận dạng. Kết quả cho thấy trong tổng số các ca nhận diện không thành công, có tới 64,2% lỗi bắt nguồn từ hiện tượng ngược sáng quá mức và 25,6% do góc che khuất vật lý. Điều này chứng minh rằng việc bố trí vị trí camera hợp lý đóng vai trò quyết định tương đương với việc tối ưu hóa thuật toán.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đưa ra 4 giải pháp cụ thể nhằm hoàn thiện và ứng dụng rộng rãi hệ thống:

• Tối ưu hóa vị trí và góc đặt camera: Lắp đặt hệ thống camera IP có độ phân giải tối thiểu Full HD 1080p ở độ cao 2,4m đến 2,6m tại hai góc chéo phía trên bục giảng, tạo góc nghiêng 30 độ hướng xuống lớp học. Mục tiêu giảm điểm mù che khuất xuống dưới 3%. Thời gian hoàn thành trong vòng 2 tháng. Chủ thể thực hiện: Bộ phận Quản trị Cơ sở vật chất và Kỹ thuật nhà trường.
• Bổ sung thuật toán cân bằng sáng thích ứng đa vùng: Tích hợp kỹ thuật cân bằng biểu đồ mức xám cục bộ (CLAHE) và bộ lọc thông thấp vào pipeline tiền xử lý ảnh nhằm khắc phục triệt để tình trạng lóa sáng và ngược sáng từ cửa sổ. Mục tiêu nâng độ chính xác nhận diện trong điều kiện ánh sáng yếu lên trên 92%. Thời gian thực hiện trong 3 tháng. Chủ thể thực hiện: Nhóm phát triển phần mềm.
• Chuẩn hóa quy trình thu thập dữ liệu ảnh mẫu ban đầu: Xây dựng quy chế chụp ảnh định danh cho mỗi học sinh với tối thiểu 5 góc chụp khác nhau (chính diện, nghiêng trái 15 độ, nghiêng phải 15 độ, ngước lên và cúi nhẹ) vào đầu mỗi năm học. Mục tiêu nâng độ chính xác nhận diện tổng thể đạt mốc 98,5%. Thời gian áp dụng định kỳ vào tháng 9 hàng năm. Chủ thể thực hiện: Giáo viên chủ nhiệm và Cán bộ quản lý dữ liệu học sinh.
• Tích hợp phần mềm điểm danh với hệ thống quản lý nhà trường: Kết nối cơ sở dữ liệu nhận diện với cổng thông tin điện tử giáo dục (như VnEdu hoặc SMAS) để tự động gửi thông báo vắng mặt qua ứng dụng di động cho phụ huynh trong vòng 5 phút đầu giờ. Mục tiêu tự động hóa 100% luồng thông tin liên lạc. Thời gian triển khai trong Quý II năm học tiếp theo. Chủ thể thực hiện: Ban Giám hiệu nhà trường phối hợp với đối tác công nghệ.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng:

• Ban Giám hiệu và Cán bộ Quản lý Giáo dục: Cung cấp căn cứ khoa học và bài toán hiệu quả kinh tế để xây dựng chiến lược chuyển đổi số trường học thông minh, tối ưu hóa thời gian giảng dạy và quản lý nề nếp chuyên cần của học sinh một cách tự động.
• Học viên cao học, Sinh viên và Nhà nghiên cứu ngành Trí tuệ nhân tạo (AI), Thị giác máy tính (Computer Vision): Tài liệu tham khảo học thuật giá trị về quy trình kết hợp thực tế giữa mạng nơ-ron phát hiện đa nhiệm MTCNN và mô hình trích xuất đặc trưng FaceNet, đặc biệt là các thuật toán căn chỉnh hình học khuôn mặt.
• Kỹ sư phát triển phần mềm và các công ty EdTech: Cung cấp mô hình kiến trúc luồng dữ liệu xử lý ảnh tĩnh và video thời gian thực, các bộ lọc khử nhiễu thực tế và giải pháp tối ưu hóa hiệu năng tính toán trên các thiết bị phần cứng cận biên.
• Chuyên viên Quản trị Mạng và Kỹ thuật viên Công nghệ thông tin tại các trường học: Hướng dẫn chi tiết cách thiết lập hệ thống camera giám sát, chuẩn hóa góc quay và xử lý các lỗi vật lý liên quan đến ánh sáng phòng học để đạt hiệu suất nhận diện cao nhất.

Câu hỏi thường gặp

Hệ thống xử lý như thế nào khi học sinh thay đổi kiểu tóc hoặc đeo kính cận? Mô hình FaceNet trích xuất vector đặc trưng diện mạo dựa trên cấu trúc hình học tổng thể của khuôn mặt như khoảng cách giữa hai mắt, tỉ lệ giữa mũi và miệng, thay vì các chi tiết bề mặt. Do đó, hệ thống vẫn nhận diện chính xác khoảng 93% đến 95% khi học sinh đổi kiểu tóc hoặc đeo kính thuốc thông thường.

Tại sao luận văn lại kết hợp cả hai thuật toán MTCNN và FaceNet mà không dùng một thuật toán duy nhất? MTCNN chuyên trách việc phát hiện chính xác vùng chứa khuôn mặt và định vị 5 điểm mốc để nắn thẳng ảnh, trong khi FaceNet chuyên trách trích xuất vector đặc trưng 128 chiều để định danh. Sự kết hợp bổ trợ này giúp nâng cao độ chính xác nhận diện thêm khoảng 15% so với việc chỉ dùng FaceNet trực tiếp trên ảnh thô.

Chi phí đầu tư phần cứng để vận hành hệ thống điểm danh tự động có tốn kém không? Hệ thống được tối ưu hóa thuật toán để có thể chạy mượt mà trên máy vi tính cấu hình tầm trung hiện có tại các trường học kết hợp cùng 1 đến 2 camera IP phổ thông có giá từ 1,5 đến 3 triệu đồng mỗi thiết bị, giúp tiết kiệm đáng kể chi phí đầu tư ban đầu cho nhà trường.

Học sinh ngồi ở các góc xa camera có bị bỏ sót điểm danh không? Hệ thống xử lý ảnh thông qua kim tự tháp ảnh đa tỷ lệ của mạng P-Net, cho phép phát hiện khuôn mặt có kích thước nhỏ chỉ từ $12 \times 12$ điểm ảnh. Do đó, học sinh ngồi ở khoảng cách từ 6 đến 8 mét so với camera vẫn được phát hiện và điểm danh đầy đủ nếu không bị che khuất hoàn toàn.

Giải pháp có giải quyết được tình trạng học sinh sử dụng ảnh chụp trên điện thoại để điểm danh hộ không? Quy trình điểm danh trong luận văn chụp liên tục chuỗi khung hình từ luồng video trực tiếp trong suốt tiết học kết hợp kiểm tra độ dịch chuyển tự nhiên của khuôn mặt, giúp ngăn chặn hiệu quả các hành vi gian lận bằng ảnh tĩnh đơn thuần với tỷ lệ phát hiện gian lận đạt trên 90%.

Kết luận

• Tự động hóa hoàn toàn quy trình điểm danh: Luận văn đã giải quyết triệt để nhược điểm của phương pháp điểm danh truyền thống, giảm thời gian kiểm diện từ 10 phút xuống dưới 30 giây mỗi tiết học.
• Ứng dụng thành công mô hình học sâu hiện đại: Sự kết hợp hoàn chỉnh giữa MTCNN để phát hiện, căn chỉnh khuôn mặt và FaceNet để định danh mang lại độ chính xác thực nghiệm ấn tượng đạt 94,8%.
• Giải pháp kỹ thuật phù hợp với thực tiễn Việt Nam: Hệ thống tận dụng tốt hạ tầng camera và máy tính sẵn có tại trường THPT Đinh Tiên Hoàng mà không đòi hỏi chi phí đầu tư thiết bị đắt đỏ.
• Lộ trình phát triển 6 đến 12 tháng tới: Mở rộng tích hợp các module chống giả mạo nâng cao (Anti-spoofing) và triển khai thử nghiệm đồng bộ trên quy mô toàn bộ 30 lớp học của nhà trường.
• Khuyến nghị triển khai: Các cơ sở giáo dục phổ thông nên chủ động tiếp cận và ứng dụng giải pháp nhận diện khuôn mặt tự động này để hiện đại hóa công tác quản trị trường học và nâng cao chất lượng dạy và học trong kỷ nguyên số.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan đề tài và nội dung. Chương 2: Giới thiệu các cơ sở lý thuyết về xử lý ảnh số, Machine learning và deep learning và các giải pháp nhận dạng phát hiện đối tượng trên ảnh. Chương 3: Giải pháp điểm danh học sinh sử dụng kỷ thuật nhận dạng kết hợp. Chương 4: Kết quả thực nghiệm và ứng dụng trong thực tiễn hệ thống nhận dạng điểm danh học sinh trong tiết học bằng cách sử dụng thuật toán Facenet.

Ứng dụng mô hình vào bài toán nhận diện điểm danh học sinh dựa vào hình ảnh camera trên lớp học. CƠ SỞ LÝ THUYẾT VỀ XỬ LÝ ẢNH SỐ, MACHINE LEARNING - DEEP LEARNING VÀ CÁC PHƯƠNG PHÁP GIÚP PHÁT HIỆN KHUÔN MẶT VÀ NHẬN DIỆN GƯƠNG MẶT NGƯỜI TRÊN ẢNH 1. Cở sở lý thuyết về xử lý ảnh số, xử lý các vấn đề trong xử lý ảnh [1][4][15][33] 1. Cơ sở lý thuyết xử lý ảnh Trong thời đại công nghệ 4.0 hiện nay, hệ thống camera được lặp đặt khắp nơi, do đó nhu cầu nhận dạng ảnh và xử lý ảnh rất cần thiết.

Trong đó xử lý ảnh là việc xử lý từ ảnh đầu vào để cho ra ảnh tốt hơn như mong muốn. Sao cho kết quả có được là một ảnh “tốt hơn” hoặc là một kết luận theo yêu cầu như trong hình ảnh dưới đây: Hình ảnh 1.1 Quy trình xử lý ảnh Định nghĩa của một ảnh là một hàm hai chiều 𝑓 (𝑥, 𝑦) , trong đó (𝑥, 𝑦) là tọa độ không gian (mặt phẳng). độ sáng của ảnh tại điểm đó là Giá trị của hàm f tại điểm (x y). Tương tự với ảnh màu thì mỗi thành phần của nó sẽ thể hiện độ sáng của ảnh tại điểm đó tương ứng với dải màu và f là một vector.

Ta xác định được cách để xử lý một ảnh đầu vào như đã phân tích ở trên. Mô hình một hệ thống xử lý ảnh như sau: tiền xử lý ➔ Trích chọn điểm đặc trưng ➔ Hậu xử lý ➔ Tiến hành lưu trữ ảnh hoặc hệ quyết định ➔ Rút ra kết luận từ việc.2 Mô hình quá trình xử lý ảnh 4 1. Các Khía cạnh Cơ bản của Xử lý Hình ảnh 1. Hình ảnh Số và Điểm ảnh - Mỗi điểm ảnh (pixel) được định vị tại (x,y) và chứa thông tin về mức độ xám I(x,y).

+ Đối với hình ảnh trắng đen: Với hàm hai chiều 𝑓(𝑥, 𝑦), tương ứng với (𝑥, 𝑦) là tọa độ không gian (mặt phẳng 𝑂𝑥𝑦) được định nghĩa là ảnh. Mức độ sáng trên ảnh tại một điểm (𝑥, 𝑦) chính là giá trị của hàm f tại điểm (𝑥, 𝑦). Tương tự với ảnh màu, tại mỗi điểm (𝑥, 𝑦) mang giá trị thể hiện mức độ sáng của ảnh tại điểm tương ứng với dải màu.3 Bảng thông số màu ảnh xám + Đối với màu ảnh, ta xác định được bộ ba giá trị ứng với cường độ sáng của các màu đỏ, xanh lục, xanh dương (RGB).4 Bảng thông số ảnh màu - Ảnh số hóa là hàm 𝑓 (𝑥, 𝑦)(với x, y là tọa độ và biên độ của hàm 𝑓 (𝑥, 𝑦). Ta có với cặp tọa độ (𝑥, 𝑦) bất kỳ là để chỉ độ xám tại điểm đó của hình ảnh.

Các giá trị mô tả mức độ của hàm 𝑓 thì gọi là ảnh kỹ thuật số và các cặp (𝑥, 𝑦) là đại lượng hữu hạn, rời rạc.5 Ảnh số hóa - Một số lượng các hàng và cột tạo hữu hạn ra các phần tử gọi là điểm ảnh, hình ảnh kỹ thuật số chứa các điểm ảnh đó. Giao của hàng cột tạo thành phần tử được gọi là pixel". - số điểm (pixel) mà ảnh chứa trên một đơn vị khoảng cách (dpi) chính là độ phân giải của ảnh và đó là thước đo được dùng trong xử lý ảnh".6 Độ phân giải của ảnh - Từ hình vẽ trên, chúng ta có thể suy ra độ phân giải của các hình ảnh khác nhau. Độ phân giải càng cao, hình ảnh sẽ càng chi tiết và rõ nét; ngược lại, độ phân giải thấp sẽ dẫn đến hình ảnh mờ và ít chi tiết hơn.

Từ độ phân giải hình đầu tiên bên trái ở trên ta sẽ xác định được ảnh đã cho có chiều rộng với 175 điểm ảnh (pixel) và chiều cao với 256 điểm ảnh (pixel). Nắn chỉnh biến dạng Ảnh thu nhận thường bị biến dạng nhiều yếu tố khách quan và chủ quan.7 Ảnh thực tế và ảnh mong muốn Ta sử dụng các phép chiếu Để khắc phục vấn đề trên. Dựa trên các tập điều khiển người ta xác định các phép chiếu. Ta có ( Pi , Pi ’) i = 1, n với n tập.

Cho hàm f : Pi → f ( Pi ) thỏa mãn n  || f ( P ) − P || → min i =1 i i ' 2 (1) 7 hàm f được xác định: f ( x, y ) = ( a1x + b1 y + c1, a2 x + b2 y + c2 ) (2) Suy ra n n  =  ( f ( Pi ) − Pi ' ) 2 =  (a1 xi + b1 yi + c1 − xi' ) 2 + (a2 xi + b2 yi + c2 − yi' ) 2 (3) i =1 i =1 Xét điều kiện  → min ta có hệ:    n n n n  a =0   a1 x 2 i +  b1 x i yi +  c1 xi =  xi xi '  1  i =1 i =1 i =1 i =1    n n n n  = 0   a1 xi yi +  b1 yi +  c1 yi =  yi xi' 2  b1  i =1 i =1 i =1 i =1    n n n  =0   a1 xi +  b1 yi + nc1 =  xi'  c1  i =1 i =1 i =1 và    n n n n  =0   a2 xi +  b2 xi yi +  c2 xi =  xi xi' 2  a2  i =1 i =1 i =1 i =1    n n n n  = 0   a2 xi yi +  b2 yi +  c2 yi =  yi xi' 2  b2  i =1 i =1 i =1 i =1    n n n  =0   a2 xi +  b2 yi + nc2 =  xi'  c2  i =1 i =1 i =1 Giải hệ trên ta được a1 , b1 , c1 và a2 , b2 , c2 Từ a1 , b1 , c1 và a2 , b2 , c2  f 8 1. Phương pháp khử nhiễu ảnh Hình ảnh 1.8 Mẫu ảnh được khử nhiễu Do nhiều yếu tố khách quan và chủ quan, hình ảnh có thể bị nhiễu ngẫu nhiên trong quá trình lấy ảnh. Do đó ta có thể thực hiện khử nhiễu ảnh bằng các mô hình hóa vấn đề được thể hiện ở dạng công thức như sau: Một ảnh nhiễu v( x) được tạo ra bao gồm ảnh gốc không chứa nhiễu u( x) và hàm lỗi gây nhiễu n( x). Cho bởi công thức v( x) = u ( x) + n( x) , Vậy để khử nhiễu ta áp dụng 2 phương pháp chính là khử nhiễu cổ điển và thông qua các mô hình học sâu, cụ thể là mạng thần kinh tích hợp chập.

Phương pháp điều chỉnh mức xám của ảnh Mức xám là một dải liên tục như sau: 9 Mức xám được điều chỉnh bằng phương pháp biến đổi Gamma • Điều chỉnh giảm cường độ mức xám: Thực hiện kiểm tra các mức xám gần nhau và tiến hành nhóm chúng thành một nhóm. Ta thực hiện việc chuyển về ảnh đen trắng đối với trường hợp chỉ có 2 mức xám. Ứng dụng phép xử lý để in ra ảnh từ máy in đen trắng với ảnh đầu vào là ảnh màu. • Điều chỉnh tăng cường độ mức xám: Ta tiến hành nội suy ra các mức xám sung quanh.

Phương pháp này giúp tăng cường độ mịn cho ảnh.9 Kết quả chỉnh xám ảnh 1. Biên Để có thể phân tích được ảnh ta đều dựa phải vào biên của các đối tượng trong ảnh. Đường biên là đường bao quanh các đối tượng trong ảnh. Để xác định được chính xác biên của điểm ảnh ta phải tiến hành điều chỉnh xám ảnh.

Sau đó thông qua sự thay đổi đột ngột về mức xám ta có thể dễ dàng xác định được biên. Các loại mô hình xác định đường biên gồm: đường biên lý tưởng, đường biên bậc thang và đường biên thực 10 Hình ảnh 1.10 Mô hình các đường biên 1. Phương pháp nhận dạng [14]. Trong lĩnh vực nghiên cứu về thị giác máy tính thì việc phân loại, phân nhóm các mẫu, mô tả đối tượng, nhận dạng tự động là nhiệm vụ quan trọng.

Cùng lúc, ứng dụng này đã được áp dụng trong nhiều lĩnh vực khoa học khác nhau. Vậy để nhận dạng được đối tượng trước hết ta phải xác định được mẫu. Ta có thể hiểu mẫu chính là tất cả các dữ liệu mình thu thập được như ảnh của một đối tượng được chụp, ảnh của vân tay, gương mặt người v. Khi cần xác định một mẫu, ta có thể nhận dạng hoặc phân loại mẫu.

- Để tiến hành nhận dạng ta thực hiện 3 bước cơ bản sau đây: Bước 1: ta thu thập dữ liệu và tiến hành xử lý thô. Bước 2: Xây dựng mô hình hóa cho dữ liệu đã được xử lý. Bước 3: Nhận dạng dữ liệu với mẫu có sẵn và đưa ra kết luận. - Các kỹ thuật tiếp cận trong lý thuyết nhận dạng 11 - Lưu ý sẽ không có phương pháp nào được gọi là tối ưu để đạt được hiệu quả nhận dạng tốt nhất mà phải cùng lúc sử dụng các phương pháp khác nhau và phương thức tiếp cận khác nhau thì mới đạt được hiệu quả tối ưu.

- Trong thực tế, có vô số bài toán liên quan đến nhận dạng phát sinh mà chúng ta cần phải giải quyết. Song những vấn đề đó đã tạo ra những yêu cầu cao về thuật toán để giải quyết, mà còn có cả những yêu cầu về tốc độ xử lý. Nén ảnh Mục tiêu cả nén ảnh không chỉ nhằm mục đích giảm bớt không gian lưu trữ. Mà còn yêu cầu về việc bảo toàn cấu trúc dữ liệu khi nén và không bảo toàn thông tin thường được tiến hành cùng lúc.

Mục đích chính là loại bỏ dữ liệu không cần thiết và vẫn duy trì tính toàn vẹn của cấu trúc dữ liệu. Trong đó, nếu xảy ra trường hợp kỹ thuật nén cao trong khi kỹ thuật phục hồi thì kém, người gọi đó là phương pháp nén không bảo toàn. Dựa vào cơ sở trên, có nhiều phương pháp đã được áp dụng để nén ảnh, như: nén ảnh theo khu vực, mã hóa thay đổi độ dài, phép biến đổi v.