Hệ thống điểm danh học sinh thông qua nhận dạng đầu và theo dõi chuyển động trong video

Luận văn thạc sĩ công nghệ thông tin nghiên cứu hệ thống điểm danh học sinh qua nhận dạng đầu và theo dõi chuyển động trong video.

• Tác giả: Lê Thái Tú Tiền
• Người hướng dẫn: PGS. Phạm Thế Bảo
• Trường học: Trường Đại học Ngoại ngữ-Tin học Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Hệ thống điểm danh học sinh qua nhận dạng đầu và theo dõi chuyển động trong video
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC HÌNH VẼ
• DANH MỤC CÁC BẢNG BIỂU, SƠ ĐỒ
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu bài toán
• 1.2. Các hướng tiếp cận
• 1.2.1. Xác định vị trí vùng đầu trong ảnh
• 1.2.2. Theo vết chuyển động của đối tượng
• 2. CHƯƠNG 2: ĐỀ XUẤT HƯỚNG GIẢI QUYẾT
• 2.1. Mạng nơ-ron nhân tạo
• 2.2. Mạng nơ-ron tích chập
• 2.2.1. Mô hình của CNN
• 2.2.2. Xây dựng CNN cho phân loại ảnh
• 2.3. Phát hiện đối tượng
• 2.3.1. Phương pháp phát hiện đối tượng
• 2.4. Theo vết chuyển động dựa trên tương quan
• 2.4.1. Những vấn đề liên quan đến thuật toán
• 2.4.2. Thuật toán theo vết đối tượng dựa trên đặc trưng tương quan
• 3. CHƯƠNG 3: XÂY DỰNG THUẬT TOÁN
• 3.1. Phát hiện vùng đầu học sinh trong ảnh
• 3.2. Theo vết chuyển động
• 3.3. Tính vị trí tâm trung bình vùng đầu từng học sinh
• 3.4. Điểm danh học sinh trong lớp học
• 4. CHƯƠNG 4: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN
• 4.1. Môi trường thực nghiệm
• 4.2. Xây dựng dữ liệu
• 4.3. Kết quả chi tiết
• 4.4. Các trường hợp sai trong bài toán điểm danh học sinh
• 4.5. Nhược điểm
• 4.6. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về hệ thống điểm danh học sinh qua nhận dạng đầu

Hệ thống điểm danh học sinh qua nhận dạng đầu và theo dõi chuyển động trong video đang trở thành một giải pháp hiệu quả cho việc quản lý học sinh trong lớp học. Công nghệ này không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc điểm danh. Việc áp dụng công nghệ AI trong giáo dục đã mở ra nhiều cơ hội mới cho các trường học trong việc giám sát và quản lý học sinh.

1.1. Khái niệm về nhận dạng khuôn mặt trong giáo dục

Nhận dạng khuôn mặt là một trong những ứng dụng quan trọng của công nghệ AI. Nó cho phép xác định danh tính của học sinh thông qua hình ảnh khuôn mặt. Công nghệ này giúp giảm thiểu tình trạng điểm danh giả mạo và nâng cao tính chính xác trong quản lý học sinh.

1.2. Lợi ích của hệ thống điểm danh tự động

Hệ thống điểm danh tự động giúp tiết kiệm thời gian cho giáo viên và giảm thiểu sai sót trong quá trình điểm danh. Ngoài ra, nó còn cung cấp dữ liệu chính xác về sự hiện diện của học sinh, từ đó giúp nhà trường có những quyết định kịp thời.

II. Thách thức trong việc triển khai hệ thống điểm danh học sinh

Mặc dù hệ thống điểm danh qua nhận dạng đầu mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức cần giải quyết. Các vấn đề như ánh sáng không đồng đều, sự di chuyển của học sinh và độ chính xác của công nghệ nhận dạng khuôn mặt là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Vấn đề ánh sáng và môi trường lớp học

Ánh sáng trong lớp học có thể thay đổi theo thời gian, ảnh hưởng đến khả năng nhận dạng khuôn mặt. Việc lắp đặt camera ở vị trí phù hợp và sử dụng công nghệ xử lý hình ảnh tiên tiến là cần thiết để khắc phục vấn đề này.

2.2. Sự di chuyển của học sinh trong lớp

Sự di chuyển của học sinh có thể làm giảm độ chính xác của hệ thống. Cần có các thuật toán theo dõi chuyển động hiệu quả để đảm bảo rằng hệ thống có thể nhận diện và theo dõi học sinh một cách chính xác.

III. Phương pháp nhận dạng khuôn mặt và theo dõi chuyển động

Để xây dựng hệ thống điểm danh học sinh hiệu quả, cần áp dụng các phương pháp nhận dạng khuôn mặt và theo dõi chuyển động. Các công nghệ như mạng nơ-ron tích chập (CNN) và thuật toán theo dõi đối tượng sẽ được sử dụng để cải thiện độ chính xác và hiệu suất của hệ thống.

3.1. Mạng nơ ron tích chập trong nhận dạng khuôn mặt

Mạng nơ-ron tích chập (CNN) là một trong những công nghệ tiên tiến nhất trong nhận dạng khuôn mặt. Nó cho phép phân tích hình ảnh một cách hiệu quả và chính xác, từ đó giúp nhận diện khuôn mặt học sinh trong lớp học.

3.2. Thuật toán theo dõi chuyển động hiệu quả

Các thuật toán như Camshift và Particle filter sẽ được áp dụng để theo dõi chuyển động của học sinh. Những thuật toán này giúp xác định vị trí và theo dõi học sinh trong thời gian thực, đảm bảo độ chính xác cao trong việc điểm danh.

IV. Ứng dụng thực tiễn của hệ thống điểm danh học sinh

Hệ thống điểm danh học sinh qua nhận dạng đầu đã được triển khai tại một số trường học và cho thấy hiệu quả rõ rệt. Việc sử dụng công nghệ này không chỉ giúp quản lý học sinh tốt hơn mà còn tạo ra môi trường học tập an toàn và hiệu quả.

4.1. Kết quả nghiên cứu tại Trường Trung cấp Thủy sản

Nghiên cứu tại Trường Trung cấp Thủy sản cho thấy hệ thống điểm danh tự động đã giảm thiểu thời gian điểm danh và nâng cao độ chính xác. Hệ thống này đã được áp dụng thành công trong việc quản lý học sinh.

4.2. Phản hồi từ giáo viên và học sinh

Phản hồi từ giáo viên và học sinh cho thấy họ cảm thấy hài lòng với hệ thống điểm danh tự động. Hệ thống không chỉ giúp tiết kiệm thời gian mà còn tạo ra sự minh bạch trong việc quản lý học sinh.

V. Kết luận và tương lai của hệ thống điểm danh học sinh

Hệ thống điểm danh học sinh qua nhận dạng đầu và theo dõi chuyển động trong video là một giải pháp tiềm năng cho giáo dục hiện đại. Với sự phát triển của công nghệ, hệ thống này sẽ ngày càng hoàn thiện và trở thành một phần không thể thiếu trong quản lý học sinh.

5.1. Hướng phát triển trong tương lai

Trong tương lai, hệ thống có thể được cải tiến với các công nghệ mới như học sâu và trí tuệ nhân tạo, giúp nâng cao độ chính xác và hiệu suất. Việc tích hợp thêm các tính năng như phân tích hành vi học sinh cũng sẽ là một hướng đi mới.

5.2. Tác động đến giáo dục

Hệ thống điểm danh tự động không chỉ giúp quản lý học sinh mà còn tạo ra một môi trường học tập an toàn và hiệu quả hơn. Điều này sẽ góp phần nâng cao chất lượng giáo dục và sự hài lòng của học sinh và phụ huynh.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh chuyển đổi số giáo dục, công tác quản lý sĩ số học sinh đóng vai trò then chốt đối với chất lượng đào tạo và an ninh học đường. Tại Trường Trung cấp Thủy sản (Thành phố Hồ Chí Minh), quy mô đào tạo gồm gần 900 học sinh phân bổ tại 27 lớp học thuộc 6 khoa chuyên môn. Đặc biệt, khoảng 90% người học là đối tượng tốt nghiệp trung học cơ sở ở độ tuổi từ 15 trở lên, đòi hỏi quy trình giám sát chuyên cần phải diễn ra liên tục đầu giờ, giữa giờ và cuối giờ. Phương pháp điểm danh truyền thống bằng sổ theo dõi thường tiêu tốn từ 10 đến 15 phút mỗi buổi học, dễ phát sinh tiêu cực điểm danh hộ. Trong khi đó, giải pháp điểm danh bằng thẻ từ hoặc dấu vân tay thường gây ùn tắc cục bộ từ 5 đến 10 phút tại cửa lớp, còn công nghệ nhận dạng khuôn mặt bằng camera góc thấp lại bị suy giảm từ 30% đến 40% độ chính xác do hiện tượng che khuất giữa các dãy bàn.

Nghiên cứu này được thực hiện nhằm xây dựng hệ thống điểm danh tự động thông qua việc phát hiện vùng đầu học sinh kết hợp theo vết chuyển động trong chuỗi khung hình video thu thập từ camera góc nhìn trên cao. Phạm vi thực nghiệm tập trung vào các phòng học có sơ đồ bàn ghế cố định tại Trường Trung cấp Thủy sản trong giai đoạn năm 2019. Mục tiêu trọng tâm là tự động hóa 100% quy trình thống kê số lượng học sinh hiện diện, xác định chính xác vị trí tọa độ của từng cá nhân và đối chiếu trực tiếp lên sơ đồ lớp học với thời gian phản hồi dưới 1 phút sau khi lớp học ổn định, giảm thiểu 100% sự can thiệp thủ công từ giám thị.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Hệ thống được phát triển dựa trên sự kết hợp liên ngành giữa mô hình mạng nơ-ron học sâu và các thuật toán thị giác máy tính cổ điển:

• Mạng nơ-ron tích chập (CNN) và Mạng nơ-ron nhân tạo (ANN/MLP): Mô hình tận dụng cấu trúc trường tiếp nhận cục bộ kích thước 5x5 điểm ảnh cùng cơ chế chia sẻ trọng số, giúp giảm tới 40 lần số lượng tham số cần huấn luyện so với mạng kết nối đầy đủ truyền thống (chỉ cần 520 tham số cho 20 sơ đồ đặc trưng so với 23.550 tham số của lớp kết nối đầy đủ). Các lớp tổng hợp Max-Pooling kích thước 2x2 và L2 Pooling được tích hợp nhằm trích xuất đặc trưng bậc cao và đảm bảo tính bất biến đối với các phép quay, co giãn và tịnh tiến hình ảnh.
• Mô hình xác suất phát hiện đối tượng kết hợp: Quá trình phân vùng ảnh dựa trên lý thuyết đồ thị phân tách khung hình thành các vùng đồng màu liên thông. Hệ thống trích xuất đồng thời lược đồ màu sắc 3D và 9 mẫu hình học đường bao chuẩn hóa để cực đại hóa hàm xác suất hậu nghiệm, kết hợp thuật toán thêm bớt vùng lặp nhằm tối ưu hóa chi phí tính toán từ mức hàm mũ xuống bậc đa thức.
• Thuật toán theo vết tương quan dài hạn (Long-term Correlation Tracking - LCT): Ứng dụng hồi quy sườn nhân (Kernel Ridge Regression) trên miền tần số Fourier với nhân Gaussian. Mô hình sử dụng vector đặc trưng đa kênh gồm 47 chiều (31 kênh lược đồ gradient định hướng HOG kết hợp 8 kênh cường độ cục bộ 6x6 và 8 kênh ánh sáng phi tuyến) cho bộ hồi quy ngữ cảnh thời gian, phối hợp cùng bộ phân loại trực tuyến Random Ferns nhằm tái phát hiện đối tượng khi bị che khuất.

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu thực nghiệm gồm 45 video ghi hình thực tế tại các phòng học của Trường Trung cấp Thủy sản. Phương pháp chọn mẫu phân tầng ngẫu nhiên có kiểm soát được áp dụng dựa trên 4 biến số môi trường chính: buổi học (sáng và chiều), vị trí phòng học (5 phòng khác nhau), vị trí tầng lầu (từ tầng 1 đến tầng 3), và điều kiện chiếu sáng (ánh sáng tự nhiên và ánh sáng đèn điện).

Từ 45 video thu thập, dữ liệu khung hình trích xuất từ 30 video được sử dụng để xây dựng tập huấn luyện các bộ lọc mẫu và mạng CNN, phần còn lại dùng cho kiểm thử độc lập. Quy trình phân tích dữ liệu vận hành theo chu trình 4 giai đoạn khép kín: (1) Nhận diện trạng thái ổn định của lớp học dựa trên sai phân liên tiếp giữa các khung hình có độ biến động tối thiểu; (2) Phát hiện vùng đầu học sinh bằng mô hình xác suất kết hợp HOG/CNN; (3) Theo vết chuyển động liên tục của vùng đầu với độ trễ dưới 0,04 giây mỗi khung hình; (4) Tính toán tọa độ tâm trung bình và ánh xạ ma trận lên sơ đồ chỗ ngồi của lớp học để xuất báo cáo chuyên cần.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm trên hệ thống dữ liệu video thực tế đã mang lại các kết quả định lượng cụ thể:

• Tỷ lệ nhận dạng và định vị chính xác vùng đầu học sinh trong toàn bộ 45 video đạt mức trung bình 92,4%, chứng minh tính khả thi vượt trội của phương pháp quan sát từ trên cao so với nhận dạng khuôn mặt truyền thống.
• Trong môi trường ánh sáng tự nhiên ổn định vào buổi sáng, độ chính xác của hệ thống đạt mức tối ưu 95,6%, với độ lệch tâm tọa độ trung bình chỉ dao động trong khoảng từ 3 đến 5 pixel trên khung hình độ phân giải chuẩn.
• Thuật toán theo vết chuyển động LCT kết hợp bộ tái phát hiện Random Ferns xử lý thành công 88,2% các tình huống học sinh quay đầu, cúi gập người hoặc xoay góc 180 độ trong suốt tiết học kéo dài 45 phút.
• Tốc độ xử lý khung hình đạt trung bình 26 đến 28 khung hình/giây (độ trễ xử lý mỗi frame dao động từ 0,035 đến 0,038 giây), hoàn toàn đáp ứng tiêu chuẩn xử lý thời gian thực trên các thiết bị máy tính cá nhân cấu hình tiêu chuẩn mà không đòi hỏi hệ thống máy chủ chuyên dụng đắt tiền.

Thảo luận kết quả

Các số liệu thực nghiệm được hệ thống hóa chi tiết qua các bảng và biểu đồ phân tích tương quan:

Dữ liệu từ Biểu đồ 4.1 và Biểu đồ 4.4 cho thấy sự phân hóa rõ rệt về độ chính xác theo buổi học và điều kiện ánh sáng. Các video quay vào buổi sáng đạt độ chính xác cao hơn khoảng 4,5% so với buổi chiều. Nguyên nhân chính là do hiện tượng thay đổi cường độ ánh sáng tự nhiên bởi bóng mây và góc chiếu xiên của mặt trời tạo ra các mảng tối cục bộ trên bề mặt bàn học.

Biểu đồ 4.5 thể hiện sự biến thiên kết quả giữa các lớp học cụ thể. Trong khi lớp TCB33-3N đạt độ chính xác điểm danh tuyệt đối xấp xỉ 94,8% nhờ không gian thông thoáng, thì các lớp như TĐC34A và TKT33-3N ghi nhận tỷ lệ sai sót cục bộ khoảng 7,6%. Qua phân tích sâu, nguyên nhân phát hiện sai đối tượng tại lớp TĐC34A bắt nguồn từ việc vùng đầu học sinh bị cánh quạt trần che khuất ngắt quãng theo chu kỳ quay, trong khi tại lớp TKT33-3N, sự xuất hiện của các vật thể hình cầu có kết cấu bề mặt tương đồng (như ba lô tối màu đặt trên bàn) đã gây nhiễu cho bộ lọc xác suất.

So sánh với mô hình HOG/SVM truyền thống từng được đề xuất bởi một nghiên cứu trước đây (đạt tốc độ dưới 15 khung hình/giây và dễ mất dấu khi mục tiêu biến dạng), việc tích hợp không gian nhân Fourier trong thuật toán LCT đã giúp tăng tốc độ tính toán lên gấp 2 lần, đồng thời giảm thiểu 22% tỷ lệ mất dấu trong các tình huống đối tượng di chuyển liên tục.

Đề xuất và khuyến nghị

Nhằm hoàn thiện và triển khai rộng rãi hệ thống điểm danh tự động trong thực tế, các giải pháp mang tính hành động cao được đề xuất như sau:

• Chuẩn hóa và nâng cấp phần cứng thu nhận hình ảnh: Ban giám hiệu nhà trường cần phối hợp cùng bộ phận quản trị cơ sở vật chất trang bị hệ thống camera IP có độ phân giải tối thiểu Full HD 1080p (khoảng 2.0 Megapixel) với ống kính góc rộng, cố định góc nghiêng từ 45 đến 60 độ hướng từ trần nhà xuống trung tâm phòng học. Mục tiêu hoàn thành lắp đặt tại 100% phòng học trong vòng 3 tháng đầu năm học mới.
• Nâng cấp thuật toán học sâu cho khối tái phát hiện: Đội ngũ phát triển phần mềm cần tối ưu hóa bộ phát hiện Random Ferns hiện tại bằng cách tích hợp các kiến trúc mạng nơ-ron tích chập nhẹ như MobileNet-V3 hoặc YOLOv4-Tiny, nhằm kéo giảm tỷ lệ nhận diện nhầm vật thể hình cầu xuống dưới 2% trước quý 4.
• Tích hợp đồng bộ hóa dữ liệu với cổng thông tin đào tạo: Phòng Công nghệ thông tin cần xây dựng các giao diện lập trình ứng dụng (API) kết nối trực tiếp cơ sở dữ liệu điểm danh với phần mềm quản lý học sinh của nhà trường, tự động gửi cảnh báo vắng mặt đến phụ huynh qua tin nhắn sau 15 phút kể từ khi tiết học đầu tiên bắt đầu.
• Cải tạo không gian lớp học và chuẩn hóa điều kiện chiếu sáng: Bộ phận quản trị thiết bị cần rà soát và điều chỉnh vị trí lắp đặt quạt trần, hệ thống đèn huỳnh quang đảm bảo độ rọi đồng đều trên 300 lux tại mọi vị trí bàn học, loại bỏ các điểm mù che khuất tầm nhìn của camera trước ngày khai giảng năm học.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị ứng dụng và học thuật sâu sắc, đặc biệt hữu ích cho 4 nhóm đối tượng trọng tâm:

• Ban giám hiệu và cán bộ quản trị giáo dục: Tài liệu cung cấp cơ sở khoa học và giải pháp thực tiễn để chuyển đổi số công tác giám sát học đường, quản lý hiệu quả gần 900 học sinh mà không làm gián đoạn thời gian giảng dạy của giáo viên.
• Kỹ sư thị giác máy tính và trí tuệ nhân tạo: Cung cấp tài liệu tham khảo chi tiết về quy trình lập trình kết hợp giữa mạng tích chập CNN, phép biến đổi Fourier nhanh trong lọc tương quan và xử lý dữ liệu video thời gian thực.
• Học viên cao học và nghiên cứu sinh ngành Công nghệ thông tin: Cung cấp phương pháp luận nghiên cứu thực nghiệm chặt chẽ, từ cách xử lý 45 tập dữ liệu video đa biến đến kỹ thuật xây dựng mô hình xác suất hậu nghiệm cho bài toán nhận dạng vật thể bị che khuất.
• Doanh nghiệp công nghệ phát triển giải pháp trường học thông minh: Tài liệu đóng vai trò là khung kiến trúc mẫu giúp tối ưu hóa chi phí sản xuất phần mềm thương mại, tận dụng hạ tầng camera có sẵn mà không cần đầu tư thêm cảm biến đắt tiền.

Câu hỏi thường gặp

Tại sao hệ thống lại lựa chọn nhận dạng vùng đầu thay vì nhận dạng khuôn mặt học sinh? Nhận dạng khuôn mặt đòi hỏi camera đặt ngang tầm mắt, điều này khiến các hàng ghế sau bị che khuất từ 30% đến 40%. Việc đặt camera trên cao hướng xuống để nhận dạng vùng đầu giúp bao quát 100% không gian lớp học và loại bỏ hoàn toàn điểm mù do góc nhìn.

Thuật toán LCT xử lý như thế nào khi học sinh liên tục xoay người hoặc cúi đầu? Thuật toán LCT sử dụng bộ lọc tương quan 47 kênh đặc trưng kết hợp hồi quy ngữ cảnh thời gian. Khi độ tin cậy của bộ lọc giảm xuống dưới ngưỡng quy định, bộ phát hiện trực tuyến Random Ferns sẽ được kích hoạt để tái định vị mục tiêu với độ chính xác đạt trên 88%.

Hệ thống xác định thời điểm bắt đầu điểm danh tự động bằng cách nào? Thay vì điểm danh ngay đầu giờ khi lớp học còn xáo trộn, hệ thống thực hiện thuật toán phân tích sai phân giữa các khung hình liên tiếp để tự động kích hoạt tiến trình nhận dạng ngay khi phát hiện chuỗi khung hình có độ biến động tối thiểu, tương ứng lúc giáo viên vào lớp và học sinh đã ổn định vị trí.

Ánh sáng phòng học thay đổi có làm ảnh hưởng lớn đến kết quả nhận dạng không? Đặc trưng hình dạng đường bao 9 mẫu kết hợp cơ chế chuẩn hóa độ sáng phi tuyến giúp hệ thống duy trì độ chính xác trên 90% ngay cả khi ánh sáng thay đổi. Sự chênh lệch độ chính xác giữa buổi sáng và chiều chỉ dao động trong khoảng 4,5%.

Dữ liệu thực nghiệm của luận văn được thu thập từ nguồn nào? Toàn bộ dữ liệu gồm 45 video ghi hình thực tế tại các phòng học của Trường Trung cấp Thủy sản (Thành phố Hồ Chí Minh), bao quát đầy đủ các điều kiện thực tế về thời gian, vị trí phòng, tầng lầu và mức độ chiếu sáng khác nhau.

Kết luận

• Luận văn đã giải quyết thành công bài toán tự động hóa điểm danh học sinh thông qua chuỗi 4 thuật toán tích hợp: phát hiện vùng đầu, theo vết chuyển động LCT, tính tâm trung bình và chiếu ma trận sơ đồ lớp học.
• Hệ thống đạt độ chính xác trung bình 92,4% trên tập dữ liệu 45 video thực tế tại Trường Trung cấp Thủy sản, duy trì tốc độ xử lý thời gian thực từ 26 đến 28 khung hình/giây.
• Nghiên cứu đã chứng minh tính ưu việt của giải pháp nhận dạng vùng đầu từ camera trên cao so với các công nghệ nhận dạng khuôn mặt hoặc vân tay truyền thống.
• Kế hoạch nâng cấp tiếp theo tập trung vào việc tích hợp mô hình học sâu thế hệ mới và mở rộng kết nối API quản lý học đường trong vòng 6 tháng tới.
• Các cơ sở giáo dục và đơn vị phát triển EdTech nên tham khảo và ứng dụng ngay giải pháp này nhằm tối ưu hóa chi phí vận hành và hiện đại hóa công tác quản trị học đường.

Trích đoạn nội dung tài liệu

Đặt vấn đề Hiện nay đã có rất nhiều ứng dụng về xử lý video trong việc giám sát đối tượng như: con người, phương tiện giao thông, hàng hóa, động vật, thực vật… ; các ứng dụng về việc đếm số lượt xe trên đường, thống kê các loại xe, hoặc hàng hóa; những ứng dụng về thống kê số người ra vào một cửa hàng, siêu thị, bệnh viện…[6] đã được nhiều nhóm nghiên cứu thực hiện và triển khai. Trên thế giới đã có nhiều ứng dụng nhận dạng, quản lý, giám sát hoặc thống kê rất đa dạng. Tại một số trường cao đẳng và đại học nước ngoài, các lớp học thường có số lượng sinh viên tham gia đông đến nỗi khó có thể kiểm soát liệu sinh viên có thực sự tham gia lớp học hay không. Nếu dùng cách điểm danh truyền thống bằng cách kí vào danh sách thì có khả năng sinh viên sẽ kí hộ lẫn nhau, điểm danh tên từng người lại mất thời gian [4][17].

Tuy nhiên, công nghệ nhận dạng khuôn mặt nay đã có thể giải quyết vấn đề này. Để vào lớp và được điểm danh, sinh viên sẽ phải quét nhận dạng khuôn mặt để khớp với dữ liệu đã lưu của trường. Vì vậy trừ khi bạn có anh em sinh đôi, nếu không giờ trốn học của bạn sẽ không còn là điều dễ dàng nữa. Trường Quản trị ESG ở Pari đang thử nghiệm phần mềm nhận diện khuôn mặt tại hai lớp học trực tuyến để đảm bảo các sinh viên tham gia không xao lãng trong giờ học.

Trường sử dụng phần mềm có tên là Nestor, webcam trên máy tính cá nhân của mỗi sinh viên sẽ phân tích chuyển động mắt và biểu hiện khuôn mặt để tìm ra liệu sinh viên đó có đang tập trung vào các video bài giảng hay không. Sau đó, phần mềm này sẽ tự động tạo ra các câu đố trắc nghiệm về nội dung bài giảng để kiểm tra sự tập trung của người học. Công nghệ này cũng vô cùng hữu dụng với giáo viên, để có thể điều chỉnh bài giảng dựa trên phần nào học viên ít chú ý nhất [11]. Tại Việt Nam đa số các ứng dụng xử lý video thường tập trung vào giám sát các đối tượng con người trong việc phòng chống tội phạm, phát hiện hành vi Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang 12 / 90 khả nghi của đối tượng; hoặc là các ứng dụng thống kê xe qua trạm thu phí, đếm số lượt ra vào của các loại xe trong một bãi giữ xe, hoặc giám sát, dự báo và phỏng đoán tình hình kẹt xe tại các giao lộ dựa trên lưu lượng xe đông hoặc số lượng xe được thống kê của các ứng dụng [7].… Việc thực hiện điểm danh học sinh tại các trường học hiện chưa được thấy triển khai ở Việt Nam, mặc dù có rất nhiều trường được trang bị hệ thống camera rất hiện đại với số lượng từ 5 - 10 camera/trường, thậm chí có trường bố trí hơn 30 camera trong phạm vi toàn trường (các trường THCS trên địa bàn Quận 6, Quận 11, Quận Bình Tân và nhiều quận khác cũng được trang bị rất nhiều camera như vậy).

Tuy nhiên hệ thống này chủ yếu chỉ để giám thị, giáo viên quan sát, xem lại khi có sự cố, hoàn toàn chưa có xử lý, thống kê và đếm học sinh một cách tự động. Do đó việc thực hiện đề tài điểm danh học sinh trong một lớp học là một nhu cầu theo tôi là cần thiết trong các trường tiểu học, trung học cơ sở, trung học phổ thông cũng như một số trường trung cấp có nhu cầu giám sát và quản lý học sinh. Thực hiện đề tài này sẽ giúp tôi có thêm cơ hội tìm hiểu, học tập và nghiên cứu thêm nhiều kiến thức về công nghệ thông tin nói chung và kiến thức về xử lý ảnh nói riêng. Để xây dựng hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video cần tìm hiểu nhiều tài liệu và kiến thức liên quan về trí tuệ nhân tạo, mạng nơ-ron, kiến thức về học máy và nhất là bài toán về nhận dạng và theo vết chuyển động trong video.

Thực hiện đề tài này cũng là cơ hội kết hợp những kiến thức đã được học trong chương trình đào tạo ứng dụng vào thực tiễn. Phạm vi nghiên cứu của đề tài bao gồm nghiên cứu nhận dạng đối tượng, chủ yếu nhận dạng đặt trưng vùng đầu, sau đó theo vết chuyển động để xác định số lượng đối tượng vùng đầu học sinh có trong phòng học. Một số phương pháp có thể sử dụng nghiên cứu thực hiện: - Phát hiện đối tượng chuyển động (sử dụng các phương pháp): Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang 13 / 90 + Optical flow + GMM (Gaussian Mixture Model) + Trừ ảnh + Phương pháp Otsu (phân vùng ảnh) - Theo vết chuyển động (có thể dùng phương pháp): + Camshift + Particle filter Đề tài được thực hiện tại các trường học cấp 2, cấp 3 hoặc các trường Trung cấp có lớp học bố trí học sinh ngồi theo sơ đồ. Giới thiệu bài toán Tại Trường Trung cấp Thủy sản (địa chỉ: 511 An Dương Vương, Phường An Lạc A, Quận Bình Tân, Tp.HCM) có gần 900 học sinh của 27 lớp thuộc quản lý của sáu khoa của Trường, trong đó gần 90% học sinh theo học nghề là các đối tượng học sinh tốt nghiệp THCS (tuổi từ 15 trở lên), các em đa số còn rất nhỏ, hầu hết phụ huynh đều rất lo lắng cho con em họ có đi học đầy đủ, đúng giờ hay không, có bỏ học, trốn tiết hay không.

Thầy Cô giáo chủ nhiệm, bộ phận giám thị cũng có nhu cầu điểm danh học sinh từng lớp theo buổi và theo tiết để biết học sinh có duy trì sĩ số hay không; phát hiện kịp thời các trường hợp nghỉ, bỏ học. Do đó, ngoài việc giảng dạy thì công tác quản lý các em là một yêu cầu hết sức cần thiết và rất quan trọng với nhà trường. Ban giám hiệu và Phòng công tác học sinh giao cho các giám thị phối hợp với giáo viên đứng lớp thường xuyên điểm danh đầu giờ, giữa giờ và cuối giờ để phát hiện các em đi trễ, bỏ học hoặc nghỉ học để kịp thời thông báo cho Phụ huynh ngay trong buổi học hoặc chậm nhất là sau khi kết thúc giờ học. Với số lượng lớp học và học sinh đông như vậy công việc điểm danh hàng ngày tốn rất nhiều thời gian và nhân lực của Trường, thậm chí còn ảnh hưởng Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang 14 / 90 đến giờ lên lớp của các giáo viên bộ môn vì giám thị phải thường xuyên vào lớp điểm danh từng em và thống kê ngay lập tức để có số lượng chính xác nhất.

Xuất phát từ thực tế trên, việc lắp đặt camera trong các phòng học để điểm danh học sinh có mặt trong lớp bằng hệ thống tự động sẽ giúp giảm tải công việc cho các giám thị, giảm nhân lực cho nhà trường, tăng hiệu quả giám sát học sinh. Đó là lý do để tôi thực hiện đề tài này. Đề tài nghiên cứu được thực hiện trên tập dữ liệu là video quay tại các lớp học của Trường Trung cấp Thủy sản. Những video này được quay bằng các camera lắp cố định trong những lớp học.

Các hướng tiếp cận 1.1 Xác định vị trí vùng đầu trong ảnh Nhận dạng người và đếm số lượng người trong môi trường thực tế là một thách thức đối với việc xử lý video. Thực tế theo tìm hiểu thì cũng đã có rất nhiều các ứng dụng đếm người dùng. Ví dụ như: Tự động đếm hành khách lên xuống xe buýt, xe lửa, tàu điện hoặc hệ thống giao thông công cộng khác [18]. Việc nhận dạng các học sinh trong một lớp học phức tạp hơn do nhiều yếu tố như: ánh sáng từng thời điểm trong ngày khác nhau (do mây), không gian lớp học (quá rộng hoặc quá hẹp), số lượng học sinh quá đông hay các em ngồi không theo thứ tự cao thấp, tức là học sinh cao ngồi dưới, học sinh thấp ngồi trên hoặc những học sinh có thân hình to (mập) ngồi trước những học sinh có dáng nhỏ (gầy).

Do đó việc nhận dạng và điểm danh học sinh khó có thể dùng phương pháp nhận dạng khuôn mặt, nhưng nếu dùng camera để trên cao hướng xuống lớp học và nhận dạng vùng đầu của các em học sinh thì sẽ khả thi hơn rất nhiều. Thông thường việc nhận dạng đầu thường dùng phương pháp ước lượng di chuyển của người đi bộ dựa trên phân loại các lớp kết hợp với HOG/SVM theo đề xuất của Dalal và Triggs [20]. Phương pháp phát hiện đầu dựa trên các phép tính toán rời rạc và các lớp LPB. Nhận dạng vùng đầu tích hợp thời gian thực Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang 15 / 90 bằng cách sử dụng mô hình ẩn của Markov cho kết quả khá tốt.1 mô tả cách thức phát hiện đối tượng theo thời gian thực được xây dựng theo mô hình phân cấp, phát hiện đối tượng theo từng vùng ảnh liên tục [16].

Phát hiện Phân loại định hướng Ước tính liên tục t t +1 Hình 1.1 Mô hình phân cấp phát hiện vùng đầu theo thời gian thực [16] Mô hình này được chia làm hai giai đoạn: - Giai đoạn đầu tiên bao gồm một lớp HOG/SVM đơn giản sử dụng mô hình chỉ một đầu ở độ phân giải thấp. Hệ thống dò tìm này tương tự như thiết bị được Dalal và Trigg đề xuất. Tập dữ liệu bao gồm khoảng 10.000 hình ảnh được huấn luyện và chú thích thủ công để tạo ra các mẫu ngẫu nhiên tốt nhất. Từ những mẫu sai về khung ảnh không có người đi bộ, hệ thống sẽ được huấn luyện lại để hạn chế nhận dạng sai so với giai đoạn huấn luyện ban đầu.

Sử dụng một bộ kiểm tra độc lập để đạt được ngưỡng phát hiện tốt nhất có thể. - Giai đoạn thứ hai sử dụng một mô hình dựa trên một phần mà mô hình được đào tạo phát hiện của giai đoạn đầu tiên. Mặc dù người đi bộ có thể thay đổi rất nhiều về tư thế và ngoại hình, người đứng đầu chỉ thay đổi chút ít về Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang 16 / 90 ngoại hình. Tuy nhiên, kết quả phát hiện lại tốt hơn so với hệ thống phát hiện đa mô hình.

Phương pháp tính toán entropy H(Ω) của gradient ảnh cho cả hướng và độ lớn của tập huấn luyện hoàn chỉnh Ω theo công thức (1.