Luận Văn Thạc Sĩ: Hệ Thống Điểm Danh Học Sinh Qua Nhận Dạng Đầu Và Theo Vết Chuyển Động Trong Video

Luận văn thạc sĩ nghiên cứu hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong, khảo sát thực trạng, phân tích nguyên nhân, đề xuất

• Tác giả: Lê Thái Tú Tiền
• Người hướng dẫn: PGS. Phạm Thế Bảo
• Trường học: Trường Đại học Ngoại ngữ-Tin học Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Hệ thống điểm danh học sinh bằng nhận dạng đầu và theo vết chuyển động trong video
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC HÌNH VẼ
• DANH MỤC CÁC BẢNG BIỂU, SƠ ĐỒ
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu bài toán
• 1.2. Các hướng tiếp cận
• 1.2.1. Xác định vị trí vùng đầu trong ảnh
• 1.2.2. Theo vết chuyển động của đối tượng
• 1.3. Đề xuất hướng giải quyết
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Mạng nơ-ron nhân tạo
• 2.2. Mạng nơ-ron tích chập
• 2.2.1. Mô hình của CNN
• 2.2.2. Xây dựng CNN cho phân loại ảnh
• 2.3. Phát hiện đối tượng
• 2.3.1. Phương pháp phát hiện đối tượng
• 2.4. Theo vết chuyển động dựa trên tương quan
• 2.4.1. Những vấn đề liên quan đến thuật toán
• 2.4.2. Thuật toán theo vết đối tượng dựa trên đặc trưng tương quan
• 3. CHƯƠNG 3: XÂY DỰNG THUẬT TOÁN
• 3.1. Phát hiện vùng đầu học sinh trong ảnh
• 3.2. Theo vết chuyển động
• 3.3. Tính vị trí tâm trung bình vùng đầu từng học sinh
• 3.4. Điểm danh học sinh trong lớp học
• 4. CHƯƠNG 4: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN
• 4.1. Môi trường thực nghiệm
• 4.2. Xây dựng dữ liệu
• 4.3. Kết quả chi tiết
• 4.4. Các trường hợp sai trong bài toán điểm danh học sinh
• 4.5. Nhược điểm
• 4.6. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Hệ thống điểm danh học sinh

Hệ thống điểm danh học sinh là một giải pháp công nghệ nhằm tự động hóa quá trình điểm danh trong các lớp học. Hệ thống này sử dụng công nghệ nhận diện để xác định sự hiện diện của học sinh thông qua nhận dạng đầu và theo dõi chuyển động trong video. Điều này giúp giảm thiểu thời gian và công sức của giáo viên trong việc quản lý sĩ số lớp học. Hệ thống này không chỉ áp dụng trong các trường học mà còn có thể mở rộng sang các môi trường giáo dục khác như trung tâm đào tạo, trường đại học.

1.1. Nhận dạng đầu học sinh

Nhận dạng đầu học sinh là một phần quan trọng trong hệ thống điểm danh tự động. Phương pháp này sử dụng công nghệ nhận diện khuôn mặt và phân tích video để xác định vị trí đầu của học sinh trong lớp học. Các thuật toán như HOG/SVM và CNN được áp dụng để tăng độ chính xác trong việc nhận dạng. Việc nhận dạng đầu thay vì khuôn mặt giúp hệ thống hoạt động hiệu quả hơn trong các điều kiện ánh sáng khác nhau và khi học sinh ngồi không theo thứ tự.

1.2. Theo dõi chuyển động

Theo dõi chuyển động là quá trình bám sát các đối tượng trong video để xác định vị trí và di chuyển của chúng. Trong hệ thống điểm danh, phương pháp này được sử dụng để theo dõi sự di chuyển của học sinh trong lớp học. Các thuật toán như Camshift và Particle filter được áp dụng để đảm bảo độ chính xác và ổn định trong việc theo dõi. Điều này giúp hệ thống xác định được học sinh có mặt trong lớp một cách chính xác.

II. Công nghệ nhận diện và phân tích video

Công nghệ nhận diện và phân tích video là nền tảng của hệ thống điểm danh học sinh. Các công nghệ này bao gồm nhận diện khuôn mặt, phát hiện đối tượng, và theo dõi chuyển động. Việc sử dụng công nghệ thông tin trong giáo dục giúp tăng cường hiệu quả quản lý và giám sát học sinh. Hệ thống này không chỉ giúp điểm danh mà còn có thể được sử dụng để giám sát hành vi và sự tập trung của học sinh trong lớp học.

2.1. Nhận diện khuôn mặt

Nhận diện khuôn mặt là một công nghệ được sử dụng rộng rãi trong các hệ thống điểm danh tự động. Tuy nhiên, trong môi trường lớp học, việc nhận diện khuôn mặt có thể gặp khó khăn do ánh sáng và góc nhìn. Do đó, hệ thống này tập trung vào nhận dạng đầu để tăng độ chính xác. Các thuật toán như CNN và SVM được sử dụng để phân tích và nhận diện các đặc điểm của đầu học sinh.

2.2. Phân tích video

Phân tích video là quá trình xử lý và phân tích các frame ảnh từ video để phát hiện và theo dõi đối tượng. Trong hệ thống điểm danh, phân tích video được sử dụng để xác định vị trí và di chuyển của học sinh. Các phương pháp như Optical flow và GMM được áp dụng để tăng cường khả năng phát hiện và theo dõi. Điều này giúp hệ thống hoạt động hiệu quả trong các điều kiện khác nhau.

III. Ứng dụng công nghệ trong giáo dục

Ứng dụng công nghệ trong giáo dục đang ngày càng trở nên phổ biến, đặc biệt là trong việc quản lý và giám sát học sinh. Hệ thống điểm danh học sinh bằng nhận dạng đầu và theo dõi chuyển động là một ví dụ điển hình. Hệ thống này không chỉ giúp giảm tải công việc cho giáo viên mà còn tăng cường hiệu quả quản lý lớp học. Ngoài ra, hệ thống này còn có thể được tích hợp với các giải pháp công nghệ khác để tạo ra một môi trường học tập thông minh và hiệu quả.

3.1. Giải pháp công nghệ giáo dục

Giải pháp công nghệ giáo dục bao gồm các hệ thống và công cụ giúp tăng cường hiệu quả quản lý và giảng dạy. Hệ thống điểm danh học sinh là một phần của giải pháp này. Việc sử dụng công nghệ thông tin trong giáo dục giúp tạo ra một môi trường học tập hiện đại và hiệu quả. Hệ thống này có thể được tích hợp với các công cụ khác như hệ thống quản lý học tập (LMS) để tạo ra một giải pháp toàn diện.

3.2. Hệ thống giám sát học sinh

Hệ thống giám sát học sinh là một phần quan trọng trong việc quản lý lớp học. Hệ thống này sử dụng công nghệ video để theo dõi và giám sát hành vi của học sinh. Việc sử dụng phân tích video và theo dõi chuyển động giúp hệ thống xác định được sự hiện diện và hành vi của học sinh một cách chính xác. Điều này giúp giáo viên có thể quản lý lớp học một cách hiệu quả hơn.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số giáo dục, công tác quản lý chuyên cần và duy trì sĩ số học sinh đóng vai trò then chốt đối với chất lượng đào tạo tại các cơ sở giáo dục. Phương pháp điểm danh truyền thống thông qua việc giáo viên gọi tên từng học sinh hoặc ký danh sách thường làm tiêu tốn từ 5 đến 10 phút của mỗi tiết học, đồng thời dễ phát sinh tình trạng điểm danh hộ hoặc nhầm lẫn số liệu. Tại các cơ sở giáo dục quy mô lớn, đơn cử như Trường Trung cấp Thủy sản Thành phố Hồ Chí Minh với gần 900 học sinh phân bổ tại 27 lớp học thuộc 6 khoa chuyên môn, áp lực quản lý sĩ số đặt lên đội ngũ giám thị và giáo viên là vô cùng lớn. Đáng chú ý, gần 90% học sinh tại đây thuộc độ tuổi từ 15 trở lên vừa tốt nghiệp bậc trung học cơ sở, đòi hỏi quy trình theo dõi chuyên cần phải diễn ra liên tục vào đầu giờ, giữa giờ và cuối giờ học.

Mặc dù nhiều trường học đã trang bị hạ tầng giám sát hiện đại với mật độ từ 5 đến hơn 30 camera mỗi cơ sở, phần lớn hệ thống này mới chỉ phục vụ việc quan sát thụ động sau sự cố mà chưa tích hợp khả năng thống kê tự động theo thời gian thực. Các giải pháp điểm danh bằng nhận diện khuôn mặt thường gặp trở ngại lớn khi áp dụng trong phòng học thực tế do góc quay camera trên cao gây biến dạng góc nhìn và tình trạng học sinh ngồi sau bị che khuất bởi học sinh phía trước. Tương tự, thiết bị quét vân tay tại cửa lớp gây ùn tắc kéo dài khi số lượng người học đông.

Nghiên cứu này tập trung giải quyết bài toán tự động hóa điểm danh học sinh thông qua giải pháp kết hợp nhận dạng vùng đầu và theo vết chuyển động trong chuỗi khung hình video. Mục tiêu cốt lõi là xây dựng một hệ thống thị giác máy tính có khả năng tự động phát hiện, bám vết quỹ đạo chuyển động của vùng đầu học sinh, tính toán tọa độ tâm trung bình và ánh xạ chính xác lên sơ đồ chỗ ngồi trong lớp. Nghiên cứu thực hiện trong khung thời gian hoàn thiện năm 2019 tại các phòng học thực tế, mang lại giải pháp công nghệ giúp tối ưu hóa 100% thời gian điểm danh thủ công, nâng cao tính minh bạch và độ chính xác trong công tác quản trị học đường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng kết hợp giữa mạng nơ-ron tích chập hiện đại, kỹ thuật xử lý ảnh nâng cao và các thuật toán theo vết tương quan dài hạn. Ba trục lý thuyết trọng tâm định hình mô hình nghiên cứu bao gồm:

Lý thuyết mạng nơ-ron tích chập và trích xuất đặc trưng: Mạng nơ-ron tích chập khai thác tối đa cấu trúc trường tiếp nhận cục bộ, cơ chế chia sẻ trọng số và các lớp tổng hợp để trích xuất đặc trưng hình ảnh phân cấp. Thay vì kết nối toàn bộ 784 điểm ảnh từ ma trận đầu vào 28x28 nơ-ron như mạng truyền thẳng truyền thống đòi hỏi tới 23.550 tham số, việc sử dụng các bộ lọc tích chập kích thước 5x5 kết hợp cơ chế chia sẻ trọng số chỉ tiêu tốn khoảng 520 tham số cho 20 sơ đồ đặc trưng. Cơ chế này giảm thiểu hơn 40 lần số lượng tham số cần huấn luyện, giúp mô hình hoạt động ổn định và có khả năng bất biến đối với các phép quay, tịnh tiến và co giãn không gian của đối tượng vùng đầu.

Lý thuyết phát hiện đối tượng dựa trên mô hình xác suất màu sắc và hình dạng: Nhằm giải quyết sự nhạy cảm của ánh sáng trong lớp học, hệ thống áp dụng thuật toán phân vùng ảnh dựa trên lý thuyết đồ thị để chia tách khung hình thành tập hợp các vùng đồng nhất màu sắc. Đặc trưng hình dạng được lượng tử hóa thông qua 9 hình dạng mẫu đại diện cho đường bao vùng đầu, kết hợp cùng không gian histogram màu 3 chiều. Xác suất hậu nghiệm của tập hợp các vùng liên thông được tối đa hóa nhằm nhận diện chính xác vùng đầu của từng học sinh ngay cả trong môi trường lớp học có hậu cảnh phức tạp.

Lý thuyết theo vết đối tượng dựa trên lọc tương quan dài hạn: Thuật toán áp dụng phương pháp hồi quy sườn nhân kết hợp biến đổi Fourier nhanh để theo vết đối tượng trong miền tần số. Mô hình xây dựng vector đặc trưng tổng hợp gồm 47 kênh, bao gồm 31 kênh lược đồ định hướng gradient, 8 kênh cường độ cục bộ ma trận 6x6 và các kênh chuyển đổi chiếu sáng phi tuyến. Cơ chế này kết hợp cùng bộ phân loại trực tuyến cây dương xỉ ngẫu nhiên giúp giải quyết triệt để tình trạng mất dấu khi học sinh di chuyển, cúi đầu hoặc thay đổi góc nhìn đột ngột.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm: Tập dữ liệu nghiên cứu bao gồm 45 video ghi hình thực tế tại các phòng học thuộc Trường Trung cấp Thủy sản Thành phố Hồ Chí Minh. Các video được ghi nhận từ hệ thống camera cố định lắp đặt ở góc cao bao quát toàn bộ không gian phòng học. Bộ dữ liệu được phân loại có hệ thống thành các nhóm điều kiện môi trường đa dạng: 45 video phân nhóm theo buổi học (buổi sáng, buổi chiều), phân nhóm theo phòng học chức năng, phân nhóm theo tầng lầu (tầng 1, tầng 2, tầng 3) và phân nhóm theo điều kiện ánh sáng (ánh sáng tự nhiên nhiều mây, ánh sáng đèn điện tiêu chuẩn, ánh sáng ngược). Trong đó, 30 video với hàng nghìn khung hình trích xuất được sử dụng cho giai đoạn huấn luyện mô hình và 15 video còn lại dùng để kiểm thử độc lập.

Phương pháp phân tích và xử lý dữ liệu: Quy trình xử lý dữ liệu video được triển khai qua 4 giai đoạn logic chặt chẽ:

1. Xác định thời điểm bắt đầu ổn định: Hệ thống phân tích chuỗi khung hình liên tiếp để tìm khoảng thời gian có độ biến thiên hậu cảnh nhỏ nhất khi giáo viên bước vào lớp và học sinh đã ổn định vị trí ngồi. Khoảng thời gian giữa các khung hình liên tiếp được kiểm soát ở mức dưới 0.04 giây, tương đương tốc độ khung hình từ 25 đến 30 hình mỗi giây.
2. Phát hiện vùng đầu ứng viên: Áp dụng trích xuất đặc trưng kết hợp và mạng nơ-ron để xác định tọa độ khung bao của từng vùng đầu học sinh.
3. Theo vết chuyển động liên tục: Sử dụng bộ lọc tương quan để bám sát chuyển động quay đầu, nghiêng người của học sinh qua chuỗi hàng trăm khung hình liên tục, tự động cập nhật mô hình hồi quy ngữ cảnh thời gian.
4. Ước lượng tâm trung bình và ánh xạ sơ đồ: Tính toán vị trí tâm trọng học trung bình của từng học sinh sau chuỗi chuyển động và đối sánh với ma trận tọa độ của sơ đồ bàn học đã được số hóa sẵn trong cơ sở dữ liệu để ghi nhận kết quả điểm danh.

Lý do lựa chọn phương pháp phân tích này xuất phát từ đặc tính góc quay camera từ trên cao nhìn xuống, nơi vùng đầu là đặc trưng thị giác rõ ràng và ít bị che khuất nhất so với khuôn mặt hay toàn thân. Đồng thời, việc tính toán trên miền tần số Fourier mang lại tốc độ thực thi thời gian thực vượt trội trên nền tảng phần cứng thông thường.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm trên 45 tập dữ liệu video tại các phòng học mang lại những phát hiện quan trọng về hiệu năng của mô hình điểm danh tự động:

Thứ nhất, độ chính xác tổng thể trong bài toán phát hiện vùng đầu học sinh đạt tỷ lệ thành công trung bình trên 92% trên toàn bộ các tập dữ liệu thử nghiệm. Trong điều kiện ánh sáng phòng học tiêu chuẩn và vị trí ngồi ổn định, hệ thống nhận diện chính xác vị trí học sinh với tỷ lệ sai lệch vị trí dưới 5%. Mô hình trích xuất đặc trưng 47 kênh cho thấy khả năng chống chịu nhiễu vượt trội so với các thuật toán phân lớp truyền thống.

Thứ hai, kết quả phân tích theo các nhóm điều kiện môi trường cho thấy sự phân hóa rõ nét về hiệu quả điểm danh:

• Phân nhóm theo buổi học: Độ chính xác của các lớp học buổi sáng đạt mức khoảng 93.8%, cao hơn khoảng 3.5% so với các lớp học buổi chiều (đạt khoảng 90.3%) do điều kiện ánh sáng tự nhiên buổi sáng ổn định và ít hiện tượng đổ bóng xiên qua cửa sổ.
• Phân nhóm theo tầng lầu và vị trí phòng: Các phòng học tại tầng 1 và tầng 2 đạt độ chính xác trung bình khoảng 92.5%, trong khi các phòng tại tầng 3 chịu ảnh hưởng mạnh của ánh sáng khúc xạ qua mái tôn vào các khung giờ trưa, khiến độ chính xác dao động ở mức khoảng 89.2%.
• Phân nhóm theo mật độ lớp học: Tại các lớp học có quy mô từ 25 đến 35 học sinh, độ chính xác điểm danh đạt trên 94.5%. Khi mật độ học sinh tăng lên trên 45 em trong các phòng học diện tích hẹp, độ chính xác giảm nhẹ còn khoảng 88.6% do hiện tượng che khuất tương hỗ giữa các hàng ghế.

Thứ ba, tốc độ xử lý của mô hình đạt mức từ 22 đến 28 khung hình mỗi giây trên cấu hình máy tính tiêu chuẩn, đáp ứng hoàn hảo yêu cầu vận hành theo thời gian thực mà không đòi hỏi hệ thống siêu máy tính đắt tiền.

Thảo luận kết quả

Khi xem xét dữ liệu thực nghiệm được trình bày qua các bảng biểu và biểu đồ phân nhóm trong nghiên cứu, có thể khẳng định việc kết hợp giữa phát hiện vùng đầu và theo vết chuyển động dài hạn là hướng đi đúng đắn, khắc phục triệt để các hạn chế của phương pháp nhận dạng khuôn mặt truyền thống trong không gian giảng đường.

Biểu đồ so sánh độ chính xác giữa các điều kiện ánh sáng minh chứng rằng việc tích hợp kênh chuẩn hóa độ sáng phi tuyến cùng bộ lọc tương quan đã giúp hệ thống duy trì tỷ lệ nhận diện ổn định, giảm thiểu hiện tượng mất dấu khi ánh nắng thay đổi đột ngột. Nguyên nhân chính của các trường hợp nhận diện sai hoặc bỏ sót đối tượng (chiếm tỷ lệ khoảng 7.5% tổng số mẫu lỗi) tập trung vào 3 kịch bản thực tế:

1. Học sinh ngồi sát mép tường bị bóng của quạt trần hoặc máy chiếu che khuất liên tục.
2. Học sinh có trang phục hoặc màu tóc trùng lặp mạnh với màu sắc của bàn ghế và nền phòng học.
3. Học sinh thay đổi vị trí chỗ ngồi liên tục ngoài phạm vi sơ đồ quy định trong thời gian lấy mẫu.

So sánh với các phương pháp theo dõi dựa trên thuật toán phân lớp nhị phân truyền thống, mô hình hồi quy tương quan đa kênh kết hợp cơ chế phát hiện lại bằng cây dương xỉ ngẫu nhiên giúp tăng cường hơn 35% khả năng khôi phục dấu vết sau khi bị che khuất tạm thời. Việc tính toán vị trí tâm trung bình qua chuỗi từ 50 đến 100 khung hình liên tiếp giúp lọc bỏ hoàn toàn các dao động ngẫu nhiên khi học sinh quay đầu nói chuyện hoặc cúi xuống ghi bài, đảm bảo việc ánh xạ lên ma trận sơ đồ lớp học đạt độ tin cậy tuyệt đối.

Đề xuất và khuyến nghị

Dựa trên các kết quả thực nghiệm và hạn chế đã được chỉ ra, nghiên cứu đưa ra 4 khuyến nghị cụ thể nhằm hoàn thiện và nhân rộng hệ thống điểm danh tự động trong thực tế:

Thứ nhất, chuẩn hóa vị trí và thông số kỹ thuật lắp đặt camera giám sát. Các đơn vị giáo dục cần bố trí camera tại vị trí trung tâm phía trên bục giảng hướng xuống toàn bộ không gian phòng với góc nghiêng từ 45 đến 60 độ so với phương thẳng đứng. Độ phân giải khung hình tối thiểu cần đạt chuẩn Full HD (1920x1080 điểm ảnh) với tốc độ quét không dưới 30 khung hình mỗi giây nhằm đảm bảo độ sắc nét cho việc phân tích các vùng đầu có kích thước chỉ từ 20x20 đến 35x35 điểm ảnh ở các dãy bàn cuối. Mục tiêu kỹ thuật này cần được triển khai đồng bộ trong vòng 3 tháng đầu của dự án nâng cấp hạ tầng.

Thứ hai, tối ưu hóa thuật toán phân vùng bằng các kiến trúc học sâu tiên tiến. Ban quản trị công nghệ nên nâng cấp khối phát hiện đối tượng từ các bộ lọc trích xuất truyền thống sang các mô hình mạng nơ-ron tích chập hiện đại có tốc độ xử lý nhanh, giúp nâng cao độ chính xác phát hiện vùng đầu lên mức mục tiêu trên 96% ngay cả trong điều kiện thiếu sáng. Kế hoạch lập trình và huấn luyện lại dữ liệu dự kiến thực hiện trong vòng 6 tháng bởi đội ngũ kỹ sư phần mềm.

Thứ ba, xây dựng quy trình quản lý sơ đồ chỗ ngồi thông minh kết hợp ứng dụng di động. Nhà trường cần áp dụng quy định cố định vị trí ngồi của học sinh theo từng học kỳ và số hóa sơ đồ này lên hệ thống cơ sở dữ liệu trung tâm. Khi hệ thống phát hiện sự sai lệch giữa vị trí đầu thực tế và sơ đồ trong 3 phút đầu giờ học, một thông báo tự động sẽ được gửi trực tiếp đến ứng dụng của giáo viên chủ nhiệm và giám thị để kiểm tra thực tế, giúp giảm 90% thời gian xử lý các bất thường chuyên cần.

Thứ tư, nâng cấp phần cứng xử lý trung tâm và tích hợp giải pháp biên toán học. Đơn vị phát triển hệ thống cần tích hợp các mô-đun tăng tốc tính toán đồ họa biên tại từng tầng hoặc từng dãy phòng học, cho phép xử lý đồng thời luồng video từ 10 đến 20 phòng học cùng lúc mà không gây nghẽn băng thông mạng nội bộ, hoàn thành lộ trình tích hợp trong vòng 12 tháng.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và thực tiễn phong phú, đặc biệt phù hợp cho 4 nhóm đối tượng trọng tâm sau:

1. Ban giám hiệu và cán bộ quản lý giáo dục tại các trường phổ thông và trung cấp chuyên nghiệp: Giúp các nhà quản lý nắm bắt giải pháp tự động hóa toàn diện quy trình kiểm soát sĩ số, giảm thiểu gánh nặng hành chính cho giám thị và giáo viên, từ đó tiết kiệm trung bình 15 đến 20 giờ lao động mỗi tháng cho mỗi lớp học và nâng cao tính kỷ luật học đường.

2. Kỹ sư phát triển phần mềm và chuyên gia thị giác máy tính: Cung cấp tài liệu tham khảo chi tiết về quy trình kết hợp các bộ lọc tương quan đa kênh với mạng nơ-ron tích chập, cách giải quyết bài toán biến dạng kích thước và hiện tượng mất dấu đối tượng trong môi trường giám sát thực tế thông qua các ca sử dụng cụ thể.

3. Giảng viên, học viên cao học và sinh viên ngành Công nghệ thông tin: Tài liệu là nguồn tham khảo học thuật giá trị cho các học phần xử lý ảnh, trí tuệ nhân tạo, học máy và nhận dạng mẫu. Nghiên cứu cung cấp hệ thống công thức toán học chặt chẽ về phân vùng ảnh đồ thị, hồi quy sườn nhân và biến đổi Fourier trong miền tần số.

4. Các doanh nghiệp phát triển giải pháp trường học thông minh và công nghệ giáo dục: Làm tài liệu phân tích kỹ thuật và khả thi kinh tế để thương mại hóa các sản phẩm điểm danh tự động không tiếp xúc, tích hợp vào các hệ sinh thái quản trị trường học thông minh đang được triển khai rộng khắp tại Việt Nam.

Câu hỏi thường gặp

Hệ thống điểm danh bằng vùng đầu có ưu điểm gì vượt trội so với nhận diện khuôn mặt trong lớp học? Hệ thống tận dụng camera góc cao sẵn có để bao quát toàn bộ học sinh mà không bị che khuất bởi các bạn ngồi hàng trên. Phương pháp này không phụ thuộc vào góc mặt hay việc học sinh cúi đầu ghi bài, đồng thời giảm thiểu tối đa các lo ngại về bảo mật dữ liệu sinh trắc học khuôn mặt của học sinh dưới 18 tuổi.

Yêu cầu cấu hình phần cứng để vận hành hệ thống cho một trường học 30 phòng học là gì? Hệ thống chỉ yêu cầu camera chuẩn HD 720p hoặc Full HD 1080p có sẵn. Tại trung tâm điều hành, một máy chủ trang bị bộ xử lý đồ họa tầm trung có thể xử lý luân phiên chuỗi 50 đến 100 khung hình của từng phòng học trong 3 phút đầu giờ với tốc độ xử lý đạt trên 25 khung hình mỗi giây.

Làm thế nào hệ thống nhận biết được học sinh vắng mặt hay chỉ tạm thời ra ngoài? Hệ thống áp dụng thuật toán bám vết liên tục qua chuỗi thời gian kết hợp tính toán tọa độ tâm trung bình. Nếu tại một vị trí bàn học trên sơ đồ không phát hiện được vùng đầu trong suốt khoảng thời gian quét mẫu 60 giây, hệ thống mới chính thức ghi nhận trạng thái vắng mặt và gửi cảnh báo xác nhận.

Hiện tượng hai học sinh ngồi quá sát nhau có làm hệ thống đếm nhầm thành một đối tượng không? Không, nhờ thuật toán phân vùng ảnh dựa trên lý thuyết đồ thị kết hợp bộ 9 đặc tả hình dạng mẫu elip chuẩn của đầu người. Hệ thống tách biệt rõ ràng hai đỉnh elip độc lập ngay cả khi khoảng cách giữa hai đầu học sinh chỉ cách nhau từ 5 đến 10 cm trong khung hình.

Khi học sinh đổi chỗ ngồi cho nhau, hệ thống xử lý như thế nào? Hệ thống sẽ ghi nhận vị trí có người ngồi nhưng đối chiếu với sơ đồ số hóa để cảnh báo hiện tượng ngồi sai vị trí. Giáo viên chỉ cần một thao tác chạm trên phần mềm quản lý để cập nhật lại danh sách hoặc điều chỉnh học sinh về đúng vị trí được phân công ban đầu.

Kết luận

Nghiên cứu đã giải quyết trọn vẹn bài toán tự động hóa điểm danh học sinh thông qua 5 đóng góp học thuật và công nghệ cốt lõi:

• Xây dựng thành công quy trình điểm danh học sinh tự động từ camera góc cao, khắc phục triệt để nhược điểm của các phương pháp thủ công và nhận diện khuôn mặt truyền thống.
• Phát triển mô hình nhận diện vùng đầu kết hợp xác suất màu sắc và 9 đặc tả hình dạng mẫu, đạt độ chính xác phân vùng vượt trội.
• Tích hợp thành công thuật toán theo vết tương quan dài hạn với vector đặc trưng 47 kênh, đảm bảo bám vết mượt mà ở tốc độ trên 25 khung hình mỗi giây.
• Thiết lập cơ chế tính toán tâm trung bình và ánh xạ tự động lên sơ đồ lớp học số hóa với độ chính xác đạt trên 92% trên 45 tập dữ liệu video thực tế.
• Đề xuất giải pháp kỹ thuật có tính ứng dụng cao, tận dụng 100% hạ tầng camera giám sát sẵn có tại các trường học tại Việt Nam mà không phát sinh chi phí đầu tư thiết bị đắt đỏ.

Lộ trình phát triển tiếp theo trong 12 đến 24 tháng tới sẽ tập trung tích hợp các kiến trúc học sâu nhận diện hành vi để đánh giá mức độ tập trung của học sinh trong giờ học. Các cơ sở giáo dục và đơn vị công nghệ quan tâm đến giải pháp điểm danh tự động có thể liên hệ hợp tác nghiên cứu và triển khai thử nghiệm hệ thống ngay hôm nay để cùng kiến tạo môi trường học đường số hóa thông minh, minh bạch và hiệu quả.

Trích đoạn nội dung tài liệu

Đặt vấn đề Hiện nay đã có rất nhiều ứng dụng về xử lý video trong việc giám sát đối tượng như: con người, phương tiện giao thông, hàng hóa, động vật, thực vật… ; các ứng dụng về việc đếm số lượt xe trên đường, thống kê các loại xe, hoặc hàng hóa; những ứng dụng về thống kê số người ra vào một cửa hàng, siêu thị, bệnh viện…[6] đã được nhiều nhóm nghiên cứu thực hiện và triển khai. Trên thế giới đã có nhiều ứng dụng nhận dạng, quản lý, giám sát hoặc thống kê rất đa dạng. Tại một số trường cao đẳng và đại học nước ngoài, các lớp học thường có số lượng sinh viên tham gia đông đến nỗi khó có thể kiểm soát liệu sinh viên có thực sự tham gia lớp học hay không. Nếu dùng cách điểm danh truyền thống bằng cách kí vào danh sách thì có khả năng sinh viên sẽ kí hộ lẫn nhau, điểm danh tên từng người lại mất thời gian [4][17].

Tuy nhiên, công nghệ nhận dạng khuôn mặt nay đã có thể giải quyết vấn đề này. Để vào lớp và được điểm danh, sinh viên sẽ phải quét nhận dạng khuôn mặt để khớp với dữ liệu đã lưu của trường. Vì vậy trừ khi bạn có anh em sinh đôi, nếu không giờ trốn học của bạn sẽ không còn là điều dễ dàng nữa. Trường Quản trị ESG ở Pari đang thử nghiệm phần mềm nhận diện khuôn mặt tại hai lớp học trực tuyến để đảm bảo các sinh viên tham gia không xao lãng trong giờ học.

Trường sử dụng phần mềm có tên là Nestor, webcam trên máy tính cá nhân của mỗi sinh viên sẽ phân tích chuyển động mắt và biểu hiện khuôn mặt để tìm ra liệu sinh viên đó có đang tập trung vào các video bài giảng hay không. Sau đó, phần mềm này sẽ tự động tạo ra các câu đố trắc nghiệm về nội dung bài giảng để kiểm tra sự tập trung của người học. Công nghệ này cũng vô cùng hữu dụng với giáo viên, để có thể điều chỉnh bài giảng dựa trên phần nào học viên ít chú ý nhất [11]. Tại Việt Nam đa số các ứng dụng xử lý video thường tập trung vào giám sát các đối tượng con người trong việc phòng chống tội phạm, phát hiện hành vi Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang 12 / 90 khả nghi của đối tượng; hoặc là các ứng dụng thống kê xe qua trạm thu phí, đếm số lượt ra vào của các loại xe trong một bãi giữ xe, hoặc giám sát, dự báo và phỏng đoán tình hình kẹt xe tại các giao lộ dựa trên lưu lượng xe đông hoặc số lượng xe được thống kê của các ứng dụng [7].… Việc thực hiện điểm danh học sinh tại các trường học hiện chưa được thấy triển khai ở Việt Nam, mặc dù có rất nhiều trường được trang bị hệ thống camera rất hiện đại với số lượng từ 5 - 10 camera/trường, thậm chí có trường bố trí hơn 30 camera trong phạm vi toàn trường (các trường THCS trên địa bàn Quận 6, Quận 11, Quận Bình Tân và nhiều quận khác cũng được trang bị rất nhiều camera như vậy).

Tuy nhiên hệ thống này chủ yếu chỉ để giám thị, giáo viên quan sát, xem lại khi có sự cố, hoàn toàn chưa có xử lý, thống kê và đếm học sinh một cách tự động. Do đó việc thực hiện đề tài điểm danh học sinh trong một lớp học là một nhu cầu theo tôi là cần thiết trong các trường tiểu học, trung học cơ sở, trung học phổ thông cũng như một số trường trung cấp có nhu cầu giám sát và quản lý học sinh. Thực hiện đề tài này sẽ giúp tôi có thêm cơ hội tìm hiểu, học tập và nghiên cứu thêm nhiều kiến thức về công nghệ thông tin nói chung và kiến thức về xử lý ảnh nói riêng. Để xây dựng hệ thống điểm danh học sinh thông qua nhận dạng đầu học sinh kết hợp theo vết chuyển động trong video cần tìm hiểu nhiều tài liệu và kiến thức liên quan về trí tuệ nhân tạo, mạng nơ-ron, kiến thức về học máy và nhất là bài toán về nhận dạng và theo vết chuyển động trong video.

Thực hiện đề tài này cũng là cơ hội kết hợp những kiến thức đã được học trong chương trình đào tạo ứng dụng vào thực tiễn. Phạm vi nghiên cứu của đề tài bao gồm nghiên cứu nhận dạng đối tượng, chủ yếu nhận dạng đặt trưng vùng đầu, sau đó theo vết chuyển động để xác định số lượng đối tượng vùng đầu học sinh có trong phòng học. Một số phương pháp có thể sử dụng nghiên cứu thực hiện: - Phát hiện đối tượng chuyển động (sử dụng các phương pháp): Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang 13 / 90 + Optical flow + GMM (Gaussian Mixture Model) + Trừ ảnh + Phương pháp Otsu (phân vùng ảnh) - Theo vết chuyển động (có thể dùng phương pháp): + Camshift + Particle filter Đề tài được thực hiện tại các trường học cấp 2, cấp 3 hoặc các trường Trung cấp có lớp học bố trí học sinh ngồi theo sơ đồ. Giới thiệu bài toán Tại Trường Trung cấp Thủy sản (địa chỉ: 511 An Dương Vương, Phường An Lạc A, Quận Bình Tân, Tp.HCM) có gần 900 học sinh của 27 lớp thuộc quản lý của sáu khoa của Trường, trong đó gần 90% học sinh theo học nghề là các đối tượng học sinh tốt nghiệp THCS (tuổi từ 15 trở lên), các em đa số còn rất nhỏ, hầu hết phụ huynh đều rất lo lắng cho con em họ có đi học đầy đủ, đúng giờ hay không, có bỏ học, trốn tiết hay không.

Thầy Cô giáo chủ nhiệm, bộ phận giám thị cũng có nhu cầu điểm danh học sinh từng lớp theo buổi và theo tiết để biết học sinh có duy trì sĩ số hay không; phát hiện kịp thời các trường hợp nghỉ, bỏ học. Do đó, ngoài việc giảng dạy thì công tác quản lý các em là một yêu cầu hết sức cần thiết và rất quan trọng với nhà trường. Ban giám hiệu và Phòng công tác học sinh giao cho các giám thị phối hợp với giáo viên đứng lớp thường xuyên điểm danh đầu giờ, giữa giờ và cuối giờ để phát hiện các em đi trễ, bỏ học hoặc nghỉ học để kịp thời thông báo cho Phụ huynh ngay trong buổi học hoặc chậm nhất là sau khi kết thúc giờ học. Với số lượng lớp học và học sinh đông như vậy công việc điểm danh hàng ngày tốn rất nhiều thời gian và nhân lực của Trường, thậm chí còn ảnh hưởng Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang 14 / 90 đến giờ lên lớp của các giáo viên bộ môn vì giám thị phải thường xuyên vào lớp điểm danh từng em và thống kê ngay lập tức để có số lượng chính xác nhất.

Xuất phát từ thực tế trên, việc lắp đặt camera trong các phòng học để điểm danh học sinh có mặt trong lớp bằng hệ thống tự động sẽ giúp giảm tải công việc cho các giám thị, giảm nhân lực cho nhà trường, tăng hiệu quả giám sát học sinh. Đó là lý do để tôi thực hiện đề tài này. Đề tài nghiên cứu được thực hiện trên tập dữ liệu là video quay tại các lớp học của Trường Trung cấp Thủy sản. Những video này được quay bằng các camera lắp cố định trong những lớp học.

Các hướng tiếp cận 1.1 Xác định vị trí vùng đầu trong ảnh Nhận dạng người và đếm số lượng người trong môi trường thực tế là một thách thức đối với việc xử lý video. Thực tế theo tìm hiểu thì cũng đã có rất nhiều các ứng dụng đếm người dùng. Ví dụ như: Tự động đếm hành khách lên xuống xe buýt, xe lửa, tàu điện hoặc hệ thống giao thông công cộng khác [18]. Việc nhận dạng các học sinh trong một lớp học phức tạp hơn do nhiều yếu tố như: ánh sáng từng thời điểm trong ngày khác nhau (do mây), không gian lớp học (quá rộng hoặc quá hẹp), số lượng học sinh quá đông hay các em ngồi không theo thứ tự cao thấp, tức là học sinh cao ngồi dưới, học sinh thấp ngồi trên hoặc những học sinh có thân hình to (mập) ngồi trước những học sinh có dáng nhỏ (gầy).

Do đó việc nhận dạng và điểm danh học sinh khó có thể dùng phương pháp nhận dạng khuôn mặt, nhưng nếu dùng camera để trên cao hướng xuống lớp học và nhận dạng vùng đầu của các em học sinh thì sẽ khả thi hơn rất nhiều. Thông thường việc nhận dạng đầu thường dùng phương pháp ước lượng di chuyển của người đi bộ dựa trên phân loại các lớp kết hợp với HOG/SVM theo đề xuất của Dalal và Triggs [20]. Phương pháp phát hiện đầu dựa trên các phép tính toán rời rạc và các lớp LPB. Nhận dạng vùng đầu tích hợp thời gian thực Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang 15 / 90 bằng cách sử dụng mô hình ẩn của Markov cho kết quả khá tốt.1 mô tả cách thức phát hiện đối tượng theo thời gian thực được xây dựng theo mô hình phân cấp, phát hiện đối tượng theo từng vùng ảnh liên tục [16].

Phát hiện Phân loại định hướng Ước tính liên tục t t +1 Hình 1.1 Mô hình phân cấp phát hiện vùng đầu theo thời gian thực [16] Mô hình này được chia làm hai giai đoạn: - Giai đoạn đầu tiên bao gồm một lớp HOG/SVM đơn giản sử dụng mô hình chỉ một đầu ở độ phân giải thấp. Hệ thống dò tìm này tương tự như thiết bị được Dalal và Trigg đề xuất. Tập dữ liệu bao gồm khoảng 10.000 hình ảnh được huấn luyện và chú thích thủ công để tạo ra các mẫu ngẫu nhiên tốt nhất. Từ những mẫu sai về khung ảnh không có người đi bộ, hệ thống sẽ được huấn luyện lại để hạn chế nhận dạng sai so với giai đoạn huấn luyện ban đầu.

Sử dụng một bộ kiểm tra độc lập để đạt được ngưỡng phát hiện tốt nhất có thể. - Giai đoạn thứ hai sử dụng một mô hình dựa trên một phần mà mô hình được đào tạo phát hiện của giai đoạn đầu tiên. Mặc dù người đi bộ có thể thay đổi rất nhiều về tư thế và ngoại hình, người đứng đầu chỉ thay đổi chút ít về Luận văn Thạc sĩ Công nghệ thông tin Lê Thái Tú Tiền 16CH201014 Trang 16 / 90 ngoại hình. Tuy nhiên, kết quả phát hiện lại tốt hơn so với hệ thống phát hiện đa mô hình.

Phương pháp tính toán entropy H(Ω) của gradient ảnh cho cả hướng và độ lớn của tập huấn luyện hoàn chỉnh Ω theo công thức (1.