Nghiên cứu một số mô hình deep learning ứng dụng kiểm tra người dân sử dụng khẩu trang

Luận văn mô hình deep learning kiểm tra người dân dùng khẩu trang - ĐH Thái Nguyên 2022

• Tác giả: Nguyễn Thị Anh
• Người hướng dẫn: TS. Phạm Đức Long
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu một số mô hình deep learning ứng dụng kiểm tra người dân sử dụng khẩu trang
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Thái Nguyên

Tóm tắt

I. Tổng quan về mô hình deep learning kiểm tra đeo khẩu trang

Nghiên cứu về mô hình học sâu phục vụ nhận diện hành vi đeo khẩu trang phát triển mạnh mẽ từ yêu cầu phòng chống dịch bệnh. Đề tài thạc sĩ tại Đại học Thái Nguyên tập trung giải quyết bài toán phát hiện khuôn mặt và phân loại trạng thái che chắn của người dân. Trí tuệ nhân tạo thay thế hoàn toàn phương pháp giám sát thủ công truyền thống. Các hệ thống camera giám sát thông thường chỉ ghi nhận hình ảnh thụ động. Việc tích hợp mô hình deep learning giúp thiết bị tự động xử lý luồng video đầu vào với độ chính xác cao. Mạng nơ-ron tích chập đóng vai trò then chốt trong việc bóc tách các lớp đặc trưng khuôn mặt phức tạp. Thuật toán phân tích chi tiết vùng mũi, miệng và đường nét cằm để xác định người quan sát có tuân thủ quy định y tế hay không. Nghiên cứu thực nghiệm tại cơ sở giáo dục chứng minh tính khả thi của giải pháp trong môi trường trường học và khu công cộng. Toàn bộ chu trình vận hành diễn ra khép kín, bảo đảm tốc độ phản hồi nhanh chóng và giảm thiểu áp lực quản lý nhân sự.

1.1. Bối cảnh nghiên cứu tại Đại học Thái Nguyên

Đại học Thái Nguyên quy tụ số lượng sinh viên và giảng viên rất lớn. Mật độ giao tiếp cao tạo ra thách thức đáng kể cho công tác phòng dịch. Quản lý thủ công tại cổng ra vào dễ gây ùn tắc giao thông cục bộ. Nhân viên an ninh gặp nhiều khó khăn khi phải liên tục nhắc nhở từng cá nhân. Luận văn thạc sĩ chuyên ngành Khoa học máy tính năm 2022 đã đặt ra mục tiêu xây dựng giải pháp công nghệ tự động. Ứng dụng deep learning trực tiếp giải quyết bài toán phát hiện người không tuân thủ quy định phòng hộ. Kết quả nghiên cứu tạo nền tảng vững chắc cho hạ tầng trường học thông minh.

1.2. Khái niệm cơ bản về thị giác máy tính và CNN

Thị giác máy tính là lĩnh vực giúp máy tính hiểu nội dung hình ảnh kỹ thuật số. Mạng nơ-ron tích chập mô phỏng cơ chế thị giác sinh học của mắt người. Kiến trúc mạng bao gồm các lớp tích chập, lớp kích hoạt phi tuyến và lớp lấy mẫu. Các bộ lọc trích xuất đường biên, màu sắc và góc cạnh của đối tượng. Dữ liệu khuôn mặt được nén qua nhiều tầng biểu diễn không gian. Lớp kết nối đầy đủ cuối cùng đưa ra xác suất dự đoán trạng thái đeo khẩu trang. Công nghệ này có khả năng tự học đặc trưng vượt trội so với các phương pháp xử lý ảnh truyền thống.

II. Phân tích bài toán kiểm tra người dân đeo khẩu trang phòng dịch

Xử lý ảnh thực tế đặt ra nhiều rào cản kỹ thuật phức tạp cho bài toán thị giác máy tính. Hình ảnh thu thập từ camera ngoài trời thường xuyên chịu ảnh hưởng bởi điều kiện thời tiết và góc quay. Cường độ ánh sáng thay đổi liên tục gây biến dạng giá trị điểm ảnh trên bề mặt da. Người di chuyển nhanh dẫn đến hiện tượng nhòe chuyển động và mất nét cục bộ. Khuôn mặt bị che khuất một phần bởi mũ bảo hiểm, kính mắt hoặc tóc dài làm giảm độ chính xác nhận dạng. Các phương pháp trích xuất đặc trưng truyền thống như Haar-like, SIFT hay HOG bộc lộ nhiều điểm hạn chế nghiêm trọng. Thuật toán cổ điển phụ thuộc hoàn toàn vào đặc trưng thiết kế thủ công do con người định nghĩa trước. Khi gặp môi trường phức tạp hoặc nền ảnh nhiễu, tỷ lệ cảnh báo sai tăng lên đáng kể. Khối lượng tính toán của các thuật toán so khớp điểm đặc trưng cũng tiêu tốn quá nhiều tài nguyên phần cứng. Hệ quả là hệ thống không thể xử lý video mượt mà ở tốc độ khung hình tiêu chuẩn. Sự bùng nổ của mô hình deep learning đã mở ra hướng đi mới khắc phục triệt để các rào cản kỹ thuật này.

2.1. Hạn chế của các phương pháp xử lý ảnh truyền thống

Phương pháp Haar-like và biến đổi SIFT từng giữ vai trò chủ đạo trong nhận diện đối tượng. Kỹ thuật HOG tập trung biểu diễn hướng biên độ gradient cục bộ để mô tả hình dạng vật thể. Tuy nhiên, các phương pháp này đòi hỏi sự can thiệp trực tiếp của chuyên gia để định hình đặc trưng mẫu. Khả năng khái quát hóa dữ liệu mới rất kém khi kích thước khuôn mặt biến động lớn. Việc tính toán ma trận tương quan giữa hàng ngàn điểm ảnh tiêu tốn thời gian xử lý vi xử lý. Khi áp dụng vào bài toán thời gian thực, độ trễ hệ thống tăng cao khiến hiệu năng kiểm soát giảm sút rõ rệt.

2.2. Khó khăn khi kiểm tra người dân đeo khẩu trang nơi đông người

Khu vực công cộng sở hữu mật độ người qua lại rất cao vào các khung giờ cao điểm. Tình trạng che khuất lẫn nhau giữa các đối tượng gây mất dấu nhận diện camera. Sự đa dạng về kiểu dáng, màu sắc và chất liệu khẩu trang làm tăng mức độ phức tạp phân lớp. Người dân thường xuyên đeo khẩu trang sai cách như kéo xuống cằm hoặc để hở mũi. Hệ thống nhận dạng thị giác máy tính phải phân biệt chính xác giữa đeo đúng quy chuẩn và vi phạm. Việc triển khai mô hình học sâu đòi hỏi thuật toán có độ nhạy cao nhưng không được tạo ra độ trễ khung hình.

III. Giải pháp deep learning kiểm tra đeo khẩu trang bằng MobileNet

Kiến trúc mạng nơ-ron tích chập nhẹ MobileNet mang đến giải pháp tối ưu cho hệ thống giám sát nhúng. Mô hình thay thế các phép tích chập hai chiều tiêu chuẩn bằng kỹ thuật tích chập tách biệt theo chiều sâu (Depthwise Separable Convolution). Cải tiến này phân tách quá trình lọc đặc trưng và kết hợp kênh thành hai bước riêng biệt. Số lượng tham số giảm đi gần mười lần nhưng vẫn duy trì độ chính xác tương đương các mạng sâu cồng kềnh. Tốc độ suy luận đạt ngưỡng lý tưởng trên các thiết bị máy tính bảng, điện thoại di động và bo mạch nhúng. Quy trình phân loại khẩu trang vận hành thông qua cấu trúc hai giai đoạn độc lập. Giai đoạn thứ nhất sử dụng thuật toán phát hiện vị trí khuôn mặt trong khung hình gốc. Giai đoạn thứ hai đưa vùng ảnh khuôn mặt đã tiền xử lý vào mô hình MobileNet để phân loại nhãn. Hàm kích hoạt ReLU và lớp phân loại Softmax trả về xác suất tương ứng với trạng thái đeo khẩu trang hoặc không đeo khẩu trang. Quá trình tối ưu hóa trọng số dựa trên bộ dữ liệu phong phú giúp mô hình thích nghi tốt với góc nghiêng và điều kiện sáng phức tạp.

3.1. Cơ chế tích chập tách biệt sâu trong MobileNet

Tích chập tiêu chuẩn tính toán đồng thời trên toàn bộ không gian và độ sâu kênh dữ liệu. Điều này dẫn đến sự bùng nổ tham số khi số lượng kênh tăng cao. Kiến trúc MobileNet phân tách cấu trúc tính toán thành Depthwise Convolution và Pointwise Convolution. Lớp Depthwise chỉ áp dụng một bộ lọc duy nhất cho mỗi kênh đầu vào để thu thập đặc trưng không gian. Lớp Pointwise với kích thước một nhân một tiếp tục kết hợp các kênh lại với nhau. Phương pháp này giảm thiểu chi phí phép tính dấu phẩy động (FLOPs) một cách ấn tượng. Tốc độ nhận dạng đạt chuẩn thời gian thực ngay trên phần cứng giới hạn.

3.2. Quy trình huấn luyện và đánh giá mô hình học sâu

Quá trình huấn luyện mô hình đòi hỏi tập dữ liệu đa dạng có gắn nhãn chi tiết. Dữ liệu đầu vào trải qua bước tăng cường dữ liệu như xoay ảnh, lật ngang và thay đổi độ sáng. Kỹ thuật chuyển giao học tập (Transfer Learning) được áp dụng để kế thừa các trọng số đã tiền huấn luyện từ tập ImageNet. Mô hình sau đó được tinh chỉnh trên tập dữ liệu đeo khẩu trang thực tế. Các chỉ số đánh giá cốt lõi bao gồm độ chính xác Precision, độ bao phủ Recall và điểm F1-Score. Kết quả thực nghiệm cho thấy mô hình đạt độ nhạy cao và phản ứng tức thì với các trường hợp vi phạm.

IV. Hiệu quả ứng dụng mô hình deep learning kiểm tra khẩu trang

Việc triển khai mô hình deep learning kiểm tra đeo khẩu trang mang lại hiệu quả thiết thực cho quản lý y tế cộng đồng. Hệ thống tự động hóa hoàn toàn quy trình giám sát tại các điểm tập trung đông người như giảng đường, thư viện và cổng trường học. Nhân viên bảo vệ không cần túc trực liên tục để nhắc nhở từng cá nhân. Camera thông minh tự động phát tín hiệu cảnh báo ngay khi phát hiện người không chấp hành đúng quy định. Độ chính xác nhận dạng đạt mức rất cao trên nhiều điều kiện ánh sáng khác nhau. Chi phí đầu tư phần cứng được tối ưu hóa nhờ khả năng tương thích của các mô hình lightweight. Bo mạch nhúng giá rẻ hoặc hệ thống máy tính văn phòng có sẵn đều đủ năng lực vận hành thuật toán trơn tru. Nghiên cứu tại Đại học Thái Nguyên khẳng định tiềm năng to lớn của thị giác máy tính trong việc xây dựng khuôn viên trường học an toàn và thông minh. Giải pháp mở ra triển vọng tích hợp thêm các tính năng nhận diện thân nhiệt và đo khoảng cách an toàn. Đây là bước tiến quan trọng thúc đẩy chuyển đổi số y tế học đường toàn diện.

4.1. Lợi ích giám sát an toàn tự động trong trường học

Hệ thống camera thông minh giúp tự động hóa khâu kiểm soát ra vào tại các khu giảng đường. Sinh viên và cán bộ không phải dừng lại đo đạc hay kiểm tra thủ công. Tốc độ lưu thông tại các sảnh lớn được duy trì ổn định ngay cả trong giờ cao điểm. Việc giảm bớt tương tác vật lý trực tiếp hạn chế tối đa nguy cơ lây nhiễm chéo. Đội ngũ an ninh trường học tiết kiệm đáng kể thời gian và công sức quản lý. Báo cáo thống kê được xuất tự động giúp ban lãnh đạo nắm bắt kịp thời mức độ tuân thủ quy định y tế trong toàn trường.

4.2. Hướng phát triển và mở rộng hệ thống thị giác thông minh

Mô hình deep learning hiện tại tạo tiền đề thuận lợi để tích hợp thêm các module phân tích hành vi nâng cao. Các nhà nghiên cứu có thể bổ sung thuật toán ước lượng thân nhiệt qua cảm biến hồng ngoại. Khả năng phát hiện hành vi tụ tập đông người hoặc đo khoảng cách vật lý cũng dễ dàng kết hợp vào đường ống xử lý. Hệ thống có thể mở rộng kết nối với mạng lưới Internet vạn vật (IoT) để kích hoạt cửa tự động và còi báo động. Đây là nền tảng chiến lược hướng tới việc xây dựng mô hình đô thị thông minh và bệnh viện an toàn trong tương lai gần.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh dịch bệnh Covid-19 bùng phát kéo dài hơn 3 năm trên phạm vi toàn cầu, Tổ chức Y tế Thế giới và Chính phủ Việt Nam đã ban hành quy định nghiêm ngặt về việc đeo khẩu trang nơi công cộng nhằm hạn chế sự lây lan của virus. Tuy nhiên, việc giám sát thủ công tại các khu vực tập trung đông người bộc lộ nhiều hạn chế nghiêm trọng. Phương thức truyền thống thường đòi hỏi từ 3 đến 5 nhân sự túc trực liên tục tại mỗi cửa kiểm soát, dẫn đến chi phí vận hành tốn kém hàng chục triệu đồng mỗi tháng. Hơn nữa, yếu tố mệt mỏi thể chất của con người khiến tỷ lệ bỏ sót người vi phạm trong thực tế có thể lên tới 20% đến 25%.

Xuất phát từ thực tiễn đó, luận văn thạc sĩ chuyên ngành Khoa học máy tính tại Trường Đại học Công nghệ Thông tin và Truyền thông thuộc Đại học Thái Nguyên thực hiện đề tài nghiên cứu ứng dụng học sâu nhằm tự động hóa quy trình kiểm tra việc đeo khẩu trang của người dân. Mục tiêu trọng tâm của nghiên cứu là xây dựng một hệ thống thông minh có khả năng phát hiện chính xác các trường hợp không đeo khẩu trang hoặc đeo sai quy cách thông qua hình ảnh và video thời gian thực từ camera quan sát. Phạm vi nghiên cứu tập trung vào bài toán nhận dạng khuôn mặt, phân tích các đặc trưng cục bộ như mắt, mũi, miệng trong điều kiện ánh sáng thay đổi và khoảng cách giám sát lên tới 2 mét.

Đóng góp của luận văn mang ý nghĩa thực tiễn lớn khi cung cấp giải pháp cảnh báo tức thì với tốc độ xử lý đạt trên 25 khung hình mỗi giây, giúp các cơ quan, bệnh viện và trường học giảm thiểu hơn 70% nhân lực giám sát trực tiếp, đồng thời nâng cao ý thức bảo vệ sức khỏe cộng đồng một cách khách quan và chính xác.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn tiếp cận toàn diện nền tảng lý thuyết xử lý ảnh và thị giác máy tính, đặt trong sự so sánh giữa các phương pháp trích chọn đặc trưng cổ điển và mô hình học sâu hiện đại:

Thứ nhất là mô hình mạng nơ-ron tích chập. Khác với mạng nơ-ron truyền thẳng đa lớp vốn gặp hiện tượng bùng nổ trọng số tính toán khi kích thước ảnh tăng cao, mạng nơ-ron tích chập sử dụng các liên kết cục bộ và chia sẻ trọng số qua các bộ lọc có kích thước 3x3 hoặc 5x5 pixel. Cấu trúc mạng bao gồm các tầng tích chập để rút trích đặc trưng không gian, kết hợp hàm kích hoạt phi tuyến ReLU nhằm loại bỏ giá trị âm, tầng gộp cực đại để giảm kích thước ma trận dữ liệu và các tầng kết nối đầy đủ trước khi phân loại đối tượng qua hàm xác suất.

Thứ hai là kiến trúc mô hình học sâu tinh gọn MobileNetV2. Đối với các hệ thống nhúng hoặc camera giám sát thời gian thực có tài nguyên tính toán giới hạn, mạng nơ-ron tích chập truyền thống thường quá nặng nề. MobileNetV2 giải quyết triệt để vấn đề này nhờ kỹ thuật tích chập tách rời theo chiều sâu, giúp cắt giảm số lượng tham số tính toán từ hàng triệu phép tính xuống mức tối thiểu mà vẫn duy trì độ chính xác cao.

Bên cạnh đó, tác giả hệ thống hóa các khái niệm nền tảng trong nhận dạng mẫu gồm: đặc trưng Haar-like kết hợp bộ phân loại AdaBoost của Viola và Jones; biến đổi đặc trưng bất biến tỷ lệ SIFT trích xuất các điểm then chốt với vector 128 chiều; và bộ mô tả hướng dốc HOG chia ảnh 64x128 pixel thành các khối 16x16 pixel để tạo vector đặc trưng 3.780 chiều đưa vào máy học véc-tơ hỗ trợ SVM.

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu thực nghiệm gồm 3.835 hình ảnh khuôn mặt được gán nhãn chi tiết thành hai lớp nhị phân: nhóm có đeo khẩu trang đạt chuẩn và nhóm không đeo khẩu trang hoặc đeo khẩu trang sai cách.

Phương pháp chọn mẫu được thực hiện theo nguyên tắc phân tầng ngẫu nhiên nhằm đảm bảo tính đại diện cao. Tập dữ liệu được chia theo tỷ lệ 70% dành cho huấn luyện với 2.684 hình ảnh và 30% dành cho kiểm tra, đánh giá với 1.151 hình ảnh. Dữ liệu bao gồm các đối tượng thuộc nhiều độ tuổi, giới tính, góc chụp nghiêng, điều kiện ánh sáng tự nhiên và có sự xuất hiện của các vật cản như kính mắt hay tóc che trán.

Về phương pháp phân tích, tác giả lựa chọn môi trường lập trình Python kết hợp hai thư viện học sâu hàng đầu là TensorFlow và Keras, đi kèm thư viện OpenCV để tiền xử lý và cắt tách khuôn mặt. Lý do lựa chọn phương pháp này xuất phát từ khả năng tối ưu hóa tính toán ma trận mạnh mẽ của TensorFlow và hàm mất mát Binary Cross-Entropy. Hàm mất mát này đo lường độ sai lệch xác suất nhãn dự đoán so với thực tế một cách chặt chẽ nhất trong bài toán phân loại nhị phân. Các chỉ số đo lường hiệu năng cốt lõi gồm ma trận nhầm lẫn, độ chính xác tổng thể, độ chuẩn xác và độ thu hồi.

Toàn bộ quy trình thu thập dữ liệu, huấn luyện mô hình, tinh chỉnh siêu tham số và thử nghiệm thực địa qua webcam được thực hiện trong thời gian 8 tháng, hoàn thành nghiệm thu vào tháng 10 năm 2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và kiểm thử hệ thống ghi nhận bốn phát hiện cốt lõi:

Thứ nhất, mô hình học sâu đề xuất đạt độ chính xác phân loại tổng thể ở mức 94,8% trên tập dữ liệu kiểm tra độc lập gồm 1.151 hình ảnh. Trong đó, tỷ lệ phân loại chính xác các trường hợp có đeo khẩu trang đạt 95,6%, trong khi tỷ lệ phát hiện chính xác người không đeo khẩu trang đạt 94,1%. Tỷ lệ nhận diện nhầm cực kỳ thấp, với số ca dương tính giả chỉ chiếm 4,4% và âm tính giả là 5,9%.

Thứ hai, về tốc độ xử lý thời gian thực, hệ thống vận hành ổn định ở mức 28 đến 32 khung hình mỗi giây khi kết nối trực tiếp với webcam máy tính thông thường. Thời gian nhận diện và đưa ra quyết định cảnh báo chỉ dao động từ 0,12 đến 0,15 giây cho mỗi khung hình, đáp ứng hoàn hảo yêu cầu kiểm soát tức thì tại các cổng ra vào.

Thứ ba, khoảng cách và điều kiện môi trường có tác động rõ rệt đến độ nhạy của hệ thống. Trong điều kiện ánh sáng văn phòng tiêu chuẩn ở khoảng cách 2 mét, độ chính xác nhận diện đạt mức tối ưu là 96,2%. Khi thử nghiệm trong điều kiện ánh sáng tối ở cùng cự ly 2 mét, độ chính xác giảm xuống mức 89,4%, tương đương mức suy giảm 6,8% nhưng vẫn duy trì khả năng cảnh báo hiệu quả mà không bị mất dấu khuôn mặt.

Thứ tư, hệ thống trực quan hóa trạng thái một cách trực tiếp trên màn hình: tự động vẽ khung chữ nhật màu xanh lá cây bao quanh khuôn mặt đối với người đeo khẩu trang đúng cách, đồng thời vẽ khung chữ nhật màu đỏ đi kèm tín hiệu âm thanh cảnh báo đối với trường hợp không đeo khẩu trang hoặc kéo khẩu trang xuống cằm.

Thảo luận kết quả

Hiệu năng ấn tượng của mô hình bắt nguồn từ khả năng trích xuất đặc trưng tự động nhiều tầng của mạng nơ-ron tích chập. Khi người dân đeo khẩu trang, các đặc trưng cấu trúc tại vùng mũi, cánh mũi và khuôn miệng bị che khuất, thay vào đó là bề mặt đồng nhất của vật liệu khẩu trang. Các tầng tích chập sâu nhận diện sự thay đổi đột ngột về biên độ và hướng gradient tại ranh giới giữa mép khẩu trang và làn da, giúp bộ phân loại nhị phân đưa ra quyết định dứt khoát.

Khi đối chiếu với các nghiên cứu trước đây, mô hình trong luận văn thể hiện sự vượt trội rõ rệt. So với mô hình mạng truyền thẳng hai lớp từng được áp dụng để phát hiện khuyết tật nông sản vốn chỉ đạt độ chính xác 92% trên 1.500 ảnh kiểm tra và đòi hỏi trích xuất thủ công 193 đặc trưng màu sắc, hình dáng, mô hình học sâu của tác giả đạt độ chính xác cao hơn 2,8 điểm phần trăm mà không cần bất kỳ thao tác trích chọn thuộc tính thủ công nào. Tương tự, so với phương pháp HOG kết hợp máy học véc-tơ hỗ trợ SVM vốn tạo ra vector đặc trưng cồng kềnh 3.780 chiều và chỉ đạt độ chính xác khoảng 88% đến 90% khi góc mặt bị nghiêng, mô hình tích chập chứng minh khả năng bất biến không gian vượt trội hơn 4,8% đến 6,8%.

Về mặt biểu diễn dữ liệu, toàn bộ kết quả phân loại được tổng hợp sinh động qua bảng ma trận nhầm lẫn kích thước 2x2 thể hiện rõ bốn đại lượng True Positive, False Positive, True Negative và False Negative. Đồng thời, biểu đồ đường theo dõi quá trình huấn luyện qua 40 epoch cho thấy giá trị hàm mất mát giảm đều đặn từ 0,68 xuống 0,08, trong khi đường cong độ chính xác tăng trưởng ổn định từ 65% lên xấp xỉ 95% mà không xuất hiện khoảng cách phân kỳ giữa tập huấn luyện và tập kiểm định, chứng minh mô hình hoàn toàn không bị hiện tượng quá khớp.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm thành công, luận văn đưa ra bốn khuyến nghị cụ thể nhằm thúc đẩy ứng dụng công nghệ học sâu vào đời sống:

Một là, tích hợp trực tiếp thuật toán vào hệ thống camera giám sát an ninh hiện có tại các cơ quan hành chính, bệnh viện và trường học. Mục tiêu hành động là tự động hóa 85% quy trình kiểm soát người ra vào trong vòng 3 tháng đầu triển khai. Chủ thể thực hiện là Ban quản lý cơ sở phối hợp cùng các kỹ sư công nghệ thông tin phụ trách hạ tầng an ninh.

Hai là, tiếp tục thu thập và làm giàu tập dữ liệu huấn luyện thêm ít nhất 5.000 hình ảnh thực tế, tập trung vào các trường hợp đeo khẩu trang có hoa văn phức tạp, khẩu trang trong suốt, hoặc đeo sai cách như hở mũi và tụt cằm. Mục tiêu đặt ra là nâng độ nhạy phát hiện các lỗi vi phạm tinh vi lên trên 97,5% trong thời gian 6 tháng. Đội ngũ nghiên cứu trí tuệ nhân tạo và các phòng thí nghiệm thị giác máy tính sẽ là chủ thể chủ trì công tác này.

Ba là, ứng dụng các kỹ thuật nén mô hình như lượng tử hóa trọng số 8-bit và tối ưu hóa suy luận bằng phần mềm chuyên dụng để đóng gói thuật toán lên các vi máy tính giá rẻ như Raspberry Pi 4 hoặc bo mạch Jetson Nano. Mục tiêu là duy trì tốc độ xử lý trên 25 khung hình mỗi giây với mức tiêu thụ điện năng dưới 15W trong lộ trình 9 tháng. Chủ thể chịu trách nhiệm là các kỹ sư hệ thống nhúng và kỹ sư giải pháp trí tuệ nhân tạo tại biên.

Bốn là, thiết lập khung quy chuẩn bảo mật và quản trị dữ liệu hình ảnh người dân theo đúng tinh thần Nghị định 13/2023/NĐ-CP của Chính phủ về bảo vệ dữ liệu cá nhân. Hệ thống chỉ xử lý luồng hình ảnh tức thời tại bộ nhớ tạm, tự động hủy bỏ luồng video sau 24 giờ và mã hóa 100% dữ liệu thống kê số lượng vi phạm. Chủ thể thực hiện là bộ phận an ninh mạng và cán bộ phụ trách pháp chế công nghệ của đơn vị vận hành.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng cao, đặc biệt phù hợp cho bốn nhóm đối tượng sau:

Học viên cao học, nghiên cứu sinh và sinh viên ngành Khoa học máy tính, Trí tuệ nhân tạo: Luận văn cung cấp tài liệu tham khảo bài bản về việc xây dựng mạng nơ-ron tích chập từ lý thuyết toán học đến lập trình thực nghiệm trên Python, Keras và TensorFlow. Người đọc có thể nắm vững phương pháp xử lý ma trận ảnh RGB, thiết lập các bộ lọc và đánh giá mô hình bằng các độ đo học thuật chuẩn xác.

Kỹ sư phát triển phần mềm và chuyên gia thị giác máy tính: Nghiên cứu mang đến một kiến trúc giải pháp hoàn chỉnh cho bài toán nhận dạng đối tượng thời gian thực qua webcam. Kỹ sư có thể kế thừa quy trình tiền xử lý của OpenCV và mô hình MobileNetV2 để áp dụng vào các sản phẩm kiểm soát ra vào thông minh hoặc điểm danh khuôn mặt tại doanh nghiệp.

Cán bộ quản lý y tế dự phòng và lãnh đạo cơ quan, doanh nghiệp: Bản luận văn cung cấp các căn cứ khoa học và số liệu thực chứng về tính khả thi của việc tự động hóa giám sát y tế công cộng. Nhà quản lý có thể sử dụng các kết quả này để xây dựng dự toán chuyển đổi số, giúp cắt giảm từ 50% đến 70% ngân sách chi trả cho lực lượng tuần tra kiểm soát trực tiếp tại các tòa nhà.

Doanh nghiệp sản xuất thiết bị an ninh và tích hợp hệ sinh thái đô thị thông minh: Nghiên cứu mở ra hướng đi thương mại hóa các dòng camera trí tuệ nhân tạo độc lập. Doanh nghiệp có thể tích hợp thuật toán gọn nhẹ vào phần cứng camera giám sát thương mại, tạo ra các sản phẩm kiểm soát an ninh đa năng với giá thành cạnh tranh trên thị trường công nghệ.

Câu hỏi thường gặp

Mô hình học sâu trong luận văn có điểm gì vượt trội so với các thuật toán nhận dạng truyền thống?
Mô hình mạng nơ-ron tích chập tự động trích xuất các đặc trưng phân tầng phức tạp từ điểm ảnh thô mà không cần con người can thiệp thủ công. Trong khi phương pháp cổ điển như HOG kết hợp SVM tạo ra vector 3.780 chiều cồng kềnh và chỉ đạt độ chính xác dưới 90%, mô hình học sâu của luận văn đạt độ chính xác 94,8% và xử lý mượt mà 28 đến 32 khung hình mỗi giây trên máy tính thông thường.

Hệ thống phản ứng như thế nào khi phát hiện người đeo khẩu trang không đúng quy cách?
Khi người dân kéo khẩu trang xuống cằm hoặc để lộ mũi, cấu trúc đặc trưng của vùng miệng và cánh mũi sẽ bị lộ ra. Mô hình phân loại nhị phân sẽ nhận diện đây là trạng thái không hợp lệ, lập tức khoanh vùng khuôn mặt bằng một khung chữ nhật màu đỏ trên màn hình và kích hoạt âm thanh cảnh báo nhắc nhở chỉ sau 0,15 giây để lực lượng an ninh xử lý kịp thời.

Hiệu quả nhận diện của mô hình có bị ảnh hưởng nghiêm trọng trong điều kiện ánh sáng yếu không?
Các thử nghiệm thực nghiệm cho thấy trong môi trường ánh sáng tối ở cự ly 2 mét, độ chính xác của hệ thống đạt 89,4%, chỉ giảm 6,8% so với điều kiện ánh sáng văn phòng tiêu chuẩn (96,2%). Nhờ các lớp tích chập học được các đặc trưng cạnh và hình khối bất biến với độ tương phản, mô hình vẫn duy trì khả năng phát hiện ổn định mà không bị gián đoạn.

Chi phí đầu tư phần cứng để đưa giải pháp này vào vận hành thực tế có đắt đỏ không?
Giải pháp có chi phí đầu tư rất tiết kiệm nhờ tận dụng ngôn ngữ lập trình nguồn mở Python và các thư viện miễn phí như Keras và OpenCV. Thay vì phải đầu tư các cụm máy chủ đắt tiền, đơn vị vận hành chỉ cần trang bị máy tính văn phòng thông thường kết nối với webcam giá rẻ dưới 10 triệu đồng là có thể thiết lập ngay một trạm kiểm soát tự động hoàn chỉnh.

Thuật toán của luận văn có thể mở rộng để phát hiện các trang thiết bị bảo hộ lao động khác không?
Hoàn toàn có thể mở rộng nhờ phương pháp học chuyển giao. Bằng cách giữ lại các tầng trích xuất đặc trưng của mạng tích chập và huấn luyện lại tầng phân loại cuối cùng với khoảng 1.000 đến 3.000 ảnh mẫu mới, hệ thống có thể nhận diện mũ bảo hộ, kính an toàn hoặc găng tay trong các nhà máy chỉ sau 1 đến 2 tuần tinh chỉnh.

Kết luận

Nội dung luận văn thạc sĩ đã giải quyết trọn vẹn bài toán kiểm tra việc đeo khẩu trang của người dân bằng các công cụ trí tuệ nhân tạo hiện đại thông qua năm kết luận then chốt:

• Hệ thống hóa sâu sắc tiến trình phát triển của lý thuyết nhận dạng hình ảnh, từ các phương pháp cổ điển như Haar-like, SIFT, HOG, SVM đến các mô hình học sâu tiên tiến gồm mạng nơ-ron tích chập và MobileNetV2.
• Xây dựng thành công phần mềm thực nghiệm trên ngôn ngữ Python với độ chính xác phân loại ấn tượng đạt 94,8% trên tập dữ liệu kiểm tra gồm 1.151 hình ảnh.
• Đạt tốc độ xử lý thời gian thực từ 28 đến 32 khung hình mỗi giây với độ trễ phản hồi chỉ 0,15 giây, trực quan hóa trạng thái vi phạm qua khung màu đỏ và âm thanh cảnh báo tự động, giúp cắt giảm hơn 70% nhân lực kiểm soát trực tiếp.
• Vạch rõ lộ trình nghiên cứu mở rộng trong 6 đến 12 tháng tới nhằm tối ưu hóa thuật toán trên phần cứng vi mạch nhúng tiết kiệm năng lượng và nâng cấp khả năng nhận diện đa hành vi an toàn lao động.
• Kêu gọi các tổ chức, trường học và doanh nghiệp chủ động tiếp cận, chuyển giao mã nguồn và ứng dụng giải pháp này vào thực tiễn nhằm nâng cao năng lực phòng ngừa dịch bệnh và xây dựng môi trường công cộng văn minh, an toàn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 Dịch bệnh Covid 19 là một thảm họa với loài người trên thế giới. Quy tắc 5K là một biện pháp rất hữu ích trong phòng/chống dịch bệnh. Trí tuệ nhân tạo được tạo ra bởi các kỹ thuật, các chương trình Công nghệ thông tin thông minh như deep learning đã và sẽ ngày càng phát triển, cung cấp cho loài người những công cụ mạnh trong đó có phòng/chống Covid19. Việc nghiên cứu dùng deep learning để kiểm tra tự động đeo khẩu trang là một vấn đề rất hữu ích.

10 Chương 2: NHẬN DẠNG QUA XỬ LÝ ẢNH 2.1 Định nghĩa nhận dạng Nhận dạng (Pattern recognition) trong tin học là việc ứng dụng các phương pháp ứng dụng toán học, kỹ thuật xử lý (hình ảnh, âm thanh) xây dựng các phần mềm máy tính nhằm nhận biết thông tin xác thực được biểu thị bởi các dạng mẫu về các hình ảnh hoặc âm thanh đó. Ví dụ nhận dạng chữ viết tay, mặt người, tiếng nói,. Nội dung luận văn này chỉ đề cập đến vấn đề nhận dạng hình ảnh. Nhận dạng tự động (automatic recognition), mô tả đối tượng, phân loại và phân nhóm các mẫu là những vấn đề quan trọng trong thị giác máy, được ứng dụng trong nhiều ngành khoa học khác nhau.

Trước hết chúng ta định nghĩa mẫu (pattern) là gì? Watanabe, một trong những người đi đầu trong lĩnh vực này đã định nghĩa: “Ngược lại với hỗn loạn (chaos), mẫu là một thực thể (entity), được xác định một cách áng chừng (vaguely defined) và có thể gán cho nó một tên gọi nào đó”. Ví dụ mẫu có thể là ảnh của vân tay, ảnh của một vật nào đó được chụp, một chữ viết, khuôn mặt người hoặc một ký đồ tín hiệu tiếng nói. Khi biết một mẫu nào đó, để nhận dạng hoặc phân loại mẫu đó có thể: - Hoặc phân loại có mẫu (supervised classification), chẳng hạn phân tích phân biệt (discriminant analyis), trong đó mẫu đầu vào được định danh như một thành phần của một lớp đã xác định - Hoặc phân loại không có mẫu (unsupervised classification hay clustering) trong đó các mẫu được gán vào các lớp khác nhau dựa trên một tiêu chuẩn đồng dạng nào đó. Các lớp này cho đến thời điểm phân loại vẫn chưa biết hay chưa được định danh.

- Hệ thống nhận dạng tự động bao gồm ba khâu tương ứng với ba giai đoạn chủ yếu sau đây: + Thu nhận dữ liệu và tiền xử lý. + Biểu diễn dữ liệu. + Nhận dạng, ra quyết định. 11 - Bốn cách tiếp cận khác nhau trong lý thuyết nhận dạng là: + Đối sánh mẫu dựa trên các đặc trưng được trích chọn.

+ Phân loại thống kê. + Đối sánh cấu trúc. + Phân loại dựa trên mạng nơ-ron nhân tạo. - Trong các ứng dụng ít khi chỉ dùng có một cách tiếp cận đơn lẻ để phân loại “tối ưu” mà có thể phải sử dụng cùng một lúc nhiều phương pháp và cách tiếp cận khác nhau.

Do vậy, các phương thức phân loại tổ hợp hay được sử dụng khi nhận dạng và nay đã có những kết quả có triển vọng dựa trên thiết kế các hệ thống lai (hybrid system) bao gồm nhiều mô hình kết hợp. - Việc giải quyết bài toán nhận dạng trong những ứng dụng mới, nảy sinh trong cuộc sống không chỉ tạo ra những thách thức về thuật giải, mà còn đặt ra những yêu cầu về tốc độ tính toán. Đặc điểm chung của tất cả những ứng dụng đó là những đặc điểm đặc trưng cần thiết thường là nhiều, không thể do chuyên gia đề xuất, mà phải được trích chọn dựa trên các thủ tục phân tích dữ liệu. Bài toán nhận dạng cụ thể của chúng ta ở đây là xem trên ảnh mặt người có vùng ảnh cái khẩu trang không? Như vậy chúng ta phải tìm ra vùng mặt người và sau đó so sánh ảnh đó với ảnh người không có vùng ảnh khẩu trang (không đeo khẩu trang) hoặc ảnh mặt người không có vùng ảnh khẩu trang này.2 Một số kỹ thuật nhận dạng tiêu biểu 2.1 Dùng đặc trưng Haar Like [11] 2.1 Đặc trưng Haar-Like Các đặc trưng Haar-Like là những hình chữ nhật được phân thành các vùng khác nhau như hình 2.1 Đặc trưng Haar-Like Đặc trưng do Viola và Jones công bố gồm 4 đặc trưng cơ bản để xác định khuôn mặt người.

Mỗi đặc trưng Haar-Like là sự kết hợp của hai hay ba hình chữ nhật trắng hay đen như trong hình 2.2 Kết hợp các hình chữ nhật trong đặc trưng Haar-Like Để sử dụng các đặc trưng này vào việc xác định khuôn mặt người, 4 đặc trưng Haar-Like cơ bản được mở rộng ra và được chia làm 3 tập đặc trưng như sau:  Đặc trưng cạnh(edge feature) – hình 2.3 Đặc trưng cạnh  Đặc trưng đường(line feature) Hình 2.4 Đặc trưng đường 13  Đặc trưng xung quanh tâm(center-surround features) Hình 2.5 Đặc trưng quang tâm Dùng các đặc trưng trên, ta có thể tính được các giá trị của đặc trưng Haar-Like là sự chênh lệch giữa tổng của các pixel của vùng đen và vùng trắng như trong công thức sau: 𝑓(𝑥) = 𝑇ổ𝑛𝑔𝑣ù𝑛𝑔 đ𝑒𝑛 (𝑐á𝑐 𝑚ứ𝑐 𝑥á𝑚 𝑐ủ𝑎 𝑝𝑖𝑥𝑒𝑙 ) − 𝑇ổ𝑛𝑔𝑣ù𝑛𝑔 𝑡𝑟ắ𝑛𝑔 (𝑐á𝑐 𝑚ứ𝑐 𝑥á𝑚 𝑐ủ𝑎 𝑝𝑖𝑥𝑒𝑙 ) (2.1) Viola và Joines đưa ra một khái niệm gọi là Integral Image, là một mảng 2 chiều với kích thước bằng với kích thước của ảnh cần tính đặc trưng Haar-Like, với mỗi phần tử của mảng này được tính bằng cách tính tổng của điểm ảnh phía trên (dòng- 1) và bên trái (cột-1) của nó.6 Tính Intergral Image Công thức tính Intergral Image 𝑃(𝑥, 𝑦) = ∑𝑥′ ≤𝑥,𝑦′≤𝑦 𝑖(𝑥 ′ , 𝑦 ′ ) (2.2) Sau khi tính được Integral Image, việc tính tổng các giá trị mức xám của một vùng bất kỳ nào đó trên ảnh thực hiện rất đơn giản theo cách sau: Giả sử ta cần tính tổng giá trị mức xám của vùng D như hình dưới, ta có thể tính được như sau: D = A + B + C + D – (A+B) – (A+C) + A (2.3) 14 Với A + B + C + D chính là giá trị tại điểm P4 trên Integral Image, tương tự như vậy A+B là giá trị tại điểm P2, A+C là giá trị tại điểm P3, và A là giá trị tại điểm P1. Vậy ta có thể viết lại biểu thức tính D ở trên như sau: Hình 2.7 Tính giá trị D 2. AdaBoost AdaBoost là một bộ phân loại mạnh phi tuyến phức dựa trên hướng tiếp cận boosting được Freund và Schapire đưa ra vào năm 1995. Adaboost cũng hoạt động trên nguyên tắc kết hợp tuyến tính các weak classifiers để hình thành một trong các classifiers.

Viola và Jones dùng AdaBoost kết hợp các bộ phân loại yếu sử dụng các đặc trưng Haar-like theo mô hình phân tầng (cascade) như sau: Hình 2.8 Mô hình phân tầng Trong đó, h(k) là các bộ phân loại yếu, được biểu diễn như sau: 15 1 𝑛ế𝑢 𝑝𝑘 𝑓𝑘 (𝑥) < 𝑝𝑘 𝜃𝑘 ℎ𝑘 = { (2.4) 0 𝑛𝑔ượ𝑐 𝑙ạ𝑖 với: x: cửa sổ con cần xét 𝜃k: ngưỡng fk: giá trị đặc trưng của Haar-like pk: Hệ số quyết định chiều của phương trình AdaBoost sẽ kết hợp các bộ phân loại yếu thành bộ phân loại mạnh như sau: 𝐻 (𝑥) = ∑(𝑎1ℎ1(𝑥) + 𝑎2ℎ2(𝑥) + ⋯ + 𝑎𝑛ℎ𝑛(𝑥)) (2.5) Với ai≥ 0 là hệ số chuẩn hóa các bộ phân loại yếu thành bộ phân loại mạnh. Đây là hình ảnh minh họa việc kết hợp các bộ phân loại yếu thành bộ phân loại mạnh Hình 2. 9 Kết hợp các bộ phân loại yếu để có bộ phân loại mạnh 16 2. Sơ đồ nhận diện khuôn mặt Hình 2.10 Sơ đồ nhận diện khuôn mặt dùng Haar-AdaBoost 2.2 Nhận dạng qua ảnh dùng biến đổi SIFT [6] SIFT (Scale Invariant Feature Transform) là phương pháp để nhận dạng ảnh do nhà khoa học Canada David Lowe phát minh.

Với một ảnh chúng ta thực hiện các việc: + Tìm ra các điểm ảnh đặc biệt trong ảnh, gọi là feature point hay keypoint. + Để có thể phân biệt keypoint này với keypoint khác cần tìm ra tham số gì đó, gọi là descriptor. Hai keypoint khác nhau thì phải descriptor khác nhau. Thường thì descriptor là chuỗi số gồm 128 số (vector 128 chiều).

+ Khi thực hiện biến đổi SIFT với ảnh chúng ta thu được các keypoint. Với mỗi keypoint, thu được: (1) toạ độ keypoint (2) độ lớn và hướng của keypoint (scale và orientation) (3) descriptor. Các mũi tên trong hình 2.12 vẽ nhờ vào scale và orientation.11 Ví dụ keypoint ảnh một cái kẹp Hình 2.12 Từ ảnh thực qua biến đổi SIFT ra Keypoint descriptor Keypoint phụ thuộc rất ít vào cường độ sáng, nhiễu, che khuất (một phần ảnh bị che), góc xoay (ảnh bị xoay trong mặt phẳng 2D), thay đổi của tư thế (pose thay đổi trong không gian 3D). Tốc độ xử lý nhanh gần như thời gian thực (realtime).

Như vậy việc khớp ảnh mẫu với ảnh cần so sánh chính là việc khớp các keypoint trong 2 ảnh với nhau: Áp dụng SIFT cho từng ảnh. So sánh descriptor của keypoint trong ảnh này với descriptor của keypoint trong ảnh kia. Nếu 2 keypoint có descriptor gần giống nhau thì coi như 2 điểm trên 2 tấm ảnh cùng thuộc về một vật (hoặc vật giống nhau). Việc so sánh đơn giản nhất là dùng khoảng cách Euclid giữa các descriptor để tìm keypoint khớp nhau (gần giống nhau, nghĩa là khoảng cách bé hơn giá trị THRESHOLD nào đó) trong 2 ảnh.

Đây là bài toán tìm "hàng xóm" (ví dụ biết tọa 18 độ của N điểm trong mặt phẳng 2D, hãy tìm 2 điểm gần nhau nhất), có nhiều cách tốt hơn nhưng phức tạp hơn nhiều. Dựa vào thương của scale và hiệu của orientation của 2 keypoint, có thể biết thêm vật trong hình này to hơn vật trong hình kia bao nhiêu, vật trong hình này xoay bao nhiêu độ so với vật trong hình kia bao nhiêu.3 Phân tích và nhận dạng ảnh dùng HOG [3] HOG là các chữ viết tắt của Histogram of Oriented Gradient – đó là một kiểu bộ mô tả đặc điểm (feature descriptor). Với featura descriptor người ta có thể trừu tượng hóa đối tượng bằng cách trích xuất ra những đặc trưng của đối tượng đó và bỏ đi những thông tin không hữu ích. Vì vậy, HOG được sử dụng chủ yếu để mô tả hình dạng và sự xuất hiện của một đối tượng trong ảnh.13 Sự xuất hiện đối tượng trong ảnh Bản chất của phương pháp HOG là sử dụng thông tin về sự phân bố của các cường độ gradient (intensity gradient) và của hướng biên (edge directins) để mô tả các đối tượng cục bộ trong ảnh.

Các toán tử HOG được cài đặt bằng cách chia nhỏ một bức ảnh thành các vùng con, được gọi là “tế bào” (cells) và với mỗi cell, ta sẽ tính toán một histogram về các hướng của gradients cho các điểm nằm trong cell. Ghép các histogram lại với nhau ta sẽ có một biểu diễn cho bức ảnh ban đầu.