Chương 1 giới thiệu chung về đề tài bao gồm tính cấp thiết, ý nghĩa và thực tiễn, mục tiêu, đối tượng, phạm vi và phương pháp nghiên cứu của đề tài. Chương 2 trình bày về những lý thuyết, nghiên cứu trong và ngoài nước có liên quan đến lĩnh vực nghiên cứu của đề tài, xác định công việc sẽ làm của đồ án. Chương 3 giới thiệu về lý thuyết cần sử dụng để giải quyết vấn đề trong đồ án. Chương 4 sẽ trình bày các phương hướng và giải pháp để giải quyết vấn đề đặt ra, nêu các bước thực hiện triển khai đồ án.
Chương 5 thiết kế mô hình nhận dạng bao gồm điện và lập trình. Chương 6 là chương thực nghiệm đánh giá mô hình. 3 CHƯƠNG 2 CHƯƠNG 2: TỔNG QUAN NGHIÊN CỨU ĐỀ TÀI 2.1 Phương pháp phát hiện khuôn mặt Phát hiện khuôn mặt (face detection) là quá trình tự động định vị khuôn mặt người trong phương tiện trực quan (hình ảnh kỹ thuật số hoặc video). Một khuôn mặt được phát hiện được báo cáo tại một vị trí có kích thước và hướng liên quan như hình 2.
Một khi khuôn mặt được phát hiện, nó có thể được tìm kiếm các điểm mốc như mắt và mũi. Tỉ lệ phát hiện ra khuôn mặt phụ thuộc nhiều vào điều kiện về độ sáng, hướng khuôn mặt, biểu hiện cảm xúc trên khuôn mặt hay các yếu tố môi trường khác. Để hệ thống nhận dạng hoạt động đạt hiệu quả cao thì hình ảnh khuôn mặt sau khi được phát hiện cần chuẩn hóa về kích thước, ánh sáng.1: Ảnh ví dụ về phát hiện khuôn mặt Trước đây, bài toán phát hiện khuôn mặt là một bài toán khó, có rất nhiều phương pháp thủ công được đưa ra để cải thiện bài toán. Hiện nay, đã có rất nhiều thuật toán được phát triển và nhận dạng một cách nhanh chóng như Haar cascade xml, Dlib, MTCNN.
Bài toán phát hiện khuôn mặt thường ứng dụng trong lĩnh vực báo trộm, báo động hoặc phân tích nhân khẩu học. Bài toán phát hiện khuôn mặt không nhận dạng một người cụ thể từ khuôn mặt như bài toán nhận dạng khuôn mặt, nhưng nhằm mục đích trả lời câu hỏi sau: Có khuôn mặt trong hình ảnh này không? 2.2 Phương pháp nhận dạng mũ bảo hộ Bài toán nhận dạng mũ bảo hộ là bài toán nhận dạng chiếc mũ bảo hộ, phát hiện công nhân có đội mũ bảo hộ hay không minh hoạ hình 2. Trong đề tài này, việc nhận dạng nhằm phát hiện người không đội mũ, thông qua thiết bị ghi hình và hình ảnh để nhận dạng khuôn mặt người không sử dụng mũ, trích xuất thông tin người đó thông qua excel và ảnh chụp trực tiếp từ webcam người không đội mũ. 4 CHƯƠNG 2 Ứng dụng pre – trained model (mô hình được đào tạo trước) để đào tạo mô hình nhận dạng mũ bảo hộ, thay vì xây dựng một mô hình từ đầu để giải quyết một vấn đề, ta sử dụng mô hình được nghiên cứu và đào tạo trước.
Một mô hình được đào tạo trước có thể không chính xác 100% nhưng chắc chắn có độ chính xác cao, giúp tiết kiệm thời gian và công sức.2: Ảnh ví dụ về nhận dạng mũ bảo hộ 2.3 Phương pháp nhận dạng khuôn mặt Nhận dạng khuôn mặt là việc sử dụng phương pháp sinh trắc học để thiết lập một định danh cá nhân dựa trên các đặc điểm khuôn mặt của mỗi người. Quá trình nhận dạng khuôn mặt hoạt động bằng cách sử dụng một ứng dụng và thiết bị máy tính chụp ảnh một khuôn mặt cá nhân (cũng có thể được lấy từ khung hình từ một video) và so sánh nó với hình ảnh trong cơ sở dữ liệu được lưu trữ trước đó.3 ảnh khuôn mặt có thể được tiền xử lý (cân chỉnh chẳng hạn – face alignment) nhằm đảm bảo chất lượng cho nhận dạng. Khuôn mặt của mỗi người được trích chọn và biểu diễn thông qua một véc-tơ đặc trưng (feature extraction) nhằm mô tả những đặc điểm riêng biệt của khuôn mặt của người đó và để so sánh với các khuôn mặt khác. Việc so sánh khuôn mặt đầu vào với cơ sở dữ liệu các khuôn mặt đã được lưu trữ (existing database) trở thành việc tính toán mức độ gần nhau giữa các véc-tơ đặc trưng, từ đó tìm ra khuôn mặt giống nhất trong cơ sở dữ liệu.
Nếu mức độ gần nhất của khuôn mặt tìm được dưới một ngưỡng cho phép thì định danh người đó[3]. 5 CHƯƠNG 2 Hình 2.3: Quá trình chung của nhận dạng khuôn mặt Với đề tài này, việc nhận dạng khuôn mặt nhằm phát hiện được người công nhân không đội mũ là ai và truy xuất thông tin người đó thông qua excel và ảnh chụp trực tiếp từ webcam.2 Phân tích và xây dựng hệ thống 2.1 Yêu cầu đặt ra với mô hình Từ những mục tiêu và đối tượng nghiên cứu của đồ án, nhóm xác định được yêu cầu đặt ra với mô hình nhận dạng công nhân đội mũ bảo hộ lao động: - Ứng dụng hệ thống giám sát camera thời gian thực vào đồ án. - Ứng dụng thuật toán học sâu trong việc nhận dạng mũ và khuôn mặt. - Thiết kế được giao diện người sử dụng.
- Nhận dạng được mũ và khuôn mặt theo tập dữ liệu ảnh tự tạo. - Tốc độ nhận dạng phải nhanh. - Năng suất nhận dạng cùng lúc không quá hai người. - Vùng nhận dạng được cách webcam từ 0,5 mét đến 2 mét.2 Quy trình thực hiện Bước 1: Chuẩn bị dữ liệu hình ảnh.
Dữ liệu ảnh gồm ảnh đội mũ bảo hộ, ảnh không đội mũ bảo hộ và ảnh khuôn mặt dùng để đào tạo mô hình nhận dạng và kiểm tra kết quả. Bước 2: Nghiên cứu các mô hình học sâu và xác định mô hình phù hợp. - Đối với nhận dạng mũ bảo hộ nghiên cứu dùng các mô hình học sâu như GoogleNet, VGG, AlexNet, MobileNet,… - Đối với nhận dạng khuôn mặt nghiên cứu dùng các mô hình học sâu như FaceNet, Dlib,… Bước 3: Thiết kế 2 giao điện. 6 CHƯƠNG 2 - Giao diện dùng để đào tạo nhận dạng khuôn mặt.
- Giao diện hiển thị nhận dạng thời gian thực. Bước 4: Nhúng chương trình nhận dạng lên Raspberry Pi.3 Các nghiên cứu liên quan đến đề tài 2.1 Các nghiên cứu ngoài nước Ở nước ngoài, nhiều công ty chuyên cung cấp giải pháp phần mềm với nhiệm vụ tư vấn cho các công ty trong các lĩnh vực sản xuất và các ngành công nghiệp khác. Tiêu biểu trong đó là công ty KAPERNIKOV có trụ sở tại Bỉ, chuyên cung cấp giải pháp, ứng dụng trí tuệ nhân tạo, học máy, học sâu, khai thác dữ liệu giúp các công ty đối tác của họ tối ưu hóa được hoạt động sản xuất và nâng cao năng xuất làm việc của công ty. Việc giám sát mọi người vì lý do an toàn trên các công trường xây dựng lớn hoặc tại các nhà máy lớn là điều gần như không thể đối với người vận hành.
Tuy nhiên, máy ảnh được trang bị trí tuệ nhân tạo phù hợp có thể tự động thực hiện việc này. Một công ty năng lượng toàn cầu đã yêu cầu KAPERNIKOV tìm cách xem liệu mọi người có đội mũ hay không. Hệ thống giám sát công nhân sử dụng mũ bảo hộ lao động là một trong các giải pháp công ty KAPERNIKOV cung cấp như hình 2. Đối với việc phát hiện người và phân loại người đội mũ bảo hộ lao động, KAPERNIKOV đã sử dụng kiến trúc mạng thần kinh nơ-ron (neural network ).
Để đào tạo mô hình phân loại, sử dụng bộ huấn luyện và luyện tập bao gồm các dữ liệu về những người đội mũ bảo hộ lao động và một nhóm không đội mũ bảo hộ lao động[9].4: Hệ thống nhận dạng của công ty Kapernikov 7 CHƯƠNG 2 2.2 Các nghiên cứu trong nước Tại Việt Nam hiện nay việc áp dụng trí tuệ nhân tạo phương pháp xử lý ảnh, học máy, học sâu để giám sát công nhân đội mũ bảo hộ vẫn còn khá mới mẽ và chưa được triển khai thực tiễn rộng rãi. Nhưng với vấn đề an toàn lao động và sức khỏe của người lao động, đang được quan tâm hiện nay tại Việt Nam, thì việc sử dụng các hệ thống giám sát công nhân sử dụng mũ bảo hộ có sử dụng trí tuệ nhân tạo, mạng thần kinh nơ-ron có thể sẽ được đẩy mạnh trong tương lai sau này. Tuy nhiên việc ứng dụng trí tuệ nhân tạo trong nhận dạng khuôn mặt lại là đề tài nghiên cứu sôi nỗi trong những năm gần đây, có rất nhiều bài báo cáo khoa học, luận văn, luận án nghiên cứu phát triển đề tài này. Và được ứng dụng rộng rãi trong thực tế như mở khoá khuôn mặt trên thiết bị thông minh, hệ thống chấm công nhận diện khuôn mặt nhân viên, sử dụng thang máy thông minh bằng cách nhận dạng khuôn mặt dân cư tại toà nhà,v.5: Hệ thống kiểm soát ra vào và nhận diện mùa covid 2.4 Các tồn tại đã có của mô hình Theo như trình bày về tình hình nghiên cứu ngoài nước, mô hình của Công ty KAPERNIKOV có tính ứng dụng cao, phát hiện được công nhân đội mũ và không đội mũ trong khu vực quan sát của camera, ứng dụng hệ thống camera giám sát liên tục thay thế cho con người.
Tuy nhiên vẫn còn vài hạn chế đang nghiên cứu khắc phục, việc phát loa nhắc nhở công nhân đội mũ chưa mang tính ràng buộc chặt chẽ. Câu hỏi đặt ra làm sao biết được ai không đội mũ? Nên nhóm nghiên cứu mô hình vừa nhận dạng đội mũ bảo hộ vừa nhận dạng 8 CHƯƠNG 2 khuôn mặt để biết được ai không sử dụng mũ. Phát sinh thêm vấn đề, với khu vực quan sát rộng thì khó mà nhận dạng được khuôn mặt. Nên đề tài nhóm nghiên cứu quan sát ở khu vực cửa ra vào khu làm việc.
9 CHƯƠNG 3 CHƯƠNG 3: CƠ SỞ LÝ THUYẾT 3.1 Chọn mũ bảo hộ nhận dạng Mũ bảo hộ lao động là loại thiết bị bảo hộ chuyên dùng của người công nhân khi tham gia làm việc tại nơi nguy hiểm, sẽ giúp tránh gặp phải những tai nạn rủi ro không đáng có xảy ra, bảo vệ bộ phận đầu được an toàn nhất. Chiếc mũ bảo hộ được thiết kế rất đơn giản nhưng khi sử dụng đem lại nhiều lợi ích to lớn, nhằm mục đích tránh phải những tác động từ môi trường bên ngoài lên bộ não dẫn đến va chạm trong khi làm việc, giảm nguy cơ chấn thương khi có sự va đập mạnh rơi từ trên cao xuống. Loại nón bảo hộ này được thiết kế bằng vật liệu cứng có tác dụng chịu được lực mạnh, an toàn cho người công nhân khi phải làm việc trong môi trường có tiềm ẩn nhiều nguy cơ rủi ro. Mũ nhựa bảo hộ: được minh hoạ trong hình 3.