Chương 1. Tình hình nghiên cứu trong nưỚC. Luận văn Thạc sĩ “Nghiên cứu tình trạng buồn ngủ của người lái xe dựa trên nhận dạng cử chỉ khuôn mặt”. Đề tài “Nghiên cứu thiết kế hệ thông giám sát trạng thái buồn ngủ CUA lái X€”.
Đề tài “Hệ thống cảnh báo tài xế 6 tô ngủ gật”. Tình hình nghiên cứu ở nước ngoài. Dé tài “Nghiên cứu về phát hiện sớm sự buồn ngủ của tài xế bằng máy học và cảm biến hỗn hợp”. Đề tài “Phát hiện buồn ngủ sử dụng kiểu chớp mắt và khoảng cách giữa CAC mí Iắt”.
Đề tai “Ứng dung phát hiện buồn ngủ thời gian thực trên Android sử dụng kỹ thuật mạng học sâu”. ¿+ 5+ St #EvEvEeEEkserrkrrrrrrksrrkekrkree 12 Chương2. Thuật toán phát hiện buồn ngủ. Mối liên hệ giữa sự buồn ngủ và hành vi chớp mắt.
Phát triển thuật toán. Xử lý ảnh và học sâu. Phát hiện khuôn mặt.--¿- c6 tt tre gưêy20 2. Model MobileNet SSD v2 Faces.
Thư viện TensorFlow Lite Python API. Phát hiện vùng mắt. Model Dlib Facial landmark 68. Huấn luyện lại model Dlib Facial landmark 68.
| HIEN THUC HE THONG PHAT HIEN BUON NGỦ BANG XỬ LY ANH TREN RASPBERRY PI 4 VA GOOGLE CORAL USB. HH HH re35 3. Google Coral USB 3. Thu thập video dữ liệu mâu.
Thiết kế và lập trình hệ thống. Khái quát quy trình thực hiện. _ Thiết kế hệ thống phan cứng. Cài đặt thư viện và môi trưỜng.
Lập trình thuật toán. Môi trường thực nghiệm và kết quả. | KET LUẬN VÀ HƯỚNG PHÁT TRIẺN. Kết quả và kết luận.
Môi trường hệ thống sử đụng. Kết quả thực nghiệm. Điểm hạn chế và hướng phát triỀn. Điểm hạn chế.
Hướng pháttriển.-c2c+222vvctevcvvrrerrrsrrrrrr 55 TÀI LIEU THAM KHẢO.-222©22222¿+2EEE+2EEEEEE2222231112222112222112 2221 56 DANH MỤC HÌNH Hình 1.1: Thiết kế hệ thống đề tài NDCCKM.- - 2-2 2 £+E£E££E+EE2EzEzEezed 5 Hình 1.2: Kết quả chạy thử nghiệm NDCCKM.- 2: ©22©5¿22+25++cx+zzxszeez 5 Hình 1.3: Hình sản phẩm thiết bị HTGSTTBN.- 2-2 522 2+££££E+£Ez+Ezzrxerxez 6 Hình 1.4: Giao diện trung tâm gid Sắt. - - -- c5 + 3+1 +3EE+EEEeeesreerereereeere 7 Hình 1.5: Sơ đồ hoạt động của hệ thống CBTXNG.6: Hình ảnh thực tế hệ thống CBHH.--- 2-2 2 2+S£+£££Ee£E+£x+zszse2 10 Hình 1.7: Hình ảnh thực tế chạy thử nghiệm Eye Blink Pattern.8: Kiến trúc giải thuật trên Android [9].-----¿+c++cxczszzs+rxerxcres 13 Hình 1.9: Kết quả chạy thử nghiệm trên Intel Core ï7-7500U [9].1: Kết qua phân tích trên MATLA.2: Kiến trúc của trí tuệ nhân tạo.3: Quá trình hình thành model Model MobileNet SSD v2 Faces.4: Mô hình giao tiếp và xử lý giữa ứng dung và API.5: 68 điểm trên khuôn MAt.6: Bộ dataset IBUG 300-WW.LQ TQ HH HH HH ng HH ng kg kg ưyy 23 Hình 2.7: Ảnh hưởng của “cascade_ depth” lên độ chính xác của model [13].8: Mối liên hệ giữa các tham số trong model.9: Ảnh hưởng của caseade_ depth.---2-22-©5222++22xc2x+erxesrxesrxees 26 Hình 2.10: Ảnh hưởng của nu.--2¿- 5:22 5£2E£2EEtEEEEEE+SEESEEerEeerkesrkrrrsres 27 Hình 2.11: Ảnh hưởng của pooling _sỉze.- 2-2: ©5c2522SE+EEc£EczEerxerkrrrerex 27 Hình 2.12: Ảnh hưởng của tree_ depth.------2-©22¿©5¿22x2zxvcx+erxesrxesrxees 28 Hình 2.13: Biéu đồ nhiệt thé hiện mối tương quan của các thông số lên model.14: Thông số model của Dlib và model đã được tinh chỉnh tham số.15: Khuôn mặt trước và sau khi lược bỏ các điểm. -- -- ---- 5 s1 1n TH TH Hệ 35 Hình 3.2: Google Coral USỈ. -- -- c1 11H HT TH HH kg krry 36 Hình 3.3: Hiệu suất của Google Coral USB.---2-©2¿+¿22++cx+zxe+rxesrseee 37 Hình 3.4: So sánh Coral Google USB với các thiết bị khác.6: Giai đoạn một của khóa luận.7: Giai đoạn hai của khóa luận.-- -- <5 << E33 +21 1E *£2£ VE++sevEkeseeeeesexe 41 Hình 3.----- -- -©k+SE2EE+EE2EE2EEE1E71511112111121111.9: Hệ thống Raspberry Pi4 và Google Coral USB.11: Tọa các điểm cần tính toán dé tính Threshold [14].12: Tư thế ngồi an toàn khi lái xe.13: Hệ thống Chay VO1 vi.14: Hệ thống chạy thử với YawDD dataset.15: Biéu đồ theo dõi trạng thái của mắt khi không buồn ngủ.16: Biéu đồ theo dõi trạng thái của mắt khi buồn ngủ.1: Sự khác nhau giữa hai model “Face detectIoni”.2: Hình ảnh có vật thé được xử ly hồng ngoại.3: Đường ban đêm có xử lý hồng ngoại.------¿- 5¿©+2©++cx++zxzzxeex 54 Hình 4.4: Hình ảnh ban ngày được xử lý hồng ngoại.------ ¿©22cscx+cxc=sz 54 Hình 4.5: Thử nghiệm hệ thống của trường Đại học MIT.------szsz5+ 55 DANH MỤC BANG Bang 1.1: Két quả chạy thực nghiệm HTGSTTBN [3].2: So sánh độ chính xác của Eye Blink Pattern.- LH HH HH ng ry 16 Bang 2.2: Thông số các tọa độ trong file XML.1: Kết quả chạy hệ thống với YawDD.2: Bang so sánh kết quả giữa phương pháp dé xuất và tham khảo.
51 DANH MUC TU VIET TAT API Application Programming Interface ASIC Application-Specific Integrated Circuit CBHH Cảm Biến Hỗn Hop CBTXNG Cảnh Báo Tài Xế Ngủ Gật CPU Central Processing Unit ECG Electrocardiography EEG Electroencephalogram EMG Electromyography EOG Electrooculography FPS Frame per second GPS/GPRS Global Positioning System/General Packet Radio Service GPU Graphics Processing Unit HTGSTTBN Hệ Thống Giám Sát Trạng Thái Buồn Ngủ Của Lái Xe KSS Karolinska Sleepiness Scale NDCCKM Nhận Dang Cử Chỉ Khuôn Mat OS Operating System RAM Random Access Memory R-CNN Region-based Convolutional Neural Networks SSD Single Shot MultiBox Detector TOPS Trillion Operations Per Second TPU Tensor Processing Unit TOM TAT KHÓA LUẬN Khóa luận tập trung nghiên cứu, thiết kế và ứng dụng thử nghiệm một hệ thống nhúng phát hiện trạng thái buồn ngủ của tài xế lái xe bằng xử lý ảnh và học sâu với thời gian thực. Trên cơ sở thuật toán phát hiện buồn ngủ dựa vào hành vi chớp mắt, nhóm khóa luận đã xây dựng giải thuật phần cứng và phần mềm kết hợp dé xác định thời gian mỗi lần chớp mắt của tài xế từ đó tính toán và đưa ra cảnh báo kịp thời. Hệ thống xây dựng trên phần cứng Raspberry Pi 4 kết nối với các ngoại vi Google Coral USB và Camera. cho phép phát hiện và cảnh báo trực tiếp tài xế đang lái xe nếu có dấu hiệu buôn ngủ.
Mục tiêu của khóa luận là hệ thống có thé phát hiện trạng thái buồn ngủ của lái xe với tốc độ xử lý 20fps và độ tin cậy khoảng 80%. Thuật toán phát hiện buồn ngủ dựa trên thời gian chớp mắt đã có sẵn, là đề tài nghiên cứu khoa học đã được kiểm chứng và công bố ở các trang báo và hội nghị khoa học tin cậy. Việc hiện thực thuật toán lên hệ thống nhúng với thời gian thực là một giải pháp mà nhóm muốn đưa ra đề có thê ứng dụng thuật toán theo một hướng đi mới. TONG QUAN Với công nghệ ngày càng phát triển trong thời đại ngày nay, việc áp dụng những tiễn bộ của Khoa học — Công nghệ vào cuộc sông dé giúp cho mọi người có cuộc sống an toàn va tiện lợi hơn là một mục tiêu lớn của những kỹ sư công nghệ thông tin như chúng em.
Do đó vào năm 2018 nhóm đã tham gia nghiên cứu Khoa học — Công nghệ sinh viên tại trường Dai học Công nghệ Thông tin — Dai học Quốc gia Thành phố Hồ Chí Minh với đề tài “Vòng tay cứu hộ trong đám cháy” để giúp người lính cứu hỏa có thê xác định được vị trí của nạn nhân trong đám cháy ở chung cư hay nhà cao tầng một cách dé dàng dé giải cứu nạn nhân nhanh chóng. Đến những năm gan đây, khi thé giới bắt đầu vào nền công nghiệp 4.0 và những công nghệ nổi bật luôn được nhắc đến như BigData, Artificial Intelligence, Block chain. đã giúp mọi người có một cuộc tiện lợi hơn. Có thé kế đến như Trí tuệ nhân tạo đã giúp các bác sĩ có thé chuẩn đoán bệnh nhanh hơn và chính xác hơn.
Không chỉ vậy, còn giúp các bác sĩ không có nhiều kinh nghiệm có thé đưa ra chuân đoán như các bác sĩ đã có nhiều kinh nghiệm. Điều này đã được minh chứng qua sản phẩm DrAid của VinBrain thuộc tập đoàn Vingroup đã được nhiều bệnh viện ở Việt Nam và các bác sĩ tin ding. Nó giúp hạn chế việc các bệnh nhânở tỉnh lên Thành phố khám chữa bệnh phải chờ đợi lâu vì hiện tượng quá tải ở các bệnh viện. Thêm vào đó, việc áp dụng Trí tuệ nhân tạo còn giúp phát hiện ra tế bào ung thư ở giai đoạn đầu, việc phát hiện sớm như vậy sẽ giúp các bệnh nhân tăng tỉ lệ chữa khỏi bệnh cao hơn khi được phát hiện sớm.
Từ một số thành tựu trong ngành Y tế nói riêng và nhiều lĩnh vực khác nói chung do sự phát triển của Trí tuệ nhân tạo thì nó đã là một sự thúc đây cho nhóm đề thực hiện khóa luận tốt nghiệp sử dụng nó dé có thê phát triển một thiết bị an toàn cho con người. Trong những năm gần đây, ở nước ta và trên thế giới, cùng với sự ra đời và phát triển nhanh chóng của các phương tiện giao thông đặc biệt là xe hơi, số vụ tai nạn giao thông cũng gia tăng hàng ngày. Đây là mối nguy hiểm nghiêm trọng gây thiệt hại nghiêm trọng về người và của, dé lại nỗi đau vô cùng lớn cho gia đình nạn nhân và xã hội. Một trong những nguyên nhân gây tai nạn chính là sự mắt tập trung của tài xế do mệt mỏi và buồn ngủ khi đang lái xe.
Nếu gõ từ khóa “Tài xế ngủ gật” lên Google thì có tới hơn 2.000 kết quả tìm kiếm trả về.400 người chết mỗi năm do ngủ gật khi đang lái xe là số liệu được Ủy ban An toàn giao thông Quốc gia trích dẫn từ nghiên cứu của Hội đồng An toàn Quốc gia Mỹ (NSC), nêu ra trong “Ngày hội chăm sóc bác tài — Driver Care Day năm 2019”, chiếm tới 21% tổng số vu tai nạn giao thông gây thiệt hại 109 tỷ đô [1]. Với tốc độ cho phép trung bình ở nước ta là 50 km/h thì chi cần tài xế ngủ gật 1 giây thôi cũng đủ dé gây ra những hậu quả nghiêm trong. Dé giải quyết van đề đó thì có rất nhiều bài nghiên cứu và giải pháp đã được đưa bởi các nhà khoa học, nhà nghiên cứu trong và ngoài nước như: - Phat hiện buồn ngủ băng điện não đồ (EEG). - Phat hiện buồn ngủ băng điện tâm đồ (ECG).
- Phat hiện buồn ngủ bằng điện đồ vùng mắt (EOG). - Phat hiện buồn ngủ bằng xử lý ảnh. Nhưng các phương pháp đó không phù hợp với điều kiện lái xe của tài xế, gây khó chịu, lắp đặt phức tạp hoặc hệ thong phát hiện chậm hơn so với tinh trang thực tế của tài xế. Bên cạnh đó, việc các thiết bị phải là một hệ thống thời gian thực dé cảnh báo tài xế kịp thời thì các phương pháp trên mà nhóm tìm hiểu được thì vẫn đang hạn chế về thời gian thực hiện.
Vì vậy việc theo dõi liên tục và cảnh báo tình trạng buồn ngủ cho tài xế một cách kịp thời và nhanh chóng là một vấn đề hết sức cấp thiết nhằm ngăn chặn và giảm thiểu tai nạn giao thông. Bên cạnh đó do thiết bị được gắn trước vô lăng nên kích thước phải nhỏ gọn.