BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH CÔNG TRÌNH NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN ỨNG DỤNG XỬ LÝ ẢNH SỬ DỤNG PHẦN MỀM LABVIEW ĐỂ CẢNH BÁO VA CHẠM SỚM S K C 0 0 3 9 5 9 VÀ NGỦ GẬT TRÊN XE MÃ SỐ: SV2020-06 S KC 0 0 7 3 6 4 Tp. Hồ Chí Minh, tháng 10/2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐÞ TÀI NGHIÊN CĀU KHOA HỌC CþA SINH VIÊN ĀNG DỤNG XỬ LÝ ẢNH SỬ DỤNG PHẦN MÞM LABVIEW Đà CẢNH BÁO VA CHẠM SỚM VÀ NGþ GẬT TRÊN XE SV2020-06 Chÿ nhiệm đß tài: Nguyễn Trung Trực TP HỒ CHÍ MINH, ngày 5 tháng 10 năm 2020 BÞ GIÁO DþC VÀ ĐÀO T¾O TRƯỜNG ĐH SƯ PHẠM KỸ THUẬT TPHCM BÁO CÁO TỔNG KẾT ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CỦA SINH VIÊN ỨNG DỤNG XỬ LÝ ẢNH SỬ DỤNG PHẦN MỀM LABVIEW ĐỂ CẢNH BÁO VA CHẠM SỚM VÀ NGỦ GẬT TRÊN XE SV2020-06 Thußc nhóm ngành khoa học: Kỹ thuật – þng dÿng SV thực hiện: Nguyễn Trung Trực Nam, Nữ: Nam Dân tßc: Kinh Lớp : 161451B Khoa : Cơ khí đßng lực Năm thÿ: 4 Số năm đào t¿o: 4 Ngành học: Công nghệ kỹ thuật ô tô Người hướng dẫn: Ths.Nguyễn Thành Tuyên TP HỒ CHÍ MINH, ngày 5 tháng 10 năm 2020 LàI CÀM ¡N Trong thời gian làm đề tài nghiên cứu, nhóm chúng em đã nhận được nhiều sự giúp đỡ, đóng góp ý kiến và chỉ bảo nhiệt tình của thầy cô, gia đình và bạn bè. Nhóm chúng em xin gửi lời cảm ơn chân thành đến Th.s Nguyễn Thành Tuyên, giảng viên Bộ môn Điện-Điện tử - trường ĐHSPKT TP.HCM người đã tận tình hướng dẫn, chỉ bảo em trong suốt quá trình thực hiện đề tài nghiên cứu. Đồng thời cả nhóm cũng xin chân thành cảm ơn các thầy cô giáo trong trường ĐHSPKT TP.HCM nói chung, các thầy trong Bộ môn Điện-Điện tử nói riêng đã dạy dỗ cho em kiến thức về các môn đại cương cũng như các môn chuyên ngành, giúp em có được cơ sở lý thuyết vững vàng và tạo điều kiện giúp đỡ em trong suốt quá trình học tập.
Cuối cùng chúng em xin chân thành cảm ơn gia đình và bạn bè, đã luôn tạo điều kiện, quan tâm, giúp đỡ, động viên cả nhóm trong suốt quá trình học tập, nghiên cứu và hoàn thành đề tài nghiên cứu. Sinh Viên Thÿc Hißn i TÓM TÀT Đề tài: <Nghiên cău và ăng dÿng xử lí Ánh bằng phần mßm LabVIEW đá cÁnh báo ngā g¿t và va ch¿m sßm= được nghiên cứu tại Trường Đại Học Sư Phạm Kỹ Thuật Tp. Thời gian thực hiện từ 01/2020 đến 06/2020 là nghiên cứu được phát triển trên nền tảng ứng dụng vào thực tế. Đề tài này đề xuất nghiên cứu và ứng dụng công nghệ xử lí ảnh bằng phần mềm LabVIEW và ngôn ngữ lập trình mở Python để ứng dụng vào thực tế trên xe ô tô.
Nghiên cứu trình bày các chương trình lập trình được phát triển trên nền tảng ngôn ngữ lập trình mở Python, đồng thời kết hợp với phần mềm LabVIEW để tiến hành cảnh báo ngủ gật cho tài xế cũng như cảnh báo va chạm sớm để tránh các trường hợp xảy ra sự cố đột xuất làm tài xế không có khả năng phán đoán và xử lí kịp thời tình huống xảy ra. Điểm mới của đề tài là quá trình xử lí ảnh mang tính ổn định cao, dễ dàng xác định chính xác hiện trạng của tài xế lái xe cũng như khoảng cách tới vật cản. Các thông tin sau khi được xử lí, lập trình bằng phần mềm LabVIEW và tương tác với người dùng thông qua hệ thống cảnh báo bằng còi và đèn cũng như thông báo hiển thị trên màn hình LCD. Kết quả, sau quá trình thực nghiệm chương trình đã hoạt động ổn định và việc thực thi quá trình cảnh báo nhằm tạo điều kiện thuận lợi cho tài xế trong việc điều chỉnh trạng thái của bản thân và ô tô trong khi tham gia giao thông đã có độ chính xác ngày càng được nâng cao hơn.
ii MþC LþC Ch°¢ng 1: TỔNG QUAN. Tổng quan chung về lĩnh vực nghiên cứu. Các đề tài nghiên cứu trong và ngoài nước. Các đề tài nghiên cứu trong nước.
Các nghiên cứu ngoài nước. Tại một số nước. Tại một số hãng xe. Mục đích của đề tài.
Đối tượng và phạm vi của đề tài. Phạm vi nghiên cứu. Phương pháp nghiên cứu. Nghiên cứu lý thuyết.
Nghiên cứu thực nghiệm. 6 Ch°¢ng 2: C¡ SỞ LÝ THUYẾT. Cơ sở lý thuyết xử lí ảnh xác định đối tượng theo phân loại tầng. Cơ sở lý thuyết thuật toán ước lượng khoảng cách từ hệ camera quan sát đến vật cản.
Sơ đồ nguyên lý được sử dụng để ước lượng khoảng cách từ hệ camera đến vật cản. Phương pháp hiệu chỉnh camera (Camera calibration). 9 Ch°¢ng 3: GIÞI THIÞU CH¯¡NG TRÌNH PHÁT HIÞN VÀ CÀNH BÁO NGĀ G¾T VÞI VA CH¾M SÞM. Error! Bookmark not defined.
Giới thiệu chương trình dùng để phát hiện và cảnh báo ngủ gật. Giới thiệu chương trình cảnh báo va chạm sớm trên xe ô tô. 14 Ch°¢ng 4: THþC NGHIÞM, KẾT QUÀ NGHIÊN CĂU .1 Thực nghiệm hệ thống cảnh báo ngủ gật … .1 Trường hợp nhận diện được người lái xe và xác định người lái xe không ngủ gật.2 Trường hợp nhận diện được người lái xe và xác định người lái xe ngủ gật.2 Thực nghiệm hệ thống cảnh báo va chạm sớm.3 Hệ thống cảnh báo va chạm khi lắp trên xe mô hình mini.4 Kết quả thực nghiệm.31 Ch°¢ng 5: KẾT LU¾N VÀ H¯ÞNG PHÁT TRIàN. 32 TÀI LIÞU THAM KHÀO………………………………………………………… 38 PHþ LþC………………………………………………………………………….
40 iv DANH MþC CÁC HÌNH Hình 2.1: Các kiểu phân tầng cơ bản thường được sử dụng Hình 2.2: Đặc tính khác nhau giữa vùng mắt và các bộ phận khác trên mặt Hình 2.3: Sơ đồ nguyên lý được sử dụng để ước lượng khoảng cách từ hệ camera đến vật cản Hình 3.1: Chương trình phát hiện và cảnh báo ngủ gật được viết bằng ngôn ngữ lập trình Python Hình 3.2: Giao diện Block Diagram trong phần mềm LabVIEW Hình 3.3: Giao diện Front Panel trong phần mềm LabVIEW Hình 3.4: Chương trình dùng để phát hiện và cảnh báo va chạm sớm trên Python Hình 3.5: Chương trình dùng để phát hiện và cảnh báo va chạm sớm trên Python Hình 3.6: Chương trình dùng để phát hiện và cảnh báo va chạm sớm trên Python Hình 3.7: Chương trình dùng để phát hiện và cảnh báo va chạm sớm trên Python Hình 3.8: Chương trình dùng để tính tiêu cự camer Hình 3.9: Chương trình dùng để tính tiêu cự camer Hình 3.10: Chương trình dùng để tính tiêu cự camer Hình 3.11: Giao diện Block Diagram trong phần mềm LabVIEW Hình 3.12: Giao diện Front Panel trong phần mềm LabVIEW H椃 nh 4.1:Nhận diện mở mắt bằng Python H椃 nh 4.2:Xử ly thông tin người lái không ngủ gật bằng Labview H椃 nh 4.3:Nhận diện nhắm mắt bằng Python H椃 nh 4.4:Xử lý thông tin người lái ngủ gật bằng Labview H椃 nh 4.5: Xác định khoảng cách từ xe đến vật bằng python H椃 nh 4.6:Xác định khoảng cách từ người đến vật trên thực tế H椃 nh 4.7:Xác định khoảng cách từ người đến vật trên thực tế H椃 nh 4.8:Cảnh báo va chạm trên Labview H椃 nh 4.9: Mô hình xe không người lái H椃 nh 4.10: Thuật toán điều khiển xe bằng Labview H椃 nh 5.1: Nguyên lí cơ bản của deeplearning H椃 nh 5.2 : Thu thập hình ảnh mẫu v H椃 nh 5.3: Xác định, dán nhãn đối tượng muốn nhận diện H椃 nh 5.4 : Tiến hành đào tạo mô hình H椃 nh 5.5 : Sử dụng mô hình đào tạo được vi Ch°¢ng 1: TàNG QUAN 1. Táng quan chung vß lĩnh vÿc nghiên cąu Ngày nay, khi nền công nghiệp ô tô đang phát triển m¿nh mẽ dẫn theo đó là sự hoàn thiện cũng nh° phát triển các hệ thống thông minh phục vụ tốt cho các yêu cầu của con ng°ßi đối với ô tô. Đi đôi với sự phát triển không ngừng này là các vấn đề cũng nh° thực tr¿ng cần chú ý, một trong những vấn đề đ°ợc quan tâm nhất đó chính là an toàn của ng°ßi điều khiển ph°¡ng tiện. Những yêu cầu về độ an toàn trên ô tô ngày càng tăng, đòi hỏi các nhà sÁn xuất phÁi chú trọng đầu t° nghiên cứu cũng nh° nâng cấp và đ°a ra các giÁi pháp đÁm bÁo tính an toàn phù hợp với yêu cầu của ng°ßi dùng.
Trong đó, Pre-Collision System (PCS) công nghệ cÁnh báo và can thiệp tr°ớc va ch¿m đã và đang đ°ợc quan tâm. Tr°ớc đây, khi ch°a xuất hiện Pre-Collision System thì việc đÁm bÁo an toàn của ng°ßi lái xe phụ thuộc phần lớn vào dây an toàn. Nh°ng thiết bị này chỉ có thể đÁm bÁo an toàn một cách thụ động và mức độ an toàn cũng không quá cao. Bằng chứng là nhiều vụ tai n¿n chết ng°ßi xÁy ra mặc dù ng°ßi lái xe vẫn tuân thủ việc thắt dây an toàn khi l°u thông.
Điều này cho thấy việc dùng sử dụng dây an toàn chỉ là một biện pháp giÁi quyết <ngọn= mà vẫn ch°a thể giÁi quyết triệt để <gốc= của việc xÁy ra các tai n¿n. Do đó, việc nghiên cứu và cho ra đßi Pre-Collision System là một trong những giÁi pháp để giÁm thiểu các khÁ năng gây tai n¿n đối với ng°ßi lái. Pre-Collision System sẽ liên tục theo dõi quá trình điều khiển của ng°ßi lái cũng nh° các điều kiện xung quanh xe nh° ch°ớng ng¿i vật, xe đi tr°ớc, xe đối diện,… để phát hiện sớm nguy c¡ tai n¿n vài giây tr°ớc va ch¿m, từ đó thực hiện những biện pháp cÁnh báo, can thiệp nhằm ngăn chặn hoặc giÁm thiểu những thiệt h¿i có thể xÁy ra. Cũng bái bÁn chất hoàn toàn tự động của hệ thống cũng nh° tính chất bất ngß và khó đoán của hầu hết những vụ tai n¿n, công nghệ đứng sau quá trình vận hành của PCS có độ phức t¿p cao và cần phÁi đ°ợc tinh chỉnh, kiểm tra cực kỳ kỹ l°ỡng tr°ớc khi đ°ợc trang bị trên ô tô.
Vậy nên quá trình điều chỉnh để đÁm bÁo hệ thống ho¿t động chính xác, phÁn ứng kịp thßi với tình huống cũng nh° không can thiệp nhầm là rất quan trọng. 1 Tuy nhiên , ngay cÁ khi trên xe đã đ°ợc trang bị đầy đủ các hệ thống thông minh cho phép phát hiện và cÁnh báo các tr°ßng hợp nguy cấp xÁy ra nh°ng vẫn tồn t¿i các tr°ßng hợp xÁy ra tai n¿n. Nguyên nhân dẫn đến các sự việc không mong muốn này là do sự thiếu tập trung của ng°ßi tài xế. Mà biểu hiện rõ nhất của nó là hiện t°ợng ngủ gật.