MỞ ĐẦU Với sự gia tăng dân số và phát triển kinh tế của xã hội hiện đại trên thế giới, ngày càng nhiều người có ô tô của riêng họ. Và việc đậu xe là một trong những những van đề khó khăn cho người lái xe. Mọi người thường phải lãng phí một mất nhiều thời gian tìm kiếm chỗ đậu xe. Đôi khi, đó là một việc khá khó khăn đối với người lái xe khi đỗ xe trong một không gian hạn chế.
Trong bối cảnh này, các nghiên cứu về PAS (Hệ thống hỗ trợ đỗ xe) và hệ thống đỗ xe tự động đã trở thành một trong những điểm nóng trong lĩnh vực xe cộ. Hiện nay phổ biến nhất là sử dụng các kỹ thuật như. Máy quét laser có độ ôn định cao và độ chính xác, nhưng chúng có tuôi thọ ngắn va dé dang bi ảnh hưởng bởi thời tiết mưa và tuyết. Siêu âm và các radar tầm xa có tuổi thọ cao và kích thước nhỏ.
Tuy nhiên, độ chính xác của chúng thấp và phạm vi phát hiện ngắn. Cảm biến tầm nhìn, chăng hạn như máy ảnh, có tuôi thọ cao tuôi thọ và độ chính xác của chúng cũng khá cao. Ngoài ra, nó có thể cung cấp hỗ trợ tầm nhìn thời gian thực và thông tin hình ảnh phong phú cho các trình điều khiển. Nhưng cảm biến tầm nhìn có hiệu suất kém trong điều kiện bóng tối.
Là xu hướng chính của các hệ thong hỗ trợ đỗ xe hiện nay, các hệ thống dựa trên tầm nhìn đầy hứa hẹn và nhiều nhà nghiên cứu và các công ty đã phát triển hệ thống của ho bằng cách sử dụng camera. Và hiện nay xử lý ảnh là lĩnh vực mà ngày nay được phát triển và ứng dụng rất rộng rãi trong nhiều lĩnh vực khác nhau nhờ vào sự phát triển ngày càng mạnh mẽ của các hệ thống máy tính, các thuật toán và công trình nghiên cứu khác nhau của nhiều nhà khoa học trên thế giới. Vì vậy với mục tiêu xây dựng một hệ thống hỗ trợ đỗ xe an toàn, nhóm quyết định xây dựng chương trình tạo Bird-view car camera cho ô tô từ 2 đến 4 băng cách lắp đặt bốn camera xung quanh xe sau đó cung cấp hình ảnh bao phủ tất cả môi trường xung quanh ô tô và xây dựng chương trình cảnh báo va chạm. Tinh hình nghiên cứu nước ngoài Bird-view car camera đang là một lĩnh vực rất được quan tâm và ứng dụng rộng rãi vì những lợi ích mà nó mang lại cho an toàn giao thông như: loại bỏ hoàn toàn các góc khuất, điểm mù, tích hợp camera hành trình: ghi hình cả 4 mắt camera, cảnh báo vat can.
Việc trang bị Bird-view car camera sẽ giúp người lái có thé đỗ xe một cách thuận tiện. Đồng thời, người lái có thé tránh được những chỗ lõm trên mặt dường và di chuyển quanh các chướng ngại vật dé dang hơn. Vi vậy những tính năng trên nên một số hãng xe đã lắp đặt Bird-view car camera vào trong sản pham của mình như là: Acura MDX, BMW 7-Series, Genesis G90, Infiniti QX30. Ngoài ra các công ty phụ tùng xe 6 tô cũng đã san xuất và tung ra thị trường các loại Bird- view car camera tân tiến như: DCT, Panorama,.
Ở các nước phát triển, Bird-view car camera được xem như là thứ không thê thiếu trên những chiếc xe ô tô vì nó giúp cho người dùng an tâm hơn trong việc điều khiển xe ô tô và khiến cho việc lái xe 6 tô dễ dàng hơn. Tình hình trong nước Trong những năm gần đây, Việt Nam ghi nhận sự gia tăng đột biến của lượng xe ô tô tại khu vực thành thị đặc biệt là các thành phố lớn. Đà tăng này theo các chuyên gia đánh giá sẽ còn tiếp tục phát triển trong các năm tới. Lượng xe hơi được tiêu thụ nhiều hiện tại tập trung chính vào những mẫu xe nằm trong phân khúc tầm trung.
Trong khi đó, chỉ những dòng xe cao cấp, xe hạng sang mới được trang bị hệ thống Bird-view camera. Trên thế giới, Bird-view car camera đã được nghiên cứu và sản xuất từ lâu tuy nhiên ở Việt Nam đây vẫn là một lĩnh vực mới mẻ. Hiện nay, mặc dù camera Bird-view camera được nhiều người ưa chuộng và lựa chọn nhưng rat Ít các công ty ở Việt Nam sản xuất được Bird-view car camera nên đa số các sản pham Bird-view car camera ở Việt Nam đa số là hàng nhập khâu. Tuy vẫn còn là một lĩnh vực khá mới lạ ở Việt Nam nhưng với thì Bird-view car camera có rất nhiều tiềm năng dé phát triển và ứng dụng trong tương lai.
Giải pháp Nhóm sử dụng 2 camera IMX219-200 Waveshare và 2 camera hành trình góc quay rộng dé thu hình ảnh. Và sau đó nhóm sử dụng những thuật toán Perspective transformation, warpPerspective, seamless stitching, color balancing để xây dựng chương trình tạo ảnh Bird-view camera. Nhóm sử dụng mô hình mạng SSD-Mobilenet V1 dé trainning dữ liệu vật cản gồm: xe 6 tô, xe máy, người, động vật. Nhóm sử dụng thuật toán Image Panorama Stitching xây dựng bối cảnh môi trường xung quanh xe.
Mục tiêu khóa luận Mục tiêu của đề tài là xây dựng một hệ thống camera Bird-view từ các camera gắn xung quanh xe, nhằm giúp người dùng có thé quan sát xung quanh xe 6 tô từ 2 đến 4 ché và chương trình sẽ được xử lý trên board NVIDIA Jetson Nano Developer Kit. Đồng thời, nhóm sẽ xây dựng chương trình phát hiện và cảnh báo vật cản khi xe đến gần giúp người dùng tránh va chạm với vật cản khi đậu xe tránh gây xây xước và hư hỏng xe. Ngoài ra, nhóm sẽ xây dựng mô hình hién thị 3D với không gian ảnh xung quanh xe. Cụ thé dé tài : e Sử dụng kit NVIDIA Jetson Nano và camera cùng với kiến thức về xử lí ảnh dé ghép thành camera Bird-view từ các hình ảnh thu được.
e Dùng mô hình mạng SSD-Mobilenet V1 dé phát hiện và cảnh báo vật cản. e©_ Dùng thuật toán Image Panorama Stitching xây dựng bối cảnh môi trường xung quanh xe. Giới hạn của đề tài Hình ảnh từ 4 camera được xử lí trên board NVIDIA Jetson Nano Developer Kit để xây dựng hình ảnh Bird-view và hién thị lên màn hình độ phân giải 200x250 với tốc độ khoảng 15- 20 FPS. Độ chính xác của phát hiện vật cản (xe ô tô, xe máy, người, chó, mèo) khoảng 70-85%.
Cảnh báo va chạm đối với camera trước và sau đến vật cản trong khoảng cách từ 1.5m - 2m, camera hai bên là Im và có thể nhận diện được nhiều vật cản cùng lúc. NVIDIA Jetson Nano Developer Kit 2.1 Giới thiệu chung NVIDIA Jetson Nano Developer Kit là một máy tính nhỏ nhưng rất mạnh mẽ cho phép ta chạy song song nhiều mạng neural sử dụng cho các ứng dụng như phân loại hình ảnh, phát hiện đối tượng, phân đoạn và xử lý giọng nói. Tất cả trong cùng một nên tang dé sử dụng cũng như tiêu tốn ít hơn 5 watts. Jetson Nano cũng cấp 472 GFLOPS dé chạy các thuật toán AI hiện đại một cách nhanh chóng, với một CPU quad-core 64-bit ARM, một NVIDIA GPU 128-core được tích hợp trên board mạch, cũng như bộ nhớ 4GB LPDDR4.
Có thể chạy song song nhiêu mạng neural và xử lý đông thời một sô cảm biên có độ phân giải cao. Chú thích : Thuật ngữ GFLOPS là một chi số đại diện cho tốc độ và kha năng tinh toán của GPU, tương đương với kha năng thực hiện 19.2 tỷ phép tính trên một giây. Jetson Nano cũng được hỗ trợ bởi NVIDIA JetPack. Bao gồm các gói hỗ trợ board (BSP), CUDA, cuDNNvà thư viện phần mềm TensorRT cho deep learning, computer vision, GPU computing, multimedia processing và nhiều ứng dụng khác.
SDK cũng bao gồm khả năng cài đặt frameworks Machine Learning (ML) mã nguồn mở như TensorFlow, PyTorch, Caffe / Caffe2, Keras và MXNet, cho phép các nhà phát triển tích hợp các model AI/ framework yêu thích của họ vào các sản phâm một cách nhanh chóng và dé dàng. Đặc biệt : NVIDIA Jetson Nano đã có phiên bản mới nhất BO1, có nâng cấp thêm một công CSI hỗ trợ sử dụng đồng thời 2 Camera - GPU: 128-core MaxwellTM GPU - CPU: quad-core ARM® Cortex®-A57 CPU - RAM : 4GB 64-bit LPDDR4 - Bộ nhớ: khe cắm thé microSD (devkit) hoặc 16GB eMMC flash (Từ nha sản xuat) - Video: + Encode: 4K @ 30 (H.265) - Các giao diện : + Ethernet: 10/100/1000BASE-T self-negotiation + Camera: 12-ch (3x4 OR 4x2) MIPI CSI-2 DPHY 1.5Gbps) + Display: HDMI 2.0, DP (DisplayPort) + USB: 4x USB 3.0 (Micro USB) + Others: GPIO, I2C, I2S, SPI, UART - Nguồn cấp : + Micro USB (5V 2.5A) + DC jack (SV 4A) - Kích thước : + Core module: 69.6 mm x 45 mm + Whole kit: 100mm x 80mm x 29mm sion header @ HDMI output port @ Micro-USB port for 5V power input or for data (7) DisplayPort connector [4] Gigabit Ethernet port @ DC Barret jack for SV power input @ MIPL CSI camera connector Hinh 2.2: Thong số kĩ thuật NVIDIA Jetson Nano Developer Kit [3] 2.3 Jetson Nano phù hợp với các dự án Machine Learning hon các loại máy tính khác NVIDIA Jetson Nano có thê chạy rất nhiều mạng tiên tiến và mới nhất, bao gồm toàn bộ các framework Machine Learning phố biến như : Tensoflow, Keras, Pytorch, Caffe/Caffe2, Từ đó có thé áp dụng dé xây dựng, thiết kế các mô hình, các thuật toán phức tạp của hệ thống Trí tuệ nhân tạo bằng cách tận dụng khả năng tính toán mạnh mẽ đến từ phần cứng của Jetson Nano đề nhận dạng và xử lý hình ảnh, phát hiện, định vị đối tượng, 10 Hình 2.3 cho thấy kết quả hiệu suất của một số mạng Machine Learning khác nhau với Jetson Nano sử dụng thư viện TensorRT của NVIDIA và sử dụng độ chính xác của FP16 và batch_ size 1 Deep Learning Inference Performance 40 FPS 4 FPS SOFPS 2TFPE 25FPS 20FPS TBFPS 18 FPS T6FPS sats 15 FPS BERS: 10 FPS 10FPS OFFS E ResNet-50. SSO RosNet- lÌ Inception V4. Mh OpenPose VGG:19 Super U-Net (224x224) 18(360x544) 18(480x272) 18 (300x300) waster Mebane Tiothananieh (299x299) (256x256) (224x224) Resolution (1x5124512) (960x544) (480x272) (300x300) iene (481x321) Network Model Hình 2.3: Hiệu suất của một số mạng Machine Learning khác nhau [3] Bảng 2.1 sẽ cung cấp đầy đủ hơn hiệu suất của Jetson Nano khi chạy các mạng Machine Learning đồng thời so sánh với các nền tảng khác như Raspberry Pi 3, Intel Nerual Compute Stick 2 và Google TPU Coral Dev Board : 11 ResNet-50 Classification | TensorFlow 36 FPS 1.4 FPS 16 FPS |224x224] MobileNet-v2 Classification | TensorFlow 64 FPS 2.5 FPS 30 FPS 130 FPS [300300] SSO ResNet-18 Object TensorFlow 5 FPS DNR 960x544) Detection SSD ResNet-18 ‘Object TensorFlow 16 FPS 480x272) Detection SSO ResNet-18 Object TensorFlow 18 FPS ONR (300x300) Detection SSD Mobilenet-V2 Object TensorFlow 8 FPS 1.