Luận văn thạc sĩ: Hệ thống cảnh báo va chạm cho ô tô - ĐH SPKT TPHCM

Luận văn thạc sĩ nghiên cứu và thử nghiệm hệ thống cảnh báo va chạm cho xe ô tô, phân tích thuật toán xử lý dữ liệu và đánh giá hiệu quả an toàn.

• Tác giả: Lê Hoàng Minh Thuận
• Người hướng dẫn: PGS.TS. Lê Mỹ Hà
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật Điện tử
• Đề tài: Nghiên cứu thử nghiệm hệ thống cảnh báo va chạm cho xe ô tô
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan về hệ thống cảnh báo va chạm

Hệ thống cảnh báo va chạm cho xe ô tô là một công nghệ hiện đại giúp ngăn chặn tai nạn giao thông. Hệ thống này sử dụng cảm biến và camera để phát hiện vật cản trên đường và cảnh báo lái xe. Công nghệ Deep Learning được áp dụng để tăng cường độ chính xác của hệ thống.

1.1. Nguyên lý hoạt động

Hệ thống cảnh báo va chạm sử dụng cảm biến và camera để thu thập dữ liệu về môi trường xung quanh xe. Dữ liệu này được xử lý bằng công nghệ Deep Learning để phát hiện vật cản và cảnh báo lái xe.

1.2. Ưu điểm của hệ thống

Hệ thống cảnh báo va chạm cho xe ô tô có nhiều ưu điểm, bao gồm tăng cường độ an toàn, giảm thiểu tai nạn giao thông và cải thiện trải nghiệm lái xe.

II. Phân tích vấn đề của hệ thống cảnh báo va chạm

Mặc dù hệ thống cảnh báo va chạm cho xe ô tô có nhiều ưu điểm, nhưng vẫn còn một số vấn đề cần được giải quyết. Một trong những vấn đề chính là độ chính xác của hệ thống, đặc biệt là trong điều kiện thời tiết xấu hoặc môi trường phức tạp.

2.1. Vấn đề độ chính xác

Độ chính xác của hệ thống cảnh báo va chạm là một vấn đề quan trọng. Hệ thống cần phải có khả năng phát hiện vật cản chính xác và cảnh báo lái xe kịp thời.

2.2. Vấn đề môi trường

Môi trường xung quanh xe cũng là một yếu tố quan trọng ảnh hưởng đến độ chính xác của hệ thống. Hệ thống cần phải có khả năng hoạt động hiệu quả trong nhiều điều kiện môi trường khác nhau.

III. Giải pháp cho hệ thống cảnh báo va chạm

Để giải quyết vấn đề độ chính xác và môi trường, có thể áp dụng một số giải pháp. Một trong những giải pháp là sử dụng công nghệ Deep Learning để tăng cường độ chính xác của hệ thống. Ngoài ra, cũng có thể sử dụng cảm biến và camera chất lượng cao để thu thập dữ liệu chính xác hơn.

3.1. Công nghệ Deep Learning

Công nghệ Deep Learning là một giải pháp hiệu quả để tăng cường độ chính xác của hệ thống cảnh báo va chạm. Công nghệ này cho phép hệ thống học hỏi và cải thiện độ chính xác qua thời gian.

3.2. Cảm biến và camera chất lượng cao

Cảm biến và camera chất lượng cao cũng là một giải pháp quan trọng để tăng cường độ chính xác của hệ thống. Những thiết bị này cho phép hệ thống thu thập dữ liệu chính xác hơn và giảm thiểu sai sót.

IV. Kết luận và ứng dụng của hệ thống cảnh báo va chạm

Hệ thống cảnh báo va chạm cho xe ô tô là một công nghệ quan trọng để tăng cường độ an toàn giao thông. Với việc áp dụng công nghệ Deep Learning và cảm biến, camera chất lượng cao, hệ thống có thể hoạt động hiệu quả và giảm thiểu tai nạn giao thông.

4.1. Ứng dụng của hệ thống

Hệ thống cảnh báo va chạm có thể được ứng dụng trong nhiều lĩnh vực, bao gồm xe ô tô, xe tải, xe buýt và các phương tiện giao thông khác.

4.2. Tương lai của hệ thống

Tương lai của hệ thống cảnh báo va chạm là rất rộng mở. Với sự phát triển của công nghệ, hệ thống có thể trở nên更加 chính xác và hiệu quả, giúp giảm thiểu tai nạn giao thông và tăng cường độ an toàn.

Nội dung chính

Tổng quan nghiên cứu

Theo thống kê của Tổ chức Y tế Thế giới, mỗi năm có khoảng 1,35 triệu người tử vong do tai nạn giao thông đường bộ, trong đó hơn 90% các vụ va chạm bắt nguồn từ sự thiếu tập trung hoặc phản xạ chậm trễ của người điều khiển phương tiện. Nhằm giảm thiểu các rủi ro này, các hệ thống hỗ trợ lái xe nâng cao (ADAS) – đặc biệt là tính năng cảnh báo va chạm phía trước (FCW) – đang trở thành tiêu chuẩn an toàn quan trọng trên các dòng xe hiện đại. Tuy nhiên, phần lớn các giải pháp thương mại hiện nay đều phụ thuộc vào các cảm biến đắt tiền như LiDAR, Radar sóng milimet hoặc các bộ máy tính nhúng GPU cao cấp có giá thành lên tới hàng nghìn USD, khiến khả năng tiếp cận của người tiêu dùng tại các quốc gia đang phát triển như Việt Nam bị hạn chế đáng kể.

Vấn đề nghiên cứu trọng tâm của luận văn là giải quyết bài toán cân bằng giữa độ chính xác nhận diện vật thể và chi phí phần cứng triển khai. Mục tiêu cụ thể của đề tài là xây dựng, tối ưu hóa và thực nghiệm một hệ thống cảnh báo va chạm trước cho xe ô tô dựa trên nền tảng thị giác máy tính kết hợp học sâu (Deep Learning). Hệ thống sử dụng một camera quang học duy nhất gắn trên xe, có khả năng nhận diện các phương tiện giao thông (ô tô con, xe tải, xe khách) và ước tính khoảng cách tương đối theo thời gian thực để đưa ra tín hiệu cảnh báo kịp thời cho người lái.

Phạm vi nghiên cứu tập trung vào việc thử nghiệm dữ liệu thực tế của các phương tiện lưu thông trên tuyến đường cao tốc tại Việt Nam, thực hiện tại Thành phố Hồ Chí Minh trong giai đoạn 2019-2020. Ý nghĩa thực tiễn của công trình thể hiện ở việc cắt giảm hơn 80% chi phí phần cứng so với các hệ thống ADAS tiêu chuẩn, đạt ngưỡng xử lý cận thời gian thực trên vi máy tính nhúng có giá thành dưới 100 USD, qua đó mở ra tiềm năng thương mại hóa các thiết bị an toàn giao thông thông minh phục vụ cộng đồng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng tích hợp giữa lý thuyết thị giác máy tính hình học và các mô hình mạng nơ-ron tích chập hiện đại:

Mô hình hình học Camera Pinhole và lý thuyết hiệu chỉnh quang học: Hệ thống thiết lập mối quan hệ ánh xạ không gian ba chiều thực tế sang mặt phẳng ảnh hai chiều thông qua ma trận thông số nội gồm tiêu cự và điểm chính, ma trận xoay và vector tịnh tiến. Để loại bỏ hiện tượng méo ảnh do thấu kính quang học giá rẻ, luận văn áp dụng mô hình toán học bù trừ 5 hệ số biến dạng (gồm 3 hệ số biến dạng xuyên tâm và 2 hệ số biến dạng tiếp tuyến) thông qua giải thuật phân tích giá trị kỳ dị (SVD).

Kiến trúc mạng nơ-ron tích chập MobileNet v1: Tận dụng kỹ thuật tích chập tách biệt theo chiều sâu (Depthwise Separable Convolution), chia nhỏ phép tích chập thông thường thành hai bước gồm Depthwise Convolution và Pointwise Convolution kích thước 1x1. Cấu trúc này giúp giảm khối lượng tính toán và số lượng tham số từ 8 đến 9 lần so với mạng CNN truyền thống mà vẫn giữ được đặc trưng không gian quan trọng.

Giải thuật phát hiện vật thể đơn bước Single Shot MultiBox Detector (SSD): Mô hình trích xuất và phân lớp các hộp bao mặc định (default bounding boxes) trên nhiều tầng bản đồ đặc trưng có kích thước khác nhau. Quá trình tối ưu hóa sử dụng hàm mất mát kết hợp giữa hàm mất mát phân lớp Softmax và hàm mất mát vị trí Smooth L1 để tinh chỉnh độ chính xác của tọa độ vật thể.

Các khái niệm then chốt khác bao gồm: Lan truyền thuận (Feedforward), Lan truyền ngược (Backpropagation), Học chuyển giao (Transfer Learning), và Phép chiếu hình học không gian (Geometric Perspective Projection).

Phương pháp nghiên cứu

Nguồn dữ liệu và Cỡ mẫu: Nghiên cứu thu thập tập dữ liệu gồm 3.500 khung hình video chất lượng cao quay trực tiếp từ camera hành trình trên các cung đường cao tốc tại Việt Nam. Tập dữ liệu được phân loại chi tiết theo 3 mức độ phức tạp giao thông: Dễ (mật độ xe thưa, điều kiện ánh sáng hoàn hảo), Trung bình (mật độ phương tiện vừa phải, có sự che khuất nhẹ), và Khó (nhiều xe đan xen, góc quan sát phức tạp và độ tương phản cao).

Phương pháp chọn mẫu: Áp dụng phương pháp chọn mẫu phân tầng ngẫu nhiên theo tỷ lệ chuẩn học máy: 70% dành cho tập huấn luyện (Train), 15% cho tập kiểm định (Validation), và 15% cho tập kiểm thử độc lập (Test). Dữ liệu được gán nhãn thủ công qua phần mềm LabelImg để tạo ra các tệp chú thích tọa độ chuẩn Pascal VOC định dạng XML.

Phương pháp phân tích và Lý do lựa chọn: Sử dụng kỹ thuật Transfer Learning trên nền tảng mô hình MobileNet-SSD đã được huấn luyện trước với tập dữ liệu quốc tế COCO chứa hơn 300.000 hình ảnh. Việc lựa chọn phương pháp này giúp mô hình tận dụng các trọng số đặc trưng tổng quát có sẵn, rút ngắn thời gian hội tụ và giải quyết triệt để vấn đề thiếu hụt dữ liệu huấn luyện cục bộ. Quá trình huấn luyện mô hình được thực hiện qua 15.000 epoch trên môi trường Google Colaboratory GPU.

Timeline nghiên cứu: Toàn bộ quá trình từ thu thập dữ liệu, hiệu chỉnh camera, xây dựng thuật toán hình học đến huấn luyện và đánh giá thực nghiệm được triển khai liên tục trong thời gian 12 tháng, từ tháng 03/2019 đến tháng 03/2020.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Mô hình nhận diện phương tiện đạt độ chính xác cao trên toàn bộ tập kiểm thử: Kết quả đánh giá bằng chỉ số độ chính xác trung bình (mAP) đạt 84,6% trên tập dữ liệu tổng hợp. Cụ thể, độ chính xác nhận diện đạt mức 92,4% đối với tập dữ liệu Dễ, đạt 85,1% đối với tập dữ liệu Trung bình và duy trì ở mức 76,3% đối với tập dữ liệu Khó.

Tốc độ xử lý khung hình đáp ứng ngưỡng vận hành thực tế: Thử nghiệm trên máy tính xách tay Asus P550LD (CPU Intel Core i5, RAM 4GB) đạt tốc độ xử lý ổn định từ 24,8 đến 28,5 FPS, đáp ứng hoàn hảo tiêu chuẩn xử lý thời gian thực. Khi triển khai trên máy tính nhúng cấu hình thấp Raspberry Pi 3 B+ (CPU Quad Core 1.2GHz, RAM 1GB), tốc độ xử lý ban đầu đạt 4,6 FPS và sau khi nén gọn trọng số mô hình đã tăng lên 8,5 FPS.

Độ chính xác ước lượng khoảng cách dựa trên hình học quang học: Thuật toán suy diễn khoảng cách từ kích thước hộp bao và góc nghiêng camera cho kết quả rất khả quan: sai số ước tính chỉ ở mức 2,8% tại khoảng cách 5m (chênh lệch thực tế 0,14m), 4,3% tại khoảng cách 10m (chênh lệch 0,43m), và 8,7% tại cự ly xa 40m (chênh lệch 3,48m).

Mức độ tối ưu hóa hàm mất mát: Quá trình huấn luyện qua 15.000 epoch cho thấy hàm mất mát phân loại (Classification Loss) giảm mạnh từ 4,82 xuống còn 0,21, đồng thời hàm mất mát định vị (Localization Loss) giảm từ 2,65 xuống mức 0,18, chứng minh mô hình có khả năng khái quát hóa tốt mà không rơi vào trạng thái quá khớp (overfitting).

Thảo luận kết quả

Các phát hiện thực nghiệm có thể được tổng hợp trực quan qua biểu đồ suy giảm hàm mất mát theo chu kỳ huấn luyện và bảng so sánh hiệu năng xử lý đa nền tảng. Khi phân tích biểu đồ mất mát, đường cong hội tụ mượt mà sau 10.000 epoch khẳng định thuật toán tối ưu hóa Gradient Descent hoạt động hiệu quả trên tập dữ liệu giao thông thực tế.

Sự suy giảm độ chính xác từ mức 92,4% ở tập dữ liệu Dễ xuống 76,3% ở tập dữ liệu Khó phản ánh thách thức thực tế khi các phương tiện kích thước lớn như xe container, xe khách che khuất một phần góc nhìn của camera đơn. Tuy nhiên, nhờ cấu trúc phân tầng feature map của giải thuật SSD kết hợp với phép chiếu tọa độ trên hai trục OXZ và OYZ, hệ thống vẫn duy trì khả năng trích xuất biên dạng vật thể đáng tin cậy.

So sánh với các công bố khoa học cùng thời điểm: Nghiên cứu của Zhaojin Zhang sử dụng mạng Deep Neural Network truyền thống chỉ đạt tốc độ dưới 5 FPS trên máy tính để bàn, trong khi mô hình R3-Net của Qingpeng Li tuy theo dõi được phương tiện đa hướng nhưng cấu trúc quá nặng nề. Giải pháp MobileNet-SSD trong nghiên cứu này đã giảm được khoảng 75% khối lượng tính toán mà vẫn duy trì độ chính xác nhận diện trên 84%, vượt trội về tính thực tiễn khi nhúng vào phần cứng giá rẻ.

Ý nghĩa học thuật và thực tiễn của kết quả này khẳng định rằng hoàn toàn có thể xây dựng các module cảnh báo an toàn độc lập với chi phí linh kiện dưới 50 USD, mở ra cơ hội trang bị hệ thống hỗ trợ lái xe cho hàng triệu phương tiện giao thông phổ thông tại Việt Nam.

Đề xuất và khuyến nghị

Thực hiện lượng tử hóa mô hình (Model Quantization 8-bit) và tích hợp các bộ tăng tốc suy luận TensorRT hoặc OpenVINO: Nhóm kỹ sư phát triển phần mềm nhúng cần hoàn thành giải pháp này trong lộ trình 6 tháng nhằm tối ưu hóa các phép tính số thực dấu phẩy động, nâng tốc độ xử lý trên vi điều khiển Raspberry Pi đạt mục tiêu tối thiểu 20-25 FPS.

Mở rộng cơ sở dữ liệu huấn luyện thêm khoảng 15.000 hình ảnh đa dạng: Các viện nghiên cứu và trường đại học cần chủ trì mở rộng thu thập dữ liệu trong thời gian 9 tháng, bổ sung các kịch bản thời tiết phức tạp như ban đêm, mưa lớn, sương mù dày đặc và các phương tiện đặc thù tại Việt Nam (xe máy, xe đạp điện, xe ba gác) nhằm nâng độ chính xác mAP tổng thể lên trên 90%.

Tích hợp cơ chế cảnh báo đa phương thức đồng bộ: Các kỹ sư cơ điện tử ô tô cần triển khai trong thời gian 3 tháng việc kết hợp còi báo động âm thanh, dải đèn LED hiển thị trên kính lái (HUD) và motor rung phản hồi trên vô lăng, giúp giảm thời gian phản xạ của tài xế xuống dưới ngưỡng an toàn 0,8 giây khi xuất hiện nguy cơ va chạm.

Nghiên cứu kết hợp cảm biến siêu âm hoặc radar cự ly gần giá rẻ (Sensor Fusion): Doanh nghiệp sản xuất phụ tùng ô tô cần tiến hành thử nghiệm trong thời gian 12 tháng việc ghép nối camera quang học với cảm biến siêu âm phụ trợ có giá dưới 15 USD, nhằm triệt tiêu hoàn toàn sai số khoảng cách ở cự ly cực gần dưới 2m, đưa độ sai lệch xuống dưới 1%.

Đối tượng nên tham khảo luận văn

Nhà nghiên cứu và học viên cao học chuyên ngành Kỹ thuật Điện tử, Tự động hóa và Khoa học Máy tính: Tài liệu cung cấp cơ sở toán học chuẩn xác về ma trận chuyển đổi tọa độ camera Pinhole, giải thuật phân tích kỳ dị SVD trong hiệu chỉnh thấu kính và phương pháp nén mạng nơ-ron tích chập nhẹ.

Kỹ sư phát triển hệ thống nhúng và kỹ sư công nghệ ô tô (ADAS Engineers): Các kỹ sư tại các tập đoàn sản xuất ô tô và phần mềm giao thông thông minh có thể khai thác trực tiếp mô hình kết nối phần cứng giữa máy tính nhúng với module camera, cùng giải thuật ước lượng khoảng cách 3D từ ảnh 2D để xây dựng các sản phẩm thương mại chi phí tối ưu.

Doanh nghiệp sản xuất thiết bị giám sát hành trình và phụ kiện ô tô: Cung cấp bản thiết kế hệ thống mẫu hoàn chỉnh, chứng minh tính khả thi về mặt kỹ thuật và thương mại khi tích hợp tính năng cảnh báo va chạm trước vào các dòng camera hành trình phổ thông mà không làm tăng giá thành sản xuất.

Sinh viên đại học khối ngành kỹ thuật thực hiện đồ án tốt nghiệp: Nguồn tài liệu tham khảo chi tiết về quy trình thu thập dữ liệu đường bộ, sử dụng công cụ gán nhãn LabelImg, thiết lập môi trường huấn luyện học sâu với Google Colab GPU và lập trình xử lý ảnh với thư viện OpenCV.

Câu hỏi thường gặp

Tại sao nghiên cứu lại lựa chọn mạng MobileNet-SSD thay vì các kiến trúc phổ biến như YOLOv3 hay Faster R-CNN?

Mạng MobileNet-SSD sử dụng phép tích chập tách biệt theo chiều sâu giúp giảm số lượng phép tính nhân cộng và dung lượng mô hình chỉ còn khoảng 25MB. Trong khi Faster R-CNN đòi hỏi GPU hiệu năng cao và YOLOv3 yêu cầu bộ nhớ RAM lớn, MobileNet-SSD mang lại sự cân bằng hoàn hảo giữa độ chính xác và khả năng chạy mượt mà trên bộ xử lý nhúng ARM.

Thuật toán ước lượng khoảng cách hoạt động như thế nào khi chỉ sử dụng một camera quang học đơn sắc?

Hệ thống kết hợp mô hình hình học Pinhole và thông số ngoại của camera sau khi hiệu chỉnh bàn cờ chuẩn. Khi mạng nơ-ron phát hiện phương tiện, thuật toán trích xuất tọa độ điểm tiếp đất của bánh xe trên ảnh, sau đó dùng phép chiếu lượng giác kết hợp góc nghiêng quang trục camera để suy ra khoảng cách thực tế với sai số chỉ 2,8% ở cự ly 5m.

Hệ thống có duy trì được độ chính xác trong điều kiện ánh sáng yếu hoặc ban đêm không?

Trong phạm vi thử nghiệm của luận văn, hệ thống hoạt động tối ưu dưới điều kiện ánh sáng ban ngày trên cao tốc. Trong môi trường ban đêm hoặc mưa lớn, độ chính xác nhận diện có thể suy giảm do độ tương phản hình ảnh giảm sút. Đây là hướng nghiên cứu mở rộng cần bổ sung dữ liệu huấn luyện chuyên sâu trong giai đoạn tiếp theo.

Tổng chi phí phần cứng để chế tạo một bộ thiết bị cảnh báo va chạm thử nghiệm là bao nhiêu?

Toàn bộ phần cứng của hệ thống thử nghiệm bao gồm vi máy tính nhúng Raspberry Pi 3 B+ và webcam Logitech C270 có tổng giá trị đầu tư ước tính dưới 80 USD (tương đương khoảng 1,8 triệu đồng). Mức chi phí này chỉ bằng khoảng 5% đến 10% so với các cụm cảm biến radar hay camera chuyên dụng nhập khẩu.

Khả năng đáp ứng thời gian thực của hệ thống khi xe di chuyển ở tốc độ cao trên cao tốc ra sao?

Trên máy tính xách tay thử nghiệm, hệ thống xử lý ổn định ở mức 28,5 FPS, tương đương thời gian trễ xử lý mỗi khung hình chỉ khoảng 35 mili-giây. Tốc độ này cho phép hệ thống phát hiện chướng ngại vật và kích hoạt cảnh báo sớm từ 1,5 đến 2 giây trước khi xảy ra va chạm, đảm bảo khoảng cách an toàn cho lái xe xử lý tình huống.

Kết luận

Xây dựng thành công hệ thống cảnh báo va chạm phía trước (FCW) giá thành thấp ứng dụng công nghệ học sâu, đạt độ chính xác nhận diện trung bình 84,6% mAP trên các tuyến đường cao tốc.

Tối ưu hóa hiệu quả mô hình MobileNet-SSD trên nền tảng thị giác máy tính OpenCV, đạt tốc độ xử lý cận thời gian thực 28,5 FPS trên máy tính cá nhân và 8,5 FPS trên vi máy tính nhúng Raspberry Pi 3 B+.

Thiết lập giải thuật hình học không gian ước tính khoảng cách 3D từ camera đơn với độ chính xác cao, duy trì sai số chỉ 2,8% ở cự ly 5m và 4,3% ở cự ly 10m.

Khẳng định khả năng tự chủ giải pháp công nghệ hỗ trợ lái xe an toàn tại Việt Nam với mức đầu tư phần cứng dưới 100 USD, mở rộng cơ hội phổ cập tính năng an toàn cho xe ô tô thương mại.

Đề ra định hướng 6-12 tháng tới để lượng tử hóa mô hình 8-bit, đa dạng hóa dữ liệu thời tiết phức tạp và tích hợp cảnh báo đa phương thức nhằm hoàn thiện sản phẩm thương mại.

Các tổ chức, doanh nghiệp công nghệ và nhà nghiên cứu quan tâm hãy tiếp tục kế thừa và phát triển các kết quả của công trình này để tạo ra những sản phẩm an toàn giao thông thông minh "Made in Vietnam", góp phần giảm thiểu tai nạn và bảo vệ tính mạng cho người tham gia giao thông.

Trích đoạn nội dung tài liệu

Chương 1 TỔNG QUAN 1.1 Giới thiệu Hiện nay, xe tự hành đang là một xu hướng đặc biệt được quan tâm trong ngành công nghiệp ô-tô. Trong đó, hệ thống trợ lái nâng cao (ADAS) là một mảng đang được tập trung phát triển. Trong mảng ADAS, hiện tại các hệ thống được tập trung phát triển bao gồm: - Cảnh báo chệch làn đường (LDW): sử dụng camera lắp đặt trên xe để phát hiện vạch kẻ làn đường trên các tốc độ nhất định. Nếu xe rẽ khỏi làn mà không có tín hiệu xi-nhan, cảnh báo âm thanh, cảnh báo hình hoặc cảnh báo rung sẽ được kích hoạt.1: Mô hình hệ thống cảnh báo chệch làn đường - Kiểm soát hành trình chủ động (ACC): sử dụng radar hoặc camera lắp đặt trên xe để phát hiện vị trí và tốc độ theo phương tiện phía trước.

Từ đó tự động điều chỉnh tốc độ của xe nhằm giữ an toàn.2: Mô hình hệ thống kiểm soát hành trình chủ động - Cảnh báo va chạm trước (FCW): sử dụng cảm biến lắp đặt trên xe để nhận biết vật cản, cảnh báo người lái khi va chạm sắp xảy ra qua âm thanh, tín hiệu ánh sáng trên cụm đồng hồ, cảnh báo qua màn hình HUD, hoặc rung ghế và vô-lăng.3: Mô hình hệ thống cảnh báo va chạm trước Trong những năm gần đây, với những kết quả vượt trội mà phương pháp Deep Learning thể hiện trong việc xử lý tác vụ cụ thể thông qua lượng dữ liệu được cung cấp, việc nhận dạng đối tượng trong các hệ thống của mảng ADAS nghiêng về xu hướng áp dụng Deep Learning vào việc rút trích đặc trưng, phân lớp nhận dạng đối tượng, nhằm tăng độ chính xác và tốc độ xử lý: : 14 “Road Vehicle Detection and Classification based on Deep Neural Network” [31] của Zhaojin Zhang, sử dụng Deep Neural Network (DNN) có độ chính xác cao hơn những phương pháp trước đó, nhưng tốc độ xử lý còn chậm. Trong “R3-Net: A Deep Network for Multi-oriented Vehicle Detection in Aerial Images and Videos” của Qingpeng Li [32], đã sử dụng một phương pháp mới R3-Net của Neural Network (bao gồm CNN, R-RPN, R-DN kết hợp) để nhận dạng phương tiện. Tuy có thể theo dõi thêm nhiều thông tin của phương tiện như quỹ đạo nhầm nâng cao hiệu suất trong phát hiện xe đa hướng nhưng thuật toán khá phức tạp và chi phí cao. Trong “MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications” [1], nhóm tác giả đã trình bày một mạng CNN cho mục đích nhận diện vật thể, ưu điểm của mạng mới là có thể nhúng trong những thiết bị di động có cấu hình phần cứng thấp.

Tại Việt Nam, FPT Software nghiên cứu phát triển xe tự lái từ tháng 8 năm 2016. Xe thử nghiệm được chạy thử vào tháng 10 năm 2017 với tốc độ 20 km/h, có khả năng tự điều khiển đi thẳng, tránh xe ngược chiều, chướng ngại vật và đánh lái chuyển hướng theo các khúc cua. Tuy nhiên, những hệ thống áp dụng Deep Learning yêu cầu phần cứng có cấu hình mạnh và giá thành thương mại cao, khả năng áp dụng đại trà tại Việt Nam là rất thấp. Do đó, triển khai được những hệ thống trên với phần cứng có cấu hình thấp, giá thành rẻ là một bài toán phải xử lý nếu muốn làm chủ công nghệ Deep Learning tại những nước đang phát triển nói chung và Việt Nam nói riêng.

Dựa trên xu hướng nghiên cứu trong lĩnh vực ADAS hiện tại, những thông số khả quan của mạng MobileNets tại [1], học viên chọn phương pháp Deep Learning sử dụng mạng MobileNets cho việc nhận dạng phương tiện giao thông trên những thiết bị có cấu hình phần cứng thấp.2 Mục tiêu của đề tài Mục tiêu của đề tài là xây dựng một chương trình phần mềm áp dụng Deep Learning cho những thiết bị cấu hình phần cứng thấp, có thể nhận biết phương tiện di chuyển trên 15 đường cao tốc, nhằm cảnh báo lái xe khi khoảng cách giữa xe và phương tiện phía trước quá gần, có nguy cơ xảy ra va chạm.3 Phương pháp của đề tài Đề tài được thực hiện thử nghiệm với tập dữ liệu lấy từ phương tiện di chuyển trên đường cao tốc, đối tượng phát hiện là ô-tô, xe tải và xe khách. chưa thực hiện với đường quốc lộ, tỉnh lộ và các phương tiện tham gia giao thông khác như xe máy, người đi bộ… Đề tài sử dụng thư viện OpenCV cho quá trình tiền xử lý hình ảnh thu được từ camera. Quá trình nhận diện phương tiện giao thông sử dụng mạng CNN, cụ thể là mạng MobileNet-SSD được làm gọn trọng số nhằm tăng tốc xử lý, giúp hệ thống có thể chạy trên những máy tính có cấu hình yếu. Hệ thống sẽ ước lượng khoảng cách từ camera đến phương tiện giao thông được nhận diện qua tính toán các phép chiếu trên trục tọa độ.

Với giá trị khoảng cách thu được, hệ thống dự đoán vị trí của phương tiện giao thông với camera và đưa ra tín hiệu cảnh báo đến người lái.4 Bố cục Luận văn tài có bố cục cụ thể như sau: Chương 1: Tổng quan Giới thiệu các hướng nghiên cứu hiện tại trong và ngoài nước. Mục tiêu và phương pháp của đề tài. Chương 2: Lý thuyết hiệu chỉnh camera Cơ sở lý thuyết trong quá trình hiệu chỉnh camera cho việc tính toán khoảng cách từ ảnh. Chương 3: Lý thuyết nhận dạng vật thể Cơ sở lý thuyết trong quá trình nhận dạng vật thể.

Chương 4: Kết quả thực nghiệm 16 Quá trình xây dựng hệ thống và kết quả đạt được. Chương 5: Kết luận và hướng phát triển Kết luận ưu, nhược điểm và hướng phát triển của hệ thống. 17 Chương 2 LÝ THUYẾT HIỆU CHỈNH CAMERA 2.1 Mô hình pinhole camera Về mặt hình học, mô hình Pinhole camera bao gồm một mặt phẳng ảnh I (Image Plan) và một tâm điểm nằm trên mặt phẳng tiêu cự (Pinhole plane) [22].1 mô tả mô hình pinhole camera: Hình 2.1: Mô hình Pinhole camera [22] Tuy nhiên, với mô hình như trên hình 2.1, ảnh của vật bị đảo ngược. Để dễ dàng cho quá trình tính toán, tiến hành đổi vị trí hai mặt phẳng Image plane và Pinhole plane.2 thể hiện hệ tọa độ camera sau khi hoán đổi vị trí hai mặt phẳng.

Trong đó O được gọi là tâm chiếu, đường thẳng qua O vuông góc với hai mặt phẳng Image plane và Pinhole plane được gọi là trục quang (Optical axis). Trục quang cắt mặt Pinhole plane tại c được gọi là Principal point. Trong hệ tọa độ camera trong hình 2.2, mọi điểm ảnh q trên mặt phẳng ảnh I được tạo thành bởi điểm ảnh trên vật thể Q qua O sẽ thẳng hàng với O và Q.2: Hệ tọa độ camera [22] 2.2 Thông số camera Thông số camera bao gồm các thông số nội (intrinsics) và các thông số ngoại (extrinsics): 2.2 Thông số nội Gọi O(X, Y, Z) là hệ tọa độ camera, c(x, y) là hệ tọa độ của các điểm ảnh trên mặt phẳng ảnh. Nhận thấy: x = y =F X Y Z Trong thực tế, c không bao giờ trùng với tâm ảnh mà có vị trí so với tọa độ gốc quy T ước là [cx cy].

Do đó, một điểm Q = [X Y Z] ở tọa độ thực khi được chiếu lên mặt phẳng T ảnh sẽ có tọa độ pixel là [x y]. x=f (X ) + c x Z x y=f (X ) + c y Z y 19 Tiêu cự có hai giá trị khác nhau theo hai phương theo hai phương. Nguyên nhân là với một camera thông thường, ảnh luôn là hình chữ nhật chứ không phải hình vuông tuyệt đối. Với sx, sy là số pixel trên một đơn vị dài milimet, F là chiều dài tiêu cự thực tế theo mimimet, thì fx = Fsx, fy = Fsy.

Các thông số fx, cx, fy, cy được gọi là các thông số nội. Các thông số này được biểu diễn trong ma trận thông số nội M. Khi đó, tọa độ điểm ảnh q với tọa độ điểm thực có mối liên hệ như sau: q = MQ x fx 0 X Với q = y , M= 0 f c Q= y w 0 0 Y Z 2. Thông số ngoại Một vật thể trong không gian thường được biểu diễn bởi một hệ tọa độ bất kỳ -không phải hệ tọa độ camera.

Do đó, để tính toán được trên các hệ tọa độ này, cách đơn giản nhất là chuyển nó về hệ tọa độ camera. Giả sử rằng một điểm bất kỳ có tọa độ P w trong hệ tọa độ W (thế giới thực) và có tọa độ Po trong hệ tọa độ camera. Khi đó P w có thể chuyển về Po bằng một phép quay và một phép tịnh tiến. Po = RPw +T Ma trận R và vector T mô tả hướng, vị trí tương đối giữa hệ tọa độ thực và hệ tọa độ camera.

Ma trận R chứa 3 phép quay và vector T chứa 1 phép tịnh tiến theo vector T. Những thông số chứa trong R và T được gọi là những thông số ngoại của camera.3: Minh họa phép chuyển tọa độ thực sang tọa độ ảnh [22] 2.3 Biến dạng thấu kính Biến dạng thấu kính xuất hiện do hạn chế không thể tránh khỏi trong quá trình sản xuất các thấu kính. Có hai biến dạng chính đó là biến dạng xuyên tâm (gây ra do hình dáng của lens kính) và biến dạng tiếp tuyến (do quá trình lắp đặt hệ thống bên trong camera).1 Biến dạng xuyên tâm Xảy ra do các thấu kính của camera thực tế thường gây ra các biến dạng ở rìa của ảnh. Điều này thường dẫn đến hệ quả gây ra hiện tượng “barrel” hoặc “pincushion” (hình 2.4 cho gợi ý tại sao biến dạng xuyên tâm xảy ra.4: Biến dạng xuyên tâm [22] 21 Hình 2.5: Biến dạng xuyên tâm barrel và pincushion Những tia sáng càng xa trung tâm thấu kính càng bị bẻ cong hơn so với những tia đi qua gần tâm.

Độ biến dạng bằng 0 ở tâm chiếu và tăng dần khi ra dần phía ngoài. Với (x, y) là tọa độ của điểm trên ảnh, (xcorrected, ycorrected) là tọa độ mới sau khi đã bù trừ biến dạng, độ biến dạng được mô tả nhờ phương trình: x corrected = x(1 + k1r 2 + k2 r 4 + k3 r6 ) y corrected = y (1 + k1r 2 + k2 r 4 + k3 r6 ) 2 2 2 Trong đó: r = x + y Thông thường chỉ sử dụng hai hệ số đầu tiên k1 và k2. Với một số loại camera có độ biến dạng lớn sẽ sử dụng hệ số k3.2 Biến dạng tiếp tuyến Xảy ra do lỗi quá trình sản xuất làm cho thấu kính không định vị song song hoàn toàn so với mặt phẳng ảnh.5 thể hiện lỗi biến dạng tiếp tuyến.6: Biến dạng tiếp tuyến [22] Biến dạng tiếp tuyến được mô tả theo phương trình sau: x = x + [2 p y + p (r 2 + 2 (2.