Chương 1. Lý do chọn đề tài. _ Đối tượng và phạm vi nghiên cứu .-----¿-¿©+2++2x++tz++zxeerxrerseee 4 Chương2. Phan tích, đánh giá các hướng nghiên cứu đã CÓ.
Những van đề còn tồn tại. Những van đề mà đề tài cần tập trung, nghiên cứu giải quyết. _ NGHIÊN CỨU THỰC NGHIỆM. Phát hiện các cạnh trong điều kiện mờ, trời tối trong đó có cạnh của làn durong 1u:.
Loại bỏ các cạnh nhiều và lựa chọn các cạnh tương tự giống với làn đường (Pha 2) mm. Đề xuất giải thuật NMSS. Dé xuất giải thuật Rising Falling. Đề xuất kiểm tra đặc trưng độ rộng của làn đường.
Đề xuất kiểm tra đặc trưng góc nghiêng tại mỗi điểm cạnh và hai cạnh U10: 271177. Dé xuat giải thuật “Nearest_miđ”. Chọn một làn đường đúng nhất trong các cạnh có đặc trưng giống làn đường (Phas 3) .- - --- 5 1x TH TT HT HH Hà Hà Hiệp 34 3. Dé xuất ý tưởng x_mid, phi_mid, xoay góc @ (phi_roate) và mở rộng X(X_EXCOMA).
THIẾT KE KIÊN TRÚC PHAN CỨNG HIỆN THỰC GIẢI THUẬT.--¿-©+¿++£+EE+EE+EEEEEEEEEEEEEEEEEE171121171211 2121. _ Thiết kế kiến trúc phần cứng hiện thực giải thuật nhóm đề xuất. _ Thiết kế kiến trúc module Line Buffer. Thiết kế kiến trúc phần cứng hiện thực kỹ thuật Gaussian.
_ Thiết kế kiến trúc phần cứng hiện thực phép toán Sobel. Thiết kế kiến trúc phần cứng hiện thực phép toán tính góc @ và 4r10121101177Ẻ. _ Thiết kế kiến trúc phần cứng hiện thực kỹ thuật NMSS. Thiết kế kiến trúc phần cứng hiện thực giải thuật Rising-Falling.
_ Thiết kế kiến trúc phần cứng kiểm tra đặc trưng độ rộng và hai cạnh song song của làn ẨƯỜng .- --- + kg HH ng Hy 49 4. _ Thiết kế kiến trúc module Hough Transform. _ Thiết kế kiến trúc Reset không gian lưu trữ song song với việc voting. ĐÁNH GIÁ, BAN LUẬN VỀ KET QUẢ.
_ Cách thức đánh giá. Động lực dẫn đến việc chọn lựa bộ dit liệu. Phương pháp đánh giá.- --- -- «+ + + kxSx kg trệt 57 5. Kết quả, đánh giá giải thuật (SOÍtWAV€),.
HH HH re, 58 5. Kết quả đánh giá với kiến trúc phần cứng (hardwave). KÉT LUẬN VA HƯỚNG PHAT TRIEÉN.---- 2 555225: 66 TÀI LIEU THAM KHẢO.-- 2-5 t+EE‡EE‡EEEEEEEESEEEEEEEErEkrrxrrerree 68 DANH MỤC HÌNH Hình 3.1 Mô tả tổng quát hướng nghiên cứu và phân tích giải thuật của đề tài.2 Kernal mặt nạ ngang (Gx) và mặt nạ doc (ïy).-- ---+xc+++ecsex+s 13 Hình 3.3 Mô tả việc nhân tích chập với mặc nạ dọc ïy. -- 75+ + s+ss+erseess 14 Hình 3.4 Mô tả việc nhân tích chập với mặc nạ ngang x.5 Mô tả ảnh bên trái là ảnh gốc, ảnh bên phải là ảnh thé hiện các tọa độ cạnh với ngưỡng gradien (thresh_gradien=10) .-- --- - + «+ xxx 2x 2 ngư 15 Hình 3.6 Kết quả của việc áp dụng thêm bộ loc Gaussian kết hợp Sobel so với làn đường bên phải hình 3.---- 6 6 + kv S1 91991931912 nh nh Hà Hư Hà Hư 17 Hình 3.7 Kernel 3x3 nhóm để xut.--¿- +: + 2£ +2++£+2E++ExeEx++rxerxrresrxrree 21 Hình 3.8 Mô tả hoạt động Gaussian kernel 3x3.Mô ta hoạt động Gaussian kernel nh.9 Anh mô tả kết quả pha 1 kết hợp với giá ti gradient lớn hon so với giá tri (thresh_gradient).
G1 11919111111 1n TH HH HH kc 23 Hình 3.10 Mô tả dé xuất NMSS.11 Mô tả kết quả của đề xuất NMSS.----- 2 52Sc22EcEEcEEerkerrrrrkrree 25 Hình 3.12 Ảnh RGB của một làn đường trong điều kiện rõ ràng.13 Ảnh nhị phân đã qua kỹ thuật Gaussian và thuật toán Sobel.14 Ảnh thể hiện giá tri pixel đã được xử lý qua kỹ thuật Gaussian.15 Các giá trị pixel tại khu vực điểm cạnh làn đường.16 Tình huống nhận diện sai mũi tên là làn đường ở điều kiện trời tối.17 Ảnh phân tích tọa độ điểm cạnh khi phóng to mũi tên so với hình 3.18 Kết quả so với hìnhh 3.16 nếu sử dụng điều kiện độ rộng thì sẽ cho kết qua Sun0i 0c.19 Mô tả thách thức có cạnh có đặt trưng rất giống làn đường tuy nhiên nó không phải thực sự là lần đường. vn ng nh ng, 32 Hình 3.20 Kết quả của việc kết hợp thêmgiải thuật nearest_ mid.21 Ảnh RGB có ba đường thăng rất giống làn đường ở điều kiện mờ và trời Hình 3.22 Ảnh nhị phân từ anh RGB ở hình 21 là kết quả của pha 2.23 Công thức toán học tính Rho trong trường hợp làn đường bên tay phải.24 Công thức toán hoc tính Rho trong trường hop làn đường bên tay trái .25 Ảnh nhị phân sau khi áp dụng ý tưởng x_mid và x_extend so với hình "E0 0ï 672 .26 Giải thuật nhận diện làn đường hoàn chỉnh .-- 5-5 5+++ss>+ss52 39 Hình 4.1 Thiết kế kiến trúc Line_ Buffer] .2 Thiết kế kiên trúc hiện thực phép tính Gaussian kernel 3x3.3 Thiết kế kiến trúc module Line Buffer2 phục vụ cho phép toán Sobel và ý tuOng (301508 n11ìì:1 1717121171777.4 Output Line_ Buffer2 ma trận 3x3 sau khi qua gaussian phục vụ phép toán NY0) 112) DIO, 6 (CC ` `.5 Output Line_ Buffer2 chuỗi pixel sau khi qua gaussian phục vụ ý tưởng S338 211i 77717277.6 Thiết kế kiến trúc hiện thực phép toán Sobel tính giá trị tuyệt đối gradient theo hung X 006590117577.7 Thiết kế kiến trúc hiện thực phép toán Sobel tính giá trị tuyệt đối gradient theo hung (621.8 Thiết kế kiến trúc module CORDIC.9 Thiết kế kiến trúc phan cứng hiện thực giải thuật NMSS.10 Thiết kế kiến trúc phần cứng hiện thực giải thuật Rising — Falling.11 Thiết kế kiến trúc phần cứng module Lane Point.12 Thiết kế kiến trúc module LIEO.--¿©++++vc++ererrveerrrrreeree 51 Hình 4.13 Thiết kế kiến trúc module Hough Transform .14 Không gian lưu trữ voting sau khi kết thúc 1 frame.15 Kết quả sau khi hiện thực dé xuất chia Rho cho 8.1 Kết quả mô phỏng giải thuật đề xuất ở điều kiện normal (Frame 389) .2 Kết quả mô phỏng giải thuật đề xuất ở điều kiện shadow (Frame 497) .3 Kết quả mô phỏng giải thuật đề xuất ở điều kiện hlight (Frame 159).4 Kết quả mô phỏng giải thuật đề xuất ở điều kiện night (Frame 596) .5 Script constraint chu kỳ clock 3.4ns tương ứng 300Mhz.6 Mô tả device mà nhóm hướng đến là Virtex-7 V707 .7 Chiến lược Syntheis Flow_PertOptimized_high.8 Mô tả chiên lược Implementation trên tool Vivado.9 Mô tả kết quả report_timing summary sau khi run Implementation.10 Mô tả kết quả report_power của IP sau khi run Implementation. 64 DANH MỤC BANG Bảng 2.1 Bảng phân tích độ giảm số lượng tọa độ cạnh khi áp dụng kỹ thuật NMSS với không áp dụng kỹ thuật NMSS. Ăn HS ng TH HH ng Hư, 26 Bảng 5.1 Bảng thống kê độ chính xác giải thuật trên các các điều kiện môi trường ở Cataset CULAMNE.2 Kết quả so sánh tốc độ xử trên một frame giữa IP nhóm đề xuất và các bài DAO LEN QUANi0.3 Bang thống kê tài nguyên phan cứng các bai báo khoa hoc và kết qua IP DANH MỤC TỪ VIẾT TẮT Từ viết tắt Diễn giải ADSA Advanced Driver Assistance System DMA Direct Memory Access DSP Digital Signal Processors FF Flip-Flop Field Programmable Gate Array Hough Transform Hardware Description Language Frame Per Second Hough Parameter Space Hardware Software Look-Up Table Personal Computer Region Of Interest Universal Asynchronous Receiver/Transmitter Worst Negative Slack N TÓM TAT KHÓA LUẬN Khóa luận của nhóm tập trung vào việc giải quyết các thách thức lớn nhất hiện nay trong lĩnh vực nhận diện làn đường.
Cụ thể, nhóm nghiên cứu các phương pháp đề nhận diện làn đường trong các điều kiện khó khăn như trời tối, trời mưa, hoặc sương mù, khi làn đường mờ và khó nhìn thấy băng mắt thường. Ngoài ra, các vật nhiễu như xe cộ, lan can, vạch kẻ hướng mũi tên, và các cạnh của dải phân cách cũng gây ra nhiều khó khăn cho việc nhận diện chính xác. Nhóm cũng phải đối mặt với thách thức trong việc nhận diện nhiều làn đường song song (multilane) và các làn đường cong, đòi hỏi các thuật toán phải có khả năng phân biệt và theo dõi chính xác trong mọi tình huống. Dé đảm bảo hệ thống hoạt động hiệu quả trong thời gian thực và đáp ứng yêu cầu tốc độ cao của xe, nhóm tập trung vào nghiêu cứu vấn đề thiết kế kiến trúc phần cứng, sử dụng các thiết bị mạnh mẽ như FPGA đề tăng tốc quá trình xử lý và nâng cao hiệu năng tổng thể.
Hướng tiếp cận của nhóm, đầu tiên nhóm tiến hành thống kê và phân tích từ các công trình nghiên cứu khoa học trên các tạp chí uy tín như IEEE để xác định các van đề thách thức hiện nay trong lĩnh vực nhận diện làn đường. Từ các thách thức này, nhóm đã lựa chọn các vấn đề cấp thiết nhất để nghiên cứu và tìm giải pháp. Vấn đề đầu tiên là nhóm tập trung vào việc phát triển một giải thuật tối ưu dé nhận diện làn đường trong các điều kiện khó khăn như mờ, trời tối, trời mưa, và có nhiều vật nhiễu như xe cộ, lan can, vạch kẻ hướng mũi tên, và các cạnh của dai phân cách. Dé giải quyết van dé đầu tiên này, nhóm đã tiến hành nghiên cứu và phân tích các thuật toán và kỹ thuật xử lý ảnh, hiểu rõ ưu nhược điểm của từng phương pháp, và thực hiện phân tích sâu từng giá tri pixel trong ảnh.
Các vấn đề như nhận diện cạnh mờ trong điều kiện trời tối, trời mưa, hay trong tình huống có nhiều cạnh nhiễu đã được đặt ra và nghiên cứu giải quyết. Nhóm tiếp tục với việc chọn lọc tọa độ có đặc trưng giống làn đường và tìm ra giải thuật tối ưu nhất dé chọn lọc và nhận diện các cạnh này. Cuối cùng, nhóm đã đặt ra bài toán đê chọn ra làn đường chính xác nhât từ các cạnh có đặc trưng tương tự. Đối với vấn đề thứ hai, nhóm đã sử dụng giải thuật tối ưu này dé thiết kế một kiến trúc phần cứng mạnh mẽ, dam bảo hiện thực toàn vẹn giải thuật với mục tiêu đạt được tốc độ nhanh nhất, đáp ứng yêu cầu tốc độ cao khi xe di chuyên trên cao tốc.
Việc thiết kế này nhằm đảm bảo hệ thống hoạt động hiệu quả trong thời gian thực. Thông qua các hướng tiếp cận này, nhóm hy vọng đóng góp vào việc cải thiện các công nghệ nhận diện làn đường và ứng dụng trong các hệ thống xe tự lái và hỗ trợ lái xe trong tương lai. Kết quả là nhóm đã dé xuất và phát triển một giải thuật mạnh mẽ dé phát hiện các làn đường trong các điều kiện thách thức nhất hiện nay. Đồng thời, nhóm đã thiết kế một kiến trúc phần cứng tốc độ cao đạt được tốc độ xử lý real- time dé hiện thực giải thuật này.
Nhóm cũng đã thành công trong việc hiện thực kiến trúc này bằng RTL code Verilog và triển khai trên phần mềm Vivado, đảm bảo tính toàn vẹn và hiệu suất của hệ thống nhận diện làn đường.