Chương 1: Giới thiệu Chương 2: Lý thuyết về phát hiện làn đường Chương 3: Lý thuyết về nhận dạng và bám đối tượng Chương 4: Mô phỏng nhận dạng làn đường và phương tiện tham gia giao thông Chương 5: Kết luận và hướng phát triển Hình 1. 2: Minh họa hệ thống ADAS trong công nghệ tự lái thông minh 7 Chương 2 LÝ THUYẾT VỀ PHÁT HIỆN LÀN ĐƯỜNG 2. Giới thiệu Phát hiện làn đường là một trong những bộ phận của hệ thống hỗ trợ việc lái xe. Phát hiện làn đường thường được sử dụng trong các hệ thống điều khiển thông minh, cảnh báo khi chuyển làn, hay mô hình hóa hệ thống giao thông [10].
Có 3 kỹ thuật hay được sử dụng bên trong việc xử lý này là: - Kĩ thuật mắt chim - Kĩ thuật phát hiện cạnh đặc trưng - Kĩ thuật chuyển đổi khoảng cách. Các bước trong phát hiện làn đường bao gồm: - Xử lý hình ảnh ở cấp độ thấp: Xử lý hình ảnh đầu vào, chuyển đổi thành hình ảnh đã xử lý để phát hiện hệ thống. - Phát hiện biên của làn đường - Hậu xử lý cho hệ thống dựa trên làn đường sau khi phát hiện. Trong báo cáo này, người thực hiện sử dụng phương pháp kỹ thuật mắt chim để phát hiện làn đường.
Đây là kỹ thuật ít tốn thời gian cho việc xử lý ảnh đầu, tuy nhiên lại gây ra 2 nhược điểm là: - Độ rộng làn đường sau khi phát hiện không phù hợp với thực tế - Sai lệch về phần ước lượng khoảng cách 2. Kĩ thuật mắt chim – Bird’s eye view mapping Nét đặc trưng chính của kỹ thuật này là đưa hình ảnh từ tầm nhìn xa thành hình ảnh nhìn từ trên xuống. Có 2 kỹ thuật để tạo dựng hình ảnh: - Uốn cong tầm nhìn của ảnh (Warp perspective mapping –WPM) - Đảo tầm nhìn của hình ảnh (Inverse perspective mapping – IPM) 8 2. Uốn cong tầm nhìn của ảnh (WPM) Bốn điểm ảnh trên hình ảnh đầu vào được sử dụng để tạo việc tiền xử lý cho ảnh đầu ra theo như mong muốn (hình 2.
Nếu như xem xét ma trận uốn cong hình ảnh thì các điểm ành đầu vào PI sẽ được xử lý thành PW bằng cách nhân cho hệ số ma trận uốn cong hình ảnh A (phương trình 2. 1) Với hình (a) là hình ảnh đầu vào, (b) và (c) là hình ảnh mắt chim sử dụng WPM nhưng dựa trên các khoảng cách khác nhau. Bốn điểm tương ứng (điểm màu vàng) được thiết lập bằng cách hiệu chuẩn; hướng lái xe được chỉ định bởi mũi tên. Đặc điểm thuận lợi của kĩ thuật này là có thể chọn lựa bốn điểm ảnh khác nhau để thay đổi mức độ cong của hình ảnh sau khi xử lý.
Ngoài nó không phụ thuộc nhiều vào các thông số bên trong và bên ngoài của camera, dễ dàng phát hiện đối với các làn đường không liên tục hoặc dành cho các hệ thống cần hỗ trợ hướng di chuyển. Tuy nhiên kĩ thuật này có một nhược điểm là các vị trí của làn đường sau khi xử lí lại không rõ ràng. Để khác phục nhược điểm đó thì có kĩ thuật đảo hình ảnh. Đảo tầm nhìn của hình ảnh (IPM) Kỹ thuật này áp dụng dựa trên tầm nhìn của hình ảnh trên mức thực tế theo các trục theo các mặt phẳng xz và yn như hình 2.
2 bên dưới: Với hình 2. 2 bên trái là mặt phẳng xz trong không gian W và hình 2. 2 bên phải là mặt phẳng yη. Kỹ thuật này đòi hỏi yêu cầu cao cho việc kiểm tra các thông số của camrera đầu vào, để đảm bảo cho việc chuyển đồi hình ảnh đạt được chất lượng cao hơn so với kĩ thuật uốn cong.
1: Kỹ thuật WPM [10] 9 - Viewpoint: vị trí camera trong hệ tọa độ thế giới C = (l, h, d) - Viewing direction: trục quang được xác định bởi hai góc: γ0: góc được hình thành bởi phép chiếu của trục quang trên mặt phẳng xz [như trong hình 2. 2 bên trái] θ0: góc được hình thành bởi trục η và trục y [như trong hình 2. 2 bên phải] - Aperture (Khẩu độ): khẩu độ góc máy ảnh là 2αu theo hàng và 2αv theo cột. Tọa độ (u0, v0) là tâm điểm của máy ảnh, - n x m là độ phân giải của máy ảnh - F là tiêu cự u arctan u0 F (2.
2) v arctan v0 F Theo phương pháp toán học, IPM có thể được mô hình hóa như một phép chiếu từ một không gian 3D Euclide W, chứa các phần tử x, y, z R3 thành một không gian con phẳng 2D của R , được biểu hiễn bởi I, với các thành phần u, v R 2. Ánh xạ từ I sang W được tính như sau: 2 u 2 v x u, v h cot 0 u u cos 0 v v l m 1 n 1 y u, v 0 (2. 3) 2 u 2 v z u, v h cot 0 u u cos 0 v v d m 1 n 1 Còn ánh xạ từ W sáng I thì có thể được tính như sau: Hình 2. 2: Mô hình IPM [10] 10 h sin x, 0, z arctan 0 u m 1 zd u x, 0, z 2 u (2.
4) z d arctan x l 0 v n 1 v x, 0, z 2 v Với (a) là hình ảnh đầu vào gốc, (b) là hình ảnh thu được sau khi thực hiện WPM và (c) là hình ảnh thu được sau khi thực hiện IPM. Nhìn chung, hình ảnh do WPM tạo ra dường như bị mờ hơn và IPM thì hình ảnh làn đường rõ ràng hơn (hình 2. Phát hiện biên của hình ảnh thu được bằng kỹ thuật mắt chim Bằng việc so sánh điểm ảnh hiện tại với điểm ảnh kế bên để phát hiện ra cạnh của của một hình ảnh. 5) B m x, y b x, y b x m, y Nếu hiệu của 2 điểm ảnh này lớn hơn một mức ngưỡng thì có thể phát hiện ra cạnh của làn đường.
6) 0, otherwise Sau khi thực hiện điều này thì tất các điểm ảnh được đánh dấu sẽ cho ra vị trí tương ứng của làn đường (hình 2. Ngoài ra việc phát hiện làn đường bằng các điểm cạnh của hình ảnh có thể phát hiện ra hình ảnh dưới bóng râm. Với hình (a) là hình ảnh mắt chim, hình (b) cho ra việc phát hiện làn đường sử dụng các thông số Cany và hình (c) là phát hiện cạnh của hình. Có thể thấy rằng hình (c) cho ra hình ảnh sắc nét hơn hình b và có thể dễ dàn phát hiện ra làn đường.
Dự đoán khoảng cách từ camera đơn từ hình ảnh mắt chim. Nhắc lại một số thông số khi chuyển đổi hình ảnh từ tầm nhìn sang hình ảnh mắt chim. - h là chiều cao của máy ảnh từ mặt đất, - θ0: góc được hình thành bởi trục η và trục ngang - Khẩu độ góc máy ảnh là 2αu theo hàng và 2αv theo cột 11 - γ0: góc được hình thành bởi phép chiếu của trục quang trên mặt phẳng xz - n x m là độ phân giải của máy ảnh - F là tiêu cự Hình 2. 5 cho thấy chế độ xem theo trục ngang và chế độ xem theo trục dọc hiển thị cấu hình máy ảnh cùng với các thông số hiệu chuẩn.
Ta có: r 1 0 tan 1 1 2 H tan v (2. 7) m 1 Từ công thức (2. 7) có thể ước tính được vị trí của vật thể đang di chuyển trên đường với camera đơn gắn cố định với góc nghiêng xác định trước, được kí hiệu là rH (hình 2. Giả sử rằng chiếc xe đang đi trên một con đường thẳng với làn đường thẳng đánh dấu như trong hình 2.
7, γ được xác định là độ chệnh lệch giữa hình ảnh mắt chim và trục y trong hệ tọa độ của máy ảnh, xoay một góc γ cho đến khi vạch đánh dấu làn đường trong hình ảnh trùng với trục y. Vì hình ảnh mắt chim có góc nhìn tự do, khoảng cách trong trong hình ảnh này tương ứng với khoảng cách giữa hai điểm ảnh trên hình ảnh của tầm nhìn Hình 2. 3: Hình ảnh từ kỹ thuật mắt chim sử dụng WPM và IPM [10] Hình 2. 4: Phát hiện biên [10] 12 Ví dụ, hình ảnh mắt chim trong IPM được tạo ra với độ phân giải 8 pixel trên một bước chân.
Điều này có nghĩa là khoảng cách giữa 8 pixel theo chiều ngang hoặc chiều dọc của hình ảnh mắt chim tương đương với một bước chân trong hình ảnh của tầm nhìn. 5: Cấu hình camera Hình 2. 6: Vị trí (rH) của vật thể theo chiều ngang trong hình ảnh camera 13 Trong phép tính toán này thì bề mặt đường được giả định là phẳng trong vùng lân cận mà xe đang di chuyển và θ0 vẫn cố định. Đôi khi khi θ0 thay đổi, ví dụ: khi xe gặp va chạm, hoặc xe đi vào một bề mặt nghiêng như độ dốc, các điểm đánh dấu làn đường song song trong hình ảnh thế giới sẽ xuất hiện lệch vào trong hoặc ra ngoài.
Nhưng giá gắn camera được sử dụng trong xe là chắc chắn và giữ cố định tại một vị trí ở hầu hết mọi thời điểm. Ngoài ra, những thay đổi về độ nghiêng chỉ là tạm thời và coi như không thay đổi. 7: Hiệu chỉnh γ trong hình ảnh mắt chim Do đó, người thực hiện chỉ sử dụng các pixel tối đa 70 ft trong hình ảnh mắt chim IPM để tiếp tục xử lý. Cuối cùng, một hình ảnh mắt chim được tạo ra với kích thước 321 × 431pixel trong đó x ∈ [11, 70]ft và y ∈ [20, −20]ft và được biểu diễn bằng hình chữ nhật màu vàng chấm đứt nét trong hình 8.
Khoảng cách ngang và dọc giữa các pixel liền kề trong hình ảnh mắt chim là 0.125ft hoặc 1/8 ft. 14 (a) Các vị trí với các khoảng cách khác nhau phía trước xe trong hình ảnh camera (b) Các vị trí của các khoảng cách khác nhau phía trước xe trong hình ảnh mắt chim.