ĐẠI HỌC QUỐC GIA TP. HÒ CHÍ MINH TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KỸ THUẬT MÁY TÍNH TRỊNH VIỆT HOÀNG KHÓA LUẬN TÓT NGHIỆP HE THONG DIEU HƯỚNG TỰ DONG DỰA TREN PHAN CUNG Hardware-based Autonomous System for Navigation KY SU NGANH KY THUAT MAY TÍNH TP. HO CHÍ MINH, 2021 ĐẠI HOC QUOC GIA TP. HO CHÍ MINH TRUONG ĐẠI HỌC CÔNG NGHỆ THONG TIN KHOA KỸ THUẬT MÁY TÍNH TRỊNH VIỆT HOÀNG - 17520522 KHÓA LUẬN TÓT NGHIỆP HE THONG DIEU HƯỚNG TỰ ĐỘNG DỰA TREN PHAN CUNG Hardware-based Autonomous System for Navigation KỸ SƯ NGANH KY THUAT MAY TÍNH GIANG VIEN HUONG DAN TS.
LAM DUC KHAI TP. HO CHÍ MINH, 2021 THÔNG TIN HỘI ĐÒNG CHÁM KHÓA LUẬN TÓT NGHIỆP Hội đồng cham khóa luận tốt nghiệp, thành lập theo Quyết định số 466/QD-DHCNTT ngày 23 tháng Ø7 năm 2021 của Hiệu trưởng Trường Đại học Công nghệ Thông tin. LỜI CẢM ƠN Thanh công không chỉ một cá nhân tao ra mà còn gắn liền với những sự hỗ trợ, giúp đỡ nhiệt tình của mọi người. Trong suốt thời gian học tập ở giảng đường đại học em đã nhận được nhiều sự quan tâm, chỉ bảo của quý thầy cô, gia đình và bạn bè xung quanh.
Trước hết, em xin gửi lời cảm ơn đến toàn thể quý thầy cô trường Đại học Công Nghệ Thông Tin — Đại học Quốc gia Thành phó Hồ Chí Minh nói chung và quý thầy cô khoa Kỹ Thuật Máy Tính nói riêng đã tạo điều kiện cho em học hỏi được nhiều kiến thức và kinh nghiệm trong quãng thời gian theo học tại trường. Đặc biệt, em xin chân thành cảm ơn thầy TS. Lâm Đức Khải đã tận tình hướng dẫn em trong suốt thời gian thực hiện dé tài, hỗ trợ và cung cấp cho em nhiều kiến thức chuyên môn quý báu dé em có thé hoàn thành dé tai. Cuối cùng, con xin cảm ơn bố mẹ, anh Việt và chị Trang đã luôn ở bên cạnh, tạo điều kiện và là nguồn cô vũ lớn lao về mặt tinh than trong suốt khoảng thời gian thực hiện khóa luận tốt nghiệp.
Mặc đủ đã rất có gắng hoàn thành khóa luận trong phạm vi và khả năng có thé, nhưng vẫn không tránh khỏi những thiếu sót trong quá trình nghiên cứu. Em xin lắng nghe, tiếp thu những ý kiến và nhận xét từ quý thầy cô. Em xin chân thành cảm ơn! TP. Hồ Chí Minh, ngày 15 tháng 07 năm 2021 Sinh viên thực hiện Trịnh Việt Hoàng MỤC LỤC Chuong 1.
| TONG QUAN ĐÈ TÀI. Giới thiệu đề tài. Một số nghiên cứu liên quan. II oa nnmn.
Bố cục luận văn. CO SỞ LÝ THUYẾT. Thuật toán Hough TransfOrTm. Thuật toán CORDIC 2.
Động học lái Ackermann. Tổng quan thiết kế.----222222+2222EE2Y2+++ttEEEEEEEYvrrrrrrrrrrrrrrrrrrrrrr 16 Chương 3. QUA TRÌNH TIEN XỬ LÝ ẢNH. Mô tả chung.
TV Decoder Chịp. Định dạng chuẩn ITU-R BT. Mã SAV và EAV. _ Các tín hiệu HS, VS và FIELD.
Module VIDEO IMAGE. Sub-Module [2C CONEIG. Sub-Module TD DETECT. Sub-Module INITIATION DELAY TIMER.
Sub-Module DIVIDER. Sub-Module ITU-R BT. Module PRE-IMAGE PROCESSING. Sub-Module YUV422 TO 444.
Sub-Module YCbCr2RGB. Sub-Module RGB2GRAY. Sub-Module GRID GENERATOR. __ Sub-Module GAUSSIAN FILTER.
Sub-Module SOBEL OPERATOR. Sub-Module SPLITTEN. Sub-Module BRIGHTEST INTENSITY PIXEL. Sub-Module DOWN SAMPLE.---cc5cccc+cccscrrerrere 45 Chương 4.
QUÁ TRÌNH XỬ LÝ ẢNH. Quá trình Xử lý ảnh dựa trên phần mềm. Hiện thực thuật toán Hough Transform dựa trên phần mềm. Quá trình Xử lý ảnh dựa trên phần CỨN.
Thuật toán Hough Transform dựa trên CORDIC - Vùng I. Thuật toán Hough Transform dựa trên CORDIC - Vùng II. Thuật toán Hough Transform dựa trên CORDIC - Vùng HI. Hiện thực phan cứng thuật toán Hough Tranform.
Sub-Module HOUGH TRANSFORM - Vùng I. Sub-Module HOUGH TRANSFORM - Vùng lI. Sub-Module HOUGH TRANSFORM - Vùng II. Lua chon phân vùng.
Khong gian Hough TransfOrm.-¿- - 55+ ++++x+xexererexe 70 Chương 5. ĐÁNH GIÁ KET QUẢ. Kết quả mô phỏng. _ Quá trình bầu chọn cho điểm ảnh “trắng” của khung hình 1.
Quá trình bầu chọn cho điểm ảnh “trắng” của khung hình 2. Quá trình bau chọn của khung hình 1. _ Quá trình bầu chọn của khung hình 2. _ Quá trình quét phiếu bầu của khung hình 1.
Quá trình quét phiếu bầu của khung hình 2. Kết quả hiện thực. _ Kết quả dựa trên phần mềm. Kết quả dựa trên phần cứng.
Tài nguyên phần cứng sử dụng. Kết quả thực nghiệm. Kiểm tra với ảnh tĩnh. Kiểm tra với video.ccciiirirrtrrrtrrrrririirirrroi 90 Chương 6.
KÉT LUẬN VÀ PHƯƠNG HƯỚNG PHAT TRIEN. c2 222tr 92 DANH MỤC HÌNH Hình 2.1: Điều hướng “đi thắng”.2: Điều hướng “quẹo trái”.-----¿- ¿+x2+++2x+EE2EEE2EE2711271E211 21.3: Điều hướng “queo phải””.---:-- ¿5s x+2E2EE2EE£EEEEEEEEEEEEEEEEEErrrrrkerkees 7 Hình 2.4: Nhận diện đường thang từ các điểm đen.----¿-2¿©++cs++zxe+zeez 7 Hình 2.5: Biểu diễn đường thăng bằng phương trình y = mx + b .6: Biểu diễn đường thăng bang các tham số r và Ø.7: Hình ảnh có ba điểm đen.------225+èc2xtttE tri 9 Hình 2.8: Những đường thắng đi qua từng điểm với bước nhảy 30 độ.9: Động học lái Ackermannn.-- <5 + 21193119111 119 1 9v kg re 13 Hình 2.10: Điều hướng queo trái.------ 2 5¿©+£2S£+2E£+EE+2EE2EEtEEterxrzrxrrresrke 14 Hình 2.11: Điều hướng quẹo phải.----- 2 2+ +E+EE+EE+EE£EE£E£E£Eerkerxerxrrerree 15 Hình 2.12: Điều hướng đi thắng.--¿- 2: 2 S£22E2EE£EEESEEE2EEEEEEEEESEkrrrrrrrecrke 15 Hình 2.13: Điều hướng đi thang trong thực tẾ.----2- 5 2 2+£+s+x+zxezx+rxersxez 16 Hình 2.14: Tống thé hệ thong áp dung Processor trong xử lý ảnh.15: Tổng thé hệ thống không áp dung Processor trong xử lý ảnh.1: Quá trình Tiền Xử lý An ooo. cececccces ccs csssssessessesseesecsecsuessecseesecsuesseeseeseess 20 Hình 3.2: Chuan dữ liệu YCbCr 4:2:2.¿- 5c t+x+E‡EEEE+EEEEEESESEEEEEEeEeEkrkerrrrrerree 22 Hình 3.3: Biểu đồ thời gian của ba tín hiệu HS, VS, và FIELD.4: Module VIDEO IMAGE. HH ng ng rn 25 Hình 3.5: Sub-Module I2C CONFIC.
2 5 1011931191 9 vn ng tr 26 Hình 3.6: Sub-Module TD DETIECT”.7: Biểu đồ thời gian của các tín hiệu trong sub-module TD DETECT.8: Sub-Module INITIATION DELAY TIMER.9: Các tín hiệu reset từ sub-module INITIATION DELAY TIMER.10: Sub-Module DIVIDER. G5 1 2121119111 11t ng rên 28 Hình 3.11: Cách thức giảm độ phân giải chiều ngang từ 720 về 640.12: Sub-Module ITU-R BT.13: Đầu ra TV_X gỐc.14: Đầu ra TV_X sau khi trích xuất theo chiều ngang .15: Dữ liệu chuẩn YCbCr 4:2:2 của 640 điểm ảnh.16: Khung hình theo chuẩn ITU-R BT.17: Đầu ra TV_Y sau khi trích xuất theo chiều đỌC.---Ặc S22 sssccc 33 Hình 3.18: Module PRE-IMAGE PROCESSING.19: Sub-Module YUV422 TO 444. ng ng tr, 34 Hình 3.20: Dữ liệu chuẩn YCbCr 4:4:4 của 640 điểm ảnh.21: Sub-Module YCbCr2RGB.- --- 0 ng HH 35 Hình 3.22: Sub-Module RGB2GR AYY. G9 HH HH Hư 36 Hình 3.23: Sub-Module GRID GENERATOR.24: Sub-Module GAUSSIAN FIL/TTER.- 5c si sksesee 38 Hình 3.25: Sub-Module SOBEL FILTER .26: Hai mặt na SObelÌ.27: Ma trận anh đầu vào kích thước 480x640.28: Hai mặt na Sobel với các giá trị khác nhau.- 5555 s<++ss++sss+ 40 Hình 3.29: Phát hiện điểm ảnh cạnh NZANY.
ng ngư, 41 Hình 3.30: Phát hiện điểm ảnh cạnh dọc .31: Phat hiện điểm camb .32: Sub-Module SPLITTTEE.33: Sub-Module BRIGHTEST INTENSITY PIXEL.34: Lưu đồ giải thuật của Brightest Intensity Pixel.35: Sub-Module DOWN SAMPPLIE.- 5 Ă St Si, 45 Hình 3.36: Trích xuất hình ảnh kích thước 160x120.---- 2-5 ©sz2s+z++zxzsz 46 Hình 4.1: Hai đường thang mau “đen” được nhận diện bởi Hough Transform.2: Mối quan hệ giữa không gian (x, y) và không gian (r,Ø).3: Cách thức xác định đường thắng dựa trên cặp giá tri (r„„Ø).4: Mối quan hệ giữa r và r;_¡ trong VUNG Ì,.-- «sec seeeeseeere 52 Hình 4.5: Mối quan hệ giữa r và z;_; trong vùng ÏI.6: Mối quan hệ giữa r và r;_¡ trong vùng ÏÏÏ.7: Mối quan hệ giữa r và trong từng @ phân vùng.8: Sơ đồ khối hiện thực Hough Transform dựa trên CORDIC.9: Sub-Module HOUGH TRANSFORM - Vùng Ì.10: Sub-Module HOUGH TRANSFORM - Vùng II.11: Sub-Module HOUGH TRANSFORM — Vùng III.12: Module chon phân vùng REGION MUL TIPLEXER.13: Không gian Hough 'TTannSfOFIM.14: Module VOTE ARRAY .1 HH HH HH HH HH hệt 73 Hình 5.1: Kết quả mô phỏng tính toán Hough Transform trên khung hình I.2: Kết quả mô phỏng tính toán Hough Transform trên khung hình 2.3: Kết quả mô phỏng quá trình bầu chọn trên khung hình I.4: Kết quả mô phỏng quá trình bầu chọn trên khung hình 2.5: Kết quả mô phỏng quá trình quét phiếu bầu trên khung hình 1.6: Kết quả mô phỏng quá trình quét phiếu bầu trên khung hình 2.7: Thời gian xử lý của Hough Transform dựa trên phần mềm .8: Nền tang đánh giá thực nghiệm hệ thống .9: Làn đường quẹo trái trước khi được nhận diện.10: Làn đường queo trái qua SOBEL OPERATOR .11: Lan đường quẹo trái qua BRIGHTEST INTENSITY PIXEL.12: Lan đường queo phải trước khi được nhận diện.13: Làn đường quẹo phải qua SOBEL OPERATOR.14: Lan đường queo phải qua BRIGHTEST INTENSITY PIXEL.15: Lan duong thang trước khi được nhận diện.16: Làn đường thang qua SOBEL OPERAATOR.17: Làn đường thang qua BRIGHTEST INTENSITY PIXEL.18: Lan đường cắt từ Vide .19: Làn đường cắt từ video qua SOBEL OPERATOR.20: Làn đường cắt từ video qua BRIGHTEST INTENSITY PIXEL. 91 DANH MỤC BANG Bảng 2.1: Góc và độ dài của từng đường thắng.----¿- 5: ©2+2s+2cxe2zxrrxeeree 10 Bang 3.1: Cau trúc một dòng dữ liệu video.2: Cau trúc mã SAV và mã EAA V.-- 2: 52+22+EE‡EESEE2EE2EEEEEEEEEEEEErkrrkrrer 22 Bang 3.3: Giá trị các tín hiệu của byte thứ tư ÄXXY.--c St site 23 Bang 3.4: Giá trị các tín hiệu HS, VS và FIELD.1: Không gian hai chiều Hough Transform.1: So sánh tốc độ xử lý giữa các bài nghiên cứu và thiết kế đề xuất.2: Tài nguyên phan cứng của quá trình Tiền Xử lý ảnh và Xử lý ảnh.3: So sánh tông số tài nguyên phan cứng với các dé tai liên quan. 82 DANH MỤC TỪ VIET TAT ADAS Advanced Driver Assistance Systems CORDIC Coordinate Rotaion Digital Computer DMA Direct Memory Access EAV End of Active Video FPGA Field-Programmable Gate Array HS Horizontal Sync ITU-R International Telecommunication Union-Recommendation LDWS Lane Departure Warning System ROI Region of Interest SDRAM Synchronous Dynamic Random Access Memory SRAM Static Random Access Memory SAV Start of Active Video OpenCV Open Source Computer Vision VS Vertical Syns TOM TAT KHÓA LUẬN Điều hướng tự động là một trong nhiều mục tiêu có tầm quan trọng nhất định trong công nghiệp như chỉ dẫn các robot hay máy móc hoặc được ứng dụng trong công nghệ hé trợ người lái xe nâng cao (ADAS). Nhiều thuật toán khác nhau đã được áp dụng trong điều hướng tự động, tuy nhiên hệ thống điều hướng tự động áp dụng thuật toán Hough Transform [1] được sử dụng rộng rãi nhờ tính ồn định khi nhận diện các vạch kẻ đường không liền mạch, xuất hiện nhiều nét đứt gãy hay ảnh hưởng của nhiễu từ môi trường xung quanh, qua đó cung cấp các kết quả thích hợp dé hệ thống xử lý và xuất ra những tín hiệu điều hướng thích hợp.
Tuy vậy, thuật toán này có độ phức tạp tính toán cao do phải sử dụng nhiều phép tính lượng giác, yêu cầu tài nguyên bộ nhớ lớn và trong thực tế, tốc độ xử lý của thuật toán sẽ bị chậm đi. Do đó, đây vẫn là một thách thức khi hiện thực hệ thống điều hướng tự động dựa trên phần cứng áp dụng thuật toán Hough Transform.