Đồ án tốt nghiệp: Xe tự hành nhận diện làn đường, biển báo bằng xử lý ảnh

Tải đồ án xe tự hành nhận diện làn đường, biển báo giao thông bằng xử lý ảnh. Báo cáo chi tiết mô hình, giải thuật và kết quả thực nghiệm.

• Tác giả: Nguyễn Trung Trực
• Người hướng dẫn: Ths. Nguyễn Thành Tuyên
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Cơ khí Động lực
• Đề tài: Ứng dụng xử lý ảnh trong chạy theo làn đường, nhận diện biển báo và áp dụng lên xe tự hành
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2020
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Giới thiệu về Đồ án Xe Tự Hành và Xử lý Ảnh

Xe tự hành là một trong những công nghệ tiên tiến nhất của thế kỷ 21, đang được các hãng xe lớn như Tesla, Audi, BMW phát triển. Đồ án xe tự hành với chủ đề xử lý ảnh nhận diện làn đường và biển báo được thực hiện tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh từ tháng 1 đến tháng 7 năm 2020. Đề tài ứng dụng xử lý ảnh để điều khiển hoạt động của chiếc xe, sử dụng ngôn ngữ Python làm nền tảng lập trình chính. Phương pháp Deep Learning được áp dụng cho phép máy tự học các đặc điểm hình ảnh mà không cần tác động nhiều của lập trình viên. Mục đích chính là xây dựng một bước đệm lớn để phát triển ô tô tự hành trên đường mà không cần sự can thiệp của con người, giúp ngành ô tô Việt Nam bắt kịp xu thế công nghệ thế giới.

1.1. Mục đích và Ý nghĩa của Đề tài

Mục đích chính của đồ án là xây dựng mô hình xe tự hành có khả năng nhận diện làn đường và biển báo giao thông. Đây là bước đệm quan trọng để phát triển công nghệ ô tô tự hành. Ý nghĩa thực tiễn là giúp các kỹ sư ô tô Việt Nam tiếp cận công nghệ hiện đại, chuẩn bị cho sự phát triển của ngành ô tô trong tương lai, đồng thời chứng minh khả năng ứng dụng công nghệ xử lý hình ảnh vào thực tiễn.

1.2. Ứng dụng Công nghệ Deep Learning

Deep Learning là phương pháp học sâu cho phép máy tự lọc và chọn các đặc điểm nổi bật từ hình ảnh. Hệ thống được cung cấp một lượng đủ hình ảnh và tự lưu nhớ thông qua các đặc điểm đã lọc. Khi xe chạy, hình ảnh thu được sẽ được so sánh với dữ liệu huấn luyện, từ đó hệ thống đưa ra quyết định điều khiển.

II. Công Nghệ Xử lý Ảnh Nhận diện Làn đường

Xử lý ảnh nhận diện làn đường là một trong những thành phần then chốt của đồ án xe tự hành. Hệ thống sử dụng camera để thu thập hình ảnh thực thời, sau đó xử lý thông qua các thuật toán xử lý ảnh để phát hiện vị trí của làn đường. Python cùng với thư viện OpenCV được sử dụng để phát triển các module xử lý. Deep Learning Framework như Keras và TensorFlow hỗ trợ nhận diện làn đường với độ chính xác cao. Quá trình này bao gồm: thu thập dữ liệu hình ảnh, tiền xử lý, trích xuất đặc trưng, và phân loại. Hệ thống sẽ liên tục phân tích từng khung hình để xác định ranh giới làn đường, từ đó điều khiển hướng chạy của xe sao cho luôn nằm trong làn đường an toàn.

2.1. Các Phương pháp Nhận diện Làn đường

Phương pháp Deep Learning sử dụng Keras và TensorFlow là giải pháp chính trong đồ án. Hệ thống tự học từ hàng nghìn hình ảnh làn đường được chuẩn bị sẵn. Mạng nơ-ron tích chập (CNN) được huấn luyện để nhận diện các đặc trưng của làn đường. Kết quả là mô hình có khả năng phát hiện làn đường với độ tin cậy cao, ngay cả trong điều kiện ánh sáng thay đổi.

2.2. Vai trò của Thư viện OpenCV

OpenCV là thư viện xử lý hình ảnh mạnh mẽ được tích hợp trong đồ án. Nó cung cấp các hàm tiền xử lý ảnh, phát hiện cạnh, phân割 hình ảnh. Kết hợp với Python, OpenCV giúp lập trình viên dễ dàng xử lý dữ liệu video từ camera và trích xuất thông tin làn đường một cách hiệu quả.

III. Hệ thống Nhận diện Biển báo Giao thông

Nhận diện biển báo là chức năng quan trọng thứ hai của xe tự hành trong đồ án. Hệ thống phải có khả năng phát hiện và phân loại các biển báo giao thông, đặc biệt là biển báo dừng. Deep Learning được áp dụng để xây dựng một mô hình phân loại hình ảnh (image classification). Hệ thống được huấn luyện trên tập dữ liệu chứa hàng nghìn hình ảnh biển báo khác nhau. Khi phát hiện biển báo, mô hình sẽ phân loại loại biển báo đó và truyền lệnh tương ứng đến hệ thống điều khiển của xe. Ví dụ, khi phát hiện biển báo dừng (Stop), xe sẽ giảm tốc độ và dừng lại một cách an toàn. Quá trình này diễn ra liên tục và theo thời gian thực để đảm bảo xe luôn tuân thủ các quy tắc giao thông.

3.1. Huấn luyện Mô hình Nhận diện Biển báo

Mô hình nhận diện biển báo được huấn luyện sử dụng TensorFlow và Keras. Tập dữ liệu training bao gồm hình ảnh biển báo được chụp ở nhiều góc độ và điều kiện ánh sáng khác nhau. Mạng nơ-ron được cấu hình với nhiều lớp để trích xuất đặc trưng từ hình ảnh. Sau quá trình huấn luyện, mô hình đạt độ chính xác cao trong phân loại biển báo.

3.2. Ứng dụng Biển báo Stop trong Hệ thống

Biển báo Stop là ứng dụng cụ thể trong đồ án. Khi hệ thống phát hiện biển báo dừng, nó sẽ gửi tín hiệu đến bộ điều khiển để giảm tốc độ động cơ. Xe sẽ dừng hoàn toàn khi gần biển báo. Điều này chứng minh khả năng xe tuân thủ luật giao thông một cách tự động.

IV. Hệ thống Phần cứng và Lập trình

Hệ thống phần cứng của xe tự hành sử dụng Jetson Nano làm bộ xử lý trung tâm, một nền tảng tính toán mạnh mẽ dành cho các ứng dụng AI và xử lý ảnh. Camera được lắp trên xe để thu thập hình ảnh liên tục. Động cơ điều khiển nhận lệnh từ Jetson Nano để kiểm soát tốc độ và hướng chạy của xe. Python là ngôn ngữ lập trình chính, kết hợp với các thư viện như OpenCV, TensorFlow, Keras để xây dựng ứng dụng. Quá trình phát triển bao gồm: cài đặt hệ điều hành, cấu hình môi trường lập trình, viết code xử lý ảnh, huấn luyện mô hình, và triển khai trên Jetson Nano. Đồ án cũng cung cấp giao diện lập trình giúp giám sát và điều chỉnh hệ thống trong quá trình chạy thử.

4.1. Jetson Nano Nền tảng Tính toán

Jetson Nano là bộ xử lý GPU mạnh mẽ được NVIDIA phát triển cho các ứng dụng AI và machine learning. Nó cho phép thực thi các mô hình Deep Learning với tốc độ cao và công suất thấp. Jetson Nano được sử dụng làm bộ điều khiển chính, xử lý hình ảnh từ camera, chạy các mô hình nhận diện, và đưa ra các lệnh điều khiển cho các cơ cấu hoạt động của xe.

4.2. Môi trường Lập trình và Triển khai

Môi trường lập trình bao gồm Anaconda, Visual Studio Code, CUDA, cuDNN. Máy tính chủ được sử dụng để huấn luyện mô hình Deep Learning, sau đó mô hình được chuyển giao lên Jetson Nano. Visual Studio Code cài đặt trên Jetson Nano giúp lập trình viên viết code và debug trực tiếp trên thiết bị. Quá trình triển khai được tự động hóa để tối ưu hóa hiệu suất.

Trích đoạn nội dung tài liệu

Chương 1 TỔNG QUAN 1.1 LÝ DO CHỌN ĐỀ TÀI Với sự phát triển trong thời đại công nghệ 4.0 thì AI đang ngày càng trở thành xu thế tất yếu của toàn cầu.Từ các ngành kinh tế,y học,kỹ thuật,…đều vận dụng AI vào công việc nhằm giúp giảm bớt sức lao động của con người,tăng lợi nhuận kinh tế cho doanh nghiệp.Không đứng ngoài xu hướng đấy thì ngành ô tô hiện nay trên toàn thế giới cũng đang tiến vào cuộc đua số để cho ra đời những mẫu xe thông minh không người lái,bằng cách sử dụng AI để làm bộ não của những chiếc xe của họ.Có thể nói xe tự hành đang là vấn đề được tất cả các hãng xe lớn trên thế giới quan tâm,hằng năm các công ty này chi trả hàng tỷ USD để phục vụ cho công cuộc nghiên cứu để có thể cho ra đời những mẫu xe thông minh một cách sớm nhất.Cái tên đứng đầu trong cuộc đua tự hành không phải ai xa lạ,khi nhắc đến họ chúng ta đều phải trầm trồ thán phục về những nổ lực nghiên cứu,cũng như độ chịu chơi khi đầu tư những khoảng tiền khổng lồ vào việc nghiên cứu này đó chính là Tesla,một trong những công ty hàng đầu trong lĩnh vực ô tô điện hiện nay trên thế giới.Ô tô tự hành được chia thành 5 cấp độ từ thấp đến cao bởi Hiệp hội kỹ sư ô tô (SAE) để đánh giá mức độ.Trong thời tới Tesla sẽ nâng cấp xe tự hành của hãng lên cấp độ 5,có nghĩa là các mẫu xe tự hành của họ có thể hoàn toàn chạy trên đường phố mà không cần tác động của con người.Vào khoảng thời gian không xa thì những chiếc ô tô tự hành chạy khắp trên đường không còn là những ý tưởng viển vong nữa,mà là thực tế đang diễn ra. Để theo đuổi kịp xu thế toàn cầu thì ngành ô tô của nước ta cần có những bước chuyển mình trong công nghệ cũng như tư duy của con người về vấn đề tự hành ngày nay.Một trong những công ty đang có xu hướng phát xây dựng và phát triển mảng ô tô tự hành ở Việt Nam là FPT.Hằng năm FPT đều tổ chức “Cuộc Thi Số” đó là sân chơi cho các bạn trẻ trên toàn quốc có đam mê về xe tự hành thỏa sức sáng tạo,học hỏi lẫn nhau…đồng thời giúp FPT tìm kiếm được những nhóm có tiềm năng để vào công ty nhằm giúp phát triển mạnh mẽ hơn nữa về xe tự hành ở nước ta. Là một kỹ sư ô tô thì đam mê ô tô là chưa đủ,chúng ta phải ngày càng nâng cao kiến thức,tìm tòi học hỏi những công nghệ mới trên thế giới hiện nay.Thì xe tự hành đang và sẽ 1 là xu thế tất yếu của ngành ô tô trong vài năm tới,nên việc nghiên cứu và xây dựng mô mình là điều cấp thiết hiện nay.Ngành ô tô Việt Nam đang ngày càng phát triển mạnh mẽ,rất có tiềm năng trong tương lai,cộng thêm sự đam mê nghiên cứu ngày càng nhiều thì chúng em tin rằng trong một tương lai không xa nữa thì ô tô tự hành ở Việt Nam không còn là một định nghĩa xa vời,mà thay vào đó là thực tế hiển nhiên. Bởi các lý do nhận thấy ở trên,nên nhóm em đã quyết định và nghiên cứu đề tài “Xe tự hành chạy theo lane và nhận diện biển báo”.2 CÁC NGHIÊN CỨU NGOÀI VÀ TRONG NƯỚC 1.1 Các nghiên cứu ngoài nước - Với đề tài: Lane And Road Signs Recognition For Drive Assistance System do Ahmed Herchi và Abdellatif Mtibaa nghiên cứu đã xác định được lane và biển báo giao thông trên đường khi xe di chuyển.Đề tài đã chỉ cách thức để xác định lane và phương trình để tính toán nhằm giữ xe luôn đi đúng làn đường của nó,đồng thời nêu ra các phương thức để nhận diện biển báo giao thông một cách chính xác nhất.Các bước để xử lý hình ảnh đầu vào,phương pháp lọc nhiễu để tăng độ chính xác khi xử lý đề được trình bày một cách cụ thể.Từ đó tác giả cũng đề xuất ra phương pháp hiệu quả nhất trong việc xác định lane và biển báo giao thông.

- Với đề tài: A Simple Way to Prevent Neural Networks from Overfitting do Nitish Srivastava,Geofrey Hinton,Alex Krizhevsky,Ilya Sutskever đồng nghiên cứu.Nghiên cứu đã nêu ra một khái niệm mới việc đào tạo học máy là sử dụng mạng neural networks.Với việc sử dụng nó cho phép chúng ta đào tạo máy học một cách nhanh chóng và dễ dàng hơn,đồng thời độ chính xác cũng được cải thiện rất nhiều do với những phương pháp đào tạo khác.Các phương trình tính toán,cũng như cách thiết lập hệ thống mạng reural đều được trình bày một cách cụ thể nhất,giúp người đọc có thể hiểu dễ dàng hơn. - Trong đề tài: Deep Residual Learing for Image Recognition do Kaiming He,Xiangyu Zhang,Shaoqing Ren,Jian Sun đã trình bày cách thức xây dựng khung hình để dễ dàng đào tạo của mạng sâu hơn so với các mạng được sử dụng hiện nay.Đề tài chỉ ra cách định dạng rõ ràng hơn về các lớp là học các hàm dư với tham chiếu đến các đầu vào của lớp,thay vì 2 học các hàm không được ước tính.Các bằng chứng thực nghiệm cũng được đưa ra để chứng minh cho việc tối ưu hóa và đạt được độ chính xác bằng cách tăng nhiều lớp neural.2 Các nghiên cứu trong nước - Với đề tài: Phát hiện và nhận dạng biển báo giao thông đường bộ sử dụng đặc trưng HOG và mạng nơron nhân tạo do Trương Quốc Bảo,Trương Quốc Định thuộc trường đại học Cần Thơ nghiên cứu vào năm 2015.Tác giả đã trình bày thuật toán xử lý ảnh và học máy để tự động phát hiện và nhận diện biển báo giao thông đường bộ sử dụng đặc trưng cục bộ HOG và mạng Nơron nhận tạo.Hệ thống có thể phát hiện và nhận dạng hầu hết các biển báo giao thông như biển cấm,biển báo nguy hiểm,biển hiệu lệnh và biển chỉ dẫn không bị chồng lắp.Thực nghiệm được tiến hành với 31 video với thời gian trung bình để phát hiện và nhận diện và nhận dạng các biển báo giao thông trên một frame ảnh xấp xỉ 0.021 giây khi sử dụng mô hình phân lớp với mạng nơron nhân tạo và khoảng 0.099 giây khi sử dụng mô hình phân lớp SVM và độ chính xác nhận dạng khoảng 94%. - Luận văn thạc sĩ: “Nghiên cứu về mạng neural tích chập và ứng dụng cho bài toán nhận dạng biển báo giao thông “ của Lê Thị Thu Hằng,Đại Học Công Nghệ Hà Nội,2016 đã giới thiệu khái quát về một số kiểu mạng Neural và đặc điểm của chúng.Trong đó đề tài đã nêu ra được định nghĩa về mạng neural tích chập một cách cụ thể nhất và cách xây dựng mô hình mạng neural tích chập,ứng dụng vào việc nhận dạng biển báo giao thông trên đường. - Đồ án tốt nghiêp:”Robot vận chuyển mẫu xét nghiệm trong bệnh viện” của Đinh Việt Hùng và Đặng Thị Huỳnh Như,Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh,2019 trong đề tài đã mô tả quá trình thu thập và xử lý hình ảnh của lane đường có sẵn trong bệnh viện,giúp robot có thể vận hành một cách tự động trong môi trường đã thiết lập sẵn.Hạn chế của đề tài là robot chỉ có thể tự vận hành trong một môi trường cố định,còn ra những môi trường khác thì không thể vận hành được.3 MỤC ĐÍCH CỦA ĐỀ TÀI - Mục đích đề tài là Nghiên cứu và xây dụng mô hình xe tự hành chạy theo lane và nhận diện biển báo giao thông,để xe có thể tự vận hành trên đường mà không cần sự can thiệp của con người.

- Trong đề tài sử dụng lý thuyết về xử lý ảnh,đặc biết là lý thuyết về Deep learning,Convolution Neural Network để xây dựng một hệ thống nhận diện lane đường và biển báo trong một điều kiện cho trước.Đồng thời xây dựng mô hình xe tự hành cỡ nhỏ có thể vận hành được bằng hệ thống trên.4 NHIỆM VỤ VÀ GIỚI HẠN CỦA ĐỀ TÀI - Đề tài nghiên cứu sẽ xây dựng mô hình xe tự hành về cả hệ thống xử lý ảnh,và cả thiết kế và thi công xây dựng mô hình cơ khí cho xe. - Trong đề tài sẽ sử dụng ngôn ngữ Python để lập trình xây dựng hệ thống xử lý cho chiếc xe. - Thực nghiệm cho mô hình chạy trên đường để xem xét là tinh chỉnh các thông số giúp tối ưu hóa khả năng xử lý của hệ thống. - Đề tài chỉ có thể xây dựng mô hình tự hành trong một môi trường cố định,chưa thể tự hành trong các điều kiện môi trường khác nhau.

- Mô hình chỉ có thể chạy theo lane và nhận diện biển báo Stop để dừng lại.5 PHƯƠNG PHÁP NGHIÊN CỨU - Phân tích dữ liệu từ các công trình nghiên cứu trong và ngoài nước. - Lập trình xây dựng hệ thống xử lý từ cơ bản đến có thể vận dụng vào xe tự hành. - Thực nghiệm và đánh giá kết quả đạt được. - Hiệu chỉnh sau thực nghiệm để tìm ra các yếu tố cần thiết và quan trọng,nhằm ổn định cho xe khi chạy xử lý ảnh mà không bị nhiễu bởi các yếu tố của môi trường như ánh sáng.

4 Chương 2 CƠ SỞ LÍ THUYẾT 2.1 XE TỰ HÀNH 2.1 Giới thiệu Xe tự hành là các thiết bị di chuyển có hình dạng như một chiếc xe ô tô và đáp ứng đầy đủ các yêu cầu về tiêu chuẩn sau (theo giáo sư Sridhar Lakshmanan của trường đại học Michigan-Dearborn) : - Có hình dạng giống những chiếc ô tô thông thường. - Được trang bị hệ thống nhận diện các biến động trên đường: GPS sẽ xác định nhiệm vụ của xe tự lái bằng các thiết lập điểm đầu và điểm cuối của hành trình, dựa trên tính năng dẫn đường của Google Maps. Một hệ thống công nghệ hỗ trợ khác như radar, laser, camera để phát hiện và xử lí các tình huống bất ngờ. - Có hệ thống chuyển các thông tin từ hai hệ thống trên thành các hành động thực tế trên đường.

Các cấp độ của xe tự hành: - Xe ô tô tự hành cấp 1: một số khía cạnh được tự động hóa. Là cấp độ cơ bản nhất, có nghĩa là các yếu tố của quá trình lái xe được thực hiện độc lập, sử dụng các dữ liệu từ các cảm biến vầ máy ảnh, người lái vẫn chịu phần lớn trách nhiệm điều khiển. Ví dụ như các hệ thống giữ làn đường ,… - Xe ô tô tự hành cấp 2: chip kiểm soát hai hoặc nhiều yếu tố. Ở cấp dộ này, máy tính đảm nhận nhiều chức năng từ điều khiển (kết hợp các hệ thống lái và tốc độ) từ các dữ liệu : bướm ga, phanh, hệ thống lái cho một trong những hệ thống kiểm soát hành trình.

Điển hình như tính năng đỗ xe tự động,.