Thiết kế hệ thống đa tác vụ triển khai trên Jetson Nano ứng dụng cho xe tự hành

Đồ án thiết kế hệ thống đa tác vụ triển khai trên Jetson Nano cho xe tự hành - ĐH SPKT TPHCM

• Tác giả: Đỗ Trần Nhật Tường
• Người hướng dẫn: ThS. Nguyễn Trung Hiếu
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Cơ khí động lực
• Đề tài: Thiết kế hệ thống đa tác vụ triển khai trên Jetson Nano ứng dụng cho xe tự hành
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan hệ thống đa tác vụ trên Jetson Nano cho xe tự hành

Xe tự hành là trọng tâm phát triển của ngành giao thông thông minh hiện đại. Công nghệ này đòi hỏi hệ thống tính toán xử lý dữ liệu cảm biến liên tục. Tại Trường Đại học Sư phạm Kỹ thuật TP.HCM, đề tài tốt nghiệp của sinh viên Đỗ Trần Nhật Tường tập trung thiết kế hệ thống đa tác vụ trên nền tảng Jetson Nano. Thiết bị nhúng này sở hữu kiến trúc GPU Maxwell 128 nhân, cung cấp năng lực xử lý thị giác máy tính vượt trội so với kích thước nhỏ gọn. Nghiên cứu tích hợp hai bài toán then chốt gồm phân đoạn làn đường và nhận diện vật cản vào cùng một mạng học sâu thống nhất. Phương pháp tiếp cận đa nhiệm giúp xe nhận thức môi trường nhanh chóng, tiết kiệm tài nguyên bộ nhớ và hạn chế độ trễ phản hồi. Mô hình triển khai trực tiếp trên phần cứng nhúng mở ra hướng tiếp cận khả thi cho các nền tảng xe tự hành cỡ nhỏ trong môi trường đô thị.

1.1. Bối cảnh nghiên cứu xe tự hành tại ĐH SPKT TPHCM

Khoa Cơ khí Động lực tại ĐH SPKT TPHCM chú trọng đẩy mạnh nghiên cứu xe tự hành. Các bài toán thị giác máy tính như bám làn đường và tránh vật cản giữ vai trò sống còn. Việc vận hành độc lập từng mô hình riêng biệt gây lãng phí bộ nhớ và tạo độ trễ lớn. Do đó, nhu cầu xây dựng mạng nơ-ron đa nhiệm trên nền tảng nhúng trở nên cấp thiết. Đề tài của tác giả Đỗ Trần Nhật Tường đáp ứng mục tiêu chế tạo xe tự hành quy mô nhỏ. Sản phẩm thử nghiệm hướng đến khả năng hoạt động ổn định trong sa hình thực tế với mức chi phí tối ưu.

1.2. Vai trò của Jetson Nano trong tính toán biên

Jetson Nano là máy tính nhúng chuyên dụng do NVIDIA phát triển. Thiết bị cung cấp năng lực xử lý đồ họa đạt 472 GFLOPS với công suất tiêu thụ chỉ từ 5W đến 10W. Cấu hình này đáp ứng hoàn hảo yêu cầu tính toán biên trên phương tiện di động cỡ nhỏ. Bo mạch hỗ trợ thư viện CUDA, cuDNN và tương thích tốt với framework PyTorch. Nhờ đó, các kỹ sư dễ dàng nén và tối ưu hóa mạng nơ-ron sâu trước khi nhúng. Nền tảng Jetson Nano giúp xử lý khung hình camera trực tiếp mà không cần gửi dữ liệu lên máy chủ đám mây. Xe tự hành duy trì khả năng tự chủ cao và loại bỏ độ trễ truyền dẫn mạng.

II. Thách thức phát triển hệ thống đa tác vụ trên Jetson Nano

Triển khai nhiều mô hình thị giác trên phần cứng biên gặp rào cản lớn về tài nguyên phần cứng. Bo mạch Jetson Nano chỉ trang bị 4GB RAM LPDDR4 chia sẻ chung giữa CPU và GPU. Khi chạy đồng thời mô hình phân đoạn làn đường và mô hình phát hiện vật cản riêng biệt, bộ nhớ thường xuyên tràn ngưỡng an toàn. Tốc độ khung hình sụt giảm mạnh xuống dưới 10 FPS, không đảm bảo tính an toàn khi xe di chuyển ở tốc độ cao. Ngoài ra, việc đồng bộ hóa dữ liệu giữa các luồng xử lý hình ảnh và mạch điều khiển động cơ cũng phát sinh xung đột. Hệ thống truyền thông cần duy trì độ trễ cực thấp để ra lệnh phanh hoặc đánh lái chính xác. Môi trường ánh sáng thay đổi liên tục tạo thêm nhiễu thị giác trên camera hành trình. Các thuật toán học sâu thông thường rất dễ phân loại sai khi gặp bóng râm hoặc vệt nắng gắt. Do đó, bài toán đặt ra là phải hợp nhất các tác vụ vào một mạng nơ-ron duy nhất và tối ưu đường truyền lệnh điều khiển.

2.1. Giới hạn tài nguyên bộ nhớ và năng lực tính toán

Bộ nhớ 4GB của Jetson Nano tạo ra nút thắt cổ chai khi chạy các mô hình mạng nơ-ron tích chập phức tạp. Nếu sử dụng song song hai mô hình độc lập cho làn đường và vật cản, mức tiêu thụ tài nguyên sẽ tăng gấp đôi. Hệ điều hành và các tiến trình nền cũng chiếm dụng một phần RAM đáng kể. Tình trạng này dẫn đến hiện tượng trễ khung hình nghiêm trọng. Hiện tượng nghẽn cổ chai tính toán làm suy giảm tần số xuất lệnh điều khiển xuống động cơ. Xe tự hành khó giữ thăng bằng hoặc điều chỉnh hướng đi kịp thời trên các đoạn đường cong gắt. Việc tối ưu hóa mô hình trở thành điều kiện tiên quyết trước khi đưa vào vận hành thực tế.

2.2. Vấn đề truyền thông dữ liệu điều khiển qua CAN BUS

Mạng điều khiển khu vực CAN BUS đóng vai trò cầu nối giữa Jetson Nano và bộ điều khiển cấp thấp. Trong môi trường động cơ công suất lớn hoạt động, tín hiệu CAN dễ chịu tác động từ nhiễu điện từ. Lỗi truyền khung dữ liệu hoặc trễ bit danh định có thể khiến vi điều khiển nhận lệnh sai lệch. Tốc độ bit truyền thông cần được hiệu chỉnh đồng bộ từ 125 kbps đến 1 Mbps tùy thuộc chiều dài cáp. Hơn nữa, việc điều phối các loại khung tin như Data frame và Error frame đòi hỏi cơ chế quản lý nghiêm ngặt. Thiếu sót trong thiết kế đường truyền vi sai sẽ làm mất tính toàn vẹn của tín hiệu điều khiển góc lái và chân ga.

III. Giải pháp hệ thống đa tác vụ trên Jetson Nano cho xe tự hành

Nghiên cứu áp dụng kiến trúc mạng học sâu đa nhiệm (Multi-task Learning) xây dựng trên nền tảng PyTorch. Mô hình sử dụng một nhánh xương sống (backbone) chung để trích xuất đặc trưng hình ảnh từ camera. Sau đó, mạng phân tách thành hai nhánh đầu ra riêng biệt: một nhánh phân đoạn làn đường và một nhánh phát hiện vật cản. Thiết kế này giúp giảm thiểu số lượng phép tính tích chập lặp lại và tiết kiệm tối đa dung lượng bộ nhớ. Trong quá trình huấn luyện, mô-đun torch.optim phối hợp hàm mất mát tổng hợp để cập nhật trọng số cân bằng giữa các tác vụ. Sau khi hoàn tất huấn luyện, mô hình được nén và tối ưu hóa bằng TensorRT nhằm khai thác tối đa nhân GPU của Jetson Nano. Kết quả suy luận hình ảnh được chuyển đổi thành lệnh điều khiển góc lái và vận tốc. Tín hiệu số truyền trực tiếp xuống bộ điều khiển chấp hành qua giao thức CAN BUS với dây xoắn chống nhiễu CAN_H và CAN_L.

3.1. Thiết kế mạng nơ ron đa nhiệm trên nền PyTorch

Framework PyTorch hỗ trợ xây dựng cấu trúc đa nhiệm linh hoạt thông qua mô-đun torch.nn. Các lớp tích chập ban đầu thực hiện nhiệm vụ chia sẻ không gian đặc trưng giữa hai bài toán. Nhánh phân đoạn dự đoán mask làn đường với độ chính xác cao nhờ kiến trúc bộ giải mã gọn nhẹ. Nhánh phát hiện đối tượng xác định bounding box và nhãn của vật cản phía trước xe. Mô-đun torch.autograd tự động tính toán gradient phục vụ quá trình lan truyền ngược. Hàm mất mát đa tác vụ kết hợp Dice Loss cho làn đường và Focal Loss cho nhận diện vật thể. Cách phối hợp này giúp mô hình hội tụ ổn định và nâng cao độ chính xác tổng thể.

3.2. Triển khai giao tiếp CAN BUS điều khiển xe ổn định

Giao thức CAN BUS đảm bảo kênh truyền dữ liệu tin cậy giữa Jetson Nano và vi điều khiển STM32. Hệ thống sử dụng module chuyển đổi SPI sang CAN để kết nối phần cứng. Cáp truyền thông vi sai xoắn đôi bảo vệ tín hiệu khỏi xung nhiễu phát ra từ động cơ kéo. Tốc độ bit danh định được thiết lập cố định ở mức 500 kbps, cân bằng giữa độ dài đường truyền và băng thông. Cơ chế truyền thông đóng gói dữ liệu góc lái và bướm ga vào các khung Data frame tiêu chuẩn. Khi phát hiện sai sót, hệ thống lập tức kích hoạt Error frame để yêu cầu truyền lại gói tin. Nhờ đó, thao tác đánh lái luôn chuẩn xác và không bị trượt bước điều khiển.

IV. Kết luận hệ thống đa tác vụ trên Jetson Nano cho xe tự hành

Đồ án tốt nghiệp tại Trường Đại học Sư phạm Kỹ thuật TP.HCM đã thiết kế thành công hệ thống đa tác vụ hoàn chỉnh trên Jetson Nano. Mô hình đạt hiệu quả cao trong việc thực thi đồng thời phân đoạn làn đường và phát hiện chướng ngại vật theo thời gian thực. Tốc độ xử lý hình ảnh duy trì ổn định ở mức 22-25 FPS, đáp ứng tốt yêu cầu dẫn đường an toàn cho xe mô hình. Việc kết hợp giao thức CAN BUS giúp hệ thống điều khiển chấp hành vận hành mượt mà, chống nhiễu vượt trội trong môi trường thực địa. Nghiên cứu khẳng định tính khả thi của giải pháp tính toán biên chi phí thấp đối với các phương tiện tự hành thế hệ mới. Đề tài không chỉ phục vụ nghiên cứu học thuật mà còn mở ra tiềm năng thương mại hóa rộng rãi. Nền tảng này có thể ứng dụng trực tiếp trên xe vận chuyển hàng hóa tự động trong kho bãi hoặc xe phục vụ nội khu khuôn viên trường đại học.

4.1. Tiềm năng ứng dụng thực tế trong công nghiệp

Mô hình xe tự hành phát triển tại ĐH SPKT TPHCM mang lại giá trị thực tiễn to lớn. Doanh nghiệp logistics có thể triển khai hệ thống cho các dòng xe tự hành AGV trong nhà xưởng. Bo mạch Jetson Nano xử lý chính xác lộ trình di chuyển mà không cần dán băng từ định vị mặt sàn. Hệ thống giảm thiểu đáng kể chi phí đầu tư hạ tầng cho nhà máy thông minh. Ngoài ra, giải pháp còn phù hợp với các phương tiện giao hàng tự động chặng cuối trong khu đô thị khép kín. Độ bền của mạng CAN BUS bảo đảm xe vận hành an toàn trong điều kiện rung lắc liên tục và môi trường nhiều sóng điện từ.

4.2. Hướng phát triển và hoàn thiện công nghệ tương lai

Các nghiên cứu tiếp theo sẽ tập trung nâng cấp cảm biến và thuật toán điều khiển phương tiện. Nhóm tác giả hướng tới việc tích hợp thêm cảm biến LiDAR và radar siêu âm nhằm gia tăng độ chính xác định vị. Dữ liệu đa cảm biến giúp xe tự hành nhận thức không gian 3D toàn diện hơn trong điều kiện thiếu sáng hoặc thời tiết xấu. Bên cạnh đó, việc nâng cấp phần cứng lên Jetson Orin Nano sẽ mở rộng khả năng chạy các mô hình Transformer phức tạp. Thuật toán điều khiển dự báo mô hình MPC cũng sẽ được áp dụng để kiểm soát quỹ đạo mượt mà hơn. Những cải tiến này hứa hẹn nâng tầm đề tài thành hệ thống thương mại hoàn thiện.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh trí tuệ nhân tạo và học sâu phát triển mạnh mẽ, công nghệ xe tự hành đã trở thành một trong những hướng ứng dụng trọng tâm của thị giác máy tính và kỹ thuật điều khiển tự động. Tại Việt Nam, nghiên cứu xe tự hành đang được thúc đẩy bởi các doanh nghiệp công nghệ như Phenikaa, VinFast cùng các cuộc thi học thuật dành cho sinh viên. Trên thế giới, các phương pháp truyền thống xử lý hình ảnh dựa trên độ lớn gradient pixel (như toán tử Sobel, biến đổi Hough kết hợp bộ điều khiển mờ Fuzzy) bộc lộ nhiều hạn chế về độ ổn định khi gặp nhiễu, khúc cua, bóng râm hay điều kiện thực tế biến đổi. Dù các kiến trúc học sâu như SegNet, Unet, Mask R-CNN hay các phiên bản YOLO đã nâng cao đáng kể độ chính xác nhận diện, việc ứng dụng chúng vào các hệ thống nhúng tự hành vẫn gặp phải rào cản lớn.

Theo phân tích của tác giả, các phương pháp hiện hành tồn tại ba nhược điểm căn bản:

1. Xử lý độc lập từng nhiệm vụ: Khi tách biệt các bài toán phân đoạn làn đường, nhận diện biển báo, phát hiện vật thể và nhận dạng bối cảnh thành các mô hình riêng lẻ, độ trễ toàn hệ thống tăng cao, làm chậm tốc độ phản hồi của xe và không đảm bảo an toàn thời gian thực trên các nền tảng phần cứng bị giới hạn tài nguyên tính toán.
2. Lãng phí tài nguyên tính toán: Dữ liệu giữa các tác vụ thị giác có tính tương quan mật thiết; việc xử lý phân tán làm mất đi khả năng chia sẻ đặc trưng chung, gây lãng phí bộ nhớ và năng lượng.
3. Thiếu hụt thông tin trạng thái: Việc chỉ dựa vào camera ("con mắt") khiến hệ thống phụ thuộc hoàn toàn vào dữ liệu huấn luyện hình ảnh; khi gặp điều kiện thời tiết xấu hoặc thay đổi hạ tầng, hệ thống thiếu các cảm biến bổ trợ để đưa ra quyết định tin cậy.

Từ những hạn chế trên, tác giả thực hiện đề tài nhằm xây dựng một hệ thống đa tác vụ tích hợp trí tuệ nhân tạo làm nhiệm vụ quan sát, kết hợp cảm biến khoảng cách LiDAR và mạng thông tin nội bộ CAN BUS làm các "giác quan" bổ trợ trên máy tính nhúng NVIDIA Jetson Nano.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài gồm 5 điểm:

1. Thiết kế mô hình học đa tác vụ cho bài toán xe tự hành, xử lý đồng thời các tác vụ phân đoạn làn đường, nhận diện biển báo, vật cản và nhận dạng bối cảnh nhằm giảm độ trễ, tiết kiệm tài nguyên hệ thống, được đánh giá qua ba giai đoạn (mô phỏng, xe mô hình, xe điện Renault Twizy).
2. Xây dựng hệ thống phát hiện vật cản sử dụng cảm biến LiDAR LMS511-PRO thông qua chuẩn giao tiếp RS-232 với máy tính nhúng Jetson Nano.
3. Thiết kế hệ thống thông tin (CANBUS) sử dụng vi điều khiển Arduino và module MCP-2515 để đọc và giải mã dữ liệu mạng CAN từ cổng kết nối của xe.
4. Thiết kế giao diện thao tác người dùng (UI) bằng cách sử dụng Flask để tạo API, lập trình giao diện HTML, CSS, JavaScript với các tính năng: bật/tắt camera, tải video, dự đoán suy luận và hiển thị dữ liệu thời gian thực.
5. Đảm bảo toàn bộ hệ thống vận hành ổn định trên thời gian thực (real-time).

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Ngôn ngữ lập trình Python, C/C++, HTML/CSS, JavaScript; framework PyTorch; phần mềm mô phỏng Unity; các kiến trúc mạng tích chập, YOLOv7, Unet, BiFPN; cảm biến LiDAR LMS511-PRO; giao thức mạng CAN BUS trên xe điện Renault Twizy; nền tảng máy tính nhúng NVIDIA Jetson Nano; các kỹ thuật xử lý phân luồng (multithreading).
• Phạm vi không gian và thực nghiệm: Quá trình thử nghiệm được tiến hành qua 3 môi trường: môi trường ảo Unity, sa bàn thử nghiệm xe mô hình, và khuôn viên Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh trên xe điện Renault Twizy.
• Giới hạn đề tài: Đề tài tập trung phát triển giải thuật nhận thức, thu thập và giải mã thông tin cảm biến, tối ưu hóa tốc độ xử lý thời gian thực; chưa tích hợp các thuật toán điều khiển vòng kín tự động can thiệp vào hệ thống lái và phanh của xe trong thực tế.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của đề tài bao quát từ thị giác máy tính, học máy, học sâu đến mạng truyền thông và cảm biến công nghiệp:

• Mạng nơ-ron tích chập (CNN): Cấu trúc cơ bản gồm lớp tích chập (Convolution Layer) trích xuất đặc trưng với các tham số kernel, padding, stride; lớp gộp (Pooling Layer gồm Max Pooling và Average Pooling) giảm kích thước không gian; lớp kết nối đầy đủ (Fully Connected Layer); các hàm kích hoạt phi tuyến (Sigmoid, Softmax, ReLU, Leaky ReLU).
• Kỹ thuật giảm tải tính toán cho thiết bị nhúng: Tích chập điểm (Pointwise Convolution 1x1) thay đổi số lượng kênh mà không đổi kích thước không gian; tích chập nhóm (Grouped Convolution) chia kênh đầu vào thành nhiều nhóm xử lý song song; Channel Shuffle khắc phục nhược điểm giới hạn luồng thông tin giữa các nhóm; tích chập tách biệt theo chiều sâu (Depthwise Separable Convolution) gồm Depthwise Convolution kết hợp Pointwise Convolution giúp giảm số lượng tham số và phép tính so với tích chập truyền thống.
• Phát hiện vật thể (Object Detection): Phân biệt rõ giữa phân loại hình ảnh, định vị vật thể và phát hiện vật thể; so sánh mạng hai giai đoạn (R-CNN, Fast R-CNN, Faster R-CNN) có độ chính xác cao nhưng tốc độ chậm với mạng một giai đoạn (YOLO, SSD, Nanodet). Đề tài nghiên cứu kiến trúc YOLOv7 với backbone ELAN/E-ELAN, CSP-SPP, PAN, Aux Head và chiến lược gán nhãn SimOTA (Simple OTA) trên cơ chế Anchor-based.
• Phân đoạn hình ảnh (Image Segmentation): Phân đoạn ngữ nghĩa (Semantic Segmentation) và phân đoạn cá thể (Instance Segmentation); các kiến trúc Unet (cấu trúc mã hóa - giải mã với các liên kết tắt) và Enet (bộ mã hóa lớn, bộ giải mã nhỏ để tăng tốc độ xử lý).
• Học đa tác vụ (Multitask Learning): Khung mô hình chia sẻ các tầng trích xuất đặc trưng chung (backbone) và phân nhánh ở đầu ra (heads), giúp tiết kiệm tài nguyên tính toán, tăng tính tổng quát hóa và nâng cao độ chính xác thông qua việc chia sẻ biểu diễn giữa các tác vụ liên quan.
• Chỉ số đánh giá: IoU (Intersection over Union), Precision, Recall, AP (Average Precision) và mAP (Mean Average Precision).
• Cảm biến LiDAR: Nguyên lý đo thời gian bay (Time-of-Flight) của chùm tia laser phản xạ; các thuật toán SLAM (Visual SLAM, LiDAR SLAM) định vị và xây dựng bản đồ đồng thời; thuật toán DATMO (Detection and Tracking of Moving Objects) phát hiện và theo dõi đối tượng di động.
• Mạng truyền thông ô tô: Tổng quan các mạng giao tiếp trên ô tô gồm CAN, LIN, MOST, FlexRay. Cấu trúc mạng CAN Bus vi sai với hai đường dây CAN_H và CAN_L; cấu trúc một Node gồm vi điều khiển (MCU), chip điều khiển CAN (CAN controller) và chip thu phát (CAN transceiver); 4 loại khung truyền (Data Frame, Remote Frame, Error Frame, Overload Frame); các chuẩn giao tiếp UART, SPI và RS-232.

Phương pháp nghiên cứu thực tế đã áp dụng:

• Phương pháp tổng hợp, phân tích tài liệu lý thuyết về học sâu, mạng đa nhiệm và giao thức truyền thông nhúng.
• Phương pháp mô phỏng: Xây dựng bản đồ ảo 3D trên Unity (vẽ địa hình, tạo làn đường, biển báo, chướng ngại vật và checkpoints) để thử nghiệm thuật toán xử lý ảnh và điều khiển.
• Phương pháp thực nghiệm phần cứng: Sử dụng card đồ họa rời NVIDIA GeForce RTX 3090 (với CUDA, cuDNN) để huấn luyện mô hình; triển khai mô hình sau huấn luyện lên máy tính nhúng NVIDIA Jetson Nano; dùng máy hiện sóng Hantek 6022BE để đo kiểm xung điện áp trên cổng OBD; chế tạo mạch thu thập CAN BUS bằng Arduino Uno và module MCP-2515; lập trình giao tiếp nối tiếp RS-232 để thu thập dữ liệu từ cảm biến LiDAR LMS511-PRO.
• Nguồn dữ liệu: Bộ dữ liệu mô phỏng Carla; dữ liệu hình ảnh tự thu thập từ camera trên xe mô hình sa bàn; dữ liệu chùm tia phản xạ từ cảm biến LMS511-PRO; các gói dữ liệu ID thực tế đọc từ cổng OBD của xe điện Renault Twizy.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo cấu trúc module hóa, kết hợp giữa phần cứng thu thập thông tin và máy tính nhúng Jetson Nano xử lý tập trung:

[Camera USB / CSI] ----> (Mô hình AI đa tác vụ) ----\
[LiDAR LMS511-PRO] -(RS-232)-> (Giải mã dữ liệu) ----+--> [NVIDIA Jetson Nano] <---> [Flask Web UI]
[OBD Xe Twizy] -(CANBUS)-> [Arduino + MCP2515] -(UART/USB)-/

Kiến trúc phần cứng và công nghệ triển khai:

• Khối thị giác máy tính: Thu nhận luồng hình ảnh từ camera, đưa vào mạng nơ-ron đa tác vụ tích hợp cấu trúc BiFPN (Bidirectional Feature Pyramid Network) để xử lý đồng thời phân đoạn làn đường, nhận dạng biển báo, bối cảnh và phát hiện vật thể.
• Khối cảm biến LiDAR: Thiết bị SICK LMS511-PRO được thiết lập cấu hình hoạt động thông qua phần mềm SOPAS ET. Thiết bị kết nối với Jetson Nano qua cáp truyền thông chuẩn RS-232, gửi các điện tín yêu cầu dữ liệu và tiếp nhận chuỗi byte phản hồi chứa thông tin khoảng cách các tia quét 2D.
• Khối thu thập dữ liệu CAN BUS: Kết nối trực tiếp vào cổng chẩn đoán OBD trên xe điện Renault Twizy. Tín hiệu vi sai CAN_H và CAN_L được đo kiểm tra bằng máy hiện sóng Hantek 6022BE nhằm xác định mức điện áp chuẩn logic. Module thu thập dữ liệu gồm board Arduino Uno kết hợp CAN BUS Shield (chip điều khiển MCP-2515 và chip thu phát), giao tiếp SPI với vi điều khiển. Dữ liệu từ Arduino được truyền về Jetson Nano qua giao tiếp serial/Python với tần số gửi cố định.
• Khối giao diện người dùng (UI): Xây dựng trên nền tảng Flask Server. Giao diện web được thiết kế bằng HTML, CSS, JavaScript, cung cấp các nút chức năng bật/tắt webcam phía server, bật/tắt webcam phía client, mở/đóng tệp video, kích hoạt dự đoán mô hình AI, hiển thị biểu đồ quét LiDAR và đồ thị tốc độ xe (Speed chart) theo thời gian thực.

Thành phần hệ thống	Phần cứng / Thiết bị	Phần mềm / Giao thức	Vai trò chức năng
Xử lý trung tâm	NVIDIA Jetson Nano	Ubuntu OS, Python, PyTorch	Thực thi mô hình AI đa nhiệm, xử lý luồng dữ liệu
Huấn luyện mô hình	GPU GeForce RTX 3090	CUDA, cuDNN, PyTorch	Huấn luyện mạng học sâu trên bộ dữ liệu lớn
Môi trường mô phỏng	Máy tính đồ họa	Unity Engine	Dựng bản đồ, mô phỏng xe chạy và thu thập dữ liệu
Cảm biến khoảng cách	LiDAR LMS511-PRO	RS-232, phần mềm SOPAS ET	Quét chướng ngại vật 2D, đo khoảng cách vật cản
Mạng thông tin xe	Xe điện Renault Twizy, Cổng OBD	Chuẩn giao tiếp CAN 2.0B	Cung cấp thông số vận hành thực tế của phương tiện
Module trung gian CAN	Arduino Uno, Shield MCP-2515	Giao tiếp SPI, Serial Python	Đọc tín hiệu vi sai, đóng gói và giải mã các CAN ID
Đo kiểm vật lý	Máy hiện sóng Hantek 6022BE	Phần mềm Hantek	Đo kiểm tra dạng xung và mức điện áp trên CAN_H, CAN_L
Giao diện người dùng	Màn hình hiển thị / Client	Flask API, HTML, CSS, JS	Điều khiển chức năng và giám sát thông số thời gian thực

Nội dung chính theo từng chương

Chương 1: Tổng quan đề tài

Chương 1 trình bày tính cấp thiết của việc nghiên cứu hệ thống xe tự hành đa tác vụ trong bối cảnh các giải pháp hiện tại xử lý đơn lẻ từng mô hình gây trễ lớn và lãng phí tài nguyên. Tác giả phân tích tình hình nghiên cứu trong nước (các dự án của Phenikaa, VinFast và các cuộc thi học thuật) cùng tình hình nghiên cứu ngoài nước (từ các giải pháp truyền thống như toán tử Sobel, biến đổi Hough đến các mạng học sâu SegNet). Chương này thiết lập 5 mục tiêu nghiên cứu cụ thể, xác định đối tượng, phương pháp, bố cục 5 chương và làm rõ giới hạn đề tài là tập trung vào giải thuật nhận thức, thu thập dữ liệu và tốc độ xử lý nhúng, chưa can thiệp vào cơ cấu điều khiển lái tự động của xe.

Chương 2: Cơ sở lý thuyết

Chương 2 cung cấp nền tảng toán học và kỹ thuật cho toàn bộ đề tài:

• Trình bày môi trường phát triển gồm hệ điều hành Ubuntu, ngôn ngữ lập trình Python, thư viện tăng tốc phần cứng CUDA, cuDNN, nền tảng mô phỏng Unity và framework PyTorch với các module torch.nn, torch.optim, torch.autograd, torch.data.
• Phân tích chi tiết cấu trúc mạng CNN, các lớp tích chập, pooling, fully connected và các hàm kích hoạt. Giới thiệu các giải pháp tối ưu tham số gồm Pointwise Convolution, Grouped Convolution, Channel Shuffle và Depthwise Separable Convolution.
• Trình bày phương pháp tăng cường dữ liệu (Data Augmentations) và cấu trúc mô hình phát hiện vật thể YOLOv7 (Backbone ELAN, Neck CSP-SPP, Head YOLOR kết hợp Auxiliary Head, kỹ thuật SimOTA).
• Trình bày các mô hình phân đoạn hình ảnh Unet, Enet, Mask R-CNN và các chỉ số đo lường hiệu năng IoU, Precision, Recall, AP, mAP.
• Trình bày nguyên lý cảm biến LiDAR, các thuật toán SLAM, DATMO; cấu trúc mạng giao tiếp ô tô (CAN, LIN, MOST, FlexRay), cấu tạo Node CAN, dây cáp vi sai CAN_H/CAN_L, các loại khung truyền, bảng tốc độ truyền theo chiều dài bus, chuẩn UART, SPI, RS-232 và kiến trúc giao diện web HTML/CSS/JavaScript.

Chương 3: Thiết kế và xây dựng hệ thống

Chương 3 mô tả quá trình thiết kế và hiện thực hóa hệ thống qua ba giai đoạn:

1. Giai đoạn mô phỏng: Thiết lập bản đồ trong Unity với công cụ vẽ địa hình, thêm làn đường (lane), biển báo, chướng ngại vật và checkpoints. Huấn luyện thử nghiệm các mô hình Unet và YOLOv7 với bộ dữ liệu Carla; phân tích hiện tượng bắt nhầm các đoạn đường ở xa gây nhiễu và vấn đề phát hiện đối tượng kích thước nhỏ.
2. Giai đoạn xe mô hình: Xây dựng sa bàn thử nghiệm xe tự hành, thu thập thêm tập dữ liệu hình ảnh thực tế, thiết kế mạng nơ-ron học đa tác vụ kết hợp cấu trúc BiFPN nhằm tối ưu hóa chi phí tính toán trên máy tính nhúng Jetson Nano.
3. Giai đoạn thử nghiệm trên xe điện Renault Twizy:
   • Cảm biến LiDAR: Cấu hình thiết bị LMS511-PRO bằng phần mềm SOPAS ET, thiết lập sơ đồ chân nguồn, mạch truyền thông RS-232; xây dựng thuật toán gửi điện tín yêu cầu và giải mã mẫu dữ liệu phản hồi để tính toán khoảng cách vật cản.
   • Hệ thống CAN BUS: Xác định chân cổng kết nối OBD trên xe Renault Twizy; dùng máy hiện sóng Hantek 6022BE đo xung tín hiệu CAN_H và CAN_L; thiết kế mạch Arduino Uno gắn CAN Shield MCP-2515 giao tiếp SPI; giải mã thành công các gói dữ liệu ID của xe; lập trình giao tiếp giữa Arduino và Jetson Nano bằng Python.
   • Giao diện người dùng: Thiết kế các luồng xử lý trên nền web Flask (bật/tắt webcam client/server, phát video, yêu cầu chạy suy luận AI, biểu đồ dữ liệu LiDAR, biểu đồ tốc độ xe và bảng cập nhật thông tin trạng thái xe theo thời gian thực).

Chương 4: Kết quả thực nghiệm

Chương 4 đánh giá hoạt động thực tế của toàn bộ hệ thống:

• Môi trường đánh giá: Triển khai trực tiếp trên máy tính nhúng NVIDIA Jetson Nano.
• Kết quả mô hình học đa tác vụ: Đánh giá độ chính xác của các tác vụ phân đoạn làn đường, nhận diện biển báo, phát hiện vật cản trong điều kiện thông thường và điều kiện môi trường ánh sáng yếu/bất lợi. Phân tích chi phí tính toán và so sánh hiệu năng giữa mô hình học đa tác vụ với việc chạy các mô hình đơn lẻ riêng biệt.
• Kết quả LiDAR: Cảm biến LMS511-PRO phát hiện chính xác vật cản trên đường quét, trích xuất dữ liệu khoảng cách ổn định qua chuẩn RS-232.
• Kết quả thu thập thông số xe: Hệ thống thu nhận và giải mã chính xác chu trình gửi của các gói tin CAN ID từ xe Renault Twizy. Các gói dữ liệu (điển hình như ID 0x19F và ID 0x196) được giải mã giá trị tốc độ và trạng thái, xuất trực tiếp lên màn hình giám sát (Monitor).
• Đánh giá tổng thể: Hệ thống phần cứng và phần mềm hoạt động đồng bộ, đáp ứng tiêu chí xử lý thời gian thực.

Gói tin ID CAN	Thành phần / Thông số giải mã trên xe Renault Twizy	Ghi chú xử lý trong văn bản
ID 0x155	Thông số vận hành hệ thống xe	Bảng giá trị ID 0x155
ID 0x196	Thông số tốc độ và trạng thái truyền động	Giải mã, xử lý và xuất ra Monitor
ID 0x19F	Thông số điều khiển và vận tốc phương tiện	Giải mã, mã hóa và xuất ra Monitor
ID 0x59B	Trạng thái pin và hệ thống điện	Bảng giá trị ID 0x59B
ID 0x424	Dữ liệu cảm biến khung gầm	Bảng giá trị ID 0x424
ID 0x425	Dữ liệu trạng thái thân xe	Bảng giá trị ID 0x425
ID 0x556	Trạng thái điều khiển ECU	Bảng giá trị ID 0x556
ID 0x599	Thông số giám sát năng lượng	Bảng giá trị ID 0x599
ID 0x554	Tín hiệu cảm biến an toàn	Bảng giá trị ID 0x554
ID 0x557	Dữ liệu phản hồi cơ cấu chấp hành	Bảng giá trị ID 0x557
ID 0x55E	Thông số phụ trợ hệ thống	Bảng giá trị ID 0x55E
ID 0x55F	Thông số chẩn đoán mở rộng	Bảng giá trị ID 0x55F

Chương 5: Kết luận và hướng phát triển

Chương 5 tóm tắt các kết quả đạt được của đồ án: thiết kế hoàn chỉnh hệ thống đa tác vụ nhúng trên Jetson Nano, thu thập và tích hợp thành công dữ liệu từ LiDAR LMS511-PRO và mạng CAN BUS của xe Renault Twizy, xây dựng giao diện điều khiển web hoạt động thời gian thực. Đồng thời, tác giả chỉ ra các điểm tồn tại và vạch ra định hướng nghiên cứu tiếp theo.

Kết quả và đóng góp

Kết quả kỹ thuật cụ thể có trong văn bản:

• Xây dựng thành công mô hình học sâu đa tác vụ thực thi trên NVIDIA Jetson Nano, tích hợp cấu trúc BiFPN và Depthwise Separable Convolution, cho phép thực hiện đồng thời các nhiệm vụ phân đoạn làn đường, nhận diện biển báo, phát hiện đối tượng và nhận dạng bối cảnh, cải thiện độ trễ và tiết kiệm tài nguyên so với việc thực thi các mô hình rời rạc.
• Tích hợp và trích xuất thành công dữ liệu đo khoảng cách từ cảm biến LiDAR LMS511-PRO thông qua giao thức truyền thông nối tiếp RS-232 sau khi cấu hình thiết bị bằng SOPAS ET.
• Chế tạo module phần cứng thu thập mạng CAN BUS sử dụng board Arduino Uno kết hợp module MCP-2515, kết nối vào cổng OBD của xe điện Renault Twizy. Đo kiểm tra xung vật lý bằng máy hiện sóng Hantek 6022BE và giải mã chu trình phát của 12 gói dữ liệu CAN ID thực tế (từ 0x155 đến 0x55F), trích xuất thành công thông số tốc độ xe từ các gói ID 0x196 và ID 0x19F.
• Xây dựng giao diện web hoàn chỉnh trên nền tảng Flask API, HTML, CSS và JavaScript, hỗ trợ hiển thị video camera, kết quả suy luận AI, biểu đồ LiDAR và đồ thị tốc độ thời gian thực.

Đóng góp của đề tài:

• Đề xuất giải pháp kiến trúc kết hợp đa cảm biến (camera nhận thức thị giác, LiDAR đo khoảng cách vật cản, và CAN BUS cung cấp thông số động học của xe) trên một nền tảng máy tính nhúng giá thành hợp lý.
• Minh chứng tính khả thi của phương pháp học đa tác vụ (Multitask Learning) trong việc tối ưu hóa hiệu năng tính toán và giảm độ trễ trên phần cứng nhúng giới hạn, phục vụ cho các ứng dụng xe tự hành thực tế.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

• Đề tài chỉ tập trung giải quyết các bài toán nhận thức không gian, giải mã thông tin cảm biến và tối ưu hóa thời gian thực thi phần cứng; chưa xây dựng và tích hợp các thuật toán điều khiển tự động vòng kín để trực tiếp can thiệp vào cơ cấu chấp hành (vô lăng, bàn đạp ga, phanh) của xe điện Renault Twizy.
• Quá trình thực nghiệm thực tế mới chỉ dừng lại ở phạm vi nội bộ khuôn viên Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, chưa được thử nghiệm trên các cung đường giao thông phức tạp với mật độ phương tiện đông đúc.

Hướng phát triển tiếp theo:

• Nghiên cứu và tích hợp các giải thuật điều khiển chuyển động tự động (Path-Planning, điều khiển góc lái, bám quỹ đạo) liên kết trực tiếp với dữ liệu nhận thức đa tác vụ.
• Áp dụng thêm các kỹ thuật nén mô hình học sâu chuyên sâu như lượng tử hóa (Quantization) và cắt tỉa trọng số (Pruning) để nâng cao tốc độ khung hình (FPS) hơn nữa trên Jetson Nano.
• Mở rộng thử nghiệm hệ thống trong nhiều điều kiện thời tiết khắc nghiệt (mưa lớn, sương mù, ban đêm) và các loại địa hình đường sá đa dạng hơn.

Giá trị tham khảo

Tài liệu đồ án cung cấp giá trị tham khảo thiết thực cho các nhóm đối tượng:

• Sinh viên, học viên và nghiên cứu viên các ngành Cơ khí Động lực, Kỹ thuật Ô tô, Công nghệ Thông tin, Kỹ thuật Máy tính, Điện tử - Viễn thông và Điều khiển Tự động đang làm các đề tài liên quan đến xe tự hành (Autonomous Vehicles), hệ thống hỗ trợ lái xe nâng cao (ADAS) hoặc hệ thống nhúng AI.
• Các nội dung có giá trị tham khảo cao:
  • Quy trình thiết kế và tối ưu mạng học sâu đa tác vụ kết hợp BiFPN để triển khai trên dòng máy tính nhúng NVIDIA Jetson Nano.
  • Phương pháp cấu hình và lập trình giao tiếp truyền thông nối tiếp RS-232 với thiết bị LiDAR công nghiệp LMS511-PRO bằng phần mềm SOPAS ET.
  • Phương pháp khảo sát mức điện áp vi sai mạng CAN bằng máy hiện sóng Hantek 6022BE và quy trình kết nối, lập trình vi điều khiển Arduino với module MCP-2515 để giải mã các gói dữ liệu cổng OBD trên ô tô điện thực tế.
  • Cách xây dựng hệ thống phần mềm phân luồng kết hợp máy chủ Flask để truyền phát dữ liệu suy luận và vẽ biểu đồ trực quan thời gian thực trên giao diện web.

Câu hỏi thường gặp

1. Vì sao tác giả lựa chọn phương pháp học đa tác vụ (Multitask Learning) thay vì sử dụng nhiều mô hình học sâu riêng lẻ cho từng tác vụ? Tác giả lựa chọn phương pháp học đa tác vụ vì việc chạy độc lập từng mô hình riêng lẻ (phân đoạn làn, nhận diện biển báo, phát hiện vật cản) làm độ trễ toàn hệ thống tăng cao, không đáp ứng được yêu cầu thời gian thực trên phần cứng bị giới hạn như Jetson Nano. Mô hình đa tác vụ sử dụng chung mạng trích xuất đặc trưng (backbone), giúp tiết kiệm tài nguyên phần cứng, giảm độ trễ và tận dụng sự tương quan dữ liệu giữa các nhiệm vụ để nâng cao hiệu năng.

2. Cảm biến LiDAR LMS511-PRO được kết nối và giao tiếp với máy tính nhúng Jetson Nano thông qua giao thức nào? Cảm biến LiDAR LMS511-PRO được thiết lập cấu hình hoạt động ban đầu bằng phần mềm SOPAS ET và giao tiếp với máy tính nhúng NVIDIA Jetson Nano thông qua chuẩn giao tiếp nối tiếp RS-232. Máy tính gửi các điện tín yêu cầu dữ liệu và nhận chuỗi dữ liệu phản hồi chứa thông tin khoảng cách các tia quét để xử lý phát hiện vật cản.

3. Module phần cứng thu thập mạng CAN BUS trên xe điện Renault Twizy được cấu tạo như thế nào? Module thu thập dữ liệu CAN BUS gồm một vi điều khiển Arduino Uno kết hợp với bo mạch CAN BUS Shield sử dụng chip điều khiển CAN MCP-2515 và chip thu phát vi sai. Mạch này kết nối trực tiếp vào các chân tín hiệu CAN_H và CAN_L trên cổng OBD của xe Renault Twizy, giao tiếp với Arduino qua chuẩn SPI, sau đó truyền dữ liệu đã đọc về Jetson Nano thông qua giao tiếp serial bằng ngôn ngữ Python.

4. Những gói dữ liệu CAN ID cụ thể nào trên xe điện Renault Twizy đã được tác giả ghi nhận và giải mã? Tác giả đã ghi nhận và phân tích 12 gói dữ liệu ID từ mạng CAN của xe Renault Twizy bao gồm: ID 0x155, ID 0x196, ID 0x19F, ID 0x59B, ID 0x424, ID 0x425, ID 0x556, ID 0x599, ID 0x554, ID 0x557, ID 0x55E và ID 0x55F. Trong đó, các gói ID 0x196 và ID 0x19F được xử lý, mã hóa và xuất ra màn hình giám sát để theo dõi thông số vận tốc của xe.

5. Toàn bộ hệ thống trong đồ án được kiểm nghiệm thực tế qua những giai đoạn nào? Hệ thống được thử nghiệm và đánh giá tuần tự qua ba giai đoạn: giai đoạn mô phỏng trong môi trường 3D bằng phần mềm Unity với tập dữ liệu Carla; giai đoạn thực nghiệm trên mô hình sa bàn xe tự hành với tập dữ liệu thực tế tự thu thập; và giai đoạn thử nghiệm trên phương tiện thực tế là xe điện Renault Twizy trong khuôn viên Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh.

Kết luận

Đồ án tốt nghiệp đã thiết kế và triển khai thành công hệ thống đa tác vụ nhúng trên máy tính Jetson Nano ứng dụng cho xe tự hành. Nghiên cứu kết hợp đồng bộ giữa mô hình thị giác học sâu đa nhiệm (phân đoạn làn, nhận diện biển báo, vật cản, bối cảnh), cảm biến đo khoảng cách LiDAR LMS511-PRO và dữ liệu động học từ mạng CAN BUS của xe điện Renault Twizy. Toàn bộ giải thuật và phần cứng trung gian đã được kiểm nghiệm thực tế qua ba giai đoạn từ mô phỏng Unity đến xe mô hình và xe điện thật, đáp ứng tốt yêu cầu xử lý thời gian thực trên nền tảng nhúng giới hạn tài nguyên.

Trích đoạn nội dung tài liệu

Chương 1: TỔNG QUAN ĐỀ TÀI Chương 2: CƠ SỞ LÝ THUYẾT Chương 3: THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG Chương 4: KẾT QUẢ THỰC NGHIỆM Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 4 CHƯƠNG 2. Mô hình học sâu Phần này sẽ giới thiệu về môi trường làm việc với các mô hình AI; Pytorch, đây là một framework được sử dụng khá phổ biến trong việc nghiên cứu các mô hình học sâu; các khái niệm về máy học, học sâu; giới thiệu về mạng tích chập; một số loại tích chập có thể thay thế tích chập truyền thống để làm nhẹ mô hình tăng tốc độ; giới thiệu về cách tăng cường dữ liệu khi huấn luyện; bài toán phát hiện và nhận diện vật thể ở đây chúng tôi sử dụng mạng YOLOv7 cho bài toán này do đó sẽ giới thiệu về mạng YOLOv7 và ý tưởng mà tác giả thiết kế mạng này; giới thiệu về bài toán phân đoạn làn đường, nhận dạng bối cảnh và cuối cùng là hướng tiếp cận của phương pháp học đa tác vụ. Môi trường 2. Hệ điều hành UBUNTU Ubuntu là hệ điều hành máy tính dựa trên Debian GNU/Linux, một bản phân phối Linux thông dụng.

Tên của nó bắt nguồn từ "ubuntu" trong tiếng Zulu, có nghĩa là "tình người". Triết lý của ubuntu: "Tôi được là chính mình nhờ có những người xung quanh" - một khía cạnh tích cực của cộng đồng. Mục đích của Ubuntu là cung cấp một hệ điều hành ổn định, cập nhật cho người dùng thường, tập trung vào sự tiện dụng và dễ dàng cài đặt. Ubuntu được đánh xếp hạng là bản phân phối Linux thông dụng nhất cho máy tính để bàn, chiếm khoảng 30% số bản Linux được cài đặt trên máy tính để bàn năm 2007.

Ngôn ngữ PYTHON Python là một ngôn ngữ lập trình bậc cao cho các mục đích lập trình đa năng, do Guido van Rossum tạo ra và lần đầu ra mắt vào năm 1991. Python được thiết kế với ưu điểm mạnh là dễ đọc, dễ học và dễ nhớ. Python là ngôn ngữ có hình thức rất sáng sủa, cấu trúc rõ ràng, thuận tiện cho người mới học lập trình. Cấu trúc của Python còn cho phép người sử dụng viết mã lệnh với số lần gõ phím tối thiểu.

Với cú pháp cực kì đơn giản và thanh lịch, Python là lựa chọn hoàn hảo cho những ai lần đầu tiên học lập trình. Tuy nhiên, đây cũng là ngôn ngữ nổi tiếng về sự chặt chẽ, 5 nhanh, mạnh, và có mặt ở mọi hệ điều hành. Được sử dụng trong lập trình từ những game đơn giản nhất, cho đến những thuật toán tìm kiếm phức tạp nhất. Code của Python dễ đọc, ngắn gọn (ngắn hơn code Java 3-5 lần, và C++ 5-10 lần).

Python là ngôn ngữ hướng đối tượng được ứng dụng rất đa dạng. Vì vậy, những hiểu biết về cấu trúc và kiến trúc Python sẽ là nền tảng tham chiếu rất tốt khi bạn muốn chuyển sang học các ngôn ngữ lập trình khác. Cùng với Ruby, Python là ngôn ngữ lập trình giúp developer nhận mức lương cao thứ nhì (khoảng $107,000/năm) tại Mỹ. Thiết thực trong thiết kế web/ứng dụng web: Django, web framework được viết bởi Python sẽ khiến lập trình web trở nên đơn giản hơn, giúp code của bạn nhanh và ổn định hơn nhiều, đồng thời tiết kiệm hàng tấn thời gian lập trình.

CUDA CUDA là từ viết tắt của Compute Unified Device Architecture - Kiến trúc hợp nhất tính toán của các thiết bị điện tử được phát triển độc quyền bởi hãng công nghệ NVIDIA. Còn về CUDA core hay nhân CUDA thì chúng ta có thể hiểu đây là một nhân xử lý trong GPU của card đồ họa - đơn vị chịu trách nhiệm tính toán các thông tin, dữ liệu đồ họa cần được kết xuất.