Bối cảnh và vấn đề nghiên cứu

Trong sự phát triển của lĩnh vực Thị giác máy tính (Computer Vision) và Trí tuệ nhân tạo (AI), các hệ thống tự hành đòi hỏi khả năng xử lý thông tin đầu vào từ môi trường xung quanh tương tự như bộ não con người. Một trong những ứng dụng trọng yếu của bài toán phân vùng hình ảnh (Image Segmentation) là hỗ trợ xe tự hành nhận biết không gian lưu thông. Vào tháng 4 năm 2019 tại Việt Nam, FPT Software đã thử nghiệm thành công xe tự hành trong khu đô thị ứng dụng AI, Deep Learning và phương pháp Behavior Cloning nhằm giúp phương tiện tự học cách điều khiển, phát hiện vật cản và ra quyết định di chuyển.

Tuy nhiên, việc triển khai các mô hình phân vùng ảnh đường phố tại Việt Nam gặp phải rào cản lớn về mặt dữ liệu. Các tập dữ liệu giao thông công cộng phổ biến trên thế giới như Cityscapes hay MS COCO phản ánh cơ sở hạ tầng, quy hoạch đường sá và phương tiện đặc thù của các nước phương Tây. Do cấu trúc xây dựng hạ tầng và dạng đường sá ở Việt Nam có sự khác biệt rõ rệt và độ đa dạng cao, các tập dữ liệu đã gán nhãn ở nước ngoài không thể chuyển giao trực tiếp để sử dụng hiệu quả trong nước. Bên cạnh đó, dữ liệu giao thông tại Việt Nam phục vụ huấn luyện mô hình rất khan hiếm và hầu như chưa được công bố công khai.

Về mặt kỹ thuật, việc vận hành mô hình phân vùng trên các thiết bị nhúng phục vụ xe tự hành đòi hỏi sự cân bằng nghiêm ngặt giữa độ chính xác và tốc độ xử lý theo thời gian thực (FPS). Nếu tốc độ khung hình quá thấp, hệ thống sẽ trích xuất trễ hoặc làm mất khung hình, dẫn đến việc xử lý góc lái của xe bị gián đoạn. Ngược lại, nếu độ chính xác không bảo đảm, góc lái được tính toán sẽ thiếu an toàn. Đầu ra của mô hình phân vùng trong nghiên cứu này được chỉ định làm dữ liệu đầu vào cho một phân hệ độc lập khác chịu trách nhiệm tính toán và điều khiển góc lái cho xe tự hành.

Nhiệm vụ và mục tiêu nghiên cứu của khóa luận được xác định cụ thể như sau:

  1. Nghiên cứu, đánh giá và chọn lọc một kiến trúc mạng học sâu (Deep Learning) thực hiện phân vùng nội dung ảnh theo thời gian thực, có khả năng vận hành phù hợp trên phần cứng nhúng NVIDIA Jetson TX2.
  2. Tự thu thập, tiền xử lý và xây dựng một bộ dữ liệu ảnh giao thông riêng biệt phản ánh thực tế hạ tầng đường sá tại Việt Nam.
  3. Huấn luyện mô hình để phân vùng chính xác các đối tượng mục tiêu bao gồm: người đi bộ, phương tiện giao thông (xe) và làn đường.
  4. Nhúng và thực thi thành công mô hình trên bo mạch NVIDIA Jetson TX2, tiến hành kiểm thử thực nghiệm và đánh giá tối ưu hóa.

Phạm vi và giới hạn của đề tài được quy định rõ trong văn bản:

  • Phạm vi dữ liệu: Xây dựng tập dữ liệu gồm 13.000 ảnh (trong đó 10.000 ảnh dành cho tập huấn luyện - train và 3.000 ảnh cho tập kiểm tra - test), chuẩn hóa ở độ phân giải 512 x 512 pixel.
  • Phạm vi không gian thu thập: Khuôn viên Trường Đại học Công nghệ Thông tin (UIT), Khu đô thị Đại học Quốc gia TP. Hồ Chí Minh và một số tuyến đường lộ tại các quận lân cận thuộc phạm vi bán kính không quá 50 km.
  • Phạm vi bề mặt đường: Áp dụng trên các đoạn đường đã được rải nhựa (không bao gồm đường đất đỏ).
  • Điều kiện môi trường: Hoạt động tối ưu trong điều kiện thời tiết thuận lợi (buổi sáng, trưa, chiều đủ ánh sáng, không có sương mù).
  • Mục tiêu độ chính xác theo khu vực: Đạt trên 80% tại Trường Đại học Công nghệ Thông tin TP.HCM; trên 75% tại Khu đô thị Đại học Quốc gia TP.HCM; và trên 50% tại các tuyến đường giao thông khác ngoài khuôn viên.
  • Tốc độ thực thi: Đạt mức xử lý 30 khung hình/giây (FPS) khi nhận tín hiệu trực tiếp từ camera gắn trên bo mạch nhúng NVIDIA Jetson TX2.

Cơ sở lý thuyết và phương pháp

Nghiên cứu tập trung vào bài toán Phân đoạn ngữ nghĩa (Semantic Segmentation), một nhánh của Image Segmentation. Khác với Nhận diện đối tượng (Object Detection) chỉ dừng lại ở việc tạo khung bao (bounding box) quanh vật thể, Semantic Segmentation thực hiện phân loại ở cấp độ điểm ảnh (pixel-wise classification), gán nhãn cho từng pixel tương ứng với lớp đối tượng mà không phân biệt các thực thể riêng lẻ trong cùng một lớp như Instance Segmentation.

Để lựa chọn kiến trúc mạng phù hợp cho thiết bị nhúng có tài nguyên giới hạn, tác giả đã tham khảo các nghiên cứu thực nghiệm độc lập và khảo sát đặc tính kỹ thuật của nhiều mô hình Deep Learning:

  • PSPNet: Đạt mIoU cao (85,4% trên PASCAL VOC 2012, 80,2% trên Cityscapes) nhưng cấu trúc cồng kềnh, không tối ưu cho phần cứng nhúng.
  • ShuffleNet: Đạt tốc độ 15,7 FPS trên NVIDIA Jetson TX2 nhưng mIoU trên tập kiểm thử Cityscapes chỉ đạt 58,3%.
  • VGG16: Kiến trúc kinh điển của nhóm Visual Geometry Group (Oxford) đạt độ chính xác top-5 92,7% trên ImageNet, sử dụng các bộ lọc tích chập nhỏ 3 x 3 xếp chồng thay vì các bộ lọc lớn. Tuy nhiên, VGG16 có dung lượng trọng số lớn và tốc độ huấn luyện cũng như suy luận chậm.
  • ResNet (ResNet-18, ResNet-152): Ứng dụng các khối dư (residual blocks) với liên kết tắt (skip connections) giúp huấn luyện mạng sâu mà không bị suy giảm gradient, song độ trễ tính toán vẫn chưa đáp ứng tốt yêu cầu thời gian thực trên bo mạch nhúng nhỏ gọn.
  • MobileNetV3: Kiến trúc được tối ưu hóa cho thiết bị di động và hệ thống nhúng nhờ tích hợp phương pháp tìm kiếm kiến trúc mạng tự động AutoML (MnasNet và NetAdapt), khối Squeeze-and-Excitation (SE) để điều chỉnh trọng số kênh đặc trưng theo ngữ cảnh toàn cục, hàm kích hoạt phi tuyến Hard-Swish (H-Swish) và tái thiết kế các tầng tiêu tốn nhiều tài nguyên tính toán (expensive layers).
Bộ giải mã (Decoder) Bộ trích xuất (Encoder) Coarse mIoU (%) Làn đường (Road) (%) Lề đường (Sidewalk) (%)
SkipNet MobileNet No 61,3 95,9 -
SkipNet ShuffleNet No 55,6 - -
UNet ResNet-18 No 57,2 - 31,4
UNet MobileNet No 61,0 - 41,3
UNet ShuffleNet No 57,9 - 35,5
Dilation MobileNet No 57,8 - 26,3
Dilation ShuffleNet No 53,2 - 23,3
SkipNet MobileNet Yes 62,3 - 45,3
SkipNet ShuffleNet Yes 59,3 - 94,1

Dựa trên các nghiên cứu so sánh về bộ giải mã và trích xuất đặc trưng (tham khảo từ nghiên cứu RT-Seg) và kết quả thử nghiệm MobileNetV3 với khối Lite Reduced Atrous Spatial Pyramid Pooling (LR-ASPP), tác giả đã lựa chọn cấu hình MobileNetV3-Small kết hợp LR-ASPP. Cấu hình này giúp giảm thiểu độ trễ phần cứng mà vẫn bảo đảm độ phân giải không gian và tính nhất quán ngữ nghĩa đa tỷ lệ.

Phương pháp đánh giá độ chính xác của mô hình dựa trên chỉ số phần giao trên phần hợp theo cấp độ điểm ảnh (Intersection over Union - IoU) và chỉ số trung bình mIoU:

$$\text{IoU} = 100 \times \frac{\text{True Positives}}{\text{True Positives} + \text{False Negatives} + \text{False Positives}}$$

Trong đó:

  • True Positives (TP): Số lượng pixel thuộc về một lớp đối tượng và được mô hình dự đoán chính xác vào lớp đó.
  • False Negatives (FN): Số lượng pixel thuộc về lớp đối tượng nhưng mô hình dự đoán nhầm sang lớp khác.
  • False Positives (FP): Số lượng pixel không thuộc lớp đối tượng nhưng bị mô hình phân loại nhầm vào lớp đó.

Nguồn dữ liệu thực nghiệm được thu thập trực tiếp bằng camera độ phân giải cao lắp đặt trên xe tự hành của trường Đại học Công nghệ Thông tin, điện thoại di động và phương tiện cá nhân lưu thông trong khu vực nghiên cứu.

Thiết kế và triển khai

Hệ thống được thiết kế theo quy trình khép kín từ khâu thu nhận tín hiệu hình ảnh, tiền xử lý dữ liệu, trích xuất đặc trưng đến suy luận thời gian thực trên bo mạch nhúng.

1. Kiến trúc mạng và tham số kỹ thuật

Hệ thống sử dụng mạng MobileNetV3-Small làm bộ trích xuất đặc trưng (encoder) kết hợp khối Lite R-ASPP làm bộ giải mã (segmentation head). Cấu trúc các tầng của MobileNetV3-Small được triển khai với các tham số cụ thể:

Kích thước đầu vào (Input) Toán tử (Operator) Mở rộng (exp size) Số kênh ra (#out) Khối SE Hàm phi tuyến (NL) Bước trượt (Stride)
$224^2 \times 3$ Conv2d, $3\times3$ - 16 - HS 2
$112^2 \times 16$ Bneck, $3\times3$ 16 16 Có RE 2
$56^2 \times 16$ Bneck, $3\times3$ 72 24 - RE 2
$28^2 \times 24$ Bneck, $3\times3$ 88 24 - RE 1
$28^2 \times 24$ Bneck, $5\times5$ 96 40 Có HS 2
$14^2 \times 40$ Bneck, $5\times5$ 240 40 Có HS 1
$14^2 \times 40$ Bneck, $5\times5$ 240 40 Có HS 1
$14^2 \times 40$ Bneck, $5\times5$ 120 48 Có HS 1
$14^2 \times 48$ Bneck, $5\times5$ 144 48 Có HS 1
$14^2 \times 48$ Bneck, $5\times5$ 288 96 Có HS 2
$7^2 \times 96$ Bneck, $5\times5$ 576 96 Có HS 1
$7^2 \times 96$ Bneck, $5\times5$ 576 96 Có HS 1
$7^2 \times 96$ Conv2d, $1\times1$ - 576 Có HS 1
$7^2 \times 576$ Pool, $7\times7$ - - - - 1
$1^2 \times 576$ Conv2d $1\times1$, NBN - 1024 - HS 1
$1^2 \times 1024$ Conv2d $1\times1$, NBN - k - - 1

(Ghi chú thuật ngữ: HS: Hard-Swish; RE: ReLU; NBN: Không sử dụng chuẩn hóa Batch Normalization; SE: Squeeze-and-Excitation; Bneck: Bottleneck layer; k: số lớp đầu ra).

2. Môi trường phần mềm và hạ tầng tính toán

  • Môi trường huấn luyện trên đám mây: Google Colab chạy hệ điều hành Ubuntu 18.04, vi xử lý Intel Xeon 2 nhân xung nhịp 2,20 GHz hoặc 2,30 GHz, 13 GB RAM, kết hợp các thế hệ GPU như Tesla K80 (12 GB VRAM GDDR5), T4, P4 hoặc P100.
  • Nền tảng nhúng thực thi: Bo mạch NVIDIA Jetson TX2 Developer Kit trang bị vi xử lý Quad-core ARM và Dual-core Denver 2 CPU, GPU kiến trúc Pascal 256 nhân, chạy hệ điều hành Ubuntu 18.04 cài đặt qua gói NVIDIA Jetpack SDK (bao gồm CUDA, cuDNN và TensorRT).
  • Thư viện lập trình: Ngôn ngữ Python, OpenCV, NumPy phục vụ xử lý ảnh và ma trận; khung làm việc TensorFlow phiên bản 1.1x hỗ trợ xây dựng, huấn luyện mô hình.
  • Tối ưu hóa suy luận: Nhóm chuyển đổi mô hình huấn luyện từ Keras sang TensorFlow GraphDef, sau đó biên dịch và tối ưu hóa sang NVIDIA TensorRT nhằm tận dụng khả năng tính toán song song của nhân GPU Pascal, qua đó nâng cao tốc độ khung hình (FPS) trên thiết bị nhúng.

3. Quy trình xử lý tín hiệu đầu vào và đầu ra

  • Dữ liệu đầu vào: Luồng video định dạng số được thu nhận trực tiếp từ camera kết nối với bo mạch hoặc đọc từ tệp video lưu trữ.
  • Khởi động hệ thống: Thời gian khởi động chương trình từ lúc kích hoạt mã nguồn đến khi bắt đầu hiển thị kết quả phân đoạn thời gian thực trên bo mạch NVIDIA Jetson TX2 là 1 phút 50 giây.
  • Dữ liệu đầu ra:
    • Khi vận hành thực tế: Hệ thống xuất ra liên tục các mặt nạ nhị phân (binary mask) tương ứng với từng khung hình video theo thời gian thực. Mỗi khung hình phân tách thành các vùng giá trị màu tương ứng: làn đường, người đi bộ, phương tiện giao thông và nền (background).
    • Khi kiểm thử và đánh giá: Hệ thống xuất ảnh màu RGB, trong đó các lớp đối tượng được phủ các mặt nạ màu riêng biệt (ví dụ: làn đường phủ màu tím) để trực quan hóa và đo đạc độ chính xác.

Nội dung chính theo từng chương

Chương 1. Giới thiệu và tổng quan tình hình nghiên cứu

Chương này phân tích tổng quan bối cảnh phát triển của thị giác máy tính và hệ thống tự hành trên thế giới cũng như tại Việt Nam. Tác giả trình bày các công bố tiêu biểu về Semantic Segmentation như PSPNet, ShuffleNet, VGG16, ResNet và MobileNet. Tác giả dẫn chứng số liệu thực nghiệm từ nghiên cứu so sánh RT-Seg để làm rõ ưu thế của mạng MobileNet khi kết hợp với các bộ giải mã khác nhau. Đồng thời, văn bản chỉ rõ khoảng trống nghiên cứu trong nước: cơ sở hạ tầng giao thông Việt Nam có tính chất hỗn tạp, các tập dữ liệu quốc tế không thể tương thích, đòi hỏi phải tự xây dựng bộ dữ liệu riêng và lựa chọn mô hình gọn nhẹ có khả năng chạy thời gian thực trên thiết bị nhúng Jetson TX2. Chương này cũng xác định rõ 4 mục tiêu cụ thể và các phạm vi giới hạn kỹ thuật của đề tài.

Chương 2. Cơ sở lý thuyết và các công nghệ liên quan

Chương 2 trình bày chi tiết nền tảng lý thuyết của bài toán phân vùng hình ảnh, đối chiếu sự khác nhau giữa Object Detection, Semantic Segmentation và Instance Segmentation. Nội dung đi sâu phân tích cấu trúc của các mô hình học sâu:

  • MobileNetV3: Phân tích cơ chế tối ưu hóa tầng cuối (last stage) giúp dời lớp tích chập $1\times1$ qua tầng Average Pooling $7\times7$, qua đó xử lý đặc trưng ở độ phân giải $1\times1$, cắt giảm 7 mili-giây (tương đương 11% thời gian thực thi) và tiết kiệm 30 triệu phép tính nhân-cộng (MAdds). Việc thay thế hàm kích hoạt ReLU/Swish bằng H-Swish tại tầng tích chập đầu tiên cho phép giảm số lượng bộ lọc từ 32 xuống 16, tiết kiệm thêm 2 mili-giây và 10 triệu MAdds.
  • Lite R-ASPP: Cơ chế pooling kim tự tháp rút gọn sử dụng một nhánh tích chập $1\times1$ kết hợp Average Pooling toàn cục với kích thước kernel và bước trượt lớn, trích xuất đặc trưng đa độ phân giải nhanh hơn 34% so với MobileNetV2 R-ASPP trên tập dữ liệu Cityscapes.
  • Mask R-CNN và VGG16: Trình bày cấu trúc hai giai đoạn của Mask R-CNN (FPN, RPN, RoIAlign) và kiến trúc 16 tầng của VGG16.
  • Phần cứng và nền tảng: Giới thiệu thông số bo mạch NVIDIA Jetson TX2 và môi trường tính toán Google Colab.

Chương 3. Phân tích thiết kế hệ thống

Chương 3 mô tả toàn bộ quy trình thiết kế hệ thống, môi trường cài đặt, quy trình tối ưu hóa TensorRT và phương pháp xây dựng bộ dữ liệu 13.000 mẫu qua hai giai đoạn:

  • Xử lý dữ liệu làn đường và phát hiện lỗi lem lề: Khi chỉ gán nhãn duy nhất đối tượng làn đường, mô hình sau khi huấn luyện đã nhận diện nhầm và phủ màu lem sang toàn bộ lề đường do sự tương đồng về sắc thái màu sắc. Nhóm tác giả khắc phục bằng cách bổ sung thêm lớp nhãn đối tượng "lề đường" (sidewalk) vào tập dữ liệu, giúp mô hình phân định ranh giới mặt đường chính xác.
  • Tự động hóa gán nhãn người và xe: Sử dụng mô hình Mask R-CNN đã được huấn luyện trước trên tập MS COCO để tự động tách ảnh đối tượng người và phương tiện giao thông, sau đó lọc thủ công để loại bỏ các trường hợp nhận diện sai (ví dụ: thùng rác hình chim cánh cụt bị gán nhãn nhầm thành người).
  • Tiền xử lý dữ liệu: Xây dựng công cụ chuyển đổi nhãn sang ảnh xám (grayscale) với các mức giá trị quy ước: làn đường gán giá trị 255, người và xe gán giá trị 150, lề đường gán giá trị 50, nền xung quanh là 0. Định dạng ảnh được đóng gói thành tệp nén .pkl kích thước $512\times512$ pixel.
  • Quy trình hai giai đoạn: Giai đoạn một gán nhãn thủ công 6.000 mẫu trong khuôn viên UIT và Làng Đại học Quốc gia, sau đó huấn luyện mạng VGG16. Giai đoạn hai sử dụng chính mô hình VGG16 đã huấn luyện ở giai đoạn một để tự động phân đoạn đường và lề cho các dữ liệu thu thập mở rộng bên ngoài (bán kính dưới 50 km), kết hợp lọc và sửa lỗi thủ công để nâng tổng quy mô bộ dữ liệu lên 13.000 ảnh.

Chương 4. Kết quả thực nghiệm

Chương 4 trình bày các kiểm thử thực tế về quá trình huấn luyện mô hình, đánh giá độ chính xác phân vùng và tốc độ khung hình. Nội dung bao gồm việc kiểm tra độ hội tụ của hàm mất mát (loss), so sánh khả năng tương thích của bộ dữ liệu nhóm với bộ dữ liệu chuẩn quốc tế Cityscapes, thử nghiệm khả năng nhận diện hình ảnh đường sá nước ngoài khi sử dụng trọng số huấn luyện từ dữ liệu Việt Nam, cũng như khảo sát hiệu năng phân đoạn trong các điều kiện chiếu sáng biến thiên (ngược sáng, ánh sáng yếu).

Chương 5. Kết luận và hướng phát triển

Chương 5 tổng kết toàn bộ các kết quả đạt được đối với 4 mục tiêu đề tài, khẳng định khả năng chạy thực nghiệm của mô hình MobileNetV3-Small kết hợp LR-ASPP trên bo mạch NVIDIA Jetson TX2 với bộ dữ liệu đường sá tự xây dựng. Đồng thời, chương này vạch ra các hướng hoàn thiện hệ thống trong tương lai.

Kết quả và đóng góp

Nghiên cứu đã hoàn thành việc xây dựng và triển khai thực nghiệm hệ thống phân vùng ảnh đường giao thông trên phần cứng nhúng với các kết quả cụ thể:

  1. Xây dựng hoàn chỉnh bộ dữ liệu ảnh giao thông Việt Nam:

    • Quy mô gồm 13.000 ảnh kích thước $512\times512$ pixel đã được phân loại và gán nhãn theo cấu trúc ảnh xám phân cấp.
    • Giải quyết triệt để lỗi phân đoạn lem màu giữa làn đường và lề đường bằng phương pháp bổ sung lớp đối tượng lề đường độc lập vào quy trình huấn luyện.
    • Ứng dụng quy trình gán nhãn bán tự động kết hợp Mask R-CNN tiền huấn luyện và mạng VGG16, tiết kiệm đáng kể thời gian tạo dữ liệu mẫu lớn.

  2. Triển khai mô hình học sâu tối ưu trên phần cứng nhúng:

    • Tích hợp thành công kiến trúc mạng MobileNetV3-Small kết hợp khối Lite R-ASPP, bảo đảm mô hình có kích thước gọn nhẹ và độ phức tạp tính toán thấp.
    • Sử dụng thư viện NVIDIA TensorRT để chuyển đổi đồ thị suy luận từ mô hình Keras/TensorFlow, tối ưu hóa quá trình tính toán trên GPU Pascal 256 nhân của NVIDIA Jetson TX2.
    • Thời gian khởi động từ lúc kích hoạt chương trình đến khi thực thi phát hiện theo thời gian thực đo được là 1 phút 50 giây.

  3. Đóng góp của đề tài:

    • Khắc phục sự thiếu hụt dữ liệu huấn luyện thị giác máy tính cho giao thông nội địa, tạo ra bộ dữ liệu phản ánh đúng hiện trạng hạ tầng đường sá Việt Nam thay vì phụ thuộc vào các tập dữ liệu phương Tây vốn không tương thích.
    • Cung cấp giải pháp kỹ thuật khả thi trong việc kết hợp mạng MobileNetV3-Small, Lite R-ASPP và công cụ tăng tốc TensorRT để giải quyết bài toán Semantic Segmentation thời gian thực trên phần cứng nhúng phục vụ nghiên cứu xe tự hành.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ theo nội dung công bố trong khóa luận, hệ thống còn tồn tại một số giới hạn kỹ thuật:

  • Phạm vi thu thập dữ liệu mới chỉ tập trung trong khuôn viên Đại học Quốc gia TP.HCM, Trường Đại học Công nghệ Thông tin và một số tuyến đường lân cận trong bán kính dưới 50 km. Do đó, độ chính xác có thể suy giảm khi áp dụng mô hình tại các vùng địa lý khác có cấu trúc mặt đường và cảnh quan khác biệt.
  • Mô hình chỉ áp dụng cho các bề mặt đường đã được phủ nhựa; chưa hỗ trợ nhận diện các loại đường đất đỏ nông thôn hoặc đường giao thông chưa hoàn thiện.
  • Khả năng phân vùng hoạt động tối ưu trong điều kiện thời tiết thuận lợi ban ngày (sáng, trưa, chiều đủ ánh sáng); hiệu năng bị ảnh hưởng khi gặp sương mù hoặc điều kiện thời tiết phức tạp.
  • Thời gian khởi động hệ thống trên bo mạch NVIDIA Jetson TX2 còn kéo dài (1 phút 50 giây trước khi bắt đầu nhận diện real-time).

Các hướng mở rộng được tác giả đề xuất:

  • Tiếp tục mở rộng phạm vi thu thập dữ liệu ra nhiều tỉnh thành và dạng địa hình khác nhau tại Việt Nam nhằm nâng cao tính bao quát của mô hình.
  • Nâng cấp mô hình để xử lý tốt trong các điều kiện thời tiết bất lợi (mưa lớn, sương mù dày) và môi trường ban đêm thiếu sáng.
  • Tiếp tục tối ưu hóa đường ống suy luận nhằm rút ngắn thời gian khởi động ban đầu trên bo mạch Jetson TX2 và gia tăng độ ổn định của chỉ số FPS khi xử lý luồng video độ phân giải cao.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn hữu ích cho:

  • Sinh viên và học viên chuyên ngành Kỹ thuật Máy tính, Công nghệ Thông tin, Kỹ thuật Điều khiển và Tự động hóa đang nghiên cứu về Thị giác máy tính, Trí tuệ nhân tạo nhúng hoặc bài toán tự hành.
  • Các nhóm nghiên cứu phát triển xe tự hành hoặc robot di động cần tham khảo giải pháp xây dựng bộ phân đoạn mặt đường thời gian thực để cấp dữ liệu cho thuật toán điều khiển góc lái.
  • Những người phát triển ứng dụng cần tài liệu thực hành về quy trình chuyển đổi và tối ưu hóa mô hình từ Keras/TensorFlow sang NVIDIA TensorRT trên dòng phần cứng NVIDIA Jetson (TX1, TX2, Xavier, Nano).
  • Tài liệu cung cấp quy trình hữu ích tại Chương 3 về phương pháp luận xây dựng bộ dữ liệu ảnh bán tự động: từ kỹ thuật trích xuất khung hình từ video tránh trùng lặp, giải pháp phân tách nhãn bù trừ chống lem ranh giới (đường - lề), đến việc kết hợp mạng pretrained để tự động hóa khâu gán nhãn sơ bộ.

Câu hỏi thường gặp

1. Tại sao nhóm nghiên cứu không sử dụng trực tiếp các bộ dữ liệu nổi tiếng như Cityscapes hay MS COCO để huấn luyện mô hình?

Cấu trúc xây dựng cơ sở hạ tầng giao thông và các dạng mặt đường tại Việt Nam có sự khác biệt lớn so với các nước phương Tây. Bộ dữ liệu nước ngoài không phản ánh đúng hình thái đường sá, lề đường và phương tiện giao thông nội địa, dẫn đến việc mô hình huấn luyện bằng dữ liệu quốc tế sẽ bị giảm độ chính xác nghiêm trọng khi nhận diện trên đường phố Việt Nam.

2. Nguyên nhân nào khiến mô hình phân vùng ban đầu bị lem màu tím từ làn đường sang lề đường và cách khắc phục là gì?

Hiện tượng này xảy ra do màu sắc của mặt đường phủ nhựa và màu của phần lề đường có nhiều nét tương đồng, trong khi tập huấn luyện ban đầu chỉ gán nhãn duy nhất lớp đối tượng đường. Nhóm đã khắc phục bằng cách đưa thêm đối tượng "lề đường" vào tập dữ liệu và tiến hành gán nhãn độc lập cho cả lề đường và mặt đường, giúp mô hình phân biệt rõ ranh giới giữa hai bề mặt.

3. Khóa luận sử dụng các mức giá trị điểm ảnh nào trong ảnh xám để quy ước các lớp đối tượng khi huấn luyện?

Trong công cụ tiền xử lý ảnh xám (grayscale) với dải giá trị từ 0 đến 255, nhóm quy định:

  • Làn đường: gán giá trị 255.
  • Người và phương tiện giao thông (xe): gán giá trị 150.
  • Lề đường: gán giá trị 50.
  • Vùng nền xung quanh (background): các giá trị còn lại (0).

4. Quy trình xây dựng bộ dữ liệu 13.000 ảnh được chia làm mấy giai đoạn và sử dụng những công cụ hỗ trợ nào?

Quy trình gồm 2 giai đoạn:

  • Giai đoạn một (6.000 mẫu): Thu thập dữ liệu tại khuôn viên trường và Làng Đại học, gán nhãn thủ công mặt đường và lề đường, kết hợp mô hình Mask R-CNN tiền huấn luyện trên MS COCO để tách người và xe, sau đó huấn luyện mô hình trích xuất đặc trưng bằng mạng VGG16.
  • Giai đoạn hai (mở rộng lên 13.000 mẫu): Sử dụng chính mô hình VGG16 đã huấn luyện ở giai đoạn một để tự động phân vùng tách đường và lề cho các dữ liệu mới thu thập ngoài bán kính 50 km, lọc ảnh xấu để sửa thủ công và hoàn thiện tập dữ liệu đóng gói dạng .pkl kích thước $512\times512$.

5. Vai trò của thư viện NVIDIA TensorRT trong hệ thống nhúng của đề tài là gì?

TensorRT đóng vai trò là thư viện suy luận hiệu suất cao, giúp tối ưu hóa đồ thị mạng nơ-ron sau khi huấn luyện. Bằng cách chuyển đổi mô hình từ Keras sang TensorFlow rồi biên dịch sang TensorRT, hệ thống tận dụng tối đa năng lực phần cứng của GPU NVIDIA Pascal 256 nhân trên bo mạch Jetson TX2, giúp gia tăng đáng kể tốc độ khung hình (FPS) nhằm bảo đảm yêu cầu vận hành thời gian thực.

Kết luận

Khóa luận tốt nghiệp của tác giả Phạm Đình Anh Vũ và Mai Trọng Nghĩa đã giải quyết thành công bài toán phân vùng ngữ nghĩa thời gian thực cho hình ảnh giao thông tại Việt Nam trên hệ thống nhúng. Thông qua việc kết hợp kiến trúc MobileNetV3-Small, bộ giải mã Lite R-ASPP và công cụ tối ưu TensorRT trên bo mạch NVIDIA Jetson TX2, hệ thống đạt tốc độ xử lý đáp ứng yêu cầu cung cấp dữ liệu cho phân hệ điều khiển góc lái xe tự hành. Công trình đóng góp một bộ dữ liệu thực nghiệm gồm 13.000 ảnh gán nhãn chuẩn hóa cho đường sá Việt Nam cùng giải pháp khắc phục hiện tượng nhiễu ranh giới mặt đường, tạo tiền đề kỹ thuật vững chắc cho các nghiên cứu phát triển phương tiện tự hành nội địa tiếp theo.