Bối cảnh và vấn đề nghiên cứu

Trong xu thế phát triển của tự động hóa và trí tuệ nhân tạo, ngành công nghiệp xe tự hành đang được đầu tư nghiên cứu mạnh mẽ tại các quốc gia như Mỹ, Anh, Nhật Bản và Trung Quốc với sự tham gia của các doanh nghiệp như Tesla, Waymo, Uber, Baidu, AutoX và Pony.ai. Việc ứng dụng thị giác máy tính và học sâu cho phép phương tiện nhận diện môi trường xung quanh thông qua hệ thống cảm biến nhằm đưa ra các phản ứng an toàn trong điều kiện giao thông biến đổi liên tục.

Tuy nhiên, việc triển khai các mô hình học sâu trực tiếp lên các hệ thống nhúng biên trên xe tự hành đối mặt với các thách thức kỹ thuật lớn:

  1. Các mô hình đơn tác vụ khi chạy tuần tự (nhận diện đối tượng, phát hiện làn đường, phân đoạn vùng lái) làm gia tăng độ trễ tổng thể của hệ thống.
  2. Các mô hình đa tác vụ hiện có (như YOLOP, HybridNets) thường có kích thước lớn, số lượng tham số cao, đòi hỏi tài nguyên tính toán lớn và khó tối ưu hóa đồng thời trên các thiết bị phần cứng hạn chế.
  3. Thiếu các giải pháp xử lý đồng thời (concurrent/parallel processing) tối ưu hóa khả năng khai thác tài nguyên GPU trên các thiết bị biên.

Nhằm giải quyết các hạn chế trên, tác giả Nguyễn Đình Phúc thực hiện khóa luận tốt nghiệp ngành Kỹ thuật Máy tính tại Trường Đại học Công nghệ Thông tin – ĐHQG TP.HCM (2024), dưới sự hướng dẫn của TS. Lâm Đức Khải và KS. Chế Quang Huy.

Mục tiêu và nhiệm vụ nghiên cứu cụ thể của đề tài bao gồm:

  1. Thử nghiệm và đánh giá các biến thể mô hình nhẹ thuộc họ YOLO (YOLOv7-tiny, YOLOv8n, YOLOv8s) cho tác vụ Phát hiện đối tượng phương tiện giao thông.
  2. Thiết kế và phát triển mô hình phân đoạn ngữ nghĩa đa tác vụ TwinLiteNet có chi phí tính toán thấp cho hai tác vụ: Phân đoạn khu vực lái xe và Phát hiện làn đường.
  3. Đánh giá toàn diện các mô hình trên tập dữ liệu chuẩn BDD100K ở nhiều độ phân giải khác nhau.
  4. Xây dựng kiến trúc phần mềm xử lý đồng thời đa tác vụ bằng kỹ thuật đa tiến trình và triển khai thực nghiệm trên hai nền tảng thiết bị biên là NVIDIA Jetson TX2 và NVIDIA Jetson Xavier.

Đối tượng nghiên cứu là các mô hình mạng nơ-ron tích chập (CNN), cơ chế chú ý (Dual Attention Modules), kỹ thuật tối ưu hóa phần mềm và mô hình trên phần cứng nhúng biên. Phạm vi nghiên cứu tập trung vào bài toán nhận thức thị giác 2D từ camera hành trình với dữ liệu giao thông thực tế BDD100K và môi trường thực thi TensorRT FP16 trên dòng vi xử lý nhúng NVIDIA Jetson.


Cơ sở lý thuyết và phương pháp nghiên cứu

Khóa luận xây dựng dựa trên các nền tảng lý thuyết và công nghệ chuyên sâu trong thị giác máy tính và tính toán biên:

  • Bài toán phát hiện đối tượng: So sánh phương pháp hai giai đoạn (Faster R-CNN, Mask R-CNN) với phương pháp một giai đoạn (SSD, MobileNetV2, YOLO). Nghiên cứu tập trung vào các kiến trúc tiên tiến gồm YOLOv7 với khối mở rộng mạng tổng hợp lớp hiệu quả (E-ELAN) và YOLOv8 với cấu trúc C2f, SPPF kết hợp cơ chế không sử dụng neo (anchor-free).
  • Bài toán phân đoạn ngữ nghĩa và phát hiện làn đường: Phân tích các mô hình nhẹ và cơ chế trích xuất đặc trưng như ENet, ERFNet, PSPNet, ESPNet (sử dụng mô-đun Efficient Spatial Pyramid - ESP), kết hợp mô-đun chú ý kép (Dual Attention Modules - DAM gồm Position Attention Module - PAM và Channel Attention Module - CAM). Đối với làn đường, tác giả tham khảo các phương pháp từ SCNN, ENet-SAD, CondLaneNet.
  • Mô hình đa tác vụ: Đánh giá các mạng tích hợp chia sẻ backbone và đa nhánh giải mã như YOLOP (CSPDarknet), HybridNets (EfficientNet-B3), LSNet, MultiNet.
  • Kỹ thuật tối ưu hóa thiết bị biên: Tối ưu hóa suy luận bằng công cụ TensorRT, lượng tử hóa nửa độ chính xác (FP16), tích chập tách biệt theo chiều sâu (depthwise separable convolution) và kỹ thuật lập trình đa tiến trình (multiprocessing).

Phương pháp nghiên cứu thực nghiệm bao gồm:

  • Phương pháp học chuyển giao (Transfer Learning): Tận dụng trọng số tiền huấn luyện từ tập dữ liệu MS COCO (80 lớp đối tượng) để khởi tạo cho các mô hình YOLO, sau đó tái huấn luyện trên tập dữ liệu BDD100K.
  • Tiền xử lý và chuẩn hóa dữ liệu: Tái cấu trúc lớp nhãn của BDD100K: gộp các lớp "car", "truck", "bus", "train" thành một lớp "vehicles" duy nhất; gộp "Directly Drivable Area" và "Alternative Drivable Area" thành "Drivable Area"; hợp nhất hai viền ranh giới làn đường thành một làn trung tâm và mở rộng giãn nở nhãn thêm 8 điểm ảnh trong tập huấn luyện.
  • Đánh giá định lượng: Đo lường độ chính xác thông qua các chỉ số Precision, Recall, mAP50, mAP50:95 cho phát hiện đối tượng; mIoU (Mean Intersection over Union) và IoU cho phân đoạn; đo lường hiệu năng bằng FLOPs, dung lượng tham số (#Params), độ trễ suy luận (FPS, ms), mức sử dụng tài nguyên GPU và công suất tiêu thụ năng lượng (Watts).

Nguồn dữ liệu sử dụng:

  • Tập dữ liệu BDD100K (Berkeley Deep Drive 100K) gồm 70.000 ảnh huấn luyện, 10.000 ảnh đánh giá và 20.000 ảnh kiểm thử với độ phân giải gốc đa dạng.
  • Tập dữ liệu MS COCO dùng cho giai đoạn tiền huấn luyện.

Thiết kế và triển khai

1. Kiến trúc mô hình phân đoạn ngữ nghĩa đa tác vụ TwinLiteNet

TwinLiteNet được thiết kế với kích thước cực nhẹ (chỉ 0.4 triệu tham số), bao gồm ba thành phần chính:

  • Bộ mã hóa (Encoder): Sử dụng kiến trúc ESPNet-C dựa trên các mô-đun ESP (Efficient Spatial Pyramid). Mô-đun ESP chia tích chập chuẩn thành tích chập điểm (point-wise convolution) để giảm số chiều không gian, sau đó sử dụng song song các tích chập giãn nở (dilated convolution) với tỷ lệ giãn nở $2^{k-1}$ ($k={1, \dots, K}$) và ghép nối kết quả. Mạng sử dụng siêu tham số $\alpha$ để điều chỉnh độ sâu lặp lại của mô-đun ESP tại các cấp độ không gian, kết hợp hàm kích hoạt PReLU và chuẩn hóa lô (Batch Normalization).
  • Mô-đun chú ý kép (DAM - Dual Attention Modules): Bản đồ đặc trưng từ bộ mã hóa được đưa qua hai nhánh song song:
    • Position Attention Module (PAM): Tính toán ma trận liên kết không gian giữa tất cả các cặp điểm ảnh để nắm bắt ngữ cảnh tầm xa.
    • Channel Attention Module (CAM): Khai thác sự phụ thuộc tương quan giữa các kênh bản đồ đặc trưng.
    • Đầu ra của PAM và CAM được biến đổi qua tích chập và cộng theo từng phần tử.
  • Bộ giải mã đa nhánh (Decoders): Thiết kế hai nhánh giải mã độc lập riêng biệt cho tác vụ Phân đoạn khu vực lái xe và Phát hiện làn đường. Mỗi nhánh sử dụng chuỗi tích chập chuyển vị (transposed convolution) kết hợp Batch Normalization và PReLU để khôi phục kích thước ảnh về $2 \times H \times W$.
  • Hàm mất mát kết hợp: Mô hình được huấn luyện bằng tổng hàm mất mát: $$\text{Loss}{total} = \text{Loss}{focal} + \text{Loss}_{tversky}$$ Trong đó, Focal Loss xử lý các mẫu khó dự đoán và cân bằng phân loại nền/đối tượng; Tversky Loss bổ sung các trọng số phạt dương giả (FP) và âm giả (FN) nhằm tối ưu hóa sự mất cân bằng điểm ảnh vùng biên.

2. Tối ưu hóa mô hình phát hiện đối tượng YOLO

Để giảm tải tính toán trên thiết bị biên, tác giả tái cấu trúc lớp đầu ra của các mô hình YOLOv7-tiny, YOLOv8n và YOLOv8s. Khi gom 80 lớp của COCO thành 1 lớp "vehicles" trên BDD100K:

  • Đối với lưới $S \times S$ có 3 neo, kích thước tensor đầu ra giảm từ $S \times S \times (3 \times 85) = S \times S \times 255$ xuống còn $S \times S \times (3 \times 6) = S \times S \times 18$.
  • Giảm thiểu đáng kể kích thước tensor trung gian giúp tăng tốc độ xử lý các phép tính ma trận trên bộ nhớ GPU có băng thông hạn chế.

3. Kiến trúc phần mềm xử lý đồng thời đa tác vụ

Hệ thống xử lý đa tác vụ thời gian thực được thiết kế dựa trên mô hình đa tiến trình (multiprocessing) nhằm loại bỏ thời gian chờ rỗng giữa các mô hình:

  • Luồng chính (Main Process): Đọc khung hình từ cảm biến/camera, đưa qua khối Preprocessing data (chuyển đổi tensor, chuẩn hóa [0, 1], định cỡ lại ảnh về $640 \times 384$), gán nhãn định danh khung hình duy nhất (ID) và đẩy vào hàng đợi Input Queue.
  • Tiến trình con 1 (Process 1): Lấy dữ liệu từ Input Queue, thực thi suy luận mô hình YOLO (TensorRT FP16) để trích xuất hộp bao đối tượng, đóng gói kết quả dạng ["model", "ID", "classes", "confidence", "bounding box"] và gửi vào Output Queue.
  • Tiến trình con 2 (Process 2): Đồng thời lấy dữ liệu từ Input Queue, thực thi suy luận mô hình TwinLiteNet để trích xuất mặt nạ phân đoạn, đóng gói kết quả dạng ["model", "ID", "lane-line mask", "drivable area mask"] và gửi vào Output Queue.
  • Đồng bộ hóa: Cơ chế quản lý ID cho phép hệ thống tổng hợp chính xác kết quả nhận diện từ hai tiến trình con trên cùng một khung hình ngay cả khi tốc độ suy luận của hai mô hình có sự chênh lệch thời gian.

Nội dung chính theo từng chương

Chương 1: Giới thiệu đề tài

Chương này tổng quan về ngành công nghiệp xe tự hành thế giới, vai trò của AI và thị giác máy tính trong hệ thống điều khiển tự động. Tác giả chỉ ra các rào cản kỹ thuật của các mô hình học sâu hiện nay khi chạy tuần tự hoặc các mô hình đa nhiệm cồng kềnh trên thiết bị phần cứng nhúng biên. Từ đó, tác giả đặt vấn đề, xác định mục tiêu nghiên cứu và thiết lập bảng chỉ tiêu kỹ thuật cần đạt: đối tượng phát hiện đạt tốc độ $>25\text{ FPS}$, phân đoạn vùng lái đạt $>90\text{ mIoU}$ và phát hiện làn đường đạt $>26\text{ IoU}$ với tốc độ $>20\text{ FPS}$ trên thiết bị biên.

Chương 2: Cơ sở lý thuyết đề tài

Trình bày chi tiết các lý thuyết nền tảng:

  • Tổng quan cấu trúc và cơ chế của mạng nơ-ron tích chập (CNN).
  • Phân tích ưu nhược điểm của các thuật toán phát hiện đối tượng một giai đoạn (YOLO, SSD) và hai giai đoạn (Faster R-CNN).
  • Cơ chế của các mô hình phân đoạn ngữ nghĩa (ENet, ERFNet, ESPNet, PSPNet) và các mô-đun chú ý không gian/kênh (PAM, CAM).
  • Các phương pháp phát hiện làn đường từ phân đoạn điểm ảnh đến dự đoán tham số hình học.
  • Các mô hình đa tác vụ tiêu biểu (Mask R-CNN, YOLOP, HybridNets, MultiNet, LSNet).
  • Kỹ thuật tính toán trên thiết bị biên dòng NVIDIA Jetson, các phương pháp nén mạng nơ-ron (lượng tử hóa, cắt tỉa, tích chập tách biệt) và nền tảng tăng tốc TensorRT.

Chương 3: Giải pháp đề xuất

Tác giả đề xuất giải pháp kỹ thuật toàn diện:

  • Lựa chọn và phân tích kiến trúc YOLOv7-tiny, YOLOv8n, YOLOv8s.
  • Phương pháp xử lý dữ liệu: chuyển đổi tập nhãn BDD100K sang đơn lớp phương tiện "vehicles", hợp nhất vùng lái xe an toàn và xử lý nhãn làn đường trung tâm.
  • Kỹ thuật huấn luyện học chuyển giao trên 100 chu kỳ (epochs), kích thước lô 32, ảnh đầu vào $640 \times 640$ với bộ tối ưu hóa Adam và các kỹ thuật tăng cường dữ liệu không gian HSV, biến đổi hình học.
  • Thiết kế chi tiết kiến trúc mạng TwinLiteNet (0.4M tham số) với khối mã hóa ESPNet-C, khối chú ý DAM và hai khối giải mã độc lập, áp dụng hàm mất mát kết hợp Focal Loss và Tversky Loss.
  • Thiết kế kiến trúc phần mềm xử lý đa tiến trình đồng thời với hàng đợi dữ liệu và định danh khung hình ID trên Jetson TX2 và Xavier.

Chương 4: Đánh giá kết quả thực nghiệm

Chương 4 thực hiện các đo đạc và phân tích thực nghiệm trên máy chủ GPU RTX A5000 và hai thiết bị biên Jetson Xavier, Jetson TX2:

  • Đo đạc chi phí tính toán (FLOPs, tham số, FPS có/không có TensorRT) cho các mô hình YOLO.
  • Đánh giá độ chính xác (Precision, Recall, mAP50, mAP50:95) của YOLOv7-tiny, YOLOv8n, YOLOv8s trên 4 mức độ phân giải ($640\times384$, $480\times288$, $416\times256$, $352\times224$) trong các điều kiện giao thông ban ngày, ban đêm, đường cao tốc và đô thị đông đúc.
  • Đánh giá độ trễ và công suất tiêu thụ năng lượng (Watts) trên Jetson TX2 và Xavier với kích thước lô 1 và 8.
  • Đánh giá hiệu năng của TwinLiteNet về độ chính xác phân đoạn vùng lái (mIoU) và phát hiện làn đường (IoU).
  • So sánh hiệu năng giữa cơ chế xử lý tuần tự truyền thống và xử lý đồng thời đa tác vụ về độ trễ hệ thống và mức độ chiếm dụng GPU.

Chương 5: Kết luận và hướng phát triển

Tổng kết các kết quả nghiên cứu đã đạt được về độ chính xác, tốc độ xử lý thời gian thực và khả năng tiết kiệm năng lượng của hệ thống đề xuất. Đưa ra các ưu điểm chính của mô hình và đề xuất các hướng phát triển tiếp theo nhằm nâng cao khả năng ứng dụng thực tế.


Kết quả và đóng góp

1. Kết quả thực nghiệm chi tiết

a. Đánh giá chi phí tính toán và hiệu năng các mô hình YOLO

Thực nghiệm trên hệ thống máy chủ GPU NVIDIA GeForce RTX A5000 (32GB RAM, CPU Intel Core i9-10900X):

Mô hình Số tham số (#Params) FLOPs FPS CPU FPS GPU (Gốc) FPS GPU (TensorRT FP16)
YOLOv8n Nhỏ nhất Thấp nhất 59 234 947
YOLOv7-tiny Gấp đôi YOLOv8n Trung bình 41 Cao hơn YOLOv8n 919
YOLOv8s Lớn nhất 17.06G ($640\times384$) 31 229 554

b. Đánh giá độ chính xác của các mô hình YOLO trên tập BDD100K

Độ phân giải Mô hình FLOPs Precision (%) Recall (%) mAP50 (%) mAP50:95 (%)
$640 \times 384$ YOLOv8s 17.06G Cao nhất Cao nhất 86.85 56.70
YOLOv7-tiny Trung bình Thấp hơn YOLOv8n Cao hơn YOLOv8n 84.56 -
YOLOv8n Thấp nhất Cao Thấp 83.20 -
$352 \times 224$ YOLOv8s 13.59G - - 65.00 40.00
YOLOv7-tiny - Kém 0.8% so với v8n Hơn 5.2% so với v8n 79.20 -
YOLOv8n - Cao Thấp - -

Nhận xét đặc tính: YOLOv8s đạt độ chính xác cao nhất ở mọi độ phân giải nhưng yêu cầu tài nguyên gấp 3.5 lần YOLOv8n và 2.2 lần YOLOv7-tiny. YOLOv8n có Precision cao (hạn chế dương tính giả trong đô thị đông đúc), trong khi YOLOv7-tiny có Recall vượt trội ở độ phân giải thấp và phát hiện đối tượng nhỏ/xa tốt hơn.

c. Đánh giá thực thi trên thiết bị biên (NVIDIA Jetson Xavier & TX2)

Kích thước Mô hình Tốc độ (FPS) - Lô 1 Tốc độ (FPS) - Lô 8 Năng lượng (Watts) - Lô 1 Năng lượng (Watts) - Lô 8
Jetson Xavier ($640\times384$) YOLOv8n $184 \pm 4.0$ $277 \pm 0$ $9.74 \pm 0.5$ -
YOLOv7-tiny $172 \pm 3.0$ $251 \pm 1$ - -
YOLOv8s $101 \pm 1.0$ $143 \pm 0$ 12.62 Tăng +5.57W
Jetson TX2 ($640\times384$) YOLOv8n $83 \pm 0$ $98 \pm 0$ 3.07 -
YOLOv7-tiny $76 \pm 0$ $85 \pm 0$ - -
YOLOv8s $38 \pm 0$ $43 \pm 0$ 5.17 Tăng +1.34W

Ở độ phân giải $352 \times 224$ (Lô 1): YOLOv7-tiny đạt 328 FPS trên Xavier và 161 FPS trên TX2; YOLOv8n đạt 315 FPS trên Xavier và 182 FPS trên TX2; YOLOv8s đạt 202 FPS trên Xavier và 91 FPS trên TX2.

d. Đánh giá mô hình TwinLiteNet và hệ thống xử lý đồng thời

  • Kích thước mô hình: Dung lượng siêu nhẹ với chỉ 0.4 triệu tham số.
  • Độ chính xác: Đạt 91.3% mIoU trong tác vụ Phân đoạn khu vực lái xe và 31.08% IoU trong tác vụ Phát hiện làn đường trên tập dữ liệu BDD100K.
  • Tốc độ suy luận: Đạt 60 FPS trên thiết bị biên Jetson Xavier.
  • Hiệu quả xử lý đồng thời: So với xử lý tuần tự, kiến trúc xử lý đồng thời đa tiến trình tối ưu hóa mức độ chiếm dụng GPU trên Jetson TX2 và Xavier, giúp giảm độ trễ hệ thống (tiết kiệm 1.6 ms trên Xavier và giảm đáng kể từ mốc 163.6 ms khi xử lý tuần tự trên TX2).

2. Đóng góp của đề tài

  • Đề xuất mô hình phân đoạn ngữ nghĩa đa tác vụ TwinLiteNet với kiến trúc kết hợp ESPNet-C và Dual Attention Modules (DAM), đạt được sự cân bằng tối ưu giữa độ chính xác và tốc độ xử lý thời gian thực với lượng tham số nhỏ (0.4M).
  • Cung cấp bộ thực nghiệm đối sánh toàn diện về độ chính xác, tốc độ suy luận (FPS) và mức tiêu thụ năng lượng (Watts) của các biến thể YOLO nhẹ (v7-tiny, v8n, v8s) trên các nền tảng nhúng biên thực tế (Jetson TX2, Xavier).
  • Đề xuất giải pháp và kiến trúc phần mềm xử lý đa tiến trình đồng thời có cơ chế đồng bộ định danh ID, tối ưu hóa tài nguyên phần cứng GPU và giảm độ trễ cho bài toán nhận thức xe tự hành.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các kết quả và đánh giá thực nghiệm trong văn bản, các hạn chế và hướng mở của đề tài bao gồm:

  • Độ chính xác trong các điều kiện phức tạp:
    • Trong điều kiện giao thông đô thị đông đúc, các đối tượng bị che khuất nhiều vẫn khiến YOLOv7-tiny có xu hướng nhận diện lỗi (dương tính giả), trong khi YOLOv8n dễ bỏ sót các đối tượng nhỏ và ở xa.
    • Điều kiện ban đêm với ánh sáng chói lóa từ đèn xe đối diện và tầm nhìn hạn chế vẫn tạo ra rào cản nhận dạng cho các mô hình kích thước nhỏ.
  • Giới hạn số lớp đối tượng: Tác giả đã tinh giản tập nhãn BDD100K về một lớp duy nhất ("vehicles") cho phát hiện đối tượng và gộp hai lớp vùng lái thành "Drivable Area", do đó hệ thống chưa phân loại chi tiết từng loại phương tiện (xe buýt, xe tải, xe con) hoặc các vùng lái phụ trợ riêng biệt.
  • Hướng nghiên cứu mở rộng:
    • Tiếp tục tối ưu hóa kiến trúc để nâng cao khả năng phát hiện vật thể nhỏ bị che khuất mà không làm tăng đáng kể số lượng FLOPs.
    • Nghiên cứu áp dụng thêm các kỹ thuật nén mô hình như lượng tử hóa sau huấn luyện (Post-training Quantization INT8) hoặc huấn luyện nhận thức lượng tử (Quantization-aware Training) để giảm sâu hơn nữa mức tiêu thụ năng lượng trên thiết bị biên.
    • Tích hợp thêm các cảm biến khác (Lidar, Radar) và mở rộng sang bài toán theo dõi đối tượng (Object Tracking) trong không gian 3D.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị chuyên môn cao đối với:

  • Sinh viên và học viên ngành Kỹ thuật Máy tính, Công nghệ Thông tin, Khoa học Dữ liệu, Trí tuệ Nhân tạo: Cung cấp tài liệu thực hành chi tiết về quy trình tối ưu hóa mô hình học sâu (Deep Learning) từ giai đoạn huấn luyện trên máy chủ đến bước triển khai thực tế trên thiết bị biên (Edge AI) với TensorRT.
  • Kỹ sư và nhà nghiên cứu phát triển hệ thống xe tự hành (Autonomous Vehicles): Tham khảo kiến trúc mạng phân đoạn siêu nhẹ TwinLiteNet (0.4M tham số) và kiến trúc phần mềm xử lý đồng thời đa tiến trình giải quyết bài toán nghẽn cổ chai độ trễ.
  • Các phần đáng tham khảo nhất trong tài liệu:
    • Mục 3.2: Chi tiết thiết kế kiến trúc mô hình TwinLiteNet, cấu trúc mô-đun ESP, PAM, CAM và công thức toán học của hàm mất mát kết hợp Focal Loss - Tversky Loss.
    • Mục 3.3: Mô hình kiến trúc phần mềm xử lý đồng thời sử dụng hàng đợi Input Queue, Output Queue và kỹ thuật đồng bộ hóa bằng ID khung hình.
    • Chương 4: Toàn bộ các bảng số liệu thực nghiệm đo đạc độ trễ, FPS và công suất tiêu thụ điện (Watts) trên Jetson TX2 và Xavier.

Câu hỏi thường gặp

1. Tại sao tác giả lại gộp các lớp "car", "truck", "bus", "train" thành một lớp "vehicles" duy nhất trong bài toán phát hiện đối tượng?

Việc gộp các lớp này nhằm giải quyết tình trạng mất cân bằng dữ liệu nghiêm trọng trong tập dữ liệu BDD100K (lớp "car" chiếm số lượng áp đảo so với "train", "bus", "truck"). Đồng thời, việc giảm số lượng lớp đầu ra từ 80 lớp xuống 1 lớp giúp giảm kích thước tensor đầu ra của mỗi ô lưới từ $S \times S \times 255$ xuống $S \times S \times 18$, giúp tiết kiệm bộ nhớ GPU và tăng đáng kể tốc độ tính toán ma trận trên thiết bị biên.

2. Mô hình TwinLiteNet được thiết kế như thế nào để đạt kích thước chỉ 0.4 triệu tham số?

TwinLiteNet sử dụng bộ mã hóa nhẹ ESPNet-C dựa trên các mô-đun Efficient Spatial Pyramid (ESP) kết hợp tích chập điểm và tích chập giãn nở song song để giảm chi phí tính toán. Sau đó, mô hình tích hợp khối chú ý kép (DAM gồm PAM và CAM) để tổng hợp ngữ cảnh toàn cục mà không làm tăng quá nhiều tham số, và cuối cùng phân tách thành hai khối giải mã độc lập (Transposed Convolution) cho hai tác vụ phân đoạn làn đường và vùng lái xe.

3. Hiệu năng thực tế của các mô hình YOLO (v7-tiny, v8n, v8s) trên thiết bị biên Jetson Xavier và TX2 khác nhau ra sao?

Trên Jetson Xavier (ảnh $640 \times 384$, lô 1), YOLOv8n đạt tốc độ cao nhất với $184\text{ FPS}$ (tiêu thụ $9.74\text{W}$), YOLOv7-tiny đạt $172\text{ FPS}$, và YOLOv8s đạt $101\text{ FPS}$ (tiêu thụ $12.62\text{W}$). Trên Jetson TX2, tốc độ tương ứng là $83\text{ FPS}$ (YOLOv8n, tiêu thụ $3.07\text{W}$), $76\text{ FPS}$ (YOLOv7-tiny) và $38\text{ FPS}$ (YOLOv8s, tiêu thụ $5.17\text{W}$).

4. Kiến trúc phần mềm của khóa luận giải quyết vấn đề chênh lệch thời gian suy luận giữa hai mô hình ra sao?

Tác giả thiết kế kiến trúc đa tiến trình với cơ chế đánh chỉ mục: mỗi khung hình sau khi qua luồng tiền xử lý chính sẽ được gán một định danh ID duy nhất trước khi đẩy vào Input Queue. Hai tiến trình Process 1 (chạy YOLO) và Process 2 (chạy TwinLiteNet) hoạt động độc lập, sau khi suy luận sẽ đóng gói kết quả kèm ID vào Output Queue, cho phép hệ thống tổng hợp chính xác thông tin nhận thức của cùng một khung hình mà không bị sai lệch dữ liệu.


Kết luận

Khóa luận của tác giả Nguyễn Đình Phúc đã nghiên cứu và phát triển thành công giải pháp thị giác máy tính thời gian thực cho xe tự hành thông qua việc kết hợp các biến thể mô hình YOLO nhẹ và mạng phân đoạn đa tác vụ TwinLiteNet (0.4 triệu tham số). Bằng việc tối ưu hóa cấu trúc mạng trên tập dữ liệu BDD100K và triển khai mô hình xử lý đồng thời đa tiến trình tăng tốc bởi TensorRT, hệ thống đạt hiệu năng cao trên các thiết bị biên NVIDIA Jetson Xavier và TX2 (đạt 91.3% mIoU vùng lái, 31.08% IoU làn đường và tốc độ lên tới hơn 100–180 FPS cho phát hiện đối tượng). Đề tài cung cấp những đóng góp thực nghiệm rõ ràng và có giá trị ứng dụng thực tiễn cao trong lĩnh vực tính toán biên và xe tự hành.