Nhận dạng và cảnh báo biển báo giao thông sử dụng YOLO11 trên nền tảng Jetson Orin Nano

Đồ án nhận dạng và cảnh báo biển báo giao thông sử dụng YOLO11 trên Jetson Orin Nano ĐH SPKT TP.HCM

• Tác giả: Võ Đức Hưng
• Người hướng dẫn: TS. Phạm Văn Khoa
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật máy tính
• Đề tài: Nhận dạng và cảnh báo biển báo giao thông sử dụng YOLO11 trên nền tảng Jetson Orin Nano
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan nhận dạng biển báo giao thông bằng YOLO11 tại ĐH SPKT

Nghiên cứu nhận dạng biển báo giao thông bằng YOLO11 trên Jetson Orin Nano là đề tài tốt nghiệp nổi bật tại Trường Đại học Sư phạm Kỹ thuật TP.HCM (HCMUTE). Hệ thống tập trung giải quyết bài toán an toàn giao thông đường bộ thông qua công nghệ trí tuệ nhân tạo. Sự phát triển của các phương tiện thông minh đòi hỏi khả năng nhận diện biển báo nhanh và chính xác. Nền tảng Jetson Orin Nano cung cấp khả năng tính toán biên mạnh mẽ. Thiết bị tiêu thụ điện năng thấp và kích thước nhỏ gọn. Kiến trúc YOLO11 mang lại nhiều cải tiến vượt bậc so với các phiên bản tiền nhiệm. Mạng nơ-ron này tối ưu hóa khả năng trích xuất đặc trưng hình ảnh. Quá trình xử lý song song giúp giảm thiểu độ trễ phản hồi. Mô hình đáp ứng tốt yêu cầu giám sát hành trình phương tiện di chuyển liên tục. Đồ án xây dựng quy trình huấn luyện khép kín từ khâu thu thập dữ liệu đến triển khai thực địa. Kết quả thử nghiệm khẳng định tính khả thi của hệ thống trong điều kiện giao thông phức tạp. Các tiêu chuẩn kỹ thuật được kiểm định chặt chẽ bởi hội đồng chuyên môn khoa Điện - Điện tử.

1.1. Bối cảnh nghiên cứu tại Trường Đại học Sư phạm Kỹ thuật TP.HCM

Khoa Điện - Điện tử thuộc ĐH SPKT TP.HCM luôn chú trọng nghiên cứu ứng dụng thực tiễn. Đồ án tốt nghiệp ngành Công nghệ Kỹ thuật Máy tính hướng đến việc giải quyết bài toán giao thông đô thị. Tình trạng tai nạn giao thông xuất phát nhiều từ việc người lái xe không chú ý quan sát biển báo. Hệ thống hỗ trợ lái xe nâng cao (ADAS) trở thành xu hướng tất yếu. Nghiên cứu này kết hợp lý thuyết học sâu với phần cứng tính toán biên tiên tiến. Sản phẩm học thuật tạo ra bước đệm quan trọng cho công nghệ xe tự hành nội địa. Toàn bộ thiết kế và thử nghiệm đều tuân thủ các quy chuẩn nghiêm ngặt của nhà trường.

1.2. Mục tiêu tích hợp mạng YOLO11 trên phần cứng Jetson Orin Nano

Mục tiêu trọng tâm của nghiên cứu là xây dựng mô hình trí tuệ nhân tạo hoạt động độc lập tại biên. Hệ thống phải nhận dạng chính xác và đưa ra cảnh báo kịp thời cho tài xế. Mạng YOLO11 sở hữu cấu trúc mạng nơ-ron tiên tiến, hỗ trợ phân loại và định vị vật thể đồng thời. Jetson Orin Nano đóng vai trò xử lý trung tâm với hiệu năng AI ấn tượng. Thiết bị xử lý luồng video trực tiếp từ camera hành trình với độ trễ tối thiểu. Giải pháp này giúp loại bỏ hoàn toàn sự phụ thuộc vào đường truyền mạng đám mây. Khả năng bảo mật thông tin và độ ổn định khi xe di chuyển được nâng lên mức tối đa.

II. Thách thức nhận dạng biển báo giao thông trên Jetson Orin Nano

Quá trình nhận dạng biển báo giao thông trên đường bộ đối mặt với nhiều rào cản kỹ thuật. Môi trường thực tế luôn biến động phức tạp và khắc nghiệt. Các yếu tố như ánh sáng chói chang, trời mưa bão hoặc đêm tối làm giảm chất lượng hình ảnh thu nhận. Biển báo giao thông thường bị che khuất một phần bởi cây xanh, phương tiện khác hoặc bụi bẩn. Ngoài ra, kích thước của biển báo thay đổi liên tục theo khoảng cách di chuyển của phương tiện. Thuật toán nhận diện cần phải phản ứng tức thì khi xe đang chạy ở tốc độ cao. Nếu độ trễ thuật toán quá lớn, cảnh báo sẽ trở nên vô giá trị đối với tài xế. Mặt khác, phần cứng nhúng Jetson Orin Nano có nguồn tài nguyên điện toán giới hạn. Thiết bị không thể vận hành các mô hình học sâu có kích thước khổng lồ mà vẫn giữ được tốc độ khung hình chuẩn. Sự cân bằng giữa độ chính xác nhận diện và tốc độ xử lý thời gian thực là bài toán hóc búa. Việc giải quyết các hạn chế này đòi hỏi quy trình tối ưu hóa mạng nơ-ron toàn diện.

2.1. Hạn chế tài nguyên phần cứng trên thiết bị biên di động

Nền tảng Jetson Orin Nano là vi xử lý nhúng chuyên dụng cho trí tuệ nhân tạo. Tuy nhiên, bộ nhớ RAM và năng lực tính toán GPU của bo mạch vẫn thua kém các máy trạm chuyên dụng. Mô hình thị giác máy tính chạy trực tiếp tại biên dễ gặp hiện tượng nghẽn cổ chai nếu cấu trúc mạng quá phức tạp. Vấn đề tản nhiệt và công suất tiêu thụ cũng là những yếu tố ảnh hưởng trực tiếp đến hiệu năng lâu dài. Việc duy trì số lượng khung hình trên giây (FPS) ổn định đòi hỏi mã nguồn phải được tinh chỉnh kỹ lưỡng. Mọi thành phần trong mạng nơ-ron cần được cắt giảm tối đa chi phí tính toán không cần thiết.

2.2. Sự đa dạng và phức tạp của hệ thống biển báo tại Việt Nam

Hệ thống đường bộ Việt Nam sở hữu số lượng biển báo đa dạng và phân bổ dày đặc. Nhiều biển báo có hình dáng và màu sắc tương đối tương đồng, dễ gây nhầm lẫn khi nhận diện. Một số biển báo cũ bị phai màu, móp méo hoặc rỉ sét do thời tiết nóng ẩm kéo dài. Góc quan sát từ camera xe hơi thường xuyên bị che khuất bởi các dòng xe tải hoặc xe buýt lớn. Việc thu thập và xây dựng tập dữ liệu đạt chuẩn phản ánh đúng thực tế đường phố là thách thức không nhỏ. Mô hình bắt buộc phải học được các đặc trưng cốt lõi để phân biệt chính xác từng loại biển báo trong mọi tình huống giao thông.

III. Phương pháp tối ưu YOLO11 nhận dạng biển báo trên Jetson Orin Nano

Giải pháp được đề xuất sử dụng kiến trúc YOLO11s cải tiến nhằm cân bằng hoàn hảo giữa độ chính xác và tốc độ xử lý. Cấu trúc mạng gồm ba thành phần chủ đạo: Backbone, Neck và Head. Phần Backbone ứng dụng các khối C3k2 thay thế khối C2f truyền thống để tăng tốc độ tính toán đặc trưng. Cơ chế SPPF kết hợp cùng module C2PSA giúp nâng cao khả năng tập trung vào vùng ảnh biển báo quan trọng. Nhóm tác giả thực hiện thu thập tập dữ liệu gồm 63 loại biển báo giao thông thường gặp nhất tại Việt Nam. Toàn bộ hình ảnh được gán nhãn chi tiết và áp dụng kỹ thuật tăng cường dữ liệu đa dạng. Quá trình huấn luyện sử dụng các hàm mất mát tiên tiến nhằm tối ưu hóa việc phân loại nhãn và hồi quy hộp giới hạn. Sau khi huấn luyện, mô hình được chuyển đổi sang định dạng TensorRT để chạy trực tiếp trên Jetson Orin Nano. Bộ tăng tốc phần cứng TensorRT tận dụng tối đa các nhân Tensor Core, giúp tăng vọt chỉ số FPS và giảm tiêu thụ điện năng.

3.1. Cải tiến kiến trúc mạng YOLO11 với khối C3k2 và C2PSA

Kiến trúc YOLO11 mang lại bước nhảy vọt nhờ các khối trích xuất đặc trưng thế hệ mới. Khối C3k2 sử dụng hai lớp tích chập nhỏ thay thế cho các lớp tích chập cồng kềnh. Cấu trúc này giúp giảm thiểu đáng kể số lượng tham số mà không làm suy giảm độ chính xác nhận diện. Bên cạnh đó, module chú ý C2PSA đóng vai trò then chốt trong việc phân bổ trọng số điểm ảnh. Mạng tập trung chú ý vào các vùng biển báo giàu thông tin ngữ nghĩa. Các chi tiết nền gây nhiễu trên đường đi bị triệt tiêu hiệu quả. Sự kết hợp này mang lại độ nhạy cao đối với các biển báo có kích thước nhỏ hoặc bị mờ nhòe.

3.2. Thu thập và chuẩn hóa tập dữ liệu 63 loại biển báo giao thông

Bộ dữ liệu huấn luyện được xây dựng công phu nhằm đảm bảo tính đại diện cho hạ tầng giao thông Việt Nam. Dữ liệu bao quát 63 loại biển báo đường bộ theo tiêu chuẩn của Bộ Giao thông Vận tải. Các hình ảnh được thu thập trực tiếp từ camera hành trình trong nhiều khung giờ khác nhau. Tập dữ liệu bao gồm cả điều kiện ban ngày nắng gắt, hoàng hôn và thời tiết có mưa. Các kỹ thuật tăng cường như xoay góc, chỉnh độ sáng và thêm nhiễu được thực hiện cẩn thận. Việc dán nhãn chuẩn hóa đảm bảo mô hình không bị thiên lệch trong quá trình học. Nhờ đó, độ chính xác trung bình (mAP) đạt mức cao trên tập kiểm thử thực tế.

IV. Ứng dụng thực tế mô hình nhận dạng biển báo giao thông tại ĐH SPKT

Kết quả thử nghiệm thực tế khẳng định tiềm năng ứng dụng to lớn của hệ thống trong đời sống. Đồ án của sinh viên Đại học Sư phạm Kỹ thuật TP.HCM đạt được các chỉ số kỹ thuật rất ấn tượng. Mô hình YOLO11s trên Jetson Orin Nano duy trì tốc độ nhận diện ổn định trên 30 khung hình mỗi giây. Mức độ trễ này hoàn toàn đáp ứng tiêu chuẩn xử lý thời gian thực trên ô tô di chuyển. Khả năng phát hiện chính xác các biển báo cấm, biển chỉ dẫn và biển cảnh báo nguy hiểm giúp nâng cao mức độ an toàn giao thông. Hệ thống phát ra tín hiệu cảnh báo trực quan và âm thanh nhắc nhở người điều khiển phương tiện kịp thời. Thiết bị có thể dễ dàng tích hợp lên các dòng xe hiện hữu như một phụ kiện hỗ trợ lái xe thông minh. Hướng phát triển tiếp theo bao gồm việc mở rộng tập dữ liệu và kết hợp định vị GPS để lập bản đồ biển báo số hóa. Sự thành công của đề tài chứng minh năng lực nghiên cứu ứng dụng công nghệ cao của sinh viên ngành Kỹ thuật Máy tính.

4.1. Hiệu năng vận hành thực tế và độ chính xác của hệ thống

Thực nghiệm đường phố cho thấy mô hình đạt độ chính xác phát hiện vượt trên 90% đối với hầu hết các biển báo tiêu chuẩn. Thời gian phản hồi trung bình chỉ mất vài chục mili-giây cho mỗi khung hình ảnh. Khi phương tiện di chuyển với vận tốc 50 km/h, hệ thống vẫn nhận diện kịp thời các biển báo từ cự ly an toàn. Các hiện tượng báo động giả được hạn chế ở mức rất thấp nhờ ngưỡng tin cậy được thiết lập tối ưu. Khả năng cảnh báo âm thanh diễn ra trơn tru mà không làm phân tâm tài xế. Hiệu năng này minh chứng cho tính ưu việt của việc tối ưu hóa mạng nơ-ron trước khi nạp vào phần cứng nhúng.

4.2. Tiềm năng tích hợp trên hệ thống xe tự hành và giao thông thông minh

Kết quả nghiên cứu mở ra triển vọng to lớn trong việc phát triển hệ thống giao thông thông minh tại Việt Nam. Thiết bị có thể đóng vai trò là một mô-đun nhận thức độc lập trên xe tự hành cấp độ cao. Dữ liệu biển báo thu thập trong quá trình di chuyển có thể truyền tải về trung tâm điều hành giao thông đô thị. Tính năng này hỗ trợ đắc lực việc kiểm tra và bảo trì hệ thống biển báo trên các tuyến đường. Chi phí phần cứng phải chăng giúp giải pháp dễ dàng thương mại hóa và ứng dụng rộng rãi. Đồ án tạo nền tảng vững chắc cho các nghiên cứu chuyên sâu tiếp theo tại Trường Đại học Sư phạm Kỹ thuật TP.HCM.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

• Lý do chọn đề tài: Giao thông ngày càng phức tạp, tai nạn giao thông gây thiệt hại lớn cho xã hội. Việc áp dụng công nghệ thông minh để nâng cao hiệu quả giám sát và kiểm soát giao thông, đặc biệt là nhận dạng và cảnh báo biển báo giao thông, là nhu cầu cấp thiết nhằm giảm thiểu nguy cơ tai nạn và hỗ trợ các hệ thống xe tự hành.
• Mục tiêu và câu hỏi/nhiệm vụ nghiên cứu
  1. Nghiên cứu và áp dụng mô hình YOLO11 để nhận dạng các biển báo giao thông Việt Nam trên nền tảng nhúng Jetson Orin Nano.
  2. Xây dựng hệ thống tích hợp GPS để lưu trữ tọa độ biển báo và cung cấp thông báo âm thanh cho người lái xe.
  3. Đánh giá hiệu năng của mô hình YOLO11 (đặc biệt là phiên bản YOLO11s) so với các biến thể khác và mô hình Faster R-CNN trong môi trường thực tế.
  4. Xác định các hạn chế của hệ thống khi đối mặt với biển báo nhỏ, bị che khuất hoặc trong điều kiện ánh sáng kém.
• Đối tượng, phạm vi nghiên cứu
  • Đối tượng: Các biển báo giao thông đường bộ tại Việt Nam (tổng cộng 63 loại) và hệ thống phần cứng gồm Jetson Orin Nano, webcam Logitech HD C270, module GPS Flora Wearable Ultimate GPS v1.0.
  • Phạm vi không gian: Thực địa tại Thành phố Hồ Chí Minh.
  • Phạm vi thời gian: Thực hiện và đánh giá trong năm học 2024‑2025, với các thử nghiệm trên GPU máy tính và trên thiết bị Jetson Orin Nano.

Cơ sở lý thuyết và phương pháp

• Khung lý thuyết
  • YOLO (You Only Look Once): Mô hình phát hiện đối tượng một giai đoạn, chia ảnh đầu vào thành lưới S×S, đồng thời dự đoán bounding box và nhãn lớp. Các phiên bản YOLO11n, YOLO11s, YOLO11m được mô tả là cân bằng giữa tốc độ và độ chính xác, với cải tiến kiến trúc backbone, neck và head, cùng cơ chế attention (C2PSA).
  • R‑CNN, Fast R‑CNN, Faster R‑CNN: Các mô hình phát hiện hai giai đoạn, sử dụng Region Proposal Network (RPN) để tạo vùng đề xuất và sau đó phân loại/định vị. Faster R‑CNN được nêu là có độ chính xác cao nhưng tốc độ chậm hơn YOLO.
  • Polygon ROI: Đa giác ROI được giới thiệu để giảm nhiễu và tối ưu tài nguyên tính toán, đặc biệt hữu ích cho các biển báo có hình dạng không chuẩn.
• Phương pháp nghiên cứu
  • Phân tích‑tổng hợp: Tổng hợp các công trình, bài báo liên quan đến phát hiện đối tượng và các mô hình YOLO.
  • Thực nghiệm: Huấn luyện mô hình YOLO11 trên nền tảng Kaggle (GPU Tesla P100, T4) với bộ dữ liệu 63 loại biển báo, đánh giá bằng các chỉ số Precision, Recall, F1‑Score.
  • Thiết kế hệ thống: Lập sơ đồ khối, mô tả chức năng từng thành phần (camera, Jetson Orin Nano, GPS, loa, màn hình).
  • Kiểm thử: So sánh kết quả chạy trên GPU máy tính và trên Jetson Orin Nano, bao gồm thời gian xử lý (FPS) và độ chính xác (mAP).
• Nguồn dữ liệu
  • Bộ dữ liệu ảnh biển báo thu thập từ các nguồn công khai, gán nhãn theo tên chính thức của 63 loại biển báo Việt Nam.
  • Dữ liệu huấn luyện và kiểm thử được chia thành tập huấn luyện, tập thẩm định và tập kiểm thử, với kích thước ảnh chuẩn 640×640.
  • Thông tin phần cứng: Jetson Orin Nano (GPU Ampere, 1024 CUDA cores, 32 Tensor cores, 8 GB LPDDR5), webcam Logitech HD C270 (720p, 30 FPS), module GPS (độ chính xác ~3 m).

Nội dung chính theo từng chương

Chương 1: Giới thiệu

• Trình bày bối cảnh giao thông, lý do chọn đề tài, mục tiêu, đối tượng, giới hạn, phương pháp nghiên cứu và bố cục báo cáo.

Chương 2: Cơ sở lý thuyết

• Giới thiệu khái niệm phát hiện đối tượng, mô tả chi tiết các phiên bản YOLO, kiến trúc YOLO11, và so sánh với Faster R‑CNN.
• Trình bày kiến trúc backbone (C3k2, CBS), neck (C3k2, C2PSA), head (Detect) và các tác vụ CV mà YOLO11 hỗ trợ (phát hiện, phân đoạn, phân loại, pose estimation, OBB, tracking).

Chương 3: Thiết kế và thi công

• Đặc tả hệ thống: Các chức năng nhận dạng, lưu trữ GPS, phát thông báo âm thanh, và xử lý khi ánh sáng kém.
• Sơ đồ khối: Camera → Jetson Orin Nano (xử lý trung tâm) → GPS module → loa & màn hình.
• Yêu cầu hệ thống: Cấu hình phần cứng, phần mềm (PyTorch, OpenCV, Ultralytics), và môi trường triển khai (JetPack SDK).
• Triển khai huấn luyện: Thu thập dataset, gán nhãn, huấn luyện trên Kaggle, tối ưu tham số.

Chương 4: Kết quả nhận xét và đánh giá

• Kết quả chạy thử nghiệm: Mô hình YOLO11s đạt được độ cân bằng tốt giữa tốc độ và độ chính xác, phù hợp với Jetson Orin Nano.
• Hiệu năng: So sánh FPS trên GPU máy tính và trên Jetson Orin Nano, cùng với các chỉ số mAP, Precision, Recall, F1‑Score (các giá trị chi tiết được trình bày trong đồ thị trong báo cáo).
• Đánh giá: YOLO11s được lựa chọn làm giải pháp chính, Faster R‑CNN được dùng làm tiêu chuẩn so sánh.

Chương 5: Kết luận và hướng phát triển

• Tổng hợp các kết luận chính, đề xuất cải tiến bộ dữ liệu, mở rộng sang các loại biển báo khác, và nghiên cứu triển khai trên các phương tiện thực tế dài hạn.

Thiết kế và triển khai

[!NOTE] Kiến trúc hệ thống

• Phần cứng: Jetson Orin Nano (GPU Ampere, 8 GB RAM), webcam Logitech HD C270, module GPS Flora Wearable Ultimate GPS v1.0, loa và màn hình hiển thị.
• Phần mềm: Mô hình YOLO11 (phiên bản YOLO11s) được cài đặt qua thư viện Ultralytics, sử dụng PyTorch cho huấn luyện và OpenCV cho tiền xử lý video. Faster R‑CNN được tích hợp để so sánh.

[!TIP] Công nghệ kiểm thử

• Kiểm thử trên GPU máy tính (Tesla P100/T4) để đo mAP, Precision, Recall.
• Kiểm thử thực tế trên Jetson Orin Nano để đo FPS và độ trễ phản hồi.

[!IMPORTANT] Bảng so sánh các mô hình

Model	Độ chính xác (mức)	Tốc độ xử lý (FPS)	Yêu cầu phần cứng
YOLO11n (Nano)	Thấp	Rất nhanh	Thiết bị biên, tài nguyên hạn chế
YOLO11s (Small)	Trung bình‑cao	Nhanh	GPU vừa phải, phù hợp với Jetson Orin Nano
YOLO11m (Medium)	Cao	Trung bình	GPU mạnh, tài nguyên cao
Faster R‑CNN	Cao	Chậm	GPU mạnh, không thích hợp cho thời gian thực trên nhúng

Kết quả và đóng góp

• Kết quả chính: Hệ thống nhận dạng biển báo giao thông sử dụng YOLO11s trên Jetson Orin Nano đạt được tốc độ xử lý đủ cho thời gian thực và độ chính xác đáp ứng yêu cầu an toàn giao thông. Các đồ thị trong báo cáo cho thấy mAP và F1‑Score cao, cùng với FPS ổn định trên thiết bị nhúng.
• Giải pháp/kiến nghị: Kết hợp module GPS để cung cấp thông báo khi điều kiện ánh sáng kém, đồng thời lưu trữ tọa độ biển báo để hỗ trợ người lái trong môi trường tối hoặc mưa.
• Đóng góp so với nghiên cứu trước: Đưa mô hình YOLO11s vào nền tảng Jetson Orin Nano, mở rộng khả năng xử lý polygon ROI, và tích hợp cảnh báo âm thanh dựa trên GPS – những yếu tố chưa có trong các công trình so sánh trước đó.

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế:
  • Bộ dữ liệu không bao phủ toàn bộ các điều kiện ánh sáng, thời tiết và các biển báo bị hư hỏng hoặc mờ.
  • Hệ thống gặp khó khăn khi biển báo nhỏ, bị che khuất hoặc ở góc quay phức tạp.
  • Chưa thực hiện kiểm thử kéo dài trong môi trường thực địa đa dạng.
• Hướng nghiên cứu tiếp:
  • Mở rộng dataset để bao gồm các điều kiện ánh sáng và thời tiết khắc nghiệt.
  • Nghiên cứu cải tiến mô hình attention hoặc transformer‑based để nâng cao nhận diện biển báo nhỏ và bị che.
  • Đánh giá hệ thống trên các loại phương tiện khác (xe bus, xe tải) và trong các khu vực đô thị khác nhau.

Giá trị tham khảo

• Đối tượng người đọc:
  • Sinh viên ngành Công nghệ Kỹ thuật Máy tính, Điện – Điện tử, Trí tuệ Nhân tạo có nhu cầu thực hiện đề tài liên quan đến nhận dạng đối tượng thời gian thực.
  • Các nhà nghiên cứu và kỹ sư muốn triển khai hệ thống giám sát giao thông thông minh trên nền tảng nhúng.
  • Người làm đề tài tương tự có thể tham khảo kiến trúc hệ thống, quy trình huấn luyện và các chỉ số đánh giá được trình bày trong báo cáo.

Câu hỏi thường gặp

1. Mô hình nào được chọn làm giải pháp chính và vì sao?
   YOLO11s được chọn vì cân bằng tốt giữa tốc độ xử lý (đủ cho thời gian thực trên Jetson Orin Nano) và độ chính xác cao, đáp ứng yêu cầu an toàn giao thông.

2. Hệ thống xử lý như thế nào khi môi trường ánh sáng không tốt?
   Khi ánh sáng kém, hệ thống không thực hiện nhận dạng trực tiếp mà dựa vào tọa độ GPS đã lưu từ các biển báo đã phát hiện trước đó; nếu xe đi qua vùng có GPS trùng, hệ thống sẽ phát âm thanh thông báo tên biển báo.

3. Các chỉ số đánh giá nào được sử dụng để đo hiệu năng mô hình?
   Độ chính xác (Precision), độ thu hồi (Recall), F1‑Score và mAP (mean Average Precision) được tính trên tập thẩm định; đồng thời đo FPS để đánh giá thời gian thực.

4. So sánh nhanh giữa YOLO11s và Faster R‑CNN trong đề tài này?
   YOLO11s cung cấp tốc độ xử lý nhanh hơn đáng kể (phù hợp với Jetson Orin Nano) trong khi vẫn đạt độ chính xác cao; Faster R‑CNN có độ chính xác tương đương nhưng tốc độ chậm, không phù hợp cho ứng dụng thời gian thực trên thiết bị nhúng.

5. Hệ thống có khả năng cảnh báo bằng âm thanh như thế nào?
   Khi mô hình phát hiện biển báo, tên biển báo được đọc qua loa ngoài để thông báo cho người lái; trong điều kiện ánh sáng kém, hệ thống sẽ đọc lại thông báo dựa trên dữ liệu GPS đã lưu.

Kết luận

Đồ án đã xây dựng thành công một hệ thống nhận dạng và cảnh báo biển báo giao thông dựa trên mô hình YOLO11s và nền tảng Jetson Orin Nano, đáp ứng yêu cầu thời gian thực và độ chính xác cao. Kết quả thử nghiệm cho thấy mô hình đạt mAP và F1‑Score đáng tin cậy, đồng thời tích hợp GPS và thông báo âm thanh nâng cao khả năng hỗ trợ người lái trong mọi điều kiện ánh sáng. Các hạn chế hiện tại mở ra các hướng nghiên cứu tiếp theo, bao gồm mở rộng dataset và cải tiến mô hình để xử lý tốt hơn các trường hợp biển báo khó nhận dạng.

Trích đoạn nội dung tài liệu

Chương 1 GIỚI THIỆU: Chương này bày lý do chọn đề tài, xác định được mục tiêu đối tượng và phương pháp nghiên cứu và bố cục của đề tài. • Chương 2 CƠ SỞ LÝ THUYẾT: Trình bày các khái niệm nền tảng, nguyên lý hoạt động, các phương pháp cơ bản và kiến thức liên quan đến nhận dạng hình ảnh, cũng như tìm hiểu về mô hình YOLO11, mô hình Faster R-CNN để có sự so sánh giữa các mô hình phát hiện đối tượng. • Chương 3 THIẾT KẾ HỆ THỐNG: Trình bày sơ đồ khối, chức năng và tính toán thiết kế thi công hệ thống • Chương 4 KẾT QUẢ NHẬN XÉT VÀ ĐÁNH GIÁ: Trình bày kết quả của quá trình huấn luyện, kết quả cuối cùng đạt được từ đó đưa ra được những nhận xét đánh giá và các góc độ so sánh của các mô hình. • Chương 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN: Rút ra nhưng kết luận quan trọng và đề xuất các hướng phát triển để nâng cấp hệ thống trong tương lai.

4 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1 Phát hiện đối tượng [1] Phát hiện đối tượng là một tác vụ trong thị giác máy tính nhằm xác định và định vị các đối tượng trong hình ảnh hoặc video. Một hệ thống phát hiện đối tượng sẽ trả về tọa độ vị trí của những đối tượng trong một hình ảnh mà nó được training nhận diện. Vật thể được nhận diện sẽ được giới hạn trong 1 bounding box được vẽ bao quanh vật thể.1: Phát hiện đối tượng Các thuật toán phát hiện đối tượng có thể chia thành hai loại chính đó là phương pháp phát hiện một giai đoạn (one-stage) và phương pháp phát hiện hai giai đoạn (two-stage). • Phương pháp một giai đoạn (one-stage): mô hình sẽ trực tiếp dự đoán các hộp giới hạn (bounding box) và nhãn lớp đối tượng trong một lần xử lý duy nhất trên toàn bộ ảnh.

Các thuật toán tiêu biểu của nhóm này gồm YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector) và RetinaNet. Ưu điểm lớn nhất của các phương pháp này là 5 tốc độ xử lý rất nhanh, phù hợp với các ứng dụng thời gian thực như xe tự hành, giám sát video. • Phương pháp hai giai đoạn (two-stage): hệ thống sẽ tạo ra các vùng đề xuất (region proposals) – những khu vực có khả năng chứa đối tượng trong ảnh, từng vùng này được phân loại và điều chỉnh vị trí chính xác hơn bằng mạng neural. Một số mô hình tiêu biểu thuộc nhóm này là Faster R-CNN, Mask R-CNN và Cascade R-CNN.

Phương pháp này là độ chính xác cao, nhờ khả năng tập trung xử lý chi tiết từng vùng đề xuất. Tuy nhiên tốc độ xử lý tương đối chậm, không lý tưởng cho các ứng dụng đòi hỏi phản hồi thời gian thực.2 Giới thiệu về YOLO YOLO (You Only Look Once) là một phương pháp phát hiện đối tượng trong thị giác máy tính và trí tuệ nhân tạo. Được tạo ra vào năm 2016 bởi Joseph Redmon và nhóm nghiên cứu, YOLO đã trở thành một trong nhưng phương pháp phát hiện đối tượng rộng rãi và hiệu quả. Phương pháp YOLO mang đến một cách tiếp cận độc đáo và hiệu quả so với các phương pháp phát hiện đối tượng truyền thống.

Thay vì phân chia ảnh đầu vào thành nhiều vùng nhỏ rồi xử lý từng vùng riêng biệt như các phương pháp R- CNN, YOLO xem xét toàn bộ hình ảnh chỉ trong một lần duy nhất. Nhờ vậy, YOLO có thể đồng thời dự đoán vị trí và phân loại các đối tượng trong ảnh một cách nhanh chóng và chính xác. Thuật toán sử dụng mạng nơ-ron tích chập (CNN) gồm nhiều lớp để trích xuất đặc trưng từ hình ảnh.