Bối cảnh và vấn đề nghiên cứu
Khóa luận tốt nghiệp "Information Extraction on the Traffic Sign of Indications in Vietnam" (Khai thác thông tin trên biển báo giao thông chỉ dẫn tại Việt Nam) được thực hiện bởi sinh viên Đỗ Văn Nam và Lê Đình Bảo Long thuộc ngành Khoa học Dữ liệu, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia Thành phố Hồ Chí Minh (2022), dưới sự hướng dẫn của TS. Đỗ Trọng Hợp và ThS. Tạ Thu Thủy.
Hạ tầng giao thông vận tải đường bộ không ngừng mở rộng với lưu lượng phương tiện ngày càng lớn. Việc điều khiển phương tiện trên các tuyến đường mới đặt ra thách thức lớn cho người lái trong việc định vị, xác định phương hướng và ước tính khoảng cách tới các địa điểm. Biển báo giao thông chỉ dẫn đóng vai trò trọng yếu trong việc cung cấp thông tin định hướng, lộ trình và cự ly di chuyển nhằm đảm bảo lộ trình chính xác và an toàn. Tuy nhiên, mật độ thông tin dày đặc trên các biển báo chỉ dẫn cùng điều kiện quan sát thực tế phức tạp dễ gây phân tâm cho người điều khiển phương tiện.
Xuất phát từ bối cảnh ứng dụng thị giác máy tính vào các hệ thống hỗ trợ lái xe nâng cao (ADAS) và phương tiện thông minh (Smart Car), đề tài giải quyết bài toán tự động nhận diện và trích xuất ngữ nghĩa từ hình ảnh biển báo chỉ dẫn giao thông đường bộ Việt Nam.
Mục tiêu nghiên cứu của khóa luận được xác định cụ thể qua ba nhiệm vụ chính:
- Tìm hiểu và thu thập thông tin về đề tài từ các bài báo công bố về các công trình nghiên cứu trong và ngoài nước liên quan đến vấn đề xử lý, phát hiện, nhận dạng đối tượng; tiếp thu các phương pháp trích xuất, xử lý và tổng hợp thông tin từ đối tượng.
- Nghiên cứu và kết hợp các phương pháp xử lý dữ liệu đầu vào cùng các phương pháp hiện đại để huấn luyện các mô hình có khả năng phát hiện và nhận dạng đối tượng.
- Xây dựng luồng xử lý dữ liệu, phương pháp và triển khai đề tài một cách chính xác, hiệu quả và có tính khả thi trong thực tế.
Đối tượng nghiên cứu của đề tài là hệ thống biển báo giao thông chỉ dẫn đường bộ tại Việt Nam. Phạm vi nghiên cứu tập trung vào không gian giao thông thực tế tại Việt Nam với đặc trưng mật độ phương tiện đông đúc, điều kiện môi trường quan sát đa dạng và các quy chuẩn trình bày thông tin chỉ dẫn đặc thù. Dữ liệu khảo sát bao gồm ảnh chụp thực địa và ảnh trích xuất từ môi trường số (Google Maps Street View).
Cơ sở lý thuyết và phương pháp
Khóa luận tiếp cận bài toán trích xuất thông tin (Information Extraction - IE) từ dữ liệu thị giác thông qua việc phân rã thành chuỗi các tác vụ thành phần: nhận diện thực thể (Named Entity Recognition - NER), trích xuất mối quan hệ (Relation Extraction), phát hiện đối tượng (Object Detection), phát hiện văn bản theo dòng (Line Detection), nhận dạng ký tự quang học (OCR) và tổng hợp văn bản (Text Generation).
Khung lý thuyết và mô hình sử dụng
- Mô hình phát hiện đối tượng YOLOv7: Sử dụng kiến trúc mạng nơ-ron tích chập (CNN) với cơ chế phân chia lưới không gian $n \times n$, dự đoán đồng thời tọa độ hộp giới hạn (bounding box: $b_x, b_y, b_w, b_h$), độ tin cậy và phân phối xác suất lớp. YOLOv7 tích hợp thuật toán phân bổ nhãn SimOTA (phiên bản rút gọn của Optimal Transport Assignment) và hàm mất mát kết hợp giữa sai số định vị ($L_{loc}$) và sai số phân loại/độ tin cậy ($L_{cls}$).
- Mô hình phát hiện dòng văn bản CRAFT (Character Region Awareness for Text Detection): Sử dụng mạng đường trục VGG16 kết hợp kiến trúc nhánh tương tự U-Net nhằm bảo toàn đặc trưng hình học nông và đặc trưng ngữ nghĩa sâu, phục vụ phân tách từng dòng chữ riêng biệt trong vùng biển báo.
- Mô hình nhận dạng văn bản VietOCR: Kết hợp giữa mạng tích chập (CNN) và kiến trúc Transformer, sử dụng cơ chế mã hóa vị trí (Positional Encoding) theo hàm lượng giác sin/cos nhằm khắc phục nhược điểm huấn luyện tuần tự của các mạng hồi quy RNN/LSTM trên văn bản tiếng Việt.
- Mô hình tổng hợp thông tin T5 (Text-to-Text Transfer Transformer): Áp dụng mô hình ngôn ngữ theo cơ chế Key-to-Text nhằm liên kết các thực thể rời rạc (hướng di chuyển, địa danh, khoảng cách) thành câu chỉ dẫn ngôn ngữ tự nhiên hoàn chỉnh.
Phương pháp nghiên cứu và nguồn dữ liệu
Nghiên cứu áp dụng quy trình thực nghiệm kỹ thuật, xây dựng tập dữ liệu đặc thù và tinh chỉnh mô hình học sâu (Transfer Learning / Fine-tuning).
Nguồn dữ liệu hình ảnh được tác giả thu thập thông qua hai kênh:
- Phương pháp thực tế: Chụp ảnh thủ công bằng thiết bị điện thoại di động tại các tuyến đường ngoài thực địa (chiếm 3.732 ảnh gốc).
- Phương pháp trực tuyến: Thu thập ảnh từ hệ thống Google Maps ở chế độ "Xem phố" (Street View) nhằm bổ sung các biển chỉ dẫn đặc thù hoặc hiếm gặp (tổng tập thu thập gốc đạt 4.380 ảnh).
Để phục vụ huấn luyện mô hình thị giác máy tính trong các điều kiện thời tiết và vận hành khác nhau, tập dữ liệu gốc được áp dụng các kỹ thuật tăng cường dữ liệu (Data Augmentation) có chọn lọc, tuyệt đối không sử dụng các phép biến đổi hình học như lật ảnh (Flip) hay xoay ảnh (Rotate) để tránh làm sai lệch ngữ nghĩa phương hướng của biển chỉ dẫn.
| Phương pháp tăng cường |
Quy mô bổ sung |
Mục đích kỹ thuật |
| Làm mờ (Blur up to 0.75px) |
2.200 ảnh |
Mô phỏng biển báo cũ, suy giảm chất lượng hiển thị hoặc bám bụi |
| Tăng/giảm sáng (Brighten + Darken 30%) |
3.220 ảnh |
Mô phỏng môi trường nắng gắt phản quang hoặc bóng râm, chập tối |
| Thêm nhiễu (Noise 5%) |
2.200 ảnh |
Mô phỏng điều kiện mưa gió, rung lắc khi di chuyển tốc độ cao |
Sau quá trình tăng cường, tập dữ liệu tổng cộng đạt 12.000 ảnh với hơn 60.000 hộp giới hạn (bounding box) được gán nhãn chi tiết.
Thiết kế và triển khai hệ thống
Hệ thống trích xuất thông tin biển báo chỉ dẫn được thiết kế theo mô hình xử lý đường ống nối tiếp (Sequential Pipeline Architecture) gồm 4 giai đoạn kỹ thuật chính:
[Khung hình đầu vào]
Kiến trúc các khối chức năng
- Khối phát hiện đối tượng (Object Detection): Tiếp nhận khung hình tiền xử lý (kích thước chuẩn hóa $608 \times 608$, định dạng RGB). Mô hình YOLOv7 định vị tọa độ và phân loại các vùng thành phần trên biển báo theo 24 lớp đối tượng.
- Khối phát hiện dòng văn bản (Line Detection): Đối với các hộp giới hạn chứa địa điểm có độ dài lớn gồm nhiều dòng chữ, mô hình CRAFT nhận diện vùng ký tự và cắt tách thành từng ảnh dòng độc lập, giải quyết triệt để hạn chế chỉ xử lý ảnh đơn dòng của bộ nhận dạng ký tự.
- Khối nhận dạng ký tự tiếng Việt (Text Recognition): Từng ảnh dòng văn bản được đưa qua mô hình VietOCR để trích xuất nội dung văn bản có dấu.
- Khối chuẩn hóa và tổng hợp thông tin (Key-to-Text): Hệ thống gán khóa định danh hướng di chuyển (bắt buộc) với các thực thể địa điểm và cự ly tương ứng. Đối với địa danh nhiều dòng, văn bản được ghép theo mã định danh lớp. Mô hình T5 chuyển đổi các khóa thông tin thành câu chỉ dẫn giao thông tự nhiên (ví dụ: chuỗi khóa
"Phải || 13Km || ĐT 623C" được chuyển thành "Rẽ Phải 13Km tới ĐT 623C").
Kiểm thử và giao diện người dùng
Hệ thống được đóng gói và triển khai trên giao diện web hoàn chỉnh. Giao diện cung cấp bảng điều khiển cho phép người dùng tải lên tệp hình ảnh hoặc video hành trình, hiển thị trực quan ảnh kết quả kèm các bounding box phân loại, xuất văn bản chỉ dẫn đã tổng hợp và tích hợp bộ tạo âm thanh giọng nói (Text-to-Speech) để phát thông báo chỉ dẫn âm thanh cho người lái.
Nội dung chính theo từng chương
Chương 1. Giới thiệu
Chương mở đầu phân tích vai trò của biển báo chỉ dẫn trong bối cảnh giao thông hiện đại hóa tại Việt Nam. Tác giả chỉ ra rằng biển chỉ dẫn chứa lượng thông tin phong phú nhất trong hệ thống biển báo đường bộ (hướng rẽ, tên địa danh, khoảng cách cự ly). Chương này xác định rõ mục đích nghiên cứu, nhiệm vụ chế bản dữ liệu, triển khai mô hình học sâu và giới hạn phạm vi nghiên cứu tập trung vào hệ thống biển báo chỉ dẫn tại Việt Nam.
Chương 2. Bài toán khai thác thông tin
Chương 2 tổng hợp bức tranh tổng quan về bài toán khai thác thông tin đa phương tiện và khảo cứu các công trình khoa học trong và ngoài nước:
- Khái quát lý thuyết về bài toán khai thác thông tin (IE), phát hiện đối tượng (Object Detection), nhận diện đối tượng và trích xuất văn bản từ hình ảnh/video.
- Phân tích nghiên cứu quốc tế của Đại học Selcuk (Thổ Nhĩ Kỳ, 2020) áp dụng trích xuất đặc trưng bằng CNN và phân loại bằng Random Forest trên 1.500 ảnh biển báo, đạt độ chính xác 93,7%.
- Khảo cứu công trình của M. Sudha và Dr. Galdis Pushparathi (2021) sử dụng kỹ thuật RGSM (Random Gradient Succession with Momentum) kết hợp mạng CNN phân loại biển báo và chuyển đổi thành tín hiệu âm thanh.
- Tổng kết nghiên cứu trong nước (2021) của chính nhóm tác giả về việc ứng dụng YOLOv4 và YOLOv5 trong phát hiện và phân loại biển báo giao thông Việt Nam, từ đó chỉ ra tiền đề phát triển hệ sinh thái trích xuất thông tin chuyên sâu trong khóa luận này.
Chương 3. Khai thác thông tin
Nội dung chương 3 đi sâu vào bản chất toán học và cơ chế hoạt động của các kiến trúc mô hình học sâu được áp dụng:
- Trình bày cơ chế nhận dạng thực thể (NER), trích xuất mối quan hệ (Relation Extraction) và phân giải đồng tham chiếu (Coreference Resolution).
- Trình bày chi tiết toán học của thuật toán YOLO: vector đầu ra $y = [p_0, (t_x, t_y, t_w, t_h), (p_1, p_2, ..., p_c)]$, cơ chế lưới $3 \times 3$, thiết lập hộp neo (anchor boxes) và cấu trúc hàm mất mát gồm thành phần lỗi tọa độ ($L_{loc}$) cùng lỗi phân phối xác suất lớp ($L_{cls}$).
- Phân tích ưu thế của kiến trúc YOLOv7 với kỹ thuật gán nhãn SimOTA không dùng anchor tĩnh (Anchor-Free paradigm).
- Cơ chế giải mã ký tự của VietOCR: kết hợp CNN và Transformer, công thức mã hóa vị trí Positional Encoding cho phép xử lý quan hệ phụ thuộc ngữ cảnh dài mà không bị nghẽn cổ chai tuần tự như RNN.
- Kiến trúc mạng CRAFT dựa trên VGG16 và U-Net trong định vị dòng văn bản; nguyên lý chuyển đổi khóa sang văn bản của mô hình ngôn ngữ T5; phân tích tiềm năng tích hợp hệ thống vào phương tiện thông minh (Smart Car), cảm biến LiDAR, radar và camera hành trình.
Chương 4. Cài đặt và thực nghiệm
Chương 4 trình bày chi tiết quy trình chuẩn bị dữ liệu, cấu hình tham số thực nghiệm và đánh giá chất lượng mô hình:
- Xây dựng bộ dữ liệu phát hiện đối tượng: Quy trình gán nhãn 2 vòng kết hợp công cụ LabelImg. Vòng 1 gán nhãn thủ công 200 ảnh mẫu đa dạng lớp để huấn luyện mô hình pre-train; sử dụng mô hình này gán nhãn tự động cho 4.180 ảnh còn lại; vòng 2 thực hiện kiểm tra, rà soát và điều chỉnh thủ công toàn bộ dữ liệu.
- Hệ thống nhãn phân loại: Định nghĩa 24 lớp đối tượng chi tiết phục vụ bóc tách thành phần biển báo:
| ID |
Nhãn lớp (Class Label) |
ID |
Nhãn lớp (Class Label) |
ID |
Nhãn lớp (Class Label) |
| 0 |
Turn right |
8 |
Left-Distance |
16 |
Out3-Location |
| 1 |
Right-Location |
9 |
Out1 |
17 |
Out3-Distance |
| 2 |
Right-Distance |
10 |
Out1-Location |
18 |
Slant-Right |
| 3 |
Go straight |
11 |
Out1-Distance |
19 |
Slant-Rlocation |
| 4 |
Straight-Location |
12 |
Out2 |
20 |
Slant-Rdistance |
| 5 |
Straight-Distance |
13 |
Out2-Location |
21 |
Slant-Left |
| 6 |
Turn left |
14 |
Out2-Distance |
22 |
Slant-Llocation |
| 7 |
Left-Location |
15 |
Out3 |
23 |
Slant-LDistance |
- Bộ dữ liệu nhận dạng văn bản: Xây dựng tập dữ liệu riêng gồm 6.845 ảnh cắt theo từng dòng chữ từ các bounding box của đối tượng địa danh, gán nhãn thủ công văn bản tiếng Việt qua 1 vòng duy nhất.
- Thiết lập siêu tham số huấn luyện:
- Mô hình YOLOv7:
batch_size = 8, epochs = 100, số lớp classes = 24.
- Mô hình CRAFT: giữ nguyên trọng số gốc, tinh chỉnh 2 ngưỡng lọc hình học
link_threshold = 0.7 và low_text = 0.22.
- Mô hình VietOCR:
iters = 26000, metrics = 100, batch_size = 64, max_lr = 0.0003, image_height = 32, image_min_width = 32, image_max_width = 512.
- Hệ thống độ đo đánh giá: Đánh giá phát hiện đối tượng bằng IoU (Intersection over Union), Precision, Recall, Precision-Recall Curve và mAP; phân tích sai số nhận dạng ký tự của VietOCR thông qua 3 dạng lỗi cơ bản cấu thành tỷ lệ lỗi ký tự (CER) và tỷ lệ lỗi từ (WER) gồm: Thay thế (Substitution), Xóa/thiếu (Deletion) và Chèn sai (Insertion).
Chương 5. Kết luận và hướng phát triển
Chương kết luận tổng kết các kết quả đạt được về quy trình công nghệ, đánh giá tính khả thi của hệ thống và đề xuất các định hướng nâng cấp trong tương lai.
Kết quả và đóng góp
Kết quả kỹ thuật đạt được
- Về dữ liệu: Tác giả đã hoàn thiện bộ dữ liệu biển báo chỉ dẫn giao thông tại Việt Nam với 12.000 ảnh (bao gồm 4.380 ảnh gốc thực địa/phố và 7.620 ảnh tăng cường đa dạng điều kiện môi trường), ghi nhận hơn 60.000 bounding box chuẩn hóa theo 24 lớp đối tượng. Xây dựng tập dữ liệu phụ trợ gồm 6.845 ảnh dòng văn bản phục vụ bài toán OCR tiếng Việt trên biển báo.
- Về hiệu năng mô hình:
- Thực nghiệm so sánh giữa tập dữ liệu gốc và tập dữ liệu tăng cường chứng minh tính hiệu quả vượt trội của các phép tăng cường hình ảnh: mô hình YOLOv7 trên tập dữ liệu chưa tăng cường gặp lỗi định vị sai ở các bounding box địa điểm và khoảng cách; trong khi trên tập dữ liệu tăng cường, mô hình khắc phục triệt để các sai lệch, nhận diện chính xác hầu hết các vùng đối tượng.
- Mô hình CRAFT sau khi tinh chỉnh hai ngưỡng
link_threshold = 0.7 và low_text = 0.22 đã xử lý thành công bài toán biển báo có nhiều dòng địa danh trên cùng một hướng chỉ dẫn.
- Mô hình VietOCR đạt khả năng giải mã chính xác các chuỗi ký tự tiếng Việt có dấu phức tạp từ các vùng ảnh cắt gọt có độ phân giải không đồng đều.
- Mô hình T5 chuyển hóa chính xác các cặp từ khóa thành câu chỉ dẫn ngôn ngữ tự nhiên thông suốt.
- Về giải pháp ứng dụng: Tác giả đã thiết kế và triển khai thành công giao diện web minh họa hoàn chỉnh, tích hợp đầy đủ quy trình từ tiếp nhận ảnh/video đầu vào, hiển thị trực quan kết quả nhận diện, trích xuất text chỉ dẫn và phát thông báo qua giọng nói âm thanh.
Đóng góp mới của tác giả
- Là công trình chuyên sâu đầu tiên tại Việt Nam xây dựng tập dữ liệu biển báo chỉ dẫn giao thông đường bộ có quy mô lớn, phân loại chi tiết 24 lớp đối tượng thành phần.
- Đề xuất và ứng dụng quy trình gán nhãn 2 vòng kết hợp mô hình pre-train giúp tối ưu hóa thời gian xây dựng dữ liệu lớn mà vẫn duy trì tính chuẩn xác cao.
- Thiết lập đường ống tích hợp liên hoàn giữa mô hình phát hiện đối tượng (YOLOv7), mô hình nhận dạng dòng (CRAFT), mô hình OCR tiếng Việt (VietOCR) và mô hình ngôn ngữ (T5) để xử lý trọn vẹn bài toán trích xuất ngữ nghĩa giao thông thay vì chỉ dừng lại ở bước nhận diện biển báo độc lập.
Hạn chế và hướng nghiên cứu tiếp
Khóa luận ghi nhận một số hạn chế kỹ thuật dựa trên phạm vi và kết quả thực nghiệm:
- Bộ dữ liệu mới chỉ tập trung chuyên biệt vào nhóm biển báo chỉ dẫn, chưa mở rộng ra các phân nhóm biển báo giao thông khác (biển cấm, biển hiệu lệnh, biển cảnh báo nguy hiểm).
- Tốc độ xử lý của đường ống nối tiếp nhiều giai đoạn (YOLOv7 $\rightarrow$ CRAFT $\rightarrow$ VietOCR $\rightarrow$ T5) có thể tạo ra độ trễ tính toán nhất định khi triển khai thực tế trên các thiết bị phần cứng nhúng hoặc camera hành trình thời gian thực.
Hướng nghiên cứu tiếp theo được văn bản đề cập:
- Tiếp tục mở rộng quy mô và độ đa dạng của bộ dữ liệu biển báo giao thông tại nhiều khu vực địa lý khác nhau tại Việt Nam.
- Tối ưu hóa kiến trúc mạng để nâng cao tốc độ suy luận, hướng tới khả năng nhúng trực tiếp hệ thống vào các thiết bị hỗ trợ lái xe tự động và phương tiện thông minh (Smart Car).
Giá trị tham khảo
Tài liệu khóa luận có giá trị tham khảo hữu ích cho các đối tượng và bài toán nghiên cứu sau:
- Sinh viên và nhà nghiên cứu ngành Khoa học Dữ liệu, Trí tuệ Nhân tạo, Công nghệ Thông tin: Cung cấp tài liệu tham khảo chi tiết về kỹ thuật thiết lập đường ống xử lý thị giác máy tính kết hợp xử lý ngôn ngữ tự nhiên (End-to-End Vision-Language Pipeline).
- Nhóm nghiên cứu hệ thống giao thông thông minh (ITS) và xe tự hành (ADAS): Có thể kế thừa phương pháp phân loại 24 lớp đối tượng trên biển báo chỉ dẫn và kỹ thuật tăng cường dữ liệu đặc thù cho bài toán biển báo giao thông đường bộ Việt Nam.
- Phần nội dung đáng tham khảo nhất: Quy trình gán nhãn bán tự động 2 vòng (Mục 4.1), phương pháp luận chọn lọc các phép tăng cường dữ liệu hình ảnh bảo toàn ngữ nghĩa (Mục 4.1), và các bộ siêu tham số tinh chỉnh thực nghiệm cho YOLOv7, CRAFT, VietOCR (Mục 4.2).
Câu hỏi thường gặp
1. Khóa luận phân loại các thành phần trên biển báo chỉ dẫn thành bao nhiêu lớp đối tượng?
Khóa luận phân loại thành 24 lớp đối tượng chi tiết (từ Class 0 đến Class 23), bao gồm các hướng rẽ (Turn right, Go straight, Turn left, Slant-Right, Slant-Left, Out1, Out2, Out3) và các thành phần địa danh (Location), khoảng cách (Distance) tương ứng với từng hướng.
2. Tại sao nghiên cứu không sử dụng các kỹ thuật tăng cường dữ liệu như lật ảnh (Flip) hay xoay ảnh (Geometry-based)?
Tác giả không sử dụng kỹ thuật lật hoặc xoay hình học vì các phép biến đổi này sẽ làm đảo ngược hoàn toàn ngữ nghĩa phương hướng của biển báo chỉ dẫn (ví dụ: mũi tên rẽ phải bị biến đổi thành rẽ trái), dẫn đến việc mô hình dự đoán sai lệch ngữ nghĩa giao thông thực tế.
3. Nhóm tác giả giải quyết bài toán biển báo chỉ dẫn có địa điểm dài gồm nhiều dòng chữ bằng phương pháp nào?
Tác giả sử dụng mô hình CRAFT (backbone VGG16) với hai tham số tinh chỉnh link_threshold = 0.7 và low_text = 0.22 để phát hiện và cắt rời từng dòng chữ trong hộp giới hạn văn bản, sau đó mới chuyển từng dòng ảnh qua mô hình VietOCR để nhận dạng ký tự tiếng Việt.
4. Mô hình nào được sử dụng để ghép nối các từ khóa rời rạc thành câu chỉ dẫn hoàn chỉnh?
Mô hình ngôn ngữ T5 (áp dụng theo cơ chế Key-to-Text) được sử dụng để tiếp nhận các từ khóa đầu vào gồm hướng, địa điểm và khoảng cách, sau đó tự động liên kết thành câu chỉ dẫn ngôn ngữ tự nhiên đầy đủ (ví dụ: chuyển chuỗi khóa "Phải || 13Km || ĐT 623C" thành câu "Rẽ Phải 13Km tới ĐT 623C").
5. Tập dữ liệu ảnh được gán nhãn thông qua những công cụ và quy trình nào?
Tập dữ liệu sử dụng công cụ LabelImg và được thực hiện qua quy trình 2 vòng: Vòng 1 gán nhãn thủ công 200 ảnh mẫu chứa toàn bộ các lớp, huấn luyện mô hình pre-train để gán nhãn tự động cho 4.180 ảnh còn lại; Vòng 2 tiến hành kiểm tra, rà soát và điều chỉnh thủ công toàn bộ nhãn để đảm bảo độ chính xác tuyệt đối.
Kết luận
Khóa luận tốt nghiệp của sinh viên Đỗ Văn Nam và Lê Đình Bảo Long đã giải quyết bài toán trích xuất ngữ nghĩa biển báo chỉ dẫn giao thông tại Việt Nam thông qua chuỗi mô hình học sâu kết hợp giữa YOLOv7, CRAFT, VietOCR và T5. Nghiên cứu đóng góp tập dữ liệu chuẩn hóa gồm 12.000 ảnh với 24 lớp thành phần biển báo và đề xuất quy trình gán nhãn bán tự động hai vòng đạt hiệu quả cao. Kết quả thực nghiệm đã chứng minh tính khả thi của giải pháp trong việc hỗ trợ định hướng phương tiện, đồng thời hệ thống đã được triển khai thực tế dưới dạng ứng dụng web cung cấp chỉ dẫn bằng cả văn bản và âm thanh.
