Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp "Ứng dụng AI trong hệ thống camera giám sát" được thực hiện bởi sinh viên Bùi Quốc Khang và Đặng Kim Thành, dưới sự hướng dẫn của TS. Trần Nhật Quang tại Bộ môn Trí tuệ Nhân tạo, Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh (niên khóa 2021–2025). Đề tài nghiên cứu xuất phát từ tình trạng gia tăng nhanh chóng của các phương tiện giao thông cá nhân tại các đô thị đang phát triển ở Việt Nam, dẫn đến sự quá tải hạ tầng, ùn tắc kéo dài, suy giảm năng suất lao động và ô nhiễm môi trường. Việc mở rộng cơ sở hạ tầng giao thông truyền thống đòi hỏi nguồn vốn lớn và thời gian thi công dài, trong khi lưu lượng phương tiện tăng trưởng nhanh chóng khiến các tuyến đường mới xây dựng cũng sớm rơi vào tình trạng quá tải. Trước bối cảnh đó, việc triển khai Hệ thống Giao thông Thông minh (ITS) ứng dụng thị giác máy tính và trí tuệ nhân tạo được xem là hướng tiếp cận cần thiết để tự động hóa giám sát, phân tích mật độ và tối ưu hóa điều phối giao thông theo thời gian thực.

Mục tiêu tổng quát của đề tài là nghiên cứu và xây dựng hệ thống giám sát thông minh "CityTraffic360" tích hợp trí tuệ nhân tạo vào mạng lưới camera giám sát nhằm giảm thiểu ùn tắc, nâng cao hiệu quả quản lý giao thông và hỗ trợ công tác quy hoạch đô thị. Các nhiệm vụ nghiên cứu cụ thể được xác định bao gồm:

  1. Nhiệm vụ lý thuyết:

    • Tìm hiểu các phương pháp xử lý ảnh và video số: kỹ thuật tiền xử lý (Gaussian blur, CLAHE), biến đổi hình học (Homography, Perspective Transform) và chuẩn nén video (H.264, H.265).
    • Nghiên cứu mô hình học sâu trong thị giác máy tính: kiến trúc Faster R-CNN kết hợp Feature Pyramid Network (FPN), quy trình tinh chỉnh (fine-tuning) trên framework Detectron2 và thuật toán theo dõi đa đối tượng DeepSORT sử dụng mô hình trích xuất đặc trưng TorchReID.
    • Khảo sát các kỹ thuật tăng tốc suy luận: quy trình chuyển đổi và tối ưu hóa mô hình qua các backend ONNX, TensorRT và OpenVINO.
    • Tìm hiểu hệ thống cơ sở dữ liệu và giao tiếp: thiết kế hệ quản trị cơ sở dữ liệu PostgreSQL lưu trữ dữ liệu không gian – thời gian, giao thức truyền phát HTTP Streaming qua Flask server và giao diện đồ họa người dùng.
    • Nghiên cứu xử lý ngôn ngữ tự nhiên và chatbot: các kỹ thuật Fine-Tuning (PEFT, Unsloth, LLaMA-3.2 lượng tử hóa 4-bit) và mô hình sinh tăng cường truy xuất (Retrieval-Augmented Generation - RAG) với LangChain, LlamaIndex, FAISS trên các định dạng tài liệu PDF, JSON, TXT.

  2. Nhiệm vụ thực hành:

    • Xây dựng mô hình nhận dạng và theo dõi phương tiện giao thông đô thị đặc thù tại Việt Nam (xe máy, ô tô, xe tải, xe buýt), tích hợp thuật toán lọc nhiễu, gán ID duy nhất và tính toán vận tốc.
    • Triển khai thuật toán điều khiển đèn tín hiệu giao thông thích nghi: ước lượng mật độ, tốc độ theo từng hướng di chuyển, áp dụng làm mượt chuỗi thời gian (EMA) và tính toán thời gian chờ tổn thất (VTw, VTL) để điều chỉnh chu kỳ đèn theo thời gian thực.
    • Thiết kế và triển khai kiến trúc phần mềm tích hợp hoàn chỉnh từ thiết bị biên (Edge AI), máy chủ xử lý trung tâm (Cloud/Server) đến giao diện bảng điều khiển giám sát (Dashboard GUI).
    • Huấn luyện và cài đặt mô hình chatbot phục vụ truy vấn thông tin giao thông, thống kê dữ liệu lưu lượng và hỗ trợ cơ quan quản lý ra quyết định quy hoạch đô thị.
    • Thực nghiệm đo lường hiệu năng: tính toán các chỉ số mAP của mô hình phát hiện, độ chính xác đếm xe, sai số tốc độ (MAE) và so sánh hiệu quả với hệ thống đèn tín hiệu cố định truyền thống.

Đối tượng nghiên cứu của khóa luận là các phương tiện tham gia giao thông đường bộ tại đô thị (bao gồm ô tô, xe máy, xe buýt, xe tải) và luồng dữ liệu hình ảnh, video thu nhận từ hệ thống camera giám sát. Về phạm vi không gian, nghiên cứu tập trung khảo sát và thực nghiệm dữ liệu thực tế tại tuyến đường Xa lộ Hà Nội, đoạn đi qua phường Thảo Điền, Thành phố Thủ Đức, TP. Hồ Chí Minh. Đây là trục giao thông cửa ngõ huyết mạch có mật độ phương tiện cao, thường xuyên xảy ra xung đột luồng xe và ùn tắc nghiêm trọng tại các điểm giao cắt. Về phạm vi thời gian, đề tài được triển khai thực hiện từ ngày 09/02/2025 đến ngày 09/06/2025.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng giải pháp dựa trên nền tảng kết hợp giữa thị giác máy tính, lý thuyết điều khiển giao thông thích nghi và xử lý ngôn ngữ tự nhiên:

  • Khung lý thuyết thị giác máy tính: Tác giả sử dụng mô hình học sâu Faster R-CNN kết hợp mạng tháp đặc trưng FPN (Feature Pyramid Network) trên nền tảng Detectron2 của Facebook AI Research (FAIR). Backbone của mô hình là mạng tích chập ResNet-50 kết hợp chuẩn hóa nhóm (Group Normalization) thay cho Batch Normalization để phù hợp với kích thước batch nhỏ trên môi trường điện toán biên. Cấu trúc FPN trích xuất các bản đồ đặc trưng đa tỷ lệ từ $P_2$ ($1/4$ kích thước ảnh gốc) đến $P_6$ ($1/64$), hỗ trợ phát hiện các vật thể có kích thước chênh lệch lớn như xe máy nhỏ và xe tải lớn. Quá trình theo dõi đa đối tượng (MOT) áp dụng thuật toán DeepSORT kết hợp mạng trích xuất đặc trưng ngoại hình osnet_x1_0 từ thư viện TorchReID và thuật toán Hungarian.
  • Kỹ thuật tiền xử lý và hình học không gian: Để nâng cao chất lượng ảnh trong điều kiện ánh sáng ngoài trời phức tạp, tác giả áp dụng bộ lọc Gaussian Blur để giảm nhiễu tần số cao, kết hợp kỹ thuật cân bằng biểu đồ thích ứng có giới hạn độ tương phản (CLAHE) trên kênh độ sáng (kênh Y của không gian màu YCrCb hoặc ảnh Grayscale). Việc đo lường vận tốc thực tế của phương tiện được thực hiện thông qua phép biến đổi phối cảnh (Perspective Transform/Homography) nhằm chuyển đổi tọa độ pixel trên mặt phẳng ảnh nghiêng của camera sang hệ tọa độ phẳng thực tế (mặt đường), kết hợp hệ số tỷ lệ mét trên pixel động (Dynamic Meter Per Pixel - MPP).
  • Lý thuyết điều khiển luồng giao thông thích nghi: Cơ chế chuyển đổi chu kỳ đèn tín hiệu dựa trên thuật toán làm mượt hàm mũ (Exponential Moving Average - EMA) để theo dõi số lượng phương tiện theo từng hướng di chuyển, kết hợp mô hình hồi quy tuyến tính ($y = ax + b$) để tính toán độ dốc tăng trưởng lưu lượng (slope). Thời lượng các pha đèn xanh, vàng, đỏ được tính toán dựa trên mật độ xe, tốc độ trung bình theo hướng và các chỉ số thời gian tổn thất của phương tiện gồm Vehicle Time Waiting (VTw) và Vehicle Time Lost (VTL).
  • Khung lý thuyết xử lý ngôn ngữ tự nhiên: Kiến trúc chatbot được phát triển dựa trên mô hình sinh tăng cường truy xuất RAG (Retrieval-Augmented Generation) và kỹ thuật tinh chỉnh tham số hiệu quả (PEFT/LoRA) trên mô hình ngôn ngữ lớn LLaMA-3.2 phiên bản lượng tử hóa 4-bit (sử dụng thư viện Unsloth). Dữ liệu văn bản pháp lý, quy hoạch hạ tầng được phân đoạn ngữ nghĩa (semantic chunking), mã hóa thành vector embedding và lưu trữ, truy vấn tương đồng thông qua cơ sở dữ liệu vector FAISS, kết nối với framework LangChain và LlamaIndex.

Phương pháp nghiên cứu thực nghiệm được triển khai theo quy trình kỹ thuật hệ thống: thu thập tập dữ liệu video từ camera giao thông thực tế tại nút giao Xa lộ Hà Nội; gán nhãn thủ công theo định dạng chuẩn COCO; áp dụng kỹ thuật tăng cường dữ liệu (Albumentations); tiến hành huấn luyện và so sánh thực nghiệm 3 kiến trúc phát hiện đối tượng (PicoDet, YOLOv11 và Detectron2) theo tiêu chuẩn mAP@50; tối ưu hóa đồ thị tính toán để chuyển đổi sang các môi trường suy luận ONNX, OpenVINO IR và TensorRT FP16; cuối cùng là tích hợp hệ thống phần mềm, kiểm thử độ trễ và đo lường sai số.

Thiết kế và triển khai hệ thống

Hệ thống CityTraffic360 được thiết kế theo mô hình kiến trúc phân tán kết hợp giữa thiết bị biên (Edge AI), máy chủ xử lý trung tâm (Cloud/Server) và giao diện điều hành trực quan (Dashboard):

+-----------------------------------------------------------------------------------+
|                              KIẾN TRÚC HỆ THỐNG CITYTRAFFIC360                     |
+-----------------------------------------------------------------------------------+
|  [ CAMERA GIAO THÔNG (Xa lộ Hà Nội) ]                                             |
|  [ TẦNG THIẾT BỊ BIÊN (EDGE NODE) ]                                               |
|  [ TẦNG MÁY CHỦ TRUNG TÂM (SERVER / CLOUD) ]                                      |
|  [ TẦNG HIỂN THỊ VÀ TƯƠNG TÁC (DASHBOARD & CHATBOT UI) ]                         |
+-----------------------------------------------------------------------------------+

1. Module thị giác máy tính và phân tích dòng xe

Luồng video từ camera được đưa qua bộ lọc tiền xử lý kết hợp giữa Gaussian Blur và CLAHE. Khung hình được chuyển đổi về kích thước cố định $640 \times 640$ pixels để cấp phát cho mô hình Faster R-CNN R-50 FPN. Sau khi mô hình phát hiện các vị trí phương tiện, thuật toán lọc không gian loại bỏ các bounding box có diện tích $A = w \times h < 50\text{ px}$ hoặc nằm ngoài vùng quan tâm (ROI). Các hộp bao hợp lệ được DeepSORT tiếp nhận, sử dụng vector embedding từ mạng osnet_x1_0 để gán track ID duy nhất. Để tránh đếm lặp, hệ thống duy trì tập hợp counted_id[hướng]. Vận tốc từng phương tiện được xác định qua công thức: $$v = \frac{d_m}{t_2 - t_1} = \frac{d_{px} \cdot MPP}{t_2 - t_1}$$ Trong đó khoảng cách pixel $d_{px}$ được hiệu chỉnh qua ma trận biến đổi phối cảnh $H$, $MPP$ thay đổi động theo vị trí trục $Y$ trên khung hình, và khoảng thời gian $t_2 - t_1$ tính toán dựa trên chu kỳ khung hình (FPS của video).

2. Module tối ưu hóa suy luận (Inference Optimization)

Do mô hình Faster R-CNN trong Detectron2 có đồ thị tính toán phức tạp và mặc định sử dụng kích thước ảnh đầu vào thay đổi linh hoạt (dynamic size), tác giả can thiệp vào mã nguồn export_model.py để ép cứng kích thước tensor đầu vào về $(1, 3, 640, 640)$ thông qua cơ chế TorchScript tracing. Tác giả thực hiện và so sánh ba phương án triển khai:

  • Chuyển đổi sang ONNX runtime chuẩn.
  • Chuyển đổi sang OpenVINO IR (.xml, .bin) thông qua adapter trung gian TracingAdapter, phục vụ triển khai trên phần cứng CPU/iGPU Intel.
  • Chuyển đổi sang TensorRT engine (.trt) với định dạng nửa độ chính xác (FP16). Quy trình này sử dụng script làm sạch đồ thị create_onnx_faster.py để tích hợp các node plugin chuyên biệt của NVIDIA (ROIAlign_TRT, NMS_TRT), tái tạo lại cấu trúc anchor boxes tương thích với Detectron2 và kích hoạt cờ --useCudaGraph để tối ưu hóa bộ nhớ và tốc độ thực thi trên GPU.

3. Module điều khiển đèn thích nghi và lưu trữ

Số lượng xe theo từng hướng được làm mịn bằng chuỗi thời gian EMA: $$EMA(t) = \sum_{i=0}^{w-1} x_{t-i} \cdot w_i$$ Hệ thống sử dụng mô hình hồi quy tuyến tính trong cửa sổ trượt (sliding window) 30 giây để xác định tốc độ gia tăng lưu lượng giữa các nhánh giao lộ (ví dụ: Đông - Tây so với Nam - Bắc), từ đó tự động tính toán thời lượng pha đèn và hạn chế thời gian chờ tổn thất $VTw, VTL$. Toàn bộ dữ liệu đếm xe, phân loại phương tiện và tốc độ trung bình được gửi qua API về cơ sở dữ liệu PostgreSQL và truyền phát real-time qua Flask HTTP Streaming đến giao diện giám sát PyQt6.

4. Module Chatbot quy hoạch đô thị và giao thông

Chatbot kết hợp kỹ thuật Fine-tuning và RAG nâng cao. Mô hình nền LLaMA-3.2 được nạp ở định dạng lượng tử hóa 4-bit và tinh chỉnh bằng thư viện Unsloth trên tập chỉ dẫn chuyên ngành. Đồng thời, hệ thống nạp các tài liệu quy hoạch, báo cáo hạ tầng dạng PDF, JSON, TXT, phân đoạn theo ngữ nghĩa (semantic chunking), đánh chỉ mục vào FAISS vector database. Khi người dùng truy vấn, retriever trích xuất ngữ cảnh liên quan kết hợp với dữ liệu lưu lượng thời gian thực trích xuất từ PostgreSQL để sinh câu trả lời có trích dẫn căn cứ.

Nội dung chính theo từng chương

Chương 1: Khảo sát hiện trạng

Chương 1 trình bày tổng quan về hệ thống camera giám sát giao thông và ứng dụng chatbot quy hoạch tại Việt Nam cũng như trên thế giới. Tại Việt Nam, tác giả khảo sát hệ thống camera phạt nguội của CSGT (với ví dụ từ Viettel xử lý phương tiện di chuyển đến 250 km/h; số liệu xử phạt tháng 1/2025 tại Hà Nội ghi nhận 288 trường hợp và trên 4 tuyến cao tốc/QL1A xử phạt gần 111.000 trường hợp, nộp ngân sách gần 290 tỷ đồng); các dự án thí điểm đèn giao thông AI tại nút giao Đài Liệt Sĩ, Hàng Xanh (TP.HCM); và các chatbot thông tin giao thông (DTchat, chatbot camera TP.HCM). Trên thế giới, chương khảo sát mô hình quản lý giao thông tại Tây An (Trung Quốc), hệ thống ITS và chatbot xe buýt tại Chicago (Mỹ), giải pháp HEIMDALL 3 tầng chức năng (Ground, Territorial, Modelling) tại Liên minh Châu Âu (EU), và hệ thống "City Brain" tại Malaysia. Phần cuối chương trình bày khảo sát thực nghiệm so sánh ba kiến trúc nhận diện đối tượng (PicoDet, YOLOv11, Detectron2) trên cùng tập dữ liệu 50 epochs, batch size 8 để làm căn cứ lựa chọn mô hình cho đồ án.

Chương 2: Cơ sở lý thuyết

Chương này thiết lập nền tảng lý thuyết toàn diện cho hệ thống. Nội dung bao gồm:

  • Lý thuyết xử lý ảnh số, các không gian màu (RGB, HSV, YCbCr), kỹ thuật nén ảnh/video (JPEG, H.264, H.265) và vai trò của việc chọn hệ số nén.
  • Kỹ thuật tiền xử lý ảnh sử dụng bộ lọc Gaussian blur 2 chiều và cân bằng lược đồ thích ứng CLAHE trên kênh Y.
  • Cấu trúc chi tiết của mô hình Faster R-CNN với FPN trong Detectron2: mạng xương sống ResNet-50, mạng đề xuất vùng (RPN), tầng trích xuất đặc trưng hình học ROIAlign, tầng phân loại và hồi quy hộp bao.
  • Kỹ thuật gán ID và theo dõi đa đối tượng DeepSORT sử dụng mạng trích xuất đặc trưng ngoại hình TorchReID (osnet_x1_0).
  • Phương pháp tối ưu hóa suy luận mô hình thông qua ONNX, OpenVINO IR và TensorRT.
  • Cơ chế ước lượng mật độ, lọc nhiễu hộp bao ($A < 50\text{ px}$), tính toán vận tốc bằng biến đổi phối cảnh (Perspective Transform) và hệ số MPP động.
  • Thuật toán điều khiển đèn giao thông thích nghi: theo dõi lưu lượng hướng bằng EMA, hồi quy tuyến tính độ dốc lưu lượng, công thức tính toán $VTw$ và $VTL$.
  • Cơ chế lưu trữ trong PostgreSQL và truyền phát dữ liệu thời gian thực qua Flask HTTP Streaming.
  • Cơ sở lý thuyết về Chatbot thông minh: quy trình RAG, phân tích ưu nhược điểm của LangChain và LlamaIndex, kỹ thuật Fine-Tuning (Full, PEFT/LoRA, Partial, Additive) và thư viện tối ưu Unsloth.

Chương 3: Phân tích và thiết kế hệ thống

Chương 3 chi tiết hóa các yêu cầu chức năng (nhận diện, phân loại, đếm xe, đo tốc độ, điều phối đèn tín hiệu, truy vấn chatbot) và ràng buộc phi chức năng (độ trễ thời gian thực, độ ổn định đường truyền camera, tính mở rộng). Tác giả thiết kế sơ đồ kiến trúc tổng thể ba tầng Edge AI - Cloud - Dashboard; thiết kế sơ đồ thực thể - quan hệ (ERD) cho cơ sở dữ liệu PostgreSQL; và xây dựng quy trình tích hợp giữa kỹ thuật Fine-tuning và RAG nâng cao cho hệ thống chatbot (chuẩn hóa tokenizer LLaMA, semantic chunking tài liệu, thiết kế Smart Retriever và cấu trúc prompt đầu ra).

Chương 4: Triển khai hệ thống thử nghiệm

Chương 4 mô tả chi tiết quá trình hiện thực hóa giải pháp:

  • Quy trình thu thập dữ liệu video giao thông tại Xa lộ Hà Nội và tiền xử lý ảnh.
  • Chuẩn hóa nhãn theo định dạng COCO JSON, áp dụng kỹ thuật data augmentation (xoay, lật, co giãn, điều chỉnh độ tương phản).
  • Cài đặt huấn luyện Detectron2, tinh chỉnh trọng số (fine-tuning) các tầng ROI Head và backbone.
  • Các bước can thiệp mã nguồn export_model.py để gán cứng kích thước đầu vào $640 \times 640$, tracing đồ thị tính toán và xuất mô hình sang ONNX, OpenVINO IR và TensorRT FP16 với các plugin ROIAlign_TRT, NMS_TRT.
  • Tích hợp DeepSORT, module tính toán vận tốc và giải thuật điều khiển đèn thích nghi.
  • Xây dựng Flask API server, kết nối cơ sở dữ liệu PostgreSQL và triển khai chatbot với giao diện Streamlit kết hợp backend Unsloth/LangChain.

Chương 5: Kết quả thử nghiệm & đánh giá

Chương 5 trình bày các kịch bản kiểm thử thực tế và số liệu định lượng:

  • Đánh giá hiệu suất phát hiện đối tượng trên tập kiểm tra (mAP theo chuẩn COCO, đường cong Precision-Recall cho từng lớp phương tiện, biểu đồ phân bố điểm tin cậy Confidence Score Histogram).
  • Đo lường độ chính xác của module đếm phương tiện và thuật toán ước lượng tốc độ (đánh giá sai số MAE).
  • Thử nghiệm giải thuật điều khiển đèn giao thông thích nghi, đo lường mức độ giảm thời gian chờ ($VTw$) và thời gian tổn thất ($VTL$) so với hệ thống chu kỳ cố định truyền thống.
  • Thử nghiệm khả năng phản hồi của chatbot cục bộ (Local Fine-tuned LLaMA) so sánh với mô hình thương mại Gemini trên các kịch bản truy vấn dữ liệu quy hoạch và tình trạng giao thông.

Chương 6: Thảo luận, rủi ro & khả thi

Chương cuối cùng phân tích các khía cạnh triển khai thực tế của đề tài:

  • Phân tích các hạn chế kỹ thuật: hiện tượng khuất tầm nhìn (occlusion) khi mật độ xe quá dày đặc, sự suy giảm độ chính xác trong điều kiện ban đêm hoặc thời tiết mưa bão cực đoan, giới hạn phần cứng của thiết bị biên khi chạy các mô hình học sâu hai giai đoạn (two-stage detector).
  • Đánh giá rủi ro pháp lý và an toàn thông tin: vấn đề bảo vệ dữ liệu cá nhân, quyền riêng tư liên quan đến hình ảnh người đi đường và biển số xe theo quy định pháp luật.
  • Đề xuất các biện pháp khắc phục kỹ thuật và phân tích tính khả thi trong việc mở rộng mạng lưới giám sát, khả năng tích hợp vào hạ tầng truyền thông phương tiện kết nối vạn vật (Vehicle-to-Everything - V2X) trong tương lai.

Kết quả và đóng góp

Khóa luận đã thu được các kết quả kỹ thuật cụ thể thông qua quá trình huấn luyện và thử nghiệm thực nghiệm:

1. Kết quả định lượng mô hình phát hiện và nhận diện

Trong quá trình khảo sát và lựa chọn mô hình nhận diện phương tiện giao thông trên cùng một tập dữ liệu đặc thù tại Việt Nam (với 50 epochs, batch size = 8), mô hình Detectron2 đạt hiệu năng phát hiện vượt trội so với các kiến trúc một giai đoạn (one-stage):

Mô hình kiểm nghiệm Kiến trúc trích xuất mAP@50 (%) Đặc tính vận hành thực tế
PicoDet Lightweight Backbone 41.00% Rất nhẹ, nhanh, tài nguyên thấp; khó khăn khi debug và tích hợp ReID
YOLOv11 YOLO One-Stage 44.10% Tốc độ cao; bounding box không ổn định ở vật thể nhỏ, dễ nhảy nhãn
Detectron2 Faster R-CNN + FPN (R-50) 80.35% Giữ vững ID ổn định, định vị chính xác xe máy nhỏ và xe khuất bóng

2. Kết quả triển khai và đóng góp của đề tài

  • Hoàn thiện pipeline xử lý thị giác máy tính: Xây dựng quy trình xử lý ổn định kết hợp tiền xử lý Gaussian Blur + CLAHE (YCrCb), nhận dạng bằng Detectron2 fine-tune đạt mAP@50 trên 80%, lọc nhiễu diện tích hộp bao nhỏ ($A < 50\text{ px}$), theo dõi duy trì ID bằng DeepSORT (TorchReID osnet_x1_0) và ước lượng tốc độ qua phép biến đổi phối cảnh thích ứng MPP với sai số vận tốc kiểm soát dưới 10%.
  • Giải pháp chuyển đổi và tối ưu hóa runtime: Tác giả đã giải quyết thành công bài toán tracing đồ thị Detectron2 vốn có kích thước động sang dạng cố định $640 \times 640$, tích hợp các plugin tăng tốc ROIAlign_TRT và NMS_TRT để triển khai thành công engine TensorRT FP16 và OpenVINO IR, giúp hệ thống vận hành ổn định trên thiết bị biên.
  • Tối ưu hóa điều phối đèn giao thông: Đề xuất và cài đặt thuật toán phát hiện chuyển đổi chu kỳ luồng xe bằng EMA và hồi quy độ dốc tăng trưởng lưu lượng, kết hợp hai tham số $VTw$ và $VTL$ để tối ưu hóa thời gian đèn tín hiệu theo thời gian thực. Theo tính toán và kịch bản thực nghiệm, hệ thống hướng đến khả năng cắt giảm từ 20–30% thời gian di chuyển của phương tiện vào giờ cao điểm trên trục Xa lộ Hà Nội.
  • Tích hợp Chatbot chuyên ngành quy hoạch: Ứng dụng thành công kỹ thuật kết hợp Fine-tuning mô hình ngôn ngữ LLaMA-3.2 (4-bit qua Unsloth) và kiến trúc RAG với cơ sở dữ liệu vector FAISS, cho phép người dùng và nhà quản lý truy vấn tự nhiên các thông tin về hạ tầng, văn bản pháp lý và số liệu thống kê mật độ giao thông thu thập từ PostgreSQL.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các phân tích kỹ thuật và phạm vi nghiên cứu được tác giả trình bày trong văn bản, khóa luận ghi nhận một số hạn chế cụ thể:

  • Hạn chế kỹ thuật và phần cứng: Mô hình Detectron2 (Faster R-CNN) thuộc lớp mô hình hai giai đoạn nên đòi hỏi tài nguyên tính toán GPU đáng kể hơn so với các mô hình một giai đoạn. Quá trình xuất mô hình sang ONNX và TensorRT bắt buộc phải cố định kích thước ảnh đầu vào ($640 \times 640\text{ px}$), làm mất tính linh hoạt tự điều chỉnh tỷ lệ khung hình theo nguồn phát camera.
  • Điều kiện môi trường và góc nhìn: Độ chính xác của pipeline nhận diện và theo dõi vẫn đối mặt với thách thức trong các tình huống phương tiện bị che khuất nghiêm trọng do mật độ quá dày đặc vào giờ cao điểm, hoặc khi điều kiện quan sát suy giảm do thời tiết mưa lớn và ánh sáng ban đêm. Phép biến đổi Homography phụ thuộc vào góc đặt camera cố định và các điểm chuẩn hiệu chuẩn mặt đường.
  • Vấn đề quyền riêng tư: Việc thu thập và phân tích dữ liệu video đường phố thực tế tiềm ẩn các rủi ro pháp lý liên quan đến hình ảnh người tham gia giao thông và nhận dạng biển số xe cá nhân, đòi hỏi các cơ chế che mờ hoặc khử định danh dữ liệu nhạy cảm.

Hướng nghiên cứu phát triển tiếp theo:

  • Tối ưu hóa pipeline để nâng cao độ ổn định nhận dạng trong điều kiện ban đêm và thời tiết bất lợi.
  • Nghiên cứu cơ chế trích xuất và hiệu chuẩn tự động ma trận phối cảnh khi góc camera có sự rung lắc hoặc dịch chuyển.
  • Mở rộng phạm vi thử nghiệm từ nút giao cục bộ tại Xa lộ Hà Nội sang mạng lưới liên nút giao thông trên toàn thành phố.
  • Tích hợp chuẩn giao tiếp V2X (Vehicle-to-Everything) để truyền tín hiệu cảnh báo và điều phối trực tiếp tới các phương tiện giao thông thông minh.

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo hữu ích cho các nhóm đối tượng sau:

  • Sinh viên và nhà nghiên cứu chuyên ngành Công nghệ thông tin, Trí tuệ nhân tạo, Thị giác máy tính: Cung cấp tài liệu tham khảo chi tiết về quy trình fine-tuning mô hình Faster R-CNN FPN trên framework Detectron2 với tập dữ liệu tùy biến; giải pháp vượt qua rào cản dynamic size để chuyển đổi mô hình sang ONNX, OpenVINO và TensorRT với các custom plugin (ROIAlign_TRT, NMS_TRT).
  • Kỹ sư phát triển hệ thống nhúng và Edge AI: Cung cấp phương pháp thiết kế pipeline xử lý video thời gian thực từ camera RTSP, kết hợp DeepSORT và trích xuất đặc trưng TorchReID, cùng cơ chế truyền phát dữ liệu nhẹ qua Flask HTTP Streaming và cơ sở dữ liệu PostgreSQL.
  • Kỹ sư phát triển ứng dụng NLP và LLM: Tham khảo kiến trúc hybrid kết hợp giữa Fine-tuning mô hình ngôn ngữ lớn cục bộ (LLaMA-3.2 lượng tử hóa 4-bit bằng thư viện Unsloth) với kiến trúc RAG nâng cao (LangChain, FAISS) để xây dựng trợ lý ảo chuyên ngành có khả năng truy xuất dữ liệu có căn cứ.
  • Các nhà nghiên cứu kỹ thuật giao thông và quy hoạch đô thị: Cung cấp giải thuật thực tế trong việc ước lượng tốc độ phương tiện bằng Perspective Transform/Homography kết hợp hệ số MPP động, thuật toán làm mượt EMA và công thức thời gian tổn thất ($VTw, VTL$) phục vụ điều khiển đèn tín hiệu giao thông thích nghi.

Câu hỏi thường gặp

1. Tại sao nhóm tác giả lại lựa chọn mô hình Detectron2 (Faster R-CNN FPN) thay vì YOLOv11 cho bài toán nhận diện phương tiện giao thông trong nghiên cứu này?
Dựa trên kết quả khảo sát thực nghiệm trên cùng một tập dữ liệu giao thông tại Việt Nam (50 epochs, batch size = 8), Detectron2 đạt độ chính xác mAP@50 lên tới 80.35%, vượt trội hoàn toàn so với YOLOv11 (chỉ đạt 44.10%) và PicoDet (đạt 41.00%). Mặc dù YOLOv11 có tốc độ suy luận nhanh hơn, nhưng trong môi trường giao thông phức tạp có mật độ phương tiện chen chúc cao, YOLOv11 thường sinh ra bounding box không ổn định, dễ mất nhãn hoặc nhận diện sai lớp đối với các đối tượng nhỏ như xe máy. Detectron2 có độ chính xác định vị cao hơn và khả năng duy trì bounding box ổn định qua chuỗi khung hình, tạo tiền đề quyết định để thuật toán DeepSORT gán ID nhất quán và tính toán vận tốc chính xác.

2. Nhóm tác giả đã giải quyết trở ngại nào khi chuyển đổi mô hình Detectron2 sang TensorRT để tăng tốc suy luận?
Trở ngại lớn nhất là Detectron2 mặc định sử dụng kích thước ảnh đầu vào thay đổi linh hoạt (dynamic input size), trong khi kỹ thuật TorchScript tracing để xuất sang ONNX/TensorRT sẽ bị lỗi nếu đồ thị tính toán có kích thước biến thiên. Tác giả đã xử lý bằng cách can thiệp trực tiếp vào mã nguồn export_model.py để gán cứng kích thước đầu vào về tensor $(1, 3, 640, 640)$. Đồng thời, tác giả sử dụng script create_onnx_faster.py để làm sạch đồ thị ONNX, loại bỏ tiền xử lý thừa, trích xuất lại anchor boxes từ mô hình gốc và chèn thêm các node plugin chuyên dụng của TensorRT là ROIAlign_TRT và NMS_TRT.

3. Vận tốc của phương tiện được tính toán từ video camera như thế nào trong hệ thống?
Hệ thống không đo vận tốc trực tiếp trên số pixel di chuyển thông thường vì ảnh chụp từ camera góc cao bị méo phối cảnh (vật ở xa trông nhỏ hơn vật ở gần). Thay vào đó, hệ thống sử dụng ma trận biến đổi phối cảnh (Perspective Transform/Homography) kết hợp hệ số tỷ lệ mét trên pixel động ($MPP$) phụ thuộc vào tọa độ trục $Y$ của vật thể trên ảnh. Khoảng cách thực tế $d_m$ được tính bằng $d_{px} \cdot MPP$. Sau đó, vận tốc được tính bằng công thức vật lý $v = d_m / (t_2 - t_1)$, trong đó khoảng thời gian $t_2 - t_1$ được xác định dựa trên tốc độ khung hình (FPS) thực tế của luồng camera.

4. Thuật toán điều khiển đèn giao thông thích nghi trong đề tài phát hiện sự thay đổi lưu lượng giữa các hướng bằng cách nào?
Hệ thống theo dõi số lượng phương tiện theo từng hướng di chuyển sau khi đã lọc nhiễu và gán track ID. Để loại bỏ biến động nhiễu ngắn hạn, số lượng xe được làm mượt qua chuỗi thời gian bằng phương pháp trung bình động hàm mũ (Exponential Moving Average - EMA). Sau đó, trong mỗi cửa sổ thời gian trượt (30 giây), hệ thống áp dụng mô hình hồi quy tuyến tính ($y = ax + b$) để tính toán độ dốc (slope $a$) thể hiện tốc độ tăng trưởng lưu lượng của từng hướng. Dựa trên sự chênh lệch độ dốc giữa hai luồng giao thông trực xung (ví dụ Đông - Tây và Nam - Bắc), hệ thống sẽ quyết định thời điểm chuyển đổi chu kỳ đèn và điều chỉnh thời lượng đèn xanh thích ứng.

5. Kiến trúc của hệ thống Chatbot trong khóa luận được xây dựng như thế nào?
Chatbot được xây dựng theo kiến trúc kết hợp (hybrid) giữa Fine-tuning và RAG (Retrieval-Augmented Generation). Phần mô hình ngôn ngữ sử dụng LLaMA-3.2 được lượng tử hóa 4-bit và tinh chỉnh bằng kỹ thuật PEFT/LoRA thông qua thư viện Unsloth để nắm vững thuật ngữ chuyên ngành. Phần truy xuất RAG sử dụng LangChain và LlamaIndex để xử lý các tài liệu quy hoạch, báo cáo hạ tầng định dạng PDF, JSON, TXT thông qua kỹ thuật phân đoạn ngữ nghĩa (semantic chunking) và lưu trữ vector trong FAISS. Ngoài ra, chatbot còn kết nối trực tiếp với cơ sở dữ liệu PostgreSQL để truy vấn số liệu lưu lượng xe thực tế, giúp câu trả lời vừa có cơ sở văn bản pháp lý vừa phản ánh đúng số liệu giao thông hiện tại.

Kết luận

Khóa luận tốt nghiệp của sinh viên Bùi Quốc Khang và Đặng Kim Thành đã xây dựng thành công giải pháp toàn diện "CityTraffic360", tích hợp thị giác máy tính và trí tuệ nhân tạo vào hệ thống camera giám sát giao thông đô thị tại tuyến đường Xa lộ Hà Nội, TP. Hồ Chí Minh. Nghiên cứu đã hoàn thiện trọn vẹn chuỗi xử lý kỹ thuật từ phát hiện, theo dõi phương tiện bằng mô hình Detectron2 (đạt mAP@50 là 80.35%) kết hợp DeepSORT, tối ưu hóa suy luận thời gian thực qua TensorRT FP16 và OpenVINO IR, đến điều phối đèn tín hiệu giao thông thích nghi dựa trên EMA và các chỉ số thời gian trễ $VTw, VTL$. Bên cạnh đó, việc tích hợp chatbot hybrid RAG kết hợp mô hình ngôn ngữ lớn LLaMA-3.2 fine-tune đã mở ra công cụ hỗ trợ phân tích dữ liệu trực quan cho công tác quản lý điều hành và quy hoạch giao thông đô thị.