Phân tích Dữ Liệu Lớn Thời Gian Thực và Học Sâu

Luận văn thạc sĩ về ứng dụng phân tích dữ liệu lớn, học sâu để đếm phương tiện giao thông theo thời gian thực. Nghiên cứu chuyên sâu ngành công nghệ thông tin.

• Tác giả: Nguyễn Văn Việt
• Người hướng dẫn: TS. Đỗ Trọng Hợp
• Trường học: Trường Đại học Công nghệ Thông tin
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Phân Tích Dữ Liệu Lớn Thời Gian Thực Và Học Sâu Ứng Dụng Trong Đếm Phương Tiện Giao Thông
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
• MỤC TIÊU NGHIÊN CỨU
• ĐỐI TƯỢNG NGHIÊN CỨU
• PHẠM VI NGHIÊN CỨU
• NỘI DUNG NGHIÊN CỨU
• CẤU TRÚC LUẬN VĂN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng nghiên cứu
• 1.4. Phạm vi nghiên cứu
• 1.5. Nội dung nghiên cứu
• 1.6. Cấu trúc luận văn
• 2. CHƯƠNG 2: TỔNG QUAN VỀ PHÂN TÍCH DỮ LIỆU LỚN
• 2.1. Dữ liệu lớn qua khái niệm 5Vs
• 2.2. Mục tiêu
• 2.3. Quy trình
• 2.3.1. Thu thập dữ liệu (acquire)
• 2.3.2. Tổ chức dữ liệu (organize)
• 2.3.3. Phân tích dữ liệu
• 2.3.4. Ra quyết định (decide)
• 3. CHƯƠNG 3: ỨNG DỤNG YOLOV7 VÀ STRONGSORT TRONG BÀI TOÁN PHÁT HIỆN, THEO DÕI VÀ ĐẾM PHƯƠNG TIỆN GIAO THÔNG THỜI GIAN THỰC
• 3.1. Thuật toán YOLOv7
• 3.2. Thuật toán chi tiết
• 3.3. Ứng dụng của YOLOv7
• 3.4. Áp dụng YOLOv7 và StrongSORT trong bài toán đếm phương tiện giao thông
• 4. CHƯƠNG 4: GIỚI THIỆU VỀ MÔI TRƯỜNG, QUY TRÌNH VÀ KẾT QUẢ THỰC NGHIỆM
• 4.1. Môi trường thực nghiệm
• 4.2. Kiến trúc thử nghiệm
• 4.3. Các bộ dữ liệu
• 4.4. Kết quả thực nghiệm, so sánh và phân tích
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết luận
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Phân Tích Dữ Liệu Lớn và Học Sâu Đếm Xe

Dữ liệu, tập hợp các thông tin từ video, hình ảnh đến các câu từ mô tả, đánh giá, là nền tảng cho việc hiểu biết thế giới. Sự bùng nổ thông tin toàn cầu đã dẫn đến sự ra đời của khái niệm dữ liệu lớn (Big Data), một hệ thống cơ sở dữ liệu khổng lồ và phức tạp. Việc xử lý và khai thác Big Data đòi hỏi các bài toán phù hợp và ứng dụng thực tiễn. Trong kỷ nguyên công nghệ số, IoT, trí tuệ nhân tạo, mô hình học máy và học sâu đóng vai trò quan trọng. Học máy và học sâu, đặc biệt là mạng tích chập (CNN), mang lại kết quả tốt trong việc xử lý ảnh, video và nhận diện phương tiện giao thông. Luận văn này tập trung vào nghiên cứu phương pháp đếm phương tiện giao thông sử dụng phân tích dữ liệu lớn thời gian thực và mô hình học sâu, kết hợp mô hình học máy, học sâu để đánh giá bộ dữ liệu thu được và phát triển kiến trúc triển khai ứng dụng đếm xe trong thời gian thực.

1.1. Khái niệm Dữ Liệu Lớn và Ứng Dụng Thực Tiễn

Dữ liệu lớn (Big Data) là thuật ngữ dùng để chỉ khối lượng dữ liệu khổng lồ và phức tạp, đòi hỏi các phương pháp xử lý đặc biệt. Ứng dụng thực tiễn của Big Data rất đa dạng, từ phân tích kinh doanh, dự báo thời tiết đến quản lý giao thông. Việc sử dụng phân tích dữ liệu lớn giúp các tổ chức đưa ra quyết định thông minh hơn, tối ưu hóa hoạt động và tạo ra giá trị mới. Một trong những ứng dụng quan trọng của Big Data là trong lĩnh vực giao thông vận tải, nơi nó có thể được sử dụng để cải thiện an toàn giao thông, giảm ùn tắc và tối ưu hóa luồng giao thông.

1.2. Vai Trò của Học Sâu Trong Bài Toán Đếm Phương Tiện

Học sâu (Deep Learning), đặc biệt là mạng nơ-ron tích chập (CNN), đã chứng minh được hiệu quả vượt trội trong các bài toán xử lý ảnh và video. Trong bài toán đếm phương tiện, học sâu có thể được sử dụng để phát hiện, phân loại và theo dõi các phương tiện một cách chính xác. Các mô hình học sâu có thể học được các đặc trưng phức tạp của phương tiện, cho phép chúng hoạt động tốt trong các điều kiện ánh sáng, thời tiết và góc nhìn khác nhau. Việc kết hợp học sâu với phân tích dữ liệu lớn cho phép xây dựng các hệ thống đếm phương tiện thông minh, có khả năng xử lý dữ liệu thời gian thực và đưa ra các dự đoán chính xác.

II. Tại Sao Cần Phân Tích Dữ Liệu Lớn Đếm Phương Tiện Giao Thông

Sự phát triển của các quốc gia đi kèm với sự gia tăng dân số, làm tăng nhu cầu về cơ sở hạ tầng. Các nhà quy hoạch giao thông cần phân tích hệ thống giao thông để đánh giá các vấn đề hiện tại và dự báo tình huống tương lai. Việc đếm phương tiện tại các điểm nóng là rất quan trọng, cung cấp dữ liệu cơ bản cho việc phân tích và giám sát hệ thống giao thông. Tuy nhiên, mạng lưới giao thông phức tạp và phụ thuộc vào sự phát triển của từng khu vực. Các kỹ thuật dựa trên học sâu được đề xuất để phát hiện và đếm chính xác số lượng phương tiện trong các điều kiện môi trường khác nhau. Một vấn đề nổi bật là sự tắc nghẽn, gây mơ hồ trong việc đếm phương tiện. Luận văn này đưa ra một phương pháp đếm phương tiện mạnh mẽ để giải quyết vấn đề tắc nghẽn và đếm chính xác số lượng phương tiện.

2.1. Thách Thức trong Quản Lý Giao Thông Đô Thị Hiện Đại

Quản lý giao thông đô thị hiện đại đối mặt với nhiều thách thức, bao gồm sự gia tăng nhanh chóng của số lượng phương tiện, ùn tắc giao thông, tai nạn giao thông và ô nhiễm môi trường. Các hệ thống giao thông truyền thống thường không đủ khả năng để giải quyết các vấn đề này một cách hiệu quả. Việc thu thập và phân tích dữ liệu giao thông là rất quan trọng để đưa ra các quyết định quản lý chính xác và kịp thời. Tuy nhiên, việc thu thập và xử lý dữ liệu giao thông theo phương pháp truyền thống thường tốn kém, chậm trễ và không đầy đủ.

2.2. Tầm Quan Trọng của Dữ Liệu Đếm Phương Tiện Chính Xác

Dữ liệu đếm phương tiện chính xác là yếu tố then chốt trong việc quy hoạch giao thông, đánh giá hiệu quả của các giải pháp giao thông và dự báo lưu lượng giao thông trong tương lai. Dữ liệu này có thể được sử dụng để tối ưu hóa đèn giao thông, thiết kế các tuyến đường mới và cải thiện an toàn giao thông. Tuy nhiên, việc thu thập dữ liệu đếm phương tiện chính xác thường gặp nhiều khó khăn, đặc biệt là trong các điều kiện giao thông phức tạp và tắc nghẽn. Các phương pháp đếm phương tiện truyền thống thường dựa vào con người hoặc các cảm biến đơn giản, có thể dễ bị sai sót và không thể cung cấp dữ liệu chi tiết về loại phương tiện, tốc độ và hướng di chuyển.

2.3. Giải Quyết Tắc Nghẽn Giao Thông Bằng Công Nghệ Hiện Đại

Sử dụng phân tích dữ liệu lớn và học sâu là giải pháp tối ưu giúp giải quyết tình trạng tắc nghẽn giao thông hiện nay. Nó cung cấp khả năng theo dõi và thống kê phương tiện lưu thông chính xác, từ đó đưa ra các giải pháp phân luồng và điều khiển giao thông hiệu quả hơn. Sự kết hợp giữa Computer Vision và AI for Traffic Management cho phép hệ thống tự động điều chỉnh đèn tín hiệu giao thông dựa trên lưu lượng xe thực tế, giảm thiểu thời gian chờ đợi và cải thiện luồng giao thông tổng thể.

III. Hướng Dẫn Ứng Dụng YOLOv7 và StrongSORT Đếm Xe Thời Gian Thực

Luận văn trình bày phương pháp đếm số lượng phương tiện giao thông trên đường bộ sử dụng phân tích dữ liệu lớn thời gian thực và học sâu. Trình bày các bước cơ bản để đếm và nhận dạng hình ảnh phương tiện giao thông, sau đó nghiên cứu để nhận dạng và đếm số lượng xe, giúp ích cho việc thống kê, điều phối và phân chia mật độ phương tiện. Kết quả đầu ra là một chương trình có đầu vào là video/hình ảnh từ camera giám sát giao thông (CCTV), kết quả đầu ra là số lượng và phân loại phương tiện giao thông đếm được ngay tại mỗi khung hình từ đầu vào.

3.1. Tổng Quan Về Thuật Toán YOLOv7 và Ưu Điểm Vượt Trội

YOLOv7 là một trong những thuật toán object detection tiên tiến nhất hiện nay. YOLOv7 vượt trội về tốc độ xử lý và độ chính xác so với các thuật toán khác. Do đó, nó được ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm cả quản lý giao thông. YOLOv7 được sử dụng để phát hiện các phương tiện giao thông trên hình ảnh và video, cung cấp thông tin quan trọng cho việc đếm và theo dõi phương tiện.

3.2. StrongSORT Giải Pháp Theo Dõi Đối Tượng Mạnh Mẽ

StrongSORT là một thuật toán object tracking mạnh mẽ, được thiết kế để theo dõi các đối tượng trong video một cách chính xác và ổn định. StrongSORT sử dụng thông tin về vị trí, kích thước và đặc điểm của đối tượng để duy trì theo dõi, ngay cả khi đối tượng bị che khuất hoặc di chuyển nhanh. Kết hợp với YOLOv7, StrongSORT tạo ra một hệ thống hoàn chỉnh để phát hiện, phân loại và theo dõi phương tiện giao thông trong thời gian thực.

3.3. Cách Triển Khai YOLOv7 và StrongSORT trong Thực Tế

Việc triển khai YOLOv7 và StrongSORT đòi hỏi sự hiểu biết về các công cụ và kỹ thuật lập trình. Thông thường, quá trình triển khai bao gồm các bước sau: Chuẩn bị dữ liệu huấn luyện, Huấn luyện mô hình YOLOv7, Tích hợp YOLOv7 và StrongSORT và Cuối cùng là triển khai hệ thống trên phần cứng phù hợp. Việc tối ưu hóa các tham số của YOLOv7 và StrongSORT là rất quan trọng để đảm bảo hiệu suất cao và độ chính xác trong môi trường thực tế.

IV. Kiến Trúc Hệ Thống Phân Tích Dữ Liệu Lớn Thời Gian Thực Đếm Xe

Mục tiêu nghiên cứu là nghiên cứu các mô hình học sâu và các phương pháp phân tích dữ liệu lớn, nhằm tìm hiểu và triển khai một hệ thống xử lý dữ liệu lớn dạng video theo thời gian thực bằng Kafka, Spark và học sâu. Tìm hiểu các phương pháp đếm phương tiện, sử dụng YOLO kết hợp StrongSORT trong xử lý ảnh để nhận dạng, phân loại và đếm số lượng phương tiện. Dữ liệu đầu vào là video từ camera giao thông được đọc thành chuỗi khung hình (frame), các khung hình được chuyển đổi về dạng bytes và được đóng gói trong các gói tin JSON. Các gói tin này được gửi và nhận thông qua Apache Kafka. Apache Kafka là một nền tảng streaming phân tán giúp hiện thực hóa việc streaming nhiều video nguồn với dung lượng lớn.

4.1. Sử Dụng Apache Kafka Cho Data Streaming Hiệu Quả

Apache Kafka là một nền tảng data streaming mạnh mẽ, cho phép xử lý lượng lớn dữ liệu theo thời gian thực. Trong hệ thống đếm phương tiện, Kafka được sử dụng để truyền tải dữ liệu video từ camera giám sát đến các thành phần xử lý. Kafka đảm bảo tính tin cậy và khả năng mở rộng của hệ thống, cho phép xử lý đồng thời nhiều nguồn dữ liệu khác nhau. Việc sử dụng Kafka giúp giảm độ trễ và đảm bảo tính thời gian thực của hệ thống.

4.2. Apache Spark và Spark Streaming Xử Lý Dữ Liệu Giao Thông

Apache Spark là một framework xử lý dữ liệu lớn mạnh mẽ, cung cấp khả năng xử lý dữ liệu nhanh chóng và hiệu quả. Spark Streaming là một module của Spark, cho phép xử lý dữ liệu theo thời gian thực. Trong hệ thống đếm phương tiện, Spark Streaming được sử dụng để xử lý dữ liệu video từ Kafka, thực hiện các tác vụ phát hiện, phân loại và đếm phương tiện. Spark cung cấp các API mạnh mẽ để thao tác với dữ liệu, cho phép xây dựng các ứng dụng phân tích giao thông phức tạp.

4.3. Kết Hợp Học Sâu và Kiến Trúc Dữ Liệu Lớn Đếm Phương Tiện

Sự kết hợp giữa mô hình học sâu như YOLOv7 và StrongSORT với kiến trúc dữ liệu lớn như Kafka và Spark Streaming tạo nên một hệ thống đếm phương tiện mạnh mẽ và linh hoạt. Mô hình học sâu được sử dụng để phát hiện và theo dõi phương tiện, trong khi kiến trúc dữ liệu lớn đảm bảo khả năng xử lý dữ liệu thời gian thực và mở rộng của hệ thống. Hệ thống này có thể được triển khai trên các nền tảng khác nhau, từ cloud computing đến edge computing, tùy thuộc vào yêu cầu cụ thể của ứng dụng.

V. Kết Quả Nghiên Cứu và Hướng Phát Triển Tương Lai Đếm Xe AI

Nghiên cứu sử dụng YOLOv7 và StrongSORT được chạy trên các Python Worker trong môi trường PySpark để xử lý bài toán phát hiện và đếm phương tiện giao thông. Dữ liệu kiểm nghiệm được trích từ bộ dữ liệu COCO và UA-DETRAC. Phạm vi nghiên cứu giới hạn trong phạm vi của nghiên cứu về chủ đề theo phương hướng sử dụng phương pháp học sâu để xử lý bài toán phát hiện, theo dõi đối tượng nói chung và đếm phương tiện giao thông nói riêng; sử dụng SparkStreaming và Kafka để xử lý bài toán dữ liệu lớn và đáp ứng thời gian thực. Kết quả thu được cho thấy tiềm năng lớn của việc ứng dụng học sâu và phân tích dữ liệu lớn trong lĩnh vực giao thông thông minh.

5.1. Đánh Giá Hiệu Suất Mô Hình Học Sâu Đếm Xe Thời Gian Thực

Việc đánh giá hiệu suất của mô hình học sâu là rất quan trọng để đảm bảo tính chính xác và tin cậy của hệ thống đếm phương tiện. Các chỉ số đánh giá phổ biến bao gồm Precision, Recall, F1-Score và IoU (Intersection over Union). Các chỉ số này đo lường khả năng của mô hình trong việc phát hiện và phân loại phương tiện một cách chính xác. Việc so sánh hiệu suất của các mô hình khác nhau giúp lựa chọn mô hình tốt nhất cho ứng dụng cụ thể.

5.2. Ứng Dụng Thực Tế và Tiềm Năng Phát Triển trong Thành Phố Thông Minh

Hệ thống đếm phương tiện có nhiều ứng dụng thực tế trong lĩnh vực giao thông thông minh, bao gồm: Quản lý giao thông, Tối ưu hóa đèn giao thông, Phát hiện ùn tắc giao thông và Cung cấp thông tin cho người tham gia giao thông. Trong tương lai, hệ thống đếm phương tiện có thể được tích hợp với các hệ thống khác, như hệ thống đỗ xe thông minh và hệ thống thanh toán phí đường bộ tự động, để tạo ra một hệ sinh thái giao thông thông minh hoàn chỉnh.

5.3. Hướng Nghiên Cứu Mở Rộng và Phát Triển Thuật Toán Trong Tương Lai

Trong tương lai, hướng nghiên cứu có thể tập trung vào việc cải thiện hiệu suất của mô hình học sâu trong các điều kiện thời tiết khắc nghiệt và môi trường giao thông phức tạp. Phát triển các thuật toán đếm phương tiện có khả năng xử lý dữ liệu từ nhiều nguồn khác nhau, như camera giám sát, cảm biến và thiết bị di động. Nghiên cứu các phương pháp bảo mật và bảo vệ quyền riêng tư dữ liệu trong hệ thống đếm phương tiện. Việc hợp tác giữa các nhà nghiên cứu, doanh nghiệp và chính phủ là rất quan trọng để thúc đẩy sự phát triển của công nghệ đếm phương tiện và ứng dụng nó vào thực tế.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của đô thị và sự gia tăng dân số, nhu cầu quản lý và giám sát giao thông trở nên cấp thiết hơn bao giờ hết. Theo ước tính, lưu lượng phương tiện giao thông tại các đô thị lớn ngày càng tăng, dẫn đến tình trạng tắc nghẽn và khó khăn trong việc điều phối giao thông. Việc đếm chính xác số lượng phương tiện tại các điểm nóng giao thông là dữ liệu nền tảng quan trọng giúp các nhà quy hoạch giao thông vận tải phân tích, dự báo và đưa ra các giải pháp phù hợp. Tuy nhiên, mạng lưới giao thông phức tạp và sự tắc nghẽn thường xuyên gây ra nhiều thách thức trong việc đếm phương tiện chính xác.

Luận văn thạc sĩ này tập trung nghiên cứu và phát triển phương pháp đếm phương tiện giao thông sử dụng phân tích dữ liệu lớn thời gian thực kết hợp với mô hình học sâu, đặc biệt là mạng nơ-ron tích chập (CNN). Nghiên cứu áp dụng các công nghệ tiên tiến như Apache Kafka, Apache Spark Streaming để xử lý dữ liệu video từ camera giám sát giao thông theo thời gian thực, đồng thời sử dụng thuật toán YOLOv7 và StrongSORT để phát hiện, theo dõi và đếm phương tiện giao thông. Phạm vi nghiên cứu tập trung vào dữ liệu video thu thập từ các camera giao thông tại một số tuyến đường đô thị trong năm 2023.

Mục tiêu chính của nghiên cứu là xây dựng hệ thống đếm phương tiện giao thông có độ chính xác cao, khả năng xử lý dữ liệu lớn theo thời gian thực, góp phần nâng cao hiệu quả quản lý và điều phối giao thông. Kết quả nghiên cứu có ý nghĩa thiết thực trong việc hỗ trợ các nhà hoạch định giao thông vận tải, giảm thiểu ùn tắc và nâng cao chất lượng dịch vụ giao thông đô thị.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai nền tảng lý thuyết chính: phân tích dữ liệu lớn (Big Data Analytics) và học sâu (Deep Learning).

1. Phân tích dữ liệu lớn 5V: Dữ liệu lớn được đặc trưng bởi năm yếu tố Volume (khối lượng), Velocity (tốc độ), Variety (đa dạng), Veracity (tính xác thực) và Value (giá trị). Quy trình xử lý dữ liệu lớn gồm bốn bước chính: thu thập, tổ chức, phân tích và ra quyết định. Công cụ Apache Kafka và Apache Spark Streaming được sử dụng để thu thập và xử lý dữ liệu video theo thời gian thực, đảm bảo khả năng mở rộng và độ trễ thấp.

2. Mô hình học sâu và phát hiện đối tượng: Mạng nơ-ron tích chập (CNN) là phương pháp chủ đạo trong nhận dạng và phát hiện đối tượng trên ảnh và video. Thuật toán YOLO (You Only Look Once) phiên bản YOLOv7 được lựa chọn do khả năng phát hiện nhanh và chính xác nhiều đối tượng trong một khung hình. Thuật toán StrongSORT được sử dụng để theo dõi đối tượng, cải thiện độ chính xác trong việc duy trì định danh các phương tiện qua các khung hình liên tiếp.

Các khái niệm chính bao gồm: phát hiện đối tượng (object detection), theo dõi đối tượng (object tracking), các metric đánh giá như MOTA (Multiple Object Tracking Accuracy), MOTP (Multiple Object Tracking Precision), IoU (Intersection over Union), và các kỹ thuật model scaling, re-parameterization trong mạng YOLOv7.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là các video giám sát giao thông thu thập từ camera CCTV tại các tuyến đường đô thị trong năm 2023. Dữ liệu được chuyển đổi thành chuỗi khung hình (frame), đóng gói dưới dạng JSON và truyền qua Apache Kafka để tạo thành dòng dữ liệu (data streaming).

Phương pháp phân tích sử dụng Apache Spark Streaming để xử lý dữ liệu lớn theo mô hình micro-batch, đảm bảo độ trễ thấp và khả năng mở rộng. Mô hình học sâu YOLOv7 được huấn luyện và tinh chỉnh trên các bộ dữ liệu chuẩn COCO và UA-DETRAC để phát hiện và phân loại các loại phương tiện giao thông. Thuật toán StrongSORT được áp dụng để theo dõi các phương tiện qua các khung hình, duy trì định danh và hỗ trợ đếm chính xác.

Cỡ mẫu nghiên cứu bao gồm hàng nghìn khung hình video với đa dạng điều kiện môi trường và mật độ giao thông khác nhau. Phương pháp chọn mẫu là ngẫu nhiên có kiểm soát nhằm đảm bảo tính đại diện cho các tình huống thực tế. Phân tích kết quả dựa trên các chỉ số chính như độ chính xác phát hiện (Precision), độ nhạy (Recall), MOTA, MOTP và số lượng phương tiện đếm được so với ground truth.

Timeline nghiên cứu kéo dài trong năm 2023, bao gồm các giai đoạn thu thập dữ liệu, xây dựng mô hình, thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác phát hiện phương tiện: Mô hình YOLOv7 đạt độ chính xác trung bình (mean Average Precision - mAP) khoảng 85%, vượt trội so với các phiên bản YOLO trước đó và các mô hình phát hiện đối tượng khác. Độ nhạy (Recall) đạt trên 80%, cho thấy khả năng phát hiện đa dạng các loại phương tiện trong nhiều điều kiện ánh sáng và tắc nghẽn.

2. Hiệu quả theo dõi đối tượng: Thuật toán StrongSORT cải thiện đáng kể độ chính xác theo dõi với chỉ số MOTA đạt khoảng 75%, giảm số lượng switch ID (đổi định danh) xuống dưới 10% so với DeepSORT truyền thống. Điều này giúp duy trì định danh phương tiện ổn định qua các khung hình, đặc biệt trong các tình huống tắc nghẽn cao.

3. Khả năng xử lý thời gian thực: Hệ thống sử dụng Apache Kafka và Spark Streaming xử lý dữ liệu video với độ trễ trung bình dưới 1 giây, đáp ứng yêu cầu thời gian thực trong giám sát giao thông. Kích thước batch được điều chỉnh phù hợp với khả năng xử lý của hệ thống, tránh hiện tượng nghẽn cổ chai.

4. Độ chính xác đếm phương tiện trong điều kiện tắc nghẽn: Phương pháp đếm dựa trên kết hợp phát hiện và theo dõi giúp giảm sai số đếm xuống dưới 5% trong các tình huống mật độ giao thông cao, vượt trội so với các phương pháp truyền thống chỉ dựa trên phát hiện hoặc vùng ảo.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy sự kết hợp giữa phân tích dữ liệu lớn thời gian thực và mô hình học sâu là hướng đi hiệu quả trong bài toán đếm phương tiện giao thông. Độ chính xác phát hiện và theo dõi được cải thiện nhờ các kỹ thuật nâng cao trong YOLOv7 như model scaling, re-parameterization và kỹ thuật gán nhãn (label assignment). StrongSORT với các thuật toán plug-and-play như AFLink và Gaussian smoothing giúp giảm thiểu lỗi định danh trong môi trường phức tạp.

So sánh với các nghiên cứu trước đây, hệ thống này có khả năng xử lý dữ liệu lớn với độ trễ thấp hơn, đồng thời duy trì độ chính xác cao trong điều kiện thực tế đa dạng. Biểu đồ so sánh mAP và MOTA giữa các thuật toán cho thấy YOLOv7 và StrongSORT đạt kết quả tốt nhất trên bộ dữ liệu thử nghiệm.

Ý nghĩa của nghiên cứu không chỉ nằm ở việc nâng cao hiệu quả đếm phương tiện mà còn mở ra hướng ứng dụng rộng rãi trong quản lý giao thông thông minh, hỗ trợ các nhà hoạch định trong việc phân tích lưu lượng và điều phối giao thông hiệu quả hơn.

Đề xuất và khuyến nghị

1. Triển khai hệ thống giám sát giao thông thông minh: Khuyến nghị các cơ quan quản lý giao thông áp dụng hệ thống đếm phương tiện dựa trên YOLOv7 và StrongSORT kết hợp Apache Kafka, Spark Streaming để giám sát lưu lượng giao thông theo thời gian thực, nâng cao hiệu quả điều phối và giảm ùn tắc. Thời gian triển khai dự kiến trong vòng 12 tháng.

2. Mở rộng phạm vi dữ liệu và cải tiến mô hình: Đề xuất thu thập thêm dữ liệu từ nhiều khu vực khác nhau, đa dạng điều kiện thời tiết và giao thông để huấn luyện mô hình sâu hơn, tăng độ chính xác và khả năng thích ứng. Chủ thể thực hiện là các trung tâm nghiên cứu và doanh nghiệp công nghệ.

3. Tích hợp hệ thống cảnh báo và dự báo giao thông: Phát triển các module dự báo lưu lượng dựa trên dữ liệu đếm phương tiện, kết hợp với các thuật toán phân tích dự đoán để cảnh báo sớm tình trạng tắc nghẽn, hỗ trợ ra quyết định kịp thời. Thời gian phát triển trong 6-9 tháng.

4. Đào tạo và nâng cao năng lực nhân sự: Tổ chức các khóa đào tạo về công nghệ dữ liệu lớn và học sâu cho cán bộ quản lý giao thông và kỹ thuật viên vận hành hệ thống, đảm bảo vận hành hiệu quả và khai thác tối đa giá trị dữ liệu. Chủ thể thực hiện là các trường đại học và viện nghiên cứu.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý và hoạch định giao thông: Luận văn cung cấp giải pháp công nghệ hiện đại giúp giám sát và phân tích lưu lượng giao thông chính xác, hỗ trợ ra quyết định điều phối giao thông hiệu quả.

2. Chuyên gia và nhà nghiên cứu công nghệ thông tin: Tài liệu chi tiết về ứng dụng học sâu và phân tích dữ liệu lớn trong xử lý video thời gian thực, phù hợp cho nghiên cứu phát triển các hệ thống trí tuệ nhân tạo.

3. Doanh nghiệp phát triển giải pháp giao thông thông minh: Cung cấp cơ sở kỹ thuật và phương pháp triển khai hệ thống đếm phương tiện, giúp nâng cao chất lượng sản phẩm và dịch vụ.

4. Sinh viên và học viên ngành công nghệ thông tin, kỹ thuật máy tính: Tài liệu tham khảo quý giá về các thuật toán học sâu, xử lý dữ liệu lớn và ứng dụng thực tiễn trong lĩnh vực giao thông.

Câu hỏi thường gặp

1. Phân tích dữ liệu lớn 5V là gì và tại sao quan trọng?
   5V gồm Volume (khối lượng), Velocity (tốc độ), Variety (đa dạng), Veracity (tính xác thực) và Value (giá trị). Đây là các đặc trưng giúp mô tả và quản lý hiệu quả dữ liệu lớn, đảm bảo hệ thống xử lý phù hợp với yêu cầu thực tế.

2. Tại sao chọn YOLOv7 cho bài toán phát hiện phương tiện?
   YOLOv7 có tốc độ suy luận nhanh, độ chính xác cao và khả năng phát hiện nhiều đối tượng trong một khung hình, phù hợp với yêu cầu xử lý video thời gian thực trong môi trường giao thông phức tạp.

3. StrongSORT cải thiện gì so với DeepSORT?
   StrongSORT nâng cao hiệu quả liên kết đối tượng, giảm số lượng đổi ID (switch ID) và tăng độ chính xác theo dõi nhờ các thuật toán bổ sung như AFLink và Gaussian smoothing, đặc biệt hiệu quả trong môi trường đông đúc.

4. Hệ thống xử lý dữ liệu lớn theo thời gian thực hoạt động như thế nào?
   Dữ liệu video được chia thành các micro-batch nhỏ, truyền qua Apache Kafka và xử lý song song bằng Apache Spark Streaming, đảm bảo độ trễ thấp và khả năng mở rộng khi xử lý lượng lớn dữ liệu.

5. Làm thế nào để đảm bảo độ chính xác đếm phương tiện trong điều kiện tắc nghẽn?
   Kết hợp phát hiện đối tượng chính xác với theo dõi liên tục qua các khung hình giúp giảm sai số do che khuất hoặc chồng lấn, đồng thời sử dụng thuật toán StrongSORT để duy trì định danh ổn định.

Kết luận

• Nghiên cứu đã phát triển thành công hệ thống đếm phương tiện giao thông sử dụng phân tích dữ liệu lớn thời gian thực kết hợp học sâu, đạt độ chính xác phát hiện và theo dõi cao.
• Ứng dụng YOLOv7 và StrongSORT giúp cải thiện đáng kể hiệu quả phát hiện, theo dõi và đếm phương tiện trong môi trường giao thông phức tạp và tắc nghẽn.
• Hệ thống xử lý dữ liệu lớn dựa trên Apache Kafka và Spark Streaming đáp ứng yêu cầu thời gian thực với độ trễ dưới 1 giây.
• Kết quả nghiên cứu có ý nghĩa thực tiễn lớn trong quản lý và điều phối giao thông đô thị, hỗ trợ các nhà hoạch định đưa ra quyết định chính xác.
• Đề xuất mở rộng nghiên cứu và triển khai ứng dụng trong thực tế, đồng thời đào tạo nhân lực để khai thác hiệu quả công nghệ mới.

Luận văn mở ra hướng phát triển công nghệ giao thông thông minh, khuyến khích các tổ chức, doanh nghiệp và nhà nghiên cứu tiếp tục ứng dụng và hoàn thiện các giải pháp dựa trên dữ liệu lớn và học sâu. Để biết thêm chi tiết và ứng dụng thực tiễn, độc giả được khuyến khích tiếp cận toàn văn luận văn và các tài liệu liên quan.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan tình hình thực tiễn và định hướng nghiên cứu. + Chương 2: Cơ sở lý thuyết và các nghiên cứu liên quan + Chương 3: Trình bày phương pháp ứng dụng YOLOv7 và StrongSORT trong giải quyết bài toán đếm phương tiện giao thông. + Chương 4: Giới thiệu về môi trường, quy trình và kết quả thực nghiệm. + Chương 5: Kết luận và hướng phát triển.

Cơ sở lý thuyết CHƯƠNG 2. Tổng quan về phân tích dữ liệu lớn 2. Dữ liệu lớn qua khái niệm 5Vs Dữ liệu lớn được định nghĩa ban đầu là tập hợp các tập dữ liệu có nội dung lớn và phức tạp mà vẫn đảm bảo các yếu tô bao gồm khả năng lưu trử lượng dữ liệu khổng lồ, khả năng quản lý dữ liệu, khả năng lưu trữ và phân tích thời gian thực. Trong đó, phân tích dit liệu lớn là quá trình khai phá và đánh giá với lượng lớn dit liệu.

Kích thước của một dữ liệu lớn thường được đo bằng terabyte hoặc petabyte. Hiện tượng này được gọi là Bigdata. Sau khi kiểm tra Bigdata, dữ liệu đã được khởi chạy dưới dạng phân tích Dữ liệu lớn. Dữ liệu lớn được khái quát đưới nhiều định nghĩa khác nhau.

Tuy nhiên, khái niệm 5Vs là một trong những khái niệm có nhiều điểm nổi bật được nhiều nhà nghiên cứu sử dụng để mô tả về những gì dữ liệu lớn có thê làm được và sức mạnh của nó. Cụ thé, dữ liệu lớn có thé được mô tả bởi các đặc điểm 5Vs như sau: 'Volume (Tổng dung lượng lưu trữ): Đây là khía cạnh mà quan trọng khi nhắc đến dữ liệu lớn. Nhiều hệ thống đã có một lượng lớn dữ liệu được lưu trữ dưới dạng nhật ký (logging) nhưng những dữ liệu đó gần như không có khả năng để được xử lý. Velocity (Tốc độ): Là đang đề cập đến tốc độ ngày càng tăng mà dữ liệu lớn tạo ra.

Vì dữ liệu ngày càng tăng nên tốc độ xử lý của các hệ thống lưu trữ dữ liệu cũng cần phải được đáp ứng. Variety (Đa dang kiểu di liệu): Yếu tố này nhằm đề cập đến kiểu dữ liệu và tính chất của dữ liệu bởi dữ liệu lớn không phải lúc nào cũng là dữ liệu có cấu trúc và không phải lúc nào cũng dé dàng đưa dữ liệu lớn vào cơ sở dữ liệu quan hệ. Điều 17 Chương 2. Cơ sở lý thuyết này có nghĩa là danh mục mà dữ liệu lớn thuộc về cũng là một thực tế rất cần thiết mà các nhà phân tích dữ liệu cần biết.

Veracity (Tính xác thực): Khi đang xử lý khối lượng lớn, tốc độ và nhiều loại dữ liệu, không thể có đầy đủ dữ liệu sạch. Vậy nên, độ chính xác là yếu tố nhằm đảm bảo sự sai lệch ít nhất trong lưu trữ dữ liệu. Value (Giá trị): Được xem là đặc trưng quan trọng nhất trong dit liệu lớn. Mặc dù vậy, giá trị tiềm năng của dữ liệu lớn là rất lớn.

Việc triển khai các hệ thống cơ sở hạ tầng CNTT dé lưu trữ dữ liệu lớn trở nên rất tốn kém và các doanh nghiệp sẽ yêu cầu hoàn vốn đầu tư.1: 5V cua dữ liệu lớn Việc áp dụng các tiêu chí của mô hình 5V này đã hỗ trợ rất nhiều trong việc thực hiện các quy trình và vận hành nghiệp vụ của một hệ thống dữ liệu lớn một cách thông thái hơn và mang lại hiệu quả cao hơn trong thực tế. Mục tiêu Dữ liệu lớn thường được sử dụng với mục đích chính nhằm trích xuất các giá trị của dữ liệu trong quá trình phân tích. Các dữ liệu này được tạo liên tục từ các nguồn dữ liệu như các thiết bị thông minht (smart home, smart device.), các cảm biến (sensor), các hệ thống Internet of Things (IoT) hay thậm chí từ các mạng xã hội, v. Thông qua các kết quả đã được phân tích, tìm ra được các giải pháp đề giải quyết các vấn đề của xã hội như ô nhiềm môi trường, tình trạng quá tải giao thông, van dé sức khỏe, giáo dục hay kinh tế.

Dữ liệu lớn còn có mục tiêu tạo ra các sản phẩm hay các ứng dụng có tính sáng tạo cao trong các tác động tính cực tới các mối quan tâm trong xã hội hiện nay. Trong thời đại thông tin đại chúng có tầm ảnh hưởng rất lớn, việc sử dụng dữ liệu lớn trong các phân tích đưa ra quyết định cũng thúc đây sự đổi mới, nâng cao hiệu suất sản xuất và tăng giá trị sản phẩm của các doanh nghiệp có ứng dụng phân tích dit liệu lớn. Quy trình Trải qua bước chất lọc và tìm tòi, đúc kết ra được một hệ thống Big data thường được xử lý thông qua 4 bước chính, các giai đoạn sau sử dụng kết quả của giai đoạn trước dé tiếp tục quy trình và hoàn thiện quy mô của hệ thống: thu thập (acquire), tổ chức (organize), phân tích (analyze) và cuối cùng là quyết định (decide): 19 Chương 2. Cơ sở lý thuyết (acquire) Tổ chức (organize) Quyết định (decide) Hình 2.2: Quy trình xữ lý Bigdata [29] a) Thu thập dữ liệu (acquire) Thu thập dữ liệu thường được viết tắt là DAQ hoặc DAS, được hiéu là quá trình thu thập, lọc và làm sạch dữ liệu trước khi dữ liệu được đưa vào kho dữ liệu.

Việc thu thập dữ liệu lớn thường được điều chỉnh bởi bốn trong số 5Vs là: khối lượng, tốc độ, sự đa dạng và giá trị [16]. Hầu hết các kịch bản thu thập dữ liệu đều giả định dữ liệu có kích thước là lớn, đảm bảo tốc độ cao, mang tính đa dạng nhưng có giá trị thấp. Và điều quan trọng là phải có các thuật toán thu thập, lọc và làm sạch có khả năng thích ứng và tiết kiệm tài nguyên để đảm bảo rằng chỉ các đoạn dữ liệu có giá trị cao thực sự được xử lý trong quá trình phân tích. b) Tổ chức dữ liệu (organize) Sau công đoạn tạo, thu thập hoặc bắt đầu thao tác với đữ liệu và tệp, chúng có thể nhanh chóng trở nên vô tổ chức và việc thu thập từ đa dạng nguồn khác nhau gây rối về cơ cấu, định dang của một bộ dữ liệu nhất định.

Để tiết 20 Chương 2. Cơ sở lý thuyết kiệm thời gian và hạn chế lỗi sau này, cần phải xem xét kỹ về cấu trúc cũng như cách đặt tên các tệp và thư mục. Bao gồm tài liệu (hoặc 'siêu dữ liệu') sẽ cho phép bộ dữ liệu được thêm các ngữ cảnh vào dữ liệu để có thẻ hiểu dữ liệu đó trong ngắn hạn, trung hạn và dài hạn[ 17]. Phân tích dữ liệu Phân tích dữ liệu lớn là phân ra, khám phá va phân tích lượng lớn dữ liệu để khai thác xu hướng của thị trường, các thông tin chỉ tiết và mô hình có thể giúp các doanh nghiệp đưa ra các quyết định cũng như các chiến lược kinh doanh mang về giá trị tốt hơn.

Thông tin này cần phải có sẵn một cách nhanh chóng và dễ dàng để các doanh nghiệp có thể linh hoạt thay đổi trong việc xây dựng các kế hoạch khác nhau nhằm duy trì lợi thế cạnh tranh của họ. 3) Ra quyết định (decide) Sau khi qua ba công đoạn trên thì bước cuối cùng sẽ dựa trên các kết quả thu được từ việc đánh giá, so sánh, tính toán đề đưa ra phương hướng phát triển, cải thiện cho các cơ quan tổ chức, doanh nghiệp. Như vậy, có 4 giai đoạn trong quy trình bigdata và cả 4 giai đoạn đều quan trọng. Dé nâng cao được chất lượng tri thức, tiền tố quan trọng trong tat cả các quá trình phân tích dữ liệu lớn thì việc thực hiện chỉnh chu từng giai đoạn là điều cần thiết.

Các loại phân tích dữ liệu lớn Phân tích mô tả Dữ liệu có tính lịch sử được phân tích nhằm hiểu rõ hơn về các thay đổi đã xảy ra trong quá khứ. Từ đó rút ra được cái nhìn tổng thể về giá trị và xu hướng của dữ liệu đã được lưu trữ. Phân tích mô tả thường là bước đầu tiên trong quy trình phân tích dữ liệu của các doanh nghiệp nhằm ghi lại những sự kiện (dữ liệu về thông tin) đã xảy ra. Phân tích chan đoán 21 Chương 2.

Cơ sở lý thuyết Đi sâu vào dữ liệu, nhằm tìm kiếm những thông tin chỉ tié t có giá trị, cũng, như giải đáp được câu hỏi “đoạn dữ liệu này phản ánh điều gì? Và vì sao nó xảy ra?”. Cuối cùng đưa ra được lý do xuất hiện của dữ liệu. - Phân tích dự đoán Phân tích chuẩn đoán giúp khai phá các dữ liệu từ quá khứ kết hợp với mô hình thống kê, kỹ thuật khai thác dữ liệu và học máy để đưa ra các dự đoán của xu hướng trong tương lai. Các doanh nghiệp, tổ chức sử dụng phân tích dự đoán như một công cụ dé đánh giá rủi ro và cơ hội trong tương lai.

- Phân tích đề xuất Phân tích đề xuất sử dụng thông tin về các tình huống hoặc kịch bản có thể xay ra, các nguồn lực sẵn có, hiệu suất trong quá khứ và hiện tại, nhằm đề cuất một chiến lược hoặc lộ trình hành động. Nó có thể được sử dụng để đưa ra quyết định cho bất kỳ thời điểm nào, tự ngắn hạn đến dài hạn [18]. Các công cụ phân tích dữ liệu lớn 2. Apache Hadoop Apache Hadoop là một nền tảng phần mềm mã nguồn mở dựa trên Java được giới thiệu dé quản lý việc xử lý va lưu trữ dữ liệu cho các ứng dụng dữ liệu lớn.

Nền tảng này hoạt động bằng cách phân phối các công việc phân tích và dữ liệu lớn của Hadoop trên các nút trong một cụm máy tính, chia chúng thành các khối có lượng công việc nhỏ hơn có thể chạy song song. Một số lợi ích chính của Hadoop là khả năng mở rộng, tính linh hoạt và khả năng phục hồi. Hệ thống tệp phân tán Hadoop (HDES) đảm bảo độ tin cậy cũng như khả năng phục hồi bằng cách sao chép bất kỳ nút (node) nào của cụm sang các nút khác của cụm để bảo vệ khỏi lỗi phần cứng hoặc phần mềm. Tính linh hoạt của Hadoop cho phép lưu trữ mọi định dạng dữ liệu bao gồm cả dữ liệu có cau trúc và cả dữ liệu không cấu trúc [19].

Apache Spark Apache Spark là một công cụ đa ngôn ngữ dé thực hiện kỹ thuật dữ liệu, khoa học dữ liệu và học máy trên các máy hoặc cụm nút đơn. Nó là một khung làm việc dựa trên xử lý song song có mã nguồn mở hỗ trợ xử lý trên bộ nhớ. Điều này nhằm cải thiện hiệu suất tính toán và xử lý của các ứng dụng có sử dụng phân tích dữ liệu lớn.