Luận văn thạc sĩ về phát hiện tai nạn và tình huống bất thường trong video giao thông

Luận văn thạc sĩ khoa học máy tính nghiên cứu phát hiện tai nạn và tình huống bất thường trong video giao thông, ứng dụng công nghệ hiện đại.

• Tác giả: Đoàn Thành Khang
• Người hướng dẫn: TS. Lê Thành Sách
• Trường học: Đại học Bách Khoa - ĐHQG TP.HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Phát hiện tai nạn và các tình huống bất thường trong video giao thông
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Giới thiệu đề tài

Đề tài "Phát hiện tai nạn và các tình huống bất thường trong video giao thông" tập trung vào việc phát hiện các tình huống bất thường và tai nạn trong video giao thông từ các camera giám sát. Sự phát triển của công nghệ camera và công nghệ AI trong giao thông đã mở ra cơ hội mới cho việc giám sát giao thông một cách hiệu quả hơn. Việc phát hiện tai nạn và các tình huống bất thường là rất quan trọng để đảm bảo an toàn giao thông. Đề tài này nghiên cứu các thách thức trong việc phát hiện tai nạn giao thông, đặc biệt là sự kết hợp giữa yếu tố hình ảnh và chuyển động trong không gian và thời gian. Kết quả nghiên cứu từ các mô hình hiện tại sẽ được áp dụng để cải thiện độ chính xác của việc phát hiện bất thường trong video giao thông.

1.1 Mục tiêu nghiên cứu

Mục tiêu chính của nghiên cứu là phát triển một mô hình hiệu quả để phát hiện các tình huống bất thường và tai nạn trong video giao thông. Đề tài sẽ khảo sát và kế thừa các công trình nghiên cứu liên quan, từ đó xây dựng mô hình phát hiện mới dựa trên các phương pháp hiện có. Việc sử dụng thuật toán phát hiện và phân tích video sẽ giúp cải thiện khả năng nhận diện các sự kiện bất thường trong thời gian thực. Kết quả nghiên cứu không chỉ góp phần nâng cao chất lượng giám sát giao thông mà còn có thể ứng dụng rộng rãi trong các hệ thống cảnh báo và quản lý giao thông.

II. Tổng quan tình hình nghiên cứu

Tình hình nghiên cứu về phát hiện tai nạn và bất thường trong video giao thông đã có nhiều tiến bộ nhờ vào sự phát triển của công nghệ nhận diện. Nhiều phương pháp đã được đưa ra, bao gồm các mô hình dựa trên mạng nơ-ron và mạng đối kháng tạo sinh. Các nghiên cứu trước đây đã chỉ ra rằng việc phát hiện bất thường trong video giao thông không chỉ phụ thuộc vào hình ảnh mà còn cần xem xét đến luồng quang và chuyển động của các đối tượng. Việc áp dụng các kỹ thuật như mạng tự động mã hóa và mạng LSTM đã cho thấy hiệu quả cao trong việc phát hiện bất thường. Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết, đặc biệt là trong việc tối ưu hóa mô hình để đạt được độ chính xác cao hơn trong các tình huống thực tế.

2.1 Phát hiện tai nạn cho góc nhìn thứ nhất Camera

Nghiên cứu về phát hiện tai nạn từ góc nhìn thứ nhất đã chỉ ra rằng việc phân tích video từ camera gắn trên phương tiện có thể mang lại nhiều thông tin quý giá. Các mô hình phát hiện tai nạn dựa trên hình ảnh giao thông và luồng quang đã được áp dụng để phát hiện các tình huống bất thường. Việc sử dụng thông tin từ nhiều camera cùng một lúc giúp cải thiện độ chính xác của việc phát hiện. Hơn nữa, việc áp dụng các thuật toán học sâu trong việc phân tích video giao thông đã chứng minh được tính hiệu quả trong việc nhận diện các tình huống khẩn cấp.

III. Phương pháp nghiên cứu

Phương pháp nghiên cứu trong đề tài này bao gồm việc phát triển một mô hình phát hiện dựa trên các kỹ thuật học máy và học sâu. Mô hình sẽ được xây dựng dựa trên việc phân tích dữ liệu video và áp dụng các thuật toán như Autoencoder và One Class SVM để phát hiện các tình huống bất thường. Việc sử dụng dữ liệu video từ các bộ dữ liệu khác nhau giúp mô hình có khả năng tổng quát cao hơn. Thí nghiệm sẽ được thực hiện trên các bộ dữ liệu như Ped2, Avenue và ShanghaiTech để đánh giá hiệu quả của mô hình. Kết quả thực nghiệm sẽ cho thấy độ chính xác của mô hình trong việc phát hiện tai nạn và các tình huống bất thường trong video giao thông.

3.1 Thiết kế thử nghiệm

Thiết kế thử nghiệm sẽ bao gồm việc lựa chọn các bộ dữ liệu phù hợp để kiểm tra mô hình. Các tiêu chí đánh giá như AUC và độ chính xác sẽ được sử dụng để đánh giá hiệu quả của mô hình. Việc phân tích và tiền xử lý dữ liệu cũng là một phần quan trọng trong quá trình này. Các thí nghiệm sẽ được thực hiện để so sánh hiệu suất của các phương pháp khác nhau, từ đó tìm ra giải pháp tối ưu nhất cho việc phát hiện tai nạn trong video giao thông. Kết quả từ các thí nghiệm này sẽ cung cấp thông tin quý giá cho việc cải tiến mô hình trong tương lai.

IV. Kết quả thực nghiệm

Kết quả thực nghiệm từ mô hình phát hiện tai nạn cho thấy độ chính xác cao trong việc nhận diện các tình huống bất thường trong video giao thông. Mô hình đạt được chỉ số AUC 99% trên các bộ dữ liệu như Ped2 và Avenue, cho thấy khả năng phát hiện tốt trong các tình huống giao thông phức tạp. Đặc biệt, với các video tai nạn trên UCF-Crime, mô hình đạt được AUC là 78.02%, cho thấy khả năng ứng dụng thực tiễn của mô hình trong việc giám sát giao thông. Những kết quả này mở ra hướng đi mới cho việc ứng dụng công nghệ AI trong giám sát giao thông và cảnh báo tai nạn.

4.1 Hướng nghiên cứu tiếp theo

Hướng nghiên cứu tiếp theo sẽ tập trung vào việc cải thiện mô hình để đạt được độ chính xác cao hơn trong các tình huống thực tế. Việc áp dụng các công nghệ mới như học sâu và học máy sẽ được xem xét để nâng cao hiệu quả phát hiện. Ngoài ra, việc tích hợp mô hình vào hệ thống giám sát giao thông hiện có sẽ giúp phát hiện tai nạn kịp thời hơn, từ đó giảm thiểu thiệt hại về người và tài sản trong các tình huống khẩn cấp. Những nghiên cứu này không chỉ có giá trị lý thuyết mà còn có thể ứng dụng thực tiễn trong việc nâng cao an toàn giao thông.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI học giám sát một phần, hoặc học không giám sát [2]. Về tính chất của của tai nạn: Tai nạn thường diễn ra rất nhanh bất ngờ và đột ngột, chính vì vậy việc tối ưu quá quá trình nhận dạng cũng là một bài toán được đặt ra. Các công trình nghiên cứu như [2] sử dụng quá nhiều mô hình như cả Object Detection, Optical Flow, Mạng Nơ-ron hồi tiếp GRU và thêm các tính toán logic khác khá hợp lý để đưa ra kết quả với độ chính xác cao, nhưng lại đòi hỏi chi phí lớn cho phần cứng để đáp ứng việc nhận dạng ở thời gian thực đối với một vụ tai nạn có thời gian diễn ra rất nhanh.

Thêm vào đó về độ đa dạng vào sự bao quát: như đã trình bày ở trên, các vụ tai nạn và bất thường đều hiếm gặp và có độ đa dạng rất cao, các nạn hầu như rất ít điểm chung trừ việc hai phương tiện giao nhau với tốc độ cao, ngay cả việc giao nhau này cũng rất dễ nhận dạng nhằm trong điều kiện giao thông di chuyển dày đặt và đông đúc. Vì thế việc chọn lựa, trích xuất đặc trưng cũng là một việc khó khăn. Các nghiên cứu đều tận dụng 2 đặc trưng chính là đặc trưng về hình ảnh như ảnh RGB hoặc ảnh xám, đặc trưng thứ hai và về chuyển động như Optical Flow để hô hình hóa một vụ tai nạn [8]. Nhưng, việc mô hình hóa này chưa đem lại được sự thống nhất chung cho cả 2 loại đặc trưng.

Trong mỗi nghiên cứu từng bộ dữ liệu, các nhóm tác giả đều thử nghiệm nhiều trường hợp và chọn lọc so sánh giữa hai loại đặc trưng, hoặc kết hợp cả hai. Chính vì thế việc tạo nên mô hình tổng quát để mô hình hóa chung cho giao thông là thật sự cần thiết. Điều kiện quan sát: vì các camera được đặt ngoài trời và điều kiện quan sát giao thông là ngoài trời nên chịu ảnh hưởng trực tiếp từ thời tiết và khí hậu, ngày – đêm, mưa lớn, sương mù, ngược sáng, ánh đèn ô tô chiếu thẳng vào camera. Các điều kiện ngoại cảnh này là một khó khăn không nhỏ cho việc nhận dạng và chọn lựa các mô hình phát hiện đối tượng.

Các nghiên cứu đa phần đều giới hạn ở điều kiện thời tiết tốt để triển khai, một số cố gắng cải thiện chất lượng hình ảnh bằng thuật toán Retinax [9] cũng đạt hiệu quả cả thiện chất lượng hình ảnh nhưng không giải quyết được triệt để nếu điều kiện thời tiết quá xấu do kết quả của họ phụ thuộc trực tiếp vào mô hình Yolo. Bên cạnh các thách thức khách quan trên, cũng còn tồn tại một số yếu tố chủ quan khác trong nghiên cứu về tai nạn như các bộ dữ liệu không được chia sẽ rộng rãi nên phần nào cũng làm việc so sánh, đánh giá các giải thuật gặp nhiều 3 CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI trở ngại do không có bộ dữ liệu chung, thống nhất. Như vậy tóm lại, Phát hiện tai nạn và các tình huống bất thường cho video giao thông là bài toán vừa có ý nghĩa thực tiễn vừa có ý nghĩa khoa học.

Bài toán có nhiều các khó khăn đã nêu ở trên nhưng bên cạnh đó có nhiều thuận lợi về việc số lượng các nghiên cứu về video nói chung và phát hiện bất thường cho video nói riêng tăng trong những năm gần đây giúp luận văn có nhiều ý tưởng kế thừa từ các nghiên cứu phía đó để thiết kế một môt hình tốt.2 Mục tiêu nghiên cứu Với những tiềm năng rất đang mong đợi của các mạng nơ-ron học sâu, trong nghiên cứu tôi tận dụng các thế mạng của những mạng nơ-ron cụ thể ở đây là mạng Conditional Variational Autoencoder ( mã hoá tự động biến thể có điều kiện ) sự xuất hiện của hình ảnh và chuyển động vào việc phát hiện bất thường và tai nạn. Nghiên cứu sẽ sử dụng những tập dữ liệu về video giao thông từ camera giám sát đặt cố định như UCSD Ped2, Avenue, ShanghaiTech, UCF-Crime và một số video tai nạn ở Việt Nam để huấn luyện và đánh giá hiệu quả của mô hình. Ngoài ra, nghiên cứu cũng so sánh với các cách tiếp cận khác trong khoảng thời gian gần đây. Từ những kết luận rút ra, cho ta thấy được cái nhìn tổng quan của các cách tiếp cận, và những yếu tố nào quan trọng khi áp dụng vào thực tiễn.3 Ý nghĩa đề tài Cùng với việc tăng nhanh của số lượng camera hiện tại và các nghiên cứu gần đây dần tập trung vào xử lý video.

Luận văn thực hiện đề tài hẹp hơn cho video là video giao thông với các đặc thù riêng. Qua đó, đề tài đạt được một số ý nghĩa sau đây cả về thực tiễn lẫn khoa học. Ý nghĩa thực tiễn : – Góp phần giảm chi phí thuê người giám sát các camera giao thông. – Góp phần đáp ứng nguồn nhần lực giám sát camera giao thông khi số lượng đang tăng lên nhanh chóng như hiện nay ở nhiều thành phố lớn, cao tốc và 4 CHƯƠNG 1.

GIỚI THIỆU ĐỀ TÀI ở cả nông thôn. – Giúp lực lượng chức năng phát hiện các tình huống bất thường trong video giao thông nói riêng và video nói chung. – Giúp lực lượng chức nặng phát hiện kịp thời các tình huống tai nạn, cứu được nhiều người hơn giảm thiệt hại về người. Ý nghĩa khoa học : – Giải quyết vấn đề kết hợp hình ảnh và chuyển động một cách hợp lý trong phát hiện bất thường cho video.

– Tìm hiểu, ứng dụng và cải thiện mạng mã hoá tự động biến thể nhiều điều kiện vào việc sinh khung ảnh tiếp theo trong tương lai và phát hiện bất thường. – Chỉ ra điểm mạnh và yếu của phương pháp hiện tại và đưa ra thêm nhiều gợi ý để cải tiến cho các nghiên cứu tiếp theo.4 Kết quả đạt được Trong nghiên cứu này, chung tôi xây dựng thành công mô hình từ việc kế thừa mạng sinh từ nghiên cứu [1] để tối ưu hoá ràng buộc giữa việc tạo sinh hình ảnh và một số điều kiện liên quan mật thiết với nó trên không gian như luồng quang và mặt nạ tiền cảnh. Đảm bảo cân bằng được tính quá khớp vừa đủ để phát hiện bất thường trên tập dữ liệu kiểm tra và vẫn duy trì tính tổng quát hoá tốt để dự đoán được các hình ảnh bình thường của tập kiểm tra. Kết quả đạt được với độ cải thiện AUC trên Ped2, Avenue và Shanghaitech so với mô hình gốc và kết quả lần lượt là 99.

Bên cạnh đó bài luận cũng thử ứng dụng vào phát hiện tai nạn trên UCF-Crime và một bộ dư liệu tự chuẩn bị trên đường phố Việt Nam cho thấy có thể có khả năng để giải quyết vấn đề phát hiện tại nạn và bất thường tự động trong tương lai.5 Cấu trúc của luận văn Cấu trúc của luận văn được tổ chức như sau: 5 CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI – Chương 1 - Giới thiệu đề tài: nhằm giới thiệu tổng quan về bài toán phát hiện tai nạn và bất thường cho video giao thông các khó khăn và hướng giải quyết. – Chương 2 - Cơ sở lý thuyết: trình bày những lý thuyết liên quan được sử dụng trong bài nghiên cứu. – Chương 3 - Tổng quan tình hình nghiên cứu: bao gồm các công trình nghiên cứu liên quan đến bài toán phát hiện bất thường trong video, các hướng tiếp cận, phân tích các ưu và nhược điểm để có thể khắc phục và tăng cường trong phương pháp đề xuất.

– Chương 4 - Phương pháp nghiên cứu: trình bày cụ thể mô hình đề xuất và cách thức mô hình hoạt động. – Chương 5 - Kết quả thực nghiệm: phân tích đặc điểm của các bộ dữ liệu được sử dụng trong bài toán, các phương pháp đánh giá, kết quả đánh giá của mô hình đề xuất và so sánh với công trình gần đây. – Chương 6 - Kết luận: nêu ra các kết luận đúc kết được trong quá trình nghiên cứu và hướng phát triển tiếp theo trong tương lai. 6 Chương 2 Cơ sở lý thuyết Sau đây là trình bài ngắn gọn các lý thuyết được sử dụng trong luận văn, trong mỗi phần bao gồm các phần trình bài về lý thuyết và phần tổng kết nhận xét tính ứng dụng các lý thuyết đó cho đề tài ở cuối.1 Bất thường và phát hiện bất thường 2.1 Bất thường Nhiều nỗ lực đã được thực hiện trong cộng đồng thống kê và khoa học máy tính để xác định sự bất thường.

Những thứ phổ biến nhất bao gồm: Một ngoại lệ là một quan sát sai lệch quá nhiều so với các quan sát khác để làm dấy lên nghi ngờ rằng nó được tạo ra bởi một cơ chế khác. Dị thường là các trường hợp hoặc tập hợp các mẫu dữ liệu rất hiếm khi xảy ra trong tập dữ liệu và có các tính năng khác biệt đáng kể so với hầu hết dữ liệu. Ngoại lệ là một quan sát (hoặc một tập hợp con các quan sát) dường như không phù hợp với phần còn lại của tập dữ liệu đó. Điểm dị thường là một điểm hoặc tập hợp các điểm tương đối xa với các điểm khác trong không gian đa chiều của các miền phân bố.

Dị thường là các mẫu trong dữ liệu không tuân theo một khái niệm được xác định rõ ràng về hành vi bình thường. Gọi T là các quan sát từ phân phối Gaussian đơn biến và O là một điểm từ T. Khi đó, Z-score của O lớn hơn ngưỡng 7 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Hình 2.1: Minh hoạ các điểm bất thường màu cam nằm xa các cụm phân bố chính.

được chọn trước nếu và chỉ O là một ngoại lệ. Tính năng phát hiện bất thường có thể áp dụng trong một số lượng rất lớn và nhiều lĩnh vực khác nhau và là một phân khu quan trọng của học máy không được giám sát. Vì vậy, nó có các ứng dụng trong phát hiện xâm nhập an ninh mạng, phát hiện gian lận, phát hiện lỗi, giám sát tình trạng hệ thống, phát hiện sự kiện trong mạng cảm biến, phát hiện nhiễu loạn hệ sinh thái, phát hiện lỗi trong hình ảnh bằng thị giác máy, chẩn đoán y tế và thực thi pháp luật. Nó thường được sử dụng trong tiền xử lý để loại bỏ dữ liệu bất thường khỏi tập dữ liệu.

Điều này được thực hiện bởi vì cần: Thống kê dữ liệu như giá trị trung bình và độ lệch chuẩn sẽ chính xác hơn sau khi loại bỏ các điểm bất thường và việc hiển thị dữ liệu cũng có thể được cải thiện. Trong học tập có giám sát, việc xóa dữ liệu bất thường khỏi tập dữ liệu thường dẫn đến sự gia tăng đáng kể về mặt thống kê về độ chính xác.