Đồ án: Khảo sát các phương pháp định vị bất thường trong video - Lê Hữu Độ

Tổng hợp và phân tích các phương pháp định vị bất thường trong video. Khám phá các kỹ thuật state-of-the-art, từ truyền thống đến học sâu ứng dụng.

• Tác giả: Lê Hữu Độ
• Người hướng dẫn: TS. Nguyễn Tấn Trần Minh Khang
• Trường học: Trường Đại học Công nghệ thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ phần mềm
• Đề tài: Tổng quan các phương pháp định vị bất thường trong video
• Loại tài liệu: Đồ án
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Khái niệm và ý nghĩa của định vị bất thường trong video

Định vị bất thường trong video là một lĩnh vực quan trọng trong trí tuệ nhân tạo và xử lý video, tập trung vào việc phát hiện và xác định chính xác vị trí các sự kiện bất thường trong video. Bài toán này có tính ứng dụng cao, đòi hỏi sự kết hợp giữa các kỹ thuật hiện đại như học sâu, trích xuất đặc trưng, và các thuật toán phát hiện bất thường. Các bất thường có thể bao gồm hành vi lạ, sự việc không mong muốn, hoặc những điều bất thường so với mô hình dữ liệu thông thường. Ứng dụng thực tiễn của định vị bất thường video rất rộng rãi, từ giám sát an ninh, phát hiện tội phạm, đến quản lý giao thông và an toàn công cộng.

1.1. Định nghĩa bất thường trong video

Bất thường trong video được định nghĩa là những sự kiện, hành vi hoặc hiện tượng không tuân theo mô hình dữ liệu thông thường. Ví dụ, trong bộ dữ liệu UCSD, một người đi xe đạp trên vỉa hè dành cho người đi bộ được coi là bất thường. Định vị bất thường không chỉ dừng lại ở việc phát hiện sự tồn tại của bất thường, mà còn cần xác định chính xác vị trí không gian-thời gian của nó trong video.

1.2. Tầm quan trọng và ứng dụng thực tiễn

Định vị bất thường video được ứng dụng rộng rãi trong hệ thống giám sát tự động, an ninh mạng, và phân tích hành vi. Khả năng phát hiện và định vị chính xác các sự kiện bất thường giúp cảnh sát, an ninh nhanh chóng ứng phó, ngăn chặn tội phạm, và bảo vệ an toàn cộng đồng. Đây là một bài toán thách thức với độ phức tạp tính toán cao và đòi hỏi các mô hình hiệu quả và chính xác.

II. Các phương pháp phát hiện bất thường truyền thống

Trước khi học sâu trở nên phổ biến, các phương pháp truyền thống để phát hiện bất thường được phát triển dựa trên các kỹ thuật thống kê và toán học cổ điển. Các phương pháp này bao gồm Nearest Neighbor-based, Isolation Forest, và các thuật toán thống kê. Phương pháp Nearest Neighbor dựa trên giả định rằng các điểm dữ liệu thông thường tập trung gần nhau, trong khi bất thường nằm xa các điểm thông thường. Isolation Forest sử dụng cây quyết định ngẫu nhiên để cô lập các bất thường. Các phương pháp thống kê như Gaussian Mixture Model mô hình hóa phân phối của dữ liệu thông thường. Mặc dù có ưu điểm về tính toán nhanh, nhưng các phương pháp này thường không hiệu quả với dữ liệu video phức tạp.

2.1. Phương pháp Nearest Neighbor based

Phương pháp này dựa trên khái niệm khoảng cách trong không gian đặc trưng. Các điểm dữ liệu bất thường thường có khoảng cách lớn tới các điểm lân cận gần nhất. Ưu điểm là dễ thực hiện và không cần huấn luyện mô hình. Tuy nhiên, nhược điểm bao gồm độ phức tạp tính toán cao (O(n²)) và độ nhạy cao với nhiễu dữ liệu. Phương pháp này không thích hợp cho video có kích thước lớn.

2.2. Phương pháp Isolation Forest và thống kê

Isolation Forest xây dựng các cây quyết định ngẫu nhiên để cô lập bất thường, với độ phức tạp O(n log n). Phương pháp thống kê như Gaussian Mixture Model mô hình hóa phân phối dữ liệu thông thường. Ưu điểm là tính toán hiệu quả, nhưng nhược điểm là giả định phân phối có thể không phù hợp với dữ liệu video thực tế phức tạp.

III. Các kỹ thuật phát hiện bất thường học sâu

Học sâu đã cách mạng hóa lĩnh vực phát hiện bất thường video bằng cách cho phép tự động trích xuất đặc trưng từ dữ liệu video. Các kỹ thuật học sâu bao gồm Convolutional Neural Networks (CNN), Recurrent Neural Networks (RNN), và Autoencoders. Những mô hình này có khả năng học biểu diễn đặc trưng của dữ liệu thông thường, từ đó xác định bất thường như những điểm lệch khỏi mô hình này. Autoencoders được huấn luyện chỉ trên dữ liệu thông thường, do đó chúng học cách tái tạo dữ liệu bình thường tốt nhất. Khi gặp bất thường, sai số tái tạo sẽ cao. Phương pháp học sâu đạt được hiệu suất vượt trội so với các phương pháp truyền thống, nhưng đòi hỏi tập dữ liệu lớn để huấn luyện.

3.1. Trích xuất đặc trưng học sâu

Trích xuất đặc trưng học sâu sử dụng CNN để tự động học các đặc trưng không gian từ khung hình video. RNN và LSTM học các đặc trưng thời gian để hiểu chuỗi hành vi. Điểm khác biệt chính với giảm chiều truyền thống là học sâu có thể học được biểu diễn phi tuyến tính phức tạp. Ưu điểm là hiệu suất cao, nhưng nhược điểm bao gồm yêu cầu dữ liệu lớn và thời gian huấn luyện dài.

3.2. Học biểu diễn và điểm bất thường

Autoencoders học biểu diễn nén của dữ liệu thông thường, trong khi sai số tái tạo được sử dụng làm điểm bất thường. Variational Autoencoders (VAE) cải tiến phương pháp này bằng cách học phân phối xác suất. Phương pháp học điểm bất thường toàn diện sử dụng mạng thần kinh để trực tiếp học ánh xạ từ video tới điểm bất thường hoặc bản đồ tọa độ.

IV. Các phương pháp định vị bất thường state of the art

Các phương pháp định vị bất thường state-of-the-art kết hợp nhiều kỹ thuật tiên tiến để không chỉ phát hiện mà còn xác định chính xác vị trí của bất thường. Phương pháp dựa trên Saliency Detection sử dụng bản đồ saliency để xác định các vùng bất thường nổi bật. Phương pháp Grid/Cell-Based chia video thành lưới tế nhỏ và tính điểm bất thường cho từng ô. Phương pháp dựa trên Foreground Extraction tách đối tượng chuyển động khỏi nền để phát hiện bất thường hành vi. Phương pháp Patch-Based phân tích các khúc nhỏ video để xác định vị trí chính xác. Phương pháp Object Detection-Based sử dụng các mạng phát hiện đối tượng hiện đại. Các phương pháp này đạt được độ chính xác cao trên các bộ dữ liệu chuẩn như UCSD, ShanghaiTech, và UCF-Crime.

4.1. Phương pháp Saliency Detection và Grid Structure

Phương pháp Saliency Detection-Based sử dụng bản đồ saliency để làm nổi bật các vùng bất thường. Phương pháp Grid/Cell-Based chia video thành lưới không gian-thời gian, tính điểm bất thường cho mỗi ô. Ưu điểm là hiệu quả tính toán tốt và dễ hiện thực. Nhược điểm là độ phân giải địa phương bị giới hạn bởi kích thước lưới.

4.2. Phương pháp Foreground Extraction và Patch Based

Phương pháp Foreground Extraction-Based tách đối tượng chuyển động khỏi nền sử dụng các kỹ thuật phân tích hình ảnh nền. Phương pháp Patch-Based phân tích các khúc nhỏ không gian-thời gian để phát hiện bất thường cục bộ. Cả hai phương pháp xác định vị trí chính xác nhưng đòi hỏi tiền xử lý dữ liệu phức tạp. Các bộ dữ liệu chuẩn như UCSD, ShanghaiTech được sử dụng để đánh giá hiệu suất.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Mô tả bài toán − Phát hiện bất thường (abnormal detection) và định vị bất thường (abnormal localization) trong video là một trong những lĩnh vực nghiên cứu quan trọng thuộc thị giác máy tính (computer vision) và trí tuệ nhân tạo. Mục tiêu chính của nhiệm vụ này là xác định liệu trong một đoạn video có xuất hiện sự kiện bất thường (abnormal event) hay không, đồng thời khoanh vùng hoặc chỉ ra vị trí chính xác (về không gian và thời gian) mà sự kiện bất thường đó xảy ra. − Đầu vào: + Luồng video từ các camera giám sát, camera trên xe, hoặc các nguồn video khác.

+ Dữ liệu kèm theo (metadata) có thể bao gồm thông tin về bối cảnh, thời gian, hoặc các sự kiện đi kèm. − Đầu ra: + Xác định các đoạn video hoặc khung hình chứa sự bất thường. + Khoanh vùng vị trí cụ thể của sự bất thường trên từng khung hình. + Phân loại bất thường (nếu yêu cầu): Ví dụ như tai nạn giao thông, hành vi trộm cắp, hoặc sự cố máy móc.

14 Hình 1-1: Hình ảnh trong bộ dữ liệu UCSD [1] ped. Đầu vào là video chứa sự kiện bất thường (a). Đầu ra là sự kiện bất thường được xác định và định vị (b) (Người đi xe đạp trên vỉa hè dành cho người đi bộ được coi là một sự kiện bất thường) 1. Ý nghĩa và ứng dụng thực tiễn − Giám sát an ninh: Trong các hệ thống camera giám sát nơi công cộng (như sân bay, nhà ga, trung tâm thương mại), phát hiện sớm hành vi khả nghi (ví dụ: bạo lực, phá hoại, xâm nhập trái phép) có thể giúp cải thiện hiệu quả an ninh.

− Giao thông thông minh: Hệ thống theo dõi bất thường trong giao thông (ví dụ: xe đi ngược chiều, tai nạn) để phản ứng kịp thời, điều phối giao thông hoặc hỗ trợ thông tin cho cảnh sát, cơ quan chức năng. − Y tế và chăm sóc sức khỏe: Theo dõi bệnh nhân hoặc người cao tuổi trong bệnh viện, nhà dưỡng lão để phát hiện kịp thời những hành vi nguy hiểm (té ngã, co giật…). − Sản xuất công nghiệp: Phát hiện sự cố máy móc hoạt động không bình thường hoặc tình huống nguy hiểm (cháy nổ, sai sót quy trình) trong nhà máy để cảnh báo sớm và có biện pháp xử lý. Tự động nhận diện và định vị các sản phẩm bị lỗi trong quá trình sản xuất.

− Phát hiện gian lận giao dịch: Tích hợp video giám sát để phát hiện các hành vi bất thường tại các máy ATM hoặc trong giao dịch tại quầy. Giám sát hoạt động bất thường tại các trung tâm dữ liệu hoặc kho lưu trữ giá trị cao. − Bài toán phát hiện và định vị bất thường có ý nghĩa to lớn trong việc đảm bảo an ninh, hiệu quả, và tự động hóa trong nhiều lĩnh vực. Các ứng dụng thực tiễn trải rộng từ an ninh công cộng, sản xuất công nghiệp, đến chăm 15 sóc sức khỏe và phân tích hành vi, góp phần nâng cao chất lượng cuộc sống và tối ưu hóa nguồn lực xã hội.

Khó khăn và thách thức − Tính đa dạng của dữ liệu: Các hoạt động và bối cảnh trong video có thể thay đổi rất lớn (vị trí quay, điều kiện ánh sáng, góc nhìn, v. Điều này đòi hỏi phương pháp phát hiện và định vị phải có khả năng tổng quát hóa, làm việc tốt với nhiều tình huống khác nhau. Trong các video thực tế, ánh sáng kém, góc quay không đồng nhất, hoặc các yếu tố như mưa, tuyết có thể gây nhiễu, dẫn đến khó khăn trong việc phát hiện. − Hiện tượng bất thường hiếm gặp: Dữ liệu về các sự kiện bất thường thường rất hạn chế, khiến việc huấn luyện mô hình trở nên khó khăn, dễ rơi vào tình trạng mất cân bằng dữ liệu (class imbalance).

Ví dụ trong một đoạn video dài 10 tiếng chỉ có 5 giây video chứa dữ liệu bất thường. − Tính thời gian thực (real-time): Trong nhiều ứng dụng an ninh hoặc giao thông, mô hình cần phát hiện và cảnh báo bất thường gần như tức thì, đòi hỏi hiệu suất tính toán cao. − Sự mơ hồ trong định nghĩa “bất thường”: Một sự kiện có thể bị coi là bất thường trong một bối cảnh nhất định, nhưng lại hoàn toàn bình thường trong bối cảnh khác. Ví dụ một chiếc xe máy chạy trên đường là bình thường nhưng chiếc xe máy chạy trên đường cao tốc là bất thường, một người lang thang quanh các xe trong bãi đổ xe vào ban đêm có thể coi là thường vì người đó có thể có ý đồ trộm cắp nhưng nếu hành động này diễn ra ban ngày thì có thể người đó đang đi tìm xe của mình,… 1.

Hướng tiếp cận − Nhiệm vụ định vị bất thường trong video thường được giải quyết thông qua hai giai đoạn chính: 16 + Phát hiện (detection): Xác định xem trong video có bất thường hay không. + Định vị (localization): Xác định cụ thể khung thời gian (temporal) và/hoặc vùng không gian (spatial) nơi bất thường xảy ra. Chương 2: CÁC NGHIÊN CỨU LIÊN QUAN 2. Các kỹ thuật phát hiện bất thường truyền thống 2.

Ý tưởng tổng quan − Xây dựng một mô hình (classifier) từ dữ liệu huấn luyện được gán nhãn, sau đó dùng mô hình này để phân loại dữ liệu kiểm thử (test instances) thành “bình thường” (normal) hay “bất thường” (anomalous). − Nguyên tắc hoạt động: + Giai đoạn huấn luyện (training phase): Học một bộ phân loại (classifier) từ dữ liệu huấn luyện được gán nhãn. + Giai đoạn kiểm thử (testing phase): Dùng bộ phân loại đã học để xác định liệu mẫu kiểm thử có phải là bất thường không. + Giả định chung: Có thể xây dựng một mô hình phân biệt giữa lớp bình thường và lớp bất thường trong không gian đặc trưng.

Các nhóm phương pháp chính: − Multi-class classification-based anomaly detection: Dữ liệu huấn luyện gồm nhiều lớp bình thường, mỗi lớp bình thường được huấn luyện để “tách” khỏi phần còn lại. Mẫu kiểm thử không được bất kỳ bộ phân loại nào nhận là bình thường thì bị coi là bất thường. − One-class classification-based anomaly detection: Dữ liệu huấn luyện chỉ có một lớp (bình thường). Mục tiêu là học một ranh giới bao quanh 17 vùng dữ liệu bình thường (ví dụ: One-class SVM [2]).

Dữ liệu kiểm thử nằm ngoài ranh giới được coi là bất thường. − Các phương pháp phân loại điển hình: + Neural Networks (mạng nơ-ron): Sử dụng nhiều kiến trúc như Multi Layer Perceptrons [3], Auto-associative Networks [4] (Replicator Neural Networks), RBF [5], Hopfield Networks [6], v. + Bayesian Networks [7] : Tính xác suất hậu nghiệm cho từng lớp (kể cả lớp bất thường) và chọn lớp có xác suất cao nhất. + Support Vector Machines [8](SVMs): Trong bối cảnh one-class, kỹ thuật này tìm cách tạo một siêu mặt (hoặc siêu cầu) bao bọc các điểm dữ liệu bình thường.

+ Rule-based [9](Luật): Học các luật mô tả hành vi bình thường. Các mẫu không khớp với bất kỳ luật nào thì được coi là bất thường. Ưu điểm và nhược điểm − Ưu điểm: + Có thể tận dụng các thuật toán mạnh, đặc biệt trong bài toán multi-class. + Giai đoạn kiểm thử thường nhanh, chỉ cần áp dụng mô hình lên mẫu mới.

− Nhược điểm: + Đòi hỏi dữ liệu huấn luyện có gán nhãn chính xác, đặc biệt cho đa lớp bình thường (multi-class). + Một số kỹ thuật phân loại không đưa ra “điểm bất thường” (anomaly score) rõ ràng, mà chỉ cho nhãn (normal/anomalous). Nearest neighbor based − Các kỹ thuật phát hiện bất thường dựa trên lân cận gần nhất (Nearest Neighbor-based Anomaly Detection [10]) xuất phát từ giả định chính: “Những điểm dữ liệu bình thường thường nằm trong vùng lân cận dày đặc (dense neighborhoods), còn những điểm dữ liệu bất thường (anomalies) thì nằm xa láng giềng gần nhất. Ý tưởng tổng quan − Cần có một phép đo khoảng cách (distance) hoặc độ tương đồng (similarity) giữa các điểm dữ liệu.

− Không nhất thiết phải là metric hoàn hảo (không bắt buộc phải thỏa mãn bất đẳng thức tam giác), chỉ cần tính dương (positive-definite) và đối xứng (symmetric). − Dựa vào đó, người ta đánh giá “mức độ bất thường” (anomaly score) của mỗi điểm dựa trên khoảng cách hay mật độ so với các điểm lân cận. Các nhóm phương pháp chính − Dùng khoảng cách đến k -lân cận gần nhất + Xác định khoảng cách từ một điểm đến láng giềng thứ k gần nhất làm “điểm bất thường” (hoặc có thể là tổng khoảng cách đến các láng giềng gần nhất). + Nếu điểm kiểm thử nằm xa (trên ngưỡng) so với 𝑘-lân cận của nó, thì bị coi là bất thường.

+ Một số biến thể xem xét số láng giềng nằm trong khoảng cách 𝑑 nhất định; ngược lại, mật độ càng thấp thì điểm đó càng bất thường. − Dùng mật độ tương đối (Relative Density) 19 + Local Outlier Factor (LOF): Tính “mật độ cục bộ” của mỗi điểm và so sánh với mật độ cục bộ của các láng giềng. Nếu một điểm có mật độ cục bộ thấp hơn đáng kể so với hàng xóm, nó được gán LOF cao (bất thường cao). + Các biến thể khác như COF, ODIN, LOCI… cũng dựa trên ý tưởng tính mật độ hoặc độ lệch cục bộ để phát hiện điểm “lẻ loi” trong một vùng có mật độ không đồng nhất.

Nâng cao hiệu quả tính toán − 2 Bài toán tìm lân cận gần nhất cho mọi điểm có độ phức tạp O ( N ) (với N là số lượng điểm). − Nhiều phương pháp đã đề xuất các kỹ thuật “pruning” (cắt tỉa) không gian, “clustering” (chia cụm), “sampling” (lấy mẫu) để giảm chi phí tính toán. − Một số sử dụng cấu trúc dữ liệu như k-d trees, R-trees hoặc chia không gian thành lưới (hyper-grid) để tìm lân cận gần nhất nhanh hơn. Tuy nhiên, trong dữ liệu nhiều chiều, hiệu quả vẫn giảm.

Ưu và nhược điểm − Ưu điểm + Phần lớn là không giám sát (unsupervised), không giả định phân phối nền. + Có thể chuyển sang bán giám sát (semi-supervised) nếu có sẵn một số mẫu bình thường, qua đó giảm bỏ sót bất thường. + Dễ thích ứng cho các kiểu dữ liệu khác nhau, chỉ cần định nghĩa tốt hàm khoảng cách/tương đồng. − Nhược điểm 20 + Độ chính xác bị ảnh hưởng nếu dữ liệu bình thường có ít láng giềng hoặc dữ liệu bất thường lại có nhiều láng giềng.

+ Chi phí tính toán lớn do phải tính khoảng cách với nhiều điểm. + Phụ thuộc vào hàm khoảng cách: Nếu dữ liệu phức tạp (như đồ thị, chuỗi, v.), việc định nghĩa một khoảng cách “phân biệt tốt” giữa bình thường và bất thường không hề đơn giản. Ý tưởng tổng quan − Phân cụm (Clustering) nhằm nhóm các điểm dữ liệu tương tự nhau thành các cụm (clusters). − Mặc dù mục đích chính của phân cụm và phát hiện bất thường khác nhau, song đã có nhiều nghiên cứu phát triển kỹ thuật phát hiện bất thường dựa trên ý tưởng phân cụm.