Nghiên Cứu Nhận Diện Hành Vi Lái Xe Mất Tập Trung Trong Video

Nghiên cứu nhận dạng hành vi mất tập trung của tài xế trong video bằng phương pháp đa góc nhìn, góp phần nâng cao an toàn giao thông.

• Tác giả: Đào Đức Quang
• Người hướng dẫn: TS. Ngô Đức Thanh
• Trường học: Đại học Quốc gia TP HCM
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nhận Diện Hành Vi Lái Xe Mất Tập Trung Qua Video
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• TÓM TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Nhận diện hành vi trong videos
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Nhận diện hành vi tài xế bằng dáng ngồi
• 2.2. Nhận diện hành vi trong video sử dụng việc khai thác multi-view
• 2.3. Nhận diện hành vi mất tập trung của tài xế trong video
• 2.3.1. Cuộc thi AI City Challenge 2023
• 2.3.2. Một số tập dữ liệu liên quan bài toán
• 2.3.2.1. Tập dữ liệu ActivityNet
• 2.3.2.2. Tập dữ liệu Kinetics
• 2.3.2.3. Tập dữ liệu SynDD2
• 2.3.3. Hướng tiếp cận bài toán
• 3. CHƯƠNG 3: MULTI VIEW ACTION RECOGNITION FOR DISTRACTED DRIVER BEHAVIOR
• 3.1. Tổng quan phương pháp
• 3.2. Nhận diện hành vi
• 3.3. Khai thác thông tin đa góc nhìn
• 3.4. Tổng hợp thông tin
• 3.4.1. Phương pháp đề xuất cho việc khai thác đa góc nhìn
• 3.4.2. Tổng hợp trọng số dựa vào kết quả sớm
• 3.4.3. Chỉ lấy trọng số dựa vào góc nhìn có kết quả tốt nhất
• 3.4.4. Scale kết quả dựa vào max_os
• 3.5. Kết chương
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ PHÂN TÍCH
• 4.1. Tập dữ liệu dùng để finetune mô hình nhận diện
• 4.2. Tập dữ liệu test
• 4.3. Tập dữ liệu đáp án (ground truth) của bộ dữ liệu A2
• 4.4. Các tham số cài đặt phương pháp
• 4.5. Sử dụng model để suy diễn
• 4.6. Cài đặt cho phương pháp tự động tổng hợp
• 4.7. Kết quả chạy lại baseline
• 4.8. Kết quả chạy single view trên tập A1
• 4.9. Kết quả sử dụng trong số tạo từ tập A1
• 4.10. Tổng hợp tham số bằng cách scaling theo max_os
• 4.11. Tổng hợp tham số bằng max_os
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết quả đạt được
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nhận Diện Hành Vi Lái Xe Mất Tập Trung

Việc tự động hiểu được hành vi của con người ngày càng quan trọng trong công nghệ hiện đại. Sự bùng nổ của mạng xã hội và phương tiện truyền thông tạo ra lượng lớn nội dung video, thúc đẩy nghiên cứu về nhận diện hành vi từ video. Ứng dụng nổi bật là nhận diện lái xe mất tập trung, bao gồm các hoạt động như sử dụng điện thoại, ăn uống, hoặc thảo luận trong khi lái xe. Những hành vi này là nguyên nhân gây ra nhiều tai nạn giao thông nghiêm trọng, ảnh hưởng đến an toàn giao thông.

1.1. Tầm quan trọng của việc nhận diện hành vi lái xe

Phân tích hành vi người lái xe, đặc biệt là nhận diện hành vi nguy hiểm khi lái xe, giúp giảm thiểu tai nạn và nâng cao an toàn giao thông. Các hệ thống ADAS (Advanced Driver-Assistance Systems) dựa trên giải pháp AI cho giao thông có thể cảnh báo người lái hoặc can thiệp để ngăn chặn tai nạn. Việc phát hiện lái xe mất tập trung bằng AI mở ra cơ hội phát triển các giải pháp hiệu quả hơn.

1.2. Thách thức trong việc xây dựng mô hình hiệu quả

Một trong những thách thức lớn nhất là thiếu hụt dữ liệu gắn nhãn chất lượng cao. Dữ liệu cần phải đa dạng, bao gồm nhiều tình huống và điều kiện lái xe khác nhau. Việc thu thập và gắn nhãn dữ liệu tốn kém và mất thời gian. Ngoài ra, các hành vi mất tập trung có thể bị che khuất hoặc mơ hồ, gây khó khăn cho việc phân tích video hành vi lái xe.

II. Vấn Đề Hạn Chế Của Phương Pháp Nhận Diện Hiện Tại

Các phương pháp hiện tại để nhận diện lái xe mất tập trung thường dựa trên dữ liệu từ một camera duy nhất, gây khó khăn trong việc xác định các hành vi bị che khuất hoặc mơ hồ. Điều này dẫn đến dự đoán không chính xác do hạn chế về góc nhìn hoặc tính không rõ ràng của hành vi. Nhóm của Zhou đã đề xuất phương pháp sử dụng ViT, nhưng cách tổng hợp thông tin từ các góc nhìn video còn quá adhoc và khó có thể tổng quát hóa, gây ảnh hưởng đến độ chính xác và khả năng ứng dụng.

2.1. Rủi ro từ thông tin hạn chế một góc nhìn

Sử dụng một camera duy nhất có thể không đủ để ghi lại tất cả các chi tiết quan trọng của hành vi lái xe. Ví dụ, việc nhận diện sử dụng điện thoại khi lái xe có thể bị cản trở nếu tay của người lái bị che khuất. Tương tự, việc nhận diện buồn ngủ khi lái xe có thể không chính xác nếu camera không ghi lại rõ khuôn mặt của người lái. Thông tin bị thiếu sót có thể dẫn đến các quyết định sai lầm của hệ thống.

2.2. Nhược điểm của cách tiếp cận tổng hợp thông tin ad hoc

Phương pháp tổng hợp thông tin từ nhiều góc nhìn cần phải linh hoạt và có khả năng thích ứng với nhiều tình huống khác nhau. Cách tiếp cận ad-hoc có thể hoạt động tốt trong một số trường hợp cụ thể, nhưng lại không hiệu quả trong các trường hợp khác. Điều này hạn chế khả năng ứng dụng rộng rãi của phương pháp, đặc biệt trong bối cảnh giao thông thực tế phức tạp.

2.3. Hạn chế của dữ liệu đầu vào đơn giản

Các thuật toán thường chỉ xem xét dữ liệu video đơn thuần mà không tận dụng các thông tin khác như dữ liệu từ cảm biến xe (tốc độ, gia tốc, vị trí). Kết hợp dữ liệu video với dữ liệu cảm biến có thể cung cấp cái nhìn toàn diện hơn về tình trạng của người lái và môi trường xung quanh, từ đó cải thiện độ chính xác của hệ thống hệ thống giám sát lái xe mất tập trung.

III. Giải Pháp Nhận Diện Đa Góc Nhìn để Cải Thiện Độ Chính Xác

Luận văn này đề xuất một phương pháp nhận diện hành vi lái xe mất tập trung với hướng tiếp cận đa góc nhìn, khắc phục hạn chế của các phương pháp dựa trên một camera duy nhất. Bằng cách tổng hợp thông tin từ nhiều góc camera, hệ thống có thể xác định chính xác hơn các hành vi bị che khuất hoặc mơ hồ. Mục tiêu là giúp phương pháp này có thể áp dụng rộng rãi hơn mà không cần phải tinh chỉnh thủ công lại cho từng bài toán.

3.1. Khai thác thông tin đa góc nhìn Multi View Action Recognition

Phương pháp này sử dụng nhiều camera để ghi lại hành vi lái xe từ các góc độ khác nhau. Các góc nhìn khác nhau cung cấp thông tin bổ sung cho nhau, giúp hệ thống có cái nhìn toàn diện hơn về tình hình. Ví dụ, một camera có thể ghi lại khuôn mặt của người lái, trong khi camera khác ghi lại tay và bảng điều khiển. Việc kết hợp thông tin từ các camera này giúp thuật toán nhận diện hành vi lái xe mất tập trung xác định hành vi một cách chính xác hơn.

3.2. Phương pháp tổng hợp thông tin từ nhiều camera

Thông tin từ các camera khác nhau cần được tổng hợp một cách hiệu quả để đưa ra quyết định cuối cùng. Phương pháp này sử dụng các thuật toán học máy để kết hợp thông tin từ các camera, đồng thời giảm thiểu nhiễu và loại bỏ thông tin không liên quan. Các thuật toán này có thể học được cách ưu tiên thông tin từ các camera đáng tin cậy hơn hoặc từ các góc nhìn cung cấp thông tin quan trọng hơn.

3.3. Ứng dụng Deep Learning trong nhận diện hành vi đa góc nhìn

Deep learning cho nhận diện lái xe mất tập trung có khả năng tự động học các đặc trưng quan trọng từ dữ liệu video, giúp hệ thống thích ứng với nhiều tình huống lái xe khác nhau. Mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) là hai kiến trúc phổ biến được sử dụng trong mô hình nhận diện lái xe mất tập trung. Các mô hình này có thể được huấn luyện trên các bộ dữ liệu lớn để đạt được độ chính xác cao.

IV. Ứng Dụng Thực Tế và Kết Quả Nghiên Cứu

Luận văn trình bày kết quả thực nghiệm trên bộ dữ liệu AI City Challenge, chứng minh tính hiệu quả của phương pháp đề xuất. So sánh với các phương pháp khác, phương pháp đa góc nhìn cho kết quả tốt hơn trong việc nhận diện hành vi nguy hiểm khi lái xe. Kết quả này mở ra tiềm năng ứng dụng rộng rãi trong các hệ thống hỗ trợ lái xe nâng cao và các giải pháp giảm tai nạn giao thông.

4.1. Chi tiết về bộ dữ liệu và phương pháp đánh giá

Bộ dữ liệu AI City Challenge cung cấp dữ liệu video từ ba góc camera được bố trí trong xe. Phương pháp đánh giá sử dụng các chỉ số như độ chính xác, độ phủ và F1-score để đo lường hiệu quả của hệ thống. Kết quả được so sánh với các phương pháp hiện có để đánh giá tính ưu việt của phương pháp đề xuất.

4.2. Phân tích kết quả thực nghiệm và so sánh với Baseline

Kết quả thực nghiệm cho thấy phương pháp đa góc nhìn đạt được độ chính xác cao hơn so với các phương pháp dựa trên một camera duy nhất. Việc tổng hợp thông tin từ nhiều góc nhìn giúp hệ thống giảm thiểu sai sót và đưa ra quyết định chính xác hơn. So sánh với baseline, phương pháp đề xuất cải thiện đáng kể hiệu suất trong việc phát hiện lái xe mất tập trung bằng AI.

4.3. Ứng dụng thực tế và tiềm năng phát triển

Kết quả nghiên cứu có thể được ứng dụng trong các hệ thống ADAS để cảnh báo người lái về các hành vi mất tập trung và ngăn chặn tai nạn. Ngoài ra, có thể sử dụng trong các hệ thống camera giám sát hành vi lái xe để theo dõi và đánh giá hiệu suất của người lái, từ đó cải thiện an toàn giao thông. Tiềm năng phát triển bao gồm tích hợp với các cảm biến khác trên xe và phát triển các thuật toán thông minh hơn để cảnh báo lái xe mất tập trung hiệu quả hơn.

V. Tổng Hợp Trọng Số Dựa Trên Kết Quả Nhận Diện Góc Nhìn

Nghiên cứu đề xuất phương pháp tổng hợp trọng số dựa trên kết quả nhận diện từ các góc nhìn khác nhau. Cách tiếp cận này đánh giá độ tin cậy của mỗi góc nhìn và sử dụng thông tin này để ưu tiên thông tin từ các góc nhìn đáng tin cậy hơn. Mục tiêu là cải thiện hiệu suất tổng thể của hệ thống phần mềm nhận diện hành vi lái xe.

5.1. Phương pháp Scaling kết quả dựa vào Max_OS

Phương pháp này sử dụng kết quả nhận diện tốt nhất (Max_OS) để điều chỉnh trọng số của các góc nhìn khác. Nếu một góc nhìn có kết quả nhận diện cao, nó sẽ được gán trọng số cao hơn, trong khi các góc nhìn có kết quả nhận diện thấp sẽ được gán trọng số thấp hơn. Phương pháp này giúp hệ thống tập trung vào thông tin quan trọng và loại bỏ nhiễu.

5.2. Tổng hợp tham số bằng cách Scaling theo Max_OS

Phương pháp này thực hiện scaling các tham số của mô hình dựa trên Max_OS. Các tham số quan trọng hơn sẽ được tăng cường, trong khi các tham số ít quan trọng hơn sẽ được giảm nhẹ. Điều này giúp mô hình tập trung vào các đặc trưng quan trọng và cải thiện khả năng nhận diện khuôn mặt lái xe và hành vi mất tập trung.

5.3. Tổng hợp tham số sử dụng Max_OS

Phương pháp này chỉ sử dụng tham số từ góc nhìn có kết quả tốt nhất (Max_OS) và bỏ qua thông tin từ các góc nhìn khác. Cách tiếp cận này đơn giản và hiệu quả, đặc biệt trong trường hợp một góc nhìn cung cấp thông tin rõ ràng và đáng tin cậy hơn so với các góc nhìn khác. Nó tối ưu hóa video analytics cho lái xe.

VI. Kết Luận Hướng Phát Triển Nhận Diện Lái Xe Mất Tập Trung

Luận văn đã trình bày một phương pháp hiệu quả để nhận diện lái xe mất tập trung qua video sử dụng hướng tiếp cận đa góc nhìn. Kết quả nghiên cứu mở ra nhiều hướng phát triển trong lĩnh vực giải pháp AI cho giao thông và an toàn giao thông. Trong tương lai, có thể nghiên cứu các phương pháp kết hợp thông tin từ nhiều nguồn khác nhau và phát triển các thuật toán thông minh hơn để cảnh báo lái xe mất tập trung hiệu quả hơn.

6.1. Tổng quan kết quả đạt được và hướng phát triển tiếp theo

Luận văn đã đạt được kết quả khả quan trong việc phát hiện lái xe mất tập trung bằng AI. Hướng phát triển tiếp theo bao gồm việc nghiên cứu các thuật toán học sâu tiên tiến hơn, tích hợp với các cảm biến khác trên xe và phát triển các hệ thống cảnh báo thông minh hơn. Các nghiên cứu này sẽ góp phần quan trọng vào việc nâng cao an toàn giao thông và giảm tai nạn giao thông.

6.2. Tích hợp với các hệ thống ADAS và ứng dụng thực tế

Nghiên cứu này có thể được tích hợp với các hệ thống ADAS để cung cấp cảnh báo sớm cho người lái về các hành vi mất tập trung. Hệ thống có thể phát hiện các hành vi như sử dụng điện thoại, ăn uống hoặc buồn ngủ và cảnh báo người lái để họ có thể điều chỉnh hành vi của mình. Ứng dụng thực tế bao gồm việc cải thiện an toàn giao thông và giảm tai nạn giao thông.

6.3. Hướng nghiên cứu sâu hơn về Deep Learning và Computer Vision

Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các mô hình deep learning cho nhận diện lái xe mất tập trung và computer vision cho lái xe mất tập trung tiên tiến hơn. Các mô hình này có thể được huấn luyện trên các bộ dữ liệu lớn và phức tạp hơn để đạt được độ chính xác cao hơn và khả năng thích ứng tốt hơn với các tình huống lái xe khác nhau. Nó tăng cường khả năng của hệ thống hỗ trợ lái xe nâng cao.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh sự phát triển mạnh mẽ của công nghệ số và mạng xã hội, dữ liệu video ngày càng trở nên phổ biến và đa dạng, tạo điều kiện thuận lợi cho việc nghiên cứu nhận diện hành vi con người tự động. Đặc biệt, nhận diện hành vi mất tập trung của tài xế trong video là một lĩnh vực quan trọng nhằm nâng cao an toàn giao thông. Theo ước tính, các hành vi mất tập trung như sử dụng điện thoại, ăn uống hay nói chuyện khi lái xe là nguyên nhân chính dẫn đến nhiều vụ tai nạn nghiêm trọng. Tuy nhiên, việc phát hiện các hành vi này gặp nhiều thách thức do dữ liệu video thường chưa được cắt sẵn, hành vi có thể xảy ra ở bất kỳ thời điểm nào với độ dài khác nhau, và góc nhìn camera bị hạn chế hoặc bị che khuất.

Mục tiêu của luận văn là phát triển một phương pháp nhận diện hành vi mất tập trung của tài xế dựa trên dữ liệu video thu thập từ ba góc nhìn camera khác nhau trong xe, nhằm cải thiện độ chính xác và khả năng tổng quát hóa của mô hình nhận diện. Phạm vi nghiên cứu tập trung vào 16 loại hành vi mất tập trung phổ biến, sử dụng bộ dữ liệu thu thập từ cuộc thi AI City Challenge 2023 với tổng thời lượng khoảng 10 tiếng video từ 10 tài xế, ghi hình đồng thời từ ba camera (dashboard, rearview, right view). Nghiên cứu có ý nghĩa quan trọng trong việc phát triển các hệ thống cảnh báo sớm, góp phần giảm thiểu tai nạn giao thông và nâng cao an toàn cho người tham gia giao thông.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính trong lĩnh vực thị giác máy tính và học sâu:

1. Vision Transformer (ViT): Mô hình ViT được lấy cảm hứng từ kiến trúc Transformer trong xử lý ngôn ngữ tự nhiên, sử dụng cơ chế attention để học biểu diễn hình ảnh hiệu quả. ViT không dựa trên các inductive bias như CNN, do đó cần lượng dữ liệu lớn để huấn luyện. Tuy nhiên, khi được tiền huấn luyện trên tập dữ liệu lớn (trên 100 triệu mẫu), ViT cho kết quả vượt trội so với CNN.

2. Video Masked Auto-Encoders (VideoMAE): Đây là một phương pháp tiền huấn luyện mô hình video dựa trên kỹ thuật masking cao (khoảng 75%) trên các khung hình video, giúp mô hình tập trung vào các đặc trưng tổng quát của video thay vì chi tiết nhỏ lẻ. VideoMAE sử dụng ViT làm backbone với attention không gian-thời gian kết hợp, giúp cải thiện hiệu quả nhận diện hành vi trong video.

Các khái niệm chính bao gồm:

• Nhận diện hành vi (Action Recognition): Phân loại các hành vi cụ thể trong video.
• Phân đoạn thời gian hành vi (Temporal Action Localization): Xác định thời điểm bắt đầu và kết thúc của hành vi trong video chưa cắt sẵn.
• Khai thác đa góc nhìn (Multi-view Fusion): Tổng hợp thông tin từ nhiều camera để cải thiện độ chính xác nhận diện.
• Kỹ thuật k-fold cross-validation: Phân chia dữ liệu thành k nhóm để huấn luyện và đánh giá nhằm tăng khả năng tổng quát hóa và giảm overfitting.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ dữ liệu SynDD2 do cuộc thi AI City Challenge 2023 cung cấp, gồm 210 video với tổng độ dài khoảng 34 giờ, ghi hình từ 3 camera bố trí trong xe, với 16 loại hành vi mất tập trung của tài xế. Dữ liệu được đồng bộ thời gian thủ công, độ phân giải 1920x1080, tốc độ 30 FPS.

Phương pháp phân tích gồm các bước:

• Tiền xử lý dữ liệu: Chia video đầu vào thành các đoạn clip nhỏ không trùng nhau, chuẩn hóa dữ liệu đầu ra từ các mô hình nhận diện.
• Huấn luyện mô hình: Sử dụng mô hình VideoMAE với backbone ViT-L/16 đã được tiền huấn luyện trên tập Kinetics710, sau đó fine-tune trên tập dữ liệu SynDD2 bằng kỹ thuật k-fold (k từ 5 đến 10) để tránh overfitting do dữ liệu nhỏ.
• Nhận diện hành vi: Mỗi góc nhìn camera được huấn luyện mô hình riêng biệt, cho ra xác suất dự đoán hành vi theo từng giây.
• Tổng hợp đa góc nhìn: Áp dụng các phương pháp tổng hợp trọng số dựa trên độ tin cậy của từng góc nhìn và từng hành vi, bao gồm phương pháp scaling theo max_os và chọn view có kết quả tốt nhất.
• Hậu xử lý: Gom nhóm, sàng lọc các dự đoán liên tục, loại bỏ các dự đoán ngắn không đáng kể để xác định chính xác thời điểm bắt đầu và kết thúc hành vi.

Timeline nghiên cứu kéo dài trong năm 2023-2024, bao gồm thu thập dữ liệu, huấn luyện mô hình, thử nghiệm và đánh giá kết quả, đồng thời phát triển ứng dụng minh họa cho người dùng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của mô hình VideoMAE với ViT-L/16: Mô hình đạt độ chính xác cao trong nhận diện hành vi mất tập trung với tập dữ liệu nhỏ (khoảng 755 mẫu cho 16 hành vi). So với các mô hình CNN truyền thống, ViT cho kết quả tốt hơn khi được tiền huấn luyện trên tập dữ liệu lớn, giúp cải thiện độ chính xác nhận diện lên đến khoảng 10-15% so với baseline.

2. Tổng hợp đa góc nhìn cải thiện độ chính xác: Phương pháp tổng hợp trọng số bằng cách scaling theo max_os đạt kết quả tổng quát tốt nhất với mos (mean overlap score) tăng khoảng 20% so với phương pháp sử dụng một góc nhìn duy nhất. Việc chọn view có kết quả tốt nhất (max_os) giúp cải thiện đáng kể nhận diện các hành vi khó phân biệt như "Eating" (tăng 45% so với baseline).

3. Hậu xử lý giúp giảm nhiễu và tăng độ tin cậy: Việc gom nhóm và loại bỏ các dự đoán ngắn giúp giảm tỷ lệ dự đoán sai và tăng độ chính xác xác định thời điểm bắt đầu và kết thúc hành vi, nâng mos lên mức trên 0.7 trên tập kiểm thử.

4. Khó khăn trong nhận diện một số hành vi mơ hồ: Các hành vi như "Talking to passenger at backseat" hay "Hand on head" vẫn còn tỷ lệ nhận diện thấp do góc nhìn camera bị che khuất hoặc hành vi có biểu hiện đa dạng, cần cải tiến thêm về mô hình và dữ liệu.

Thảo luận kết quả

Kết quả cho thấy việc sử dụng mô hình ViT kết hợp VideoMAE là phù hợp với bài toán nhận diện hành vi mất tập trung trong video chưa cắt sẵn, đặc biệt khi dữ liệu huấn luyện hạn chế. Việc khai thác đa góc nhìn giúp khắc phục hạn chế của từng camera đơn lẻ, giảm thiểu ảnh hưởng của che khuất và nhiễu. So với các nghiên cứu trước đây chủ yếu sử dụng CNN hoặc chỉ một góc nhìn, phương pháp này nâng cao đáng kể độ chính xác và khả năng phát hiện hành vi.

Các biểu đồ so sánh mos giữa các phương pháp tổng hợp và từng góc nhìn riêng biệt minh họa rõ sự cải thiện khi áp dụng multi-view fusion. Bảng phân bố nhãn và độ dài hành vi cũng cho thấy sự đa dạng và thách thức trong việc nhận diện chính xác thời điểm hành vi xảy ra.

Tuy nhiên, một số hành vi vẫn còn khó nhận diện do đặc điểm mơ hồ hoặc dữ liệu chưa đủ phong phú, gợi ý hướng phát triển tiếp theo là mở rộng dữ liệu và áp dụng các kỹ thuật attention nâng cao hoặc mô hình đa nhiệm để cải thiện khả năng phân biệt.

Đề xuất và khuyến nghị

1. Phát triển phương pháp tổng hợp thông tin đa góc nhìn tự động: Áp dụng các thuật toán học sâu để tự động học trọng số tổng hợp thay vì dựa vào các tham số thủ công, nhằm tăng khả năng tổng quát hóa và giảm công sức tinh chỉnh. Thời gian thực hiện dự kiến 6-12 tháng, do nhóm nghiên cứu AI và kỹ sư phần mềm đảm nhận.

2. Mở rộng bộ dữ liệu huấn luyện: Thu thập thêm dữ liệu từ nhiều tài xế, điều kiện ánh sáng và môi trường khác nhau để tăng tính đa dạng và giảm hiện tượng overfitting. Mục tiêu tăng số lượng mẫu lên gấp đôi trong vòng 1 năm, phối hợp với các trung tâm nghiên cứu và đơn vị giao thông.

3. Cải tiến mô hình nhận diện hành vi mơ hồ: Nghiên cứu áp dụng các mô hình attention đa nhiệm hoặc kết hợp dữ liệu cảm biến bổ sung (như cảm biến chuyển động) để tăng khả năng phân biệt các hành vi khó nhận diện. Thời gian nghiên cứu 9-12 tháng, do nhóm chuyên gia AI và kỹ thuật cảm biến thực hiện.

4. Phát triển ứng dụng cảnh báo thời gian thực: Triển khai mô hình vào hệ thống giám sát tài xế trực tiếp, cung cấp cảnh báo sớm khi phát hiện hành vi mất tập trung, góp phần nâng cao an toàn giao thông. Dự kiến phát triển trong 6 tháng, phối hợp với các công ty công nghệ và nhà sản xuất ô tô.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức chuyên sâu về ứng dụng Vision Transformer và VideoMAE trong nhận diện hành vi, cùng phương pháp khai thác đa góc nhìn, hữu ích cho các nghiên cứu tiếp theo.

2. Chuyên gia phát triển hệ thống giám sát an toàn giao thông: Các giải pháp và kết quả nghiên cứu giúp cải thiện công nghệ nhận diện hành vi tài xế, hỗ trợ phát triển hệ thống cảnh báo sớm và giảm thiểu tai nạn giao thông.

3. Doanh nghiệp công nghệ và nhà sản xuất ô tô: Tham khảo để tích hợp công nghệ nhận diện hành vi mất tập trung vào sản phẩm, nâng cao giá trị và tính cạnh tranh của các hệ thống hỗ trợ lái xe thông minh.

4. Cơ quan quản lý giao thông và an toàn đường bộ: Sử dụng kết quả nghiên cứu để xây dựng các chính sách, quy định và chương trình đào tạo nhằm nâng cao ý thức và an toàn cho tài xế, giảm thiểu tai nạn do mất tập trung.

Câu hỏi thường gặp

1. Phương pháp nhận diện hành vi mất tập trung của tài xế dựa trên dữ liệu video như thế nào?
   Phương pháp sử dụng mô hình VideoMAE với backbone ViT để nhận diện hành vi trên từng đoạn video nhỏ từ ba góc nhìn camera, sau đó tổng hợp kết quả bằng kỹ thuật multi-view fusion và hậu xử lý để xác định chính xác thời điểm bắt đầu và kết thúc hành vi.

2. Tại sao cần sử dụng đa góc nhìn trong nhận diện hành vi?
   Một góc nhìn camera có thể bị che khuất hoặc không quan sát được toàn bộ hành vi, dẫn đến dự đoán không chính xác. Đa góc nhìn giúp cung cấp thông tin toàn diện hơn, giảm nhiễu và tăng độ tin cậy của kết quả nhận diện.

3. Làm thế nào để tránh hiện tượng overfitting khi dữ liệu huấn luyện hạn chế?
   Sử dụng kỹ thuật k-fold cross-validation để chia nhỏ dữ liệu, huấn luyện mô hình trên các tập con khác nhau và đánh giá tổng hợp, giúp tăng khả năng tổng quát hóa và giảm sự phụ thuộc vào một tập dữ liệu cố định.

4. Phương pháp tổng hợp thông tin đa góc nhìn nào hiệu quả nhất?
   Phương pháp scaling theo max_os và chọn view có kết quả tốt nhất giúp cải thiện mos lên đến 20-45% so với baseline, đồng thời giảm nhiễu từ các dự đoán không chính xác của từng camera.

5. Ứng dụng thực tế của nghiên cứu này là gì?
   Nghiên cứu hỗ trợ phát triển các hệ thống giám sát tài xế, cảnh báo sớm hành vi mất tập trung, góp phần giảm thiểu tai nạn giao thông và nâng cao an toàn đường bộ, đồng thời có thể tích hợp vào các giải pháp thành phố thông minh.

Kết luận

• Luận văn đã phát triển thành công phương pháp nhận diện hành vi mất tập trung của tài xế dựa trên mô hình VideoMAE với ViT, kết hợp khai thác đa góc nhìn từ ba camera trong xe.
• Phương pháp tổng hợp thông tin đa góc nhìn bằng scaling theo max_os giúp cải thiện đáng kể độ chính xác nhận diện và khả năng xác định thời điểm hành vi.
• Kỹ thuật k-fold cross-validation được áp dụng hiệu quả để giảm overfitting khi dữ liệu huấn luyện hạn chế.
• Kết quả nghiên cứu có ý nghĩa thực tiễn cao trong việc phát triển hệ thống cảnh báo sớm, nâng cao an toàn giao thông.
• Hướng phát triển tiếp theo bao gồm tự động hóa tổng hợp đa góc nhìn, mở rộng dữ liệu, cải tiến mô hình nhận diện hành vi mơ hồ và phát triển ứng dụng cảnh báo thời gian thực.

Để tiếp tục nghiên cứu và ứng dụng, các nhà khoa học và doanh nghiệp được khuyến khích triển khai các giải pháp dựa trên kết quả này, đồng thời mở rộng hợp tác để nâng cao hiệu quả và tính ứng dụng trong thực tế.

Trích đoạn nội dung tài liệu

Chương 1 Giới thiệu đề tài 1.1 Nhận diện hành vi trong videos Mạng xã hội và sự phát triển của các thiết bị kĩ thuật số đã thúc đẩy sự tăng lên đáng kể của dữ liệu video. Từ sự đa dạng và phong phú của dữ liệu video, việc phân tích và thấu hiều hành vi từ video đang trở thành một lĩnh vực nghiên cứu quan trọng trong thị giác máy tính (3|[20)(28)[31][33}. Có rat nhiều yếu tố ảnh hưởng đến việc nhận diện hành vi như độ phan giải, ánh sáng của môi trường xung quanh, tốc độ khung hình, đối tượng đang được quan sát có thể bị che khuất. Ngoài ra sự khác biệt về vóc dáng con người, kĩ thuật của nhân vật có thể tạo ra vô số biểu diễn cho một hành vi của con người ví dụ như một động viên chơi thể thao sẽ rất khác với một người bình thường cùng chơi môn thể thao đó.

Hay chỉ đơn giản là đổi góc của camera hay đổi từ camera màu thành camera chiều sâu cũng đã có thể tạo ra một biểu diễn khác của hành động (Hình [. Bài toán tổng quát yêu cầu xây dựng các hệ thống có khả năng giải quyết các vấn đề trên và tự động nhận diện và phân loại các hành vi hay hành động chọn lọc được yêu cầu nhận điện. Diều này bao gồm việc xử lý các video đầu vào, phát hiện các hành vi cụ thể từ một danh sách quan tâm của đối tượng trong video và gắn nhãn cho chúng. Mục tiêu là xác định được các hành vi và hoạt động đang diễn ra trong video một cách tự động và chính xác.

Cam04 Cam05 Cam06 PTZ04 PTZ06 ObjectThrow Hình 1.1: Mô ta mỗi hành vi có thể biểu diễn bằng nhiều góc nhìn khác nhau. Dữ liệu đầu vào thường là hình ảnh hoặc video được ghi từ các camera quan sát. Các đoạn video này có thể được cắt sẵn (trimed) hoặc chưa được cắt sẵn (untrimed). Đối với đoạn video cắt san chỉ chứa một hành động trong đoạn video và độ dài tương đối ngắn.

Hay nói cách khác, thời điểm trước khi xảy hay sau khi xảy ra hành động sẽ không bao gồm trong video mà không cần phải xác định thời điểm bắt đầu và kết thúc của hành động. Kết quả đầu ra của các video này là nhãn của hành vi nhận diện được cho toàn bộ video. Các nghiên cứu gần đây đã đạt được nhiều thành tựu đáng kể đối với loại video này BÌ: Tuy nhiên, trong thực tế, hay trong các video được ghi hình sẵn phần lớn dữ liệu video là chưa được cắt sẵn. Video chưa được cắt sin mặt khác là những đoạn video dài có thể chứa nhiều hành động (Hình [1.2] ), thời điểm trước hành động, chuyển giao giữa các hành động đều bao gồm trong đoạn video, ngoài ra độ dài của hành động cũng ngẫu nhiên có thể chỉ vài giây hoặc có thể kéo dài vài phút.

Ngoài ra hành vi đang được quan tâm có thể chiếm một phần rất nhỏ trong toàn bộ video. Kết quả đầu ra của video này sẽ là vị trí thời gian của hành động hay nói cách khác là No Action of Interest | Action Detected : Long Jump No Action of Interest ` Action Start AC Action End Time Action Instances of Various Lengths | Action 1 | | Action2 |! Action 3 Action 4 ä I Ỹ Ỹ Ỹ Ỹ Y tự HH Start End Start End Start End Start End) Dung: Hình 1.2: Mô ta bài toán đối với video chưa được cắt sẵn. Yêu cầu của bài toán là từ video đầu vào ngẫu nhiên, nhận diện được các hành động đang được quan tâm cùng với thời điểm bắt đầu và kết thúc của chúng. thời điểm bắt đầu và kết thúc cùng với nhãn của hành động.

Điều này dẫn đến bài toán nhận diện hành vi sử dụng video chưa cắt sẵn có độ phức tạp cao hơn nhiều so với bài toán nhận diện hành vi trong video đã cắt sẵn. Đề tài nghiên cứu này sẽ chủ yếu tập trung vào việc nhận diện hành vi dựa trên video chưa được cắt sẵn.2 Bài toán nhận diện hành vi mất tập trung của tài xế Bài toán nhận diện hành vi mất tập trung của tài xế là một trong những bài toán con của bài toán nhận diện hành vi trong videos với tập hợp các hành vi được quan tâm đến là các hành vi mất tập trung của tài xế (Hình Cuộc thi AT City nhắm đến việc sử dụng AI để cải thiện việc vận hành trong môi trường thực tế để có thể ứng dụng làm nền tảng để phát triển thành phố thông minh. Một trong những tac vu trong đó là cải thiện sự hiệu quả và an toàn khi tham gia giao thông bằng cách nhận diện các hành mất tập trung khi lái xe được giới thiệu lần đầu vào cuộc thi năm 2022 (29). Cuộc thi nay đã thu hút 508 đội vào năm 2023 tăng gấp đôi so với 254 đội vào năm 2022 từ 46 quốc gia khác Distracted: Phone (Left) Y Y oa Thời gian Bat dau Kết thúc.

Hành vi mat tập trung có thé có nhiều độ dài khác nhau và ở vị trí bất kì > M M v v M Bắt đầu Kết thúc. Bắt dau Kết thúc Bắt đầu Kết thúc Ti8i@=m nhau trên toàn thế giới cho thấy được sự quan tâm ngày càng tăng đối với nhu cầu này. Ngoài ra cuộc thi này cung cấp bộ dữ liệu thu thập từ 3 camera được bé trí ở 3 vị trí khác nhau xung quanh tài xế cung cấp một bộ dữ liệu ghi lại hành vi của tài xế ở nhiều góc độ khác nhau cho ta một cái nhìn tổng quát hơn so với một góc nhìn riêng biệt.Cuộc thi yêu cầu xác định thời điểm và nhận diện 16 hành vi mắt tập trung của tài xế (Hinh|1.3) ví dụ như nhắn tin, ăn, uống, nghe điện thoại. Từ việc giải quyết vấn đề nhận diện hành vi lái xe mất tập trung sẽ giúp chúng ta tạo ra các công cụ để theo dõi và đánh giá hành vi của tài xế một cách hiệu quả.

Điều này rất quan trọng trong việc sớm phát hiện các tài xế không tập trung, giúp đưa ra các cảnh báo kịp thời giúp đảm bảo an toàn trên đường. Các camera được lắp trên xe sẽ liên tục ghi lại hình ảnh và video về tài xế từ nhiều góc nhìn khác nhau giúp ta có thể nghiên cứu và phân tích hiệu quả hơn các hành vi mất tập trung có thể gây nguy hiểm cho việc tham gia giao thông. Thành công trong việc giải bài toán này không chỉ làm tăng an toàn giao thông mà còn có thể hỗ trợ việc phát triển các hệ thống cảnh báo sớm các hành vi nguy hiểm làm giảm nguy cơ tai nạn và bảo vệ tính mạng của nhiều người tham gia giao thông mỗi ngày.3 Các thách thức của bài toán nhận diện hành vi mat tập trung của tài xế Các thác thức chính của bài toán nhận diện hành vi mất tập trung của tài xế như sau: e Hệ thống phải nhận diện được một hoặc nhiều hành vi trong 1 đoạn clip chưa được rút gọn (untrim video) đòi hỏi các phương pháp rất phức tạp và khó có thể áp dụng vào thực tế ki. e Thông thường việc xác định thời gian xảy ra hành vi thường chỉ được sử dụng trên 1 góc nhìn của video dẫn đến mô hình có thể không nhận diện được hành vi trên những góc nhìn khác ngoài ra cần một phương pháp để tổng hợp thông tin từ các góc nhìn khác nhau.4|cho thấy ta cần một phương pháp thích hợp cho việc xử lý nhiễu từ dự đoán của mỗi camera.

e Góc nhìn của một camera có thể không nhận diện được đúng hành vi (Hình ngay cả việc gán nhãn thủ công vẫn khó có thể nhận biết được hành vi nào.7|ta có thể thấy được mỗi camera có thể nhận diện ra một kết quả khác nhau tùy thuộc vào độ bao quát của góc camera với hành vi. e Các hành vi của con người có thể rất mơ hồ hoặc nhiều biểu hiện khác nhau cho cùng hành vi dẫn đến việc khó nhận diện hay phân biệt được hành vi (Hình e Các hành vi mất tập trung diễn ra gần nhau rất khó có thể nhận diện được thời gian bắt đầu và kết thúc của hành vi, một phần thời lượng video là có chứa hành vi mất tập trung còn phần lớn thời gian là hành vi lái xe bình thường. Hình cho thấy được hành vi có thể ở bất kì thời điểm nào ở đoạn video và có thể có độ dài ngắn khác nhau. e Tập dữ liệu dùng để huấn luyện khá nhỏ so với số lượng hành vi cần nhận diện dẫn đến mô hình có thể dễ dàng gặp vấn đề học vẹt (overfit).

Chỉ khoảng 755 mẫu cho 16 hành vi tương đương với việc mỗi hành vi chỉ có khoảng 47 mẫu so với các bộ dữ liệu dùng để huấn luyện hành vi khác. b 0 Class Probabilities for Video ID: 8 - View: dash 08 _ 06 ne00 A Aa Boa ƒ\ — IIi. Label fi 20 TÏ 30 ot “ng Teas "a0 150 ra 180 190 1 1 } ' 1 1 si. ae | haa ' =z i] 1 i I max label =a = es SSS mm mm 0 10 20 ] 30 40 50 EM] 70 80 90 100 110 T1 130 140 150 160 h 170 180 190 10 lass Probabilitied for Video ID: 8 - View: dặn 08 ề = 06 8 Boa E 0 10 20 TU 30 40 50 60 † T0 80 110 = 130 140 150 160 L 170 180 190 02 A — aN 00 Label f 1 ! | te EU , BH 1 1 | max, a i} i] 1 1 I max label ms | a Co ee 0 10 203 4 50 V7 8 90 10 l6 l20g 130 1O 150160 ; 170 180 190 Fs Label f 1 † 120 14 130 150 160 † A 180 190 i] 1 1 ' 1 i 1 i] si, mm, ¡ Em.

mm, mm ' 1 F h max_label = = _ = Coe en summed a mm 2 1 ¬ — = : + 0 16 20230 46 50 ON 70 80 90 100 1O 120g 1320 140 130 l6O ÿ 170 l6 6O _———————== ————————— Hình 1.4: Mô tả minh họa tổng hợp thông tin từ nhiều góc nhìn cần được xử lý nhiễu do mỗi camera có thể có một dự đoán khác nhau. gt là dp ấn còn mazx_label là hành vi có độ tin cậy tốt nhất nhận diện được. Các khoảng trắng là hành vi lái xe bình thường.5: Thách thức trong việc nhận diện hành vi mất tập trung của tài xế với một góc nhìn camera. Ở video này khó có thể xác định được tài xế đang bấm điện thoại hay đang điều chỉnh bảng điều khiển vì tay bị che khuất Hình 1.