Luận văn: Nghiên cứu giải thuật phát hiện người trên mạng camera - Phạm Anh Tuấn

Luận văn trình bày giải thuật phát hiện và theo vết người hiệu quả trên mạng camera. Phân tích kỹ thuật và kết quả thực nghiệm chi tiết.

• Tác giả: Phạm Anh Tuấn
• Người hướng dẫn: TS. Vũ Hải
• Trường học: Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Và Phát Triển Giải Thuật Phát Hiện Và Theo Vết Người Trên Một Mạng Camera
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Giải thuật Phát hiện và Theo vết Người

Giải thuật phát hiện và theo vết người (Person Detection and Tracking) là công nghệ tiên tiến trong lĩnh vực thị giác máy tính. Nó kết hợp các kỹ thuật học sâu để nhận diện và theo dõi chuyển động của con người trên video từ camera giám sát. Công nghệ này được ứng dụng rộng rãi trong an ninh, giao thông, bán lẻ và các lĩnh vực khác, giúp tự động hóa quá trình giám sát và nâng cao hiệu quả quản lý.

1.1. Định nghĩa cơ bản

Phát hiện người là quá trình xác định vị trí và ranh giới của con người trong khung hình video. Theo vết người là việc theo dõi liên tục cùng một cá nhân qua nhiều khung hình liên tiếp. Hai quá trình này hoạt động song song để tạo ra một hệ thống giám sát thông minh, có khả năng nhận biết và跟踪chuyển động của đối tượng một cách chính xác và liên tục.

II. Các Phương pháp Kỹ thuật Chính

Hiện nay có nhiều phương pháp kỹ thuật được sử dụng để phát hiện và theo vết người. Các giải thuật này sử dụng mạng nơron nhân tạo, xử lý ảnh nâng cao và các mô hình máy học để cải thiện độ chính xác. Những phương pháp phổ biến bao gồm YOLO, Faster R-CNN, SSD và các mô hình dựa trên Transformer, mỗi phương pháp có ưu và nhược điểm riêng về tốc độ xử lý và độ chính xác.

2.1. Mạng nơron tích chập CNN

CNN là nền tảng của hầu hết các giải thuật phát hiện hiện đại. Chúng sử dụng các lớp tích chập để trích xuất đặc trưng từ hình ảnh, giúp nhận biết các mẫu và đối tượng. Kiến trúc CNN cho phép hệ thống học các tính năng từ đơn giản đến phức tạp, từ cạnh và hình dạng cho đến các đặc điểm nhân học cụ thể của con người, cải thiện khả năng phát hiện chính xác.

2.2. Thuật toán YOLO và Faster R CNN

YOLO (You Only Look Once) xử lý toàn bộ hình ảnh cùng một lúc, cho phép phát hiện nhanh nhưng có thể hy sinh độ chính xác. Faster R-CNN sử dụng vùng quan tâm để tập trung vào các phần tương quan, đạt độ chính xác cao hơn nhưng chậm hơn. Lựa chọn giữa chúng phụ thuộc vào yêu cầu cụ thể của ứng dụng về tốc độ và độ chính xác.

III. Ứng dụng Thực tiễn trong Camera Giám sát

Giải thuật phát hiện và theo vết người được triển khai rộng rãi trong các hệ thống camera giám sát hiện đại. Ứng dụng này giúp nhân viên bảo vệ theo dõi đối tượng nghi vấn, phát hiện hành vi bất thường, đếm người lưu thông và cảnh báo vượt quá dung lượng. Trong bán lẻ, công nghệ này phân tích hành vi khách hàng. Tại các sân bay và ga tàu, nó giúp quản lý đám đông và phát hiện các vật thể bỏ quên.

3.1. Giám sát an ninh và phòng chống tội phạm

Camera thông minh có khả năng theo vết tội phạm xuyên suốt nhiều điểm giám sát, tạo ra chuỗi sự kiện liên kết. Hệ thống cảnh báo tự động có thể phát hiện các hành động đáng ngờ như đứng lại lâu trong khu vực nhạy cảm, xâm phạm vùng cấm, hoặc hành vi ngăn chặn camera. Điều này giúp lực lượng bảo vệ ứng phó nhanh chóng.

3.2. Quản lý lưu lượng giao thông

Trong quản lý giao thông, hệ thống phát hiện người giúp giám sát đi bộ và những hành vi vi phạm quy tắc giao thông. Công nghệ này đếm chính xác số người qua đường, giúp tối ưu hóa tín hiệu đèn giao thông. Nó cũng cảnh báo về những tình huống nguy hiểm, giúp giảm tai nạn giao thông và cải thiện an toàn đô thị.

IV. Thách thức và Hướng phát triển Tương lai

Mặc dù có những tiến bộ đáng kể, công nghệ phát hiện và theo vết người vẫn gặp nhiều thách thức. Các vấn đề như điều kiện ánh sáng kém, bị che phủ, tương tự hình dáng, và khu vực có mật độ đông người cao vẫn là những khó khăn lớn. Tương lai sẽ tập trung vào cải thiện độ mạnh mẽ của mô hình, tăng hiệu quả tính toán, và phát triển các giải pháp bảo vệ quyền riêng tư. Sự kết hợp giữa các kỹ thuật mới như cơ chế chú ý (Attention Mechanism) và học liên hợp sẽ mở ra những khả năng mới.

4.1. Thách thức kỹ thuật hiện tại

Một trong những thách thức lớn nhất là xử lý các trường hợp bị che phủ một phần hoặc hoàn toàn. Điều kiện ánh sáng kém, mưa, sương mù làm giảm chất lượng hình ảnh. Hơn nữa, khi có nhiều người trong khung hình, việc phân biệt giữa các cá nhân trở nên rất khó khăn. Độ trễ xử lý trong thời gian thực cũng là vấn đề cần giải quyết cho các ứng dụng yêu cầu phản ứng nhanh.

4.2. Xu hướng phát triển trong tương lai

Các nhà nghiên cứu đang phát triển các mô hình nhẹ (Lightweight Models) để chạy trên thiết bị biên (Edge Devices), giảm phụ thuộc vào máy chủ đắt tiền. Học liên hợp cho phép cải thiện mô hình mà không cần chia sẻ dữ liệu nhạy cảm. Kết hợp đa phương thức với cảm biến khác như hồng ngoại cũng sẽ nâng cao hiệu suất. Bảo vệ quyền riêng tư thông qua che mặt tự động sẽ trở thành tiêu chuẩn.

Trích đoạn nội dung tài liệu

- BỘ GIÁO DỤC VÀ ĐẢO TẠO _ TRUONG DAI HOC BACH KHOA HA NOL PIIAM ANIL TUAN NGHIÊN CỨU VÀ PHÁT TRIỄN GIẢI THUẬT PHÁT HIỆN VÀ THEO VÉT NGƯỜI TRÊN MỘT MẠNG CAMERA Chuyên ngành Công nghệ thông tin. LUẬN VĂN THẠC SĨ KỸ THUẬT CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC T§. VŨ HẢI Ha Noi - Năm 2015 LỜI CẢM ƠN Trước tiên, em muốn gửi lời c "ơn số u sắc thất đến thấy giáo, Tiên sĩ Vũ ái đã tận tỉnh hướng dẫn em trong suốt quá trình thực hiện luận văn cao hoc. Lm xin bay tỏ lời cam on sâu sắc đến cdc thay cô, các anh chị công tác tại viên nghiên.

cứu quốc tế MIỚA, đặc biệt là tại phòng Thị giác máy tỉnh, đã luôn tạo điều kiện tối nhất cho em học tập vả công tác, giúp đố cho em cả vẻ trí thức và kinh nghiệm. sống, là hành trang giứp em vững bước trong tương lai. Em cũng xin chân thành. căm on chi Pham Thị Thanh Thấy, NƠS tại phòng THỊ giác máy tính, Viện MICA, đã cho phép em sứ dụng bộ đử liệu chudn về định vị vả định danh người trong mỏi trường cảm thụ.

Em cũng muốn gửi lời cẩm on dén tat cả các thấy cô đã day dé em các môn. hoc trong học phân cao học, tắt cá đầu lá những bài học bỗ ích về chuyên môn cưng, câp cho em những gợi mỡ quan lưrọng trong suối. quá trình nghiên cứu. Em xin cam ơn đơn vị nơi công tác dã tạo diểu kiện thuận lợi cho em hoàn thành luận văn nảy.

Cuối cùng, em muốn gửi lời cảm ơn sâu sắc đến tật cả gia đình, bạn bè, những, người luôn kịp thời dộng viên và giúp đỡ em vượt qua những khó khăn, đạt được những mục tiêu để ra trang quả trình hoàn thành luận vần. HỌC VIÊN Pham Anh Tuấn TỎI CÁM BOAN Tai xin cam đo luận văn được hoàn thành trên cơ số nghiên cứu, tổng hợp các kiến thức và các công việc của tôi tại Viện nghiền cửu quốc tế MICA, Đại học Bách Khoa Hà Nội, thông qua các bài giãng của thây hướng đẫn và qua các tài liệu tham khảo đã được trích dẫn đây dủ. Luận văn này lả mới, các đóng góp trong luận văn do bán thân tôi thục hiện, =ghiên cửu, đúc rút, các thí nghiêm và các số liệu là có thục và được thực hiện tại Phòng Thị giác máy tỉnh, Viện MICA, Đại học Bách Khoa Hà Nội. "Lồi xia cam đoan các đông góp này không sao chép nguyên bản từ bắt kỳ một.

nguồn tài liệu nào. HỌC VIÊN Pham Ánh Tuân bà DANH MỤC CÁC KỶ HIỆU, CÁC TỪ VIẾT TẮT cUM TU PAY BU DICH NGHIA BGS Background Subtraction Kỹ thuật trừ nên FG Foreground Ảnh có đối Lượng, TIOG _ Tistogram of Orienied Gradients | Biểu đổ các biển đổi trên các hướng, PCA Principal component analysis Phân tích thánh phẩn chỉnh SDK Software Development Kit Hộ công cụ phát triển phần mềm. Veetor Machine Bộ phân lớp máy hỗ trợ vecto Calib Calibration Ky thuat cin chinh camera MoG Mixture of Gaussians Gauss hén hop w 3. Phương pháp phối ghép nhiều Camera.

Chuẩn bị dữ ligu cho Calibration (Thu thap hinh anh san nha). Phép chidu bird-eye view 3. Phương pháp kết nói hành trình từ nhiều camera Chương 4. KẾT QUÁ THỦ NGHIỆM.

Mô tả môi trường thử nghiệ dụng bộ dữ liệu Ground-truth 4. Kết quả vẽ hành trình từ mạng camera trong thực t KẾT LUẬN. s TÀI LIỆU THAM KHẢO DANH MỤC CÁC KỶ HIỆU, CÁC TỪ VIẾT TẮT cUM TU PAY BU DICH NGHIA BGS Background Subtraction Kỹ thuật trừ nên FG Foreground Ảnh có đối Lượng, TIOG _ Tistogram of Orienied Gradients | Biểu đổ các biển đổi trên các hướng, PCA Principal component analysis Phân tích thánh phẩn chỉnh SDK Software Development Kit Hộ công cụ phát triển phần mềm. Veetor Machine Bộ phân lớp máy hỗ trợ vecto Calib Calibration Ky thuat cin chinh camera MoG Mixture of Gaussians Gauss hén hop w Hình 4.

Môi trường thứ nghiệm. Cáo hùnh ảnh thu thập và chuẩn bị dữ bi ground truth cho (hit nghiệm hệ thống. Theo hàng dọc: hinh ảnh thu thập từ các camera Caml, Cam2, và Cam3, Theo hàng ngang: các thử nghiệm khác nhau gồm: 1 người đi, 2 người đi,5 người đi. Hiện tượng che0 khuất thay rõ đổi với tog hop 5 người đi lại.

Hiệu quả củathử bồng dối với kết quả trừ nỀn. Kếi quảvẽ hành trình khi cỏ khử bóng và không khở bông @). Giá tị lỗi Emer tại mỗi tame. (b) Vẽ hảnh trình eó và ê Không có khử bảng sát với dữ liệu pround-truth.

Hiệu quả của quá trình kết thợp HOGSVM và kết quả trừ nên.6 Kết quả kết hợp trừ nên và bộ phát luện HOG + 8M. Hàng 1: Chuỗi cac frame géc, cdc frame cach nhau 25-30 frames, [lang 2. Két quả sử dụng kỹ thuật trừ nên; Hàng 3: Kết quả áp đụng bộ phát hiện HOG + SVM. Nhiéu vùng false postive xuất hiện.

làng 4: Kết quả sau khi kết hợp (đóng hung miu dỏ), Vũng dóng khung mẫu vàng là dữ liệu Ground-trutl. Hành trình tổng hợp từ các camora giám sắt với các thử nghiệm gồm ặ và 5 người đi lại tong môi trường. Hảnh trình tống hợp từ 2 camera Cam] va Cam2. Hanh trinh của mỗi người được vẽ theo mảu khác nhau.

Hành trình duợc quan sải thường ngày [hú từ Cam 1 sử đụng hệ thống dé xuất. Các ame cách nhau 2s. Trong mỗi khung hình: Góc trên: là ảnh thu từ camera. Góc trêu bên phải: lẻ kết quả ánh trừ nẻn; Góc đưới bên phái: lá ảnh sau khi khú bóng, Ảnh này sử dụng két hop HOG: SVM vé được vùng bao màu đỏ trên ánh gốc.

Liành trỉnh the trục thời gian được vẽ ở góc dưới bên trái quản xanh) 72 Hinh 4. Kết quả mình họa đối với Cam2. Các giải thích trọng tự với Hình 4.6 keHereererree HH mg He re seston D2 MỞ DẤU 1. Bối cảnh và lí do chọn đề tài Bài toán phát hiện và theo vết người sử dụng một mạng camera hình ảnh cỏ nhiều ứng dụng trong giám sát đối với cả môi trường công cộng và mỗi trường có yêu câu về an ninh Một sẻ ứng dụng có thể kế như: tự động theo đõi và giảm sát trong và ngoài tòa nhà, sẵn bay, bến cing, bai đỗ xe, kho bãi; Trong y tế hoặc hỗ trợ người tản tật: giám sát bệnh nhân, giảm sát các tai nạn bắt ngờ, theo đối người giả, trễ em trong nhà.

Đề xây đựng các ứng dụng này, các lĩnh vực nghiên cứu liên quan đến bài toán phát hiện và theu vẫt người sit dụng trên một camera đã nhận dược nhiều sự quan tâm của các nhà nghiên cứu trong lĩnh vực thị giác máy tính, học xuấy, tự động hỏa. Hai hướng nghiên cứu chính đó là: bài đản phát hiện cho phép xác dịnh sự tồn tại của người trong khung hình thu nhận được & trong camera, trong khi đỏ bài toán #keo vất cho phép kết nỗi các vùng phát hiện được của củng một đổi tượng ở các khung hình khác nhau, hoặc giữa các camera khác nhau khi điển kiện vẻ mỏi trường thay déi (như che khuất, thay dỏi tỉ lệ. Tài toán phát hiện và theo vết đối tượng nói chung và đối tượng người nói Tiêng trên một mạng camera mạng camera ngoài phải giải quyết hai nội dịmg, nghiên cứu trên, cỏn cân phái có các nội dung nghiên cứu khác như: phối ghép các 260 nhìn từ nhiêu oamera; theo vết và định danh hoặc so khớp người đụa trên cáo đặc trưng ảnh từ các góc nhìn cửa carnera khác rau. Việc kết hợp thông lin từ nhiều camera trong mạng sẽ giúp việc mở rộng môi trường cần giám sát cũng như đề nâng cao độ chính xác của hệ thống.

Xuất phát từ những cơ sở khoa học trên, đẻ tải tập trung vào việc xây dựng và phát triển giải thuật phái hiện và theo vệi người trong một mạng camera. Trong đó phương pháp để xuất sẽ có thê phát hiện nhanh chóng, chính xác đối tượng người sử đụng kết hợp luồng đữ liệu hình ảnh thu thập kết hợp từ nhiều camera Nội đụng luận văn là một phần trong đề tải cấp bộ: “Vghiên cứu và phúi trién kệ thẳng tìm ding tdi wu dea trên thông tin định vi bing kink anh, RFID va wifi, img dung trợ giúp định hưởng ugwiti khiém thi trong mỗi trường Ứ rằng buộc” đang được Viện MICA thực hiện. ĐANH MỤC CÁC HÌNH VẼ Hình 1. Minh họa bài toán phát hiện người rong ảnh.

Sơ đồ khỏi của hướng tiếp cận 2. Hải toán nhận dạng xe trong các ảnh. Minh hoạ kết quá bái toản theo vết người 15 Hình 1. Hai pha chủ trình ước lượng: dự báo dựa trênthông un hiên nghiệm và triệu chính theo thông lin đo lường mới |4| - 19 Hình 1.

Một số kỳ thuật được nghiên cứu đổi với bài toán giảm. sát sử đựng mang, camera. Tìm bộ tham số ngoài (ma tran HỊQ giữa camera và hệ tọa độ thể giới thục 20 Tình 1. Dôi tượng, được xác định lên trên nhiều khung hình camera 27 THình 1.

Các bước chính của bài toán phát hiện và theo đối đối ượng người 30 Hình 2. Sơ dỗ phương, pháp dễ xuất phát hiện và theo yết người trên một camera 31 Hình 22. Sơ để thiết lập nôi tường mạng camera sử đựng trong nghiên cứn của luận van. Một sốhình ảnh tha thập từ ¡ Caml (hàng trên) và Cam 2 (hàng dưới) được sử đụng trong các mình họa trong các nội đưng tiến theo 32 Hình 2.

Kết quả khi thực hiện thuật toán Running Average. Kết quả khi thực hiện. ba Running Median I Tam] (a) véva Cam? (b) 36 Hình 2. Kết quả khi sử dụng trung bith Gaussian irén Cam] (a) và Cam2 (b) - 37 Hình 2.

Kết quả trừ nên sử dine mô hình hôn hop Gaussian tn Cami (a) va Gam2 (b) - 40 Hình 2.8 Kết quả trừ nên sử dụng mô hình hin hop Gaussian n ích nghỉ. (a) Kết quả trừ nên thu được trên Cam#1L. (bì Kết quả trừ nền thu được trên Cam#2 43 Hình2. (b} Ính kết quả trừ nền Hình 2.

Đối tương được phát hiện bao pm cá bỏng 44 Hình 2. Kết quả phát hiện đổi tượng với bóng đã được tách.12, Chuan bi dif ligu x4c dinh shadow cho qua hinh hee P(AS'| shadow) va P(AIT | shadovy - - - 47 Hình 2. Quan sát gid trị AS va AH tai cdc shadow pixel _—. Phân bố của P(AS| shadow) va P(AH | shadow) adi vai vim 26 bong trong môi trường quan sát - - 48 DANH MỤC CÁC KỶ HIỆU, CÁC TỪ VIẾT TẮT cUM TU PAY BU DICH NGHIA BGS Background Subtraction Kỹ thuật trừ nên FG Foreground Ảnh có đối Lượng, TIOG _ Tistogram of Orienied Gradients | Biểu đổ các biển đổi trên các hướng, PCA Principal component analysis Phân tích thánh phẩn chỉnh SDK Software Development Kit Hộ công cụ phát triển phần mềm.