Phát Hiện và Theo Vết Người Qua Video Camera Giám Sát - Khóa Luận Tốt Nghiệp 2022

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp khoa học máy tính phát hiện và theo vết người thông qua video camera giám sát, vận dụng lý thuyết vào thực tế, đề xuất giải pháp cụ thể

• Tác giả: Lâm Phát Tài
• Người hướng dẫn: ThS. Trần Thanh Nhã
• Trường học: Trường Đại Học Sư Phạm Thành Phố Hồ Chí Minh
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Phát Hiện và Theo Vết Người Qua Video Camera Giám Sát
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 1.1. Tổng quan Person Re Identification
• 1.2. Các phương pháp sử dụng mô hình học sâu
• 1.2.1. Deep Metric Learning
• 1.2.2. Local Feature Learning
• 1.2.3. Generative Adversarial Networks
• 1.2.4. Sequence Feature Learning
• 1.3. Các tập dữ liệu tiêu chuẩn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 3. CHƯƠNG 3: PHƯƠNG PHÁP PHÁT HIỆN VÀ THEO VẾT NGƯỜI THÔNG QUA VIDEO CAMERA GIÁM SÁT
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phát hiện và theo vết người qua video camera giám sát

Phát hiện và theo vết người qua video camera giám sát là một lĩnh vực nghiên cứu quan trọng trong công nghệ an ninh hiện đại. Công nghệ này không chỉ giúp nâng cao khả năng giám sát mà còn hỗ trợ trong việc phân tích hành vi của người dùng. Hệ thống giám sát an ninh hiện nay thường sử dụng các camera để ghi lại hình ảnh, nhưng việc phân tích và theo dõi đối tượng vẫn còn nhiều thách thức. Việc phát triển các phương pháp thông minh để nhận diện và theo dõi người qua video là cần thiết để cải thiện hiệu quả giám sát.

1.1. Khái niệm về công nghệ nhận diện khuôn mặt

Công nghệ nhận diện khuôn mặt là một phần quan trọng trong việc phát hiện và theo vết người. Nó sử dụng các thuật toán để phân tích và nhận diện khuôn mặt từ video camera giám sát, giúp xác định danh tính của đối tượng một cách nhanh chóng và chính xác.

1.2. Lịch sử phát triển của công nghệ giám sát

Công nghệ giám sát đã trải qua nhiều giai đoạn phát triển từ những năm 1960. Ban đầu, camera chỉ có khả năng ghi hình, nhưng với sự phát triển của công nghệ AI, các hệ thống giám sát hiện nay có thể phân tích và theo dõi hành vi của người dùng một cách tự động.

II. Vấn đề và thách thức trong phát hiện và theo vết người

Mặc dù công nghệ giám sát đã phát triển mạnh mẽ, nhưng vẫn còn nhiều vấn đề và thách thức cần giải quyết. Một trong những thách thức lớn nhất là khả năng nhận diện chính xác trong các điều kiện ánh sáng khác nhau và khi đối tượng bị che khuất. Ngoài ra, việc quản lý và phân tích lượng dữ liệu video khổng lồ cũng là một vấn đề đáng lưu ý.

2.1. Khó khăn trong việc nhận diện đối tượng bị che khuất

Khi một đối tượng bị che khuất bởi các vật cản, việc nhận diện trở nên khó khăn hơn. Các nghiên cứu hiện tại đang tìm cách phát triển các thuật toán có khả năng nhận diện ngay cả khi đối tượng không hoàn toàn xuất hiện trong khung hình.

2.2. Quản lý dữ liệu video lớn

Hệ thống giám sát thường tạo ra một lượng lớn dữ liệu video. Việc lưu trữ, quản lý và phân tích dữ liệu này đòi hỏi các giải pháp công nghệ tiên tiến để đảm bảo hiệu quả và tiết kiệm thời gian.

III. Phương pháp phát hiện và theo vết người hiệu quả

Để giải quyết các thách thức trong việc phát hiện và theo vết người, nhiều phương pháp đã được phát triển. Các phương pháp này bao gồm việc sử dụng công nghệ AI, học sâu và các thuật toán phân tích video thông minh. Những phương pháp này không chỉ giúp cải thiện độ chính xác mà còn tăng tốc độ xử lý dữ liệu.

3.1. Sử dụng công nghệ AI trong giám sát

Công nghệ AI giúp tự động hóa quá trình nhận diện và theo dõi đối tượng. Các thuật toán học sâu có khả năng học hỏi từ dữ liệu và cải thiện độ chính xác theo thời gian.

3.2. Phân tích video thông minh

Phân tích video thông minh cho phép hệ thống tự động phát hiện các hành vi bất thường và cảnh báo người giám sát. Điều này giúp nâng cao hiệu quả giám sát và giảm thiểu thời gian cần thiết để xem lại video.

IV. Ứng dụng thực tiễn của công nghệ giám sát

Công nghệ phát hiện và theo vết người qua video camera giám sát đã được áp dụng rộng rãi trong nhiều lĩnh vực. Từ an ninh công cộng đến quản lý giao thông, công nghệ này đóng vai trò quan trọng trong việc bảo vệ an toàn cho cộng đồng.

4.1. Ứng dụng trong an ninh công cộng

Hệ thống giám sát an ninh công cộng giúp phát hiện và ngăn chặn các hành vi phạm tội. Việc theo dõi các khu vực công cộng giúp tăng cường an ninh và bảo vệ người dân.

4.2. Ứng dụng trong quản lý giao thông

Công nghệ giám sát cũng được sử dụng để theo dõi tình hình giao thông. Việc phân tích video giúp phát hiện các tình huống giao thông bất thường và cải thiện lưu thông.

V. Kết luận và tương lai của công nghệ giám sát

Công nghệ phát hiện và theo vết người qua video camera giám sát đang trên đà phát triển mạnh mẽ. Với sự tiến bộ của công nghệ AI và học sâu, tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều cải tiến đáng kể. Việc nâng cao độ chính xác và giảm thiểu thời gian xử lý sẽ là những mục tiêu quan trọng trong nghiên cứu tiếp theo.

5.1. Xu hướng phát triển công nghệ giám sát

Trong tương lai, công nghệ giám sát sẽ tiếp tục phát triển với sự tích hợp của các công nghệ mới như IoT và Big Data. Điều này sẽ giúp cải thiện khả năng giám sát và phân tích dữ liệu.

5.2. Thách thức trong việc bảo mật dữ liệu

Bên cạnh những lợi ích, việc sử dụng công nghệ giám sát cũng đặt ra nhiều thách thức về bảo mật dữ liệu. Cần có các biện pháp bảo vệ thông tin cá nhân và đảm bảo an toàn cho người dùng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Quá trình đô thị hóa và phát triển kinh tế - xã hội tại Việt Nam đang thúc đẩy làn sóng dịch chuyển lao động từ nông thôn và các đô thị nhỏ về những trung tâm kinh tế lớn như Thành phố Hồ Chí Minh, Hà Nội và Đà Nẵng. Sự gia tăng mật độ dân số tại các đô thị này làm gia tăng áp lực đối với công tác quản lý an ninh trật tự tại các khu vực công cộng như công viên, trường học, chung cư và trung tâm mua sắm. Trong thực tế, các yêu cầu nghiệp vụ như tìm kiếm người đi lạc, phòng chống tội phạm trộm cắp và phân tích hành vi con người đòi hỏi sự hỗ trợ trực tiếp từ hệ thống thiết bị kỹ thuật.

Mặc dù hạ tầng camera giám sát đã được triển khai rộng rãi, hầu hết các thiết bị hiện nay chỉ thực hiện chức năng ghi hình thụ động độc lập tại từng điểm cố định mà chưa có sự liên kết dữ liệu giữa các camera có góc quan sát không chồng lấn. Khi cần theo vết một đối tượng di chuyển qua nhiều vị trí quan sát khác nhau, nhân sự giám sát phải tiến hành rà soát thủ công toàn bộ các đoạn băng ghi hình. Quy trình này đòi hỏi nhiều thời gian, công sức và giảm hiệu quả khi số lượng đối tượng cần theo dõi tăng lên. Nhằm tự động hóa quá trình trên, khóa luận tập trung giải quyết bài toán phát hiện và theo vết người thông qua hệ thống video camera giám sát.

Mục tiêu nghiên cứu của đề tài được xác định cụ thể gồm ba nhiệm vụ:

1. Tìm hiểu và phân tích các kỹ thuật tái nhận dạng đối tượng (Person Re-Identification) đang được áp dụng trong và ngoài nước.
2. Xây dựng quy trình truy vấn thông tin đối tượng người thông qua hình ảnh đầu vào.
3. Thiết kế và hiện thực hóa mô hình thực hiện đồng thời chức năng phát hiện, theo vết và tái định danh đối tượng người trên chuỗi khung hình video.

Đối tượng nghiên cứu của khóa luận là hình ảnh người đi bộ xuất hiện trong các video thu nhận từ camera giám sát. Phạm vi nghiên cứu tập trung vào việc định danh và duy trì theo vết đối tượng khi di chuyển trong không gian quan sát của các camera có góc quay độc lập, không chồng lấn.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng nghiên cứu dựa trên ba bài toán cốt lõi của thị giác máy tính:

1. Phát hiện đối tượng (Object Detection): Là sự kết hợp giữa phân loại hình ảnh (Image Classification) và định vị đối tượng (Object Localization) bằng hộp giới hạn (bounding box). Các thuật toán được phân tích gồm:
   • Nhóm mạng đề xuất vùng: R-CNN (sử dụng thuật toán Selective Search đề xuất khoảng 2.000 vùng quan tâm, trích xuất đặc trưng qua AlexNet và phân loại bằng SVM), Fast R-CNN (áp dụng tầng RoI Pooling trên toàn bộ feature map của mạng VGG-16), Faster R-CNN (thay thế Selective Search bằng mạng con đề xuất vùng RPN).
   • Nhóm phát hiện một giai đoạn: SSD (Single Shot MultiBox Detector - sử dụng các bộ lọc tích chập trên nhiều tỷ lệ feature map) và YOLO (You Only Look Once - xử lý bài toán phát hiện dưới dạng hồi quy đầu cuối trên lưới $S \times S$, kết hợp kỹ thuật Non-Maximal Suppression để loại bỏ hộp giới hạn trùng lặp).
2. Theo vết đa đối tượng (Multiple Object Tracking - MOT): Trọng tâm là thuật toán SORT (sử dụng bộ lọc Kalman để dự đoán chuyển động và thuật toán Hungarian để liên kết dữ liệu dựa trên chỉ số Intersection Over Union - IoU) và phiên bản mở rộng DeepSORT (bổ sung mạng học sâu trích xuất đặc trưng ngoại hình và cơ chế Matching Cascade nhằm khắc phục hiện tượng mất dấu khi bị che khuất).
3. Tái nhận dạng người (Person Re-Identification - Person Re-ID): Nhiệm vụ ghép nối hình ảnh của cùng một người giữa các camera khác nhau. Khóa luận hệ thống hóa 4 nhóm phương pháp học sâu chính:
   • Deep Metric Learning: Sử dụng các hàm mất mát như Contrastive Loss, Triplet Loss nhằm tối ưu hóa khoảng cách giữa các vector đặc trưng.
   • Local Feature Learning: Học các đặc trưng phân biệt cục bộ theo bộ phận cơ thể hoặc phân vùng sọc ngang (như mô hình Multiple Granularity Network - MGN, Heterogeneous Local Graph Attention Networks).
   • Generative Adversarial Networks (GAN): Ứng dụng các kiến trúc CycleGAN, PTGAN để sinh thêm dữ liệu và chuyển đổi phong cách hình ảnh giữa các miền dữ liệu nhằm giải quyết sự khác biệt về ánh sáng, góc chụp.
   • Sequence Feature Learning: Khai thác chuỗi thời gian - không gian qua video ngắn (mô hình Two-stream Spatial-Temporal Person ReID - ST-ReID) để loại bỏ các trường hợp nhận diện sai do trùng lặp ngoại hình.

Phương pháp nghiên cứu kết hợp giữa nghiên cứu lý thuyết (tổng hợp tài liệu chuyên ngành, phân tích các kiến trúc tích chập VGG-16, Inception-V3, ResNet-50) và phương pháp thực nghiệm (thiết kế mô hình học sâu, huấn luyện trên các bộ dữ liệu chuẩn, so sánh đánh giá hiệu năng).

Nguồn dữ liệu nghiên cứu được tác giả tổng hợp từ 5 bộ dữ liệu chuẩn quốc tế về Person Re-ID:

Tên bộ dữ liệu	Năm công bố	Số lượng hình ảnh	Số lượng đối tượng	Số lượng camera	Thuật toán phát hiện / Ghi chú
VIPeR	2007	1.264	632	2	Độ phân giải cố định $128 \times 48$
CUHK03	2014	13.164	1.360	10	Deformable Part Model (DPM)
Market-1501	2015	32.668	1.501	6	5 camera HD, 1 camera độ phân giải thấp
DukeMTMC-reID	2017	36.411	1.404	8	16.522 ảnh huấn luyện; 2.228 ảnh truy vấn; 17.661 ảnh thư viện
MSMT17	2018	126.441	4.101	15	Fast R-CNN; thu thập đa khung cảnh

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo mô hình tích hợp đồng thời hai khối chức năng: Multiple Object Tracking (MOT) và Person Re-Identification (Person Re-ID). Khối MOT phụ trách việc phát hiện vị trí người đi bộ và gắn định danh cục bộ trong từng video đơn lẻ, giúp cô lập đối tượng khỏi bối cảnh nền phức tạp. Khối Person Re-ID thực hiện trích xuất đặc trưng chiều sâu và so khớp để tái định danh khi đối tượng chuyển dịch sang vùng quan sát của camera khác.

1. Khối phát hiện và theo vết (MOT)

Mô hình sử dụng YOLOv4 tiền huấn luyện trên tập dữ liệu COCO (80 lớp đối tượng) làm bộ phát hiện người đi bộ nhờ ưu thế về tốc độ xử lý khung hình thời gian thực. Sau khi trích xuất hộp giới hạn, thư viện DeepSORT được kích hoạt để thực hiện bài toán liên kết dữ liệu theo quy trình 5 bước:

• Bước 1: Ứng dụng mô hình YOLOv4 phát hiện vị trí người đi bộ trên từng khung hình.
• Bước 2: Trích xuất tọa độ hộp giới hạn và loại bỏ các hộp bị chồng lấp có độ tin cậy thấp.
• Bước 3: Khởi tạo đối tượng Tracker của DeepSORT, tính toán chỉ số IoU giữa các khung hình liên tiếp và cập nhật trạng thái di chuyển qua bộ lọc Kalman.
• Bước 4: Lưu trữ thông tin hộp giới hạn và mã định danh tạm thời của đối tượng.
• Bước 5: Hoàn tất theo vết cục bộ trên luồng video đơn.

2. Khối tái nhận dạng người (Person Re-ID)

Khóa luận phát triển kiến trúc mạng trích xuất đặc trưng cục bộ dựa trên phân vùng sọc ngang (horizontal stripes), bao gồm ba thành phần:

• Mạng xương sống (Backbone Network): Kế thừa các tầng tích chập từ layer 1 đến layer 5 của mô hình tiền huấn luyện ResNet-50 (đồng thời thử nghiệm so sánh với Inception-V3 và VGG-16). Hình ảnh người đi bộ sau khi đi qua mạng xương sống sẽ tạo thành một 3D Tensor $T$ đại diện cho bản đồ đặc trưng (feature map).
• Tầng phân vùng đặc trưng (Adaptive Average Pooling): Thay thế tầng Global Average Pooling (GAP) truyền thống bằng tầng Adaptive Average Pooling để chia 3D Tensor $T$ thành $p$ phần bằng nhau theo chiều ngang ($p$ nhận giá trị thực nghiệm là 4, 6 hoặc 8). Bản đồ đặc trưng sau khi xử lý có kích thước $(C, p, 1)$ với $C$ là số kênh màu. Mỗi hàng trong tensor là một vector cột $g_i$ đại diện cho một phần cơ thể. Tác giả bổ sung một tầng tích chập $1 \times 1$ để giảm số chiều của vector $g_i$ thành $h_i$ nhằm tiết kiệm chi phí tính toán, chấp nhận mức suy giảm nhỏ về độ chính xác.
• Bộ phân loại (Classifier): Mỗi vector đặc trưng $g_i$ hoặc $h_i$ được đưa vào một bộ phân loại độc lập cấu thành từ tầng Fully-Connected (FC) kết hợp hàm kích hoạt Softmax, tối ưu hóa quá trình huấn luyện bằng hàm mất mát Cross Entropy Loss.

3. Cơ chế hiệu chỉnh phân vùng và liên kết đa camera

Để khắc phục hiện tượng không nhất quán trong mỗi phần (các vector trong cùng một phần bị sai lệch về mặt ngữ nghĩa không gian), tác giả áp dụng khoảng cách Cosine để đo độ tương đồng giữa từng vector cột $f$ với vector trung bình $g_i$. Sau đó, mô hình tái phân loại vector $f$ vào phần phù hợp nhất thông qua hàm Softmax:

$$P(P_i \mid f) = \frac{\exp(W_i^T f)}{\sum_{j=1}^p \exp(W_j^T f)}$$

Khi MOT phát hiện một định danh mới xuất hiện (do người vừa bước vào góc quay hoặc vừa đi ra khỏi vật cản che khuất), hệ thống trích xuất vector đặc trưng từ mô hình Person Re-ID và tính khoảng cách Euclidean so với toàn bộ vector đặc trưng của các định danh đã lưu trong thư viện. Nếu khoảng cách tính toán nhỏ hơn một ngưỡng định trước (threshold), hệ thống sẽ gán lại định danh cũ cho đối tượng; ngược lại, hệ thống sẽ xác lập một định danh mới.

Nội dung chính theo từng chương

Chương mở đầu: Giới thiệu tổng quan đề tài

Chương mở đầu trình bày tính cấp thiết của đề tài xuất phát từ áp lực quản lý đô thị tại các thành phố lớn. Tác giả phân tích hạn chế của các hệ thống camera giám sát truyền thống khi vận hành đơn lẻ, nêu rõ mục tiêu tích hợp mô hình phát hiện và định danh tự động, xác định đối tượng nghiên cứu là người đi bộ, phương pháp tiếp cận và cấu trúc tổng thể gồm 5 chương của khóa luận.

Chương 1: Tổng quan tình hình nghiên cứu

Chương này khái quát tiến trình phát triển của bài toán Person Re-ID từ năm 2006 đến năm 2021. Tác giả điểm lại các kỹ thuật trích xuất thủ công thời kỳ đầu (phân vùng sọc ngang của Gray và Tao, chia tam giác của Gheissari, biểu đồ màu HSV theo bộ phận cơ thể của Das), trước khi chuyển sang phân tích 4 hướng tiếp cận bằng học sâu: Deep Metric Learning, Local Feature Learning, GAN và Sequence Feature Learning. Chương 1 cũng cung cấp các thông số chi tiết về 5 bộ dữ liệu tiêu chuẩn (VIPeR, CUHK03, Market-1501, DukeMTMC-reID, MSMT17).

Chương 2: Cơ sở lý thuyết

Nội dung chương 2 tập trung phân tích sâu cơ chế hoạt động, ưu điểm và hạn chế của từng thuật toán thành phần:

• Phương pháp phát hiện đối tượng: Phân tích kiến trúc và sự cải tiến qua các thế hệ R-CNN, Fast R-CNN, Faster R-CNN, SSD và YOLO.
• Phương pháp theo vết đối tượng: Phân biệt Single Object Tracking (SOT) và Multiple Object Tracking (MOT), trình bày chi tiết thuật toán SORT và DeepSORT với cơ chế dự đoán chuyển động qua bộ lọc Kalman và Hungarian.
• Phương pháp tái nhận dạng đối tượng: So sánh hai hướng tiếp cận Representation Learning và Metric Learning, đồng thời phân tích các thách thức thực tế (thay đổi độ sáng, độ phân giải camera không đồng nhất, biến dạng tư thế, che khuất một phần và trang phục tương đồng).
• Kiến trúc tích chập: Trình bày cấu trúc hoạt động của VGG-16, Inception-V3 và ResNet-50.

Chương 3: Phương pháp phát hiện và theo vết người thông qua video camera giám sát

Chương 3 trình bày chi tiết giải pháp kỹ thuật đề xuất. Tác giả mô tả sơ đồ khối tích hợp giữa YOLOv4, DeepSORT và mô hình Person Re-ID phân vùng cục bộ. Trọng tâm của chương là thiết kế mô hình Re-ID sử dụng ResNet-50 kết hợp Adaptive Average Pooling chia sọc ngang, tầng tích chập $1 \times 1$ giảm chiều dữ liệu, quy trình huấn luyện với hàm mất mát Cross Entropy Loss, giải pháp khử hiện tượng không nhất quán bằng khoảng cách Cosine kết hợp Softmax và cơ chế so khớp đa camera dựa trên khoảng cách Euclidean.

Chương 4: Thực nghiệm và đánh giá

Chương này thiết lập môi trường thực nghiệm bao gồm cấu hình phần cứng huấn luyện, thông số máy tính chạy thử nghiệm và môi trường ngôn ngữ lập trình. Tác giả tiến hành các kịch bản thực nghiệm: so sánh hiệu năng giữa các mạng xương sống tiền huấn luyện (ResNet-50, Inception-V3, VGG-16), đánh giá độ chính xác trên các bộ dữ liệu chuẩn và kiểm thử sự thay đổi hiệu năng khi phân chia feature map theo các số lượng vùng khác nhau (4, 6 và 8 vùng).

Chương 5: Kết luận và hướng phát triển

Chương cuối tổng kết lại các kết quả đạt được trong việc xây dựng hệ thống phát hiện, theo vết và tái định danh đối tượng; thẳng thắn chỉ ra những điểm còn tồn tại trong quá trình thực nghiệm và vạch ra các định hướng nghiên cứu tiếp theo nhằm nâng cao hiệu suất định danh trong điều kiện thực tế.

Kết quả và đóng góp

Khóa luận đã hoàn thành các mục tiêu kỹ thuật đặt ra với những đóng góp cụ thể:

• Thiết kế quy trình xử lý khép kín: Kết hợp thành công mô hình phát hiện đối tượng YOLOv4, giải thuật theo dõi đa đối tượng DeepSORT và kiến trúc mạng học sâu Person Re-ID dựa trên phân vùng đặc trưng cục bộ.
• Giải quyết bài toán tách biệt bối cảnh: Khối MOT hỗ trợ định vị và tạo hộp giới hạn bao quanh người đi bộ, triệt tiêu sự can thiệp của khung cảnh nền phức tạp tại các vị trí camera khác nhau trước khi đưa ảnh vào mạng trích xuất đặc trưng Re-ID.
• Hiện thực hóa cơ chế hiệu chỉnh phân vùng: Đề xuất phương pháp sử dụng khoảng cách Cosine kết hợp phân loại Softmax để đánh giá độ tương đồng của từng vector cột cục bộ, giải quyết triệt để hiện tượng phân vùng sai và thiếu tính nhất quán trong các sọc ngang khi áp dụng Adaptive Average Pooling.
• Thực nghiệm so sánh đa mô hình: Triển khai thử nghiệm cấu trúc Re-ID trên 3 mạng xương sống (ResNet-50, Inception-V3, VGG-16) và đánh giá chi tiết ảnh hưởng của số lượng phân vùng (4, 6, 8 phần) đến độ chính xác và chi phí tính toán.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận các hạn chế và đề xuất hướng mở rộng nghiên cứu dựa trên nội dung báo cáo:

• Sự đánh đổi về mặt biểu diễn đặc trưng: Việc áp dụng tầng tích chập $1 \times 1$ nhằm giảm số chiều của vector đặc trưng giúp tối ưu hóa tài nguyên tính toán nhưng dẫn đến mất mát một lượng thông tin nhỏ, làm giảm nhẹ độ chính xác tổng thể.
• Độ nhạy đối với các yếu tố ngoại cảnh: Hệ thống vẫn chịu ảnh hưởng bởi các trường hợp che khuất kéo dài, sự sai lệch lớn về góc quay camera, sự biến động mạnh của điều kiện ánh sáng môi trường và sự nhầm lẫn giữa các cá nhân có trang phục tương đồng.
• Hướng nghiên cứu tiếp theo:
  • Cải tiến thuật toán định danh nhằm duy trì độ chính xác cao hơn khi đối tượng bị che khuất trong khoảng thời gian dài.
  • Tích hợp thêm các ràng buộc về mặt không gian - thời gian (Spatial-Temporal Constraints) vào mô hình Re-ID nhằm loại trừ các trường hợp nhận diện sai do trùng lặp đặc trưng thị giác.
  • Tối ưu hóa tốc độ xử lý của khối Re-ID để đáp ứng hoàn toàn yêu cầu thời gian thực trên các hệ thống giám sát quy mô lớn.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo hữu ích cho:

• Sinh viên và học viên chuyên ngành Công nghệ thông tin, Khoa học máy tính, Trí tuệ nhân tạo: Cung cấp tài liệu tổng quan hệ thống hóa về các hướng tiếp cận Person Re-ID (Metric Learning, Local Feature Learning, GAN, Sequence Feature Learning) và các bộ dữ liệu chuẩn trong thị giác máy tính.
• Người làm nghiên cứu và phát triển hệ thống camera thông minh: Đóng vai trò tài liệu tham khảo chi tiết về quy trình kỹ thuật tích hợp giữa mạng phát hiện (YOLOv4), mạng theo dõi chuyển động (DeepSORT) và mạng trích xuất đặc trưng bộ phận dựa trên kiến trúc ResNet-50 kết hợp Adaptive Average Pooling.

Câu hỏi thường gặp

1. Khóa luận lựa chọn thuật toán nào cho tác vụ phát hiện người đi bộ và lý do lựa chọn là gì?
Tác giả lựa chọn mô hình YOLOv4 với trọng số tiền huấn luyện trên tập dữ liệu COCO (80 lớp đối tượng). Lý do lựa chọn là mô hình có tốc độ xử lý nhanh, đáp ứng tốt yêu cầu xử lý khung hình thời gian thực của hệ thống camera giám sát so với các mô hình hai giai đoạn như họ R-CNN.

2. Kiến trúc mạng Person Re-ID trong khóa luận sử dụng mô hình nào làm mạng xương sống (backbone) và thực hiện phân vùng đặc trưng như thế nào?
Mạng xương sống chính được chọn là ResNet-50 (giữ nguyên cấu trúc tích chập từ layer 1 đến layer 5), ngoài ra có thử nghiệm thêm Inception-V3 và VGG-16. Tác giả thay thế tầng Global Average Pooling bằng tầng Adaptive Average Pooling để chia bản đồ đặc trưng (3D Tensor) thành các sọc ngang ($p$ phần, với các mức thử nghiệm là 4, 6, 8 vùng).

3. Hiện tượng không nhất quán trong mỗi phần (inconsistency) khi phân vùng đặc trưng được giải quyết bằng kỹ thuật nào?
Sau khi mô hình hội tụ, tác giả đo khoảng cách Cosine giữa từng vector cột $f$ với vector trung bình $g_i$ của từng phần để xác định phần tương đồng nhất, sau đó sử dụng tầng Fully-Connected kết hợp hàm kích hoạt Softmax để tái phân loại và gán lại vị trí cho các vector bị phân vùng sai.

4. Cơ chế nào được sử dụng để quyết định một người mới xuất hiện là đối tượng cũ hay đối tượng mới?
Khi khối MOT phát hiện một định danh mới, mô hình Person Re-ID sẽ trích xuất vector đặc trưng và tính khoảng cách Euclidean giữa vector này với tất cả các vector đặc trưng đã lưu trong thư viện. Nếu khoảng cách nhỏ hơn một ngưỡng (threshold) quy định, hệ thống sẽ gán lại định danh cũ; nếu lớn hơn ngưỡng, hệ thống sẽ thiết lập một định danh mới.

5. Khóa luận đã khảo sát những bộ dữ liệu chuẩn nào của bài toán Person Re-ID?
Nghiên cứu đã khảo sát và phân tích 5 bộ dữ liệu tiêu chuẩn gồm: VIPeR (1.264 ảnh, 632 người), CUHK03 (13.164 ảnh, 1.360 người), Market-1501 (32.668 ảnh, 1.501 người), DukeMTMC-reID (36.411 ảnh, 1.404 người) và MSMT17 (126.441 ảnh, 4.101 người).

Kết luận

Khóa luận tốt nghiệp của tác giả Lâm Phát Tài và Nguyễn Xuân Tính đã giải quyết bài toán giám sát an ninh liên camera thông qua giải pháp tích hợp giữa theo vết đa đối tượng (MOT) và tái nhận dạng người (Person Re-ID). Công trình đã xây dựng thành công mô hình học sâu khai thác đặc trưng cục bộ dạng sọc ngang trên nền tảng ResNet-50 kết hợp Adaptive Average Pooling và cơ chế chuẩn hóa phân vùng bằng khoảng cách Cosine. Kết quả nghiên cứu cung cấp cơ sở kỹ thuật hoàn chỉnh cho việc tự động hóa quá trình theo vết đối tượng qua các góc camera không chồng lấn, đóng góp giá trị ứng dụng thiết thực cho các hệ thống giám sát an ninh thông minh tại đô thị.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan tình hình nghiên cứu Chương này giới thiệu tổng quan trình hình nghiên cứu trong lĩnh vực Person Re- Identification, giới thiệu vẻ các tập dữ liêu tiêu chuẩn đang được các nhà nghiên cứu sử dung, trình bày các phương pháp sử dụng học sâu và những công trình tiêu biểu tương ứng với từng phương pháp. Chương 2: Cơ sở lý thuyết Chương này chúng tôi sẽ trình bày lần lượt tổng quan các phương pháp phát hiên, theo vét và tái nhận dạng đỗi tương. Đồng thời trong từng phương pháp, chúng tôi cũng nêu ra khái niệm cũng như ưu-khuyết điểm về một số thuật toán, kiến trúc mô hình tiêu biểu để làm cơ sở chọn lựa mô hình phù hợp với đẻ tài. Chương 3: Phương pháp phát hiện và theo vết người thông qua video camera giám sát Trình bày chỉ tiết phương pháp mà chúng tôi sử dụng để định danh và truy vấn hình ảnh người đi bộ khi những người này đi chuyển giữa các khung hình khác nhau trong hệ thông các camera.

Phương pháp chính là kết hợp đồng thời cả ba phương pháp: phát hiện, theo vết và tái nhận dạng dối tượng. II Chương 4: Thực nghiệm và đánh giá Chương này so sánh và đánh giá kết quả đạt được khi thực hiện chương trình với một số pre-trained model trên các tập dữ liệu và chiến lượt phân vùng khác nhau. Chương 5: Kết luận và hướng phát triển Tổng kết lại kết quả đã đạt được và chưa đạt được sau quá trình nghiên cứu, tiễn hành thực nghiệm. Từ đó nêu lên những hướng nghiên cứu và phát triển tiếp theo trong tương lai để nâng cao hiệu suất khi định danh cũng như để khắc phục các hạn chế hiện tại.

TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 1.1 Tổng quan Person Re Identification là một hướng nghiên cứu vẻ truy vết và định danh người trong các hệ thong camera giám sát với góc nhìn của các camera không chồng lắp nhau. IÌminh họa hệ thông camera nay, ở đây các cham màu là các đối tượng. ví dụ: đối tượng màu xanh lá cây khi xuất hiện ở khung hình của camera 2 thì được gán định danh (ID) là 3, khi đối tượng màu xanh lá cây đó di chuyển ra khỏi khung bình của camera 2 và đi vào khung hình của camera ! thì lúc này hệ thong vẫn xác định đôi tượng màu xanh lá cây đó có ID là 3 (cùng là một người). Đây được xem là một công nghệ quan trọng trong lĩnh vực thị giác máy tính và có ý nghĩa thực tiễn trong việc xây dựng các hệ thông giám sát thông minh.

Với sự phát triển của Deep Learning đặc biệt là Convolutional Neural Networks, Person Re-ID đã dat được những tiền bộ quan trong trong những năm gần đây. Khái niệm về Person Re-ID lan dau được giới thiệu vào năm 2006. Cho đến nay, lĩnh vực nghiên cứu này đã phát triển nhanh chóng và đã thu hút được rắt nhiều các học 13 giả trên khắp thé giới tham gia vào. Từ đó, số lượng các bài báo khoa học trên các hội nghị hàng dau vẻ chủ dé này không ngừng tăng lên qua từng năm như được minh họa trong hinh{T-3} mee CVPR mEmICCV mem ECCV mem AAA em TIP %zTPAMI =@=Toal TM~ an Pcaoupntesr 80 oewm.

Ì Ủ | 0 wa be => 302 203 20 205 206 207 20§ 2019 209 2021 Years Hình 1.2 Thống kê số lượng bài báo về Person Re-ID ở những hội nghị hàng đầu qua từng năm [2} Trong khoảng thời gian dau, các nhà nghiên cứu thường sử dung các phương pháp thủ công để giải quyết bài toán định danh lại người. Trong bài báo [3] Gray và Tao đã phân vùng hình ảnh người đi bộ và nhiều sọc ngang (horizontal stripes) để trích xuất đặc trưng vẻ màu và kết cau.