Luận văn thạc sĩ về tái nhận dạng người trong hệ thống nhiều camera giám sát

Nghiên cứu hệ thống tái nhận dạng người trong hệ thống camera giám sát đa chiều, phương pháp định lượng kết hợp định tính, góp phần phát triển chuyên

• Tác giả: Trần Thanh Toàn
• Người hướng dẫn: TS. Hồ Phước Tiến
• Trường học: Đại học Bách Khoa - ĐHQG HCM
• Chuyên ngành: Kỹ thuật Điện tử
• Đề tài: Tái Nhận Dạng Người Trong Hệ Thống Nhiều Camera Giám Sát
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Giới thiệu chung

Nghiên cứu về tái nhận dạng người trong hệ thống camera giám sát đa chiều đang trở thành một lĩnh vực quan trọng trong việc nâng cao an ninh tại các khu vực công cộng. Vấn đề chính mà nghiên cứu này giải quyết là khả năng nhận diện lại một đối tượng khi nó di chuyển giữa các camera khác nhau mà không bị chồng lấp. Các phương pháp truyền thống thường gặp khó khăn trong việc xử lý khối lượng lớn dữ liệu hình ảnh từ các camera, đặc biệt trong các điều kiện ánh sáng và góc nhìn khác nhau. Mục tiêu của nghiên cứu này là phát triển một hệ thống có khả năng tự động nhận diện lại đối tượng bằng cách khai thác các đặc trưng bên ngoài của chúng, như màu sắc và hình dáng. Theo đó, việc phân tích hình ảnh và phân loại đối tượng sẽ được thực hiện thông qua các thuật toán machine learning và trí tuệ nhân tạo.

1.1 Vấn đề nhận dạng

Bài toán nhận dạng trong hệ thống camera giám sát không chỉ đơn thuần là việc nhận diện khuôn mặt mà còn bao gồm việc theo dõi hành trình của đối tượng qua nhiều camera khác nhau. Việc này đòi hỏi một hệ thống có khả năng xử lý và phân tích hình ảnh một cách hiệu quả, đặc biệt khi đối tượng có thể thay đổi về diện mạo do các yếu tố như ánh sáng, góc nhìn và sự che khuất. Hệ thống cần phải có khả năng phân tích các đặc trưng cục bộ của đối tượng, từ đó xác định mối tương quan giữa các hình ảnh thu được từ nhiều camera khác nhau. Những thách thức trong bài toán này bao gồm việc giảm thiểu ảnh hưởng của các yếu tố bên ngoài và tối ưu hóa quy trình nhận dạng để đảm bảo tính chính xác cao nhất.

II. Các phương pháp tiếp cận

Luận văn này đã nghiên cứu và áp dụng nhiều phương pháp nhận dạng khác nhau nhằm nâng cao hiệu quả của việc tái nhận dạng trong hệ thống camera giám sát. Các phương pháp này bao gồm việc sử dụng các thuật toán học máy để phân tích các đặc trưng hình ảnh như màu sắc và hình dạng. Đặc biệt, nhóm phương pháp dựa trên machine learning đã cho thấy hiệu quả cao trong việc nhận diện đối tượng, ngay cả khi có sự thay đổi về góc nhìn và điều kiện ánh sáng. Việc xây dựng mô hình nhận dạng cũng được thực hiện thông qua việc sử dụng các bộ dữ liệu lớn như VIPeR để huấn luyện và kiểm tra độ chính xác của các thuật toán. Kết quả cho thấy rằng việc sử dụng các phương pháp này không chỉ giúp tăng cường khả năng nhận diện mà còn giảm thiểu tỷ lệ sai sót trong quá trình tái nhận dạng.

2.1 Nhóm phương pháp huấn luyện

Các phương pháp huấn luyện được áp dụng trong nghiên cứu này bao gồm các kỹ thuật như One Class Support Vector Machines (OCSVM) và K-Nearest Neighbors (KNN). Những phương pháp này cho phép hệ thống học hỏi từ các mẫu hình ảnh đã được phân loại trước đó, từ đó cải thiện khả năng nhận diện đối tượng khi chúng xuất hiện trong các điều kiện khác nhau. Việc sử dụng các kỹ thuật này giúp tăng cường khả năng phát hiện và phân loại đối tượng, đồng thời giảm thiểu thời gian xử lý dữ liệu. Kết quả thực nghiệm cho thấy rằng các phương pháp này có thể đạt được tỷ lệ nhận diện cao, đặc biệt là trong các tình huống phức tạp với nhiều đối tượng xuất hiện cùng lúc.

III. Tiền xử lý

Trong quá trình tiền xử lý hình ảnh, các kỹ thuật như hiệu chỉnh màu sắc và phân đoạn ảnh được áp dụng để chuẩn bị dữ liệu cho bước nhận dạng. Việc chuẩn hóa màu sắc giúp giảm thiểu ảnh hưởng của ánh sáng và tạo ra các hình ảnh đồng nhất hơn cho việc phân tích. Ngoài ra, việc tách đối tượng ra khỏi nền cũng đóng vai trò quan trọng trong việc cải thiện độ chính xác của hệ thống. Các phương pháp phân đoạn như phân đoạn theo đường biên động và xây dựng biểu đồ màu đã được áp dụng để trích xuất các đặc trưng cục bộ của đối tượng. Kết quả cho thấy rằng việc thực hiện tốt bước tiền xử lý có thể làm tăng đáng kể hiệu suất của hệ thống nhận dạng.

3.1 Hiệu chỉnh màu

Hiệu chỉnh màu là một bước quan trọng trong quy trình tiền xử lý hình ảnh. Việc chuyển đổi giữa các không gian màu như RGB và LAB giúp tăng cường khả năng nhận diện của hệ thống. Các thuật toán hiệu chỉnh màu được áp dụng nhằm giảm thiểu sự thay đổi về màu sắc do điều kiện ánh sáng khác nhau. Kết quả thực nghiệm cho thấy rằng việc hiệu chỉnh màu sắc không chỉ giúp cải thiện độ chính xác của việc nhận diện mà còn tạo ra các hình ảnh có chất lượng tốt hơn cho các bước phân tích tiếp theo.

IV. Xử lý nhận dạng

Quá trình xử lý nhận dạng trong nghiên cứu này được thực hiện thông qua việc xây dựng bảng mô tả khoảng cách giữa các patch và phân tích các thuật toán nhận dạng. Việc sử dụng One Class Support Vector Machines (OCSVM) và các phương pháp khác cho phép hệ thống xác định được các đối tượng tương tự dựa trên các đặc trưng đã được trích xuất. Tính toán khoảng cách giữa các hình ảnh là một bước quan trọng trong việc xác định độ tương đồng của chúng. Kết quả cho thấy rằng việc tối ưu hóa các thuật toán nhận dạng có thể giúp nâng cao đáng kể hiệu suất của hệ thống trong việc tái nhận dạng đối tượng.

4.1 Phân tích giải thuật nhận dạng

Phân tích giải thuật nhận dạng được thực hiện để đánh giá hiệu quả của các phương pháp khác nhau trong việc nhận diện đối tượng. Việc sử dụng các thuật toán như KNN và OCSVM cho thấy sự khác biệt rõ rệt về tỷ lệ nhận diện và thời gian xử lý. Các kết quả thực nghiệm cho thấy rằng các thuật toán học máy có khả năng xử lý thông tin hình ảnh một cách hiệu quả, từ đó cải thiện khả năng nhận diện trong các tình huống thực tế. Sự kết hợp giữa các phương pháp này cũng cho thấy tiềm năng lớn trong việc phát triển các hệ thống an ninh thông minh trong tương lai.

V. Đánh giá kết quả

Đánh giá kết quả là bước cuối cùng trong nghiên cứu này, nơi mà các phương pháp và mô hình đã được thử nghiệm trên các bộ dữ liệu thực tế để xác định tính khả thi và hiệu quả. Các kết quả thực nghiệm cho thấy rằng hệ thống có khả năng nhận diện đối tượng với tỷ lệ chính xác cao, ngay cả trong các điều kiện khó khăn như ánh sáng thay đổi và sự che khuất. Việc sử dụng các bộ dữ liệu lớn cũng giúp tăng cường khả năng tổng quát của mô hình, từ đó nâng cao tính ứng dụng trong thực tế. Kết quả cho thấy rằng nghiên cứu này không chỉ có giá trị lý thuyết mà còn có thể được áp dụng vào các hệ thống an ninh hiện đại.

5.1 Cách thức thí nghiệm

Cách thức thí nghiệm được thực hiện bằng cách sử dụng một hệ thống camera giám sát thực tế để thu thập dữ liệu hình ảnh. Các hình ảnh này sau đó được phân tích và so sánh với nhau để đánh giá khả năng nhận diện của hệ thống. Việc thiết lập các điều kiện thử nghiệm cụ thể giúp đảm bảo rằng các kết quả thu được là chính xác và đáng tin cậy. Kết quả thí nghiệm cho thấy rằng hệ thống có khả năng hoạt động hiệu quả trong nhiều tình huống khác nhau, từ đó khẳng định tính khả thi của các phương pháp đã được nghiên cứu.

VI. Kết luận và hướng phát triển

Luận văn này đã nghiên cứu và phát triển một hệ thống tái nhận dạng người trong môi trường camera giám sát đa chiều, với mục tiêu nâng cao khả năng an ninh tại các khu vực công cộng. Các kết quả đạt được không chỉ cho thấy tính khả thi của các phương pháp đã được áp dụng mà còn mở ra hướng phát triển mới cho các nghiên cứu trong lĩnh vực này. Hệ thống có thể được cải tiến thêm bằng cách tích hợp các công nghệ mới như trí tuệ nhân tạo và machine learning để nâng cao khả năng nhận diện trong các điều kiện phức tạp hơn. Nghiên cứu này không chỉ có giá trị trong lĩnh vực an ninh mà còn có thể ứng dụng vào nhiều lĩnh vực khác như giao thông, quản lý đô thị và các hệ thống giám sát khác.

6.1 Hướng phát triển

Hướng phát triển tiếp theo của nghiên cứu này sẽ tập trung vào việc cải thiện độ chính xác và tốc độ nhận diện của hệ thống. Việc áp dụng các công nghệ mới như học sâu và trí tuệ nhân tạo sẽ giúp hệ thống hoạt động hiệu quả hơn trong các tình huống thực tế. Ngoài ra, nghiên cứu cũng sẽ mở rộng phạm vi ứng dụng của hệ thống ra nhiều lĩnh vực khác nhau, từ giao thông đến quản lý đô thị, nhằm nâng cao tính hiệu quả và an toàn trong xã hội.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu hướng nghiên cứu, mục tiên, những khó khăn và bố cục của đề tài. HVTH: Trần Thanh Toàn Trang 7 MSHV: 12214245 Tái nhận dạng trong hệ thống nhiều camera quan sát Chương 2: Giới thiệu về các hướng tiếp cận bài toán tái nhận dạng và thực trạng nghiên cứu trên thế giới. Sau đó, trình bày về mô hình bài toán nhận dạng sử dụng ở luận văn này. Chương 3: Trình bày quá trình tiền xử lý cơ sở dữ liệu, giúp dữ liệu ảnh tĩnh của các đối tượng được chuẩn hóa.

Khi đó việc so sánh các đặc trưng sẽ chính xác hơn. Bên cạnh đó, dựa vào sự xuất hiện bên ngoài của đối tượng, phân tách ảnh thành các lưới mô tả đặc trưng cục bộ. Chương 4: Đề cập về các đặc trưng sử dụng để nhận dạng, phương pháp trích các đặc trưng này. Chương 5: Trình bày về cơ sở dữ liệu sử dụng trong đề tài, phương pháp đánh giá kết quả, những kết quả đạt được và hướng phát triển trong tương lai.

Chương 6: Trình bày về khả năng ứng dụng và hướng phát triển trong tương lai. HVTH: Trần Thanh Toàn Trang 8 MSHV: 12214245 Tái nhận dạng trong hệ thống nhiều camera quan sát Chương 2 CÁC PHƯƠNG PHÁP TIẾP CẬN Nhiệm vụ theo dõi một đối tượng trong trường của một camera và nhận dạng lại đối tượng đó khi đi lại vào trường của chính camera đó hoặc của một camera khác chính là bài toán tái nhận dạng đối tượng. Từ kết quả bài toán nhận dạng, nếu nhận dạng đúng thì ta có thể biết thông tin khi nào và bao nhiêu lần đối tượng vào và ra khỏi trường của camera, đó là những thông tin quan trọng sử dụng để phân tích hoạt động của đối tượng. Vấn đề nhận dạng đối tượng có ý nghĩa quan trọng đối với những khu vực cần giám sát rộng lớn như: sân bay, nhà ga, trường học, trung tâm thương mại.

cần nhiều camera để giám sát. Trong chương này sẽ trình bày về cái nhìn tổng quan về các nghiên cứu trước đây, mỗi cách tiếp cận sẽ khai thác các đặc trưng khác nhau và phần cuối sẽ trình bày mô hình nhận dạng. Các phương pháp đã được công bố Để thực hiện nhận dạng các đối tượng thu được từ các camera quan sát có rất nhiều phương pháp khác nhau, có thể được chia làm hai nhóm cơ bản là nhóm nhận dạng có huấn luyện và nhóm nhận dạng trực tiếp. Nhóm phương pháp dựa trên quá trình huấn luyện Điểm hình là mô hình Vector Support Machine (SVM) hoặc K – Nearest Neighbors (KNN) mô tả trong [25, 13, 26, 9, 8] được sử dụng rộng rãi trong nhận dạng có huấn luyện trong đó: - Prosser et al.

[25] xây dựng người tái xác định là một vấn đề xếp hạng, và sử dụng Rank SVMs để thức hiện nhận dạng đối tượng. - Gray et al. [13] kết hợp không gian và thông tin màu sắc như một đặc trưng để nhận dạng đối tượng. HVTH: Trần Thanh Toàn Trang 9 MSHV: 12214245 Tái nhận dạng trong hệ thống nhiều camera quan sát - Schwartz et al.

[26] chủ yếu dựa vào các đặc tính cơ bản của đối tượng thu được để thực hiện tái nhận dạng như màu sắc, đường biên, kết cấu của đối tượng kết hợp với công cụ thống kê Partial Least Squares (PLS) để giảm bớt các thông tin dư thừa và tăng tính hiệu quả của quá trình nhật dạng (hình 2.1: Mô tả quá trình nhận dạng trong [26] - Wei-Shi Zheng et all. [29] đưa ra phương pháp nhận dạng dựa trên việc tính khoảng cách xác xuất các đặc tính, phướng pháp này cho phép quá trình nhận dạng được thức hiện hiệu quả nhờ vào việc loại bỏ các đặc tính cứng nhắc của đối tượng. - Dikmen et all. [8] thực hiện nhận dạng dựa trên việc tính khoảng cách trực tiếp kết hợp với phương pháp phân lớp KNN.

Độ chính xác của các phương pháp nhận dạng ở trên phụ thuộc nhiều vào số mẫu huấn luyện và phần lớn các phương pháp đều đòi hỏi các mẫu huấn luyện mới khi có sự thay đổi camera quan sát, đều này thì không thể áp dụng với các hệ thống quan sát công cộng với số lượng đối tượng quan sát rất lớn, và thay đổi thường xuyên. Do đó nó đòi hỏi một phương pháp nhận dạng khác mà việc xác định đối tượng không cần sử dụng các mẫu huấn luyện cho quá trình phân lớp. Nhóm các phương pháp này sẽ được trình bài ở phần (2. HVTH: Trần Thanh Toàn Trang 10 MSHV: 12214245 Tái nhận dạng trong hệ thống nhiều camera quan sát 2.

Nhóm phương pháp nhận dạng trực tiếp Một số phương pháp nhận dạng trực tiếp đã được nghiên cứu và phát triển để tái xác định người [10, 21, 27, 11], trong đó: - Farenzena et al. [10] phát triển nghiên cứu của nhóm Bazzani với đề xuất một mô hình Symmetry-Driven Accumulation of Local Features (SDALF), kết hợp nhiều nguồn thông tin: thông tin về màu sắc toàn cục histogram HSV, thông tin về phân bố không gian được ước lượng bằng Maximally Stable Color Regions (MSCR) và thông tin về những vùng ảnh có mật độ thông tin tập trung. Tác giả đề xuất, trong giai đoạn đầu, tiến hành tách đối tượng theo các bộ phận (đầu, thân trên, thân dưới, và hai chân) như (Hình 2.2: Minh họa mô hình SDALF - Ma et al. [21] dựa trên việc phát triển mô hình BiCOV bằng cách kết hợp các bộ lọc Gabor và mô tả hiệp phương sai để xử lý thay đổi chiếu sáng và bối cảnh biến thể từ đó tạo ra vector mô tả các đặc tính của đối tượng để tăng khả năng nhận dạng như trong (Hình 2.

HVTH: Trần Thanh Toàn Trang 11 MSHV: 12214245 Tái nhận dạng trong hệ thống nhiều camera quan sát Hình 2.3: Minh họa quá trình xây dựng vector mô tả các đặc tính của đối tượng theo mô hình BiCOV kết hợp với bộ lọc Gabor - Wang et al. [27], đề xuất sử dụng histogram của các gradient có hướng, kết hợp với thông tin về màu sác để mô tả đặc trưng của người. Kỹ thuật này tỏ ra hiệu quả đối với tập dữ liệu của các đối tượng với sự thay đổi nhỏ về góc nhìn. Giải thuật dựa trên phân đoạn hình của đối tượng thành nhiều vùng bằng cách sử dụng các tiêu chí về hình thái (từ điển hình thái được học trước) hoặc tiêu chí về diện mạo bên ngoài.

Các mô tả này hợp thành một ma trận thể hiện mối quan hệ không gian về màu của những vùng này.4 minh họa các vùng phân đoạn dựa trên tiêu chí về hình thái hoặc diện mạo.4: Minh họa cơ sở dữ liệu và kết quả phân đoạn giữa hai hình (từ trái qua phải: hình gốc, kết quả phân đoạn dựa trên hình thái, kết quả phân đoạn dựa trên diện mạo). HVTH: Trần Thanh Toàn Trang 12 MSHV: 12214245 Tái nhận dạng trong hệ thống nhiều camera quan sát - Gheissari et al. [11] đưa ra phương pháp kết hợp và so sánh các đặc trưng về không gian – thời gian, xem xét 10 khung hình liên tục của từng người, và ước lượng phân đoạn dựa trên vùng. Tác giả của bài báo đó, cũng đưa ra một mô hình trực quan hơn, xây dựng lưới tam giác để nắm bắt phân bố không gian của những đặc trưng cục bộ theo thời gian (hình 2.5), điều đó cho phép so sánh chính xác hơn.5: Hai ví dụ về xây dựng mô hình dựa trên lười tam giác - Bak 2011 et al.

[1] và Cheng et al. [7] khai thác Các đặc trưng hiệp biến, bắt nguồn giai đoạn từ phát hiện đối tượng, được trích thô từ nhiều phần của cơ thể và được lắp ghép lại nhằm mục tiêu giải quyết bài toán tái nhận dạng. Dựa trên cách phân loại, các giải thuật tái nhận dạng cũng có thể phân biệt thành lớp tiếp cận trên từng ảnh đơn (single-shot) với lớp phương pháp trên nhiều ảnh (multiple-shot). Cách phân loại dựa trên từng ảnh đơn tập trung so sánh một cặp ảnh, mỗi ảnh là một minh họa của một đối tượng.

Còn phương pháp multiple-shot sử dụng nhiều ảnh của một đối tượng để so sánh. Với giả thiết là thu thập được nhiều khung hình của từng đối tượng theo dõi. Trong thực tế, dữ liệu thu thập được sẽ có độ phân giải, độ che lấp không gian, điều kiện ánh sáng, dáng đi. khác nhau và thay đổi.

Chúng ta cố gắng khai thác các đặc trưng riêng linh hoạt của từng đối tượng phục vụ cho mục đích tái nhận dạng. HVTH: Trần Thanh Toàn Trang 13 MSHV: 12214245 Tái nhận dạng trong hệ thống nhiều camera quan sát Với các cách tiếp cận được trình bày ở 2. Cách tiếp cận trực tiếp trên từng ảnh đơn tương ứng với trường hợp có ít thông tin sử dụng nhất. Một ảnh đơn của đối tượng được đem so sánh một cách độc lập với hàng trăm ứng viên khác.

Cách tiếp cận multi- shot dựa trên huấn luyện dữ liệu, đối mặt với một lượng thông tin rất lớn. Phương pháp tiếp cận của chúng ta đề xuất nằm trong lớp trực tiếp, và nó linh hoạt, có thể làm việc theo cả hai phương thức single-shot và multiple-shot. Nhìn chung thì cách tiếp cận huấn luyện dữ liệu cho hiệu quả cao hơn cách tiếp cận trực tiếp. Tuy nhiên, như trình bày ở trên, nó không thực sự thích hợp để ứng dụng trong ngữ cảnh giám sát thực tế.

Mô hình nhận dạng Bài toán tái nhận dạng như đã trình bày ở mục 2.1 có hai hướng nghiên cứu, tuy nhiên hướng nghiên cứu trực tiếp lại thích hợp nghiên cứu của đề tài. Do đó, luận văn này cũng đi theo hướng nghiên cứu trực tiếp, nghĩa là khảo sát độc lập từng đối tượng và tập trung khai thác các đặc trưng bên ngoài để phân biệt đối tượng so với các đối tượng khác. Mô hình nhận dạng mà đề tài thực hiện như sau (Hình 2.6): - Đầu tiên, ảnh của đối tượng sau khi được tách ra khỏi nền được đưa vào giai đoạn tiền xử lý, sẽ trình bày ở chương 3, nhằm giúp giảm thiểu ảnh hưởng của các thông số về sự thay đổi màu sắc. Đồng thời, trong bước tiền xử lý này ảnh của đối tượng sẽ được chia thành nhiều phần nhỏ từ đó cho ra một vector đặc trưng để phục vụ cho nhận dang đối tượng.

- Sau khi ảnh của đối tượng qua giai đoạn tiền xử lý, ta sẽ dùng ảnh thu được để áp dụng các giải thuật tách các đặc trưng cục bộ của đối tượng nhằm sử dụng các: thông tin màu sắc cục bộ - histogram và hướng tính của các đặc trưng cục bộ để phục vụ cho quá trình nhận dạng (được trình bày ở chương 3).