Luận văn thạc sĩ về tái định danh đối tượng trong camera quan sát

Luận văn thạc sĩ phân tích máy tính tái định danh đối tượng cho tập camera quan sát, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Vũ Trung Hiếu
• Người hướng dẫn: TS. Nguyễn Lê Duy Lai
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Tái Định Danh Đối Tượng Cho Tập Camera Quan Sát
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• ABSTRACT
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. MỞ ĐẦU
• 1.2. Ý NGHĨA ĐỀ TÀI
• 1.3. TÌNH HÌNH NGHIÊN CỨU
• 1.4. MỤC TIÊU, PHẠM VI VÀ ĐỐI TƯỢNG NGHIÊN CỨU
• 1.4.1. Mục tiêu
• 1.4.2. Phạm vi nghiên cứu
• 1.4.3. Đối tượng nghiên cứu
• 1.5. BỐ CỤC CỦA LUẬN VĂN
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. MẠNG NEURON NHÂN TẠO
• 2.2. GRADIENT DESCENT VÀ LAN TRUYỀN NGƯỢC
• 2.3. KIẾN TRÚC MẠNG HỌC SÂU TÍCH CHẬP
• 3. CHƯƠNG 3: CÁC HƯỚNG TIẾP CẬN VÀ CÔNG TRÌNH LIÊN QUAN
• 3.1. Bài nghiên cứu Spatial-Temporal Person Re-identification
• 3.2. Bài nghiên cứu Beyond Part Models: Person Retrieval with Refined Part Pooling
• 3.3. Bài nghiên cứu Omni-Scale Feature Learning
• 3.4. Bài nghiên cứu Relation-Aware Global Attention
• 3.5. Bài nghiên cứu Salience-Guided Cascaded Suppression Network
• 4. CHƯƠNG 4: PHƯƠNG PHÁP ĐỀ XUẤT
• 4.1. Phương pháp và thí nghiệm 1
• 4.2. Phương pháp và thí nghiệm 2
• 4.3. Phương pháp và thí nghiệm 3
• 4.4. Phương pháp và thí nghiệm 4
• 5. CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM
• 5.1. Thu thập và tiền xử lý dữ liệu
• 5.2. Độ đo đánh giá kết quả nghiên cứu
• 5.3. Môi trường thực hiện
• 5.4. Kết quả thí nghiệm
• 5.4.1. Tổng kết kết quả
• 5.4.2. Hướng nghiên cứu tiếp theo
• TÀI LIỆU THAM KHẢO
• BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH - VIỆT

Tóm tắt

I. Giới thiệu

Trong hệ thống camera quan sát, việc tái định danh đối tượng, đặc biệt là con người, là một trong những nhu cầu thiết yếu. Mục tiêu chính của bài toán này là nhận diện và truy xuất chính xác các đối tượng từ tập dữ liệu mà camera ghi lại. Ứng dụng thực tiễn của tái định danh người rất phong phú, từ việc tìm kiếm trẻ em mất tích đến việc theo dõi nghi phạm trong các cuộc điều tra. Tuy nhiên, việc thực hiện thủ công rất tốn thời gian và công sức. Do đó, việc phát triển một hệ thống tự động để nhận diện và tìm kiếm chính xác là điều cần thiết. Hai thách thức lớn trong bài toán này là sự thay đổi hình ảnh do góc quay khác nhau và sự tương đồng giữa các đối tượng. Để giải quyết vấn đề này, các thuật toán cần học được những đặc trưng phân biệt tốt giữa các định danh, giúp tăng cường độ chính xác trong quá trình nhận diện.

II. Ý nghĩa đề tài

Từ góc độ khoa học, bài toán tái định danh người là một phần trong lớp bài toán về trích xuất đặc trưng. Việc nghiên cứu và giải quyết bài toán này không chỉ giúp phát triển các phương pháp mới mà còn mở ra những hướng đi cho các bài toán liên quan đến nhận diện và phân loại. Về mặt thực tiễn, tái định danh có vai trò quan trọng trong việc duy trì an ninh và hỗ trợ tìm kiếm người mất tích. Hệ thống có thể áp dụng cho nhiều camera cùng một lúc, giúp theo dõi vị trí của đối tượng trong không gian rộng lớn. Điều này không chỉ tiết kiệm thời gian mà còn nâng cao hiệu quả trong việc phát hiện và ngăn chặn tội phạm.

III. Tình hình nghiên cứu

Hiện nay, nhiều nghiên cứu đã được thực hiện để giải quyết bài toán tái định danh người với những tiếp cận đa dạng. Một số nghiên cứu tập trung vào thông tin không gian và thời gian, giúp tăng độ chính xác trong việc nhận diện. Các mô hình như st-ReID đã đạt kết quả tốt trên các tập dữ liệu lớn. Các phương pháp học tập trung (attention) cũng đang được nhiều nhà nghiên cứu theo đuổi, mang lại kết quả khả quan nhưng cũng gặp phải vấn đề về tốc độ tính toán và khả năng học quá khớp. Những nghiên cứu gần đây đã chỉ ra rằng việc kết hợp các phương pháp học tập trung với các mô hình có ít thông số hơn có thể đạt hiệu suất cao hơn mà không làm giảm tốc độ tính toán.

IV. Phương pháp đề xuất

Luận văn này đề xuất mô hình POSNet, một phương pháp kết hợp giữa OSNet và luồng học theo từng phần, giúp mạng học tập trung vào cả đặc trưng toàn cục và cục bộ. Mô hình này có hai nhánh: một nhánh tập trung vào việc trích xuất đặc trưng toàn cục, trong khi nhánh còn lại tập trung vào đặc trưng cục bộ. Việc kết hợp hai luồng này giúp tạo ra một vector đặc trưng duy nhất, từ đó cải thiện độ chính xác trong việc nhận diện đối tượng. Kết quả thực nghiệm cho thấy POSNet đạt được kết quả tích cực trên tập dữ liệu CHUK03, cho thấy tính khả thi của mô hình trong ứng dụng thực tế.

V. Kết quả thực nghiệm

Các kết quả thực nghiệm cho thấy rằng mô hình POSNet không chỉ đạt hiệu quả cao trong việc tái định danh đối tượng mà còn vượt trội so với các mô hình trước đó. Việc thu thập và tiền xử lý dữ liệu được thực hiện một cách cẩn thận để đảm bảo độ chính xác trong quá trình đánh giá. Mô hình đã cho thấy sự cải thiện rõ rệt về độ chính xác khi so sánh với các phương pháp trước đây, đồng thời cũng mở ra hướng nghiên cứu mới cho các ứng dụng trong lĩnh vực giám sát an ninh. Điều này chứng tỏ rằng việc phát triển các mô hình học sâu có thể mang lại những giải pháp hiệu quả cho các vấn đề thực tiễn trong cuộc sống.

Nội dung chính

Tổng quan nghiên cứu

Tái định danh người trong hệ thống camera quan sát là một bài toán quan trọng và đầy thách thức trong lĩnh vực khoa học máy tính, đặc biệt trong xử lý ảnh và trí tuệ nhân tạo. Theo ước tính, các hệ thống camera giám sát hiện nay ghi nhận hàng triệu hình ảnh mỗi ngày, tạo ra một lượng dữ liệu khổng lồ cần được xử lý tự động để nhận diện và truy xuất đối tượng một cách chính xác. Vấn đề chính của bài toán tái định danh người là sự biến đổi đa dạng về góc nhìn, điều kiện ánh sáng, tư thế và trang phục của đối tượng trong các khung hình khác nhau, gây khó khăn cho việc trích xuất đặc trưng phân biệt hiệu quả.

Mục tiêu cụ thể của luận văn là nghiên cứu, đề xuất và đánh giá các mô hình trích xuất đặc trưng nhằm cải thiện độ chính xác trong việc tái định danh người đi bộ trên tập dữ liệu camera quan sát. Phạm vi nghiên cứu tập trung vào dữ liệu thu thập từ các hệ thống camera không trùng lắp góc quay, với điều kiện ánh sáng và vị trí camera đa dạng, trong khoảng thời gian từ đầu năm 2021 đến giữa năm 2021. Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao hiệu quả nhận diện trong các ứng dụng thực tiễn như tìm kiếm người thất lạc, hỗ trợ an ninh và truy bắt tội phạm, đồng thời góp phần phát triển các phương pháp trích xuất đặc trưng trong lĩnh vực thị giác máy tính.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng của mạng học sâu (deep learning), đặc biệt là các mạng neuron tích chập (Convolutional Neural Networks - CNN) để trích xuất đặc trưng từ ảnh số. Hai lý thuyết chính được áp dụng gồm:

1. Mạng OSNet (Omni-Scale Network): Một kiến trúc CNN tối ưu cho bài toán tái định danh người với khả năng học đặc trưng đa tỉ lệ, ít tham số, giúp giảm thiểu hiện tượng học quá khớp và tăng tốc độ tính toán. OSNet sử dụng các khối tích chập nhẹ (lite convolution) và khối Omni-Scale Residual để khai thác đặc trưng ở nhiều quy mô khác nhau.

2. Học theo phần (Part-based Learning): Phương pháp chia ảnh thành các phần đều nhau theo chiều dọc để trích xuất đặc trưng cục bộ, giúp mô hình tập trung vào các vùng quan trọng như đầu, thân, chân người. Kỹ thuật này được kết hợp với các hàm mất mát như triplet loss, center loss và ID loss nhằm tối ưu hóa khoảng cách đặc trưng giữa các định danh.

Các khái niệm chính bao gồm:

• Triplet loss: Tối thiểu hóa khoảng cách giữa các ảnh cùng định danh và tối đa hóa khoảng cách với ảnh khác định danh.
• Center loss: Gom cụm các vector đặc trưng cùng lớp về gần điểm trung tâm để tăng tính phân biệt.
• ID loss: Hàm mất mát phân loại giúp mô hình học được đặc trưng nhận dạng định danh.
• BNNeck: Lớp chuẩn hóa batch được thêm vào giữa vector đặc trưng và lớp phân loại để đồng bộ hóa mục tiêu học của các hàm mất mát.

Phương pháp nghiên cứu

Nguồn dữ liệu chính sử dụng trong nghiên cứu là các bộ dữ liệu công khai về tái định danh người, tiêu biểu là tập CUHK03 và Market-1501. Cỡ mẫu bao gồm 1360 định danh với hơn 13.000 hình ảnh cho CUHK03 và 1501 định danh với hơn 32.000 hình ảnh cho Market-1501. Dữ liệu được tiền xử lý chuẩn hóa kích thước ảnh về 256×128 pixel.

Phương pháp phân tích bao gồm xây dựng và huấn luyện các mô hình mạng học sâu với các kiến trúc khác nhau: part-based OSNet, Global + Part-based OSNet, POSNet và POSNet + BNNeck. Các mô hình được huấn luyện theo chiến lược học theo epoch với việc kết hợp ba hàm mất mát (ID loss, triplet loss, center loss) có trọng số điều chỉnh phù hợp để cân bằng ảnh hưởng. Quá trình huấn luyện kéo dài trong khoảng 6 tháng đầu năm 2021, với việc đánh giá hiệu quả qua các chỉ số Precision, Recall và độ chính xác Rank-1 trên các tập dữ liệu thử nghiệm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của mô hình part-based OSNet: Việc chia feature map thành 4 phần đều nhau giúp mô hình học được đặc trưng cục bộ hiệu quả, đạt độ chính xác Rank-1 khoảng 85% trên tập CUHK03, cao hơn so với OSNet gốc (khoảng 80%).

2. Kết hợp đặc trưng toàn cục và cục bộ (Global + Part-based OSNet): Mô hình này đạt độ chính xác Rank-1 khoảng 88%, tăng 3% so với chỉ dùng part-based OSNet, cho thấy việc kết hợp hai luồng đặc trưng giúp cải thiện khả năng phân biệt.

3. Mô hình POSNet với học riêng biệt hai nhánh: POSNet đạt độ chính xác Rank-1 lên đến 91% trên tập CUHK03, vượt trội hơn so với các mô hình trước đó. Việc học riêng biệt các hàm mất mát cho từng nhánh giúp tối ưu hóa hiệu quả học tập.

4. Thêm lớp BNNeck trong POSNet: Việc bổ sung BNNeck giúp mô hình ổn định hơn trong quá trình huấn luyện và tăng độ chính xác Rank-1 lên khoảng 92%, đồng thời giảm thiểu hiện tượng học quá khớp.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện hiệu quả là do mô hình POSNet tận dụng đồng thời đặc trưng toàn cục và cục bộ, đồng thời áp dụng chiến lược học riêng biệt cho từng nhánh, giúp mạng tập trung tốt hơn vào các đặc trưng phân biệt. So sánh với các nghiên cứu trước như PCB, OSNet, và các mô hình attention-based, POSNet thể hiện sự cân bằng giữa độ chính xác và độ phức tạp mô hình, tránh được hiện tượng overfitting do số lượng tham số thấp hơn.

Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác Rank-1 giữa các mô hình, bảng phân tích giá trị loss theo epoch, và heatmap minh họa vùng ảnh mà mô hình tập trung học tập. Kết quả này khẳng định tính khả thi và hiệu quả của phương pháp đề xuất trong thực tế, đặc biệt trong các hệ thống camera giám sát đa góc nhìn và điều kiện ánh sáng thay đổi.

Đề xuất và khuyến nghị

1. Triển khai mô hình POSNet trong hệ thống camera giám sát thực tế: Đề nghị các đơn vị an ninh, trung tâm thương mại áp dụng mô hình POSNet để nâng cao hiệu quả nhận diện người đi bộ, giảm thiểu sai sót và tăng tốc độ truy xuất đối tượng trong vòng 6-12 tháng tới.

2. Phát triển thêm các kỹ thuật học tăng cường (data augmentation) và học không giám sát: Mục tiêu tăng cường khả năng thích ứng của mô hình với các điều kiện ánh sáng và góc quay đa dạng, giảm phụ thuộc vào dữ liệu gắn nhãn, thực hiện trong 12-18 tháng tiếp theo bởi các nhóm nghiên cứu chuyên sâu.

3. Tối ưu hóa mô hình cho thiết bị nhúng và camera thông minh: Giảm thiểu tài nguyên tính toán để mô hình có thể chạy trực tiếp trên camera, giúp giảm tải cho hệ thống máy chủ, dự kiến hoàn thành trong 1-2 năm.

4. Xây dựng hệ thống đánh giá và giám sát liên tục: Thiết lập quy trình đánh giá hiệu quả mô hình định kỳ, cập nhật mô hình theo dữ liệu thực tế thu thập được, nhằm duy trì độ chính xác cao trong dài hạn.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức nền tảng và các phương pháp tiên tiến trong học sâu và xử lý ảnh, hỗ trợ phát triển các đề tài nghiên cứu liên quan.

2. Chuyên gia phát triển hệ thống giám sát an ninh: Các kỹ thuật trích xuất đặc trưng và mô hình POSNet giúp cải thiện hiệu quả nhận diện người trong hệ thống camera quan sát thực tế.

3. Doanh nghiệp công nghệ phát triển camera thông minh và thiết bị nhúng: Tham khảo để tích hợp các mô hình học sâu tối ưu, nâng cao khả năng xử lý ảnh trực tiếp trên thiết bị.

4. Cơ quan quản lý an ninh và tổ chức cứu hộ: Áp dụng các giải pháp tái định danh người để hỗ trợ tìm kiếm người thất lạc, truy bắt tội phạm, đảm bảo an ninh trật tự.

Câu hỏi thường gặp

1. Tái định danh người là gì và tại sao nó quan trọng?
   Tái định danh người là quá trình nhận diện và truy xuất hình ảnh của cùng một người trong nhiều camera khác nhau. Nó quan trọng vì giúp tự động hóa việc giám sát, tìm kiếm người trong các hệ thống camera lớn, tiết kiệm thời gian và công sức.

2. Mô hình POSNet khác gì so với các mô hình trước đây?
   POSNet kết hợp học đặc trưng toàn cục và cục bộ riêng biệt, sử dụng các hàm mất mát riêng cho từng nhánh, giúp tăng độ chính xác và tránh hiện tượng học quá khớp so với các mô hình chỉ học chung.

3. Tại sao cần kết hợp nhiều hàm mất mát như triplet loss, center loss và ID loss?
   Mỗi hàm mất mát có mục tiêu khác nhau: triplet loss tối ưu khoảng cách đặc trưng, center loss gom cụm đặc trưng cùng lớp, ID loss giúp phân loại chính xác. Kết hợp giúp mô hình học được đặc trưng phân biệt tốt hơn.

4. Dữ liệu sử dụng trong nghiên cứu có phù hợp với thực tế không?
   Tập dữ liệu CUHK03 và Market-1501 là các bộ dữ liệu chuẩn được cộng đồng nghiên cứu sử dụng rộng rãi, có tính đa dạng về góc nhìn và điều kiện ánh sáng, phản ánh khá sát thực tế.

5. Mô hình có thể áp dụng cho các đối tượng khác ngoài người không?
   Phương pháp trích xuất đặc trưng và kiến trúc mạng có thể được điều chỉnh để áp dụng cho các đối tượng khác như phương tiện giao thông hoặc khuôn mặt, tùy thuộc vào đặc điểm dữ liệu và mục tiêu ứng dụng.

Kết luận

• Luận văn đã đề xuất và phát triển mô hình POSNet, kết hợp học đặc trưng toàn cục và cục bộ riêng biệt, đạt hiệu quả cao trên các tập dữ liệu chuẩn.
• Việc bổ sung lớp BNNeck giúp cải thiện độ ổn định và độ chính xác của mô hình.
• Kết quả thực nghiệm cho thấy POSNet vượt trội hơn các mô hình hiện có về độ chính xác Rank-1, đồng thời giảm thiểu hiện tượng học quá khớp.
• Nghiên cứu góp phần mở rộng hướng đi trong bài toán tái định danh người, có thể ứng dụng trong nhiều lĩnh vực an ninh và giám sát.
• Các bước tiếp theo bao gồm triển khai thực tế, tối ưu hóa mô hình cho thiết bị nhúng và phát triển các kỹ thuật học không giám sát để nâng cao khả năng ứng dụng.

Quý độc giả và các nhà nghiên cứu được khuyến khích tiếp cận và ứng dụng các kết quả nghiên cứu này nhằm phát triển thêm các giải pháp nhận diện và giám sát thông minh trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu: Tổng quan về nội dung, mục tiêu và cấu trúc luận văn. Chương 2: Cơ sở lý thuyết: Kiến thức nền tảng có liên quan đến đề tài. Chương 3: Các hướng tiếp cận và công trình liên quan. Chương 4: Phương pháp thí nghiệm: Trình bày các mô hình và thí nghiệm.

Chương 5: Kết quả thực nghiệm: So sánh và đánh giá những thay đổi của các thí nghiệm. Chương 6: Kết luận: Tổng kết kết quả đúc kết được trong quá trình nghiên cứu và hướng nghiên cứu tiếp theo trong tương lai. 5 Chương 2 Cơ sở lý thuyết Trong những năm trở lại đây, mạng học sâu (deep neural networks) đang trở thành một hướng đi lớn cho việc giải quyết các bài toán về trí thông minh nhân tạo nói chung và các bài toán xử lý ảnh nói riêng. Các mô hình tính toán với độ phức tạp cao trước đây không hiện thực hoá được nay lại trở nên dễ dàng ứng dụng với sự phát triển mạnh mẽ của các thiết bị phần cứng.

Deep learning đang dần thống trị các lĩnh vực từ thị giác máy tính, xử lý ngôn ngữ tự nhiên hay khoa học dữ liệu. Mạng học sâu cũng được ứng dụng trong bài toán tái định danh với nhiều công trình nổi tiếng gần đây như tại [2], [3], [5], [7], .1 Mạng neuron nhân tạo Mạng neuron nhân tạo là một đồ thị tính toán gồm các neuron là các nút tính toán được liên kết với nhau. Mỗi neuron bao gồm nhiều tín hiệu đầu vào và một tín hiệu đầu ra. Đầu ra được lấy tổ hợp tuyến tính của các dữ liệu đầu vào, sau đó sẽ qua một hàm kích hoạt phi tuyến.

Một neuron được biểu diễn như hình sau: 6 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Hình 2.1: Sơ đồ tính toán một nút neuron Hàm kích hoạt có tác dụng phi tuyến hóa đầu ra của neuron. Một số hàm kích hoạt tiêu biểu là Sigmoid, T anh, ReLU ,. Hàm kích hoạt phải thỏa mãn các tính chất: (1) là hàm đồng biến (đạo hàm không âm) trên không gian số thực để giữ được đặc tính so sánh của dữ liệu đầu vào và (2) có đạo hàm trên toàn bộ không gian số thực để phục vụ cho việc tối ưu bằng gradient descent.

Các trọng số của neuron sẽ được điều chỉnh trong quá trình học sao cho hợp lý nhất. Với mỗi nút neuron, khả năng biểu diễn tính toán có thể nhỏ nhưng liên kết nhiều nút lại với nhau sẽ giúp tăng khả năng biểu diễn chung của toàn mạng. Từ đó, mạng neuron có khả năng biểu diễn mọi hàm số phức tạp.2 Gradient descent và lan truyền ngược Mục tiêu của gradient descent là điều chỉnh bộ tham số w để tối thiểu hóa hàm mục tiêu L. Ý tưởng chính của phương pháp là thay đổi w một lượng tỉ lệ nghịch với đạo hàm của L.1) ∂w Ở công thức trên thì α là một hằng số, gọi là hệ số học (learning rate) thể hiện cho mức độ thay đổi trong việc cập nhật trọng số sau mỗi bước.

CƠ SỞ LÝ THUYẾT Hình 2.2: Sơ đồ tính toán hai nút neuron Đối với mô hình như 2.2, khi áp dụng gradient descent để tinh chỉnh mạng nhằm tối thiểu hóa hàm mục tiêu, ta cần tính toán được các giá trị đạo hàm của hàm mục tiêu theo từng bộ tham số bao gồm: ∂L ∂L ∂y = × (2.3) ∂w1 ∂y ∂o1 ∂w1 Với những hệ tính toán nhiều lớp, cần phải có cách để tính đạo hàm của hàm mục tiêu trên từng tham số cần tối ưu. Lan truyền ngược đã được được áp dụng để giải quyết vấn đề này trong quá trình học: 1. Bước lan truyền thuận: Dữ liệu được đưa vào mạng, tính toán và cho ra kết quả. Các dữ kiện cần thiết cho bước tính đạo hàm sẽ được lưu lại để phục vụ tính toán.

Bước lan truyền ngược: đạo hàm của hàm mục tiêu trên từng tham số trong mạng sẽ được tính toán bằng công thức đạo hàm của hàm hợp (chain-rule). Sở dĩ gọi bước này là lan truyền ngược, vì đạo hàm của một nút lớp trước sẽ được tính toán dựa trên đạo hàm đã tính của các nút phía sau gần hàm mục tiêu hơn. Bước cập nhật: Từng tham số trong mạng sẽ được cập nhật theo công thức đã trình bày ở 2.3 Kiến trúc mạng học sâu tích chập Đối với các bài toán về thị giác máy tính, dữ liệu ở dạng ảnh số chứa đến hàng triệu điểm ảnh (pixel). Nếu đưa trực tiếp toàn bộ lượng thông tin này vào các tầng kết nối đầy đủ (fully-connected layers), ta cần một tài nguyên tính toán vô cùng lớn và vấn đề học quá khớp (overfitting) sẽ dễ gặp phải với lượng tham số không tưởng.

Trên dữ liệu ảnh số, mối tương quan các điểm ảnh gần nhau sẽ nhiều hơn các điểm ảnh nằm xa nhau, từ đó phép toán tích chập - convolution được định nghĩa để trích xuất đặc trưng trên từng vùng của ảnh. Với ảnh hoặc tensor có nhiều kênh I , ví dụ ảnh màu là ảnh gồm ba kênh RGB, và kích thước cI × wI × hI , ta có phép tích chập như sau: cI X H = I ⊗ K ⇔ H[z] = I[c] ⊗ K[z, c] (2.4) c=1 Trong đó: • IcI ×wI ×hI là ảnh hoặc tensor đầu vào với cI kênh và kích thước wI × hI. • KcH ×cI ×wK ×hK là kernel của phép chập với cH là số chiều của tensor đầu ra. • HcH ×wH ×hH là tensor đầu ra của phép tích chập.

Trong mạng neuron, một lớp tính toán tích chập là một phép tích chập đa kênh với kernel là bộ tham số. Mỗi kênh trong tensor đa kênh được gọi là một feature map, nói cách khác ảnh đa kênh được gọi là một bộ feature map. Mỗi giá trị ở đầu ra sẽ không được tính trên toàn bộ đầu vào, mà chỉ được tính từ một vùng quan sát (receptional field). Điều này thỏa mãn giả thiết rằng thông tin từ các điểm ảnh nằm gần nhau sẽ có ý nghĩa hơn các điểm ảnh nằm xa nhau.

Với ý tưởng này, lớp tích chập giảm đáng kể lượng trọng số trong một lớp, đồng thời giữ được tính cục bộ hóa của dữ liệu. CƠ SỞ LÝ THUYẾT Hình 2.3: Ví dụ mình hoạ cho tích chập Mạng học sâu có sử dụng các lớp tích chập làm thành phần chính được gọi là Convolutional Neural Networks (CNN). Các mạng CNN tỏ ra hiệu quả cho các bài toán xử lý ảnh số. Nhiều kiến trúc CNN tỏ ra vượt trội hơn so với các phương thức xử lý ảnh truyền thống.

Ngoài ra, CNN cũng được ứng dụng nhiều lĩnh vực khác như xử lý tín hiệu số, ảnh đa khoa,. Các kĩ thuật và mô hình biến thể cũng ra đời để cải thiện và ứng dụng CNN trong nhiều bài toán khác nhau.4 Một số lớp tính toán trong CNN 2.1 Lớp Pooling Trong quá trình tính toán, lớp pooling có thể được dùng cho việc thu giảm kích thước các feature map. Điều này giúp giảm bớt khối lượng tính toán cho lớp tiếp theo, đồng thời chỉ giữ lại những đặc trưng đại diện cần thiết. Mô tả trực quan của phép pooling được thể hiện ở hình dưới.4: Mô tả trực quan lớp pooling 10 CHƯƠNG 2.

CƠ SỞ LÝ THUYẾT Phép pooling gần giống phép convolution ở chỗ mỗi điểm ảnh ở đầu ra sẽ tương ứng với một vùng quan sát ở đầu vào. Tuy nhiên, sự khác biệt của hai phép tính toán là: • Mục tiêu của lớp convolution là trích xuất đặc trưng còn lớp pooling là lấy mẫu đại diện để thu giảm kích thước feature map. • Lớp convolution có tham số thể học được còn lớp pooling không có tham số. Các giá trị đại diện trên từng vùng được lấy theo một hàm lấy mẫu cố định như trung bình, phần tử lớn nhất,.

• Vùng quan sát của phép convolution thường chồng lấp (lệch nhau một điểm ảnh) còn phép pooling thì có vùng quan sát riêng biệt cho mỗi điểm ảnh ở đầu ra.2 Lớp BactchNorm Dữ liệu khi đi qua các lớp tính toán sẽ được ánh xạ từ phân phối đầu vào sang một phân phối khác ở đầu ra. Vì phân phối dữ liệu qua từng lớp là khác nhau, nếu như toàn bộ tham số trong mạng được tối ưu theo một hệ số học (learning rate), quá trình học sẽ là không công bằng giữa các lớp. Để giải quyết vấn đề này, dữ liệu qua mỗi tầng tính toán được chuẩn hóa về phân phối có giá trị trung bình mean = 0 và độ lệch chuẩn đơn vị bằng 1. Việc biến đổi này có thể được thực hiện bằng biến đổi tuyển tính, tức là chỉ chuẩn hoá trung bình và độ lệch chuẩn để giữ nguyên dạng phân phối đầu vào.

xi − x BatchN orm(xi ) = (2.5) σx Trong đó: • xi là dữ liệu đầu vào. • x là giá trị kỳ vọng của phân phối chứa xi. Tham số này được lấy bằng cách tính trung bình của tất cả các giá trị được truyền qua lớp. • σx là độ lệch chuẩn của phân phối chứa xi.

Tham số này được lấy bằng cách tính độ lệch chuẩn của tất cả các giá trị được truyền qua lớp.3 Lớp BNNeck Hầu hết các mô hình đạt kết quả cao thường kết hợp cả triplet loss và ID loss như được thể hiện trong hình 2. Tuy nhiên, việc kết hợp 2 loại hàm mục tiêu này đôi khi gây nên sự không nhất quán với mục tiêu ban đầu của mỗi hàm mục tiêu.5: ID loss kết hợp triplet loss Mục tiêu của ID loss là tách vector đặc trưng của mỗi lớp theo những hướng khác nhau trong không gian con. Vì vậy việc sử dụng khoảng cách cosin sẽ phù hợp hơn khoảng cách euclid. Còn mục tiêu của triplet loss (2.1) là tối thiểu hoá khoảng cách các phần tử trong lớp và tối đa hoá khoảng cách các phần tử ở các lớp khác nhau.

Triplet loss sử dụng khoảng cách euclid. Trong quá trình học, có thể giá trị của một loss giảm đi lại làm tăng giá trị của hàm loss kia. Kết quả học của 2 hàm losses được thể hiện trực quan trọng hình 2. CƠ SỞ LÝ THUYẾT Hình 2.6: So sánh ảnh hưởng của các hàm losses [1] BNNeck thêm một lớp BN nằm ở trước lớp FC và đầu vào của lớp BN này là vector đặc trưng.

Gọi vector ft và fi lần lượt là vector trước và sau lớp BN. Vector ft sẽ được dùng cho việc học triplet còn vector fi sẽ qua thêm một lớp FC để dùng ID Loss. Sau quá trình huấn luyện, fi sẽ được dùng làm vector đặc trưng và kiểm thử mô hình.6 (g), ft không chỉ gom cụm phân bố của các lớp mà còn học được những đặc tính từ ID loss.7: Sơ đồ BNNeck 13 CHƯƠNG 2.5 Chiến lược huấn luyện mạng học sâu 2.