Chương 1: Giới thiệu. Trong chương này, chúng tôi sẽ trình bày tổng quan về thị giác máy tính, một vài chủ đề nổi tiếng trong lĩnh vực nghiên cứu này và định nghĩa bài toán truy van hình ảnh. Hơn thế nữa, chúng tôi cũng chỉ ta động lực của chúng tôi để giải quyết vấn đề thách thức trong truy vấn hình ảnh cũng như mục tiêu của chúng tôi trong luận án này. Phần cuối cùng trong chương này sé cung cấp nội dung cấu trúc luận án của chúng tôi.
» Chương 2: Các công trình liên quan. Trong chương này, chúng tôi sẽ giới thiệu một số kiến thức căn bản như mạng ResNet, GEM pooling, MAC pooling,. Các kiến thức này được kế thừa và kết hợp tạo trở thành tiền đề của bài toán. Tiếp bước những kiến thức nén tang, chúng tôi cũng sẽ giới thiệu về phương pháp truy vấn hình ảnh dựa trên sự khuếch tán — Một trong những phương pháp truy van hình ảnh tốt nhất hiện nay.
* Chương 3: Đề xuất kết hợp khuếch tán và giảm chiều dữ liệu. Với mục dich là giảm thời gian truy vấn hình ảnh trên những bộ dữ liệu lớn mà vẫn giữ được hiệu quả tốt, trong chương này chúng tôi trình bày ý tưởng trong quá trình nghiên cứu 8 phương pháp truy van hiệu qua. Phương pháp chúng tôi đề xuất là sử dụng giảm chiều dữ liệu. Việc áp dụng giảm chiều đữ liệu được thực hiện ngay sau khi rút trích đặc trưng và trước khi tiến hành thực hiện tính toán ma trận ái lực.
Chương 4: Thực nghiệm. Trong chương này, chúng tôi sẽ giới thiệu các bộ dữ liệu mà chúng tôi đã sử dụng để áp dụng phương pháp ở phần 3. Cùng với đó là những cài đặt khi tiến hành thực nghiệm. Cuối cùng chúng tôi sẽ trực quan hóa kết quả của phương pháp kết hợp giảm chiều dữ liệu và truy vấn ảnh dựa trên khuếch tán.
Chương 5: Kết luận. Trong chương này, chúng tôi sẽ kết luận những đóng góp của chúng tôi trong việc xây dựng hệ thống truy van ảnh hiệu quả trong luận án của chúng tôi. Chúng tôi cũng sẽ thảo luận về định hướng tương lai của các nghiên cứu hiện tại của chúng tôi và những thách thức mà chúng tôi cần giải quyết trong việc xây dựng một hệ thống truy vấn hình ảnh hiệu quả hơn. Chương 2 Các công trình liên quan 2.1 Tổng quan Trong chương này chúng tôi sẽ gidi thiệu một sô kiến thức căn bản như mạng ResNet, GEM pooling, MAC pooling,.
Các kiến thức này được kế thừa và kết hợp tạo trỏ thành tiên dé của bài toán. Tiếp bưóc những kiến thức nên tảng, chúng tôi cũng sẽ gidi thiệu về phương pháp truy van hình ảnh dựa trên sự khuếch tán — Một trong những phương pháp truy van hình ảnh tốt nhất hiện nay.2_ Kiến thức nên tang Chúng tôi sẽ bắt đầu bằng việc tìm hiểu về mạng Residual Network hay còn có tên gọi tắt là ResNet.1 Mo hình ResNet Khi xây dựng mạng than kinh tích chập (Convolutional Neural Network - CNN) với nhiều lớp chập sẽ xảy ra hiện tượng Vanishing Gradient dẫn tới quá trình học tập không tốt. Mạng ResNet sinh ra với một sứ mệnh là giải quyết được vấn đề nan giải này. 10 * Vanishing Gradient Nam 2012, Krizhevsky và cộng sự [3] đã trải thảm đỏ cho mạng no-ron hoc sâu.
Đây là lần đầu tiên kiến trúc này thành công hơn phương pháp học truyền thống trên ImageNet. Mạng nơ-ron của họ được đặt tên là AlexNet, chứa 8 lớp mạng nơ-ron, 5 lớp phức hợp (convolutional) và 3 lớp kết nối đầy đủ (fully-connected). Điều này đặt nền tảng cho mang thần kinh tích chập truyền thống, một lớp phức hợp theo sau là hàm kích hoạt (activation function), sau đó là một lớp pooling, (đôi khi lớp pooling bị bỏ qua để bảo toàn độ phân giải không gian của hình ảnh). Chức năng của chúng là các lớp này dần dần học các tính năng phức tạp hơn.
Lớp đầu tiên học các cạnh, lớp thứ hai học hình dạng, lớp thứ ba học vật thể, lớp thứ tư học mắt, v. Mặc dù meme phổ biến được chia sẻ trong các cộng đồng AI từ bộ phim Inception nói rằng “Chúng ta cần phải đi sâu hơn”, He và cộng sự [1] thực nghiệm cho thấy rằng có một ngưỡng tối đa về độ sâu với mô hình CNN truyền thống. t(rea%ino)g 56-layer (te%rsbo} 20-layer iter.1: Hiện tượng Vanishing Gradient [1]. He và cộng su của ông [1] đã vẽ biểu đồ lỗi trên tập huấn luyện và tập kiểm tra của CNN 20 lớp so với CNN 56 lớp.
Âm mưu này bất chấp niềm tin của chúng ta rằng việc thêm nhiều lớp sẽ tạo ra một hàm tính toán phức tạp hơn, do đó lỗi sẽ được cho là do overfitting. Nếu trường hợp này xảy ra, những kỹ thuật như regularization, dropout sẽ là một cách tiếp cận thành công để sửa lỗi này. Tuy nhiên, biểu đồ cho thấy lỗi trên tập huấn luyện của mạng 56 lớp cao hơn mạng 20 lớp làm nổi bật một hiện tượng khác giải thích cho lỗi đó, bằng chứng cho thấy rằng các mô hình ImageNet tốt nhất sử dụng các lớp tích hợp và kết nối đầy đủ thường chứa từ 16 đến 30 lớp. Để lý giải cho điều này thì trước hết Backpropagation Algorithm là một kỹ thuật thường được sử dụng trong quá trình tranining.
Ý tưởng chung của thuật toán lá sẽ đi 11 từ output layer đến input layer và tính toán gradient của cost function tương ứng cho từng parameter (weight) của mạng. Gradient Descent sau đó được sử dụng để cập nhật các parameter đó. Toàn bộ quá trình trên sẽ được lặp đi lặp lại cho tới khi mà các parameter của mạng được hội tụ. Thông thường chúng ta sẽ có một hyperparamter (số Epoch - số lần mà training set được duyệt qua một lần và weights được cập nhật) định nghĩa cho số lượng vòng lặp để thực hiện quá trình này.
Nếu số lượng vòng lặp quá nhỏ thì ta gặp phải trường hợp mạng có thể sẽ không cho ra kết quả tốt và ngược lại thời gian huấn luyện sẽ lâu nếu số lượng vòng lặp quá lớn. Tuy nhiên, trong thực tế đạo hàm thường sẽ có giá trị nhỏ dần khi đi xuống các lớp thấp hơn. Dẫn đến kết quả là các cập nhật thực hiện bởi Gradients Descent không làm thay đổi nhiều weights của các lớp đó và làm chúng không thể hội tụ và mạng sẽ không thu được kết quả tốt. Hiện tượng như vậy gọi là Vanishing Gradients.
Trước ResNet, đã có một số cách để giải quyết van dé Vanishing Gradients, chẳng hạn ở [4] thêm một mat mát bổ trợ ở lớp giữa như là sự giám sát bổ sung, nhưng dường như không có cách nào thực sự giải quyết được vấn dé một lần và mãi mãi. * Kiến trúc mạng ResNet ResNet (Residual Network) được giới thiệu đến công chúng vào năm 2015 và thậm chí đã giành được vi trí thứ 1 trong cuộc thi ILSVRC 2015 với tỉ lệ lỗi top 5 chỉ 3. Không những thé nó còn đứng vị trí đầu tiên trong cuộc thi ILSVRC and COCO 2015 với ImageNet Detection, ImageNet localization, Coco detection và Coco segmentation. Hiện tại thì có rất nhiều biến thể của kiến trúc ResNet với số lớp khác nhau như ResNet-18, ResNet-34, ResNet-50, ResNet-101, ResNet-152,.
Với tên là ResNet theo sau là một số chỉ kiến trúc ResNet với số lớp nhất định. ResNet cũng tương tự với các mạng khác, gồm có convolutional, pooling, activation và fully-connected layer. Điều đặc biệt của ResNet là sử dụng kết nói tắt (Skip Connection) đồng nhất để xuyên qua một hay nhiều lớp. Mỗi khối như vậy sẽ được gọi là một Residual Block (hình 2.2) 12 weight layer * identity Chúng ta giả sử đầu ra của các lớp nông là x, trong quá trình biến đổi của mạng, đầu ra của các lớp sâu hơn sẽ là F(x).
Kết nối tắt giữa các lớp là cộng đầu ra của lớp trước (lớp nông) với đầu ra của lớp sâu hơn, việc này sẽ chống lại đạo hàm bằng không, tức F(x) = 0, do vẫn cộng thêm x. Việc thêm vào các residual block vào trong kiến trúc mạng học sâu có hai cách tuỳ thuộc vào từng trường hợp cụ thể. » Identity Mapping: trong trường hợp này đơn giản là việc cộng trực tiếp x vào đầu ra của các lớp sâu hơn F(x). Đây là một cách sử dụng khá phổ biến trong thiết kế mạng ResNet nếu như đầu vào có cùng số chiều với đầu ra.
Chúng ta có thể minh hoa nó trong hình sau Hình 2. * Convolutional block: là một trường hợp khác là thay vì cộng trực tiếp giá trị của đầu vào chúng ta sẽ đưa qua một phép biến đổi tích chập. Trường hợp này có thể lnttps://viblo.asia/p/paper-explain-hieu-ve-skip-connection-mot-ki~tthuat- nho-ma-co-vo-trong-cac-kien-truc-residual-networks-3Q75w7bQ5Wb 13 được thực hiện trong trường hợp đầu vào và đầu ra có số chiều khác nhau. Lúc này đầu ra được xác định như sau y = F(x) + Conv(x).
Chúng ta có thể xem hình minh hoạ dưới đây x BN) oo x ———> —— Hình 2. Trên thực tế, ResNet không phải là mạng đầu tiên sử dụng kết nối tắt. Trước đó mạng Highway đã giới thiệu các cổng kết nồi tắt. Tuy nhiên, tương tự như Long Term Short Memory (LSTM) các kết nối tắt này được chuyển qua các cổng tham số.
Các cổng này xác định lượng thông tin được đi qua kết nối tắt và có thể đóng lại, trong khi các cổng của ResNet là luôn luôn mở. Thực nghiệm cho thấy rằng mức độ chính xác đạt được trên mạng ResNet cao hơn so với mạng Highway.2 Generalized-mean pooling (GeM pooling) Cho một hình anh đầu vào, dau ra từ CNN là một tensor 3D có hình dạng K x Hx W trong đó, K là số kênh, H là chiều cao bản đồ đối tượng và W là chiều rộng bản đồ đối tượng. Nếu x; đại diện cho kích hoạt bản đồ đối tượng địa lý không gian H x W, thi mạng bao gồm K bản đồ đối tượng địa lý như vậy. - Với Max Pooling: T | k K | > tk xe x *https://viblo.asia/p/paper-explain-hieu-ve-skip-connection-mot-ki-thuat- nho-ma-co-vo-trong-cac-kien-truc-residual-networks-3Q75w7bQ5Wb 14 Nói cách khác, đối với mỗi ban đồ đặc trưng x¿, chúng ta lấy giá trị lớn nhất để có được biểu diễn vectơ dài K độ dài của hình ảnh.
-Với Average Pooling: | f2 = ff 1 ff] k K PO k = _ sp mal 2. =x Nói cách khác, đối với mỗi ban đồ đặc trưng x,, chúng ta lấy giá trị trung bình để có được biểu diễn vectơ đài K độ dài của hình ảnh. - Cuối cùng, với GeM Pooling: 1 "an. lở 3 =) T 1 Pk xe.
Max Pooling và Average Pooling là các trường hợp đặc biệt của GeM Pooling được đưa ra ở phía trên, tức là Max Pooling khi P, — o và Average Pooling khi PR, = 1.