Chương 1 trình bày đề tài nghiên cứu, nêu động lực, mục tiêu, phương pháp, những đóng góp và cấu trúc của luận văn. Chương 2: Cơ sở lý thuyết và các nghiên cứu liên quan. Chương 2 trình bày cơ sở lý thuyết và các nghiên cứu liên quan đến các mô hình học sâu CNN áp dụng cho bài toán tìm kiếm hình ảnh. Chương 3: Mô hình đề xuất.
Chương 3 trình bày phương pháp trích xuất đặc trưng hình ảnh bằng các mô hình CNN và ứng dụng web. Chương 4: Thực nghiệm. Chương 4 trình bày quá trình thực nghiệm, kết quả đạt được, phân tích và đánh giá các kết quả đạt được. Chương 5: Kết luận và hướng phát triển.
Chương 5 tổng quát kết quả thực hiện, đưa ra các hướng phát triển cho mô hình trong tương lai. 17 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN Trong chương cơ sở lý thuyết này, chúng tôi trình bày những kiến thức liên quan đến những nghiên cứu về cách tiếp cận bài toán tìm kiếm hình ảnh bằng phương pháp học sâu. Bên cạnh đó, chương này trình bày tổng quan mạng nơ-ron tích chập, các mô hình học sâu CNN tiêu biểu, tìm kiếm hình ảnh dựa trên nội dung ảnh. Từ đó, có cái nhìn tổng quan về các hướng tiếp cận và giải pháp để ứng dụng trong bài toán tìm kiếm hình ảnh.
Mạng Nơ-ron tích chập 2. Mạng Nơ-ron nhân tạo Mạng Nơ-ron nhân tạo (Artificial Neural Network – ANN) là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơ-ron sinh học (Hình 2. Nó được tạo nên từ một số lượng lớn các phần tử (nơ-ron) kết nối với nhau thông qua các liên kết (trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó. Một mạng nơ-ron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu, .) thông qua một quá trình học từ tập các mẫu huấn luyện.
Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơ-ron.1: Mạng nơ-ron sinh học1 Cấu trúc và quá trình xử lý của một nơ-ron trong ANN được mô tả trong Hình 2. Các thành phần cơ bản của một nơ-ron nhân tạo bao gồm: • Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vector N chiều.com/stem/Structure-of-a-Neuron 18 • Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số liên kết – Synaptic weight. Trọng số liên kết giữa tín hiệu vào thứ j với nơ-ron k thường được kí hiệu là wkj. Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng.
• Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó. • Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền. • Hàm truyền (Transfer function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơ-ron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng.
• Đầu ra: Là tín hiệu đầu ra của một nơ-ron, với mỗi nơ-ron sẽ có tối đa là một đầu ra.2: Quá trình xử lý của một nơ-ron trong ANN Xét về mặt toán học, cấu trúc của một nơ-ron k, được mô tả bằng cặp biểu thức sau: 𝑢𝑘 = ∑𝑁 𝑗=1 𝑤𝑘𝑗 𝑥𝑗 và yk = ꬵ (uk – bk) (2., xN) là các tín hiệu vào; (wk1, wk2, ., wkp) là các trọng số liên kết của nơ-ron thứ k; uk là hàm tổng; bk là một ngưỡng; f là hàm truyền và yk là tín hiệu đầu ra của nơ-ron. Như vậy nơ-ron nhân tạo nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền) và cho một tín hiệu đầu ra (là kết quả của hàm truyền). 19 Hàm truyền (hàm kích hoạt hay hàm chuyển đổi) 𝑓 tính toán đầu ra của một nơ-ron để chuyển đến lớp tiếp theo trong mạng nơ-ron. Hàm kích hoạt phi tuyến được sử dụng vì mạng chỉ sử dụng các hàm kích hoạt tuyến tính có thể lược giản thông qua các biến đổi đại số thành mô hình perceptron một lớp (là mô hình ANN đơn giản nhất, không có lớp ẩn).
Một số hàm kích hoạt phi tuyến thường dùng là ReLU (Rectified Linear Unit), Sigmoid, Logistic, Gaussian, Tanh, Softmax (Hình 2.3: Đồ thị các hàm kích hoạt: (a).Hàm Sigmoid Kết quả xử lý đầu ra hàm tổng của nơ-ron đôi khi quá lớn, hàm kích hoạt thường dùng để xử lý đầu ra này trước khi chuyển đến lớp tiếp theo. Đôi khi thay vì sử dụng hàm kích hoạt thì thường sử dụng giá trị ngưỡng để kiểm soát đầu ra của nơ- ron. Nếu đầu ra của một nơ-ron nhỏ hơn ngưỡng thì sẽ không được chuyển đến lớp tiếp theo. Một số kiểu mạng nơ-ron nhân tạo: Cách thức kết nối các nơ-ron trong mạng xác định kiến trúc (topology) của mạng.
Các nơ-ron trong mạng có thể kết nối đầy đủ (fully connected) tức là mỗi nơ- 21 ron đều được kết nối với tất cả các nơ-ron khác, hoặc kết nối cục bộ (partially connected) chẳng hạn chỉ kết nối giữa các nơ-ron trong các tầng khác nhau. Có hai loại kiến trúc mạng chính: ♦ Tự kết hợp (autoassociative): là mạng có các nơ-ron đầu vào cũng là các nơ- ron đầu ra. Mạng Hopfield là một kiểu mạng tự kết hợp.4: Mạng tự kết hợp ♦ Kết hợp khác kiểu (heteroassociative): là mạng có tập nơ-ron đầu vào và đầu ra riêng biệt. Perceptron, các mạng Perceptron nhiều tầng (Multi Layer Perceptron - MLP), mạng Kohonen, … thuộc loại này.5: Mạng kết hợp khác kiểu Ngoài ra tùy thuộc vào mạng có các kết nối ngược (feedback connections) từ các nơ-ron đầu ra tới các nơ-ron đầu vào hay không, chia ra làm 2 loại kiến trúc mạng.
♦ Kiến trúc truyền thẳng (feedforward architechture): là kiểu kiến trúc mạng không có các kết nối ngược trở lại từ các nơ-ron đầu ra về các nơr-on đầu vào; mạng không lưu lại các giá trị output trước và các trạng thái kích hoạt của nơ-ron. Các mạng nơ-ron truyền thẳng cho phép tín hiệu di chuyển theo một đường duy nhất; từ đầu vào tới đầu ra, đầu ra của một tầng bất kì sẽ không ảnh hưởng tới tầng đó. Các mạng kiểu Perceptron là mạng truyền thẳng.6: Mạng truyền thẳng ♦ Kiến trúc phản hồi (Feedback architecture): là kiểu kiến trúc mạng có các kết nối từ nơ-ron đầu ra tới nơ-ron đầu vào. Mạng lưu lại các trạng thái trước đó, và trạng thái tiếp theo không chỉ phụ thuộc vào các tín hiệu đầu vào mà còn phụ thuộc vào các trạng thái trước đó của mạng.
Mạng Hopfield thuộc loại này.7: Mạng phản hồi Khái niệm học: Học là quá trình thay đổi hành vi của các vật theo một cách nào đó làm cho chúng có thể thực hiện tốt hơn trong tương lai. Một mạng nơ-ron được huyấn luyện sao cho với một tập các vector đầu vào X, mạng có khả năng tạo ra tập các vector đầu ra mong muốn Y của nó. Tập X được sử dụng cho huấn luyện mạng được gọi là tập huấn luyện (training set). Các phần tử x thuộc X được gọi là các mẫu huấn luyện (training example).
Quá trình huấn luyện bản chất là sự thay đổi các trọng số liên kết của mạng. Trong quá trình này, các trọng số của mạng sẽ hội tụ dần tới các giá trị sao cho với mỗi vector đầu vào x từ tập huấn luyện, mạng sẽ cho ra véc-tơ đầu ra y như mong muốn. Có ba phương pháp học phổ biến là học có giám sát (Supervised learning), học không giám sát (Unsupervised learning) và học tăng cường (Reinforcement learning): Học có giám sát: là phương pháp học từ một tập dữ liệu huấn luyện đã biết trước nhãn của dữ liệu cần học và số lớp cần phân loại của bộ dữ liệu được đem đi huấn luyện. Đây là phương pháp học phổ biến nhất trong các phương pháp học của 23 mạng nơ-ron.
Mục đích của phương pháp này là từ tập dữ liệu đã gán nhãn qua quá trình học tạo ra một hàm số thật tốt để khi có dữ liệu mới có thể tính hay dự đoán được nhãn tương ứng của dữ liệu đó. Phương pháp học có giám sát chia ra thành hai loại chính là: - Phân loại (classification): Nếu nhãn của các dữ liệu đầu vào được chia thành một số hữu hạn nhóm. Như các bài toán nhận dạng chữ số viết tay, phân loại hình ảnh, … - Hồi quy (regression): Nếu nhãn của các dữ liệu đầu vào không được chia thành các nhóm mà là một giá trị thực cụ thể. Ví dụ như bài toán dự đoán giá tăng giảm của một mặt hàng nào đó, … Học không giám sát: Là việc học không cần có bất kỳ một sự giám sát nào.
Trong bài toán học không giám sát, tập dữ liệu huấn luyện được cho dưới dạng D = {(x1, x2, ., xn) là véc-tơ đặc trưng của mẫu huấn luyện. Nhiệm vụ của thuật toán là phải phân chia tập dữ liệu D thành các nhóm con, mỗi nhóm chứa các vector đầu vào có đặc trưng giống nhau. Như vậy với học không giám sát, số lớp phân loại chưa được biết trước, và tùy theo tiêu chuẩn đánh giá độ tương tự giữa các mẫu mà có thể có các lớp phân loại khác nhau. Học tăng cường: đôi khi còn được gọi là học “thưởng - phạt” (reward - penalty learning), là sự tổ hợp của cả hai mô hình trên.
Phương pháp này cụ thể như sau: với véc-tơ đầu vào, quan sát véc-tơ đầu ra do mạng tính được. Nếu kết quả được xem là “tốt” thì mạng sẽ được “thưởng” theo nghĩa tăng các trọng số kết nối lên; ngược lại mạng sẽ bị “phạt”, các trọng số kết nối không thích hợp sẽ được giảm xuống. Do đó học tăng cường là học theo nhà phê bình (critic), ngược với học có giám sát là học theo thầy giáo (teacher). Mạng Nơ-ron tích chập Mạng nơ-ron tích chập (CNN - Convolutional Neural Network) là một trong những mô hình Mạng học sâu phổ biến nhất hiện nay, có khả năng nhận dạng và phân loại hình ảnh với độ chính xác rất cao, thậm chí còn tốt hơn con người trong nhiều trường hợp.
Mô hình này đã và đang được phát triển, ứng dụng vào các hệ thống xử lý 24 ảnh lớn của Facebook, Google hay Amazon… cho các mục đích khác nhau như các thuật toán tagging tự động, tìm kiếm ảnh hoặc gợi ý sản phẩm cho người tiêu dùng, … Tích chập được sử dụng đầu tiên trong xử lý tín hiệu số (Signal processing).