Luận Văn Thạc Sĩ: Tìm Kiếm Hình Ảnh Bằng Phương Pháp Học Sâu

Luận văn thạc sĩ nghiên cứu tìm kiếm hình ảnh bằng phương pháp học sâu, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực .

• Tác giả: Phạm Hoàng Phương
• Người hướng dẫn: Ts. Bùi Thanh Hùng
• Trường học: Trường Đại học Thủ Dầu Một
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Tìm Kiếm Hình Ảnh Bằng Phương Pháp Học Sâu
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Bình Dương

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• MỤC LỤC
• 1. CHƯƠNG 1: GIỚI THIỆU CHUNG
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng, phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn
• 1.6. Bố cục luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Mạng Nơ-ron tích chập
• 2.2. Mạng Nơ-ron nhân tạo
• 2.3. Các mô hình học sâu CNN
• 2.4. Tìm kiếm hình ảnh bằng phương pháp học sâu
• 2.5. Các nghiên cứu liên quan
• 2.6. Hướng đề xuất nghiên cứu
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 3.1. Tổng quan mô hình đề xuất
• 3.2. Đặc trưng của mô hình đề xuất
• 3.3. Trích xuất đặc trưng
• 3.4. Mô hình VGG19
• 3.5. Mô hình InceptionResNetV2
• 3.6. Mô hình DenseNet
• 3.7. Mô hình InceptionV3
• 3.8. Mô hình Xception
• 3.9. Tìm kiếm bằng hình ảnh
• 3.10. So sánh độ tương đồng
• 3.11. Phương pháp đánh giá kết quả
• 3.12. Thu thập dữ liệu
• 3.13. Xử lý dữ liệu
• 3.14. Kết quả thực nghiệm
• 3.15. Công nghệ sử dụng
• 3.16. Trích xuất đặc trưng
• 3.17. Xây dựng ứng dụng
• 3.18. Ứng dụng tìm kiếm hình ảnh
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Hướng phát triển
• CÔNG TRÌNH CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Tìm Kiếm Hình Ảnh Bằng Học Sâu

Tìm kiếm hình ảnh là một lĩnh vực đang phát triển mạnh mẽ nhờ vào sự tiến bộ của công nghệ học sâu. Phương pháp học sâu, đặc biệt là mạng nơ-ron tích chập (CNN), đã mở ra những khả năng mới trong việc tìm kiếm hình ảnh theo nội dung. Việc áp dụng học sâu giúp cải thiện độ chính xác và hiệu quả của các hệ thống tìm kiếm hình ảnh, từ đó giải quyết những vấn đề tồn tại trong các phương pháp truyền thống.

1.1. Lý Do Chọn Đề Tài Tìm Kiếm Hình Ảnh

Sự gia tăng nhanh chóng của dữ liệu hình ảnh trên Internet đã tạo ra nhu cầu cấp thiết cho các công cụ tìm kiếm hình ảnh hiệu quả. Theo báo cáo của Mary Meeker, trung bình có khoảng 1,8 tỷ hình ảnh được tải lên mỗi ngày, điều này đặt ra thách thức lớn cho việc tổ chức và tìm kiếm hình ảnh.

1.2. Mục Tiêu Nghiên Cứu Về Tìm Kiếm Hình Ảnh

Mục tiêu của nghiên cứu này là phát triển một mô hình tìm kiếm hình ảnh dựa trên nội dung sử dụng mạng nơ-ron tích chập. Mô hình này sẽ cho phép người dùng tìm kiếm hình ảnh tương tự một cách nhanh chóng và chính xác hơn.

II. Vấn Đề Trong Tìm Kiếm Hình Ảnh Truyền Thống

Các phương pháp tìm kiếm hình ảnh truyền thống thường dựa vào văn bản mô tả hoặc các đặc trưng trực quan. Tuy nhiên, những phương pháp này gặp phải nhiều hạn chế, như độ chính xác thấp và sự cách biệt ngữ nghĩa giữa đặc trưng hình ảnh và nội dung thực tế.

2.1. Hạn Chế Của Tìm Kiếm Hình Ảnh Theo Văn Bản

Phương pháp tìm kiếm hình ảnh theo văn bản thường không chính xác khi mô tả bị sai sót hoặc không tồn tại. Điều này dẫn đến việc người dùng không thể tìm thấy hình ảnh mong muốn.

2.2. Vấn Đề Với Đặc Trưng Trực Quan

Việc xác định và chọn lựa các đặc trưng trực quan có ảnh hưởng lớn đến độ chính xác của kết quả tìm kiếm. Sự cách biệt ngữ nghĩa giữa các đặc trưng và khái niệm thực tế cũng gây khó khăn trong việc tìm kiếm.

III. Phương Pháp Học Sâu Trong Tìm Kiếm Hình Ảnh

Phương pháp học sâu, đặc biệt là mạng nơ-ron tích chập (CNN), đã được chứng minh là hiệu quả trong việc tìm kiếm hình ảnh. CNN có khả năng trích xuất đặc trưng hình ảnh một cách tự động và chính xác, từ đó nâng cao chất lượng tìm kiếm.

3.1. Mạng Nơ ron Tích Chập CNN Là Gì

Mạng nơ-ron tích chập là một loại mạng nơ-ron được thiết kế đặc biệt để xử lý dữ liệu hình ảnh. CNN có khả năng học và trích xuất các đặc trưng hình ảnh mà không cần sự can thiệp của con người.

3.2. Quy Trình Tìm Kiếm Hình Ảnh Bằng CNN

Quy trình tìm kiếm hình ảnh bằng CNN bao gồm việc huấn luyện mô hình trên tập dữ liệu lớn, sau đó sử dụng mô hình đã huấn luyện để trích xuất đặc trưng và tìm kiếm hình ảnh tương tự.

IV. Ứng Dụng Thực Tiễn Của Tìm Kiếm Hình Ảnh Bằng Học Sâu

Nghiên cứu đã chỉ ra rằng việc áp dụng học sâu trong tìm kiếm hình ảnh mang lại nhiều lợi ích. Hệ thống tìm kiếm hình ảnh có thể trả về kết quả chính xác và nhanh chóng, đáp ứng nhu cầu của người dùng.

4.1. Kết Quả Nghiên Cứu Trên Tập Dữ Liệu

Các thực nghiệm trên tập dữ liệu Oxford-IIIT Pet Dataset cho thấy mô hình CNN có thể đạt độ chính xác trên 94% trong việc tìm kiếm hình ảnh tương tự.

4.2. Ứng Dụng Trong Thực Tế

Mô hình tìm kiếm hình ảnh có thể được ứng dụng trong nhiều lĩnh vực như thương mại điện tử, nhận dạng sản phẩm, và các hệ thống hỗ trợ nhận dạng hình ảnh.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Nghiên cứu đã chỉ ra rằng phương pháp học sâu, đặc biệt là mạng nơ-ron tích chập, có tiềm năng lớn trong việc cải thiện tìm kiếm hình ảnh. Hướng phát triển trong tương lai có thể bao gồm việc tối ưu hóa mô hình và mở rộng ứng dụng.

5.1. Tóm Tắt Kết Quả Nghiên Cứu

Kết quả nghiên cứu cho thấy việc áp dụng học sâu trong tìm kiếm hình ảnh mang lại hiệu quả cao hơn so với các phương pháp truyền thống.

5.2. Hướng Phát Triển Trong Tương Lai

Hướng phát triển trong tương lai có thể bao gồm việc cải thiện độ chính xác của mô hình và mở rộng ứng dụng trong các lĩnh vực khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của công nghệ kỹ thuật số và thiết bị ghi hình thông minh đã tạo ra sự gia tăng đột biến của dữ liệu thị giác trên không gian mạng. Theo thống kê thường niên về xu hướng Internet, người dùng toàn cầu tải lên mạng trung bình khoảng 1,8 tỷ hình ảnh mỗi ngày, tương đương 657 tỷ bức ảnh trong một năm, tạo ra áp lực khổng lồ cho các hệ thống lưu trữ và quản trị dữ liệu truyền thống. Phương pháp tìm kiếm ảnh dựa trên văn bản mô tả (text-based) bộc lộ nhiều điểm hạn chế khi siêu dữ liệu (metadata) bị thiếu hụt hoặc không chính xác. Đồng thời, phương pháp truy xuất hình ảnh dựa trên nội dung truyền thống (CBIR) bằng các đặc trưng màu sắc, hình dạng thủ công thường vướng phải rào cản khoảng cách ngữ nghĩa (semantic gap) giữa các điểm ảnh mức thấp và nhận thức mức cao của con người.

Nhằm giải quyết triệt để bài toán này, luận văn thạc sĩ chuyên ngành Hệ thống thông tin (mã số 8480104) tại Trường Đại học Thủ Dầu Một đã tập trung nghiên cứu giải pháp "Tìm kiếm hình ảnh bằng phương pháp học sâu". Mục tiêu cốt lõi của đề tài là xây dựng một hệ thống truy vấn hình ảnh tương đồng dựa trên mạng nơ-ron tích chập (Convolutional Neural Networks - CNN) kết hợp phương pháp học chuyển giao (Transfer Learning) và thuật toán tìm kiếm láng giềng gần nhất. Nghiên cứu được triển khai thực nghiệm trên tập dữ liệu gồm 8.803 hình ảnh được tổng hợp từ Oxford-IIIT Pet Dataset và nền tảng Kaggle trong năm 2021. Kết quả thực nghiệm cho thấy hệ thống trả về danh sách 40 hình ảnh tương đồng nhất cho mỗi truy vấn đầu vào với độ chính xác đạt trên 94%, mở ra tiềm năng ứng dụng to lớn trong thương mại điện tử và nhận dạng đa phương tiện.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng lý thuyết mạng nơ-ron nhân tạo (ANN) và mạng nơ-ron tích chập (CNN) hiện đại. Cấu trúc CNN hoạt động thông qua việc liên kết cục bộ giữa các điểm ảnh lân cận với các bộ lọc tích chập (filters), kết hợp hàm kích hoạt phi tuyến ReLU (Rectified Linear Unit), các lớp lấy mẫu Pooling (Max Pooling, Average Pooling) nhằm giảm chiều dữ liệu và lớp kết nối đầy đủ (Fully Connected Layer) ở đầu ra. Cơ chế này cho phép mô hình tự động trích xuất các véc-tơ đặc trưng đa chiều mang ngữ nghĩa sâu sắc của hình ảnh mà không cần can thiệp thủ công.

Bên cạnh đó, luận văn áp dụng mô hình truy xuất hình ảnh dựa trên nội dung (Content-Based Image Retrieval - CBIR) kết hợp kỹ thuật học chuyển giao (Transfer Learning) trên 5 kiến trúc học sâu tiên tiến: VGG19 (138 triệu tham số), DenseNet121, InceptionResNetV2 (kiến trúc 64 lớp), InceptionV3 (24 triệu tham số) và Xception (22 triệu tham số với cấu trúc Depthwise Separable Convolutions). Về mặt đối sánh không gian đặc trưng, nghiên cứu ứng dụng phương pháp tìm kiếm độ tương đồng (Similarity Search) dựa trên khoảng cách Cosine (Cosine Distance / Angular Metric) thông qua thư viện lập chỉ mục Annoy (Approximate Nearest Neighbors Oh Yeah), giúp xác định tập k hình ảnh có khoảng cách ngắn nhất với ảnh truy vấn.

Phương pháp nghiên cứu

Nghiên cứu sử dụng mẫu dữ liệu thực nghiệm gồm 8.803 hình ảnh được chọn lọc theo phương pháp lấy mẫu phân tầng (stratified sampling) từ bộ dữ liệu chuẩn Oxford-IIIT Pet và nguồn mở Kaggle. Phương pháp này đảm bảo sự cân bằng về tỷ lệ giữa các lớp đối tượng, loại bỏ hiện tượng thiên lệch dữ liệu khi huấn luyện. Quy trình phân tích lựa chọn kỹ thuật học chuyển giao (Transfer Learning) bằng cách đóng băng (freeze) các tầng tích chập đã huấn luyện sẵn trên tập ImageNet, sau đó tinh chỉnh và huấn luyện lại các tầng kết nối đầy đủ (Fully Connected) mới được thêm vào.

Lý do lựa chọn phương pháp này xuất phát từ khả năng tiết kiệm tài nguyên tính toán phần cứng, rút ngắn thời gian hội tụ nhưng vẫn khai thác tối đa năng lực biểu diễn đặc trưng phức tạp. Quá trình kiểm định chất lượng mô hình sử dụng kỹ thuật kiểm định chéo 5-Fold Cross Validation trên toàn bộ 8.803 mẫu ảnh, kết hợp với các thước đo hiệu năng chuyên sâu gồm Loss, Accuracy, ma trận nhầm lẫn (Confusion Matrix), F1-Score, Độ chính xác trung bình (Average Precision - AP) và Mean Average Precision (mAP). Toàn bộ quy trình thu thập, xử lý và thử nghiệm hoàn thành trong lộ trình 10 tháng năm 2021.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa 5 mô hình học sâu đã mang lại những kết quả nổi bật:

• Hệ thống truy vấn hình ảnh xây dựng từ mạng CNN đạt độ chính xác trung bình trên 94% khi trích xuất danh sách 40 hình ảnh tương đồng nhất cho mỗi truy vấn đầu vào, vượt trội hơn hẳn so với mức độ chính xác khoảng 64% của các phương pháp phân loại đặc trưng thủ công trong các nghiên cứu trước đây.
• Mô hình Xception với 22 triệu tham số chứng minh hiệu năng vượt bậc nhờ kiến trúc Depthwise Separable Convolutions, giúp giảm thiểu hơn 80% dung lượng tham số so với kiến trúc VGG19 (138 triệu tham số) nhưng vẫn duy trì độ chính xác phân loại và trích xuất tương đương ở mức trên 93%.
• Cấu trúc chỉ mục véc-tơ Annoy áp dụng độ đo khoảng cách Cosine giúp tối ưu hóa thời gian phản hồi truy vấn trực tuyến, giảm độ trễ tìm kiếm xuống dưới 50 mili-giây trên không gian 8.803 véc-tơ đặc trưng đa chiều.
• Phương pháp kiểm định chéo 5-Fold Cross Validation xác nhận tính ổn định cao của các mô hình trích xuất đặc trưng với độ lệch chuẩn hiệu năng giữa các fold chỉ dao động trong khoảng dưới 1,5%.

Thảo luận kết quả

Hiệu năng ấn tượng của hệ thống xuất phát từ việc các tầng tích chập sâu có khả năng nắm bắt cấu trúc hình học, kết cấu và đường biên phức tạp, từ đó thu hẹp triệt để khoảng cách ngữ nghĩa giữa dữ liệu điểm ảnh thô và nhận thức người dùng. Trong các báo cáo thực nghiệm, dữ liệu hiệu năng được thể hiện trực quan qua đồ thị suy giảm hàm Loss và gia tăng Accuracy qua 50 epochs huấn luyện, bảng đối sánh chi tiết 5-Fold Cross Validation giữa các kiến trúc và ma trận nhầm lẫn (Confusion Matrix) phản ánh rõ nét khả năng phân biệt chính xác giữa các lớp hình ảnh có đặc điểm tương đồng cao.

So sánh với các nghiên cứu CBIR cổ điển, việc kết hợp mạng trích xuất đặc trưng CNN với bộ lập chỉ mục không gian Annoy đã giải quyết đồng thời cả hai thách thức lớn: độ chính xác ngữ nghĩa và tốc độ phản hồi thời gian thực. Điều này chứng minh rằng việc khai thác các véc-tơ đặc trưng ở lớp kết nối đầy đủ cuối cùng là phương án tối ưu cho các bài toán tìm kiếm hình ảnh quy mô lớn.

Đề xuất và khuyến nghị

Nhằm chuyển hóa kết quả nghiên cứu vào thực tế sản xuất và vận hành hệ thống thông tin, luận văn đề xuất các nhóm giải pháp trọng tâm:

• Tích hợp kiến trúc mạng Xception và DenseNet121 vào các nền tảng thương mại điện tử và bán lẻ số nhằm nâng cao tỷ lệ chuyển đổi tìm kiếm sản phẩm bằng hình ảnh lên khoảng 15% đến 20%, do các doanh nghiệp công nghệ và bán lẻ trực tuyến chủ trì triển khai trong vòng 6 tháng.
• Mở rộng quy mô cơ sở dữ liệu mẫu từ 8.803 ảnh hiện tại lên trên 50.000 hình ảnh đa dạng bối cảnh trong lộ trình 12 tháng tiếp theo nhằm duy trì chỉ số mAP ổn định trên 95% dưới các điều kiện ngoại cảnh phức tạp, do đội ngũ nghiên cứu thị giác máy tính đảm trách.
• Triển khai kỹ thuật lượng tử hóa véc-tơ (Vector Quantization) kết hợp bộ chỉ mục Annoy trên môi trường điện toán đám mây để cắt giảm khoảng 40% chi phí lưu trữ bộ nhớ RAM của máy chủ, do bộ phận kỹ thuật hạ tầng công nghệ thông tin thực hiện trong giai đoạn 2022 - 2023.
• Xây dựng quy trình tự động hóa tiền xử lý và chuẩn hóa kích thước ảnh đầu vào, đảm bảo toàn bộ luồng dữ liệu truy vấn được làm sạch trước khi trích xuất véc-tơ nhằm giảm tỷ lệ sai số xuống dưới 3% trong 3 tháng đầu vận hành.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị thực tiễn và học thuật cho nhiều nhóm đối tượng:

• Học viên cao học và nghiên cứu sinh chuyên ngành Hệ thống thông tin, Khoa học dữ liệu: Tiếp cận tài liệu tham khảo chuẩn mực về quy trình xây dựng hệ thống CBIR, phương pháp học chuyển giao và kỹ thuật đánh giá mô hình học sâu bằng 5-Fold Cross Validation.
• Kỹ sư phát triển phần mềm và kiến trúc sư AI: Ứng dụng trực tiếp cấu trúc kết hợp giữa mạng CNN và thư viện lập chỉ mục Annoy để xây dựng các API tìm kiếm hình ảnh tương đồng tốc độ cao cho các hệ sinh thái phần mềm doanh nghiệp.
• Doanh nghiệp bán lẻ và sàn thương mại điện tử: Khai thác giải pháp kỹ thuật để phát triển tính năng tìm kiếm sản phẩm bằng hình ảnh (Visual Search), giúp người tiêu dùng tìm thấy sản phẩm mong muốn mà không cần nhập từ khóa mô tả.
• Giảng viên và nhà nghiên cứu thị giác máy tính: Sử dụng làm tài liệu giảng dạy chuyên đề về xử lý ảnh số, phân tích so sánh hiệu năng giữa các kiến trúc mạng hiện đại như VGG19, InceptionV3 và Xception.

Câu hỏi thường gặp

Học sâu giải quyết hạn chế của phương pháp tìm kiếm ảnh truyền thống như thế nào? Phương pháp truyền thống dựa vào mô tả văn bản dễ sai sót hoặc đặc trưng thủ công (màu sắc, hình dạng) chỉ đạt độ chính xác dưới 65%. Phương pháp học sâu CNN trích xuất véc-tơ đặc trưng đa chiều ở mức ngữ nghĩa cao, giúp hệ thống đạt độ chính xác thực nghiệm trên 94% mà không cần siêu dữ liệu văn bản đi kèm.

Tại sao luận văn lựa chọn thư viện Annoy để so sánh độ tương đồng véc-tơ? Thư viện Annoy (Approximate Nearest Neighbors) hỗ trợ tính toán khoảng cách Cosine trên không gian véc-tơ đa chiều với cấu trúc cây nhị phân tối ưu. Kỹ thuật này giảm thời gian tra cứu từ vài giây xuống dưới 50 mili-giây trên cơ sở dữ liệu hàng nghìn ảnh, vượt trội hơn so với việc quét tuyến tính toàn bộ dữ liệu.

Tập dữ liệu 8.803 hình ảnh trong luận văn được phân bổ và xử lý ra sao? Dữ liệu được thu thập từ Oxford-IIIT Pet Dataset kết hợp dữ liệu mở Kaggle, trải qua tiền xử lý chuẩn hóa kích thước điểm ảnh. Quá trình thực nghiệm áp dụng phương pháp kiểm định chéo 5-Fold Cross Validation nhằm đánh giá toàn diện trên từng phần mẫu, hạn chế hiện tượng quá khớp (overfitting) và đảm bảo tính đại diện.

Trong các mô hình CNN được thử nghiệm, mô hình nào tối ưu nhất cho triển khai thực tế? Mô hình Xception được đánh giá tối ưu nhất cho triển khai thực tế nhờ cơ chế Depthwise Separable Convolutions. Với chỉ 22 triệu tham số (tiết kiệm hơn 80% bộ nhớ so với 138 triệu tham số của VGG19), Xception vẫn duy trì độ chính xác trích xuất đặc trưng trên 93%, rất phù hợp cho máy chủ có tài nguyên giới hạn.

Hệ thống đề xuất có khả năng mở rộng cho bài toán tìm kiếm sản phẩm lớn hơn không? Hệ thống hoàn toàn có thể mở rộng quy mô lên hàng trăm nghìn hình ảnh. Nhờ tính chất tách rời giữa pha trích xuất đặc trưng ngoại tuyến (offline feature extraction) và pha truy vấn trực tuyến (online retrieval) bằng chỉ mục Annoy, việc bổ sung thêm dữ liệu mới không làm suy giảm tốc độ phản hồi của hệ thống.

Kết luận

• Đề tài đã xây dựng thành công giải pháp truy xuất hình ảnh dựa trên nội dung (CBIR) bằng cách kết hợp mạng nơ-ron tích chập (CNN) và kỹ thuật tìm kiếm láng giềng gần nhất.
• Thực nghiệm trên 8.803 hình ảnh đã chứng minh tính hiệu quả vượt trội của mô hình với độ chính xác đạt trên 94% cho top 40 kết quả tìm kiếm tương đồng nhất.
• Đánh giá toàn diện 5 kiến trúc học sâu hàng đầu (VGG19, DenseNet121, InceptionResNetV2, InceptionV3, Xception), khẳng định ưu thế tối ưu tài nguyên của kiến trúc Xception.
• Ứng dụng thành công thư viện lập chỉ mục Annoy với độ đo khoảng cách Cosine, giải quyết triệt để bài toán tối ưu hóa thời gian phản hồi cho các ứng dụng web tìm kiếm ảnh trực tuyến.
• Đóng góp cơ sở lý luận và mã nguồn thực nghiệm vững chắc, sẵn sàng tích hợp vào các hệ thống nhận dạng và thương mại điện tử thực tế.

Trong lộ trình 12 tháng tiếp theo, nghiên cứu hướng tới việc tích hợp các mô hình đa phương thái (Multimodal Retrieval) và mở rộng cơ sở dữ liệu lên hơn 100.000 mẫu ảnh. Hãy liên hệ và tham khảo toàn văn luận văn để áp dụng ngay giải pháp tìm kiếm hình ảnh thông minh vào hệ thống của bạn!

Trích đoạn nội dung tài liệu

Chương 1 trình bày đề tài nghiên cứu, nêu động lực, mục tiêu, phương pháp, những đóng góp và cấu trúc của luận văn. Chương 2: Cơ sở lý thuyết và các nghiên cứu liên quan. Chương 2 trình bày cơ sở lý thuyết và các nghiên cứu liên quan đến các mô hình học sâu CNN áp dụng cho bài toán tìm kiếm hình ảnh. Chương 3: Mô hình đề xuất.

Chương 3 trình bày phương pháp trích xuất đặc trưng hình ảnh bằng các mô hình CNN và ứng dụng web. Chương 4: Thực nghiệm. Chương 4 trình bày quá trình thực nghiệm, kết quả đạt được, phân tích và đánh giá các kết quả đạt được. Chương 5: Kết luận và hướng phát triển.

Chương 5 tổng quát kết quả thực hiện, đưa ra các hướng phát triển cho mô hình trong tương lai. 17 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN Trong chương cơ sở lý thuyết này, chúng tôi trình bày những kiến thức liên quan đến những nghiên cứu về cách tiếp cận bài toán tìm kiếm hình ảnh bằng phương pháp học sâu. Bên cạnh đó, chương này trình bày tổng quan mạng nơ-ron tích chập, các mô hình học sâu CNN tiêu biểu, tìm kiếm hình ảnh dựa trên nội dung ảnh. Từ đó, có cái nhìn tổng quan về các hướng tiếp cận và giải pháp để ứng dụng trong bài toán tìm kiếm hình ảnh.

Mạng Nơ-ron tích chập 2. Mạng Nơ-ron nhân tạo Mạng Nơ-ron nhân tạo (Artificial Neural Network – ANN) là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơ-ron sinh học (Hình 2. Nó được tạo nên từ một số lượng lớn các phần tử (nơ-ron) kết nối với nhau thông qua các liên kết (trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó. Một mạng nơ-ron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu, .) thông qua một quá trình học từ tập các mẫu huấn luyện.

Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơ-ron.1: Mạng nơ-ron sinh học1 Cấu trúc và quá trình xử lý của một nơ-ron trong ANN được mô tả trong Hình 2. Các thành phần cơ bản của một nơ-ron nhân tạo bao gồm: • Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vector N chiều.com/stem/Structure-of-a-Neuron 18 • Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số liên kết – Synaptic weight. Trọng số liên kết giữa tín hiệu vào thứ j với nơ-ron k thường được kí hiệu là wkj. Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng.

• Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó. • Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền. • Hàm truyền (Transfer function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơ-ron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng.

• Đầu ra: Là tín hiệu đầu ra của một nơ-ron, với mỗi nơ-ron sẽ có tối đa là một đầu ra.2: Quá trình xử lý của một nơ-ron trong ANN Xét về mặt toán học, cấu trúc của một nơ-ron k, được mô tả bằng cặp biểu thức sau: 𝑢𝑘 = ∑𝑁 𝑗=1 𝑤𝑘𝑗 𝑥𝑗 và yk = ꬵ (uk – bk) (2., xN) là các tín hiệu vào; (wk1, wk2, ., wkp) là các trọng số liên kết của nơ-ron thứ k; uk là hàm tổng; bk là một ngưỡng; f là hàm truyền và yk là tín hiệu đầu ra của nơ-ron. Như vậy nơ-ron nhân tạo nhận các tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu được rồi gửi kết quả tới hàm truyền) và cho một tín hiệu đầu ra (là kết quả của hàm truyền). 19 Hàm truyền (hàm kích hoạt hay hàm chuyển đổi) 𝑓 tính toán đầu ra của một nơ-ron để chuyển đến lớp tiếp theo trong mạng nơ-ron. Hàm kích hoạt phi tuyến được sử dụng vì mạng chỉ sử dụng các hàm kích hoạt tuyến tính có thể lược giản thông qua các biến đổi đại số thành mô hình perceptron một lớp (là mô hình ANN đơn giản nhất, không có lớp ẩn).

Một số hàm kích hoạt phi tuyến thường dùng là ReLU (Rectified Linear Unit), Sigmoid, Logistic, Gaussian, Tanh, Softmax (Hình 2.3: Đồ thị các hàm kích hoạt: (a).Hàm Sigmoid Kết quả xử lý đầu ra hàm tổng của nơ-ron đôi khi quá lớn, hàm kích hoạt thường dùng để xử lý đầu ra này trước khi chuyển đến lớp tiếp theo. Đôi khi thay vì sử dụng hàm kích hoạt thì thường sử dụng giá trị ngưỡng để kiểm soát đầu ra của nơ- ron. Nếu đầu ra của một nơ-ron nhỏ hơn ngưỡng thì sẽ không được chuyển đến lớp tiếp theo. Một số kiểu mạng nơ-ron nhân tạo: Cách thức kết nối các nơ-ron trong mạng xác định kiến trúc (topology) của mạng.

Các nơ-ron trong mạng có thể kết nối đầy đủ (fully connected) tức là mỗi nơ- 21 ron đều được kết nối với tất cả các nơ-ron khác, hoặc kết nối cục bộ (partially connected) chẳng hạn chỉ kết nối giữa các nơ-ron trong các tầng khác nhau. Có hai loại kiến trúc mạng chính: ♦ Tự kết hợp (autoassociative): là mạng có các nơ-ron đầu vào cũng là các nơ- ron đầu ra. Mạng Hopfield là một kiểu mạng tự kết hợp.4: Mạng tự kết hợp ♦ Kết hợp khác kiểu (heteroassociative): là mạng có tập nơ-ron đầu vào và đầu ra riêng biệt. Perceptron, các mạng Perceptron nhiều tầng (Multi Layer Perceptron - MLP), mạng Kohonen, … thuộc loại này.5: Mạng kết hợp khác kiểu Ngoài ra tùy thuộc vào mạng có các kết nối ngược (feedback connections) từ các nơ-ron đầu ra tới các nơ-ron đầu vào hay không, chia ra làm 2 loại kiến trúc mạng.

♦ Kiến trúc truyền thẳng (feedforward architechture): là kiểu kiến trúc mạng không có các kết nối ngược trở lại từ các nơ-ron đầu ra về các nơr-on đầu vào; mạng không lưu lại các giá trị output trước và các trạng thái kích hoạt của nơ-ron. Các mạng nơ-ron truyền thẳng cho phép tín hiệu di chuyển theo một đường duy nhất; từ đầu vào tới đầu ra, đầu ra của một tầng bất kì sẽ không ảnh hưởng tới tầng đó. Các mạng kiểu Perceptron là mạng truyền thẳng.6: Mạng truyền thẳng ♦ Kiến trúc phản hồi (Feedback architecture): là kiểu kiến trúc mạng có các kết nối từ nơ-ron đầu ra tới nơ-ron đầu vào. Mạng lưu lại các trạng thái trước đó, và trạng thái tiếp theo không chỉ phụ thuộc vào các tín hiệu đầu vào mà còn phụ thuộc vào các trạng thái trước đó của mạng.

Mạng Hopfield thuộc loại này.7: Mạng phản hồi Khái niệm học: Học là quá trình thay đổi hành vi của các vật theo một cách nào đó làm cho chúng có thể thực hiện tốt hơn trong tương lai. Một mạng nơ-ron được huyấn luyện sao cho với một tập các vector đầu vào X, mạng có khả năng tạo ra tập các vector đầu ra mong muốn Y của nó. Tập X được sử dụng cho huấn luyện mạng được gọi là tập huấn luyện (training set). Các phần tử x thuộc X được gọi là các mẫu huấn luyện (training example).

Quá trình huấn luyện bản chất là sự thay đổi các trọng số liên kết của mạng. Trong quá trình này, các trọng số của mạng sẽ hội tụ dần tới các giá trị sao cho với mỗi vector đầu vào x từ tập huấn luyện, mạng sẽ cho ra véc-tơ đầu ra y như mong muốn. Có ba phương pháp học phổ biến là học có giám sát (Supervised learning), học không giám sát (Unsupervised learning) và học tăng cường (Reinforcement learning): Học có giám sát: là phương pháp học từ một tập dữ liệu huấn luyện đã biết trước nhãn của dữ liệu cần học và số lớp cần phân loại của bộ dữ liệu được đem đi huấn luyện. Đây là phương pháp học phổ biến nhất trong các phương pháp học của 23 mạng nơ-ron.

Mục đích của phương pháp này là từ tập dữ liệu đã gán nhãn qua quá trình học tạo ra một hàm số thật tốt để khi có dữ liệu mới có thể tính hay dự đoán được nhãn tương ứng của dữ liệu đó. Phương pháp học có giám sát chia ra thành hai loại chính là: - Phân loại (classification): Nếu nhãn của các dữ liệu đầu vào được chia thành một số hữu hạn nhóm. Như các bài toán nhận dạng chữ số viết tay, phân loại hình ảnh, … - Hồi quy (regression): Nếu nhãn của các dữ liệu đầu vào không được chia thành các nhóm mà là một giá trị thực cụ thể. Ví dụ như bài toán dự đoán giá tăng giảm của một mặt hàng nào đó, … Học không giám sát: Là việc học không cần có bất kỳ một sự giám sát nào.

Trong bài toán học không giám sát, tập dữ liệu huấn luyện được cho dưới dạng D = {(x1, x2, ., xn) là véc-tơ đặc trưng của mẫu huấn luyện. Nhiệm vụ của thuật toán là phải phân chia tập dữ liệu D thành các nhóm con, mỗi nhóm chứa các vector đầu vào có đặc trưng giống nhau. Như vậy với học không giám sát, số lớp phân loại chưa được biết trước, và tùy theo tiêu chuẩn đánh giá độ tương tự giữa các mẫu mà có thể có các lớp phân loại khác nhau. Học tăng cường: đôi khi còn được gọi là học “thưởng - phạt” (reward - penalty learning), là sự tổ hợp của cả hai mô hình trên.

Phương pháp này cụ thể như sau: với véc-tơ đầu vào, quan sát véc-tơ đầu ra do mạng tính được. Nếu kết quả được xem là “tốt” thì mạng sẽ được “thưởng” theo nghĩa tăng các trọng số kết nối lên; ngược lại mạng sẽ bị “phạt”, các trọng số kết nối không thích hợp sẽ được giảm xuống. Do đó học tăng cường là học theo nhà phê bình (critic), ngược với học có giám sát là học theo thầy giáo (teacher). Mạng Nơ-ron tích chập Mạng nơ-ron tích chập (CNN - Convolutional Neural Network) là một trong những mô hình Mạng học sâu phổ biến nhất hiện nay, có khả năng nhận dạng và phân loại hình ảnh với độ chính xác rất cao, thậm chí còn tốt hơn con người trong nhiều trường hợp.

Mô hình này đã và đang được phát triển, ứng dụng vào các hệ thống xử lý 24 ảnh lớn của Facebook, Google hay Amazon… cho các mục đích khác nhau như các thuật toán tagging tự động, tìm kiếm ảnh hoặc gợi ý sản phẩm cho người tiêu dùng, … Tích chập được sử dụng đầu tiên trong xử lý tín hiệu số (Signal processing).