I. Giới thiệu về Đồ án Pandora và Tìm kiếm Hình ảnh Thời trang
Đồ án Pandora là một giải pháp tìm kiếm bằng hình ảnh tiên tiến dành riêng cho ngành thời trang. Trong bối cảnh mua sắm trực tuyến ngày càng phát triển, người dùng thường gặp khó khăn khi tìm kiếm sản phẩm bằng văn bản truyền thống. Pandora giải quyết vấn đề này bằng cách cho phép khách hàng tải lên hình ảnh của một mặt hàng mà họ yêu thích, và hệ thống sẽ trả về các sản phẩm tương tự. Công nghệ này được phát triển bởi sinh viên từ Đại học Công nghệ Thông tin, ĐHQG TP.HCM, kết hợp các kỹ thuật học sâu và thị giác máy tính hiện đại. Mục tiêu là nâng cao trải nghiệm người dùng, tiết kiệm thời gian duyệt web và tăng mức độ hài lòng khách hàng khi mua sắm online.
1.1. Lý do chọn đề tài Pandora
Lĩnh vực tìm kiếm hình ảnh vẫn còn chưa được khai phá đầy đủ trong các sàn thương mại điện tử Việt Nam. Các công ty lớn hiếm khi công bố mã nguồn của hệ thống tìm kiếm bằng hình ảnh vì lý do bảo mật. Do đó, việc phát triển một công cụ tìm kiếm hình ảnh thời trang mã nguồn mở giúp sinh viên hiểu rõ hơn về công nghệ này. Ngoài ra, tìm kiếm hình ảnh còn giúp người tiêu dùng tiết kiệm thời gian tìm kiếm sản phẩm mà họ đã thấy nhưng không biết tên gọi.
1.2. Mục tiêu của đồ án
Mục tiêu chính là xây dựng một công cụ tìm kiếm hình ảnh đạt độ chính xác tối thiểu 75% trong nhận dạng vật thể quần áo. Đồ án tập trung vào việc trích xuất đặc trưng từ hình ảnh thời trang, vector hóa dữ liệu và so sánh độ tương đồng. Kết quả cuối cùng là một API Flask và ứng dụng di động Epimetheus, giúp người dùng dễ dàng tìm kiếm sản phẩm thời trang yêu thích.
II. Công nghệ Cốt lõi trong Đồ án Pandora
Đồ án Pandora sử dụng nhiều công nghệ tiên tiến từ lĩnh vực trí tuệ nhân tạo và học sâu. Trung tâm của hệ thống là mạng YOLOv5 (You Only Look Once version 5) - một mô hình nhận dạng vật thể mạnh mẽ và nhanh chóng. Bên cạnh đó, hệ thống sử dụng mạng thần kinh nhân tạo (Neural Network) với các lớp tích chập (Convolutional Layers) để trích xuất đặc trưng từ hình ảnh. Các công nghệ này giúp máy tính hiểu nội dung hình ảnh tương tự như con người. Quá trình hoạt động bao gồm: nhận dạng vị trí quần áo, trích xuất vector đặc trưng, và so sánh độ tương đồng với cơ sở dữ liệu ảo. Kết hợp với API Flask và xử lý dữ liệu tối ưu, Pandora có khả năng xử lý các yêu cầu tìm kiếm hình ảnh thực tế.
2.1. Mạng YOLO và nhận dạng vật thể
YOLOv5 là một kiến trúc mạng học sâu hiệu quả cho nhận dạng vật thể trong hình ảnh. Khác với các phương pháp cũ, YOLO xử lý toàn bộ hình ảnh một lần duy nhất, thay vì chia nhỏ. Mô hình này sử dụng các lớp tích chập để tự động học các đặc trưng từ dữ liệu hình ảnh. Intersection Over Union (IOU) được sử dụng để đánh giá độ chính xác của bounding box. Với kiến trúc tối ưu, YOLOv5 giúp Pandora xác định chính xác vị trí quần áo trong ảnh do người dùng tải lên.
2.2. Vector hóa hình ảnh và trích xuất đặc trưng
Sau khi nhận dạng vị trí quần áo, Pandora chuyển đổi hình ảnh thành vector - biểu diễn số học của đặc trưng hình ảnh. Quá trình này sử dụng mạng thần kinh sâu để tự động phát hiện các đặc trưng như màu sắc, kết cấu, hình dạng. Các vector này được lưu trữ trong cơ sở dữ liệu ảo. Khi tìm kiếm, hệ thống so sánh vector của hình ảnh truy vấn với các vector trong cơ sở dữ liệu, trả về sản phẩm có độ tương đồng cao nhất.
III. Kiến trúc và Quy trình Thực hiện Pandora
Quy trình thực hiện đồ án Pandora bao gồm 8 bước chính từ nghiên cứu đến triển khai. Đầu tiên, nhóm phải tìm kiếm tài liệu tham khảo từ các nghiên cứu về tìm kiếm hình ảnh và nhận dạng vật thể. Tiếp theo là thu thập và xử lý dữ liệu quần áo, bao gồm việc gán nhãn các hình ảnh để huấn luyện mô hình. Bước quan trọng tiếp theo là huấn luyện mô hình YOLOv5 trên Google Colab để nhận dạng quần áo. Sau đó, xây dựng mô hình trích xuất đặc trưng và cơ sở dữ liệu ảo. Cuối cùng, tạo API Flask để kết nối backend với ứng dụng di động Epimetheus. Toàn bộ quy trình đòi hỏi sự phối hợp chặt chẽ giữa các thành viên nhóm và việc thử nghiệm liên tục.
3.1. Thu thập và xử lý dữ liệu
Thu thập dữ liệu là bước đầu tiên và quan trọng nhất. Nhóm phải thu thập hàng nghìn hình ảnh quần áo từ nhiều nguồn khác nhau. Sau đó, dữ liệu được gán nhãn (labeling) để xác định vị trí quần áo trong mỗi hình ảnh bằng bounding box. Xử lý dữ liệu bao gồm chuẩn hóa kích thước hình ảnh, chia dữ liệu thành tập training, validation và test, để đảm bảo mô hình học được tốt.
3.2. Huấn luyện mô hình và triển khai API
Mô hình YOLOv5 được huấn luyện trên Google Colab sử dụng GPU để tăng tốc độ xử lý. Mô hình trích xuất đặc trưng sau đó được xây dựng dựa trên mạng thần kinh sâu. Khi hoàn thành, toàn bộ hệ thống được đóng gói thành API Flask - một framework Python để xây dựng web service. API này kết nối giữa ứng dụng di động Epimetheus và cơ sở dữ liệu ảu, cho phép người dùng gửi hình ảnh và nhận kết quả tìm kiếm.
IV. Ưu điểm Hạn chế và Triển vọng Phát triển
Đồ án Pandora có nhiều ưu điểm vượt trội so với tìm kiếm văn bản truyền thống. Hệ thống cho phép người dùng tìm kiếm sản phẩm thời trang bằng hình ảnh trực quan, giúp tiết kiệm thời gian đáng kể. Công cụ này đặc biệt hữu ích khi khách hàng không biết tên hoặc mô tả chính xác của sản phẩm. Tuy nhiên, Pandora vẫn có những hạn chế hiện tại. Độ chính xác chỉ đạt 75% - chưa bằng các công cụ thương mại của các sàn TMĐT lớn. Bộ dữ liệu được gán nhãn còn hạn chế, mô hình chưa được huấn luyện trên quy mô lớn. Ngoài ra, hệ thống hiện chỉ tập trung vào quần áo, chưa mở rộng sang các loại sản phẩm khác. Trong tương lai, nhóm dự định mở rộng cơ sở dữ liệu, cải thiện độ chính xác mô hình, và phát triển tính năng tìm kiếm theo nhiều tiêu chí (màu sắc, kiểu dáng, kích cỡ).
4.1. Ưu điểm chính của Pandora
Ưu điểm lớn nhất của Pandora là khả năng tìm kiếm bằng hình ảnh trực quan, không cần mô tả văn bản. Hệ thống sử dụng công nghệ học sâu tiên tiến, cho phép máy tính hiểu nội dung hình ảnh. Giao diện di động dễ sử dụng giúp mọi người có thể truy cập dễ dàng. Công cụ này tiết kiệm thời gian đáng kể cho người dùng khi mua sắm online, đặc biệt là trong lĩnh vực thời trang phát triển nhanh chóng.
4.2. Hạn chế và kế hoạch phát triển tương lai
Hạn chế chính của Pandora là độ chính xác 75%, bộ dữ liệu hạn chế, và phạm vi chỉ giới hạn quần áo. Để vượt qua, nhóm kế hoạch mở rộng cơ sở dữ liệu lên hàng trăm nghìn hình ảnh, cải thiện kiến trúc mô hình, và phát triển tìm kiếm theo tiêu chí đa chiều như màu sắc, kiểu dáng, giá cả.
