Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh bùng nổ của thương mại điện tử và các kênh mua sắm trực tuyến, các doanh nghiệp kinh doanh siêu thị truyền thống đang phải đối mặt với áp lực cạnh tranh gay gắt. Hoạt động quảng cáo đóng vai trò thiết yếu trong việc thúc đẩy doanh số, tuy nhiên phương thức quảng cáo truyền thống tại điểm bán đang bộc lộ nhiều hạn chế do sự bão hòa của thị trường và tính đại trà, thiếu khả năng hướng trúng đối tượng mục tiêu. Khách hàng hiện đại ngày càng kỳ vọng nhận được các thông điệp quảng cáo phù hợp với nhu cầu, sở thích và đặc điểm cá nhân. Nhằm giải quyết bài toán tiếp cận và giữ chân khách hàng, việc ứng dụng trí tuệ nhân tạo (AI), học máy (Machine Learning) và thị giác máy tính (Computer Vision) để chuyển đổi sang mô hình quảng cáo thông minh là yêu cầu cấp thiết.

Khóa luận của tác giả Nguyễn Thị Nhật Loan hướng đến việc giải quyết vấn đề nhận diện đặc điểm nhân khẩu học của khách hàng tại siêu thị theo thời gian thực nhằm tự động hóa quy trình phân phối nội dung quảng cáo.

Mục tiêu tổng quát của đề tài là xây dựng thành công hệ thống đề xuất quảng cáo tự động dựa trên mô hình nhận diện và phân loại giới tính, khoảng độ tuổi của người theo thời gian thực.

Các mục tiêu cụ thể được xác định bao gồm:

  1. Tìm hiểu kiến thức và một số ứng dụng về học máy.
  2. Tìm hiểu kiến thức và một số ứng dụng về học sâu.
  3. Tìm hiểu và vận dụng ngôn ngữ lập trình Python cho học máy.
  4. Thu thập và xây dựng bộ dữ liệu phù hợp hỗ trợ việc huấn luyện mô hình phát hiện và nhận diện khuôn mặt, dự đoán giới tính và khoảng độ tuổi của người theo thời gian thực.
  5. Tìm hiểu kiến thức về mô hình phát hiện và phân loại đối tượng You Only Look Once (YOLO), và ứng dụng mô hình YOLO để phát hiện, phân loại đối tượng ở từng khoảng độ tuổi và giới tính trong ảnh và khung hình video.
  6. Tìm hiểu kiến thức về thuật toán theo dõi đối tượng Deep Simple Online Realtime Tracking (DeepSORT), và ứng dụng thuật toán DeepSORT kết hợp với mô hình học sâu YOLO để xác định, theo dõi các đối tượng có trong khung hình được đọc liên tục từ video.
  7. Tìm hiểu sơ lược về hành vi và tâm lý của khách hàng theo giới tính và khoảng độ tuổi, dựa vào số lượng đối tượng theo dõi có trong khung hình để xây dựng phương pháp đề xuất quảng cáo phù hợp với từng trường hợp.
  8. Kiểm tra, đánh giá độ chính xác của mô hình nhận diện giới tính và khoảng độ tuổi đã xây dựng thông qua việc tiến hành thực nghiệm cho hệ thống nhận diện đối tượng trong khung hình và đề xuất video quảng cáo.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các kiến thức, kỹ thuật về học máy, học sâu, mô hình mạng nơ-ron tích chập (CNN), kiến trúc YOLO, thuật toán theo dõi DeepSORT, ngôn ngữ lập trình Python; phương pháp xây dựng bộ dữ liệu hình ảnh khuôn mặt; hành vi và tâm lý khách hàng theo giới tính, độ tuổi; phương pháp đề xuất video quảng cáo phù hợp.
  • Phạm vi không gian: Nghiên cứu và thực nghiệm được tiến hành tại Thừa Thiên Huế.
  • Phạm vi thời gian: Từ ngày 01/10/2023 đến ngày 07/01/2024.
  • Giả định và điều kiện bài toán: Hệ thống yêu cầu phần cứng gồm thiết bị thu nhận dữ liệu (camera máy tính hoặc video truyền vào), thiết bị xử lý trung tâm (máy tính) và màn hình hiển thị kết quả cùng video quảng cáo. Điều kiện lý tưởng để nhận diện là camera ghi nhận được hình ảnh đối tượng ở hướng chính diện, rõ mặt, tốc độ di chuyển của đối tượng ở mức tối thiểu, không gian không quá rộng và kích thước khuôn mặt đối tượng không quá nhỏ so với khung hình.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của khóa luận tập trung vào lĩnh vực thị giác máy tính và học sâu phục vụ bài toán phát hiện đối tượng (Object Detection) và theo dõi đa đối tượng (Multiple Object Tracking - MOT):

  • Mạng nơ-ron tích chập (CNN): Cấu trúc xử lý ảnh gồm các lớp tích chập (Convolutional layer) với các tham số bước nhảy (stride), lớp đệm (padding) để trích xuất bản đồ đặc trưng (feature map); lớp kích hoạt phi tuyến ReLU ($f(x) = \max(0, x)$) nhằm loại bỏ giá trị âm; lớp tổng hợp (Pooling layer gồm Max Pooling và Average Pooling) giúp giảm kích thước không gian; lớp kết nối đầy đủ (Fully connected layer) kết hợp hàm Softmax để xuất xác suất phân loại.
  • Phương pháp phát hiện đối tượng một giai đoạn (One-stage Detector): Tác giả đối chiếu giữa phương pháp hai giai đoạn (Faster R-CNN sử dụng mạng đề xuất vùng RPN và RoI pooling) với phương pháp một giai đoạn (YOLO, SSD, RetinaNet). Mô hình một giai đoạn được lựa chọn nhằm tối ưu hóa tốc độ xử lý thời gian thực bằng cách bỏ qua bước tạo đề xuất vùng riêng biệt.
  • Kiến trúc YOLO (You Only Look Once): Nguyên lý hoạt động dựa trên việc chia ảnh đầu vào thành lưới $S \times S$. Mỗi ô lưới dự đoán $B$ hộp giới hạn (bounding box) gồm tọa độ $(x, y, w, h)$, điểm tin cậy (confidence score) và phân phối xác suất lớp $C$. Mô hình áp dụng kỹ thuật hộp neo (anchor boxes) đa kích thước trên nhiều bản đồ đặc trưng, chỉ số trùng lặp IoU (Intersection Over Union), thuật toán triệt tiêu phi cực đại (Non-Maximum Suppression - NMS) để lọc các khung trùng lặp, cùng hàm mất mát tổng hợp giữa mất mát vị trí hộp và mất mát phân loại.
  • Thuật toán theo dõi DeepSORT: Phát triển từ SORT, giải quyết bài toán duy trì định danh (ID tracking) bằng cách kết hợp bộ lọc Kalman Filter để dự đoán quỹ đạo chuyển động, giải thuật Hungary (Hungarian algorithm) để giải bài toán phân công với ma trận chi phí IoU, và trích xuất vector đặc trưng ngoại hình bằng mạng học sâu để đo khoảng cách Cosine, duy trì đối sánh liên tục qua các trạng thái thăm dò (Tentative) và xác nhận (Confirmed).
  • Lý thuyết hành vi người tiêu dùng: Sử dụng mô hình nghiên cứu tâm lý IAO (Interest - Hoạt động, Activities - Sở thích, Opinions - Ý kiến) để phân nhóm nhu cầu khách hàng theo độ tuổi và giới tính làm căn cứ ánh xạ nội dung quảng cáo.

Phương pháp nghiên cứu thực nghiệm được triển khai theo quy trình:

  • Phương pháp xây dựng tập dữ liệu: Thu thập ảnh khuôn mặt từ tập dữ liệu công khai UTKface, tiến hành gán nhãn thủ công thông qua công cụ trực tuyến Make Sense, định dạng nhãn theo chuẩn YOLO (.txt) chứa tọa độ chuẩn hóa và lớp đối tượng.
  • Phương pháp huấn luyện: Thiết lập mô hình YOLOv5 trên nền tảng đám mây Google Colab, tận dụng tài nguyên tính toán GPU/TPU và lưu trữ Google Drive.
  • Phương pháp tích hợp hệ thống: Kết hợp đầu ra nhận diện từ YOLOv5 với thuật toán DeepSORT để duy trì ID của từng cá nhân trong luồng video.
  • Phương pháp đề xuất: Xây dựng quy tắc logic lựa chọn thư mục video quảng cáo tương ứng dựa trên nhóm giới tính và độ tuổi chiếm ưu thế hoặc đơn lẻ được phát hiện trước camera.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo mô hình xử lý luồng dữ liệu thời gian thực khép kín, tích hợp từ khâu thu nhận hình ảnh đến khâu điều khiển hiển thị nội dung:

  1. Kiến trúc luồng dữ liệu và xử lý:
  • Đầu vào: Luồng khung hình video thu nhận trực tiếp từ camera gắn tại khu vực quảng cáo hoặc tệp video mô phỏng môi trường siêu thị.
  • Khối xử lý thị giác máy tính: Khung hình được đưa qua mô hình YOLOv5 để phát hiện vị trí khuôn mặt và phân loại thuộc tính (nhãn kết hợp giữa giới tính và khoảng độ tuổi). Tọa độ bounding box cùng vector phân loại được chuyển tiếp tới khối DeepSORT.
  • Khối theo dõi và đếm đối tượng (DeepSORT): Sử dụng bộ lọc Kalman để cập nhật trạng thái di chuyển, gán ID duy nhất cho mỗi khách hàng, loại bỏ các trường hợp nhận diện chập chờn bằng cơ chế xác nhận sau 3 khung hình liên tiếp và lưu vết trong 30 khung hình tiếp theo.
  • Khối quyết định đề xuất: Dựa trên số lượng ID và thông tin nhãn nhận diện hiện diện trong vùng quan sát, bộ điều khiển logic lựa chọn tệp video quảng cáo phù hợp trong cơ sở dữ liệu đã phân loại sẵn.
  • Đầu ra: Màn hình hiển thị phát video quảng cáo mục tiêu đồng thời hiển thị giao diện kiểm tra bounding box, nhãn độ tuổi/giới tính và mã ID theo dõi.
  1. Công nghệ và môi trường triển khai:
  • Ngôn ngữ lập trình: Python.
  • Nền tảng huấn luyện và tài nguyên phần cứng: Nền tảng Google Colab cung cấp môi trường Jupyter Notebook trực tuyến, sử dụng bộ xử lý đồ họa GPU để tối ưu tốc độ huấn luyện mô hình học sâu. Dữ liệu và trọng số mô hình được đồng bộ thông qua Google Drive.
  • Công cụ chuẩn bị dữ liệu: Công cụ gán nhãn Make Sense dùng để định vị bounding box khuôn mặt và xuất nhãn nhị phân/đa lớp dưới dạng văn bản tọa độ tương đối.
  • Nguồn dữ liệu huấn luyện: Tập dữ liệu ảnh khuôn mặt UTKface, bao gồm các biến thể về độ tuổi, giới tính và sắc tộc.
  • Cấu trúc dữ liệu quảng cáo: Các video quảng cáo được phân loại và lưu trữ theo từng thư mục tương ứng với từng nhóm khách hàng mục tiêu đã định nghĩa trong mô hình.

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết

Chương 1 hệ thống hóa toàn bộ nền tảng lý luận làm cơ sở kỹ thuật và nghiệp vụ cho việc phát triển hệ thống:

  • Trình bày tổng quan về học máy và học sâu: Làm rõ cơ chế học từ dữ liệu, phân biệt học có giám sát, không giám sát, bán giám sát và học củng cố; điểm lại các ứng dụng tiêu biểu như hệ thống nhận dạng giọng nói MAVIS của Microsoft, tìm kiếm ảnh Google, hệ thống AlphaGo, Deep Dream và Deep Text của Facebook.
  • Phân tích các tác vụ thị giác máy tính: Phân biệt ranh giới kỹ thuật giữa phân loại ảnh (Image Classification), định vị vật thể (Object Localization) và phát hiện đối tượng (Object Detection).
  • So sánh các kiến trúc phát hiện đối tượng: Phân tích cơ chế hai giai đoạn (Faster R-CNN với mạng RPN, RoI pooling) và cơ chế một giai đoạn (YOLO, RetinaNet, SSD), nêu rõ lý do chọn kiến trúc một giai đoạn cho bài toán thời gian thực tại siêu thị.
  • Trình bày chi tiết mạng nơ-ron tích chập (CNN) và kiến trúc YOLO: Mô tả chức năng toán học của các lớp tích chập, hàm kích hoạt ReLU, lớp Max/Average Pooling, lớp kết nối đầy đủ; phân tích chi tiết kiến trúc Darknet của YOLO gồm 24 lớp tích chập và 2 lớp kết nối đầy đủ, cơ chế dự báo trên 3 tỷ lệ bản đồ đặc trưng (kích thước $13 \times 13$, $26 \times 26$, $52 \times 52$ tương ứng với ảnh đầu vào $416 \times 416$), cơ chế hộp neo (anchor box), công thức chỉ số IoU và thuật toán Non-Maximum Suppression (NMS).
  • Phân tích thuật toán theo dõi DeepSORT: Trình bày quy trình 6 bước trong luồng xử lý bài toán MOT, việc ứng dụng bộ lọc Kalman Filter và giải thuật Hungary để gán định danh ổn định.
  • Cơ sở tâm lý khách hàng: Khái quát hóa hành vi tiêu dùng theo độ tuổi và giới tính thông qua mô hình IAO (Interest, Activities, Opinions).

Chương 2: Xây dựng hệ thống đề xuất quảng cáo tự động tại siêu thị dựa trên mô hình nhận diện, phân loại giới tính và khoảng độ tuổi

Chương 2 mô tả chi tiết phương pháp xây dựng, cấu hình và huấn luyện hệ thống:

  • Thiết lập quy trình tổng thể từ thu thập dữ liệu, huấn luyện mô hình đến cơ chế kích hoạt hiển thị video.
  • Xây dựng bộ dữ liệu: Trích xuất và chọn lọc hình ảnh từ tập dữ liệu UTKface. Thực hiện gán nhãn cho các nhóm giới tính và khoảng độ tuổi thông qua công cụ Make Sense, chuyển đổi thành tệp văn bản (.txt) tương thích với YOLOv5. Dữ liệu sau đó được phân chia thành tập huấn luyện (training set) và tập kiểm định (validation set).
  • Huấn luyện mô hình YOLOv5: Cấu hình tệp tham số, thiết lập kết nối Google Drive trên giao diện Google Colab, thực thi các lệnh cài đặt thư viện và tiến hành quá trình tối ưu hóa qua các epoch.
  • Tích hợp mô hình DeepSORT: Thiết lập thuật toán liên kết hộp giới hạn nhận diện được từ YOLOv5 với các track định danh, đảm bảo việc theo dõi không bị trùng lặp khi đối tượng di chuyển trong khung hình.
  • Thiết kế cơ chế đề xuất: Thiết lập logic phân tích dữ liệu đầu ra từ khối theo dõi, kiểm tra điều kiện nhóm đối tượng xuất hiện trước camera để tự động truy xuất và phát video quảng cáo tương ứng từ cấu trúc thư mục video đã phân loại.

Chương 3: Kết quả thực nghiệm và kiểm thử độ hiệu quả của mô hình

Chương 3 công bố các dữ liệu thực nghiệm và kết quả kiểm định hiệu năng của hệ thống:

  • Đánh giá định lượng mô hình phát hiện và phân loại: Trình bày diễn biến đồ thị hàm mất mát (loss function) trong quá trình huấn luyện và kiểm định; phân tích ma trận nhầm lẫn (confusion matrix) giữa các lớp đối tượng giới tính và độ tuổi; đo lường các chỉ số Precision, Recall, F1-score và độ chính xác mAP.
  • Thực nghiệm phát hiện đối tượng: Tiến hành thử nghiệm nhận diện trực tiếp qua camera máy tính trong 3 lần độc lập và thử nghiệm qua các tệp video mẫu trong 4 lần độc lập để đánh giá tính ổn định trong việc tạo bounding box và gán nhãn.
  • Thực nghiệm hệ thống đề xuất quảng cáo tự động: Kiểm thử khả năng hiển thị video quảng cáo tương ứng với kết quả nhận dạng từ camera (2 lần thực nghiệm) và từ video truyền vào (2 lần thực nghiệm), xác nhận hệ thống có khả năng chuyển đổi video quảng cáo tự động theo nhóm đối tượng xuất hiện.

Kết quả và đóng góp

Khóa luận đã hoàn thành các nội dung nghiên cứu và triển khai thực nghiệm với các kết quả cụ thể được ghi nhận trong văn bản:

  1. Kết quả kỹ thuật của mô hình học sâu:
  • Mô hình nhận diện và phân loại giới tính, khoảng độ tuổi đạt chỉ số đánh giá hiệu suất tổng thể là 82.5% trên tập dữ liệu kiểm định.
  • Các chỉ số chất lượng phân loại bao gồm độ chuẩn xác (Precision), độ thu hồi (Recall) và điểm F1 (F1-score) đạt mức trung bình là 77%.
  • Đồ thị hàm mất mát qua các epoch cho thấy mô hình hội tụ ổn định, ma trận nhầm lẫn phản ánh tỷ lệ phân loại chính xác giữa các nhóm giới tính và độ tuổi mục tiêu.
Chỉ số đánh giá Kết quả đạt được trên tập kiểm định
Hiệu suất tổng thể (Overall Performance) 82.5%
Độ chuẩn xác trung bình (Average Precision) 77.0%
Độ thu hồi trung bình (Average Recall) 77.0%
Điểm F1 trung bình (Average F1-score) 77.0%
  1. Đóng góp của đề tài:
  • Xây dựng thành công hệ sinh thái tích hợp hoàn chỉnh gồm mô hình phát hiện một giai đoạn YOLOv5, thuật toán theo dõi đa đối tượng DeepSORT và mô-đun đề xuất quảng cáo theo thời gian thực.
  • Cung cấp giải pháp kỹ thuật có tính ứng dụng thực tiễn cho các doanh nghiệp bán lẻ/siêu thị nhằm chuyển đổi mô hình quảng cáo truyền thống sang quảng cáo thông minh hướng đối tượng.
  • Hệ thống có khả năng vận hành trên các thiết bị phần cứng sẵn có (máy tính thông thường và camera giám sát), giúp tối ưu hóa chi phí đầu tư ban đầu cho doanh nghiệp mà vẫn đảm bảo khả năng tiếp cận khách hàng mục tiêu tại điểm bán.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận nêu rõ các hạn chế kỹ thuật và phạm vi thực nghiệm:

  • Điều kiện hoạt động tối ưu của hệ thống còn phụ thuộc chặt chẽ vào các giả định lý tưởng: Camera phải thu thập được khuôn mặt ở góc nhìn chính diện, điều kiện ánh sáng rõ ràng, đối tượng có tốc độ di chuyển chậm hoặc đứng yên, khoảng cách từ camera đến khách hàng không quá xa và kích thước khuôn mặt trong khung hình không quá nhỏ.
  • Phạm vi nghiên cứu và kiểm thử thực tế mới chỉ dừng lại ở quy mô thực nghiệm tại Thừa Thiên Huế trong khoảng thời gian từ tháng 10/2023 đến tháng 01/2024, sử dụng cấu hình phần cứng thử nghiệm đơn lẻ (camera máy tính).

Các hướng phát triển tiếp theo được đề xuất bao gồm:

  • Mở rộng quy mô và tính đa dạng của bộ dữ liệu huấn luyện để nâng cao độ chính xác khi nhận diện trong điều kiện thực tế phức tạp (khách hàng di chuyển nhanh, bị che khuất một phần, góc quay nghiêng hoặc môi trường ánh sáng thay đổi).
  • Nâng cấp mô hình nhằm phân tích sâu hơn các thuộc tính hành vi, cảm xúc của khách hàng đối với từng nội dung quảng cáo được phát.
  • Tối ưu hóa thuật toán để triển khai trên các thiết bị phần cứng nhúng chuyên dụng tại các chuỗi siêu thị quy mô lớn.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho:

  • Sinh viên, học viên thuộc các ngành Hệ thống thông tin quản lý, Khoa học dữ liệu, Trí tuệ nhân tạo và Công nghệ thông tin đang thực hiện đồ án, khóa luận về ứng dụng thị giác máy tính trong kinh doanh và tiếp thị.
  • Các nhà nghiên cứu và kỹ sư quan tâm đến phương pháp kết hợp giữa mô hình phát hiện đối tượng YOLO (cụ thể là YOLOv5) và thuật toán theo dõi DeepSORT để giải quyết bài toán theo dõi đa đối tượng (MOT) theo thời gian thực.
  • Các đơn vị phát triển giải pháp bán lẻ thông minh (Smart Retail), cung cấp quy trình mẫu từ thu thập dữ liệu ảnh khuôn mặt, gán nhãn, huấn luyện mô hình đến xây dựng cơ chế đề xuất nội dung tự động dựa trên nhân khẩu học.

Câu hỏi thường gặp

  1. Khóa luận sử dụng phiên bản YOLO nào và huấn luyện trên môi trường nào? Khóa luận sử dụng phiên bản YOLOv5 để huấn luyện mô hình nhận diện và phân loại nhóm giới tính, khoảng độ tuổi. Toàn bộ quá trình huấn luyện được thực thi trên nền tảng đám mây Google Colab, kết nối lưu trữ với Google Drive và sử dụng tài nguyên xử lý đồ họa GPU.

  2. Thuật toán DeepSORT đảm nhận vai trò gì trong hệ thống? DeepSORT đảm nhận nhiệm vụ theo dõi đa đối tượng (MOT) theo thời gian thực. Sau khi YOLO phát hiện vị trí các khuôn mặt trong từng khung hình, DeepSORT sử dụng bộ lọc Kalman Filter và khoảng cách Cosine từ vector đặc trưng học sâu kết hợp giải thuật Hungary để gán và duy trì định danh (ID) duy nhất cho từng khách hàng, tránh việc hệ thống nhận diện và đếm trùng lặp khi khách hàng di chuyển.

  3. Dữ liệu hình ảnh dùng để huấn luyện mô hình nhận diện được thu thập và xử lý từ nguồn nào? Dữ liệu hình ảnh được tác giả trích xuất từ tập dữ liệu khuôn mặt công khai UTKface. Dữ liệu sau đó được gán nhãn thủ công về giới tính và khoảng độ tuổi bằng công cụ Make Sense, xuất ra các tệp định dạng .txt tương thích với chuẩn đầu vào của YOLOv5 và phân chia thành hai tập huấn luyện và kiểm định.

  4. Hiệu suất của mô hình nhận diện và phân loại đạt được ở mức bao nhiêu? Theo công bố của khóa luận, mô hình nhận diện và phân loại giới tính, khoảng độ tuổi đạt chỉ số đánh giá hiệu suất tổng thể là 82.5% trên tập dữ liệu kiểm định. Các chỉ số Precision (độ chuẩn xác), Recall (độ thu hồi) và F1-score đạt mức trung bình là 77%.

  5. Hệ thống đề xuất nội dung quảng cáo dựa trên cơ chế nào? Hệ thống sử dụng mô hình theo dõi để phát hiện và đếm số lượng đối tượng hiện diện trước camera, xác định nhãn giới tính và độ tuổi của đối tượng. Dựa trên bộ quy tắc tiêu chí đã xây dựng từ hành vi khách hàng (mô hình IAO), hệ thống tự động truy xuất và phát tệp video tương ứng từ các thư mục quảng cáo đã được phân loại sẵn.

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Thị Nhật Loan đã thiết kế và triển khai thành công hệ thống tự động hóa quảng cáo tại siêu thị dựa trên sự kết hợp giữa mô hình học sâu YOLOv5 và thuật toán theo dõi DeepSORT. Mô hình đạt hiệu suất 82.5% cùng điểm F1 trung bình 77% trên tập kiểm định, chứng minh tính khả thi của giải pháp nhận diện nhân khẩu học theo thời gian thực. Kết quả nghiên cứu cung cấp một mô hình ứng dụng công nghệ thông tin và trí tuệ nhân tạo cụ thể, giúp các doanh nghiệp bán lẻ tối ưu hóa hoạt động tiếp thị hướng đối tượng với chi phí phần cứng tiết kiệm.