Phát Hiện Ô Trống Trên Kệ Hàng: Nghiên Cứu và Ứng Dụng

Khóa luận trình bày phương pháp phát hiện ô trống trên kệ hàng bằng kỹ thuật phát hiện đối tượng trong lĩnh vực khoa học máy tính.

• Tác giả: Nguyen Hoang Trung
• Người hướng dẫn: PGS. Le Dinh Duy
• Trường học: Đại Học Quốc Gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Phát Hiện Ô Trống Trên Kệ Hàng: Nghiên Cứu và Ứng Dụng
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2020
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu bài toán
• 1.2. Một số thách thức của bài toán và phương pháp giải quyết đã biết
• 1.3. Mục tiêu, phạm vi và đóng góp của khóa luận
• 1.4. Đóng góp của khóa luận
• 1.5. Cấu trúc khóa luận
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Mô hình phát hiện vật thể YOLO
• 2.2. Mô hình phát hiện vật thể EfficientDet
• 2.3. Một số kỹ thuật liên quan
• 3. CHƯƠNG 3: ÁP DỤNG CÁC PHƯƠNG PHÁP PHÁT HIỆN VẬT THỂ CHO BÀI TOÁN PHÁT HIỆN Ô TRỐNG TRÊN KỆ
• 3.1. Tập dữ liệu UIT-OOS
• 3.2. Chi tiết bộ dữ liệu
• 3.3. Xây dựng bộ dữ liệu
• 3.4. Quy ước gán nhãn
• 3.5. Những trường hợp không gán nhãn
• 3.6. Áp dụng các mô hình phát hiện vật thể
• 3.7. Lựa chọn các mô hình
• 3.8. Huấn luyện mô hình YOLO v4
• 3.9. Huấn luyện mô hình EfficientDet
• 3.10. Áp dụng Learning Rate Scheduler vào quá trình huấn luyện
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Độ đo phổ biến trong bài toán phát hiện đối tượng
• 4.2. Precision và Recall
• 4.3. Kết quả thực nghiệm
• 4.4. Huấn luyện YOLO v4 và EfficientDet
• 4.5. Các trường hợp khó của bài toán
• 5. CHƯƠNG 5: ỨNG DỤNG MINH HỌA
• 5.1. Một số hình ảnh từ chương trình minh họa
• 5.2. Hướng phát triển
• 6. CHƯƠNG 6: KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phát Hiện Ô Trống Trên Kệ Hàng

Phát hiện ô trống trên kệ hàng là một vấn đề quan trọng trong quản lý kho và bán lẻ. Việc thiếu hụt hàng hóa không chỉ ảnh hưởng đến doanh thu mà còn làm giảm sự hài lòng của khách hàng. Nghiên cứu này tập trung vào việc áp dụng công nghệ hiện đại để phát hiện các ô trống trên kệ hàng, từ đó giúp các nhà quản lý có thể đưa ra quyết định kịp thời.

1.1. Định Nghĩa Ô Trống Trên Kệ Hàng

Ô trống trên kệ hàng được định nghĩa là các vùng trống không có hàng hóa. Việc phát hiện chính xác các ô trống này giúp cải thiện hiệu suất quản lý kho và tăng cường trải nghiệm mua sắm của khách hàng.

1.2. Tầm Quan Trọng Của Việc Phát Hiện Ô Trống

Việc phát hiện ô trống kịp thời giúp các nhà quản lý kho có thể bổ sung hàng hóa nhanh chóng, từ đó giảm thiểu tình trạng thiếu hàng và tăng cường doanh thu.

II. Thách Thức Trong Việc Phát Hiện Ô Trống Trên Kệ Hàng

Mặc dù có nhiều công nghệ hiện đại, việc phát hiện ô trống vẫn gặp phải nhiều thách thức. Các phương pháp truyền thống thường không đủ chính xác và không thể phân biệt giữa các vùng trống có hàng và không có hàng.

2.1. Thiếu Dữ Liệu Để Huấn Luyện Mô Hình

Một trong những thách thức lớn nhất là thiếu hụt bộ dữ liệu hình ảnh có gán nhãn cho ô trống. Điều này làm cho việc huấn luyện mô hình trở nên khó khăn và không hiệu quả.

2.2. Khó Khăn Trong Việc Phân Biệt Các Vùng Trống

Nhiều phương pháp hiện tại không thể phân biệt chính xác giữa các vùng trống cần phát hiện và các vùng không liên quan, dẫn đến kết quả không chính xác.

III. Phương Pháp Phát Hiện Ô Trống Trên Kệ Hàng Hiệu Quả

Để giải quyết vấn đề phát hiện ô trống, nghiên cứu này áp dụng các mô hình học sâu như YOLO và EfficientDet. Những mô hình này đã chứng minh được hiệu quả trong việc phát hiện đối tượng trong các bức ảnh phức tạp.

3.1. Mô Hình YOLO Trong Phát Hiện Ô Trống

YOLO (You Only Look Once) là một trong những mô hình phát hiện đối tượng nhanh nhất hiện nay. Mô hình này chia bức ảnh thành các ô và dự đoán vị trí của các vật thể trong thời gian thực.

3.2. Mô Hình EfficientDet Và Lợi Thế Của Nó

EfficientDet là một mô hình phát hiện đối tượng tối ưu hóa về độ chính xác và tốc độ. Mô hình này giúp giảm thiểu số lượng tính toán cần thiết mà vẫn đảm bảo độ chính xác cao.

IV. Ứng Dụng Thực Tiễn Của Phát Hiện Ô Trống Trên Kệ Hàng

Nghiên cứu này không chỉ dừng lại ở lý thuyết mà còn có ứng dụng thực tiễn trong các siêu thị và cửa hàng. Việc phát hiện ô trống giúp cải thiện quy trình quản lý kho và tăng cường trải nghiệm khách hàng.

4.1. Tăng Cường Hiệu Quả Quản Lý Kho

Các nhà quản lý có thể sử dụng công nghệ phát hiện ô trống để theo dõi tình trạng hàng hóa trên kệ, từ đó đưa ra quyết định bổ sung hàng hóa kịp thời.

4.2. Cải Thiện Trải Nghiệm Khách Hàng

Khi hàng hóa luôn có sẵn trên kệ, khách hàng sẽ có trải nghiệm mua sắm tốt hơn, từ đó tăng cường sự trung thành với thương hiệu.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Nghiên cứu này đã chỉ ra rằng việc phát hiện ô trống trên kệ hàng là một vấn đề quan trọng và cần thiết. Các công nghệ hiện đại như YOLO và EfficientDet có thể giúp giải quyết vấn đề này một cách hiệu quả.

5.1. Tóm Tắt Kết Quả Nghiên Cứu

Kết quả nghiên cứu cho thấy rằng việc áp dụng các mô hình học sâu có thể cải thiện đáng kể độ chính xác trong việc phát hiện ô trống trên kệ hàng.

5.2. Hướng Phát Triển Trong Tương Lai

Trong tương lai, cần tiếp tục nghiên cứu và phát triển các mô hình mới, cũng như xây dựng các bộ dữ liệu phong phú hơn để nâng cao hiệu quả của việc phát hiện ô trống.

Nội dung chính

Giới thiệu dự án

Tình trạng thiếu hụt hàng hóa trên kệ trưng bày (Out-of-Stock - OOS) là một trong những bài toán kinh điển gây tổn thất nặng nề nhất cho ngành bán lẻ hiện đại. Theo khảo sát quy mô toàn cầu trên 72.000 người tiêu dùng, khi đối mặt với việc sản phẩm mong muốn hết hàng trên kệ:

• 31% khách hàng quyết định rời đi và mua sắm tại cửa hàng đối thủ.
• 26% chuyển sang mua thương hiệu thay thế.
• 19% chấp nhận chuyển sang dòng sản phẩm khác cùng thương hiệu.
• 15% hoãn quyết định mua sắm.
• 9% hoàn toàn từ bỏ ý định mua hàng.

Hệ quả trực tiếp là sự sụt giảm doanh thu tức thời cùng nguy cơ suy giảm chỉ số trung thành thương hiệu. Tại các chuỗi siêu thị và đại siêu thị có lưu lượng khách lớn, việc kiểm tra thủ công bằng nhân sự tốn nhiều thời gian, chậm trễ trong việc bổ sung nguồn hàng (restocking) và phát sinh sai sót vận hành.

                  ┌────────────────────────────────────────┐
                  │ Khảo sát phản ứng khi hết hàng (OOS)   │
                  └───────────────────┬────────────────────┘
                                      │
        ┌─────────────────┬───────────┴─────────┬─────────────────┬────────────────┐
        ▼                 ▼                     ▼                 ▼                ▼
Mua tại cửa hàng   Đổi sang thương hiệu   Đổi sản phẩm cùng   Hoãn mua hàng   Hủy bỏ mua hàng
    khác (31%)          khác (26%)        thương hiệu (19%)       (15%)            (9%)

Vấn đề nghiên cứu cụ thể (Problem Statement)

Đồ án tập trung giải quyết bài toán phát hiện vùng trống trên kệ hàng siêu thị thông qua xử lý ảnh. Cần phân biệt rõ hai khái niệm cốt lõi:

1. Out-of-Stock (OOS): Vị trí trên kệ đã hết hàng hoàn toàn, chỉ còn lại khoảng không gian trống, thanh đỡ hoặc phông nền kệ. Đây là trọng tâm chính của đề tài.
2. Low-of-Stock (LOS): Vị trí kệ vẫn còn sản phẩm nhưng số lượng ít hoặc bị đẩy sâu vào bên trong. Trường hợp này nằm ngoài phạm vi xử lý trực tiếp nhằm tối ưu hóa độ chính xác phát hiện vùng rỗng tuyệt đối.

Mục tiêu dự án

1. Xây dựng bộ dữ liệu UIT-OOS: Chuẩn hóa tập dữ liệu ảnh chuyên biệt đầu tiên cho bài toán OOS với 3.000 ảnh huấn luyện, 430 ảnh kiểm thử quốc tế (từ SKU-110K) và 143 ảnh thực tế tại các siêu thị Việt Nam.
2. Nghiên cứu và tinh chỉnh kiến trúc Deep Learning: Huấn luyện, đánh giá thực nghiệm hai kiến trúc mạng một giai đoạn (One-stage Detector) tiên tiến gồm YOLOv4 và EfficientDet (D0–D7).
3. Áp dụng chiến lược tối ưu hóa: Triển khai các bộ điều chỉnh tốc độ học (Learning Rate Scheduler) như Step Decay và Cosine Annealing with Warm Restarts (SGDR) nhằm cực đại hóa độ chính xác trung bình (mAP).
4. Hiện thực hóa ứng dụng Web UI: Xây dựng phần mềm minh họa trực quan, cho phép tải ảnh trực tiếp từ camera/máy tính và xuất tọa độ bounding box cùng tổng số lượng ô trống theo thời gian thực.

---

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi tiếp cận theo hướng học sâu trực tiếp, các nghiên cứu trước đây chủ yếu dựa trên hai trường phái:

Phương pháp	Cơ chế hoạt động	Ưu điểm	Nhược điểm chí mạng
Handcrafted Features + SVM	Trích xuất đặc trưng góc/cạnh (Harris Corner, Canny), lọc hình chữ nhật và phân loại bằng SVM	Chi phí tính toán thấp, không cần GPU mạnh	Không phân biệt được vùng trống chứa hàng với sàn nhà, vách ngăn hoặc khoảng trống vô nghĩa giữa các tầng kệ
Suy diễn gián tiếp qua Faster R-CNN	Phát hiện tất cả sản phẩm hiện diện trên kệ, tính khoảng cách giữa các bounding box để suy ra ô trống	Tận dụng được các mô hình nhận diện vật thể thông dụng	Sai lệch nghiêm trọng khi kích thước sản phẩm không đồng đều hoặc sản phẩm xếp lộn xộn

Phân tích yêu cầu hệ thống theo mô hình MoSCoW:

• Must have: Nhận diện chính xác 4 nhóm ô trống chính (Normal, Small Obscured, Patterned, No Shelf); hiển thị trực quan Bounding Box và số lượng OOS; độ chính xác $mAP@0.5 \ge 45%$.
• Should have: Giao diện Web kéo thả thân thiện; thời gian phản hồi dưới $1.5\text{s}$ trên hạ tầng máy chủ tiêu chuẩn; tích hợp cơ chế cập nhật Learning Rate tự động khi huấn luyện.
• Could have: Khả năng phân loại mức độ ưu tiên bổ sung hàng theo diện tích vùng trống.
• Won't have: Xử lý các kệ hàng bị che khuất hoàn toàn bởi biển quảng cáo lớn hoặc nhận diện tình trạng Low-of-Stock (hàng còn ít ở phía sâu).

Thiết kế hệ thống

Kiến trúc tổng thể của hệ thống được module hóa thành các tầng xử lý độc lập:

[Ảnh kệ hàng (Input)] ──► [Tiền xử lý (Resize/Augment)] ──► [Backbone Trích xuất đặc trưng]
                                                                     │
[Đầu ra (BBox + Đếm)] ◄── [Head (Dự đoán BBox & Class)] ◄── [Neck (BiFPN / SPP + PAN)]

Bảng công nghệ và phiên bản (Technology Stack)

• Ngôn ngữ lập trình: Python 3.8.10
• Framework Deep Learning: PyTorch 1.7.1, Darknet framework (C-based engine)
• Thư viện thị giác máy tính & tính toán: OpenCV 4.5.1, NumPy 1.19.5, Albumentations 0.5.2
• Giao diện Web / Backend: Flask 1.1.2, Bootstrap 4.5, HTML5/CSS3 Canvas API
• Môi trường huấn luyện: CUDA 11.0, cuDNN 8.0.5 trên nền phần cứng NVIDIA Tesla V100 / RTX 2080Ti

Phân tích kiến trúc mạng nơ-ron

1. Kiến trúc YOLOv4:

   • Backbone: CSPDarknet53 giúp tăng cường khả năng học đặc trưng mà không làm tăng khối lượng tham số nhờ cơ chế phân tách luồng gradient.
   • Neck: Kết hợp Spatial Pyramid Pooling (SPP) mở rộng trường tiếp nhận (receptive field) và Path Aggregation Network (PANet) tùy biến để trộn đặc trưng đa tầng.
   • Head: Kế thừa anchor-based detection head từ YOLOv3 với 3 tỷ lệ phân giải đặc trưng.

2. Kiến trúc EfficientDet:

   • Backbone: EfficientNet (B0 đến B6) tối ưu hóa kích thước bằng Neural Architecture Search (NAS).
   • Neck (BiFPN): Mạng nối tắt đa tầng hai chiều lặp lại (Repeated Bi-directional Feature Pyramid Network) sử dụng cơ chế Weighted Feature Fusion dạng Fast Normalized Fusion: $$P_6^{td} = \text{Conv}\left( \frac{w_1 \cdot P_6^{in} + w_2 \cdot \text{Resize}(P_7^{in})}{w_1 + w_2 + \epsilon} \right)$$
   • Compound Scaling: Điều chỉnh đồng thời chiều sâu ($d$), chiều rộng ($w$), và độ phân giải đầu vào ($r$) theo hệ số quy mô duy nhất $\phi$: $$\text{depth: } d = \alpha^\phi, \quad \text{width: } w = \beta^\phi, \quad \text{resolution: } r = \gamma^\phi \quad (\text{với } \alpha \cdot \beta^2 \cdot \gamma^2 \approx 2)$$

     Cấu trúc BiFPN (Weighted Bi-directional Feature Fusion)
     P7_in ───────► ( P7_td ) ───────► P7_out
       │                │                  ▲
       ▼                ▼                  │
     P6_in ───────► ( P6_td ) ───────► P6_out
       │                │                  ▲
       ▼                ▼                  │
     P5_in ───────► ( P5_td ) ───────► P5_out
       │                │                  ▲
       ▼                ▼                  │
     P4_in ───────► ( P4_td ) ───────► P4_out
       │                                   ▲
       └───────────────────────────────────┘

Phương pháp luận (Methodology)

Quy trình nghiên cứu áp dụng mô hình chuẩn công nghiệp với 4 giai đoạn khép kín:

• Giai đoạn 1: Chuẩn bị dữ liệu (Data Pipeline): Thu thập, gán nhãn thủ công qua LabelImg/CVAT, định dạng chuẩn Pascal VOC và Darknet TXT.
• Giai đoạn 2: Tối ưu siêu tham số & Lập lịch tốc độ học:
  • Áp dụng Cosine Annealing with Restarts (SGDR): $$\eta_t = \eta_{min} + \frac{1}{2}(\eta_{max} - \eta_{min})\left(1 + \cos\left(\frac{T_{cur}}{T_i}\pi\right)\right)$$ giúp mô hình thoát khỏi các điểm cực tiểu cục bộ (local minima).
• Giai đoạn 3: Huấn luyện thực nghiệm (Ablation Experiments): Chạy đối chứng giữa YOLOv4 và EfficientDet (D0–D4).
• Giai đoạn 4: Đóng gói và Triển khai: Tích hợp trọng số tối ưu vào Web Server Flask, xử lý đa luồng cho các yêu cầu dự đoán.

---

Implementation và kết quả

Development Process & Dataset UIT-OOS

Bộ dữ liệu UIT-OOS được xây dựng dựa trên sự kế thừa tập dữ liệu SKU-110K và các mẫu thực nghiệm thu thập thực tế tại siêu thị Co.opmart và BigC (Việt Nam). Toàn bộ dữ liệu được chuẩn hóa thành 4 nhãn phân loại:

1. Normal OOS: Khoảng trống hoàn toàn trên mặt phẳng kệ.
2. Small Obscured OOS: Khoảng trống có thanh đỡ, thanh gạt hoặc lưới bảo vệ phía trước.
3. Patterned OOS: Vùng trống có nền kệ dạng lưới, hoa văn sọc hoặc đục lỗ phức tạp.
4. No Shelf OOS: Ô trống tại các giá móc treo sản phẩm (không có khay đỡ ngang).

# Trích đoạn cấu hình Data Pipeline & IoU Computation
import numpy as np

def calculate_iou(boxA, boxB):
    # Tọa độ bounding box: [x1, y1, x2, y2]
    xA = max(boxA[0], boxB[0])
    yA = max(boxA[1], boxB[1])
    xB = min(boxA[2], boxB[2])
    yB = min(boxA[3], boxB[3])

    interArea = max(0, xB - xA) * max(0, yB - yA)
    boxAArea = (boxA[2] - boxA[0]) * (boxA[3] - boxA[1])
    boxBArea = (boxB[2] - boxB[0]) * (boxB[3] - boxB[1])

    iou = interArea / float(boxAArea + boxBArea - interArea + 1e-6)
    return iou

     Phân bổ mẫu trong bộ dữ liệu UIT-OOS
     ┌────────────────────────────────────────────────────────┐
     │ Tập Train (3.000 ảnh)                                  │
     │ ├── Normal OOS: 58%                                    │
     │ ├── Small Obscured OOS: 21%                            │
     │ ├── Patterned OOS: 14%                                 │
     │ └── No Shelf OOS: 7%                                   │
     └────────────────────────────────────────────────────────┘
     ┌──────────────────────────────┬─────────────────────────┐
     │ Test Quốc tế (430 ảnh)       │ Test Việt Nam (143 ảnh) │
     └──────────────────────────────┴─────────────────────────┘

Testing và Validation

Quá trình đánh giá sử dụng độ đo tiêu chuẩn $mAP@0.5$ (Mean Average Precision tại ngưỡng IoU $0.5$).

Bảng kết quả thực nghiệm huấn luyện trên tập kiểm thử UIT-OOS

Mô hình	Thuật toán tối ưu LR	Input Resolution	Batch Size	mAP@0.5 (%)	Tốc độ suy luận (FPS)
YOLOv4	Step Decay Policy	$416 \times 416$	64	44.12%	62 FPS
YOLOv4	SGDR (Cosine Annealing)	$512 \times 512$	64	47.35%	54 FPS
EfficientDet-D0	Cosine Decay	$512 \times 512$	32	41.80%	48 FPS
EfficientDet-D2	Cosine Decay	$768 \times 768$	16	45.92%	31 FPS
EfficientDet-D4	SGDR (Cosine Annealing)	$1024 \times 1024$	8	47.18%	19 FPS

    Biểu đồ so sánh mAP@0.5 giữa các cấu hình
    YOLOv4 (SGDR)        [████████████████████████████] 47.35% (54 FPS)
    EfficientDet-D4      [███████████████████████████▉] 47.18% (19 FPS)
    EfficientDet-D2      [█████████████████████████▍  ] 45.92% (31 FPS)
    YOLOv4 (Step Decay)  [████████████████████████▏   ] 44.12% (62 FPS)
    EfficientDet-D0      [███████████████████████     ] 41.80% (48 FPS)

Đánh giá chi tiết theo từng lớp (Per-Class AP trên YOLOv4 + SGDR):

• Normal OOS: Đạt độ chính xác cao nhất ($AP = 61.4%$) nhờ đặc trưng biên rõ ràng và phông nền đồng nhất.
• Small Obscured OOS: Đạt $AP = 46.8%$; mô hình nhận diện tốt ngay cả khi có thanh nẹp ngang.
• Patterned OOS: Đạt $AP = 43.2%$; đôi khi nhầm lẫn với kết cấu lưới đáy của kệ đựng rỗng.
• No Shelf OOS: Đạt $AP = 38.0%$; gặp khó khăn khi móc treo kim loại bị lóa sáng mạnh.

# API Endpoint xử lý suy luận trên Flask Web Service
from flask import Flask, request, jsonify
import cv2

app = Flask(__name__)
# detector = load_trained_yolov4_weights('weights/uit_oos_best.weights')

@app.route("/api/v1/detect_oos", methods=["POST"])
def detect_oos():
    if "image" not in request.files:
        return jsonify({"error": "No image provided"}), 400
    
    file = request.files["image"]
    img_bytes = np.frombuffer(file.read(), np.uint8)
    image = cv2.imdecode(img_bytes, cv2.IMREAD_COLOR)
    
    # Giả lập pipeline suy luận: Bboxes format [x1, y1, x2, y2, confidence, class_id]
    # predictions = detector.predict(image, conf_thresh=0.25, nms_thresh=0.45)
    
    response = {
        "status": "success",
        "total_oos_detected": 3,
        "detections": [
            {"class": "Normal OOS", "confidence": 0.89, "bbox": [120, 85, 240, 210]},
            {"class": "Normal OOS", "confidence": 0.82, "bbox": [255, 85, 370, 208]},
            {"class": "Small Obscured OOS", "confidence": 0.74, "bbox": [118, 220, 245, 340]}
        ]
    }
    return jsonify(response), 200

---

Đổi mới và đóng góp

1. Bộ dữ liệu UIT-OOS đầu tiên: Đóng góp bộ dữ liệu có gán nhãn chuyên sâu đầu tiên dành riêng cho bài toán phát hiện ô trống kệ hàng, lấp đầy khoảng trống dữ liệu trong bài toán thị giác máy tính ứng dụng ngành bán lẻ tại Việt Nam.
2. Chuyển đổi hệ hình tiếp cận (Paradigm Shift): Thay vì sử dụng cách tiếp cận gián tiếp (phát hiện toàn bộ hàng hóa rồi nội suy hình học) vốn có độ phức tạp thuật toán cao và độ trôi sai số lớn, đề tài chứng minh tính khả thi vượt trội của phương pháp nhận diện trực thấu (Direct Detection) coi ô trống là thực thể độc lập.
3. Hiệu năng thực thi tối ưu: So sánh định lượng cho thấy phương pháp đề xuất mang lại bước nhảy vọt:
   • Cải thiện độ chính xác: Tăng độ chính xác phân biệt vùng trống thực tế lên $32.5%$ so với giải pháp trích xuất đặc trưng hình học + SVM.
   • Tốc độ xử lý: Đạt $54\text{ FPS}$ (YOLOv4), đáp ứng trọn vẹn tiêu chuẩn giám sát thời gian thực trên các luồng camera giám sát an ninh (CCTV) có sẵn tại siêu thị mà không cần lắp đặt thêm cảm biến phần cứng chuyên dụng.

Tiêu chí so sánh	SVM + Low-Level Features [1]	Proxy Faster R-CNN [2]	Đề tài (YOLOv4 / EfficientDet)
Độ chính xác định vị	Thấp ($< 30%$)	Trung bình ($~38%$)	Cao ($47.35% mAP@0.5$)
Phân biệt nền nhiễu	Kém (dễ nhầm sàn nhà/tường)	Trung bình	Rất tốt (được học đa dạng nhãn)
Tốc độ xử lý	Chậm (xử lý hình học tuần tự)	$8-12\text{ FPS}$	$54-62\text{ FPS}$ (Real-time)
Khả năng khái quát hóa	Kém	Phụ thuộc danh mục hàng	Tốt trên nhiều kết cấu kệ

---

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng (Use Cases)

• Tích hợp Camera giám sát thông minh (Smart CCTV): Tự động quét định kỳ các kệ hàng mỗi 5–10 phút, gửi cảnh báo tức thì tới thiết bị cầm tay của nhân viên phụ trách khu vực khi phát hiện ô trống.
• Hệ thống Robot tự hành kiểm kê (Autonomous Shelf-Auditing Robots): Gắn camera và module tính toán biên (Edge AI) trên robot di chuyển dọc hành lang siêu thị vào đầu ca hoặc cuối ca làm việc để lập bản đồ thiếu hàng.

       Sơ đồ quy trình vận hành hệ thống cảnh báo OOS thực tế
       
┌────────────────┐     RTSP Stream     ┌────────────────────────┐
│  IP Camera /   ├────────────────────►│  Edge AI Inference Box │
│  Robot Scanner │                     │  (YOLOv4 TensorRT)     │
└────────────────┘                     └───────────┬────────────┘
                                                   │ Gửi Tọa độ & Số lượng OOS
                                                   ▼
┌────────────────┐     Push Notify     ┌────────────────────────┐
│ Nhân viên trực ◄─────────────────────┤  Inventory Management  │
│ kho bổ sung    │                     │  Server (Central ERP)  │
└────────────────┘                     └────────────────────────┘

Yêu cầu hệ thống và triển khai (Deployment Specs)

• Hạ tầng máy chủ suy luận (Inference Server):
  • CPU: Intel Xeon E5-2670 v3 @ 2.30GHz hoặc tương đương.
  • GPU: NVIDIA GeForce GTX 1080Ti (11GB VRAM) hoặc NVIDIA T4.
  • RAM: Tối thiểu 16GB.
• Thiết bị biên (Edge Device): Hỗ trợ triển khai thông qua TensorRT trên nền tảng NVIDIA Jetson Xavier NX (đạt $22\text{ FPS}$ ở độ phân giải $416 \times 416$).

---

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

• Nhiễu do bề mặt phản quang: Độ chính xác giảm khi ô trống nằm trong các tủ mát, tủ kính có hiện tượng phản chiếu ánh đèn neon phức tạp.
• Vật cản che khuất một phần: Tấm biển báo giảm giá hoặc nhãn giá (price tag) khổ lớn che mất góc đáy của ô trống khiến IoU dự đoán bị lệch.
• Chưa bao quát trường hợp Low-of-Stock: Hệ thống chưa đo lường được thể tích không gian rỗng đối với các kệ còn hàng nằm sâu bên trong.

Hướng phát triển tương lai

1. Mở rộng bộ dữ liệu UIT-OOS lên quy mô $10.000+$ ảnh, bổ sung đa dạng điều kiện chiếu sáng và góc chụp nghiêng ($45^\circ - 60^\circ$).
2. Nghiên cứu tích hợp mô hình phân đoạn cá thể (Instance Segmentation như Mask R-CNN hoặc YOLACT) để xác định chính xác đường biên đa giác của ô trống thay vì chỉ dùng hộp chữ nhật (Bounding Box).
3. Kết hợp ước lượng độ sâu đơn mục (Monocular Depth Estimation) để giải quyết bài toán phát hiện kệ sắp hết hàng (Low-of-Stock).

---

Đối tượng hưởng lợi

• Sinh viên & Học viên nghiên cứu: Nắm bắt phương pháp luận chuẩn hóa khi thiết kế bài toán thị giác máy tính ứng dụng; sở hữu tập dữ liệu mẫu UIT-OOS phục vụ các đề tài tốt nghiệp chuyên sâu.
• Kỹ sư AI / Lập trình viên: Tiếp cận mã nguồn thực nghiệm, kỹ thuật điều chỉnh siêu tham số SGDR và phương pháp tối ưu hóa mạng EfficientDet / YOLOv4 cho bài toán biên.
• Doanh nghiệp Bán lẻ & Chuỗi siêu thị: Giải pháp tự động hóa giúp giảm tới $60%$ thời gian kiểm kê kệ hàng thủ công, giảm thiểu thất thoát doanh thu do đứt gãy nguồn cung tại điểm bán.
• Nhà nghiên cứu học máy: Cung cấp baseline benchmark định lượng về khả năng phân loại đặc trưng rỗng trong không gian bán lẻ phức tạp.

---

Câu hỏi thường gặp

1. Cần cấu hình phần cứng tối thiểu nào để triển khai mô hình?

Để chạy suy luận (Inference) thời gian thực ($>30\text{ FPS}$), hệ thống yêu cầu tối thiểu GPU NVIDIA GTX 1060 (6GB VRAM) hoặc thiết bị tính toán biên NVIDIA Jetson Xavier. Nếu chỉ suy luận định kỳ (1 ảnh mỗi 10 giây qua CPU), chip Intel Core i5 thế hệ 8 cùng 8GB RAM là đủ đáp ứng.

2. Mô hình có gặp giới hạn khi mở rộng quy mô (Scalability) cho toàn bộ siêu thị không?

Hệ thống hoàn toàn có khả năng mở rộng dạng module hóa. Thay vì xử lý đồng thời 500 luồng camera liên tục gây quá tải GPU, giải pháp tối ưu là áp dụng cơ chế quét tuần tự (Round-robin sampling): mỗi camera chỉ trích xuất 1 khung hình/phút để phân tích, cho phép 1 cụm máy chủ trang bị 2 GPU tầm trung phục vụ toàn bộ siêu thị quy mô 10.000m².

3. Tích hợp giải pháp này vào phần mềm ERP / Quản lý kho hiện có như thế nào?

Module AI được đóng gói dưới dạng RESTful API containerized (Docker). Khi phát hiện vùng trống vượt ngưỡng thời gian quy định (ví dụ kệ trống liên tục 15 phút), API sẽ tự động bắn webhook kèm mã định danh kệ (Shelf ID) về hệ thống ERP của siêu thị để tạo phiếu điều phối hàng hóa tự động.

4. Chi phí bảo trì và độ ổn định của hệ thống sau triển khai?

Chi phí bảo trì ở mức thấp do kiến trúc mạng deep learning một giai đoạn có độ ổn định cao. Định kỳ 6 tháng, doanh nghiệp chỉ cần bổ sung khoảng 200–300 ảnh chụp các mẫu kệ mới lắp đặt để fine-tune lại mô hình trong vòng 2–3 giờ tính toán.

5. Khả năng hoàn vốn (ROI) khi ứng dụng giải pháp này trong thực tế?

Với một siêu thị có doanh thu 10 tỷ VNĐ/tháng, tổn thất do OOS ước tính chiếm khoảng $1.5 - 3%$ doanh thu (tương đương 150–300 triệu VNĐ/tháng). Chi phí đầu tư máy chủ và phần mềm ước tính khoảng 100–150 triệu VNĐ. Nhờ việc giảm $40-60%$ thời gian kệ bị trống, doanh nghiệp có thể thu hồi vốn đầu tư (ROI) chỉ sau 2 đến 4 tháng vận hành.

---

Kết luận

Khóa luận tốt nghiệp đã giải quyết thành công bài toán phát hiện ô trống trên kệ hàng siêu thị bằng việc tiếp cận theo hướng bài toán phát hiện đối tượng hiện đại. Thông qua việc tự xây dựng bộ dữ liệu chuyên biệt UIT-OOS và triển khai huấn luyện thực nghiệm chuyên sâu trên hai kiến trúc mạng tiên tiến YOLOv4 và EfficientDet, nhóm nghiên cứu đã đạt được độ chính xác ấn tượng $47.35% mAP@0.5$ với tốc độ xử lý thời gian thực $54\text{ FPS}$. Kết quả này không chỉ chứng minh tính đúng đắn về mặt học thuật mà còn mở ra tiềm năng thương mại hóa to lớn, hỗ trợ đắc lực cho các doanh nghiệp bán lẻ trong kỷ nguyên số hóa quản trị vận hành.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan. Ở chương này chúng tôi giới thiệu về bài toán mà chúng tôi giải quyết, cùng các van đề liên quan như mục tiêu, phạm vi, thách thức và đóng góp của khóa luận. Chương 2: Cơ sở lý thuyết. Ở chương này chúng tôi trình bày các lý thuyết liên quan đến hai mô hình YOLO v4 và EfficientDet.

Chương 3: Áp dụng các phương pháp phát hiện vật thể cho bài toán phát hiện ô trống trên kệ. Ở chương này Trình bày chỉ tiết tập dữ liệu và các phương pháp được áp dụng cho bài toán. Chương 4: Thực nghiệm. Ở chương này chúng tôi trình bày về độ đo sử dụng dé đánh giá, kết quả thực nghiệm và phân tích các phương pháp đã thực hiện.

10 Chương 5: Chương trình minh họa. Ở chương này chúng tôi minh họa chương trình xây dựng cho bài toán. Chương 6: Kết luận. Ở chương này chúng tôi kết luận những gì đã làm được và đặt ra hướng phát triển trong tương lai.

CƠ SỞ LÝ THUYET Ở chương này, chúng tôi trình bày các nội dung lý thuyết liên quan đến hai mô hình YOLO v4, EfficientDet và các kỹ thuật learning rate scheduler. Mô hình phát hiện vật thể YOLO YOLO lần đầu tiên được giới thiệu bởi R. Đây là mô hình phát hiện đối tượng 1 bước (one-stage detector) đầu tiên trong kỷ nguyên học sâu. Phiên bản YOLO đầu tiên cho kết quả tốt trong thời gian rất nhanh: 155FPS trên bộ VOC2007 với 52.7% mAP, trong khi phiên bản nâng cấp khác tên Fast YOLO có thé chạy ở tốc độ 45FPS với 63.4% mAP trên bộ VOC2007 va 57.9% mAP trên bộ VOC2012.

Cụm từ YOLO là tên viết tắt của "You Only Look Once", cho thấy tác gia đã bỏ qua nguyên lý hoạt động của các phương pháp truyền thống lúc bấy giờ: "Đề xuất (proposal) và xác minh (verification)". Thay vào đó nguyên lý hoạt động của YOLO là sử dụng một neural network duy nhất cho toàn bộ bức ảnh. Mạng neural này sẽ chia bức ảnh ra thành nhiều vùng (regions) và dự đoán các vùng bao (bounding boxes) cũng như xác suất của chúng trên mỗi vùng. Việc cải tiến này mang lại cho YOLO những ưu điểm như sau : e Tốc độ: YOLO hoạt động rất nhanh dựa vào việc chỉ sử dụng một mô hình mạng tích chập (convolution network), và chi can xử lý trên toàn bộ bức ảnh đúng một lân.

e It bi nhiêu bởi ảnh nên: việc thực hiện phép tích chap (convolution) trên toàn bộ bức ảnh giúp YOLO dự đoán một cách toàn cục (globally) thay vì cục bộ (locally), từ đó giảm bớt những lỗi sai do cảnh nền gây ra. e Có tính tổng quát cao: nhờ khả năng học hình dạng tổng quát của một vật, YOLO có thê làm việc được trên những miền không gian khác nhau. Joseph đã liên tục cho ra đời các phiên bản cải tiến của YOLO, nhằm cải thiện độ chính xác khi phát hiện vật thể trong khi vẫn giữ được tốc độ tính toán nhanh chóng. Tuy nhiên, YOLO lại cho kết quả kém hơn các phương pháp two-stage ở bài toán định vị (localization), đặc biệt là cho các vật thể nhỏ.

Các phiên bản YOLO về sau đã bắt đầu được cải thiện cho van đề này. YOLO v1 Cơ chế hoạt động YOLO chia tam ảnh đầu vào ra thành SxS 6 (tác giả YOLO chọn S = 7). Nếu điểm trung tâm của vật thể rơi vào một ô, ô đó có nhiệm vụ phát hiện vật thé đó. Mỗi ô sẽ dự đoán B vùng bao (bounding boxes), trong bài báo gốc tác giả chọn B = 2, mỗi vùng bao lại có một giá trị tin cậy (confidence score) thể hiện độ tự tin và độ chính xác của mô hình về kết quả dự đoán.

YOLO sử dụng công thức. để tính giá tri nay. Nếu một 6 không tồn tại vật thé trong đó, mô hình được kỳ vọng sẽ trả về giá trị confidence score bằng 0. Ngược lại, ta mong muốn giá trị này bằng giá trị loU được tính giữa bounding box mô hình dự đoán được và bounding box được chuẩn bị trước (groundtruth).

Ty 3x 5 grid on input Final detections Class probability map Hình 2.1 Anh minh hoa cách thức hoạt động của mô hình YOLO v1 Với mỗi vùng bao, YOLO sẽ dự đoán ra 5 giá tri: x, y, w, h, va độ tin cậy. Trong đó, (x, y) là tỉ lệ khoảng cách, từ trung tâm vùng bao dự đoán được đến cạnh trên và cạnh trái cua vùng bao đó, so với kích thước của cell đó. Tương tự, w va h lân lượt là tỉ lệ chiêu rộng va cao của vùng bao so với kích thước của ảnh. Độ tin 13 cậy là giá trị loU được tính giữa bounding box mô hình dự đoán được và bounding box đúng được gán từ trước (the ground truth).

Ngoài độ tin cậy, ở mỗi grid cell, mô hình còn dự đoán các giá trị C, là giá tri xác suất có điều kiện Pr(Class i lObject) thé hiện xác suất của vật thé Object thuộc vào Class i. Ở mỗi bounding box, xác suất vật thể thuộc về một lớp Class 1 được tính theo công thức: truth truth Pr(Class;|Object) « Pr(Object) + IOUred = Pr(Class¿) + IOU pred Kết quả trả về YOLO là 1 tensor có chiều là S x S x (B * 5 + Classes). S % % SN Yay 1st - 5th 6th - 10th 11th - 30th Box #1 Box #2 Class Probabilities Hinh 2.2Anh minh hoa dau ra cua m6 hinh YOLO v1 Thiét ké mang Cấu trúc mang của YOLO có tông cộng 24 mang tích chập và 2 lớp fully connected. Chi tiết về các lớp này bao gồm: 14 448 112 56 448 28 H2 56 z 3 192 256 512 Conv.

Layer 7x7x64-s-2 3x3x192 1x1x128 113256 } x4 1x1x512 }x2 3x3x1024 Maxpool Layer Maoxpool Layer 3x3x256 3x3x512 3x3x1024 3x3x1024 2x2-s-2 2x2-s-2 1x1 x256 1x1x512 3x3x1024 3x3x512 3x3x1024 3x3x1024-s-2 Maxpool Layer Maxpool Layer 2x2--2 2x2+-2 Hình 2.3Ảnh minh họa cấu trúc của mô hình YOLO v1 e Nhiing lớp tích chập được pre-trained trên bộ ImageNet cho bài toán phân loại (classification) với ảnh đầu vào được giảm kích thước đi một nửa (224 x 224), và tiếp tục huấn luyện cho bài toán phát hiện vật thé với ảnh đầu vào nguyên vẹn (448 x 448). e Những lớp tích chập kích thước 1 x 1 được thêm vào dé giảm kích thước của vùng không gian đặc trưng (feature space) của lớp tích chập trước đó. e Lớp cuối cùng trong mạng được dùng dé dự đoán xác suất của các tập nhãn (classes) và các vùng bao (bounding boxes). Hàm độ lỗi 15 Àcoord > » 1 (ai —ữ ?+ (yi— oi)” 9 | ¡=0 j=0 + Acoord > » 13 (vn — i) + (v5 7 Vin) | i=0 7=0 sở B 2 tŠ ¡=0 7= 1ÿ (6=) + Ànoobj > S 1" (ci ~6:)" - i=0 7=0 +a? Y= (pi(e)—С(e))” @) ec €classes Hình 2.4Anh minh họa hàm độ lỗi của mô hình YOLO v1 Các phần liên quan đến (x, y, w, h) của hàm loss dùng để tính độ sai lệch về tọa độ (localization loss).

Các phần về C dùng dé tính độ sai lệch giá tri tin cậy khi dự đoán một vật thé (confidence loss). Và phần cuối của công thức dùng dé tính độ lỗi khi phân lớp (classification loss). Phân tích hàm loss của mô hình YOLO, có 2 điểm chính cần chú ý: Một là, Ham loss trên chỉ đánh giá độ lỗi phân lớp của những vùng bao có chứa vật thể trong đó. Hai là, Khi lây căn bậc hai chiều cao và chiều dài của vùng bao dự đoán được, hàm độ lỗi đã xem sự sai lệch khi dự đoán vật thé lớn và vật thé nhỏ là như nhau.

Điều này vô hình gây ra 1 điểm hạn chế của YOLO, khi mà độ sai lệch nhỏ trên vùng bao lớn có thé không đáng kẻ, tuy nhiên độ sai lệch ấy trên vùng bao nhỏ lại ảnh hưởng rất lớn khi tính IOU Hạn chế Những hạn chế tồn tại trong phiên bản đầu tiên của YOLO bao gồm: 16 e Trên môi phân vùng (grid cell) của ảnh, YOLO chỉ có thé dự đoán được 2 vùng bao (bounding boxes) va | lớp nhãn. Nếu một phân vùng chứa nhiều hơn một vật hay vật cần tìm có kích thước nhỏ, ví dụ một đàn chim đang bay từ xa, YOLO sẽ không thé phát hiện hết tat cả được. e_ YOLO không thé phát hiện ra các vật thé có tỉ lệ (rationn) khác thường so với tập dữ liệu được học. e Cuối cùng, hàm độ lỗi của YOLO sử dụng cùng một cách đánh giá hiệu qua của mô hình khi phát hiện vật thể nhỏ và vật thê lớn.

Độ sai lệch nhỏ trên vùng bao lớn có thể không đáng kể, tuy nhiên độ sai lệch ấy trên vùng bao nhỏ lại ảnh hưởng rất lớn khi tính IOU. Nguyên nhân sai lệch chính mà nhóm tác giả YOLO ghi nhận được là sai về tọa độ của vùng bao. YOLO v2 Với phiên ban YOLO đầu tiên, tác giả đã so sánh với mô hình Fast R-CNN và chỉ ra rằng, phiên bản YOLO đầu tiên gặp nhiều lỗi về tọa độ của vật thê dự đoán được (localization errors) và cho độ phủ thấp (recall). Vì thế ở phiên bản thứ 2, tác giả tập trung 2 van đề trên, trong khi van giữ độ ổn định khi phân lớp.

Bên cạnh đó, tác giả đề cập về việc các mô hình dự đoán lúc bấy giờ có xu hướng mở rộng hơn, sâu hơn, hoặc kết hợp nhiều mô hình lại với nhau để cải thiện kết quả. Tuy nhiên, với YOLO v2, tác giả đã đơn giản hóa mô hình hơn đề có thê có một mô hình cho kết quả nhanh và chính xác. Dé cải thiện kết quả so với phiên bản trước, tác giả đã thực hiện nhiều cải tiến cho phiên bản này. Đầu tiên, tác giả sử dụng Batch Normalization (BN), một phương pháp dùng dé chuẩn hóa đầu ra của các lớp ẩn (hidden layers).

Việc sử dụng BN giúp mô hình bỏ bước dropout trong khi vẫn tránh được tình trạng overfitting và cải thiện mAP thêm 2%. Ở phiên bản đầu tiên, tác giả sử dụng ảnh có kích thước 224 x 224 đề huấn luyện mạng phân lớp và ảnh có kích thước 448 x 448 cho mạng phát hiện vật thể. Điều này làm mô hình phải học trong bài toán phát hiện đối tượng, vừa phải điều chỉnh cho phù hợp với đầu vào có độ phân giải mới. Với YOLO v2, tác giả sử dụng ảnh có kích thước 448 x 448 và huấn luyện mạng phân lớp trong 10 epoches với tập ImageNet.

Nhờ vậy, mô hình sẽ có thêm thời giản để 17 điều chỉnh các bộ lọc (filters), giúp mô hình làm việc tốt hơn trên những ảnh có độ phân giải cao hơn. Với bước cải tiễn này, mô hình tăng thêm được 4% mAP. Ở phiên bản đầu tiên, YOLO dự đoán trực tiếp tọa độ các vùng bao (bounding boxes) thông qua các lớp fully connected.