Luận văn thạc sĩ về ứng dụng thị giác máy tính trong tự động hóa tính tiền tại cửa hàng

Luận văn thạc sĩ kỹ thuật phân tích kỹ thuật điều khiển và tự động hóa ứng dụng thị giác máy tính trong tính tiền tự động trong cửa hàng, đánh giá thực trạng, chỉ ra hạn chế, đề

• Tác giả: Trần Cơ Tâm
• Người hướng dẫn: TS. Phạm Việt Cường
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Kỹ thuật Điều khiển và Tự động hóa
• Đề tài: Ứng Dụng Thị Giác Máy Tính Trong Tính Tiền Tự Động Tại Cửa Hàng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• ABSTRACT
• LỜI CAM ĐOAN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. Lý do chọn đề tài
• 1.2. Những công trình nghiên cứu gần đây
• 1.3. Mục tiêu đề tài
• 1.4. Nhiệm vụ đề tài
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Nhận dạng đối tượng
• 2.1.1. Giới thiệu YOLOv7
• 2.1.2. Kiến trúc YOLOv7
• 2.1.3. Những trainable Bag-of-freebies của YOLOv7
• 2.1.4. Training trên Google Colab
• 2.2. Thuật toán theo dõi Deep SORT
• 2.2.1. Giới thiệu Deep SORT
• 2.2.2. Liên kết dữ liệu trong Deep SORT
• 2.2.3. Quản lý vòng đời 1 track
• 2.3. Chuyển đổi góc nhìn của hai camera quan sát cùng một bề mặt phẳng
• 2.3.1. Chuyển đổi từ mặt phẳng cảnh sang điểm ảnh trên ảnh
• 2.3.2. Homography với hai camera và một bề mặt quan sát
• 2.3.3. Tìm ma trận homography giữa hai ảnh
• 2.3.4. Theo dõi đối tượng trên nhiều camera sử dụng Homography
• 3. CHƯƠNG 3: THỰC HIỆN HỆ THỐNG
• 3.1. Hệ thống giám sát kệ hàng
• 3.2. Xây dựng mô hình YOLOv7 phát hiện đối tượng
• 3.2.1. Thu thập data
• 3.3. Theo dõi đối tượng
• 3.4. Quản lý kệ hàng và giỏ hàng
• 4. CHƯƠNG 4: KẾT QUẢ VÀ ĐÁNH GIÁ
• 4.1. Mô hình phát hiện đối tượng
• 4.1.1. Đánh giá kết quả huấn luyện mô hình nhận dạng giỏ hàng và tay cầm sản phẩm (YOLOv7-tiny)
• 4.1.2. Đánh giá kết quả huấn luyện mô hình phát hiện sản phẩm (YOLOv7)
• 4.2. Phát hiện lấy và trả sản phẩm
• 4.2.1. Khảo sát tốc độ xử lý
• 4.2.2. Khảo sát tỷ lệ theo dõi và nhận dạng sản phẩm của hệ thống với một khách hàng
• 4.2.3. Khảo sát tỷ lệ theo dõi và nhận dạng sản phẩm của hệ thống với hai khách hàng
• 4.2.4. Khảo sát tỷ lệ lấy và trả sản phẩm
• 4.2.5. Khảo sát tỷ lệ lấy và trả những sản phẩm được nhận dạng tốt
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Những kết quả đạt được
• 5.2. Những hạn chế còn tồn tại
• 5.3. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về ứng dụng thị giác máy tính trong tự động hóa

Trong bối cảnh ngành bán lẻ ngày càng phát triển, việc ứng dụng thị giác máy tính để tự động hóa quá trình thanh toán tại cửa hàng trở nên cực kỳ quan trọng. Hệ thống này không chỉ giúp cải thiện hiệu suất làm việc của nhân viên mà còn mang lại trải nghiệm tốt hơn cho khách hàng. Theo nghiên cứu, việc sử dụng công nghệ thị giác máy tính có thể giảm thiểu thời gian chờ đợi của khách hàng, từ đó tăng cường sự hài lòng và giữ chân khách hàng. Hệ thống thanh toán tự động sử dụng camera để theo dõi và nhận diện sản phẩm khi khách hàng chọn lựa. Điều này giúp nhận diện chính xác sản phẩm và tối ưu hóa quy trình thanh toán. Như một nghiên cứu đã chỉ ra, việc áp dụng công nghệ này có thể nâng cao đáng kể năng suất làm việc và giảm thiểu sai sót trong quá trình thanh toán.

II. Công nghệ nhận diện và theo dõi đối tượng

Một trong những công nghệ cốt lõi trong hệ thống thanh toán tự động là mạng YOLOv7, được sử dụng để nhận diện sản phẩm trong cửa hàng. Mạng này có khả năng phát hiện và phân loại các sản phẩm nhanh chóng và chính xác. Việc áp dụng DeepSORT cho phép theo dõi các đối tượng qua nhiều khung hình, giúp gán ID cho từng sản phẩm được nhận diện. Điều này rất quan trọng trong việc quản lý kho hàng và đảm bảo rằng thông tin về sản phẩm luôn được cập nhật chính xác. Hệ thống cũng sử dụng phép biến đổi homography để đồng bộ hóa thông tin từ nhiều camera, tạo ra một góc nhìn tham chiếu duy nhất cho phép theo dõi hiệu quả hơn. Kết quả từ các thử nghiệm cho thấy rằng công nghệ này có thể nhận diện và theo dõi sản phẩm một cách hiệu quả, mặc dù vẫn còn một số hạn chế cần khắc phục.

III. Tối ưu hóa quy trình thanh toán và quản lý kho hàng

Việc tối ưu hóa quy trình thanh toán và quản lý kho hàng là một trong những mục tiêu chính của nghiên cứu này. Hệ thống không chỉ giúp nhận diện sản phẩm mà còn theo dõi việc lấy và trả sản phẩm từ giỏ hàng. Điều này giúp nhân viên có thể nhanh chóng xác định được các sản phẩm trong giỏ và tiến hành thanh toán một cách hiệu quả. Hệ thống cũng cho phép quản lý kho hàng một cách tự động, giảm thiểu sai sót trong việc kiểm kê hàng hóa. Mô hình này không chỉ tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc kiểm soát hàng hóa. Theo một nghiên cứu, việc áp dụng công nghệ này có thể giảm thiểu chi phí nhân sự và nâng cao lợi nhuận cho cửa hàng.

IV. Thách thức và hướng phát triển trong tương lai

Mặc dù hệ thống thanh toán tự động sử dụng thị giác máy tính đã đạt được nhiều thành công, vẫn còn một số thách thức cần vượt qua. Một trong những vấn đề lớn là khả năng nhận diện chính xác khi khách hàng di chuyển nhanh hoặc khi có nhiều sản phẩm chồng chéo. Điều này có thể dẫn đến sai sót trong việc nhận diện và theo dõi. Hướng phát triển trong tương lai có thể bao gồm việc cải thiện thuật toán nhận diện và theo dõi, cũng như tích hợp thêm các công nghệ mới như cảm biến và trí tuệ nhân tạo để nâng cao hiệu suất của hệ thống. Việc nghiên cứu và phát triển thêm các mô hình nhận diện mới có thể giúp cải thiện độ chính xác và khả năng xử lý trong thời gian thực.

Nội dung chính

Tổng quan nghiên cứu

Thời gian chờ đợi tại quầy thanh toán hiện chiếm hơn 30% tổng thời gian mua sắm của người tiêu dùng, và theo các khảo sát hành vi bán lẻ, trên 70% khách hàng có xu hướng từ bỏ giỏ hàng nếu thời gian xếp hàng kéo dài quá 5 phút. Trong bối cảnh ngành dịch vụ bán lẻ phát triển nhanh chóng và trở thành mũi nhọn kinh tế, việc nâng cao trải nghiệm mua sắm thông qua tự động hóa là yêu cầu cấp thiết. Các phương thức thanh toán truyền thống bộc lộ nhiều hạn chế về chi phí nhân công và năng suất, trong khi các giải pháp quét mã thủ công tại quầy tự thanh toán vẫn tạo ra điểm nghẽn về tốc độ phục vụ.

Nghiên cứu này giải quyết bài toán tự động hóa quy trình thanh toán trong cửa hàng bán lẻ thông qua việc ứng dụng công nghệ thị giác máy tính và học sâu. Mục tiêu cụ thể của đề tài là xây dựng hệ thống giám sát thông minh có khả năng nhận diện 19 danh mục sản phẩm trên kệ hàng, phát hiện hành vi lấy và trả sản phẩm của khách hàng, theo dõi trạng thái giỏ hàng qua các khung hình thời gian thực, đồng thời đồng bộ hóa tọa độ không gian giữa 2 camera góc nhìn chéo nhau để quản lý giỏ hàng ảo tự động.

Đề tài được hoàn thành tại Bộ môn Điều khiển Tự động thuộc Khoa Điện - Điện tử, Trường Đại học Bách Khoa - Đại học Quốc gia Thành phố Hồ Chí Minh, trong mốc thời gian thực hiện từ tháng 2 năm 2023 đến tháng 5 năm 2023. Hệ thống đạt tốc độ xử lý trên 28 khung hình trên giây trên phần cứng thương mại, giúp giảm thời gian chờ đợi thanh toán của khách hàng xuống 0 giây và mở ra tiềm năng ứng dụng rộng rãi cho các chuỗi bán lẻ hiện đại.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên hai trụ cột lý thuyết chính trong lĩnh vực thị giác máy tính và xử lý ảnh nâng cao:

Thứ nhất là lý thuyết mạng nơ-ron tích chập sâu phát hiện đối tượng đơn giai đoạn (One-Stage Detector), trọng tâm là kiến trúc YOLOv7 và biến thể rút gọn YOLOv7-tiny. YOLOv7 tích hợp các khối mở rộng E-ELAN nhằm tối ưu hóa đường truyền gradient, kỹ thuật Bag-of-freebies không làm tăng chi phí tính toán, cùng kỹ thuật Re-parameterization giúp cải thiện độ chính xác suy luận. Mạng YOLOv7 đảm nhận việc nhận diện 19 danh mục sản phẩm phức tạp, trong khi YOLOv7-tiny phục vụ phát hiện nhanh tay cầm sản phẩm và giỏ hàng.

Thứ hai là lý thuyết theo dõi đa đối tượng (Multi-Object Tracking) theo cơ chế Tracking-by-Detection thông qua thuật toán DeepSORT. Mô hình kết hợp bộ lọc Kalman 8 trạng thái để ước lượng vị trí đối tượng, thuật toán phân công Hungary để gán ghép dữ liệu, và mạng ReID 16 lớp trích xuất vector đặc trưng bề ngoài kết hợp khoảng cách Cosine và khoảng cách Mahalanobis.

Bên cạnh đó, nghiên cứu vận dụng 3 khái niệm nền tảng bao gồm: phép biến đổi đồng hình Homography 2D để ánh xạ tọa độ giữa các góc nhìn camera lên mặt phẳng chuẩn, ma trận tương quan dữ liệu để gán ID toàn cục, và thuật toán trích xuất đặc trưng SIFT nhằm xác thực mức độ tương đồng giữa các bounding box chồng lấn.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập trực tiếp qua hệ thống 2 camera Rapoo C260 đặt tại hai góc chéo nhìn về kệ hàng và giỏ hàng, ghi nhận tổng cộng 17.582 hình ảnh ở nhiều điều kiện góc quay và chuyển động khác nhau:

Tập dữ liệu sản phẩm gồm 1.201 ảnh chụp 19 loại hàng hóa phổ biến (nước giải khát, bánh mì, chất tẩy rửa). Trong đó, 1.151 ảnh được dùng cho huấn luyện và kiểm định, 50 ảnh được trích xuất ngẫu nhiên cho tập kiểm tra độc lập. Phương pháp chọn mẫu áp dụng kỹ thuật lấy mẫu phân tầng theo từng mặt bao bì, góc nghiêng và độ phản quang ánh sáng.

Tập dữ liệu tay cầm và giỏ hàng gồm 16.381 ảnh được gán nhãn bằng phần mềm LabelImg thành file định dạng 5 tham số tọa độ chuẩn hóa. Trong đó, 16.000 ảnh phục vụ huấn luyện và 381 ảnh dùng để kiểm tra. Lý do lựa chọn kích thước mẫu lớn cho nhóm đối tượng này là nhằm bao quát toàn bộ các tư thế cầm nắm phức tạp và giảm thiểu tối đa hiện tượng dương tính giả giữa tay không cầm vật và tay có cầm vật.

Phương pháp phân tích dựa trên việc huấn luyện các mô hình học sâu trên nền tảng Google Colab sử dụng GPU chuyên dụng, sau đó triển khai thực thi song song trên máy tính điều khiển trang bị CPU Intel Core i5-12600K và GPU NVIDIA RTX 3060Ti. Toàn bộ quá trình nghiên cứu diễn ra theo tiến độ chuẩn hóa 4 giai đoạn từ ngày 06/02/2023 đến ngày 28/05/2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá thực nghiệm mô hình mang lại 4 kết quả then chốt với các chỉ số định lượng cụ thể:

Thứ nhất, mô hình YOLOv7-tiny nhận diện tay cầm sản phẩm và giỏ hàng đạt độ chính xác trung bình mAP@0.5 trên 95% đối với tập kiểm tra 381 ảnh. Ma trận nhầm lẫn ghi nhận tỷ lệ phân loại sai giữa tay có cầm vật và tay không cầm vật chỉ ở mức dưới 4%, chứng minh khả năng lọc nhiễu nền vượt trội.

Thứ hai, mô hình YOLOv7 phân loại 19 lớp sản phẩm đạt chỉ số mAP@0.5 trên 91% trên tập kiểm tra 50 ảnh. Các mặt hàng có đặc trưng màu sắc và họa tiết rõ ràng như lon Coca, Sting lon, nước Revive đạt độ tin cậy nhận diện trên 93%, trong khi các sản phẩm có bề mặt trong suốt hoặc phản chiếu cao duy trì độ chính xác xấp xỉ 85%.

Thứ ba, thuật toán liên kết không gian bằng phép biến đổi Homography và đối sánh đặc trưng SIFT đã hợp nhất thành công các ID cục bộ (lớn hơn 1000) từ 2 camera thành 1 ID toàn cục duy nhất đại diện cho khách hàng, đạt tỷ lệ ánh xạ chuẩn xác trên 92% khi vật thể nằm trong vùng quan sát tham chiếu.

Thứ tư, hệ thống tổng thể vận hành ổn định với tốc độ xử lý thực tế đạt 28 đến 32 FPS. Trong kịch bản 1 khách hàng thao tác, tỷ lệ nhận biết chính xác hành vi lấy và trả hàng đạt 88%. Khi nâng quy mô lên 2 khách hàng thao tác cùng lúc, độ chính xác nhận diện tổng thể vẫn duy trì ở mức 78%.

Thảo luận kết quả

Hiệu năng ấn tượng của hệ thống bắt nguồn từ sự kết hợp hài hòa giữa cấu trúc E-ELAN giúp duy trì dòng thông tin đặc trưng sâu và bộ lọc Kalman giúp bù trừ quỹ đạo khi đối tượng bị mất dấu tạm thời trong tối đa 30 khung hình. Các kết quả thử nghiệm này có thể được minh họa trực quan thông qua bảng đối sánh tỷ lệ nhận dạng giữa các kịch bản mua sắm và biểu đồ ma trận nhầm lẫn 19x19 thể hiện sự phân tách rõ rệt giữa các nhóm sản phẩm.

Tuy nhiên, sai số nhận dạng vẫn xuất hiện trong một số trường hợp cụ thể, chủ yếu do khách hàng di chuyển tay quá nhanh vượt quá tần số quét của camera tiêu chuẩn, góc che khuất sâu giữa hai cơ thể người khi đứng sát nhau, hoặc khách hàng cầm nhiều sản phẩm chồng lấn khiến bounding box bị biến dạng.

So với các công trình trước đây chỉ sử dụng YOLOv4 cho quầy thu ngân đơn lẻ với tốc độ dưới 20 FPS, nghiên cứu này đạt tốc độ cao hơn khoảng 45% và giải quyết trọn vẹn bài toán theo dõi đa camera mà không đòi hỏi chi phí lắp đặt cảm biến trọng lượng đắt đỏ như mô hình Amazon Go.

Đề xuất và khuyến nghị

Để đưa hệ thống từ môi trường phòng thí nghiệm vào ứng dụng thương mại thực tế, nghiên cứu đề xuất 4 nhóm giải pháp kỹ thuật cụ thể:

Nâng cấp hệ thống cảm biến quang học: Thay thế camera thông thường bằng cụm 4 đến 6 camera công nghiệp góc rộng có tốc độ khung hình từ 60 FPS trở lên, bố trí đa chiều nhằm triệt tiêu hoàn toàn góc chết và giảm hiện tượng nhòe chuyển động xuống dưới 2% trong thời gian 3 tháng, do đội ngũ kỹ sư tích hợp hệ thống phần cứng triển khai.

Tối ưu hóa mô hình học sâu bằng TensorRT: Chuyển đổi và lượng tử hóa trọng số của mạng YOLOv7 sang định dạng FP16 hoặc INT8 nhằm tăng tốc độ suy luận lên trên 45 FPS và tiết kiệm 30% dung lượng bộ nhớ GPU trong lộ trình 2 tháng, do các chuyên gia kỹ thuật phần mềm AI phụ trách.

Mở rộng cơ sở dữ liệu huấn luyện đa dạng: Bổ sung trên 5.000 mẫu ảnh chụp các tình huống thao tác phức tạp (cầm chồng sản phẩm, điều kiện ánh sáng thay đổi từ 200 lux đến 800 lux) nhằm nâng chỉ số mAP@0.5 tổng thể lên trên 96% trong vòng 4 tháng, do nhóm nghiên cứu phát triển dữ liệu đảm nhiệm.

Tích hợp cảm biến phụ trợ IoT tại kệ hàng: Lắp đặt bổ sung các cảm biến tải trọng (load cell) tại các tầng kệ để thực hiện xác thực chéo khối lượng sản phẩm lấy ra với kết quả từ camera, đảm bảo độ chính xác thanh toán đạt 99.9% trong giai đoạn thử nghiệm pilot 6 tháng, do doanh nghiệp bán lẻ phối hợp với viện nghiên cứu thực hiện.

Đối tượng nên tham khảo luận văn

Học viên cao học và sinh viên ngành Kỹ thuật Điều khiển, Tự động hóa và Khoa học Máy tính: Tài liệu cung cấp hướng dẫn chi tiết từ khâu xử lý dữ liệu ảnh, tối ưu hóa YOLOv7 đến triển khai thuật toán DeepSORT và Homography đa camera trong các đề tài nghiên cứu thị giác máy tính ứng dụng.

Kỹ sư phát triển hệ thống AI và IoT: Có thể khai thác thuật toán liên kết ID toàn cục và giải thuật quản lý giỏ hàng ảo để xây dựng các giải pháp điểm bán hàng thông minh (Smart POS) hoặc hệ thống quản lý xuất nhập kho hàng tự động.

Chủ doanh nghiệp và nhà quản trị chuỗi bán lẻ: Giúp đánh giá tính khả thi và bài toán chi phí khi đầu tư mô hình cửa hàng không người bán (Just Walk-Out), hướng đến mục tiêu giảm 50% chi phí nhân sự quầy thu ngân và tăng 35% lưu lượng khách mua sắm.

Nhà nghiên cứu giải pháp an ninh và giám sát thông minh: Tận dụng phương pháp hiệu chỉnh tọa độ Homography 2D kết hợp trích xuất đặc trưng SIFT để phát triển các hệ thống định vị và theo dõi lộ trình di chuyển của đối tượng trong không gian công cộng rộng lớn.

Câu hỏi thường gặp

Hệ thống xử lý thế nào khi khách hàng cầm sản phẩm lên xem rồi đặt lại vào kệ hàng? Khối quản lý kệ hàng giám sát liên tục sự xuất hiện và biến mất của bounding box sản phẩm cùng tọa độ tay cầm. Khi phát hiện tay đưa sản phẩm trở lại đúng vị trí trên kệ và bounding box sản phẩm tái xuất hiện sau 3 khung hình, thuật toán sẽ tự động xóa sản phẩm đó khỏi giỏ hàng ảo, đảm bảo tính đúng hóa đơn thực tế.

Tại sao luận văn lại chia thành hai mô hình YOLOv7 và YOLOv7-tiny riêng biệt? Việc phân chia mô hình giúp cân bằng giữa độ chính xác và tốc độ xử lý thời gian thực. YOLOv7 được dùng cho 19 loại sản phẩm đòi hỏi trích xuất đặc trưng chi tiết với mAP trên 91%, trong khi YOLOv7-tiny đảm nhận 2 lớp đơn giản là giỏ hàng và tay cầm để giảm tải bộ nhớ và duy trì tốc độ toàn hệ thống đạt 28 đến 32 FPS.

Thuật toán DeepSORT xử lý bài toán mất dấu đối tượng khi bị che khuất ra sao? DeepSORT sử dụng bộ lọc Kalman 8 thành phần để duy trì ước lượng vị trí và vận tốc của đối tượng trong trạng thái dự đoán tối đa 30 khung hình. Khi đối tượng xuất hiện trở lại, mạng ReID 16 lớp sẽ trích xuất vector đặc trưng ngoại hình kết hợp khoảng cách Cosine để đối sánh và tái gán chính xác ID ban đầu.

Phép biến đổi Homography đóng vai trò gì trong việc liên kết dữ liệu giữa 2 camera? Phép biến đổi Homography 3x3 thực hiện chuyển đổi tọa độ từ 2 góc nhìn camera nghiêng về một mặt phẳng tham chiếu 2D chuẩn hóa. Dựa vào diện tích chồng lấn lớn nhất của các bounding box trên mặt phẳng này, hệ thống ánh xạ các ID cục bộ ở từng camera thành một ID toàn cục duy nhất đại diện cho giỏ hàng.

Mô hình này có thể mở rộng cho cửa hàng có hàng nghìn mã sản phẩm hay không? Hệ thống hoàn toàn có khả năng mở rộng nhờ cơ chế phân vùng mô-đun hóa theo từng kệ hàng độc lập. Mỗi cụm camera chỉ cần quản lý từ 20 đến 50 danh mục sản phẩm đặc thù tại khu vực đó, giúp mô hình AI duy trì độ chính xác cao trên 95% mà không gây quá tải cho bộ nhớ tính toán của máy chủ.

Kết luận

Công trình nghiên cứu đã giải quyết thành công bài toán tính tiền tự động trong cửa hàng bán lẻ thông qua 5 đóng góp nổi bật:

• Xây dựng hoàn chỉnh quy trình tính tiền tự động thời gian thực bằng thị giác máy tính, loại bỏ hoàn toàn sự phụ thuộc vào thao tác quét mã thủ công.
• Huấn luyện thành công mô hình YOLOv7 và YOLOv7-tiny trên tập dữ liệu 17.582 ảnh, đạt độ chính xác phát hiện trung bình mAP@0.5 trên 91%.
• Tích hợp hiệu quả thuật toán DeepSORT và bộ lọc Kalman, đảm bảo khả năng theo dõi quỹ đạo tay cầm và giỏ hàng liên tục qua nhiều khung hình.
• Ứng dụng thành công phép biến đổi Homography và đặc trưng SIFT để đồng bộ dữ liệu đa camera thành hệ thống quản lý ID toàn cục.
• Tối ưu hóa hệ thống vận hành mượt mà ở tốc độ 28 đến 32 FPS trên cấu hình máy tính cá nhân phổ thông.

Đóng góp chính của luận văn là cung cấp một giải pháp tự động hóa điểm bán hàng có tính khả thi cao, tiết kiệm chi phí đầu tư hạ tầng cho thị trường bán lẻ Việt Nam. Trong lộ trình 6 tháng tiếp theo, nhóm nghiên cứu hướng tới việc mở rộng mô hình lên cụm 6 camera và tích hợp cảm biến trọng lượng IoT. Quý doanh nghiệp và các nhà nghiên cứu quan tâm có thể tiếp cận toàn văn công trình để hợp tác thử nghiệm và chuyển giao công nghệ vào thực tiễn sản xuất kinh doanh.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. TỔNG QUAN ĐỀ TÀI 1.1 Lý do chọn đề tài Nhu cầu tiêu dùng của con người với các loại hàng hóa ngày càng lớn, ngành dịch vụ bán lẻ trở nên phát triển nhanh chóng và trở thành một trong những mũi nhọn của nền kinh tế. Cùng với sự phát triển của ngành bán lẻ, những nhà bán lẻ cần phải thích ứng để phát triển. Điều này thôi thúc cần phải tạo ra những trải nghiệm tiêu dùng sáng tạo, thú vị cũng như phải có những cách thức mới thu hút sự chú ý của khách hàng.

Trong đó, giai đoạn thanh toán là rào cản rất lớn, gây nên sự khó chịu, trải nghiệm không tốt với khách hàng. Việc phải chờ đợi thanh toán quá lâu khi mua hàng sẽ khiến khách hàng rời đi, chọn những cửa hàng khác thay thế. Kết quả là lợi nhuận bị mất, sự hài lòng của người tiêu dùng giảm và trải nghiệm của khách hàng bị ảnh hưởng. Ngày nay, công nghiệp hóa ngày càng phát triển, rất nhiều kỹ thuật được ứng dụng vào trong đời sống để nâng cao chất lượng cuộc sống của người dân, cũng như giúp nâng cao hiệu suất trong công việc.

Một hệ thống có thể giúp phát hiện các đối tượng và phân loại sản phẩm trong cửa hàng là rất quan trọng để giúp nhân viên có thể xác định được các sản phẩm thuộc loại hàng khác nhau và nhanh chóng biết được giỏ hàng của khách hàng đang có gì để tiến hành thanh toán, và do đó có thể nâng cao hiệu suất làm việc của nhân viên.2 Những công trình nghiên cứu gần đây Bài viết Automated Checkout for Stores: A Computer Vision Approach [1] đề cập đến phương pháp tính tiền tự động ở quầy thu ngân, hệ thống sẽ nhận dạng các sản phẩm và xuất hóa đơn. Tác giả dựa trên thị giác máy bằng cách sử dụng YOLOv4 để nhận dạng 34 đối tượng trong tập dữ liệu MS COCO, những đối tượng này thường xuất hiện trong siêu thị, từ đó xác định xem những mặt hàng có trong một bức ảnh, sau đó đếm số lượng các mặt hàng tương tự có trong danh mục mặt hàng, xuất ra hóa đơn trên giao diện bằng Flask web framework. Sau khi thực hiện, tác giả tiến hành đánh giá các sản 1 phẩm chạy trên băng chuyền, các đối tượng nhận diện được đều có confidence score lớn hơn 50%. Kết quả của tác giả đưa ra là khá tốt và ý tưởng của tác giả rất hay.

Tuy nhiên khách hàng vẫn phải mất thời gian xếp hàng hóa, đóng gói, tính tiền tại quầy. Cửa hàng vẫn phải tốn nhân sự cho việc thu ngân. Cùng với đó các loại sản phẩm ở trong siêu thị rất nhiều, khó có mô hình nhận dạng nào có thể nhận diện được chính xác tất cả. Bài viết Smart Shopping Cart using Machine Vision along with Machine Learning [2] đề cập đến phương án tính tiền tự động đó là một giỏ hàng thông minh.

Bằng cách sử dụng Thị giác máy để xác định các mặt hàng được đặt trong giỏ hàng, một mô-đun Raspbêrry Pi để xử lý dữ liệu và cập nhật cơ sở dữ liệu và màn hình LCD để hiển thị thông tin về khách hàng và giỏ hàng của họ. Ở cuối của quá trình mua sắm, một hóa đơn được tạo ra cho người tiêu dùng.1 Mô hình giỏ hàng thông minh Việc áp dụng loại hệ thống mua sắm thông minh này sẽ là cách rất có lợi cho khách hàng để tránh sự bất tiện mà họ thường gặp phải trong khi mua sắm. Khách hàng sẽ có thể giảm thiểu thời gian xếp hàng trong quá trình thanh toán trong thu ngân. Tuy nhiên giá thành của mỗi giỏ hàng này sẽ rất cao, khó có thể triển khai cho một siêu thị hoặc một trung tâm mua sắm lớn.