Xe đẩy siêu thị thông minh tự động thanh toán bằng AI - Luận văn tốt nghiệp

Giỏ hàng thông minh tích hợp AI giúp thanh toán tự động. Tìm hiểu cách công nghệ này thay đổi trải nghiệm mua sắm, tiết kiệm thời gian và tăng hiệu quả.

• Tác giả: Trần Ngô Minh Trí
• Người hướng dẫn: TS. Bùi Hà Đức
• Trường học: Ho Chi Minh City University of Technology and Education
• Chuyên ngành: Electronics and Telecommunication Engineering Technology
• Đề tài: Xe đẩy siêu thị thông minh tự động bám theo người kết hợp thanh toán tự động ứng dụng công nghệ trí tuệ nhân tạo
• Loại tài liệu: Graduation Thesis
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
• LỜI CAM KẾT
• LỜI CẢM ƠN
• ABSTRACT
• TABLE OF CONTENTS
• LIST OF TABLES
• LIST OF FIGURES
• LIST OF ABBREVIATIONS
• 1. CHAPTER 1: INTRODUCTION
• 1.1. Research subjects and scopes
• 2. CHAPTER 2: LITERATURE REVIEW
• 2.1. Deep learning and Convolutional Neural Networks
• 2.2. Metrics are used for the object detection task
• 2.3. Choosing a model to deploy on Jetson Nano
• 3. CHAPTER 3: HARDWARE AND MECHANICAL DESIGN
• 3.1. 3D Structural Design of the Robot
• 3.2. Building the robot base
• 3.3. Calculations and motor selection
• 3.4. Calculations and selection of the belt transmission system
• 3.5. Selection of bearing supports. Selection of omnidirectional wheels
• 3.6. Designing the base plate
• 3.7. Calculating the kinematics of the robot
• 3.8. Calculating the dynamics of the robot
• 4. CHAPTER 4: ELECTRICAL DESIGN
• 4.1. Block diagram and overview of the electrical system
• 4.2. Power supply block
• 4.3. Calculating and selecting the power supply
• 4.4. Buck converter circuits
• 4.5. Main data processing block
• 5. CHAPTER 5: ALGORITHM DESIGN
• 5.1. Designing 2D and 3D image processing algorithms
• 5.2. Following person module
• 5.3. Automatic checkout module
• 5.4. Semantic Entity Recognition module
• 5.5. Algorithm for Robot navigation
• 5.6. The control algorithm on STM32
• 6. CHAPTER 6: EXPERIMENTS AND RESULTS
• 6.1. PID Controller for Motor Speed Control
• 6.2. The structure of a PID controller
• 6.3. Finding the transfer function of the motor from experimentation
• 6.4. Find the parameters of the PID controller for speed control of the motor
• 6.5. The PID control diagram of each motor
• 6.6. The experimental results of the PID controller on two motors
• 6.7. The main base plate deformation testing
• 6.8. The cargo compartment deformation testing
• 6.9. The base frame deformation testing
• 6.10. Training the semantic entity recognition model
• 6.11. Training the model
• 6.12. Recognizing user actions
• 6.13. User interface designing. The result of the tracking model when the person is occluded
• 7. CHAPTER 7: CONCLUSION AND FUTURE DEVELOPMENTS

Tóm tắt

I. Tổng quan Xe đẩy thông minh Cách AI thay đổi mua sắm

Ngành bán lẻ đang chứng kiến một cuộc cách mạng công nghệ. Xe đẩy thông minh (smart shopping cart) nổi lên như một giải pháp tiên phong, định hình lại hoàn toàn trải nghiệm mua sắm không tiếp xúc. Đây không còn là một ý tưởng khoa học viễn tưởng mà là một ứng dụng thực tiễn của Trí tuệ nhân tạo (AI) và thị giác máy tính cho bán lẻ. Sản phẩm này là một robot tự hành di động, được thiết kế để tích hợp hai tính năng cốt lõi: tự động đi theo khách hàng và cho phép thanh toán tự động AI. Mục tiêu chính là loại bỏ các rào cản trong quy trình mua sắm truyền thống, đặc biệt là việc phải xếp hàng chờ đợi lâu. Bằng cách tích hợp camera, cảm biến và các mô hình học sâu, giỏ hàng thông minh có khả năng tự nhận diện sản phẩm khi được thêm vào hoặc bỏ ra, cập nhật hóa đơn theo thời gian thực và xử lý thanh toán ngay trên thiết bị. Theo đề tài nghiên cứu "A smart shopping cart with automated payment based on Artificial Intelligence" của nhóm sinh viên Đại học Sư phạm Kỹ thuật TP.HCM, giải pháp này không chỉ giúp giảm thời gian chờ đợi thanh toán mà còn tối ưu hóa vận hành siêu thị một cách đáng kể. Công nghệ này hứa hẹn sẽ giải phóng nhân viên thu ngân khỏi các tác vụ lặp đi lặp lại, cho phép họ tập trung vào việc hỗ trợ khách hàng và quản lý cửa hàng hiệu quả hơn. Sự ra đời của giỏ hàng thông minh là một bước tiến quan trọng hướng tới mô hình cửa hàng tự động (autonomous store), nơi công nghệ làm trung tâm để nâng cao hiệu quả và sự hài lòng của người tiêu dùng.

1.1. Định nghĩa giỏ hàng thông minh và công nghệ bán lẻ mới

Giỏ hàng thông minh, hay smart shopping cart, là một thiết bị mua sắm được nâng cấp bằng công nghệ cao, vượt xa chức năng chứa đồ truyền thống. Nó được trang bị các hệ thống như camera RGB, camera chiều sâu, bộ xử lý tích hợp (ví dụ: Jetson Nano), và các thuật toán AI. Mục đích là tạo ra một hệ thống POS di động (mobile POS system) ngay trong tầm tay khách hàng. Cốt lõi của công nghệ bán lẻ (retail tech) này là khả năng tự động hóa quy trình thanh toán. Thay vì phải đến quầy thu ngân, khách hàng có thể hoàn tất giao dịch ngay tại xe đẩy thông qua các phương thức thanh toán điện tử. Đây là một phần của xu hướng thanh toán không cần thu ngân (checkout-free technology) đang được các ông lớn như Amazon tiên phong với công nghệ just walk out.

1.2. Tầm quan trọng trong việc nâng cao trải nghiệm mua sắm

Sự quan trọng của xe đẩy thông minh nằm ở khả năng giải quyết các điểm nghẽn trong trải nghiệm mua sắm hiện đại. Việc xếp hàng dài tại quầy thanh toán là một trong những nguyên nhân chính gây ra sự không hài lòng cho khách hàng, đặc biệt vào giờ cao điểm. Bằng cách loại bỏ bước này, công nghệ giúp tạo ra một hành trình mua sắm liền mạch, nhanh chóng và tiện lợi. Hơn nữa, trong bối cảnh các yêu cầu về giãn cách xã hội và hạn chế tiếp xúc gia tăng, một trải nghiệm mua sắm không tiếp xúc (contactless shopping) trở nên cực kỳ giá trị, đảm bảo an toàn cho cả người mua và nhân viên. Điều này không chỉ là một tiện ích mà còn là một yếu tố cạnh tranh quan trọng cho các nhà bán lẻ trong kỷ nguyên số.

II. Thách thức thanh toán Vì sao hàng chờ siêu thị quá dài

Vấn đề cốt lõi mà các siêu thị và trung tâm mua sắm lớn phải đối mặt là tình trạng quá tải tại các quầy thanh toán, đặc biệt trong các khung giờ cao điểm hoặc dịp lễ. Luận văn tốt nghiệp của nhóm sinh viên Đại học Sư phạm Kỹ thuật TP.HCM đã chỉ ra rằng, quy trình thanh toán thủ công là nguyên nhân chính gây ra tắc nghẽn. Mỗi giao dịch đòi hỏi nhân viên phải quét mã vạch từng sản phẩm, nhập liệu, xử lý tiền mặt hoặc thẻ, và đóng gói. Quá trình này tốn nhiều thời gian và dễ xảy ra sai sót. Khi lượng khách hàng tăng đột biến, tốc độ xử lý của các quầy thu ngân không thể đáp ứng kịp, dẫn đến việc hình thành các hàng dài chờ đợi. Tình trạng này không chỉ làm giảm sự hài lòng của khách hàng mà còn ảnh hưởng trực tiếp đến hiệu quả kinh doanh. Khách hàng có thể từ bỏ giỏ hàng hoặc lựa chọn các đối thủ cạnh tranh có quy trình nhanh hơn. Hơn nữa, việc duy trì một đội ngũ nhân viên thu ngân lớn cũng làm tăng chi phí vận hành. Thách thức này đòi hỏi một giải pháp đột phá để phân bổ đều các tác vụ thanh toán, thay vì tập trung chúng tại một địa điểm duy nhất. Đây chính là bối cảnh mà xe đẩy thông minh với khả năng thanh toán tự động AI trở thành một giải pháp chiến lược, hứa hẹn sẽ cách mạng hóa việc tối ưu hóa vận hành siêu thị và mang lại lợi ích cho cả doanh nghiệp và người tiêu dùng.

2.1. Phân tích thực trạng chờ đợi tại quầy thu ngân hiện nay

Thực trạng xếp hàng chờ thanh toán là một hình ảnh quen thuộc tại hầu hết các siêu thị trên toàn thế giới, bao gồm cả Việt Nam. Khảo sát thực tế cho thấy thời gian chờ đợi trung bình có thể kéo dài từ 5 đến 15 phút, và thậm chí lâu hơn vào cuối tuần. Nguyên nhân không chỉ đến từ số lượng khách hàng đông mà còn từ các yếu tố như sản phẩm không có mã vạch, lỗi hệ thống POS, hoặc các giao dịch phức tạp cần sự can thiệp của quản lý. Việc giảm thời gian chờ đợi thanh toán đã trở thành một ưu tiên hàng đầu của các nhà bán lẻ, vì nó ảnh hưởng trực tiếp đến lòng trung thành của khách hàng và hình ảnh thương hiệu.

2.2. Ảnh hưởng đến vận hành siêu thị và sự hài lòng của khách

Việc xếp hàng kéo dài gây ra nhiều hệ lụy tiêu cực. Đối với khách hàng, nó tạo ra cảm giác mệt mỏi, bực bội và lãng phí thời gian, làm suy giảm chất lượng toàn bộ trải nghiệm mua sắm. Đối với nhà bán lẻ, nó làm giảm thông lượng khách hàng có thể phục vụ trong một khoảng thời gian nhất định, tiềm ẩn nguy cơ mất doanh thu. Chi phí nhân sự cho các quầy thu ngân cũng là một khoản đáng kể. Việc tối ưu hóa vận hành siêu thị không chỉ là cắt giảm chi phí mà còn là tái cấu trúc quy trình để phục vụ khách hàng tốt hơn. Một hệ thống thanh toán kém hiệu quả sẽ là một điểm trừ lớn trong mắt người tiêu dùng hiện đại, những người ngày càng coi trọng sự tiện lợi và tốc độ.

III. Phương pháp nhận dạng sản phẩm bằng AI trên xe đẩy thông minh

Cơ chế hoạt động của xe đẩy thông minh dựa trên sự kết hợp tinh vi giữa phần cứng và phần mềm, trong đó công nghệ nhận dạng sản phẩm bằng AI (AI product recognition) là trái tim của hệ thống. Theo thiết kế được đề xuất trong nghiên cứu, mỗi xe đẩy được trang bị một camera RGB để ghi lại hình ảnh sản phẩm khi khách hàng đặt vào giỏ. Những hình ảnh này ngay lập tức được chuyển đến một bộ xử lý nhúng, chẳng hạn như NVIDIA Jetson Nano, để phân tích. Tại đây, một mô hình học sâu, cụ thể là SSD (Single Shot MultiBox Detector) với kiến trúc MobileNetV2, sẽ được triển khai. Mô hình này đã được huấn luyện trước với một bộ dữ liệu lớn gồm hình ảnh của các sản phẩm trong siêu thị. Nhiệm vụ của nó là phát hiện và xác định chính xác tên, và đôi khi là giá của sản phẩm từ hình ảnh. Quá trình này diễn ra gần như tức thời. Khi một sản phẩm được nhận dạng, thông tin sẽ tự động được thêm vào hóa đơn điện tử hiển thị trên màn hình của xe đẩy. Tương tự, khi khách hàng lấy sản phẩm ra, hệ thống cũng sẽ nhận diện và cập nhật lại hóa đơn. Toàn bộ quy trình này tạo nên một trải nghiệm mua sắm không tiếp xúc và loại bỏ hoàn toàn nhu cầu quét mã vạch thủ công, hiện thực hóa khái niệm thanh toán không cần thu ngân.

3.1. Vai trò của thị giác máy tính trong ngành bán lẻ hiện đại

Thị giác máy tính cho bán lẻ (computer vision retail) đóng vai trò then chốt trong việc tự động hóa các quy trình. Trong ứng dụng xe đẩy thông minh, nó cho phép máy móc "nhìn" và "hiểu" các sản phẩm vật lý. Công nghệ này sử dụng các thuật toán phức tạp để phân tích pixel trong ảnh, nhận dạng các đặc điểm như hình dạng, màu sắc, logo, và văn bản trên bao bì. Ngoài việc nhận dạng sản phẩm, thị giác máy tính còn có thể được ứng dụng để theo dõi lượng hàng tồn kho trên kệ, phân tích hành vi khách hàng qua bản đồ nhiệt (heat map), hoặc đảm bảo an ninh trong cửa hàng. Đây là công nghệ nền tảng cho sự phát triển của các cửa hàng tự động.

3.2. Mô hình AI nhận dạng sản phẩm và xử lý thông tin hóa đơn

Để đạt được độ chính xác cao, các mô hình nhận dạng sản phẩm bằng AI như SSD và YOLO được huấn luyện trên hàng ngàn hình ảnh sản phẩm dưới nhiều góc độ và điều kiện ánh sáng khác nhau. Luận văn tham khảo đã đề cập đến việc sử dụng mô hình LayoutXLM để nhận dạng thực thể ngữ nghĩa (Semantic Entity Recognition), giúp trích xuất thông tin văn bản như tên sản phẩm và thương hiệu từ bao bì. Khi sản phẩm được xác định, hệ thống sẽ truy vấn cơ sở dữ liệu để lấy thông tin giá cả và cập nhật vào hóa đơn tạm thời. Hệ thống này hoạt động như một hệ thống POS di động, đảm bảo tính minh bạch và cho phép khách hàng theo dõi chi tiêu của mình trong suốt quá trình mua sắm.

IV. Công nghệ tự hành Cách xe đẩy thông minh đi theo khách hàng

Bên cạnh tính năng thanh toán, khả năng tự động đi theo người dùng là một yếu tố quan trọng giúp nâng cao trải nghiệm của xe đẩy thông minh. Giải pháp này biến chiếc xe đẩy từ một vật dụng thụ động thành một trợ lý robot năng động. Theo nghiên cứu, hệ thống này sử dụng một camera chiều sâu (depth camera), ví dụ như Intel Realsense D435, để thu thập dữ liệu không gian ba chiều (3D) và hình ảnh hai chiều (2D) của môi trường xung quanh. Đầu tiên, một mô hình phát hiện đối tượng sẽ xác định vị trí của khách hàng trong khung hình. Sau đó, một thuật toán theo dõi (tracking algorithm) tiên tiến, như STARK-Lightning được đề cập trong luận văn, sẽ được kích hoạt. Thuật toán này có khả năng duy trì việc theo dõi khách hàng một cách liên tục, ngay cả khi có người khác đi ngang qua hoặc đối tượng tạm thời bị che khuất. Dữ liệu từ camera chiều sâu cho phép hệ thống tính toán chính xác khoảng cách và góc lệch giữa xe đẩy và người dùng. Thông tin này sau đó được truyền đến bộ vi điều khiển (ví dụ: STM32) để điều khiển động cơ. Một bộ điều khiển PID (Proportional-Integral-Derivative) được sử dụng để điều chỉnh tốc độ của hai động cơ một cách chính xác, giúp xe đẩy di chuyển mượt mà, giữ khoảng cách an toàn và đi theo mọi chuyển động của khách hàng. Công nghệ này giải phóng đôi tay của khách hàng, cho phép họ thoải mái lựa chọn sản phẩm mà không cần phải đẩy một chiếc xe nặng nề.

4.1. Xử lý hình ảnh 2D và 3D từ camera chiều sâu để định vị

Camera chiều sâu là thành phần cốt lõi của tính năng tự hành. Nó không chỉ cung cấp hình ảnh RGB thông thường (2D) mà còn tạo ra một bản đồ độ sâu (depth map) và đám mây điểm (point cloud) của không gian phía trước. Dữ liệu hình ảnh 2D được sử dụng bởi các mô hình AI để phát hiện và theo dõi người. Trong khi đó, dữ liệu 3D cho phép robot tính toán khoảng cách thực tế đến người dùng và các chướng ngại vật khác. Việc kết hợp hai loại dữ liệu này mang lại khả năng định vị và điều hướng chính xác hơn nhiều so với việc chỉ sử dụng camera 2D thông thường, đặc biệt trong môi trường siêu thị đông đúc và phức tạp.

4.2. Thuật toán theo dõi và hệ thống điều khiển PID cho động cơ

Sau khi người dùng được xác định, thuật toán theo dõi sẽ khóa mục tiêu và liên tục cung cấp tọa độ của họ cho hệ thống điều khiển. Nghiên cứu đã nhấn mạnh tầm quan trọng của việc lựa chọn một thuật toán mạnh mẽ có khả năng xử lý các tình huống che khuất. Dựa trên vị trí của mục tiêu, hệ thống sẽ tính toán vận tốc tuyến tính và vận tốc góc cần thiết cho robot. Các tín hiệu điều khiển này được gửi đến bộ điều khiển PID. Bộ điều khiển PID sau đó sẽ điều chỉnh độ rộng xung (PWM) cấp cho các trình điều khiển động cơ, đảm bảo robot tăng tốc, giảm tốc và quay đầu một cách trơn tru, mô phỏng chính xác chuyển động của khách hàng mà không bị giật hoặc di chuyển đột ngột.

V. Lợi ích vượt trội Nâng cao trải nghiệm mua sắm không tiếp xúc

Việc triển khai giỏ hàng thông minh mang lại những lợi ích đáng kể trên nhiều phương diện, tạo ra một cuộc cách mạng trong công nghệ bán lẻ. Lợi ích rõ ràng nhất là việc giảm thời gian chờ đợi thanh toán xuống gần như bằng không, trực tiếp cải thiện sự hài lòng của khách hàng. Thay vì kết thúc chuyến đi mua sắm bằng sự mệt mỏi khi phải xếp hàng, khách hàng có thể rời đi ngay lập tức sau khi chọn xong món hàng cuối cùng. Điều này tạo ra một trải nghiệm mua sắm không tiếp xúc liền mạch và hiện đại. Đối với các nhà bán lẻ, lợi ích không chỉ dừng lại ở việc làm hài lòng khách hàng. Hệ thống này giúp tối ưu hóa vận hành siêu thị bằng cách giảm bớt sự phụ thuộc vào nhân viên thu ngân, cho phép tái phân bổ nguồn nhân lực vào các vai trò tư vấn, hỗ trợ khách hàng hoặc quản lý hàng hóa. Hơn nữa, dữ liệu thu thập từ đường đi của xe đẩy trong siêu thị là một nguồn thông tin vô giá. Các nhà bán lẻ có thể sử dụng dữ liệu này để thực hiện phân tích hành vi khách hàng, hiểu được sản phẩm nào thu hút sự chú ý, khu vực nào trong cửa hàng có lưu lượng truy cập cao nhất. Thông tin này giúp tối ưu hóa cách bố trí sản phẩm, chiến lược marketing và quản lý tồn kho, hướng tới mô hình cửa hàng tự động thông minh và hiệu quả hơn.

5.1. Tiện ích cho khách hàng Tạm biệt hàng chờ thanh toán

Đối với người tiêu dùng, giá trị lớn nhất của xe đẩy thông minh là sự tiện lợi và tiết kiệm thời gian. Quy trình mua sắm trở nên nhanh chóng và hiệu quả hơn. Khách hàng có thể theo dõi tổng giá trị giỏ hàng của mình theo thời gian thực, giúp họ quản lý chi tiêu tốt hơn. Tính năng tự động đi theo cũng giúp giảm bớt gánh nặng thể chất, đặc biệt hữu ích cho người lớn tuổi hoặc những người mua sắm với số lượng lớn. Nhìn chung, công nghệ này biến một công việc thường ngày trở thành một trải nghiệm thú vị và ít căng thẳng hơn.

5.2. Hiệu quả cho nhà bán lẻ Tối ưu vận hành và phân tích dữ liệu

Các nhà bán lẻ thu được lợi ích kép: tối ưu hóa chi phí và gia tăng doanh thu. Việc giảm số lượng quầy thanh toán giúp tiết kiệm không gian và chi phí nhân sự. Quan trọng hơn, dữ liệu về hành trình mua sắm của khách hàng cho phép thực hiện phân tích hành vi khách hàng ở một cấp độ sâu sắc. Doanh nghiệp có thể biết được khách hàng dừng lại ở đâu lâu nhất, lộ trình phổ biến là gì, và các sản phẩm nào thường được mua cùng nhau. Những hiểu biết này là nền tảng để đưa ra các quyết định kinh doanh dựa trên dữ liệu, từ việc sắp xếp kệ hàng đến các chương trình khuyến mãi được cá nhân hóa.

5.3. So sánh với công nghệ Just Walk Out và các giải pháp khác

So với công nghệ Just Walk Out của Amazon, vốn đòi hỏi phải trang bị lại toàn bộ cửa hàng với hàng trăm camera và cảm biến, giải pháp xe đẩy thông minh có tính linh hoạt cao hơn và chi phí triển khai ban đầu thấp hơn. Nó có thể được tích hợp vào các siêu thị hiện có mà không cần thay đổi lớn về cơ sở hạ tầng. Trong khi "Just Walk Out" tạo ra trải nghiệm hoàn toàn tự động, xe đẩy thông minh cung cấp một bước đệm, kết hợp sự tự do của việc tự thanh toán với cấu trúc cửa hàng truyền thống, làm cho nó trở thành một lựa chọn hấp dẫn và dễ tiếp cận hơn cho nhiều nhà bán lẻ.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING GRADUATION THESIS ELECTRONICS AND TELECOMMUNICATION ENGINEERING TECHNOLOGY A SMART SHOPPING CART WITH AUTOMATED PAYMENT BASED ON ARTIFICIAL INTELLIGENCE ADVISOR : Ph. BUI HA DUC STUDENT: TRAN NGO MINH TRI NGUYEN HOAI NAM NGUYEN VAN TONG SKL 0 1 0 9 6 1 Ho Chi Minh City, July 2023 MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION --------------------------------- FACULTY FOR HIGH QUALITY TRAINING GRADUATION THESIS Project title: A smart shopping cart with automated payment based on Artificial Intelligence ADVISOR: BUI HA DUC, PhD STUDENTS: TRAN NGO MINH TRI – 19146033 NGUYEN HOAI NAM – 19146219 NGUYEN VAN TONG – 19146279 CLASS: 19146CL2B ACADEMIC YEAR: 2019 – 2023 Ho Chi Minh City, July 2023 CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự do – Hạnh phúc NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Học kỳ 2 / năm học 2022-2023 Giảng viên hướng dẫn: TS Bùi Hà Đức Sinh viên thực hiện: Trần Ngô Minh Trí MSSV: 19146033 Hệ đào tạo: CLV Nguyễn Hoài Nam MSSV: 19146219 Hệ đào tạo: CLV Nguyễn Văn Tòng MSSV: 19146279 Hệ đào tạo: CLV 1. Mã số đề tài: – Tên đề tài: Xe đẩy siêu thị thông minh tự động bám theo người kết hợp thanh toán tự động ứng dụng công nghệ trí tuệ nhân tạo. Các số liệu, tài liệu ban đầu: Mô hình phần cứng và số liệu đã hoàn thành từ đồ án trước.

Nội dung chính của đồ án: Thiết kế và gia công xa đẩy siêu thị thông minh có khả năng tự đi theo khách hàng, hỗ trợ định giá, thanh toán các sản phẩm trong siêu thị. Các sản phẩm dự kiến Sản phẩm đúng kích thước có thể vận hành thực tế. Ngôn ngữ trình bày: Bản báo cáo: Tiếng Anh  Tiếng Việt  i Trình bày bảo vệ: Tiếng Anh  Tiếng Việt  Ghi chú: Hệ chất lượng cao tiếng Anh thực hiện thuyết minh và báo cáo bằng tiếng Anh TRƯỞNG KHOA TRƯỞNG NGÀNH GIẢNG VIÊN HƯỚNG DẪN (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) (Ký, ghi rõ họ tên) ii LỜI CAM KẾT - Tên đề tài: Xe đẩy siêu thị thông minh tự động bám theo người kết hợp thanh toán tự động ứng dụng công nghệ trí tuệ nhân tạo. - GVHD: TS Bùi Hà Đức.

- Thông tin sinh viên: 1. Trần Ngô Minh Trí – MSSV: 19146033 – Lớp: 19146CL2B Địa chỉ: 46/3, Tân Hòa 2, phường Hiệp Phú, TP Thủ Đức, SĐT: [phone]. Nguyễn Hoài Nam – MSSV: 19146219 – Lớp 19146CL2B Địa chỉ: đường 5 phường Linh Xuân TP Thủ Đức, SĐT:[phone] Email: 19146219@student. Nguyễn Văn Tòng – MSSV: 19146279 – Lớp 19146CL2B Địa chỉ: 2a Đường số 37, Phường Linh Đông, TP Thủ Đức, SĐT: [phone] Email: [e-mail] - Ngày nộp khóa luận tốt nghiệp: 21/07/2023 - Lời cam kết: “Tôi xin cam đoan khóa luận tốt nghiệp (ĐATN) này là công trình do chính tôi nghiên cứu và thực hiện.

Tôi không sao chép từ bất kỳ một bài viết nào đã được công bố mà không trích dẫn nguồn gốc. Nếu có bất kỳ một sự vi phạm nào, tôi xin chịu hoàn toàn trách nhiệm”. Hồ Chí Minh, ngày 21 tháng 07 năm 2023 Ký tên iii LỜI CẢM ƠN Đầu tiên nhóm xin chân thành gửi lời cảm ơn đế thầy hướng dẫn – TS Bùi Hà Đức, nhóm xin cảm ơn thầy trong suốt khoảng thời gian làm đồ án thầy đã nhiệt tình hướng dẫn, đưa ra những hướng giải quyết những khó khăn về chuyên môn gặp phải. Ngoài ra thầy đã dạy cho các thành viên trong nhóm nhiều kỹ năng quan trọng mà người kỹ sư cần có.

Nhóm cảm ơn thầy vì đã cho các thành viên sự định hướng trong tương lai những khi thành viên gặp khó khăn trên con đường học vấn cũng như sự nghiệp của mình. Trong suốt khoảng thời gian từ đồ án Cơ điện tử cho đến đồ án tốt nghiệp, thầy đã cho hỗ trợ cho nhóm mượn để sử dụng tại phòng những thiết bị mà nhóm không đủ điều kiện mua để nhóm có thể nghiên cứu và hoàn thiện đồ án. Được sự hướng dẫn của thầy là điều mà tất cả các thành viên đều cảm thấy may mắn và quý trọng. Thứ hai, xin gửi lời cảm ơn đến các bạn Nguyễn Hoài Nam và Nguyễn Văn Tòng đã đồng hành cùng với nhau, đi cùng nhau từ khoảng thời gian ý tưởng chỉ ở trên giấy đến khi hoàn thiện và vận hành.

Cảm ơn các bạn vì sự nhiệt huyết, đam mê với khoa học kỹ thuật mà lấy đó làm động lực để đi tiếp trong những lúc gặp khó khăn. Cuối cùng xin gửi lời cảm ơn đến những người thân trong gia đình đặc biệt là cha, mẹ của các thành viên nhóm đã tin tưởng, hỗ trợ cho tất cả thành viên hoàn thành chương trình đại học, và đi đến chặn cuối cùng là hoàn thiện đồ án tốt nghiệp. Họ là những nguồn động lực lớn nhất mà chúng tôi dùng để hoàn thành đồ án này. Đại diện nhóm Trí Trần Ngô Minh Trí iv ABSTRACT Project title: A smart shopping cart with automated payment based on Artificial Intelligence With the growing population in large cities such as Ho Chi Minh City or Ha Noi, supermarkets and shopping malls are facing increasing pressure to enhance the in-store shopping experience for their customers, especially during peak hours.

This thesis proposes a mobile robot that aims to improve the experience of customers when shopping at supermarkets and shopping malls by providing them with a more convenient and efficient way to shop at hypermarkets and shopping centers. The proposed product utilizes a depth camera to capture 2D and 3D images of customers to define the distance and deviation angle with the robot and then track them. In addition, the robot is equipped with an RGB camera to capture images when the customer puts a product into the cart. These images are then processed using a deep learning model that has been trained with datasets collected and labeled by the research team.

By analyzing the images, the deep learning model is able to identify the name of the product and track the direction of the product to change the bills. This product can be applied in the large supermarket and in the future, we can modify them for more functionalities such as customer behavior analysis. v TABLE OF CONTENTS NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP. i LỜI CAM KẾT.

iii LỜI CẢM ƠN. v TABLE OF CONTENTS. vi LIST OF TABLES. x LIST OF FIGURES.

xi LIST OF ABBREVIATIONS. xv CHAPTER 1: INTRODUCTION .5 Research subjects and scopes. 4 CHAPTER 2: LITERATURE REVIEW .3 Deep learning and Convolutional Neural Networks.1 Metrics are used for the object detection task.2 Choosing a model to deploy on Jetson Nano. 20 CHAPTER 3: HARDWARE AND MECHANICAL DESIGN .3 3D Structural Design of the Robot.4 Building the robot base.1 Calculations and motor selection.2 Calculations and selection of the belt transmission system.

Selection of bearing supports. Selection of omnidirectional wheels.5 Designing the base plate.5 Calculating the kinematics of the robot.6 Calculating the dynamics of the robot. 38 CHAPTER 4: ELECTRICAL DESIGN .2 Block diagram and overview of the electrical system.3 Power supply block.1 Calculating and selecting the power supply.2 Buck converter circuits.4 Main data processing block. 54 CHAPTER 5: ALGORITHM DESIGN .1 Designing 2D and 3D image processing algorithms.2 Following person module.3 Automatic checkout module.2 Semantic Entity Recognition module.4 Algorithm for Robot navigation.5 The control algorithm on STM32.

65 CHAPTER 6: EXPERIMENTS AND RESULTS .1 PID Controller for Motor Speed Control.1 The structure of a PID controller.2 Finding the transfer function of the motor from experimentation.3 Find the parameters of the PID controller for speed control of the motor.4 The PID control diagram of each motor.5 The experimental results of the PID controller on two motors.1 The main base plate deformation testing.2 The cargo compartment deformation testing.3 The base frame deformation testing.3 Training the semantic entity recognition model.3 Training the model.5 Recognizing user actions.6 User interface designing. The result of the tracking model when the person is occluded. 92 viii CHAPTER 7: CONCLUSION AND FUTURE DEVELOPMENTS. 95 ix LIST OF TABLES Table 3.

The calculated motor parameters. Symbol table of kinematic parameters used for calculations. Symbol table of dynamic parameters used for calculations .38 x LIST OF FIGURES Figure 1. Customers waiting to pay at the supermarket.

The Amazon Dash Cart scans items, and interacts with a customer’s Amazon account for payment. Veeve's new product attaches to regular carts, turning them into smart carts. Autonomous Mobile robots of major brands. Timeline of state-of-the-art object detection methods.

Output of Object Detection. Accuracy of YOLOv2, SSD, and Faster-RCNN models for each object size category. The fps versus batch size in five detection algorithms. Illustration of Intersection over Union (IoU).

The basic structure of the SSD network model. Architecture of MobileNetV2. Show performance of SSD algorithm with several different backbone on. Performance results of various Machine Learning networks on Jetson Nano using NVIDIA's TensorRT library, with FP16 accuracy and batch_size 1.

The comparison accuracy of state-of-the-art tracking models. RGB image (top-left), point cloud (top-right), and depth image (bottom) received from the depth camera Realsense D435. Diagram of a PID Controller. Basic Configuration of a Robot.

3D Design of the Robot. Robot Base Component. The main drive wheels. The main forces acting on the robot during movement.

Table of rolling friction coefficients. Planet motor 24VDC 60W 320RPM. Vertical shaft bearing support. Robot base plate.

Description of the robot moves in a straight line. Describes the robot while moving in a circular arc. Description of the Dynamic Model of the Robot. Block diagram of the electrical system.

Accumulator battery 12VDC (14000 mAh). Lithium Polymer 12VDC (5200 mAh). Buck converter circuit XL4016. Buck converter circuit XL4015.

The block diagram of the main data processing block. Board Jetson Nano. Realsense Camera D435 of Intel. The block diagram of the control block.

Shows the configuration of the pins that are used. The structure of the H-bridge driver. H-bridge driver HI216. Diagram of system for the automated payment feature.

Diagram of system for the individual person following feature. Input and output of detecting and tracking node. A result of object detection model. Data processing pipeline of OCR system.

Some sample of product name in the packaging. The comparison accuracy of state-of-the-art sense text detection models. Results of DB model. The comparison accuracy of state-of-the-art text recognition models.

Architecture of LayoutXLM model. The flowchart of the algorithm for robot navigation. Describes the position of the person relative to the robot. The flowchart of the control algorithm on STM32.

The diagram of a PID controller. The collected data on the speed variations of the two motors. The interface of the System Identification Tool. Displays the data that has been input into the System Identification Tool.

The graph shows the speed variations corresponding to the 24VDC voltage over time. The parameters of the relative transfer function for the right motor. The parameters of the relative transfer function for the left motor. The general form of the PID control function.

The PID control diagram of the right motor .