Ứng dụng xử lý ảnh và mô hình YOLO trong nhận diện hệ thống thanh toán sản phẩm

Luận văn ứng dụng xử lý ảnh và mô hình YOLO nhận diện thanh toán sản phẩm tại HCMUTE 2024

• Tác giả: Nguyễn Thanh Huy
• Địa điểm: Hồ Chí Minh
• Người hướng dẫn: ThS. Nguyễn Ngô Lâm
• Trường học: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật máy tính
• Đề tài: Ứng dụng xử lý ảnh và mô hình YOLO trong nhận diện hệ thống thanh toán sản phẩm
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2024

Tóm tắt

I. Tổng quan ứng dụng xử lý ảnh và YOLO nhận diện sản phẩm

Ngành bán lẻ hiện đại đòi hỏi tốc độ thanh toán ngày càng nhanh. Các phương pháp quét mã vạch truyền thống bộc lộ nhiều hạn chế về thời gian xử lý. Đồ án tốt nghiệp ngành Kỹ thuật Máy tính tại HCMUTE năm 2024 nghiên cứu hướng đi mới. Đề tài tập trung xây dựng hệ thống nhận diện sản phẩm tự động qua camera. Mô hình kết hợp công nghệ xử lý ảnh số cùng mạng nơ-ron học sâu YOLO. Công nghệ này phân tích hình ảnh trực tiếp từ khu vực tính tiền. Dữ liệu hình ảnh được camera chụp lại và chuyển về máy tính. Thuật toán tự động phát hiện vị trí từng món hàng. Hệ thống đồng thời phân loại nhãn hàng với độ chính xác cao. Toàn bộ thông tin được cập nhật tức thì vào hóa đơn điện tử. Quá trình diễn ra liên tục mà không cần sự can thiệp thủ công từ nhân viên. Nghiên cứu tạo tiền đề vững chắc cho việc phát triển các trạm thu ngân thông minh tại siêu thị. Đây là bước đột phá công nghệ hỗ trợ cắt giảm chi phí vận hành doanh nghiệp. Hệ thống còn mang lại trải nghiệm tiện lợi vượt trội cho người tiêu dùng trong thời đại số hóa.

1.1. Bối cảnh nghiên cứu tại HCMUTE niên khóa 2024

Đề tài tốt nghiệp được thực hiện tại Khoa Đào tạo Quốc tế thuộc Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh. Nghiên cứu do sinh viên Nguyễn Thanh Huy thực hiện dưới sự hướng dẫn chuyên môn của thạc sĩ Nguyễn Ngô Lâm. Dự án ra đời nhằm giải quyết bài toán tự động hóa trong các chuỗi bán lẻ hiện đại. Nhu cầu thanh toán nhanh không chạm ngày càng gia tăng mạnh mẽ sau đại dịch. Việc tối ưu hóa quy trình kiểm đếm hàng hóa trở thành ưu tiên chiến lược của các doanh nghiệp. Nghiên cứu tập trung ứng dụng kỹ thuật máy tính tiên tiến vào đời sống thực tiễn. Mục tiêu chính là xây dựng một mô hình thử nghiệm có tính khả thi kỹ thuật cao và chi phí đầu tư hợp lý.

1.2. Vai trò của xử lý ảnh trong hệ thống thanh toán

Xử lý ảnh số đóng vai trò nền tảng trong việc thu thập và chuẩn hóa dữ liệu đầu vào. Hệ thống camera liên tục ghi lại khung cảnh của khay chứa sản phẩm. Tín hiệu quang học được chuyển đổi thành ma trận điểm ảnh số. Thuật toán tiến hành lọc nhiễu, cân bằng ánh sáng và tăng cường độ tương phản. Bước tiền xử lý này giúp đường nét sản phẩm trở nên rõ ràng và sắc nét hơn. Nhờ đó, các đặc trưng hình thái của bao bì hàng hóa được bảo toàn. Thuật toán trích xuất các thông tin quan trọng như màu sắc, kích thước và kết cấu bề mặt. Dữ liệu chuẩn hóa sau đó được đưa vào mạng nơ-ron nhận dạng. Khâu xử lý ảnh chuẩn xác giúp loại bỏ tối đa tỷ lệ nhận dạng nhầm lẫn.

II. Hạn chế thanh toán mã vạch và bài toán nhận diện sản phẩm

Hệ thống bán lẻ truyền thống phụ thuộc chặt chẽ vào mã vạch Barcode và mã QR. Nhân viên thu ngân phải cầm từng món hàng để tìm kiếm mã vạch. Thao tác này tiêu tốn nhiều thời gian và gây mệt mỏi khi lượng khách đông. Tình trạng ùn tắc thường xuyên diễn ra tại các quầy thanh toán vào giờ cao điểm. Mã vạch in trên bao bì mềm dễ bị nhăn, rách hoặc mờ trong quá trình vận chuyển. Khi máy quét không đọc được mã, nhân viên buộc phải nhập thủ công từng mã số. Việc nhập liệu thủ công làm tăng nguy cơ sai sót và thất thoát doanh thu. Ngoài ra, việc xếp hàng chờ đợi lâu gây ảnh hưởng tiêu cực đến tâm lý người mua sắm. Chi phí nhân sự cho đội ngũ thu ngân chiếm tỷ trọng lớn trong ngân sách vận hành của siêu thị. Các giải pháp tự thanh toán thế hệ cũ vẫn yêu cầu khách tự quét mã từng món. Mô hình này chưa mang lại trải nghiệm tiện ích vượt bậc. Nhu cầu cấp thiết đặt ra là phải phát triển giải pháp nhận diện thị giác tự động và toàn diện.

2.1. Rào cản tốc độ và sai số trong quét mã vạch thủ công

Quá trình quét mã vạch phụ thuộc hoàn toàn vào góc đặt sản phẩm. Khi bề mặt hàng hóa cong queo hoặc bị che khuất, đầu đọc laser không thể tiếp nhận tín hiệu. Nhân viên phải xoay trở món hàng nhiều lần để tìm vị trí vạch quang học. Thao tác này kéo dài thời gian chờ đợi của mỗi lượt khách. Sai sót phát sinh khi nhân viên vô tình quét trùng hai lần cho cùng một món đồ. Trường hợp bỏ sót sản phẩm chưa quét cũng diễn ra phổ biến lúc mệt mỏi. Những sai lệch này trực tiếp làm mất cân đối kho hàng và gây thất thoát tài chính. Phương pháp thủ công bộc lộ sự thiếu ổn định trước áp lực đơn hàng dồn dập.

2.2. Khó khăn khi nhận diện vật thể bị che khuất và biến dạng

Môi trường bán lẻ chứa đựng rất nhiều chủng loại sản phẩm đa dạng về kích thước. Hàng hóa thường được đặt lộn xộn hoặc xếp chồng chéo lên nhau trên khay thanh toán. Hiện tượng che khuất một phần khiến các hệ thống thị giác truyền thống dễ nhận định sai. Bên cạnh đó, điều kiện chiếu sáng tại siêu thị thường không đồng nhất giữa các khu vực. Hiện tượng đổ bóng hoặc lóa sáng bề mặt làm biến đổi màu sắc gốc của bao bì. Các sản phẩm đóng gói dạng túi nilon mềm rất dễ bị biến dạng hình học khi di chuyển. Điều này gây khó khăn lớn cho việc trích xuất đặc trưng biên dạng chuẩn. Hệ thống nhận diện thị giác bắt buộc phải có thuật toán học sâu đủ mạnh để xử lý hiệu quả các biến số phức tạp này.

III. Giải pháp mô hình YOLO nhận diện thanh toán sản phẩm HCMUTE

Nghiên cứu tại HCMUTE ứng dụng mạng nơ-ron tích chập YOLO (You Only Look Once) để nhận diện đồ vật theo thời gian thực. Khác với các thuật toán phân lớp truyền thống, YOLO xử lý toàn bộ khung hình trong một lần lan truyền tiến duy nhất. Kiến trúc mạng dự đoán đồng thời tọa độ hộp bao và xác suất phân lớp của từng vật thể. Nhóm nghiên cứu tiến hành thu thập bộ dữ liệu hình ảnh đa dạng từ nhiều góc độ chiếu sáng. Dữ liệu sau đó được gán nhãn chi tiết và tăng cường bằng các kỹ thuật biến đổi hình học. Mô hình được huấn luyện kỹ lưỡng trên máy tính có card đồ họa hiệu năng cao. Hệ sinh thái phần mềm kết hợp ngôn ngữ lập trình Python, thư viện OpenCV và môi trường phát triển VS Code. Phần cứng điều khiển sử dụng bo mạch nhúng kết hợp bộ vi điều khiển Arduino để quản lý cảm biến vật lý. Sự đồng bộ giữa phần mềm thị giác và phần cứng cơ điện tử giúp tối ưu hóa toàn diện hiệu suất nhận diện. Tốc độ khung hình đạt mức ổn định cao, đáp ứng hoàn hảo tiêu chuẩn vận hành thực tế tại trạm thu ngân.

3.1. Cấu trúc mạng nơ ron YOLO và tối ưu hóa nhận diện

Mạng nơ-ron YOLO sử dụng kiến trúc tích chập sâu để trích xuất đặc trưng hình ảnh phân cấp. Kiến trúc mạng cải tiến hỗ trợ phát hiện đa quy mô thông qua nhiều nhánh dự đoán độc lập. Cơ chế này giúp nhận diện chính xác các sản phẩm có kích thước nhỏ hoặc đóng gói mỏng. Kỹ thuật Data Augmentation được áp dụng để làm phong phú tập dữ liệu huấn luyện ban đầu. Các thao tác gồm xoay góc, đổi kích thước, chỉnh độ sáng và bổ sung nhiễu ảnh. Hàm mất mát tối ưu hóa đồng thời việc định vị hộp bao và phân loại nhãn hàng. Nhờ đó, mô hình duy trì độ nhạy nhận diện cao ngay cả khi hàng hóa bị che khuất. Độ trễ suy luận đạt mức cực thấp trên các bộ xử lý đồ họa hiện đại.

3.2. Tích hợp phần cứng nhúng và giao diện phần mềm thanh toán

Hệ thống tích hợp camera độ phân giải cao lắp cố định phía trên khay quét. Bo mạch điều khiển Arduino tiếp nhận tín hiệu từ các cảm biến khoảng cách và chuyển động. Khi phát hiện sản phẩm đi vào vùng nhận diện, camera tự động kích hoạt chụp ảnh. Luồng dữ liệu ảnh được truyền thẳng tới máy tính trung tâm thông qua cổng nối tiếp. Tại đây, phần mềm viết bằng Python gọi mô hình YOLO để nhận diện danh mục sản phẩm. Kết quả nhận diện bao gồm tên mặt hàng, số lượng và đơn giá được đẩy lên giao diện thu ngân. Mã nguồn dự án được quản lý chuyên nghiệp trong môi trường Visual Studio Code. Thiết kế phần cứng và phần mềm khép kín mang lại khả năng phản hồi tức thời chỉ dưới nửa giây.

IV. Kết luận về hiệu quả ứng dụng xử lý ảnh và YOLO tại HCMUTE

Đồ án tốt nghiệp tại HCMUTE năm 2024 khẳng định tính ứng dụng cao của mô hình YOLO trong ngành bán lẻ. Hệ thống chứng minh khả năng nhận diện cùng lúc nhiều mặt hàng với độ chuẩn xác vượt bậc. Tốc độ quét sản phẩm vượt trội so với thao tác đọc mã vạch truyền thống. Sai số do yếu tố con người được triệt tiêu hoàn toàn trong suốt quá trình vận hành thử nghiệm. Giải pháp này giúp cắt giảm thời gian chờ đợi của người mua sắm tại quầy thu ngân. Doanh nghiệp bán lẻ có thể tiết kiệm đáng kể chi phí vận hành đội ngũ nhân viên. Tính ổn định của hệ thống tạo bước đệm cho việc triển khai các siêu thị không người bán. Trong tương lai, mô hình có thể mở rộng cơ sở dữ liệu để nhận diện hàng nghìn sản phẩm mới. Việc kết hợp điện toán biên (Edge Computing) sẽ giúp hệ thống hoạt động độc lập không cần máy chủ cồng kềnh. Kết quả nghiên cứu đóng góp thiết thực vào xu hướng chuyển đổi số của hệ thống bán lẻ tại Việt Nam. Đây là thành quả học thuật xuất sắc của sinh viên ngành Kỹ thuật Máy tính.

4.1. Khả năng mở rộng quy mô trong bán lẻ thông minh

Mô hình nhận diện sở hữu tiềm năng nhân rộng mạnh mẽ cho nhiều mô hình kinh doanh khác nhau. Các cửa hàng tiện lợi và chuỗi siêu thị có thể tích hợp trực tiếp vào quầy thanh toán tự động sẵn có. Hệ thống dễ dàng mở rộng danh mục hàng hóa nhờ khả năng học chuyển giao linh hoạt của mạng YOLO. Khi có sản phẩm bao bì mới, chỉ cần thu thập thêm lượng dữ liệu nhỏ để huấn luyện bổ sung. Cơ chế này giúp giảm thiểu tối đa chi phí xây dựng lại toàn bộ hệ thống từ đầu. Ngoài ra, giải pháp còn tích hợp được với các cổng thanh toán điện tử không tiền mặt. Sự đồng bộ này mang đến chu trình mua sắm tự động hóa hoàn toàn từ quét hàng đến thanh toán.

4.2. Hướng phát triển và tích hợp thiết bị biên thế hệ mới

Định hướng phát triển tiếp theo của đề tài là triển khai thuật toán trên các vi xử lý biên tiết kiệm năng lượng. Các nền tảng phần cứng như Raspberry Pi hoặc Nvidia Jetson sẽ được ưu tiên thử nghiệm. Giải pháp này giúp loại bỏ sự phụ thuộc vào các dàn máy tính cồng kềnh tại điểm bán hàng. Nhờ đó, chi phí triển khai cho mỗi trạm thu ngân thông minh sẽ giảm xuống rõ rệt. Bên cạnh đó, các kỹ thuật nén mô hình như lượng tử hóa trọng số (Quantization) sẽ được tích hợp. Thuật toán sau tinh chỉnh vẫn đảm bảo độ chính xác cao nhưng tiêu tốn ít bộ nhớ RAM hơn. Hệ thống cũng có thể kết hợp thêm cân điện tử để phát hiện gian lận kép, bảo đảm an toàn dữ liệu tuyệt đối cho cửa hàng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển của nền kinh tế hiện đại kéo theo nhu cầu mua sắm tại các siêu thị và chuỗi cửa hàng bán lẻ gia tăng nhanh chóng. Tuy nhiên, tình trạng khách hàng phải chờ đợi trong các hàng dài tại quầy thu ngân vẫn là một rào cản lớn đối với trải nghiệm mua sắm. Tác giả chỉ ra hai nguyên nhân chính dẫn đến vấn đề này:

1. Vào giờ cao điểm, lượng khách mua sắm quá đông khiến các quầy thanh toán dù hoạt động hết công suất vẫn không đáp ứng kịp thời.
2. Vào giờ thấp điểm, các siêu thị chủ động cắt giảm số lượng quầy thanh toán nhằm tiết kiệm chi phí nhân công thu ngân, dẫn đến việc số lượng khách ít nhưng thời gian chờ đợi thanh toán vẫn bị kéo dài.

Tại thị trường Việt Nam, hầu hết các điểm bán lẻ vẫn phụ thuộc vào thu ngân sử dụng thiết bị quét mã vạch truyền thống. Phương thức quét mã vạch bộc lộ nhược điểm rõ rệt khi xử lý các mặt hàng nông sản không đóng gói cố định, vốn được bán theo khối lượng thực tế thay vì tính theo đơn vị số lượng đóng gói sẵn. Từ bối cảnh thực tiễn này, tác giả đã lựa chọn đề tài "Ứng dụng xử lý ảnh và mô hình YOLO trong nhận diện hệ thống thanh toán sản phẩm" nhằm xây dựng một hệ thống tự thanh toán (self-checkout) có khả năng tự động nhận diện nông sản, đo khối lượng và hỗ trợ thanh toán không dùng tiền mặt.

Mục tiêu nghiên cứu của đồ án là thiết kế và chế tạo một mô hình trạm thanh toán tự động tích hợp công nghệ thị giác máy tính và hệ thống đo lường trọng lượng. Hệ thống có khả năng nhận dạng tự động các loại trái cây qua camera, quét mã vạch sản phẩm đóng gói, thu nhận dữ liệu khối lượng từ cảm biến tải trọng (loadcell), tính toán tổng tiền và tạo mã QR để khách hàng thanh toán trực tuyến.

Bốn nhiệm vụ nghiên cứu cụ thể được đặt ra trong đồ án:

1. Hoàn thành đề tài đúng tiến độ thời gian quy định.
2. Hệ thống đáp ứng đầy đủ các tiêu chuẩn kỹ thuật đã thiết lập, vận hành ổn định và chính xác theo yêu cầu.
3. Giao diện hiển thị trên màn hình cung cấp thông tin rõ ràng, trực quan, hỗ trợ người dùng đọc và tương tác thuận tiện.
4. Thiết kế phần cứng mô hình bảo đảm tính nhỏ gọn, thẩm mỹ, sạch sẽ và tối ưu hóa không gian bố trí linh kiện.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu phần cứng: Máy tính nhúng Raspberry Pi 4, vi điều khiển ESP32, Raspberry Pi Camera Module 3, cảm biến tải trọng Loadcell 5kg, mô-đun biến đổi tín hiệu tương tự sang số HX711, màn hình LCD 16x2 tích hợp mô-đun giao tiếp I2C, còi báo Buzzer 5V và đèn chỉ thị LED 10mm.
• Đối tượng nghiên cứu phần mềm: Ngôn ngữ lập trình Python, C, HTML, CSS, JavaScript; mô hình mạng nơ-ron tích chập YOLOv8; các thư viện xử lý ảnh OpenCV, Pyzbar; web framework Django (bao gồm Django REST Framework - DRF); nền tảng kiểm thử email Mailtrap; cùng các công cụ thiết kế, giả lập Proteus, Arduino IDE và Visual Studio Code.
• Phạm vi nghiên cứu: Giới hạn nhận diện 6 loại trái cây cụ thể (Cam vàng, Cam sành, Chuối, Mãng cầu xiêm, Táo, Xoài) và mã vạch sản phẩm thông dụng; triển khai trên một trạm mô hình phần cứng bán tự động có khả năng cân đo trọng lượng thực tế, kết nối mạng nội bộ và gửi hóa đơn điện tử qua email.

---

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của đề tài được xây dựng trên các nền tảng kỹ thuật chuyên ngành máy tính và xử lý tín hiệu:

• Xử lý ảnh số (Image Processing): Hệ thống sử dụng các kỹ thuật tiền xử lý ảnh gồm giảm nhiễu (bộ lọc Gaussian blur), cân bằng lược đồ màu (Histogram Equalization), chuẩn hóa kích thước ảnh, phát hiện đường biên (các thuật toán Sobel, Prewitt, Canny) và kỹ thuật tăng cường dữ liệu ảnh (Image Augmentation như lật, xoay, cắt xén, thêm nhiễu).
• Mạng nơ-ron tích chập và kiến trúc YOLO: Đồ án nghiên cứu quá trình phát triển của mạng You Only Look Once từ YOLOv1 đến YOLOv8. YOLO tiếp cận bài toán phát hiện đối tượng dưới dạng bài toán hồi quy đơn (single regression problem), dự đoán đồng thời tọa độ hộp bao (bounding box), xác suất phân lớp và độ tin cậy (confidence score) trong một lượt truyền thuận (single forward pass), kết hợp thuật toán triệt tiêu phi cực đại (Non-Maximum Suppression - NMS) để loại bỏ các hộp bao trùng lặp.
• Các công thức đánh giá hiệu năng mô hình YOLO được áp dụng trong nghiên cứu:
  1. Độ chính xác trung bình (Mean Average Precision - mAP): $$AP = \frac{1}{N} \sum_{i=1}^{N} p(i) \times \Delta r(i)$$ Trong đó $p(i)$ là độ chính xác (Precision) và $\Delta r(i)$ là độ biến thiên độ thu hồi (Recall) tại điểm thứ $i$.
  2. Hệ số chồng lấn hộp bao (Intersection over Union - IoU): $$IoU = \frac{A_{\text{intersection}}}{A_{\text{union}}}$$ Trong đó $A_{\text{intersection}}$ là diện tích giao nhau và $A_{\text{union}}$ là tổng diện tích hợp của hộp bao dự đoán với hộp bao nhãn chuẩn.
  3. Tốc độ khung hình (Frames Per Second - FPS): $$FPS = \frac{1}{\text{Thời gian xử lý một khung hình (giây)}}$$
  4. Tốc độ phát hiện (Detection Speed): $$\text{Detection Speed} = \frac{\text{Tổng thời gian xử lý}}{\text{Số lượng khung hình đã xử lý}}$$
• Chuẩn giao tiếp phần cứng:
  • UART (Universal Asynchronous Receiver-Transmitter): Chuẩn truyền thông nối tiếp bất đồng bộ điểm-điểm giữa Raspberry Pi 4 và ESP32 thông qua 2 đường dữ liệu TX và RX với khung dữ liệu gồm bit Start, 8 bit dữ liệu, bit Parity tùy chọn và bit Stop.
  • I2C (Inter-Integrated Circuit): Chuẩn truyền thông nối tiếp đồng bộ 2 dây (SDA, SCL) giữa ESP32 và màn hình hiển thị LCD 16x2.
• Kiến trúc phần mềm và IoT: Ứng dụng web máy chủ xây dựng trên nền tảng Django theo kiến trúc Model-View-Template (MVT), tích hợp hệ thống ORM (Object-Relational Mapping) để truy vấn cơ sở dữ liệu và hệ thống quản lý di trú (Migrations). Công cụ Mailtrap đóng vai trò máy chủ SMTP ảo phục vụ việc chặn bắt, gỡ lỗi và kiểm tra định dạng email hóa đơn thanh toán.

Phương pháp nghiên cứu thực hiện qua các giai đoạn:

1. Nghiên cứu lý thuyết: Thu thập tài liệu chuyên sâu về kiến trúc vi điều khiển, nguyên lý biến dạng của cảm biến Wheatstone Bridge trong Loadcell, kiến trúc mạng YOLOv8 và các giao thức truyền thông nhúng. Phân tích ưu và nhược điểm của các giải pháp trạm thanh toán trên thị trường để đề xuất cấu hình phù hợp.
2. Mô phỏng phần mềm và phần cứng: Thiết kế sơ đồ nguyên lý mạch trên phần mềm Proteus; viết mã nguồn điều khiển trên Arduino IDE và Visual Studio Code; tinh chỉnh các thông số kỹ thuật ngoại vi trước khi kết nối thực tế.
3. Thực nghiệm và triển khai: Chế tạo mô hình cơ khí; lắp ráp các mạch phần cứng; thu thập dữ liệu ảnh thực tế cho 6 loại trái cây; huấn luyện mô hình YOLOv8; lập trình truyền nhận UART; cấu hình API trên máy chủ Django và tiến hành chạy thử nghiệm toàn bộ quy trình thanh toán.

---

Thiết kế và triển khai

Hệ thống được thiết kế theo cấu trúc module phân tán gồm hai khối xử lý chính: Khối điều khiển ngoại vi cấp thấp (ESP32) và Khối xử lý trung tâm cấp cao (Raspberry Pi 4).

Thiết bị / Linh kiện	Vai trò trong hệ thống	Giao tiếp kỹ thuật
Raspberry Pi 4 (4GB RAM)	Xử lý suy luận mạng YOLOv8, quét mã vạch qua Pyzbar, vận hành máy chủ Django, tạo mã QR thanh toán, điều khiển đèn/còi	UART (kết nối ESP32), CSI (kết nối Camera), GPIO (nút bấm, LED, Buzzer), Wi-Fi
ESP32	Đọc dữ liệu biến dạng từ Loadcell qua HX711, tính toán khối lượng sản phẩm, điều khiển hiển thị màn hình LCD tại trạm	SPI giả lập 2 dây (HX711), I2C (màn hình LCD 16x2), UART (truyền nhận dữ liệu với Raspberry Pi 4)
Loadcell 5kg + Mạch HX711	Chuyển đổi biến dạng cơ học của bàn cân thành tín hiệu điện áp vi sai và số hóa bằng ADC 24-bit	Mạch cầu Wheatstone 4 dây (E+, E-, S+, S-) nối với cổng kênh A của HX711 (chân DT, SCK nối ESP32)
Raspberry Pi Camera Module 3	Cảm biến hình ảnh Sony IMX708 độ phân giải 12MP, hỗ trợ lấy nét tự động (Autofocus), chụp ảnh sản phẩm trên bàn cân	Chuẩn MIPI CSI 2 làn cắm trực tiếp vào cổng camera của Raspberry Pi 4
Màn hình LCD 16x2 I2C	Hiển thị thông tin khối lượng và tên sản phẩm trực tiếp tại bàn cân cho người dùng	Chuẩn I2C (SDA, SCL) kết nối trực tiếp với ESP32, sử dụng nguồn 5V DC
LED 10mm & Buzzer 5V	Chỉ thị trạng thái nhận diện, báo hiệu quét mã thành công hoặc cảnh báo lỗi hệ thống	Kết nối trực tiếp với các chân điều khiển GPIO của Raspberry Pi 4

Quy trình hoạt động phần mềm gồm các lưu đồ thuật toán chính:

• Thuật toán chương trình chính (Main Program Algorithm): Khởi tạo các ngoại vi và mô hình YOLOv8; liên tục kiểm tra tín hiệu từ camera và nút bấm; khi có vật phẩm được đặt lên bàn cân, camera ghi hình và truyền vào mô hình nhận diện; nếu phát hiện mã vạch, thư viện Pyzbar sẽ giải mã giá trị; nếu là trái cây, mô hình YOLOv8 trích xuất nhãn phân loại.
• Thuật toán chương trình ESP32: Đọc tín hiệu số từ mô-đun HX711 qua chân dữ liệu DT và xung nhịp SCK; tính toán trọng lượng thực theo gam; hiển thị thông tin lên màn hình LCD 16x2 qua giao thức I2C; đồng thời đóng gói dữ liệu khối lượng gửi sang Raspberry Pi 4 qua giao thức UART.
• Thuật toán xử lý yêu cầu API máy chủ (API Request Handling): Raspberry Pi 4 tổng hợp thông tin tên hàng (từ kết quả nhận diện hoặc mã vạch) cùng dữ liệu khối lượng (từ ESP32), tính tổng tiền dựa trên đơn giá trong cơ sở dữ liệu Django ORM; gửi dữ liệu qua API lên hệ thống backend; backend phản hồi đường dẫn giao dịch hoặc mã QR thanh toán hiển thị trên màn hình người dùng.
• Thuật toán ứng dụng Web: Quản lý phiên mua hàng, hiển thị danh sách giỏ hàng, cập nhật trạng thái thanh toán thời gian thực; khi khách hàng quét mã QR hoàn tất chuyển khoản, hệ thống kích hoạt dịch vụ Mailtrap để gửi hóa đơn điện tử chi tiết về hòm thư người mua.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan (Overview)

Chương mở đầu phân tích bối cảnh tự động hóa trong ngành bán lẻ và nêu bật tính cấp bách của việc giải quyết tình trạng ùn tắc tại quầy thanh toán siêu thị. Tác giả trình bày mục tiêu xây dựng một trạm tự thanh toán kết hợp giữa công nghệ nhận diện thị giác máy tính và cân trọng lượng nhằm giảm thiểu chi phí nhân lực và hạn chế gian lận thương mại. Chương này cũng xác định rõ 4 nhiệm vụ nghiên cứu, đối tượng nghiên cứu phần cứng (ESP32, Raspberry Pi 4, cảm biến tải trọng, camera), đối tượng phần mềm (Python, Django, YOLOv8, OpenCV, Mailtrap), phạm vi nhận diện 6 loại quả và lập kế hoạch phương pháp nghiên cứu qua 2 bước lý thuyết và mô phỏng thực nghiệm.

Chương 2: Cơ sở lý thuyết (Theoretical Foundations)

Chương 2 cung cấp toàn bộ nền tảng lý thuyết kỹ thuật của đề tài. Tác giả trình bày chi tiết về:

• Các khái niệm xử lý ảnh: Cấu trúc điểm ảnh (pixel), phân loại ảnh xám/ảnh màu, các phương pháp biểu diễn ma trận điểm ảnh, vectơ và bitmap; các kỹ thuật phân đoạn ảnh, mạng nơ-ron tích chập (CNNs), tiền xử lý ảnh, cân bằng biểu đồ màu và các toán tử phát hiện biên Canny, Sobel, Prewitt.
• Khái niệm và quá trình phát triển của mạng YOLO: Phân tích cơ chế hoạt động coi việc phát hiện đối tượng là một bài toán hồi quy đơn, cấu trúc phân chia lưới ô (grid cells), dự đoán hộp bao kèm điểm tin cậy và kỹ thuật triệt tiêu phi cực đại (NMS). Lịch sử tiến hóa từ YOLOv1 đến YOLOv8 được tổng thuật đầy đủ kèm các cải tiến về Darknet-19, Darknet-53, CSPNet, Transformer backbone và cơ chế suy luận thích ứng.
• Chi tiết thông số phần cứng: Trình bày cấu hình phần cứng Raspberry Pi 4 (RAM 4GB LPDDR4, cổng CSI, Ethernet, USB 3.0), vi điều khiển ESP32 (chip Tensilica Xtensa LX6 dual-core 240 MHz, 520 KB SRAM, 4MB Flash), bộ chuyển đổi HX711 (ADC 24-bit), cảm biến Loadcell 5kg với sơ đồ cầu Wheatstone, màn hình LCD 16x2 tích hợp I2C, Camera Pi Module 3 (cảm biến Sony IMX708 12MP có Autofocus), còi 5V và đèn LED 10mm.
• Chuẩn giao tiếp và nền tảng hỗ trợ: Cơ chế truyền nhận nối tiếp UART, giao thức nối tiếp I2C, mô hình mạng kết nối vạn vật (IoT), kiến trúc Model-View-Template (MVT) của web framework Django, cơ chế xác thực người dùng, hệ thống ORM truy vấn dữ liệu, và nền tảng kiểm thử email Mailtrap. Đồng thời giới thiệu vai trò của các công cụ phát triển phần mềm Proteus, Arduino IDE và Visual Studio Code.

Chương 3: YOLOv8 và các thư viện OpenCV, Pyzbar

Chương 3 đi sâu vào cấu trúc và quy trình ứng dụng của mô hình YOLOv8 cùng các thư viện bổ trợ. Tác giả trình bày ưu điểm vượt trội của YOLOv8 trong khả năng trích xuất đặc trưng nhanh, hỗ trợ tốt cho các thiết bị biên (edge devices) và cơ chế phát hiện đối tượng không cần neo (anchor-free). Quy trình huấn luyện mô hình được phân tích từng bước: Chuẩn bị dữ liệu hình ảnh các loại quả, tiền xử lý và gán nhãn dữ liệu hộp bao, thiết lập các siêu tham số huấn luyện mạng, và kiểm thử độ chính xác thông qua các chỉ số mAP, IoU và tốc độ khung hình FPS. Bên cạnh đó, chương giới thiệu cách tích hợp OpenCV để thu nhận và xử lý luồng khung hình từ Camera Module 3, cùng thư viện Pyzbar phục vụ trích xuất dữ liệu chuỗi ký tự từ mã vạch dán trên bao bì sản phẩm.

Chương 4: Thiết kế và phát triển hệ thống (System Design and Development)

Chương 4 mô tả toàn bộ quá trình hiện thực hóa thiết kế hệ sinh thái trạm thanh toán:

• Xác định các yêu cầu phi chức năng về độ ổn định, tính thẩm mỹ và tốc độ phản hồi.
• Thiết kế sơ đồ khối toàn hệ thống và định nghĩa chức năng chi tiết cho từng khối: Khối cảm biến trọng lượng (Loadcell + HX711), khối hiển thị tại chỗ (LCD 16x2 I2C), khối thu nhận hình ảnh (Camera Pi Module 3), khối giao tiếp liên vi điều khiển (UART giữa Raspberry Pi 4 và ESP32), khối cảnh báo âm thanh - ánh sáng (Buzzer, LED).
• Bản vẽ sơ đồ kết nối mạch nguyên lý chi tiết cho từng module với chân điều khiển tương ứng của ESP32 và Raspberry Pi 4.
• Xây dựng 5 lưu đồ giải thuật hoàn chỉnh điều phối toàn bộ hệ thống: Lưu đồ thuật toán chương trình chính trên máy tính nhúng, lưu đồ gửi địa chỉ API, lưu đồ giải thuật xử lý trên vi điều khiển ESP32, lưu đồ chương trình tiếp nhận và xử lý yêu cầu API tới máy chủ, và lưu đồ vận hành của ứng dụng web bán lẻ.

Chương 5: Kết quả thực hiện hệ thống (System Implementation Results)

Chương 5 công bố các kết quả thực nghiệm sau khi tích hợp toàn bộ phần cứng và phần mềm vào mô hình vật lý hoàn chỉnh. Các kết quả cụ thể bao gồm:

• Mô hình trạm thanh toán thực tế với bố trí cơ khí gồm khung vỏ, mặt cân, camera gắn phía trên hướng thẳng xuống bàn cân và màn hình hiển thị.
• Kết quả nhận diện thị giác: Hệ thống nhận dạng chính xác 6 loại trái cây trong điều kiện thực tế gồm Cam vàng (Yellow Orange), Cam sành (Green Orange), Chuối (Banana), Mãng cầu xiêm (Soursop), Táo (Apple) và Xoài (Mango) với hộp bao và tên nhãn hiển thị trực tiếp trên khung hình.
• Kết quả quét mã vạch sản phẩm thông qua camera sử dụng thư viện Pyzbar, trích xuất tức thì mã định danh sản phẩm.
• Kết quả vận hành tích hợp: Màn hình LCD và giao diện máy tính hiển thị chính xác tên mặt hàng, khối lượng đo được từ loadcell, đơn giá và tổng số tiền phải trả.
• Giao diện thanh toán Web: Hệ thống sinh mã QR thanh toán trực tuyến tương ứng với hóa đơn; giao diện chuyển đổi trạng thái khi giao dịch thành công; hệ thống tự động xuất và gửi hóa đơn điện tử về email người dùng qua máy chủ Mailtrap; thiết bị đầu cuối (terminal) hiển thị các thông báo xác nhận trạng thái truyền dữ liệu API và gửi email thành công.
• Giao diện quản trị máy chủ Django: Trang quản lý sản phẩm (Product Management Interface) và trang thông tin chi tiết mặt hàng cho phép người quản lý cập nhật danh mục, giá bán và kiểm tra lịch sử giao dịch.

Chương 6: Kết luận và hướng phát triển (Conclusion and Future Directions)

Chương cuối tổng kết toàn bộ các tính năng phần cứng và phần mềm đã đạt được so với mục tiêu đề ra ban đầu. Đồng thời, tác giả thẳng thắn chỉ ra các hạn chế kỹ thuật hiện hữu của mô hình thử nghiệm và vạch ra các hướng nghiên cứu nâng cấp nhằm đưa hệ thống vào ứng dụng thương mại thực tế.

---

Kết quả và đóng góp

Kết quả thực nghiệm chính của đề tài:

• Chế tạo thành công mô hình trạm thanh toán tự động kết hợp phần cứng máy tính nhúng Raspberry Pi 4 và vi điều khiển ESP32 với kết cấu cơ khí hoàn chỉnh.
• Xây dựng tập dữ liệu và huấn luyện mô hình YOLOv8 nhận diện thành công 6 loại trái cây thương phẩm gồm: Cam vàng (Yellow Orange), Cam sành (Green Orange), Chuối (Banana), Mãng cầu xiêm (Soursop), Táo (Apple) và Xoài (Mango).
• Tích hợp thành công thư viện Pyzbar trên luồng video của Camera Module 3 để quét và giải mã mã vạch các mặt hàng công nghiệp đóng gói sẵn.
• Thu thập và chuẩn hóa dữ liệu khối lượng từ cảm biến Loadcell 5kg qua mô-đun ADC 24-bit HX711 với độ ổn định cao, hiển thị tức thời lên màn hình LCD 16x2 thông qua bus I2C và truyền đồng bộ sang Raspberry Pi 4 qua giao diện UART.
• Thiết kế hoàn chỉnh ứng dụng web quản lý và thanh toán trên nền tảng Django: Tự động tính toán tổng giá tiền dựa trên khối lượng và đơn giá cơ sở dữ liệu, sinh mã QR phục vụ thanh toán trực tuyến, gửi hóa đơn điện tử tự động qua nền tảng email Mailtrap, và cung cấp bảng điều khiển quản trị sản phẩm.

Các giải pháp và kiến nghị tác giả đề xuất:

• Kiến nghị áp dụng mô hình cân đôi (two operational scales) trong quy trình thiết kế trạm tự thanh toán thương mại để vừa đo lường sản phẩm vừa kiểm tra đối trọng an toàn, hạn chế tối đa nguy cơ gian lận hàng hóa.
• Tự động hóa khâu xuất hóa đơn bằng cách chuyển sang hóa đơn điện tử gửi thẳng qua email của người tiêu dùng, giúp giảm chi phí in ấn giấy nhiệt và bảo vệ môi trường.

Đóng góp của đồ án:

• Giải quyết bài toán thanh toán cho các mặt hàng nông sản bán theo trọng lượng tại các điểm bán lẻ, khắc phục triệt để điểm nghẽn của hệ thống quét mã vạch truyền thống vốn chỉ xử lý hiệu quả các mặt hàng tính theo số lượng đóng gói.
• Đề xuất mô hình kiến trúc phân tầng kết hợp giữa vi điều khiển thời gian thực phụ trách thu thập cảm biến (ESP32) và máy tính nhúng biên xử lý trí tuệ nhân tạo (Raspberry Pi 4), tối ưu hóa tài nguyên phần cứng và chi phí chế tạo cho một trạm self-checkout.

---

Hạn chế và hướng nghiên cứu tiếp

Các hạn chế được văn bản đề tài thừa nhận:

• Đồ án được triển khai trong điều kiện thời gian và nguồn lực vật chất có giới hạn.
• Cơ sở dữ liệu hình ảnh nhận diện mới chỉ dừng lại ở phạm vi hẹp gồm 6 loại trái cây, chưa bao quát được toàn bộ các chủng loại nông sản phong phú trong siêu thị.
• Quy trình thanh toán mới thử nghiệm gửi thông báo hóa đơn qua nền tảng ảo Mailtrap và tạo mã QR mô phỏng, chưa tích hợp API cổng thanh toán ngân hàng trực tiếp trong môi trường sản xuất thực tế.

Hướng phát triển tiếp theo được đề xuất:

• Mở rộng tập dữ liệu huấn luyện để nhận diện thêm nhiều chủng loại trái cây, rau củ và các mặt hàng nông sản tươi sống khác.
• Tối ưu hóa mô hình học sâu để nâng cao tốc độ suy luận và cải thiện độ chính xác trong các điều kiện môi trường ánh sáng phức tạp hoặc khi sản phẩm bị che khuất một phần.
• Hoàn thiện cơ chế cân kép (hệ thống kiểm tra trọng lượng giỏ hàng sau thanh toán) để phát hiện và ngăn chặn hành vi cố tình gian lận khối lượng.
• Tích hợp cổng thanh toán trực tuyến chính thức với các ứng dụng ngân hàng và ví điện tử thương mại.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo kỹ thuật hữu ích đối với:

• Sinh viên chuyên ngành Công nghệ Kỹ thuật Máy tính, Hệ thống Nhúng, Kỹ thuật Điều khiển - Tự động hóa và Khoa học Dữ liệu đang thực hiện đồ án tốt nghiệp hoặc các dự án nghiên cứu về ứng dụng AI trên thiết bị biên (Edge AI).
• Các kỹ sư phát triển hệ thống IoT và bán lẻ tự động (Smart Retail): Cung cấp tài liệu tham khảo chi tiết về thiết kế phần cứng tích hợp nhiều giao thức truyền thông đồng thời (UART, I2C, SPI, CSI).
• Các phần có giá trị tham khảo cao:
  • Bản vẽ thiết kế nguyên lý ghép nối giữa mạch chuyển đổi ADC HX711, cảm biến Loadcell và vi điều khiển ESP32.
  • Cấu hình truyền thông nối tiếp UART chuẩn xác giữa hệ điều hành Linux trên Raspberry Pi 4 và vi điều khiển ESP32.
  • Quy trình tích hợp mô hình thị giác YOLOv8 cùng thư viện Pyzbar lên bo mạch nhúng để giải quyết đồng thời hai tác vụ: Nhận diện vật thể và giải mã mã vạch.
  • Kiến trúc ứng dụng Django MVT kết nối API với phần cứng nhúng và dịch vụ gửi hóa đơn Mailtrap.

---

Câu hỏi thường gặp

1. Hệ thống trong đồ án nhận diện được chính xác những loại trái cây nào?
Hệ thống được huấn luyện và nhận diện thành công 6 loại trái cây cụ thể gồm: Cam vàng (Yellow Orange), Cam sành (Green Orange), Chuối (Banana), Mãng cầu xiêm (Soursop), Táo (Apple) và Xoài (Mango).

2. Hai vi điều khiển/máy tính nhúng trong đồ án giao tiếp với nhau bằng giao thức nào?
Raspberry Pi 4 và ESP32 giao tiếp và trao đổi dữ liệu với nhau thông qua giao thức truyền thông nối tiếp bất đồng bộ UART (Universal Asynchronous Receiver-Transmitter) qua 2 dây tín hiệu TX và RX.

3. Thành phần nào đảm nhận việc đo khối lượng sản phẩm và thông số kỹ thuật là bao nhiêu?
Khối lượng sản phẩm được đo bằng cảm biến tải trọng Loadcell dạng thanh chịu tải tối đa 5kg (kết cấu cầu điện trở Wheatstone 4 dây), kết hợp với mô-đun chuyển đổi tín hiệu tương tự sang số ADC 24-bit chuyên dụng HX711 nối với vi điều khiển ESP32.

4. Dịch vụ nào được sử dụng để kiểm thử chức năng gửi hóa đơn điện tử qua email?
Tác giả sử dụng nền tảng máy chủ ảo đám mây Mailtrap để bắt giữ, kiểm tra nội dung và gỡ lỗi các email hóa đơn thanh toán được gửi ra từ ứng dụng web Django mà không gửi nhầm tới người dùng thật.

5. Camera sử dụng trong hệ thống có thông số kỹ thuật như thế nào?
Hệ thống sử dụng Raspberry Pi Camera Module 3 trang bị cảm biến ảnh Sony IMX708, độ phân giải 12 Megapixel (4608 x 2592 điểm ảnh), hỗ trợ lấy nét tự động (Autofocus), dải tương phản động mở rộng (HDR) và kết nối trực tiếp với Raspberry Pi 4 qua giao tiếp cáp dẹt MIPI CSI 2 làn.

---

Kết luận

Đồ án tốt nghiệp của tác giả Nguyễn Thành Huy đã thiết kế và hiện thực hóa thành công mô hình trạm thanh toán tự động ứng dụng mô hình YOLOv8 và kỹ thuật xử lý ảnh số. Hệ thống giải quyết hiệu quả bài toán tự động nhận diện 6 loại trái cây phổ biến kết hợp quét mã vạch và tự động đo lường khối lượng sản phẩm thông qua cảm biến tải trọng Loadcell 5kg. Mô hình tích hợp đồng bộ giữa máy tính nhúng Raspberry Pi 4, vi điều khiển ESP32 và máy chủ web Django, cung cấp giải pháp thanh toán qua mã QR tiện lợi và tự động xuất hóa đơn điện tử. Kết quả nghiên cứu thể hiện tính khả thi cao trong việc ứng dụng công nghệ trí tuệ nhân tạo biên vào hiện đại hóa quy trình bán lẻ tại các siêu thị.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION GRADUATION THESIS MAJOR: COMPUTER ENGINEERING TECHNOLOGY IMAGE PROCESSING APPLICATION AND YOLO MODEL IN PRODUCT PAYMENT SYSTEM RECOGNITION INSTRUCTOR: NGUYEN NGO LAM STUDENT: NGUYEN THANH HUY Ho Chi Minh city, December 2024 HO CHI MINH UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION PROJECT IMAGE PROCESSING APPLICATION AND YOLO MODEL IN PRODUCT PAYMENT SYSTEM RECOGNITION COMPUTER ENGINEERING TECHNOLOGY Student: NGUYEN THANH HUY ID: 20119115 Advisor: ME. NGUYEN NGO LAM Ho Chi Minh City, December 2024 HO CHI MINH UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION PROJECT IMAGE PROCESSING APPLICATION AND YOLO MODEL IN PRODUCT PAYMENT SYSTEM RECOGNITION COMPUTER ENGINEERING TECHNOLOGY Student: NGUYEN THANH HUY ID: 20119115 Advisor: ME. NGUYEN NGO LAM Ho Chi Minh City, December 2024 THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- EVALUATION SHEET OF DEFENSE COMMITTEE MEMBER Student name: Nguyen Thanh Huy Student ID: 20119115 Major: Computer Engineering Technology Project title: Image processing application and Yolo model in product payment system recognition Name of Defense Committee Member:. Content and workload of the project .) Ho Chi Minh City, December 24, 2024 COMMITTEE MEMBER (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- PRE-DEFENSE EVALUATION SHEET Student name: Nguyen Thanh Huy Student ID: 20119115 Major: Computer Engineering Technology Project title: Image processing application and Yolo model in product payment system recognition Name of Examiner:.

Content and workload of the project. Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, December 24, 2024 EXAMINER (Sign with full name) ACKNOWLEDGE Firstly, I would like to express my sincere appreciation to the University of Technology and Education, particularly to the Faculty of International Educa- tion, for providing the essential support throughout this project. I am deeply grateful to ME. Nguyen Ngo Lam, my primary advisor, for his unwavering dedication and insightful guidance.

His constructive feedback and timely suggestions were crucial in shaping the direction of my project. His expertise and constant encouragement have greatly contributed to the improve- ment and progress of my work. I also want to extend my gratitude to all the lecturers at the University of Technology and Education for laying the foundation of knowledge that enabled me to tackle the challenges of this project. The skills and concepts I gained from their courses have proven invaluable.

Lastly, while the project was conducted with limited time and resources, I acknowledge that there may be areas that could be improved. I look forward to receiving feedback from reviewers, as it will be crucial in refining this work and guiding my future projects. PROJECT IMPLEMENTER (Sign and clearly state the full name) Nguyen Thanh Huy DECLARATION I hereby confirm that this thesis is the result of my serious and honest work, Nguyen Thanh Huy. The content and final product of the thesis are the out- come of my continuous effort and dedication.

With the thorough guidance and invaluable contributions from ME. Nguyen Ngo Lam, I have completed this thesis based on my own abilities and efforts, without plagiarizing any research or work from others. PROJECT IMPLEMENTER (Sign and clearly state the full name) Nguyen Thanh Huy ABSTRACT As society continues to develop, the demand for shopping has increased, resulting in more people visiting supermarkets. However, a common frustration for many customers is waiting in long lines to check out.

There are two main reasons for this: First, during peak hours, supermarkets get overcrowded. Even though there are multiple checkout counters, they still can’t serve everyone quickly enough. Second, during off-peak hours, supermarkets cut down on the number of open registers to save on cashier labor costs, leading to long waits despite fewer customers. To address this issue, our team decided to design an automated checkout system.

This system is currently capable of recognizing fruit products. When a customer places an item on the scale, the system automatically displays details such as the product’s name, weight, price, and the total amount due. Once all the items are scanned via the camera, the customer can simply press the payment button on the screen, and a QR code will appear for an online payment, eliminating the need for cash. This system not only streamlines the payment process, making it faster and more con- venient for customers, but also helps supermarkets and stores by improving efficiency and reducing customer wait times.1 Reason for Choosing the Topic .2 The Urgency of the Topic .3 Advanced Techniques in Image Processing .4 Applications of Image Recognition and Processing .5 Emerging Trends in Image Processing .1 Concept of YOLO (You Only Look Once) .2 Characteristics of YOLO .3 Performance Evaluation of YOLO .4 Architecture of YOLO .5 Bounding Box Detection Process .6 The Evolution of YOLO (You Only Look Once) .3 Hardware Components Used .3 Sensors and Components Used .1 UART Communication Standard [3] .5 Theoretical Foundation of IoT .6 Overview of Django [5] .1 Architecture of Django .7 Overview of Mailtrap .1 Introduction to Mailtrap .2 Key Features of Mailtrap .3 Applications of Mailtrap .4 Advantages of Mailtrap .8 Overview of IDEs and Design Tools for the Project .3 Visual Studio Code.

32 3 YOLOv8, OpenCV, and Pyzbar Libraries 33 3.1 Introduction to YOLOv8 .2 Advantages and Disadvantages .4 Applications of YOLOv8 .2 Structure of YOLOv8 [6] .3 The implementation process .4 The process of training a model with YOLOv8 [7] .1 Object Detection Process .2 Preparing Training Data .4 The training process .5 Evaluating the Performance of the YOLOv8 Model. 38 4 System Design and Development 39 4.2 Non-Functional Requirements .2 System Block Diagram and Module Functions .1 System Block Diagram .2 Functions of Each Block .1 Weight Sensor Block .4 Camera Pi Module .5 LED and Buzzer Status Block .6 Data Transmission Between Raspberry Pi 4 and ESP32 .1 Flowchart of the Main Program Algorithm .2 Flowchart of Program for API Address Submission .3 Flowchart for ESP32 Program Algorithm .4 Flowchart for Program Handling API Requests to Server .5 Flowchart for Web Operation. 55 5 System Implementation Results 57 5.1 The system model .2 The result of fruit detection .3 Barcode Recognition Results .4 System Operation Results .5 Web Interface and Payment Process .7 IP Address Terminal to Server .8 System Review and Evaluation. 68 6 Conclusion and Future Directions 69 6.1 System Components and Features .2 Limitations and Future Development.

71 List of Tables 2.1 Specifications of Raspberry Pi 4 [10] .2 Specifications of ESP32 [11] .3 Pinout Specifications of HX711 Module [12] .4 Pinout Specifications of 5Kg Loadcell with Wire Colors [13] .5 Pinout Specifications of LCD – I2C 16x2 [14] .6 Specifications of Raspberry Pi Camera Module 3 [15] .7 Specifications of 5V Buzzer [16] .8 Specifications of 10mm LED [17]. 24 v List of Figures 2.1 Simulation and real-life images of Raspberry Pi 4 .2 Simulation and real-life images of ESP 32 .3 Simulation and real-life images of HX711 Module .4 Simulation and real-life images of HX711 Module .5 Simulation and real-life images of LCD 16x2 .6 Simulation and real-life images of Raspberry Pi Camera Module 3 .7 Simulation and real-life images of Buzzer .8 Simulation and real-life images of Led 10mm .9 The data communication format of UART [3] .10 The data communication format of I2C .11 Model-View-Template (MVT) [18] .12 Logo of Mailtrap .1 System block diagram .2 Schematic diagram of connecting a weight sensor to ESP32 .3 Schematic diagram of connecting the I2C-integrated LCD to ESP32 .4 Schematic diagram of connecting buttons to Raspberry Pi 4 .5 Schematic diagram of connecting the Camera Module to Raspberry Pi 4 .6 Schematic diagram of connecting LEDs and Buzzer to Raspberry Pi 4 .7 UART Connection Between Raspberry Pi 4 and ESP32 .8 Flowchart of the Main Program Algorithm .9 Flowchart of the program Algorithm for Sending API Address .10 Flowchart for ESP32 Program Algorithm .11 Flowchart for Program Handling API Requests to Server .12 Flowchart for Web Operation .1 General image of the model .2 Surface image on the model .3 Image inside the model .4 Detection Result: Yellow Orange .5 Detection Result: Green Orange .6 Detection Result: Banana .7 Detection Result: Soursop .8 Detection Result: Apple .9 Detection Result: Mango .10 Product Barcode Scanning and Results .11 Display product information .12 Payment QR code .13 Web interface when the user successfully makes a payment .14 Electronic bill sent via email .15 Terminal displays a successful email notification .17 Product Management Interface .18 Product Information Interface .19 Terminal displaying product information. 67 LIST OF ABBREVIATIONS Below is a list of abbreviations used in the thesis. Abbreviations Definition ADC Analog-to-Digital Converter AI Artificial Intelligence CNNs Convolutional Neural Network CSS Cascading Style Sheets DL Deep Learning DRF Django Rest Framework GPIO General Purpose Input/Output HTML Hypertext Markup Language I2C Inter-Integrated Circuit IC Integrated Circuit ID Identification IDE Integrated Development Environment IoT Internet of Things IoU Intersection over Union LCD Liquid Crystal Display LED Light Emitting Diode ORM Object-Relational Mapping PAN Path Aggregation Network PCB Printed Circuit Board QR Quick Response RAM Random Access Memory RX Receiver SPI Serial Peripheral Interface TX Transmitter UART Universal Asynchronous Receiver/Transmitter USB Universal Serial Bus Wi-Fi Wireless Fidelity YOLO You Only Look Once Chapter 1 Overview This chapter provides a comprehensive introduction to the research topic, including the reasons for choosing the topic, its urgency, goals, and the methods employed.

It also outlines the structure of the thesis and highlights the practical significance of the study.1 Reason for Choosing the Topic In the context of the rapidly growing economy, the demand for simplicity and con- venience has become an essential need for consumers. Shopping, a daily activity that is indispensable in everyday life, has contributed to the growth of supermarkets, making the implementation of automated checkout systems increasingly common in business operations. However, despite the widespread use of automated checkout systems, they still face several challenges, particularly regarding the time customers spend during the payment process. Even when customer traffic is low, the time required to complete a transaction can still be long, primarily due to businesses reducing the number of cashiers to cut costs.

Recognizing the urgency of this issue, I decided to propose a solution and chose the topic "Image Processing Application and YOLO Model in Product Payment System Recognition" for my graduation project.2 The Urgency of the Topic Most supermarkets in Vietnam still rely on cashiers to process customer purchases, often utilizing barcodes to scan and identify products. While effective in many cases, barcode systems can encounter occasional issues and are better suited for items sold by 1 quantity rather than weight. This limitation inspired us to develop a device that inte- grates barcode scanning with AI recognition technology, enabling customers to quickly and conveniently complete self-checkout transactions with the support of a weight veri- fication system, significantly saving time. The system offers several key advantages: • Shortens the waiting time for customers at checkout counters by utilizing two oper- ational scales.

• Provides a user-friendly experience, ensuring convenience and comfort during pay- ment. • Reduces errors and the potential for fraud in transactions. • Enhances the accuracy of inventory tracking and transaction records. • Lowers personnel costs for businesses while maintaining high-quality customer ser- vice.3 Research Goals The automated checkout system we are developing is designed to provide practical advantages, such as reducing staffing costs for stores and supermarkets while incorporat- ing advanced features.

These include automatic product recognition using cameras and barcodes, along with weight measurement enabled by load cells equipped with analog- to-digital converters. The system processes data from the cameras and load cells to calculate the price of the products, displaying the information on a screen for users. It also facilitates payments through QR codes and barcodes, ensuring a faster and more seamless checkout experience. With the integration of weight verification system to ensure accuracy, our system aims to deliver a highly convenient and streamlined shopping experience.