Giải pháp thanh toán nhanh món ăn ở căn tin trường học thông qua thuật toán nhận dạng hình ảnh

Chuyên đề nghiên cứu Giải pháp thanh toán nhanh cho món ăn căn tin trường học bằng thuật toán nhận dạng, cập nhật xu hướng mới, giá trị tham khảo cao

• Tác giả: Phạm Tấn Tuân
• Người hướng dẫn: PGS. Trần Mạnh Hà
• Trường học: Trường Đại Học Bà Rịa - Vũng Tàu
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Giải Pháp Thanh Toán Nhanh Cho Món Ăn Căn Tin Trường Học Bằng Thuật Toán Nhận Dạng Hình Ảnh
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2023
• Địa điểm: Bà Rịa - Vũng Tàu

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC HÌNH VẼ
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN ĐỀ TÀI
• 1.1. Mục tiêu nghiên cứu của đề tài
• 1.2. Nội dung nghiên cứu
• 1.3. Đối tượng nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Cấu trúc luận văn
• 1.6. Tổng quan về đề tài
• 1.7. Các nghiên cứu liên quan
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Computer Vision - Thị giác máy tính
• 2.2. Kỹ thuật mô tả đặc trưng (Histogram of Oriented Gradients – HOG)
• 2.3. Mạng noron tích chập
• 2.4. Kỹ thuật mô hình nơ-ron tích chập theo vùng (R-CNN)
• 2.5. Kỹ thuật mô hình nơ-ron tích chập theo vùng cải tiến (Faster R-CNN)
• 2.6. Mô hình YOLO v5
• 2.7. Đánh giá mô hình
• 2.7.1. Tỷ lệ vùng giao nhau trên tổng vùng (Intersection over Union - IOU)
• 2.7.2. Precision và Recall
• 2.8. Lý do lựa chọn mô hình YOLOv5 cho đề tài
• 3. CHƯƠNG 3: THIẾT KẾ VÀ XÂY DỰNG MÔ HÌNH ỨNG DỤNG
• 3.1. Mô hình phát hiện vật thể bằng YOLOv5
• 3.1.1. Các yếu tố về mặt dữ liệu để mô hình đạt được kết quả tốt nhất
• 3.1.2. Các trường hợp nhận dạng sai
• 3.2. Chọn mô hình
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ ỨNG DỤNG
• 4.1. Quy trình thực hiện thí nghiệm
• 4.2. Tạo ứng dụng cho mô hình
• 4.2.1. Đề xuất kịch bản chạy thực nghiệm và phân tích nguyên nhân
• 4.2.2. Áp dụng mô hình tính tổng số tiền
• 4.3. Các kết quả luận văn làm được
• 4.4. Khả năng ứng dụng thực tiễn (nếu có)
• 4.5. Những hạn chế và định hướng phát triển trong nghiên cứu tiếp theo
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu tổng quan đề tài

Đề tài "Giải pháp thanh toán nhanh cho món ăn căn tin trường học bằng thuật toán nhận dạng hình ảnh" nhằm mục đích phát triển một hệ thống thanh toán tự động cho các món ăn tại căn tin trường học. Hệ thống này ứng dụng thuật toán nhận diện hình ảnh để xác định các món ăn mà học sinh chọn, từ đó tự động tạo hóa đơn thanh toán mà không cần sử dụng mã vạch. Việc áp dụng công nghệ này không chỉ giúp tiết kiệm thời gian mà còn giảm thiểu sự phụ thuộc vào nguồn nhân lực. Việc thanh toán nhanh chóng và hiệu quả sẽ giúp cải thiện trải nghiệm của người dùng tại căn tin, đồng thời nâng cao năng suất làm việc của nhân viên phục vụ. Theo nghiên cứu, việc áp dụng công nghệ AI trong thanh toán sẽ là một bước tiến quan trọng trong việc hiện đại hóa quy trình thanh toán tại các cơ sở giáo dục.

1.1. Mục tiêu nghiên cứu

Mục tiêu tổng quát của đề tài là phát triển một giải pháp ứng dụng mô hình nhận dạng hình ảnh thông qua camera để tạo hóa đơn thanh toán nhanh và tự động cho các món ăn tại căn tin trường học. Cụ thể, đề tài sẽ xây dựng mô hình phát hiện các món ăn từ ảnh tĩnh, áp dụng mô hình YOLO để nhận diện và tự động tạo hóa đơn thanh toán. Việc này không chỉ giúp giảm thiểu thời gian chờ đợi cho học sinh mà còn nâng cao độ chính xác trong việc tính toán hóa đơn. Hệ thống này sẽ giúp cho các căn tin trường học hoạt động hiệu quả hơn, giảm tải công việc cho nhân viên và cải thiện trải nghiệm của người dùng.

II. Cơ sở lý thuyết

Trong chương này, các kỹ thuật nhận dạng hình ảnh sẽ được trình bày, bao gồm kỹ thuật mô tả đặc trưng như Histogram of Oriented Gradients (HOG) và các mô hình nơ-ron tích chập như R-CNN, Faster R-CNN và YOLO. Mô hình YOLO được chọn vì khả năng phát hiện đối tượng theo thời gian thực, điều này rất quan trọng trong môi trường căn tin nơi mà số lượng học sinh lớn và thời gian phục vụ hạn chế. Việc áp dụng YOLO không chỉ giúp nhận diện nhanh chóng mà còn đảm bảo độ chính xác cao trong việc phân loại các món ăn. Sự kết hợp giữa các kỹ thuật này sẽ tạo ra một hệ thống hoàn chỉnh, đáp ứng nhu cầu thực tế tại các căn tin trường học.

2.1. Các phương pháp nhận dạng hình ảnh

Các phương pháp nhận dạng hình ảnh hiện nay đã phát triển mạnh mẽ, với nhiều kỹ thuật khác nhau được áp dụng cho việc phát hiện đối tượng. Kỹ thuật HOG giúp mô tả hình dạng và cấu trúc của đối tượng trong hình ảnh, trong khi đó R-CNN và Faster R-CNN sử dụng mạng nơ-ron để cải thiện độ chính xác và tốc độ phát hiện. Mô hình YOLO, với cấu trúc đơn giản và khả năng xử lý nhanh, là lựa chọn lý tưởng cho việc nhận diện các món ăn trong căn tin. Việc áp dụng YOLO giúp giảm thiểu độ trễ trong quá trình thanh toán, từ đó nâng cao trải nghiệm của học sinh khi sử dụng dịch vụ tại căn tin.

III. Thiết kế và xây dựng mô hình ứng dụng

Chương này tập trung vào việc thiết kế mô hình ứng dụng cho hệ thống thanh toán tự động. Mô hình sẽ bao gồm một camera để chụp ảnh các món ăn trên khay của học sinh, sau đó sử dụng thuật toán YOLO để nhận diện và phân loại các món ăn. Dữ liệu hình ảnh sẽ được thu thập từ căn tin trường học và được sử dụng để huấn luyện mô hình. Việc xây dựng mô hình cần chú trọng đến các yếu tố như độ chính xác trong nhận diện, khả năng xử lý nhanh và tính khả thi trong việc triển khai thực tế. Mô hình này không chỉ giúp tạo hóa đơn thanh toán nhanh mà còn góp phần vào việc hiện đại hóa quy trình phục vụ tại căn tin.

3.1. Mô hình phát hiện vật thể bằng YOLO

Mô hình YOLO sẽ được áp dụng để phát hiện và phân loại các món ăn từ hình ảnh thu được. Quá trình này bao gồm việc thu thập dữ liệu, tiền xử lý ảnh và huấn luyện mô hình. Các yếu tố cần thiết để mô hình đạt được hiệu quả cao bao gồm chất lượng dữ liệu đầu vào và cấu trúc mạng nơ-ron. Mô hình cần được tối ưu hóa để giảm thiểu sai số trong nhận diện và đảm bảo tốc độ xử lý nhanh chóng, phục vụ cho nhu cầu thực tế tại căn tin. Kết quả từ mô hình sẽ được sử dụng để tạo hóa đơn thanh toán, từ đó nâng cao trải nghiệm của người dùng.

IV. Thực nghiệm và đánh giá ứng dụng

Chương này mô tả quy trình thực nghiệm và đánh giá hiệu quả của ứng dụng đã xây dựng. Các thí nghiệm sẽ được thực hiện để kiểm tra độ chính xác của mô hình trong việc nhận diện các món ăn. Kết quả thu được sẽ được phân tích để xác định điểm mạnh và điểm yếu của mô hình. Việc áp dụng mô hình vào thực tế không chỉ giúp cải thiện quy trình thanh toán mà còn cung cấp cơ sở dữ liệu cho các nghiên cứu tiếp theo trong lĩnh vực công nghệ nhận dạng hình ảnh. Đánh giá kết quả thực nghiệm sẽ giúp điều chỉnh và cải thiện mô hình, nhằm đáp ứng tốt hơn nhu cầu thực tiễn.

4.1. Quy trình thực hiện thí nghiệm

Quy trình thực hiện thí nghiệm bao gồm việc thu thập dữ liệu hình ảnh từ căn tin, huấn luyện mô hình YOLO và đánh giá độ chính xác của mô hình. Các hình ảnh sẽ được phân loại và so sánh với kết quả thực tế để xác định tỷ lệ chính xác trong việc nhận diện món ăn. Kết quả thực nghiệm sẽ được sử dụng để điều chỉnh mô hình, nhằm nâng cao hiệu quả nhận diện. Việc này không chỉ giúp cải thiện quy trình thanh toán mà còn tạo ra một giải pháp khả thi cho việc ứng dụng công nghệ vào thực tế.

V. Kết luận

Đề tài "Giải pháp thanh toán nhanh cho món ăn căn tin trường học bằng thuật toán nhận dạng hình ảnh" đã chỉ ra rằng việc áp dụng công nghệ nhận dạng hình ảnh có thể cải thiện đáng kể quy trình thanh toán tại căn tin trường học. Kết quả nghiên cứu cho thấy mô hình YOLO có khả năng nhận diện các món ăn một cách nhanh chóng và chính xác, từ đó tạo ra hóa đơn thanh toán tự động. Điều này không chỉ tiết kiệm thời gian cho học sinh mà còn giảm tải công việc cho nhân viên. Hệ thống này có thể được mở rộng và áp dụng cho nhiều lĩnh vực khác nhau, từ đó nâng cao hiệu quả phục vụ và giảm chi phí hoạt động.

5.1. Hướng nghiên cứu và phát triển tiếp theo

Hướng nghiên cứu tiếp theo sẽ tập trung vào việc mở rộng mô hình để nhận diện nhiều loại món ăn khác nhau và cải thiện độ chính xác của hệ thống. Ngoài ra, việc tích hợp thêm các công nghệ mới như thanh toán di động và hệ thống quản lý căn tin sẽ được xem xét để nâng cao hiệu quả hoạt động. Các nghiên cứu này không chỉ giúp cải thiện chất lượng phục vụ tại căn tin mà còn góp phần vào việc hiện đại hóa quy trình thanh toán trong các cơ sở giáo dục.

Nội dung chính

Tổng quan nghiên cứu

Căn tin trường học tại Việt Nam thường xuyên đối mặt với áp lực phục vụ từ 500 đến hơn 1000 học sinh chỉ trong khoảng thời gian nghỉ giải lao ngắn ngủi từ 15 đến 20 phút hoặc từ 5 đến 10 phút chuyển tiết. Tại hầu hết các cơ sở giáo dục, quy mô phục vụ chỉ có từ 1 đến 2 quầy bán cùng lượng nhân sự giới hạn từ 2 đến 4 người. Phương thức vận hành truyền thống dựa hoàn toàn vào việc nhân viên quan sát khay đồ ăn bằng mắt thường rồi tính tiền thủ công. Cách làm này không chỉ gây ùn tắc nghiêm trọng tại quầy vào giờ cao điểm mà còn dễ phát sinh sai sót trong quá trình cộng dồn chi phí. Khác với các sản phẩm đóng gói sẵn ở siêu thị có in mã vạch, các món ăn chế biến sẵn như bánh mì, phở, bún hoặc hộp cơm đều không thể dán mã vạch hay quét mã QR một cách tiện lợi.

Trước thực trạng đó, nghiên cứu Luận văn Thạc sĩ chuyên ngành Công nghệ Thông tin tại Trường Đại học Bà Rịa – Vũng Tàu hoàn thành vào tháng 09 năm 2023 đã phát triển giải pháp thanh toán tự động các món ăn học đường thông qua công nghệ nhận dạng hình ảnh. Mục tiêu trọng tâm của đề tài là xây dựng hệ thống thị giác máy tính có khả năng nhận diện chính xác 5 nhóm thực phẩm phổ biến từ camera tĩnh và tự động xuất hóa đơn thanh toán tức thì. Nghiên cứu tiến hành thử nghiệm trên tập dữ liệu thực tế gồm 798 ảnh chụp khay thức ăn tại một trường trung học ở địa phương. Giải pháp mang lại ý nghĩa kinh tế và vận hành thiết thực khi giúp giảm thiểu trên 60% thời gian chờ đợi của học sinh, tối ưu hóa hơn 50% chi phí nhân sự phục vụ tại quầy và nâng cao chất lượng sinh hoạt học đường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng của mạng nơ-ron tích chập (Convolutional Neural Network - CNN), kỹ thuật mô tả đặc trưng HOG (Histogram of Oriented Gradients) và mô hình phát hiện đối tượng tiên tiến YOLOv5. Về mặt kiến trúc, YOLOv5 sử dụng mạng xương sống CSPDarknet53 kết hợp các khối phần dư nhằm hạn chế triệt để hiện tượng suy giảm độ dốc khi đào tạo qua nhiều tầng sâu, đồng thời tích hợp mô-đun kim tự tháp không gian SPP để tổng hợp đặc trưng đa tỉ lệ. Phần cổ của mạng ứng dụng mô hình tổng hợp đường dẫn PAN (Path Aggregation Network) với hai luồng truyền dữ liệu từ trên xuống và từ dưới lên, giúp kết hợp chặt chẽ các đặc trưng không gian cục bộ với thông tin ngữ cảnh toàn cục.

Mô hình vận dụng các khái niệm đánh giá chuẩn mực gồm tỷ lệ vùng giao trên tổng vùng IoU (Intersection over Union), độ chuẩn xác Precision, độ bao phủ Recall và chỉ số độ chính xác trung bình mAP. Hàm mất mát tổng quát trong YOLOv5 được xác lập từ ba thành phần sai số bình phương: mất mát phân loại lớp, mất mát vị trí hộp chứa với hệ số tọa độ bằng 5, và mất mát độ tin cậy đối tượng với hệ số vùng nền bằng 0.5 nhằm tối đa hóa khả năng định vị vật thể trên từng lưới ô vuông.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm gồm 798 ảnh tĩnh với độ phân giải chuẩn hóa 640x480 pixel, được thu thập trực tiếp qua camera tại căn tin một trường trung học trên địa bàn tỉnh Bà Rịa – Vũng Tàu. Phương pháp lấy mẫu là chọn mẫu có chủ đích kết hợp phân tầng theo 5 nhóm đối tượng thực phẩm chính: hộp thức ăn (cơm, bún, mì hộp), hộp sữa (Milo, Yomost), tô thức ăn (phở, bún, hủ tiếu), chai nước (Sting, Coca, Pepsi 500 ml) và bánh mì. Mẫu ảnh được thu thập đa dạng ở cả trạng thái từng món đơn lẻ lẫn khay thức ăn hoàn chỉnh dưới nhiều góc nghiêng từ 45 độ đến 90 độ.

Nhằm khắc phục tình trạng học quá khớp (overfitting), tác giả áp dụng kỹ thuật tăng cường dữ liệu (Data Augmentation) và chủ động chèn thêm khoảng 10% ảnh nhiễu không chứa vật thể mục tiêu vào tập dữ liệu huấn luyện. Tác giả lựa chọn mô hình YOLOv5 thay vì các biến thể phức tạp như Faster R-CNN hay YOLOv8 vì mô hình này tối ưu hóa xuất sắc giữa độ chính xác nhận diện và tốc độ xử lý thời gian thực dưới 0.1 giây mỗi ảnh, hoàn toàn tương thích với phần cứng máy tính phổ thông tại các trường học.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện và thử nghiệm trên bộ dữ liệu 798 hình ảnh mang lại nhiều phát hiện có giá trị khoa học và thực tiễn cao. Thứ nhất, mô hình YOLOv5 nhận dạng chính xác toàn bộ 5 nhóm món ăn, trong đó các đối tượng có hình dạng chuẩn mực như chai nước 500 ml và hộp sữa đạt độ chuẩn xác Precision vượt mức 95%. Thứ hai, chỉ số mAP trung bình của hệ thống đạt mức trên 90% ở ngưỡng IoU tiêu chuẩn 0.5, chứng minh độ trùng khớp cao giữa hộp bao dự đoán và nhãn thực tế.

Thứ ba, khi thử nghiệm camera thời gian thực trên khay thức ăn chứa từ 3 đến 4 món cùng lúc, tốc độ xử lý của mô hình đạt mức ấn tượng từ 30 đến 45 khung hình mỗi giây (fps). Tốc độ này nhanh hơn từ 3 đến 5 lần so với các kiến trúc hai giai đoạn như Faster R-CNN. Thứ tư, việc bổ sung ảnh nhiễu đã giúp giảm tỷ lệ nhận diện sai đối với các đồ vật nằm ngoài danh mục xuống mức dưới 4.5%, duy trì tính ổn định vượt trội khi vận hành thực tế.

Thảo luận kết quả

Các kết quả thực nghiệm chứng minh tính khả thi vượt bậc của việc ứng dụng thị giác máy tính vào khâu thanh toán tự động. Dữ liệu huấn luyện được biểu diễn trực quan qua đồ thị đường cong Precision-Recall và F1-Confidence, cho thấy độ dốc duy trì trạng thái ổn định ở mức độ tin cậy từ 0.6 đến 0.8 mà không xảy ra hiện tượng dao động mạnh. Kết quả từ ma trận nhầm lẫn (Confusion Matrix) và bảng đối chiếu đơn giá ghi nhận tỷ lệ phân loại nhầm giữa nhóm hộp thức ăn và bánh mì chỉ chiếm khoảng 2.8%, chủ yếu do góc chụp bị sấp bóng hoặc bao bì bị che khuất một phần.

Nguyên nhân dẫn đến một số sai số nhỏ được xác định là do sự chồng lấn vật thể khi học sinh đặt đè các món ăn lên nhau, kết hợp hiện tượng khúc xạ ánh sáng trên vỏ chai nhựa trong suốt. So với các công trình nghiên cứu thị giác máy tính trước đây tại Việt Nam vốn chủ yếu tập trung vào điểm danh khuôn mặt hay giám sát giao thông, nghiên cứu này đã tạo ra bước tiến mới khi giải quyết thành công bài toán nhận dạng vật thể không có mã định danh trong môi trường căn tin học đường.

Đề xuất và khuyến nghị

Để đưa mô hình nhận dạng hình ảnh vào ứng dụng thực tế đồng bộ và hiệu quả, nghiên cứu đề xuất 4 giải pháp chiến lược:

1. Chuẩn hóa góc quay camera và nguồn sáng cố định: Ban quản lý căn tin phối hợp với bộ phận kỹ thuật tiến hành lắp đặt hệ thống khung camera cố định chiếu vuông góc 90 độ từ trên xuống khay ăn, kết hợp đèn LED chiếu sáng chống lóa. Mục tiêu nâng tỷ lệ nhận diện khay thức ăn chính xác lên trên 98%, hoàn thành lắp đặt trong thời gian từ 1 đến 2 tháng.

2. Mở rộng tập dữ liệu huấn luyện đa dạng: Nhóm phát triển phần mềm cần thu thập bổ sung từ 1500 đến 2000 hình ảnh mới, bao gồm các món ăn theo mùa, đồ uống dung tích nhỏ và các loại bao bì mới. Timeline thực hiện trong 3 tháng nhằm giúp mô hình nhận diện linh hoạt hơn 20 loại mặt hàng mở rộng mà không làm giảm tốc độ xử lý.

3. Tích hợp thanh toán số và thẻ học sinh thông minh: Nhà trường chủ trì liên kết với các đơn vị ví điện tử để tích hợp cổng quét mã QR động hoặc đầu đọc thẻ từ NFC ngay cạnh màn hình nhận dạng. Giải pháp hướng tới mục tiêu rút ngắn toàn bộ thời gian nhận diện và trừ tiền xuống dưới 5 giây mỗi lượt, hoàn tất thử nghiệm trong 6 tháng.

4. Ứng dụng mô hình tính toán biên Edge AI: Kỹ sư hệ thống cần tối ưu hóa mô hình mạng nơ-ron để nhúng trực tiếp vào các vi xử lý nhỏ gọn như Raspberry Pi hoặc Jetson Nano. Kế hoạch triển khai trong 4 tháng giúp giảm hơn 80% lưu lượng băng thông truyền tải mạng nội bộ và tiết kiệm 40% chi phí đầu tư thiết bị cho mỗi điểm bán.

Đối tượng nên tham khảo luận văn

Luận văn cung cấp nhiều hàm ý thực tiễn và giá trị học thuật sâu sắc cho 4 nhóm đối tượng:

1. Ban giám hiệu và đơn vị quản trị căn tin trường học: Cung cấp giải pháp công nghệ tự động hóa khâu thu ngân, loại bỏ tình trạng ùn ứ giờ nghỉ và kiểm soát doanh thu minh bạch cho quy mô từ 500 đến hàng nghìn học sinh.

2. Học viên cao học và sinh viên ngành Công nghệ Thông tin, Khoa học Máy tính: Cung cấp tài liệu tham khảo chi tiết về quy trình gán nhãn dữ liệu thực tế, kỹ thuật tối ưu hóa siêu tham số YOLOv5 và phương pháp xử lý hàm mất mát bounding box.

3. Kỹ sư phần mềm và chuyên gia thị giác máy tính: Cung cấp kiến trúc đường ống xử lý ảnh hoàn chỉnh để xây dựng các ứng dụng kiểm đếm sản phẩm tự động, nhận diện mặt hàng không có mã vạch cho chuỗi bán lẻ và dịch vụ F&B.

4. Các doanh nghiệp cung cấp giải pháp chuyển đổi số học đường: Khai thác mô hình phân loại đa đối tượng theo thời gian thực để tích hợp vào các ki-ốt bán hàng tự động tại các trường học, nhà máy và bếp ăn tập thể.

Câu hỏi thường gặp

1. Tại sao nghiên cứu lại ưu tiên sử dụng YOLOv5 thay vì Faster R-CNN hay YOLOv8? YOLOv5 đảm bảo sự cân bằng hoàn hảo giữa tốc độ xử lý thời gian thực từ 30 đến 45 khung hình mỗi giây và độ chính xác mAP đạt trên 90%. Mô hình có dung lượng nhẹ, dễ dàng triển khai mượt mà trên hệ thống máy tính văn phòng sẵn có tại trường học mà không đòi hỏi phần cứng GPU chuyên dụng đắt tiền.

2. Tập dữ liệu 798 ảnh thu thập tại một trường học có đảm bảo tính tổng quát hóa không? Bộ dữ liệu gồm 798 ảnh gốc được chụp ở nhiều góc độ từ 45 đến 90 độ, sau đó được mở rộng thông qua kỹ thuật tăng cường dữ liệu và bổ sung 10% ảnh nhiễu môi trường. Nhờ đó, mô hình đạt độ chuẩn xác phân loại trên 92% trong các điều kiện ánh sáng thực tế.

3. Hệ thống xử lý thế nào khi học sinh đặt các món ăn chồng lấn lên nhau trên khay? Khi diện tích tiếp xúc bị che khuất vượt quá 60%, thuật toán có thể phát sinh sai số. Hệ thống sẽ phát tín hiệu cảnh báo trên màn hình để học sinh tách nhẹ các món ăn trong khoảng 1 đến 2 giây trước khi camera kích hoạt chụp ảnh và chốt hóa đơn.

4. Giải pháp này giúp tiết kiệm bao nhiêu thời gian phục vụ tại quầy căn tin? Hệ thống chỉ mất từ 0.1 đến 0.3 giây để nhận diện và tính tổng tiền cho khay gồm 3 đến 4 món ăn. Nhờ vậy, tổng thời gian thanh toán giảm từ hơn 45 giây xuống còn khoảng 10 giây mỗi học sinh, giúp cắt giảm hơn 60% thời gian xếp hàng chờ đợi.

5. Cơ chế tính tổng tiền tự động cho 5 nhóm món ăn hoạt động như thế nào? Mô hình tự động phân loại các vật thể vào 5 nhóm định giá chuẩn lưu sẵn trong cơ sở dữ liệu. Khi các hộp bao được xác định với độ tin cậy trên 70%, phần mềm sẽ tự động nhân số lượng từng nhóm với đơn giá niêm yết và xuất tổng tiền hiển thị trực tiếp lên màn hình.

Kết luận

Luận văn Thạc sĩ của tác giả Phạm Tấn Tuân đã giải quyết triệt để bài toán thanh toán nhanh món ăn không dùng mã vạch tại căn tin trường học với những đóng góp nổi bật:

• Xây dựng thành công bộ dữ liệu thực nghiệm 798 ảnh chuẩn hóa 640x480 pixel cho 5 nhóm món ăn học đường tiêu biểu.
• Tinh chỉnh mô hình học sâu YOLOv5 đạt độ chính xác mAP trên 90% cùng tốc độ xử lý thời gian thực từ 30 đến 45 khung hình mỗi giây.
• Thiết lập quy trình tự động xuất hóa đơn tính tiền tức thì, cắt giảm hơn 60% thời gian chờ đợi trong các khung giờ cao điểm 15 đến 20 phút.
• Hạn chế tối đa tình trạng nhận diện nhầm với tỷ lệ sai sót dưới 4.5% nhờ việc bổ sung mẫu ảnh nhiễu và tối ưu hóa hàm mất mát.
• Đề xuất lộ trình tích hợp cổng thanh toán không tiền mặt và triển khai trên thiết bị Edge AI trong vòng 6 tháng tới.

Hãy tham khảo và ứng dụng ngay giải pháp nhận dạng thông minh này để hiện đại hóa hệ thống quản lý và nâng tầm trải nghiệm dịch vụ căn tin của bạn ngay hôm nay!

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan đề tài Nội dung chủ yếu của chương là tìm hiểu về các vấn đề hình thành nên đề tài. Các ứng dụng tạo hóa đơn thanh toán tiền tự động cho những mặt hàng bán lẻ hiện nay. Từ đó đề xuất phương pháp vận dụng thuật toán nhận dạng hình ảnh để tạo hóa đơn thanh toán cho các món ăn, món hàng được bán cho học sinh ở căn tin trường học. Kèm theo nội dung của đề tài như: ý nghĩa, phương pháp nghiên cứu và đối tượng nghiên cứu.

Chương 2: Cơ sở lý thuyết Tìm hiểu và trình bày sơ lược về các kiến thức cơ sở, được đề tài sử dụng bao gồm: những kỹ thuật áp dụng để nhận dạng đối tượng, phát hiện đối tượng, mạng thần kinh tích chập, các kiến thức xử lý ảnh, các thuật toán nhận dạng hình ảnh liên quan. Tiếp đến là mô hình CNN, một mô hình phổ biến và là mô hình nền tảng mà mô hình YOLO sử dụng. Cuối cùng là tôi sẽ giới thiệu mô hình YOLO, cấu trúc, cách hoạt động và điểm khác biệt là gì khi so với mô hình CNN. Đề xuất mô hình để giải quyết vấn đề được tạo ra, đánh giá mô hình, cũng như cách huấn luyện dữ liệu mới (dữ liệu tự tạo) trong YOLO.

Chương 3: Thiết kế và xây dựng mô hình ứng dụng 6 Trong chương này chủ yếu thực hiện thiết kế mô hình tạo hoá đơn thanh toán tự động, mô tả hệ thống, mô tả dữ liệu thu thập, khai báo danh sách các đối tượng được nhận dạng trong mô hình, mỗi công đoạn đều có các dữ liệu cụ thể, các thuật toán và mô hình cũng được đề xuất và thực thi trên các ví dụ cụ thể. Mô tả quy trình thực hiện phát hiện vật thể, thiết kế hệ thống nhận diện bằng YOLO. Lên kịch bản sử dụng tập dữ liệu mẫu tự tạo, các thông số của mô hình, huấn luyện dữ liệu tự tạo, quá trình kiểm tra và phân tích ưu nhược điểm để có kết quả tốt nhất khi sử dụng mô hình ứng dụng. Chương 4: Thực nghiệm và đánh giá ứng dụng Trong chương này mô tả quá trình thực nghiệm, kết quả và đánh giá kết quả thực nghiệm của ứng dụng đã xây dựng.

Ứng dụng xây dựng trên một ngôn ngữ lập trình và trên một bộ dữ liệu tự đề xuất. Xây dựng ứng dụng cho việc phát hiện vật thể một cách trực tiếp và theo thời gian thực thông qua camera được kết nối với máy tính và sử dụng mô hình tốt nhất sau khi huấn luyện. Xây dựng kịch bản chạy thử nghiệm, quá trình chạy thử nghiệm, và phân tích kết quả. Chương 5: Kết luận Tóm lược luận văn: những kết quả đạt được của đề tài so với mục tiêu đặt ra, những hạn chế, cải tiến mở rộng của giải pháp và hướng nghiên cứu và phát triển tiếp theo cho đề tài hiện tại.

Tổng quan về đề tài Hiện nay, tại nhiều hệ thống siêu thị, trung tâm thương mại, đại lý phân phối và điểm bán lẻ, việc sử dụng quét mã vạch để thanh toán sản phẩm đang trở thành lựa chọn phổ biến, tiết kiệm công sức và thời gian. Mặt khác, máy bán hàng tự động cũng đang dần rất phổ biến ở nhiều nơi, đặc biệt là các thành phố lớn hoặc ở các khu vực đông người của nhiều thành phố lớn nhỏ đều cũng đã xuất hiện máy bán hàng tự động. Sự phổ biến của máy bán hàng tự động giúp cho mọi người tiện lợi hơn khi mua các thức uống hoặc thức ăn một cách gọn 7 nhẹ thông qua chức năng chọn và thanh toán. Mỗi mặt hàng đều sẽ được đặt tại từng ô và sẽ được chọn dựa theo số.

Sau đó, người dùng sẽ phải bỏ số tiền tương ứng vào nhằm thanh toán sản phẩm mình đã chọn. 1 Mô hình máy bán tự động Nguồn ảnh: https://cafebiz. 2 Mô hình máy bán tự động Nguồn ảnh: tuoitre.vn Tuy nhiên tại các địa điểm buôn bán như căn tin trường học hoặc nhà máy sản xuất, món ăn lại không có mã vạch nhưng lại cần tạo hóa đơn thanh toán cho số lượng lớn học sinh hoặc công nhân trong thời gian ngắn. Ngoài ra, nếu sử dụng các máy bán hàng tự động trong trường hợp này thì máy bán hàng tự động cũng chỉ sẽ đáp ứng được cho học sinh hay công nhân đối với các sản phẩm như chai nước, sữa hay một số loại bánh nhất định.

Điều này có một số vấn đề sau: đầu tiên là các máy bán hàng tự động hiện tại còn gặp khá nhiều các vấn đề liên quan đến việc vận hành như máy hư, bị lỗi khi bán, tiếp đến là khi nhận tiền mặt thì các máy khá khó chịu với các tờ tiền không được thẳng, nhăn nheo, đặc biệt là không thối lại tiền thừa và cuối cùng là máy bán hàng tự động không đáp ứng được về mặt các thức ăn như bánh mì, phở, bún,. các loại thức ăn chính nhằm cung cấp đủ dinh dưỡng cho học sinh hoặc người lao động có thể hoạt động một cách hiệu quả trong thời gian tiếp theo. 9 Vấn đề đặt ra là cung cấp giải pháp để tạo hóa đơn thanh toán các món ăn một cách nhanh chóng và tự động. Đề tài này nghiên cứu và xây dựng giải pháp giải quyết vấn đề nêu trên bằng cách áp dụng mô hình thuật toán nhận dạng hình ảnh món ăn để tạo hóa đơn thanh toán nhanh cho các các món ăn tại căn tin của trường học.

Dựa trên cơ sở đó, giải pháp được xây dựng giải quyết được vấn đề thanh toán tính tiền tự động cho các món hàng mà không cần gán mã vạch. Dữ liệu hình ảnh các món ăn, món hàng dùng để thử nghiệm và đánh giá giải pháp được lấy tại căn tin của một trường học cụ thể. Ý tưởng của đề tài là học sinh sau khi chọn món và các thức ăn đã được chế biến xong hoặc các mặt hàng có sẵn như chai nước, sữa,. đã được chọn và đưa lên khay, học sinh sẽ đặt khay vào khu vực được quy định để thanh toán.

Tại khu vực này, căn tin sẽ lắp một camera có chức năng chụp ảnh và đưa ra thông tin trong khay có những sản phẩm nào, từ đó phân loại và dựa vào kết quả đó sẽ tính toán được giá trị của khay và xuất ra hóa đơn. Học sinh sẽ cầm hoá đơn này để thanh toán tại quầy. Từ đó, sẽ giảm được khối lượng công việc của người bán cũng như là tăng độ chính xác và tốc độ phục vụ. 3 Minh Họa khay đồ ăn học sinh ì Phạmnvi của bài nghiên cứu này hiện chỉ đang xét một số các mặt hàng cố định bao gồm: h 2 - Dạng.

Tô (Như tô phở, bún) S E Q H ì n 10 - Dạng Sữa hộp - Dạng Hộp thức ăn - Dạng Chai nước (pepsi, coca, …) - Dạng Bánh mì Và các mặt hàng này sẽ được định giá là như nhau ở mỗi loại sản phẩm. Điều này cũng thể xem như là một mặt hạn chế vì trong một số trường hợp thì các sản phẩm như phở hay bún hoặc các loại nước sẽ có giá khác nhau tùy thuộc vào đặc trưng. Tuy nhiên ở đây chỉ đang sử dụng các hình dáng chung để có thể phân loại nên việc gộp các sản phẩm này thành chung một giá sẽ là hữu hiệu nhất. Các nghiên cứu liên quan Kể từ khi mô hình học sâu về thị giác máy tính là Convolutional neural network (CNN) được đề xuất bởi Yann Lecun cùng với sự phát triển vượt bậc của sức mạnh tính toán thì các mô hình về thị giác máy tính đã bùng nổ một cách mạnh mẽ với nhiều mô hình và thuật toán mới được phát triển liên tục.

Các mô hình thị giác máy tính được ứng dụng phổ biến, rộng rãi với nhiều ngành nghề và nhiều thiết bị như xe tự hành, bảo mật, xử lý ảnh y tế cho đến những ứng dụng cho các thiết bị nhỏ như: ứng dụng trên Smartphone, các thiết bị IoT. Ở trên thế giới, các nghiên cứu về phát hiện và phân loại đối tượng bằng mô hình học sâu có khá nhiều. Có thể kể đến như Zhang, Z. (2019) về “phát hiện vật thể xe tự lái”.

cho mô hình học sâu về “sử dụng phát hiện và phân loại vật thể được sử dụng trong y khoa”. Trong các hệ thống giám sát thì nghiên cứu của Rasheed, Z. có chỉ ra “mô hình phát hiện và phân loại đối tượng cho phép các hệ thống giám sát phát hiện và theo dõi các đối tượng quan tâm trong thời gian thực”, tăng cường khả năng giám sát và bảo mật. Trong mảng robotics mô hình phát hiện và phân loại vật thể giúp hỗ trợ hệ thống robot tương tác với môi trường, “xác định các đối tượng và thực hiện các nhiệm vụ” như nắm bắt hoặc thao tác đối tượng theo nghiên cứu của Lowe, D.

11 Trong nước, các nghiên cứu đi sâu vào các trường hợp và ứng dụng cụ thể hơn như “hệ thống nhận dạng gương mặt trong video giám sát” của Trần Trung Kiên năm 2013. “Ứng dụng neural network để phân loại khuôn mặt” của Nguyễn Trường Tân, 2013. Nguyễn Thị Thủy, 2018 “Sử dụng mô hình học sâu để nhận dạng khuôn mặt người và ứng dụng trong quản lý nhân sự”. Như có thể thấy, phần lớn các nghiên cứu trên toàn cầu đều mang tính lý thuyết mà chưa đưa vào thực tiễn nhiều.

Trong nước cũng có số ít các nghiên cứu đưa vào thực tiễn, tuy nhiên lại ứng dụng khá nhiều vào khuôn mặt cũng như là giám sát hành động mà chưa có nhiều ứng dụng vào trường học. Đặc biệt, việc áp dụng các ứng dụng vào thực tế nhằm cải thiện chất lượng cuộc sống của học sinh. Vì khi các em có một sức khỏe tinh thần tốt thì khi đó mới có thể chuyên tâm vào công việc học tập. Do đó, đây là động lực để tôi có thể tiến hành nghiên cứu này.

Computer Vision - Thị giác máy tính Thị giác máy tính là một mảng nhỏ trong công nghệ máy học với chức năng chính là trích xuất thông tin từ ảnh hoặc video để có thể hiểu được hoặc trình bày dưới dạng ngôn ngữ hoặc thông tin cần thiết cho người dùng. Lĩnh vực thị giác máy tính bao gồm một số các mảng như phân loại ảnh, xác định vật thể, phát hiện vật thể và các mảng nhỏ khác tùy theo nhu cầu nhận diện hoặc trích xuất thông tin từ ảnh mà sẽ có những kỹ thuật khác nhau khi thực hiện. Trong đó, phân loại hình ảnh chỉ đơn giản là gán cho hình ảnh một lớp dựa trên các đối tượng bên trong hình ảnh.