Giải pháp thanh toán nhanh món ăn ở căn tin trường học thông qua thuật toán nhận dạng hình ảnh

Chuyên đề nghiên cứu Giải pháp thanh toán nhanh cho món ăn căn tin trường học bằng thuật toán nhận dạng, cập nhật xu hướng mới, giá trị tham khảo cao

• Tác giả: Phạm Tấn Tuân
• Người hướng dẫn: PGS. Trần Mạnh Hà
• Trường học: Trường Đại Học Bà Rịa - Vũng Tàu
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Giải Pháp Thanh Toán Nhanh Cho Món Ăn Căn Tin Trường Học Bằng Thuật Toán Nhận Dạng Hình Ảnh
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2023
• Địa điểm: Bà Rịa - Vũng Tàu

Tóm tắt

I. Giới thiệu tổng quan đề tài

Đề tài "Giải pháp thanh toán nhanh cho món ăn căn tin trường học bằng thuật toán nhận dạng hình ảnh" nhằm mục đích phát triển một hệ thống thanh toán tự động cho các món ăn tại căn tin trường học. Hệ thống này ứng dụng thuật toán nhận diện hình ảnh để xác định các món ăn mà học sinh chọn, từ đó tự động tạo hóa đơn thanh toán mà không cần sử dụng mã vạch. Việc áp dụng công nghệ này không chỉ giúp tiết kiệm thời gian mà còn giảm thiểu sự phụ thuộc vào nguồn nhân lực. Việc thanh toán nhanh chóng và hiệu quả sẽ giúp cải thiện trải nghiệm của người dùng tại căn tin, đồng thời nâng cao năng suất làm việc của nhân viên phục vụ. Theo nghiên cứu, việc áp dụng công nghệ AI trong thanh toán sẽ là một bước tiến quan trọng trong việc hiện đại hóa quy trình thanh toán tại các cơ sở giáo dục.

1.1. Mục tiêu nghiên cứu

Mục tiêu tổng quát của đề tài là phát triển một giải pháp ứng dụng mô hình nhận dạng hình ảnh thông qua camera để tạo hóa đơn thanh toán nhanh và tự động cho các món ăn tại căn tin trường học. Cụ thể, đề tài sẽ xây dựng mô hình phát hiện các món ăn từ ảnh tĩnh, áp dụng mô hình YOLO để nhận diện và tự động tạo hóa đơn thanh toán. Việc này không chỉ giúp giảm thiểu thời gian chờ đợi cho học sinh mà còn nâng cao độ chính xác trong việc tính toán hóa đơn. Hệ thống này sẽ giúp cho các căn tin trường học hoạt động hiệu quả hơn, giảm tải công việc cho nhân viên và cải thiện trải nghiệm của người dùng.

II. Cơ sở lý thuyết

Trong chương này, các kỹ thuật nhận dạng hình ảnh sẽ được trình bày, bao gồm kỹ thuật mô tả đặc trưng như Histogram of Oriented Gradients (HOG) và các mô hình nơ-ron tích chập như R-CNN, Faster R-CNN và YOLO. Mô hình YOLO được chọn vì khả năng phát hiện đối tượng theo thời gian thực, điều này rất quan trọng trong môi trường căn tin nơi mà số lượng học sinh lớn và thời gian phục vụ hạn chế. Việc áp dụng YOLO không chỉ giúp nhận diện nhanh chóng mà còn đảm bảo độ chính xác cao trong việc phân loại các món ăn. Sự kết hợp giữa các kỹ thuật này sẽ tạo ra một hệ thống hoàn chỉnh, đáp ứng nhu cầu thực tế tại các căn tin trường học.

2.1. Các phương pháp nhận dạng hình ảnh

Các phương pháp nhận dạng hình ảnh hiện nay đã phát triển mạnh mẽ, với nhiều kỹ thuật khác nhau được áp dụng cho việc phát hiện đối tượng. Kỹ thuật HOG giúp mô tả hình dạng và cấu trúc của đối tượng trong hình ảnh, trong khi đó R-CNN và Faster R-CNN sử dụng mạng nơ-ron để cải thiện độ chính xác và tốc độ phát hiện. Mô hình YOLO, với cấu trúc đơn giản và khả năng xử lý nhanh, là lựa chọn lý tưởng cho việc nhận diện các món ăn trong căn tin. Việc áp dụng YOLO giúp giảm thiểu độ trễ trong quá trình thanh toán, từ đó nâng cao trải nghiệm của học sinh khi sử dụng dịch vụ tại căn tin.

III. Thiết kế và xây dựng mô hình ứng dụng

Chương này tập trung vào việc thiết kế mô hình ứng dụng cho hệ thống thanh toán tự động. Mô hình sẽ bao gồm một camera để chụp ảnh các món ăn trên khay của học sinh, sau đó sử dụng thuật toán YOLO để nhận diện và phân loại các món ăn. Dữ liệu hình ảnh sẽ được thu thập từ căn tin trường học và được sử dụng để huấn luyện mô hình. Việc xây dựng mô hình cần chú trọng đến các yếu tố như độ chính xác trong nhận diện, khả năng xử lý nhanh và tính khả thi trong việc triển khai thực tế. Mô hình này không chỉ giúp tạo hóa đơn thanh toán nhanh mà còn góp phần vào việc hiện đại hóa quy trình phục vụ tại căn tin.

3.1. Mô hình phát hiện vật thể bằng YOLO

Mô hình YOLO sẽ được áp dụng để phát hiện và phân loại các món ăn từ hình ảnh thu được. Quá trình này bao gồm việc thu thập dữ liệu, tiền xử lý ảnh và huấn luyện mô hình. Các yếu tố cần thiết để mô hình đạt được hiệu quả cao bao gồm chất lượng dữ liệu đầu vào và cấu trúc mạng nơ-ron. Mô hình cần được tối ưu hóa để giảm thiểu sai số trong nhận diện và đảm bảo tốc độ xử lý nhanh chóng, phục vụ cho nhu cầu thực tế tại căn tin. Kết quả từ mô hình sẽ được sử dụng để tạo hóa đơn thanh toán, từ đó nâng cao trải nghiệm của người dùng.

IV. Thực nghiệm và đánh giá ứng dụng

Chương này mô tả quy trình thực nghiệm và đánh giá hiệu quả của ứng dụng đã xây dựng. Các thí nghiệm sẽ được thực hiện để kiểm tra độ chính xác của mô hình trong việc nhận diện các món ăn. Kết quả thu được sẽ được phân tích để xác định điểm mạnh và điểm yếu của mô hình. Việc áp dụng mô hình vào thực tế không chỉ giúp cải thiện quy trình thanh toán mà còn cung cấp cơ sở dữ liệu cho các nghiên cứu tiếp theo trong lĩnh vực công nghệ nhận dạng hình ảnh. Đánh giá kết quả thực nghiệm sẽ giúp điều chỉnh và cải thiện mô hình, nhằm đáp ứng tốt hơn nhu cầu thực tiễn.

4.1. Quy trình thực hiện thí nghiệm

Quy trình thực hiện thí nghiệm bao gồm việc thu thập dữ liệu hình ảnh từ căn tin, huấn luyện mô hình YOLO và đánh giá độ chính xác của mô hình. Các hình ảnh sẽ được phân loại và so sánh với kết quả thực tế để xác định tỷ lệ chính xác trong việc nhận diện món ăn. Kết quả thực nghiệm sẽ được sử dụng để điều chỉnh mô hình, nhằm nâng cao hiệu quả nhận diện. Việc này không chỉ giúp cải thiện quy trình thanh toán mà còn tạo ra một giải pháp khả thi cho việc ứng dụng công nghệ vào thực tế.

V. Kết luận

Đề tài "Giải pháp thanh toán nhanh cho món ăn căn tin trường học bằng thuật toán nhận dạng hình ảnh" đã chỉ ra rằng việc áp dụng công nghệ nhận dạng hình ảnh có thể cải thiện đáng kể quy trình thanh toán tại căn tin trường học. Kết quả nghiên cứu cho thấy mô hình YOLO có khả năng nhận diện các món ăn một cách nhanh chóng và chính xác, từ đó tạo ra hóa đơn thanh toán tự động. Điều này không chỉ tiết kiệm thời gian cho học sinh mà còn giảm tải công việc cho nhân viên. Hệ thống này có thể được mở rộng và áp dụng cho nhiều lĩnh vực khác nhau, từ đó nâng cao hiệu quả phục vụ và giảm chi phí hoạt động.

5.1. Hướng nghiên cứu và phát triển tiếp theo

Hướng nghiên cứu tiếp theo sẽ tập trung vào việc mở rộng mô hình để nhận diện nhiều loại món ăn khác nhau và cải thiện độ chính xác của hệ thống. Ngoài ra, việc tích hợp thêm các công nghệ mới như thanh toán di động và hệ thống quản lý căn tin sẽ được xem xét để nâng cao hiệu quả hoạt động. Các nghiên cứu này không chỉ giúp cải thiện chất lượng phục vụ tại căn tin mà còn góp phần vào việc hiện đại hóa quy trình thanh toán trong các cơ sở giáo dục.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan đề tài Nội dung chủ yếu của chương là tìm hiểu về các vấn đề hình thành nên đề tài. Các ứng dụng tạo hóa đơn thanh toán tiền tự động cho những mặt hàng bán lẻ hiện nay. Từ đó đề xuất phương pháp vận dụng thuật toán nhận dạng hình ảnh để tạo hóa đơn thanh toán cho các món ăn, món hàng được bán cho học sinh ở căn tin trường học. Kèm theo nội dung của đề tài như: ý nghĩa, phương pháp nghiên cứu và đối tượng nghiên cứu.

Chương 2: Cơ sở lý thuyết Tìm hiểu và trình bày sơ lược về các kiến thức cơ sở, được đề tài sử dụng bao gồm: những kỹ thuật áp dụng để nhận dạng đối tượng, phát hiện đối tượng, mạng thần kinh tích chập, các kiến thức xử lý ảnh, các thuật toán nhận dạng hình ảnh liên quan. Tiếp đến là mô hình CNN, một mô hình phổ biến và là mô hình nền tảng mà mô hình YOLO sử dụng. Cuối cùng là tôi sẽ giới thiệu mô hình YOLO, cấu trúc, cách hoạt động và điểm khác biệt là gì khi so với mô hình CNN. Đề xuất mô hình để giải quyết vấn đề được tạo ra, đánh giá mô hình, cũng như cách huấn luyện dữ liệu mới (dữ liệu tự tạo) trong YOLO.

Chương 3: Thiết kế và xây dựng mô hình ứng dụng 6 Trong chương này chủ yếu thực hiện thiết kế mô hình tạo hoá đơn thanh toán tự động, mô tả hệ thống, mô tả dữ liệu thu thập, khai báo danh sách các đối tượng được nhận dạng trong mô hình, mỗi công đoạn đều có các dữ liệu cụ thể, các thuật toán và mô hình cũng được đề xuất và thực thi trên các ví dụ cụ thể. Mô tả quy trình thực hiện phát hiện vật thể, thiết kế hệ thống nhận diện bằng YOLO. Lên kịch bản sử dụng tập dữ liệu mẫu tự tạo, các thông số của mô hình, huấn luyện dữ liệu tự tạo, quá trình kiểm tra và phân tích ưu nhược điểm để có kết quả tốt nhất khi sử dụng mô hình ứng dụng. Chương 4: Thực nghiệm và đánh giá ứng dụng Trong chương này mô tả quá trình thực nghiệm, kết quả và đánh giá kết quả thực nghiệm của ứng dụng đã xây dựng.

Ứng dụng xây dựng trên một ngôn ngữ lập trình và trên một bộ dữ liệu tự đề xuất. Xây dựng ứng dụng cho việc phát hiện vật thể một cách trực tiếp và theo thời gian thực thông qua camera được kết nối với máy tính và sử dụng mô hình tốt nhất sau khi huấn luyện. Xây dựng kịch bản chạy thử nghiệm, quá trình chạy thử nghiệm, và phân tích kết quả. Chương 5: Kết luận Tóm lược luận văn: những kết quả đạt được của đề tài so với mục tiêu đặt ra, những hạn chế, cải tiến mở rộng của giải pháp và hướng nghiên cứu và phát triển tiếp theo cho đề tài hiện tại.

Tổng quan về đề tài Hiện nay, tại nhiều hệ thống siêu thị, trung tâm thương mại, đại lý phân phối và điểm bán lẻ, việc sử dụng quét mã vạch để thanh toán sản phẩm đang trở thành lựa chọn phổ biến, tiết kiệm công sức và thời gian. Mặt khác, máy bán hàng tự động cũng đang dần rất phổ biến ở nhiều nơi, đặc biệt là các thành phố lớn hoặc ở các khu vực đông người của nhiều thành phố lớn nhỏ đều cũng đã xuất hiện máy bán hàng tự động. Sự phổ biến của máy bán hàng tự động giúp cho mọi người tiện lợi hơn khi mua các thức uống hoặc thức ăn một cách gọn 7 nhẹ thông qua chức năng chọn và thanh toán. Mỗi mặt hàng đều sẽ được đặt tại từng ô và sẽ được chọn dựa theo số.

Sau đó, người dùng sẽ phải bỏ số tiền tương ứng vào nhằm thanh toán sản phẩm mình đã chọn. 1 Mô hình máy bán tự động Nguồn ảnh: https://cafebiz. 2 Mô hình máy bán tự động Nguồn ảnh: tuoitre.vn Tuy nhiên tại các địa điểm buôn bán như căn tin trường học hoặc nhà máy sản xuất, món ăn lại không có mã vạch nhưng lại cần tạo hóa đơn thanh toán cho số lượng lớn học sinh hoặc công nhân trong thời gian ngắn. Ngoài ra, nếu sử dụng các máy bán hàng tự động trong trường hợp này thì máy bán hàng tự động cũng chỉ sẽ đáp ứng được cho học sinh hay công nhân đối với các sản phẩm như chai nước, sữa hay một số loại bánh nhất định.

Điều này có một số vấn đề sau: đầu tiên là các máy bán hàng tự động hiện tại còn gặp khá nhiều các vấn đề liên quan đến việc vận hành như máy hư, bị lỗi khi bán, tiếp đến là khi nhận tiền mặt thì các máy khá khó chịu với các tờ tiền không được thẳng, nhăn nheo, đặc biệt là không thối lại tiền thừa và cuối cùng là máy bán hàng tự động không đáp ứng được về mặt các thức ăn như bánh mì, phở, bún,. các loại thức ăn chính nhằm cung cấp đủ dinh dưỡng cho học sinh hoặc người lao động có thể hoạt động một cách hiệu quả trong thời gian tiếp theo. 9 Vấn đề đặt ra là cung cấp giải pháp để tạo hóa đơn thanh toán các món ăn một cách nhanh chóng và tự động. Đề tài này nghiên cứu và xây dựng giải pháp giải quyết vấn đề nêu trên bằng cách áp dụng mô hình thuật toán nhận dạng hình ảnh món ăn để tạo hóa đơn thanh toán nhanh cho các các món ăn tại căn tin của trường học.

Dựa trên cơ sở đó, giải pháp được xây dựng giải quyết được vấn đề thanh toán tính tiền tự động cho các món hàng mà không cần gán mã vạch. Dữ liệu hình ảnh các món ăn, món hàng dùng để thử nghiệm và đánh giá giải pháp được lấy tại căn tin của một trường học cụ thể. Ý tưởng của đề tài là học sinh sau khi chọn món và các thức ăn đã được chế biến xong hoặc các mặt hàng có sẵn như chai nước, sữa,. đã được chọn và đưa lên khay, học sinh sẽ đặt khay vào khu vực được quy định để thanh toán.

Tại khu vực này, căn tin sẽ lắp một camera có chức năng chụp ảnh và đưa ra thông tin trong khay có những sản phẩm nào, từ đó phân loại và dựa vào kết quả đó sẽ tính toán được giá trị của khay và xuất ra hóa đơn. Học sinh sẽ cầm hoá đơn này để thanh toán tại quầy. Từ đó, sẽ giảm được khối lượng công việc của người bán cũng như là tăng độ chính xác và tốc độ phục vụ. 3 Minh Họa khay đồ ăn học sinh ì Phạmnvi của bài nghiên cứu này hiện chỉ đang xét một số các mặt hàng cố định bao gồm: h 2 - Dạng.

Tô (Như tô phở, bún) S E Q H ì n 10 - Dạng Sữa hộp - Dạng Hộp thức ăn - Dạng Chai nước (pepsi, coca, …) - Dạng Bánh mì Và các mặt hàng này sẽ được định giá là như nhau ở mỗi loại sản phẩm. Điều này cũng thể xem như là một mặt hạn chế vì trong một số trường hợp thì các sản phẩm như phở hay bún hoặc các loại nước sẽ có giá khác nhau tùy thuộc vào đặc trưng. Tuy nhiên ở đây chỉ đang sử dụng các hình dáng chung để có thể phân loại nên việc gộp các sản phẩm này thành chung một giá sẽ là hữu hiệu nhất. Các nghiên cứu liên quan Kể từ khi mô hình học sâu về thị giác máy tính là Convolutional neural network (CNN) được đề xuất bởi Yann Lecun cùng với sự phát triển vượt bậc của sức mạnh tính toán thì các mô hình về thị giác máy tính đã bùng nổ một cách mạnh mẽ với nhiều mô hình và thuật toán mới được phát triển liên tục.

Các mô hình thị giác máy tính được ứng dụng phổ biến, rộng rãi với nhiều ngành nghề và nhiều thiết bị như xe tự hành, bảo mật, xử lý ảnh y tế cho đến những ứng dụng cho các thiết bị nhỏ như: ứng dụng trên Smartphone, các thiết bị IoT. Ở trên thế giới, các nghiên cứu về phát hiện và phân loại đối tượng bằng mô hình học sâu có khá nhiều. Có thể kể đến như Zhang, Z. (2019) về “phát hiện vật thể xe tự lái”.

cho mô hình học sâu về “sử dụng phát hiện và phân loại vật thể được sử dụng trong y khoa”. Trong các hệ thống giám sát thì nghiên cứu của Rasheed, Z. có chỉ ra “mô hình phát hiện và phân loại đối tượng cho phép các hệ thống giám sát phát hiện và theo dõi các đối tượng quan tâm trong thời gian thực”, tăng cường khả năng giám sát và bảo mật. Trong mảng robotics mô hình phát hiện và phân loại vật thể giúp hỗ trợ hệ thống robot tương tác với môi trường, “xác định các đối tượng và thực hiện các nhiệm vụ” như nắm bắt hoặc thao tác đối tượng theo nghiên cứu của Lowe, D.

11 Trong nước, các nghiên cứu đi sâu vào các trường hợp và ứng dụng cụ thể hơn như “hệ thống nhận dạng gương mặt trong video giám sát” của Trần Trung Kiên năm 2013. “Ứng dụng neural network để phân loại khuôn mặt” của Nguyễn Trường Tân, 2013. Nguyễn Thị Thủy, 2018 “Sử dụng mô hình học sâu để nhận dạng khuôn mặt người và ứng dụng trong quản lý nhân sự”. Như có thể thấy, phần lớn các nghiên cứu trên toàn cầu đều mang tính lý thuyết mà chưa đưa vào thực tiễn nhiều.

Trong nước cũng có số ít các nghiên cứu đưa vào thực tiễn, tuy nhiên lại ứng dụng khá nhiều vào khuôn mặt cũng như là giám sát hành động mà chưa có nhiều ứng dụng vào trường học. Đặc biệt, việc áp dụng các ứng dụng vào thực tế nhằm cải thiện chất lượng cuộc sống của học sinh. Vì khi các em có một sức khỏe tinh thần tốt thì khi đó mới có thể chuyên tâm vào công việc học tập. Do đó, đây là động lực để tôi có thể tiến hành nghiên cứu này.

Computer Vision - Thị giác máy tính Thị giác máy tính là một mảng nhỏ trong công nghệ máy học với chức năng chính là trích xuất thông tin từ ảnh hoặc video để có thể hiểu được hoặc trình bày dưới dạng ngôn ngữ hoặc thông tin cần thiết cho người dùng. Lĩnh vực thị giác máy tính bao gồm một số các mảng như phân loại ảnh, xác định vật thể, phát hiện vật thể và các mảng nhỏ khác tùy theo nhu cầu nhận diện hoặc trích xuất thông tin từ ảnh mà sẽ có những kỹ thuật khác nhau khi thực hiện. Trong đó, phân loại hình ảnh chỉ đơn giản là gán cho hình ảnh một lớp dựa trên các đối tượng bên trong hình ảnh.