Nghiên Cứu Kỹ Thuật Thị Giác Máy Tính và Máy Học cho Ứng Dụng Just Walk Out Shopping

Luận văn tốt nghiệp y tế nghiên cứu tốt nghiệp công nghệ phần mềm nghiên cứu các kỹ thuật dựa trên thị giác máy tính và máy học để xây, điều tra thực trạng, phân tích số liệu, đề

• Tác giả: Lê Quang Trung
• Người hướng dẫn: TS. Nguyễn Duy Khánh
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ phần mềm
• Đề tài: Nghiên Cứu Kỹ Thuật Thị Giác Máy Tính và Máy Học cho Ứng Dụng Mua Sắm Just Walk Out
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Lý do chọn đề tài. Mục đích nghiên cứu. Đối tượng nghiên cứu. Phạm vi nghiên cứu
• 2. CHƯƠNG 2: KIẾN THỨC CƠ BẢN
• 3. CHƯƠNG 3: MÔ HÌNH MUA SẮM JUST-WALK-OUT
• 4. CHƯƠNG 4: PHÁT HIỆN VẬT THỂ VÀ HÀNH ĐỘNG TRONG THỊ GIÁC MÁY TÍNH
• 5. CHƯƠNG 5: PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG
• 6. CHƯƠNG 6: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 7. CHƯƠNG 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Tóm tắt

I. Tổng quan về Nghiên Cứu Kỹ Thuật Thị Giác Máy Tính

Nghiên cứu về thị giác máy tính và máy học đã trở thành một lĩnh vực quan trọng trong công nghệ hiện đại. Các ứng dụng của nó không chỉ giới hạn trong việc nhận diện hình ảnh mà còn mở rộng ra nhiều lĩnh vực khác nhau, bao gồm cả ứng dụng mua sắm Just Walk Out. Mục tiêu của nghiên cứu này là phát triển một hệ thống có khả năng nhận diện hành động của người tiêu dùng trong môi trường mua sắm, từ đó cải thiện trải nghiệm khách hàng và tối ưu hóa quy trình thanh toán.

1.1. Khái niệm về Thị Giác Máy Tính và Máy Học

Thị giác máy tính là một lĩnh vực con của trí tuệ nhân tạo, tập trung vào việc cho phép máy tính hiểu và xử lý hình ảnh từ thế giới thực. Máy học là một phương pháp giúp máy tính học hỏi từ dữ liệu mà không cần lập trình cụ thể. Sự kết hợp giữa hai lĩnh vực này tạo ra những ứng dụng mạnh mẽ trong nhiều ngành công nghiệp.

1.2. Tầm Quan Trọng của Nghiên Cứu trong Thương Mại Điện Tử

Nghiên cứu này không chỉ giúp cải thiện trải nghiệm mua sắm mà còn góp phần vào sự phát triển của công nghệ Just Walk Out. Việc áp dụng các kỹ thuật thị giác máy tính giúp giảm thiểu thời gian chờ đợi và tăng cường sự hài lòng của khách hàng.

II. Thách Thức trong Ứng Dụng Thị Giác Máy Tính

Mặc dù có nhiều tiềm năng, việc triển khai thị giác máy tính trong ứng dụng mua sắm gặp phải nhiều thách thức. Các vấn đề như độ chính xác của mô hình, khả năng nhận diện trong điều kiện ánh sáng khác nhau và sự phức tạp trong hành vi của người tiêu dùng là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Độ Chính Xác của Mô Hình Nhận Diện

Độ chính xác của các mô hình nhận diện là yếu tố quyết định trong việc phát triển hệ thống. Các mô hình như YOLO và Movinet cần được tối ưu hóa để đảm bảo khả năng nhận diện chính xác trong thời gian thực.

2.2. Điều Kiện Ánh Sáng và Môi Trường

Điều kiện ánh sáng và môi trường xung quanh có thể ảnh hưởng lớn đến khả năng nhận diện của hệ thống. Việc phát triển các thuật toán có khả năng hoạt động tốt trong nhiều điều kiện khác nhau là một thách thức lớn.

III. Phương Pháp Nghiên Cứu Kỹ Thuật Thị Giác Máy Tính

Để phát triển ứng dụng Just Walk Out, nhóm nghiên cứu đã áp dụng nhiều phương pháp khác nhau. Các kỹ thuật như nhận diện đối tượng, nhận diện hành động và phân tích dữ liệu được sử dụng để xây dựng một hệ thống hiệu quả.

3.1. Nhận Diện Đối Tượng với YOLO

Mô hình YOLO (You Only Look Once) được sử dụng để nhận diện các sản phẩm trong cửa hàng. Với khả năng xử lý nhanh và chính xác, YOLO giúp hệ thống nhận diện sản phẩm trong thời gian thực.

3.2. Nhận Diện Hành Động với Movinet

Movinet là một mô hình tiên tiến cho phép nhận diện hành động của người tiêu dùng. Việc áp dụng Movinet giúp hệ thống ghi lại các hành động như lấy và trả sản phẩm một cách chính xác.

IV. Ứng Dụng Thực Tiễn của Hệ Thống Just Walk Out

Hệ thống Just Walk Out không chỉ là một giải pháp công nghệ mà còn là một bước tiến lớn trong lĩnh vực bán lẻ. Việc áp dụng các kỹ thuật thị giác máy tính và máy học giúp cải thiện trải nghiệm mua sắm và tối ưu hóa quy trình thanh toán.

4.1. Tối Ưu Hóa Trải Nghiệm Khách Hàng

Hệ thống giúp giảm thiểu thời gian chờ đợi của khách hàng, từ đó nâng cao sự hài lòng và trải nghiệm mua sắm. Khách hàng có thể dễ dàng lấy sản phẩm mà không cần phải xếp hàng chờ thanh toán.

4.2. Kết Quả Nghiên Cứu và Đánh Giá

Kết quả nghiên cứu cho thấy hệ thống hoạt động hiệu quả trong việc nhận diện và ghi lại hành động của người tiêu dùng. Các thử nghiệm thực tế đã chứng minh tính khả thi của mô hình trong môi trường mua sắm.

V. Kết Luận và Hướng Phát Triển Tương Lai

Nghiên cứu về thị giác máy tính và máy học trong ứng dụng Just Walk Out đã mở ra nhiều cơ hội mới cho ngành bán lẻ. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều cải tiến và giải pháp sáng tạo hơn nữa.

5.1. Tương Lai của Công Nghệ Just Walk Out

Công nghệ Just Walk Out có tiềm năng lớn trong việc thay đổi cách thức mua sắm của người tiêu dùng. Việc phát triển thêm các tính năng mới sẽ giúp nâng cao trải nghiệm và sự tiện lợi cho khách hàng.

5.2. Khuyến Nghị cho Nghiên Cứu Tiếp Theo

Các nghiên cứu tiếp theo nên tập trung vào việc cải thiện độ chính xác của mô hình và mở rộng khả năng nhận diện trong các điều kiện khác nhau. Việc tích hợp thêm các công nghệ mới cũng là một hướng đi tiềm năng.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Lý do chọn đề tài Sự phát triển của Thương mại điện tử trong những năm gần đây đã hoàn toàn đảo lộn lĩnh vực bán lẻ và thay đổi vai trò cũng như chức năng của cửa hàng thực tế. Các cửa hàng truyền thống hiện phải đối mặt với sự cạnh tranh lớn hơn cũng như kỳ vọng của khách hang thay đổi nhanh chóng. Ngày càng có nhiều cửa hàng đã ứng dụng các công nghệ kỹ thuật số dé nhấn mạnh đến sự tiện lợi và tốc độ dé đáp ứng những kỳ vọng nay.

Công nghệ cửa hàng không thu ngân là tính năng trọng tâm của cuộc cách mạng bán lẻ lấy cảm hứng từ kỹ thuật số này. Xếp hàng chờ thanh toán dài luôn là một trong những điểm khó khăn nhất của hoạt động bán lẻ thực tế và người mua hàng ngày càng mat kiên nhẫn hơn về những xích mich tại cửa hàng. Nhận thức vấn đề thực tiễn này, nhóm em đã quyết định chọn đề tài “Nghiên cứu các kỹ thuật dựa trên thị giác máy tinh và máy học dé xây dựng ứng dung Just Walk Out Shopping” để nghiên cứu cho khóa luận và cũng là cơ hội để nhóm em áp dụng các kiến thức đã học ở trường. Mục đích nghiên cứu e Xây dựng thành công hệ thống dùng camera dé nhận diện hành động lấy, trả sản phẩm của khách hàng đồng thời ghi lại số lượng sản pham sau mỗi hành động.

e Xây dựng website dùng để kiểm tra đánh giá lại hệ thống trên. Đối tượng nghiên cứu e Hệ thống dành cho các cửa hàng không thu ngân sử dụng mô hình Just Walk Out. Phạm vi nghiên cứu e Nghiên cứu khái niệm, luồng hoạt động và các đặc điểm cơ bản của mô hình mua săm Just Walk Out. e _ Nghiên cứu các công nghệ và kỹ thuật cần thiết dé xây dựng một hệ thống mua sắm Just Walk Out với tính năng lấy trả hàng cho một người mua sắm duy nhất dùng một camera và cập nhật giỏ hàng lên một trang web trong thời gian thực.

14 Chương 2: KIÊN THỨC CƠ BẢN Chương 2: Kiến thức cơ bản này sẽ trình bày các kiến thức tổng quát về các kỹ thuật thị giác máy tính và máy học liên quan đến mô hình Just Walk Out. Ngoài ra, chương này cũng trình bày các kiến thức về công nghệ được sử dụng trong đồ án bao gồm kiến trúc phần mềm, kiến thức về ngôn ngữ lập trình liên quan đến phần Backend, Frontend và cơ sở dữ liệu cũng như các kiên thức liên quan. WebRTC WebRTC Hình 2.1: Logo của WebRTC WebRTC là viết tắt của Giao tiếp thời gian thực trên web. Day là một dự án nguồn mở cho phép giao tiếp ngang hàng trực tiếp trong trình duyệt web và ứng dụng di động thông qua các API JavaScript đơn giản.

WebRTC cho phép chia sẻ âm thanh, video và dữ liệu giữa các trình duyệt mà không cần plugin hoặc phần mềm của bên thứ ba khác. Các tính năng chính của WebRTC bao gồm: e_ Giao tiếp ngang hàng: WebRTC cho phép giao tiếp trực tiếp giữa các trình duyệt hoặc giữa trình duyệt và ứng dụng gốc mà không cần máy chủ trung gian (mặc dù máy chủ vẫn có thé được sử dụng dé báo hiệu và truyền tải NAT). e Am thanh và video thời gian thực: Nó cung cấp các API dé thu và truyền phát âm thanh và video trong thời gian thực, cho phép các ứng dụng như hội nghị video, gọi thoại và phát trực tiếp. 15 e Kénh dữ liệu: Ngoài âm thanh và video, WebRTC còn hỗ trợ các kênh dữ liệu ngang hàng cho phép trao đổi dữ liệu tùy ý giữa các thiết bị ngang hàng, khiến kênh này phù hợp dé chơi trò chơi nhiều người chơi, chia sẻ tệp và các ứng dụng sử dụng nhiều đữ liệu khác.

e_ Mã hóa: WebRTC kết hợp các tính năng bảo mật như DTLS (Bảo mật lớp truyền tải dữ liệu) và SRTP (Giao thức truyền tải thời gian thực an toàn) dé đảm bảo rằng thông tin liên lạc được mã hóa và bảo mật. e Kha năng tương thích đa nền tảng: WebRTC được hỗ trợ bởi các trình duyệt web chính bao gồm Google Chrome, Mozilla Firefox, Microsoft Edge và Opera, cũng như các nền tảng như Android và iOS, khiến nó có khả năng tương tác cao. e Tiêu chuẩn mở: Nó được xây dựng trên các tiêu chuẩn và API mở, được phát triển và duy trì bởi World Wide Web Consortium (W3C) và Lực lượng đặc nhiệm kỹ thuật Internet (IETF), đảm bảo tính minh bach và khả năng tương thích trong quá trình triển khai. WebRTC có nhiều ứng dụng trong nhiều ngành khác nhau, bao gồm: e Hội nghị truyền hình: Cho phép gọi video chất lượng cao trực tiếp trên trình duyệt web mà không cần phần mềm chuyên dụng.

e Voice Calling: Hỗ trợ các ứng dụng VoIP (Voice over IP) dé liên lạc thoại theo thời gian thực. e Phát trực tiếp: Cho phép các đài truyền hình truyền trực tiếp nội dung âm thanh và video đến người xem. e Hỗ trợ từ xa: Tạo điều kiện chia sẻ màn hình và các phiên duyệt cộng tác. e© IoT (Internet of Things): Hỗ trợ giao tiếp thời gian thực giữa các thiết bị trong ứng dụng IoT.

Nhìn chung, WebRTC đơn giản hóa việc phát triển các ứng dụng giao tiếp theo thời gian thực bằng cách cung cấp các giao thức và API được tiêu chuẩn hóa, biến nó thành một công cụ mạnh mẽ cho các nhà phát triển muốn kết hợp khả năng giao tiếp đa phương tiện vào ứng dụng web và di động của họ.2: Logo cua OpenCV OpenCV, viết tắt của Thư viện thị giác máy tính nguồn mở, là một thu viện phần mềm máy học và thị giác máy tính nguồn mở. Nó được thiết kế để cung cấp cơ sở hạ tầng chung cho các ứng dụng thị giác máy tính va day nhanh việc sử dụng nhận thức máy trong các sản phâm thương mại. Ban dau được phát triển bởi Intel, OpenCV hiện có một cộng đồng lớn và được OpenCV Foundation duy trì. Dưới đây là một số tính năng và cách sử dụng chính của OpenCV: e Xử lý hình ảnh: OpenCV cung cấp nhiều chức năng cho các tác vụ xử lý hình ảnh như lọc, chuyền đôi và trích xuất tinh năng.

e_ Thuật toán thị giác máy tính: Nó bao gồm việc triển khai các thuật toán thị giác máy tính khác nhau, bao gồm phát hiện đối tượng, nhận dạng khuôn mặt, ghép ảnh, tam nhìn âm thanh nổi và theo dõi chuyển động. e _ Tích hợp máy học: OpenCV tích hợp với các khung máy học như TensorFlow và PyTorch, cho phép áp dụng các mô hình máy học phức tạp vao dữ liệu trực quan. e Đa nền tang: Nó hỗ trợ nhiều ngôn ngữ lập trình (C++, Python, Java, v.) và nền tảng (Windows, Linux, macOS, Android, iOS), giúp nó linh hoạt cho các ứng dụng khác nhau. e Cộng đồng va Tài liệu: OpenCV có một cộng đồng người dùng và cộng tác viên rộng lớn, cung cấp tài liệu, hướng dẫn và mã ví dụ phong phú dé hỗ trợ các nhà phát triên.

17 e Ứng dụng thương mại: Nó được sử dụng rộng rãi trong các ngành như robot, ô tô, chăm sóc sức khỏe, giám sát và giải trí cho các nhiệm vụ từ lãi xe tự động đến thực tế tăng cường. Nhìn chung, OpenCV là bộ công cụ mạnh mẽ dành cho bat ky ai lam viéc voi dữ liệu trực quan và các ứng dụng thị giác máy tính, cung cấp cả thuật toán sẵn sàng sử dụng và tính linh hoạt đề tùy chỉnh và phát triển các giải pháp mới. Apache Kafka APACHE J ka ka ø Hình 2.3: Logo của Apache Kafka Apache Kafka là một nền tảng phát trực tuyến phân tán được sử dụng dé xây dựng các đường dẫn dữ liệu thời gian thực và các ứng dụng phát trực tuyến. Ban đầu nó được phát triển bởi LinkedIn và sau đó được cung cấp nguồn mở và duy trì bởi Quy phần mềm Apache.

Dưới đây là một số tính năng và khía cạnh chính của Apache Kafka: e _ Hệ thống nhắn tin phân tan: Kafka hoạt động như một hệ thống nhắn tin phân tán, nơi nhà sản xuất có thé xuất bản tin nhắn đến các chủ đề và người tiêu dùng có thé đăng ký chủ đề dé nhận những tin nhắn đó trong thời gian thực. 18 Khả năng mở rộng: Kafka có khả năng mở rộng cao do tính chất phân tán của nó. Nó cho phép mở rộng quy mô theo chiều ngang bằng cách thêm nhiều nhà môi giới (máy chủ) vào cụm Kafka. Khả năng chịu lỗi: Kafka cung cấp khả năng chịu lỗi bằng cách sao chép các phân vùng dữ liệu trên nhiều nhà môi giới.

Nếu bất kỳ nhà môi giới nào không thành công, dữ liệu vẫn có sẵn và hệ thống có thê tiếp tục hoạt động. Xử lý luồng: Kafka hỗ trợ xử lý luồng thông qua API Kafka Streams, cho phép các nhà phát triển xây dựng các ứng dụng chuyền đổi luồng dữ liệu đầu vào thành luồng đầu ra. Lưu giữ: Kafka lưu trữ các luồng bản ghi (tin nhắn) trong các chủ đề. Nó giữ lại các bản ghi này trong một khoảng thời gian có thể định cấu hình, giúp có thé phát lại hoặc xử lý lại dữ liệu.

Tích hợp: Nó tích hợp tốt với các dự án Apache khác như Apache Storm và Apache Hadoop, cũng như với các hệ thống bên ngoài khác nhau thông qua các trình kết nồi. Các trường hợp sử dung: Các trường hợp sử dụng phổ biến của Kafka bao gồm phân tích thời gian thực, tông hợp nhật ký, tìm nguồn cung ứng sự kiện và nhật ký cam kết cho các hệ thống phân tán. Tóm lại, Kafka được sử dụng rộng rãi trong các kiên trúc dữ liệu hiện đại nhờ khả năng xử lý hiệu qua các nguồn cấp dit liệu thông lượng cao, có khả năng chịu lỗi và dir liệu thời gian thực. Nó đã trở thành một thành phan quan trọng dé xây dựng các đường ống đữ liệu và ứng dụng phát trực tuyến có thể mở rộng, đáng tin cậy và theo thời gian thực.

Pytorch © PyTorch 19 Hình 2.4: Logo của PyTorch PyTorch là thư viện máy học mã nguồn mở được phát triển chủ yếu bởi phòng thí nghiệm Nghiên cứu AI (FAIR) của Facebook. Nó được biết đến với tính linh hoạt và dé sử dụng trong việc xây dựng các mô hình deep learning. PyTorch được sử dụng rộng rãi cho nhiều ứng dụng khác nhau bao gồm xử lý ngôn ngữ tự nhiên (NLP), thị giác máy tính và học tăng cường. Dưới đây là một số tính năng và khía cạnh chính của PyTorch: e Tính toán Tensor: Về cốt lõi, PyTorch cung cấp tính toán Tensor (tương tự như NumPy) với khả năng tăng tốc GPU mạnh mẽ thông qua CUDA, giúp nó phù hợp với các tác vụ tính toán hiệu năng cao.