Luận văn tốt nghiệp về xây dựng trợ lý bán hàng ảo bằng deep learning - Trường Công nghệ Thông tin

Nghiên cứu phát triển trợ lý bán hàng ảo sử dụng deep learning cho nền tảng thương mại điện tử. Bài luận văn phân tích kiến trúc hệ thống chatbot thông minh

• Chuyên ngành: Khoa học máy tính
• Đề tài: Phát triển trợ lý bán hàng ảo bằng deep learning cho website thương mại điện tử
• Loại tài liệu: Khóa luận tốt nghiệp

Tóm tắt

I. Tổng quan về trợ lý bán hàng ảo bằng deep learning

Thương mại điện tử đang phát triển mạnh mẽ. Dịch Covid-19 thúc đẩy xu hướng mua sắm trực tuyến tăng trưởng vượt bậc. Khách hàng cần được tư vấn khi mua sắm online. Họ cần thông tin sản phẩm, hướng dẫn đặt hàng và hỗ trợ thanh toán.

Trợ lý bán hàng ảo ra đời để giải quyết nhu cầu này. Đây là hệ thống chatbot ứng dụng deep learning, có khả năng hiểu và phản hồi tin nhắn tự động. Hệ thống hoạt động 24/7, không cần nghỉ ngơi. Chi phí vận hành thấp hơn nhiều so với đội ngũ nhân viên tư vấn truyền thống.

Trợ lý ảo được xây dựng bằng ngôn ngữ Python. Các thư viện sử dụng bao gồm TensorFlow, Keras, NLTK và Fast API. Giao diện chat cho phép khách hàng nhập liệu bằng giọng nói. Tính năng chuyển đổi văn bản thành giọng nói và ngược lại cũng được tích hợp sẵn.

Nền tảng thương mại điện tử sử dụng công nghệ MEARN stack. Website cung cấp đầy đủ tính năng cho cả khách hàng và quản trị viên. Khách hàng xem sản phẩm, thêm vào giỏ hàng, đánh giá và thanh toán. Quản trị viên quản lý sản phẩm, đơn hàng, người dùng và bộ câu hỏi.

1.1. Định nghĩa trợ lý bán hàng ảo

Trợ lý bán hàng ảo là phần mềm ứng dụng trí tuệ nhân tạo. Hệ thống sử dụng mô hình deep learning để xử lý ngôn ngữ tự nhiên. Chatbot phân tích tin nhắn của khách hàng và đưa ra phản hồi phù hợp.

Công nghệ deep learning cho phép chatbot học hỏi từ dữ liệu huấn luyện. Mô hình neural network nhiều lớp xử lý ngữ nghĩa phức tạp. NLTK và Underthesea hỗ trợ tokenization, đặc biệt hiệu quả cho tiếng Việt.

1.2. Vai trò trong thương mại điện tử

Trợ lý ảo đảm bảo khách hàng luôn được hỗ trợ kịp thời. Hệ thống giảm tải công việc cho đội ngũ nhân viên. Chi phí vận hành giảm đáng kể khi triển khai chatbot.

Khách hàng trải nghiệm mua sắm liền mạch hơn. Thời gian chờ đợi phản hồi gần như bằng không. Tỷ lệ chuyển đổi đơn hàng cải thiện rõ rệt khi có hỗ trợ tức thì.

II. Phân tích thách thức phát triển trợ lý bán hàng ảo

Xây dựng trợ lý bán hàng ảo đối mặt nhiều thách thức kỹ thuật. Mô hình deep learning yêu cầu dữ liệu huấn luyện chất lượng cao. Dữ liệu câu hỏi và câu trả lời phải đa dạng, bao phủ nhiều tình huống thực tế.

Xử lý ngôn ngữ tự nhiên tiếng Việt phức tạp hơn tiếng Anh. Tiếng Việt có dấu, nhiều từ đồng nghĩa, cấu trúc ngữ pháp linh hoạt. Thư viện NLTK được thiết kế chủ yếu cho tiếng Anh. Underthesea ra đời để giải quyết bài toán xử lý tiếng Việt.

TensorFlow có đường cong học tập dốc. Thư viện này yêu cầu kiến thức nền tảng về giải tích và đại số tuyến tính. Việc gỡ lỗi mô hình deep learning cũng gặp nhiều khó khăn. Cấu trúc độc đáo của TensorFlow khiến việc tìm lỗi trở nên phức tạp.

Hiệu suất tính toán là vấn đề cần cân nhắc. TensorFlow chỉ hỗ trợ GPU của NVIDIA. Điều này giới hạn lựa chọn phần cứng cho hệ thống triển khai thực tế.

2.1. Thách thức về dữ liệu huấn luyện

Dữ liệu huấn luyện quyết định chất lượng phản hồi của chatbot. Bộ dữ liệu phải bao gồm đủ mẫu câu hỏi và ý định khác nhau. Mỗi intent cần nhiều biến thể câu để mô hình tổng quát hóa tốt.

Dữ liệu kém chất lượng dẫn đến phản hồi sai lệch. Quá trình thu thập và gắn nhãn dữ liệu tốn nhiều thời gian. Cập nhật bộ dữ liệu thường xuyên là yêu cầu bắt buộc.

2.2. Hạn chế của công nghệ hiện tại

TensorFlow không hỗ trợ OpenCL, chỉ tương thích với GPU NVIDIA. Hiệu suất tính toán của TensorFlow còn thua kém một số framework khác. Thư viện này đòi hỏi kiến thức chuyên sâu về machine learning.

Fast API tuy nhanh nhưng cộng đồng nhỏ hơn Django và Flask. Việc tích hợp nhiều công nghệ cùng lúc tạo độ phức tạp cao. Bảo trì hệ thống đòi hỏi đội ngũ có trình độ chuyên môn tốt.

III. Giải pháp xây dựng trợ lý bán hàng ảo bằng deep learning

Giải pháp sử dụng Python làm ngôn ngữ lập trình chính. Python có hệ sinh thái thư viện phong phú cho deep learning và NLP. TensorFlow 2.0 cải thiện đáng kể về usability và hiệu suất. API đơn giản hơn, tài liệu cập nhật, nhiều nguồn dữ liệu sẵn có.

Mô hình neural network được xây dựng bằng Keras. Keras đóng vai trò giao diện cấp cao cho TensorFlow. Quy trình xây dựng mô hình trở nên trực quan và dễ hiểu. Keras hỗ trợ nhanh chóng tạo các tầng neural network.

Xử lý ngôn ngữ tự nhiên kết hợp NLTK và Underthesea. NLTK xử lý tokenization, bag-of-words cho dữ liệu đầu vào. Underthesea chuyên biệt hóa cho tiếng Việt, hỗ trợ tách từ và phân tích cú pháp.

Hệ thống chatbot triển khai qua Fast API. Fast API đảm bảo tốc độ phản hồi nhanh cho người dùng cuối. Tính năng nhận diện giọng nói và chuyển đổi text-to-speech tích hợp sẵn. FPT API và ZALO API cung cấp dịch vụ text-to-speech tiếng Việt chất lượng cao.

3.1. Kiến trúc hệ thống chatbot

Hệ thống gồm hai phần chính: front-end và back-end. Front-end xây dựng bằng React, cung cấp giao diện chat thân thiện. Back-end sử dụng Fast API xử lý logic nghiệp vụ và mô hình AI.

Mô hình deep learning được train trên bộ dữ liệu intents. Khi khách hàng gửi tin nhắn, hệ thống tokenize và chuyển thành vector. Mô hình dự đoán intent và trả về câu trả lời phù hợp nhất.

3.2. Tích hợp tính năng nâng cao

Tính năng nhận diện giọng nói cho phép nhập liệu bằng microphone. Khách hàng không cần gõ văn bản, tiết kiệm thời gian thao tác. Chuyển đổi text-to-speech đọc to câu trả lời cho người dùng.

Cửa hàng thương mại điện tử tích hợp đầy đủ tính năng mua sắm. Khách hàng xem sản phẩm, thêm vào giỏ hàng, đánh giá và thanh toán. Quản trị viên quản lý sản phẩm, đơn hàng, người dùng và bộ câu hỏi.

IV. Kết luận và ứng dụng thực tế của trợ lý bán hàng ảo

Trợ lý bán hàng ảo bằng deep learning mang lại giá trị thiết thực. Hệ thống giảm chi phí nhân sự đáng kể cho doanh nghiệp. Khách hàng được hỗ trợ liên tục 24/7, không bị giới hạn bởi giờ làm việc. Trải nghiệm người dùng cải thiện rõ rệt so với hệ thống truyền thống.

Dự án chứng minh tính khả thi của chatbot trong thương mại điện tử. Công nghệ deep learning kết hợp NLP xử lý tiếng Việt hiệu quả. Mô hình hoạt động ổn định trên nền tảng website xây dựng bằng MEARN stack.

Tương lai của trợ lý ảo còn nhiều tiềm năng phát triển. Mô hình có thể mở rộng để xử lý nhiều ngôn ngữ hơn. Tích hợp thêm tính năng phân tích hành vi khách hàng sẽ nâng cao hiệu quả bán hàng. Công nghệ AI tiếp tục tiến bộ, trợ lý ảo ngày càng thông minh hơn.

4.1. Kết quả đạt được

Hệ thống chatbot hoạt động ổn định trên website thương mại điện tử. Thời gian phản hồi trung bình dưới một giây. Tỷ lệ câu trả lời chính xác đạt mức cao trên bộ dữ liệu kiểm tra.

Website cung cấp đầy đủ quy trình mua sắm trực tuyến. Khách hàng tìm kiếm, so sánh, đặt hàng và thanh toán dễ dàng. Quản trị viên quản lý toàn bộ hệ thống qua giao diện admin chuyên nghiệp.

4.2. Hướng phát triển tương lai

Mô hình có thể tích hợp thêm xử lý hình ảnh và video. Khách hàng gửi ảnh sản phẩm để được tư vấn mặt hàng tương tự. Phân tích tình cảm khách hàng giúp cải thiện dịch vụ chăm sóc.

Mở rộng sang nền tảng di động là hướng đi khả thi. Tích hợp với mạng xã hội mở rộng kênh tiếp cận khách hàng. Sử dụng học liên tục để chatbot tự cải thiện chất lượng theo thời gian.

Trích đoạn nội dung tài liệu

ABSTRACT Today information technology has been developing to a high level, is applied to all sectors and fields of the country's economy, making an important contribution to making these industries develop faster and more efficiently. Online shopping now is necessary because the Covid epidemic is still raging. When customers shop online, they will also need to be consulted by staff for more product information, and how to order and purchase. Therefore, the communication system between customers and employees is improved to always serve customers.

Through the research, the implementation team found that using a virtual sales assistant to replace real people in customer support brings great benefits. This reduces staffing costs, ensures customers are always supported, and improves user experience. Therefore, the implementation team built a chat bot system on an e-commerce website. The chat bot system is developed by python language, using Deep Learning model and Tensorflow, Keras, NLTK, Under The Sea, Fast API libraries.

When customers send messages in the chat interface, the chat bot will respond based on the content of those messages and send them back to the customer. The chat interface also has customer support functions such as allowing the use of microphones to speak instead of typing, converting text to speech and vice versa. In addition, the e-commerce website that we built using MEARN stack also has basic functions such as viewing product details, adding products to the cart, reviewing products, making payments, and placing orders (customer side) and managing product, managing user, managing order, managing question and answer sets (admin side). vii TABLE OF CONTENTS PROJECT ASSIGNMENT.

i ADVISOR’S EVALUATION SHEET. ii PRE-DEFENSE EVALUATION SHEET. iii EVALUATION SHEET OF DEFENSE COMMITTEE MEMBER. vii TABLE OF CONTENTS.

viii LIST OF ACRONYMS. xiii LIST OF TABLES. xiv LIST OF FIGURES. xv Chapter 1: INTRODUCTION.

The reason for choosing the topic. 1 Chapter 2: LITERATURE REVIEW. Advantages of Chatbot. Disadvantages of chatbot.

The advantages of virtual assistants set up in chatbot. Text-To-Speech platforms. FPT API Text-To-Speech. ZALO API Text-To-Speech.

7 Chapter 3: THEORETICAL BASIS. Python programming language. Natural language processing and the NLTK library. Tokenization of NLTK.

Bag-of-words. Underthesea – A Vietnamese NLP Toolkit. Compare Three Python Frameworks Django, Flask and FastAPI. Technologies for website building.

18 Chapter 4: SYSTEM DESIGN. <User> Add product to cart. <User> Place order. <User> Make payment.

<User> Chat with Virtual bot. <User> Chat with Admin. <Admin> Update Question. Use Case Diagram.

Use Case Description. <Unauthenticated User> Search product. <Unauthenticated User> Sort product. <Unauthenticated User> Chat with bot.

<Customer> Add product to cart. <Customer> Add shipping address. <Customer> Choose a payment method. <Customer> Place order.

<Customer> Pay order. <Customer> Rate and Review product. <Customer> Chat with Admin. <Admin> Chat with user.

<Admin> Train dataset. <Admin> Manage question. <Admin> Edit question. <Admin> Delete question.

<Admin> Manage dataset. <Admin> Add dataset. <Admin> Delete dataset. User Interface Design.

Screens for unauthenticated users. Search Result Screen. Chat with virtual bot. Screens for customers.

Chat with virtual bot and admin. Place Order Screen. Order History Screen. Screens for admins.

Chat with user. Details of each part. Speech to text. API Input and Output Processing Center.

Natural language processing. System deep learning and message predicting results. Text to speech. Develop new data addition functionality for chatbot.

75 Chapter 5: SYSTEM IMPLEMENTATION. Software development environments. Source code management. Deploying the website on Heroku.

Deploying the Chatbot API on Google Cloud Platform. Place Order Screen. Welcome interface of Chatbot. List Question Screen (Admin).

Edit Question Screen (Admin). List Dataset Screen (Admin). Edit Dataset Screen (Admin). Create New Dataset Screen (Admin).

99 JOB TABLE OF WORK. 102 xii LIST OF ACRONYMS DB: Database TTS: Text to Speech STT: Speech to Text NLTK: Natural Language Toolkit NLP: Natural language processing API: Application Programming Interface UI: User Interface gTTS: Google Text-to-Speech VM: Virtual Machines SSH: Secure Shell xiii LIST OF TABLES Table 3.1 Compare three python frameworks .1 Actors in usecase diagram .2 Usecase description for searching product .3 Usecase description for sorting product .4 Usecase description for chatting with BOT .5 Usecase description for adding product to cart .6 Usecase description for adding shipping address .7 Usecase description for choosing a payment method .8 Usecase description for placing order .9 Usecase description for paying order .10 Usecase description for rating and reviewing product .11 Usecase description for chatting with admin .12 Usecase description for chatting with user .13 Usecase description for training dataset .14 Usecase description for editing question .15 Usecase description for deleting question .16 Usecase description for adding dataset .17 Usecase description for deleting dataset. 52 xiv LIST OF FIGURES Figure 2.1 The MERN stack architecture .2 Introduction of chatbot .2 Tables in the database .3 Sequence diagram for adding product to cart .4 Sequence diagram for placing order .5 Sequence diagram for making payment .6 Sequence diagram for chatting with virtual bot .7 Sequence diagram for chatting with admin .8 Sequence diagram for updating question .9 Usecase diagram for system .10 Usecase diagram for searching product .11 Usecase diagram for sorting product .12 Usecase diagram for chatting with bot .13 Usecase diagram for adding product to cart .14 Usecase diagram for adding shipping address .15 Usecase diagram for choosing a payment method .16 Usecase diagram for placing order .17 Usecase diagram for paying order .18 Usecase diagram for rating and reviewing product .19 Usecase diagram for chatting with admin .20 Usecase diagram for chatting with user .21 Usecase for training dataset .22 Usecase diagram for managin question .23 Usecase Diagram for editing question .24 Usecase diagram for deleting question .25 Usecase diagram for managing dataset .26 Usecase diagram for adding dataset .27 Usecase diagram for deleting dataset .28 UI design for Home Screen .29 UI design for Product Screen .30 UI design for Cart Screen .31 UI design for Search Result Screen .32 UI design for chatting with virtual bot .33 UI design for chatting with virtual bot and admin .34 UI design for Place Order Screen .35 UI design for Order History Screen .36 UI design for chatting with user .37 UI design for Q&A Screen .38 UI design for Dataset Screen .39 Chatbot system model .40 Re-trainning function for admin .41 Speech to text model .42 FastAPI and FlaskAPI .43 Natural Language processing model .44 The price of Text to speech FPT.45 The price of Text to speech vbee.46 The first research process model .1 Login to Heroku .2 Create heroku app .3 Create build script in package.4 Set node and npm version on the Heroku server .6 Set database connection in Heroku env variables .7 Set env variable to skip preflight check .8 Commit and push to Heroku .9 Deploy changes to Heroku .10 Create VM instances .11 Installed VM successfully .12 Connect Server Ubuntu generated from VM by SSH .13 Clone source code by Git .14 Install PM2 and running python Uvicorn by PM2 .15 Create domain by Freenom.16 Setting from IP Server to domain by Cloudflare.17 API return welcom message .18 API return greet message .19 API training model .20 API get list new questions .21 API update dataset .22 API delete the saved question .23 API get list dataset .24 API get list “Tag” in dataset .25 API add new dataset (tag, pattern, response) .26 API add new dataset (pattern, response) .27 API delete Tag in list dataset .28 API Test-to-Speech of Zalo.32 Place Order Screen .33 Welcom interface of Chatbot .34 Main interface of Chatbot.35 List Question Screen (Admin) .36 Edit Question Screen (Admin) .37 List Dataset Screen (Admin) .38 Edit Dataset Screen (Admin) .39 Create New Dataset Screen (Admin) .1 The loss rate after training .2 The predict over 60% .3 The predict under 60%. 97 xvii Chapter 1: INTRODUCTION 1.

The reason for choosing the topic Corona plague is spreading all over the world, it is easily transmitted when we are in close contact. Therefore, we are restricted from direct contact with each other. Like in the sales business, stores had to turn to online sales, shipping goods to shippers. Based on that need, we need to improve technology in the online sales so we can serve the best customer.

With the development of the 4.0 technology, the Chatbot combines an AI voice that will help customers communicate directly as if they were buying directly. So, the implementation team decided to build a Chatbot system integrated into an e-commerce website. Goals Create a virtual sales staff to advise products on a website selling clothes using deep learning: • Find out the features and functions required for a virtual salesperson. • Learn and install a deep learning model for text processing and text-to-speech conversion: model, how it works, settings, training.

• Learn and build basic Vietnamese communication dataset for website selling clothes. Build a website selling clothes with the functions of a sales website, integrating the communication interface between virtual sales staff and customers: • Find out the features and install the required functions on a website Online selling. • Learn and install the appropriate technologies used to develop the website. • Learn and use appropriate frameworks and UIs for websites.

Technologies Implementation using Reactjs, Nodejs, MongoDB, Express, Python, Tensorflow 2. 1 Chapter 2: LITERATURE REVIEW 2. MERN stack MERN stands for MongoDB, Express, React, Node, after the four key technologies that make up the stack. - MongoDB - document database - Express(.js web framework - React(.js) - a client-side JavaScript framework - Node(.js) - the premier JavaScript web server The MERN architecture allows us to easily construct a 3-tier architecture (frontend, backend, database) entirely using JavaScript and JSON.1 The MERN stack architecture - React.js Front End: The top tier of the MERN stack is React.js, the declarative JavaScript framework for creating dynamic client-side applications in HTML.

React lets you build up complex interfaces through simple Components, connect them to data on your backend server, and render them as HTML.js and Node.js Server Tier: The next level down is the Express.js server-side framework, running inside a Node.js bills itself as a “fast, unopinionated, minimalist web framework for Node.js,” and that is indeed exactly what it is.js has powerful models for URL routing 2 (matching an incoming URL with a server function), and handling HTTP requests and responses. - MongoDB Database Tier: JSON documents created in your React.js front end can be sent to the Express.js server, where they can be processed and stored directly in MongoDB for later retrieval. MERN is a full-stack, following the traditional 3-tier architectural pattern, including the front-end display tier (React.js), application tier (Express.js and Node.js), and database tier (MongoDB). MERN is the stack of choice for today’s web developers looking to move quickly, particularly for those with React.

Deep Learning • Deep learning is a class of machine learning algorithms that multiple layers to progressively extract higher-level features from the raw input. For example, in image processing, lower layers may identify edges, while higher layers may identify the concepts relevant to a human such as digits or letters or faces. • Deep-learning architectures such as deep neural networks, deep belief networks, graph neural networks, recurrent neural networks and convolutional neural networks have been applied to fields including computer vision, speech recognition, natural language processing, machine translation, bioinformatics, drug design, medical image analysis, material inspection and board game programs, where they have produced results comparable to and in some cases surpassing human expert performance.2 Introduction of chatbot 4 2. Definition • Chatbot is a software application used to conduct an online chat conversation via text or text-to-speech, in lieu of providing direct contact with a live human agent.