mở đầu đặt ra vấn đề, xác định mục tiêu và phạm vi của đề tài. Chương 2 - Cơ sở lý thuyết Trình bày chi tiết một số khái niệm liên quan, lý thuyết tiền đề. Tìm hiểu bài toán xây dựng chatbot và phương pháp tiếp cận. Chương 3 - Phân tích, thiết kế và triển khai Tổng quan thiết kế của hệ thống.
Chương 4 – Xây dựng ứng dụng 1 Triển khai chức năng. Chương 5 - Kết luận: Đánh giá kết quả đồ án đạt được, chưa đạt được, đóng góp. Phương hướng để cải thiện, phát triển đề tài trong tương lai. Phần cuối của đồ án là danh sách tài liệu tham khảo.1 Một số khái niệm liên quan Contextual (Ngữ cảnh): là ngữ cảnh của từ.
Một từ được định nghĩa bởi một cách phát âm nhưng khi được đặt trong những câu khác nhau thì có thể mang ngữ nghĩa khác nhau. Ngữ cảnh có thể coi là môi trường xung quanh từ để góp phần định nghĩa từ. Ví dụ: Câu 1: Con ngựa đá con bò. Câu 2: Hòn đá này rất nặng.
Thì từ “đá” trong câu A (động từ) và B (danh từ) có ý nghĩa khác nhau. Chúng ta biết điều này vì dựa vào ngữ cảnh của từ. Downstream task (Nhiệm vụ hạ lưu): là những tác vụ supervised-learning được cải thiện dựa trên những pretrained model. Ví dụ: Sử dụng lại các biểu diễn của từ học được từ những pre-trained model trên bộ văn bản lớn vào một tác vụ phân tích ý định của người dùng, huấn luyện trên bộ văn bản có kích thước nhỏ hơn.
Áp dụng pretrain-embedding đã giúp cải thiện mô hình. Như vậy tác vụ sử dụng pre train-embedding được gọi là downstream task. Hyperparameter (Siêu tham số): trong học máy, siêu tham số là một tham số có giá trị được sử dụng để kiểm soát quá trình học. Ngược lại, các giá trị của các tham số khác có được thông qua đào tạo.
Token (Từ tố): là một dãy các ký tự mang ý nghĩa cụ thể, biểu thị cho một đơn vị ngữ nghĩa trong xử lý ngôn ngữ. Nhiều khi token được hiểu là một từ mặc dù cách hiểu này không hoàn toàn chính xác. Ví dụ: trong tiếng Anh các từ thường được phân tách bằng dấu cách, tuy nhiên từ New York vẫn chỉ được coi là một từ mặc dù nó có dấu cách ở giữa. Tokenization: là quá trình chuyển một dãy các ký tự thành một dãy các token.
Trong Xử lý ngôn ngữ tự nhiên, Tokenization là bước cơ bản và là bước đầu tiên cần thực hiện trước khi có thể tiến hành việc phân tích sâu hơn. Kết quả của quá trình Tokenization chính là đầu vào cho các quá trình xử lý tiếp theo như xác định Part of Speech, Lemma, Named Entity Recognition, … SOTA (State of the Art): là những phương pháp, kỹ thuật tốt nhất, hiện đại nhất mang lại hiệu quả cao nhất của một công nghệ, một lĩnh vực khoa học, hoặc một thiết kế nào đó đạt được từ trước đến thời điểm được công bố. Task: nhiệm vụ, tác vụ. 3 Pre-training: đào tạo máy móc, trước khi chúng bắt đầu thực hiện một nhiệm vụ cụ thể.
Pre-train model: là mô hình đã được đào tạo trước. Thay vì xây dựng mô hình từ đầu để giải quyết vấn đề tương tự, bạn sử dụng mô hình được đào tạo về vấn đề khác làm điểm khởi đầu. Fine-tuning: nghĩa là sử dụng một mô hình đã được đào tạo tốt để tiếp tục thực hiện một nhiệm vụ tương tự bằng cách điều chỉnh nó một chút. MLM (Masked Language Model): là mô hình mà bối cảnh của từ được học từ cả 2 phía bên trái và bên phải cùng một lúc từ những bộ dữ liệu unsupervised text.
Dữ liệu input sẽ được masked (tức thay bằng một token MASK) một cách ngẫu nhiên với tỷ lệ thấp. Huấn luyện mô hình dự báo từ được masked dựa trên bối cảnh xung quanh là những từ không được masked nhằm tìm ra biểu diễn của từ. WordPiece: là kỹ thuật phân đoạn các từ thành cấp độ từ phụ (subword) trong nhiệm vụ NLP. Nó được sử dụng trong các mô hình như BERT, mặc dù về nguyên tắc có thể được sử dụng cho nhiều mô hình NLP.
Nó tạo ra một bộ từ vựng có kích thước cố định do người dùng chỉ định cho các tác vụ NLP kết hợp cả từ và từ phụ. Ví dụ: running → run + ##ing Embedding: nhúng là một kỹ thuật biểu diễn biến rời rạc từ một không gian phức tạp nhiều chiều sang dạng các vector có giá trị thực trong không gian có số chiều thấp hơn. NLP (Natural language processing): xử lý ngôn ngữ tự nhiên là một nhánh của trí tuệ nhân tạo giúp máy tính hiểu, giải thích và vận dụng ngôn ngữ của con người. NLU (Natural Language Understanding): là phương pháp giúp các hệ thống máy tính như chatbot hiểu được các mệnh lệnh của người dùng mà không dựa trên bất kỳ ngôn ngữ, cấu trúc nào được định nghĩa sẵn trong hệ thống.
NLG (Natural Language Generation): là một quá trình phần mềm biến đổi dữ liệu có cấu trúc thành ngôn ngữ tự nhiên. NER (Named Entity Recognition): còn được gọi là nhận dạng thực thể, phân đoạn thực thể hoặc trích xuất thực thể, là tác vụ cơ bản trong lĩnh vực Xử lý ngôn ngữ tự nhiên. Vai trò chính của tác vụ này là nhận dạng các cụm từ trong văn bản và phân loại chúng vào trong các nhóm đã được định trước như tên người, tổ chức, địa điểm, thời gian, loại sản phẩm, nhãn hiệu,. GLUE score benchmark (Điểm khái quát đánh giá mức độ hiểu ngôn ngữ): GLUE score benchmark là một tập hợp các chỉ số được xây dựng để đánh 4 giá, phân tích khái quát mức độ hiểu ngôn ngữ của các model NLP.
Các đánh giá được thực hiện trên các bộ dữ liệu tiêu chuẩn được quy định tại các quy ước về phát triển và thúc đẩy NLP. Mỗi bộ dữ liệu tương ứng với một loại tác vụ NLP như: Phân tích cảm xúc (Sentiment Analysis), hỏi và đáp (Question and Answering), dự đoán câu tiếp theo (NSP - Next Sentence Prediction), nhận diện thực thể trong câu (NER - Named Entity Recognition), suy luận ngôn ngữ tự nhiên (NLI - Natural Language Inference). Decoder: Bộ giải mã. RNN (Recurrent neural network): Mạng hồi quy.
LSTM (Long short-term memory): Mạng bộ nhớ dài-ngắn là một dạng đặc biệt của RNN, nó có khả năng học được các phụ thuộc xa.2 Chatbot và phương hướng tiếp cận Giới thiệu về Chatbot Chatbot là một ứng dụng phần mềm, chương trình máy tính dùng để tương tác trực tiếp với người dùng thông qua ngôn ngữ tự nhiên dưới dạng văn bản hoặc âm thanh. Sự ra đời của chatbot là một cách mạng hóa tương tác giữa khách hàng và người cung cấp dịch vụ. Với khả năng bắt chước các cuộc hội thoại và cung cấp kết nối kỹ thuật số ngay lập tức, giúp tiết kiệm thời gian, chi phí, tăng sự hài lòng của khách hàng. Không khó để các doanh nghiệp có thể nhận ra sự tích cực mà chatbot đem lại.
Trên thực tế, Gartner dự đoán rằng vào năm 2021, hơn 50% doanh nghiệp sẽ chi nhiều hơn cho việc tạo bot và chatbot hàng năm so với phát triển ứng dụng di động truyền thống. Bên cạnh đó, AI và Machine learning trở thành một trong những công nghệ được đầu tư mạnh nhất trong vài năm trở lại đây giúp cho việc xử lý ngôn ngữ tự nhiên trở nên đơn giản và chính xác hơn rất nhiều. Các doanh nghiệp, không phân biệt ngành nghề đang tận dụng tối đa sự hỗ trợ từ việc sử dụng chatbot. Ngoài việc chatbot hoạt động như một đại lý dịch vụ cho một doanh nghiệp để tương tác với khách hàng 24x7, nó còn có thể giúp đỡ doanh nghiệp bằng cách cung cấp các dữ liệu để phục vụ việc phân tích, dự đoán hành vi của người dùng.
Do đó, một chương trình, công nghệ và loại chatbot phụ thuộc rất nhiều vào nhu cầu của doanh nghiệp và cơ sở khách hàng mà nó sẽ phục vụ. Một số loại chatbot: - Chatbot theo kịch bản: 5 + Chatbot tương tác với người dùng thông qua một cơ sở hữu hạn các lựa chọn, kịch bản. Các kịch bản này đã được soạn sẵn, nó chính là các trường hợp có thể xảy ra khi khách hàng trò chuyện với chatbot. + Người dùng chỉ được lựa chọn những câu trả lời cho sẵn.
Sẽ không xảy ra việc bot không hiểu ý người dùng. + Chatbot kiểu này chỉ phù hợp với các yêu cầu cố định, quy mô trường hợp nhỏ như là khảo sát, hỗ trợ bán hàng, … + Việc xây dựng kịch bản chatbot không hề đơn giản. Xây dựng một kịch bản chatbot hoàn chỉnh đòi hỏi người làm phải đầu tư nhiều về thời gian lẫn công sức. Với trường hợp quy mô lớn thì khó có thể xây dựng chatbot có thể đáp ứng được hết các kịch bản có thể xảy ra.
Nội dung là kịch bản nên sẽ cứng nhắc khó có khả năng giao tiếp rộng hơn. + Sở hữu một kịch bản chatbot với nội dung tốt sẽ giúp nâng cao trải nghiệm mua sắm của khách hàng, từ đó kích thích được việc mua hàng cũng như tạo được mối quan hệ tích cực giữa khách hàng với thương hiệu.1 Chatbot theo kịch bản - Chatbot dựa trên từ khóa, mẫu trùng khớp: + Xây dựng bộ dữ liệu về từ khóa, mẫu câu. + Tìm kiếm trong câu hỏi xem có khớp với các từ khóa, mẫu câu trong hệ thống, để ánh xạ thành ý định tương ứng. + Yêu cầu xây dựng một bộ mẫu cực kì lớn và tốn kém.
+ Có nhiều câu hỏi mà người dùng đặt cho bot không rõ ràng về ngữ pháp, ngữ nghĩa, bot đọc từ khóa không chính xác dẫn đến phương án trả lời không đúng. 6 - Chatbot thông minh: + Về cơ bản, nó sử dụng công nghệ AI - Xử lý ngôn ngữ tự nhiên (NLP) để ánh xạ đầu vào của người dùng (văn bản hoặc giọng nói) theo ý định. Sau đó phân tích ngôn ngữ để có được câu trả lời. + Người dùng có thể đặt bất kỳ câu hỏi nào, kể cả những câu hỏi không có liên quan đến sản phẩm, doanh nghiệp.
Sự tự do trong đầu vào cũng khiến thân thiện với người dùng hơn. + Sự linh hoạt khi phân tích ngôn ngữ tự nhiên giúp chatbot dễ nắm bắt nhiều loại người dùng khác nhau, thu thập dữ liệu cần thiết và cung cấp hỗ trợ. + Tuy nhiên, mức độ thấu hiểu hội thoại thực tế chỉ khoảng 60- 70% tùy thuộc vào dữ liệu, mô hình đào tạo bot. + Có nhiều câu hỏi mà người dùng đặt cho bot không rõ ràng về ngữ nghĩa, bot đọc từ khóa không chính xác dẫn đến phương án trả lời không đúng.