MỞ ĐẦU 1. Lý do chọn đề tài Trong thế giới thương mại điện tử năng động, việc cung cấp dịch vụ cho khách hàng không còn là một lựa chọn nữa mà đó là điều cần thiết. Sự gia tăng của mua sắm trực tuyến đã làm tăng nhu cầu về trải nghiệm mua sắm đặc biệt là sự hỗ trợ kịp thời 24/24. Đây là nơi các chatbot được xây dựng trên sức mạnh của Mô hình ngôn ngữ lớn sẽ phát triển mạnh mẽ.
Có thé nói chatbot hay hệ thống đàm thoại không phải là một dé tài mới nhưng những năm gan đây với sự bùng nổ của các mô hình ngôn ngữ lớn nói chung và các kỹ thuật xung quanh nó nói riêng đã một lần nữa thu hút được sự quan tâm đáng kể của các nhà nghiên cứu và ứng dụng. Thực tế, ngày càng nhiều các công ty, tổ chức, doanh nghiệp sử dụng chatbot để giao tiếp với khách hàng của họ, các ứng dụng của chatbot có thể tìm thấy trong mọi lĩnh vực như ngân hàng, giáo dục, chăm sóc sức khỏe,. Trong thương mại điện tử, chatbot có thể đóng vai trò là một nhân viên giải đáp thắc mắc của khách hàng một cách kịp thời mà không cần con người can thiệp, có thể giúp cải thiện chất lượng dịch vụ và tiết kiệm nguồn lực con người. Tuy nhiên, không phải lúc nào khách hàng cũng hoàn toàn hài lòng với chatbot, sẽ có những phản hồi không phù hợp, không đúng trọng tâm có thể làm khách hàng khó chịu, tạo khoảng cách giữa khách hàng với doanh nghiệp.
Với sự phát triển nhanh chóng của thời dai LLM, việc tích hợp RAG cùng LLM 2 được áp dụng nhanh chóng và trở thành công nghệ then chốt trong việc cải thiện khả năng của LLM, tạo một chatbot QnA đã trở nên dễ dàng và tốn ít thời gian hơn bao giờ hết. Tuy nhiên, như đã đề cập ở trên, để không gây ra các hiệu ứng ngược lại cho khách hàng, hiệu suất của chatbot khi ứng dung là một van dé cần đặt lên hàng dau, nghiên cứu sẽ đi sâu, rộng hơn về hai phần lớn là RAG và fine-tune LLM trên bộ dữ liệu chuyên biệt, miền dif liệu lĩnh vực thương mại điện tử để cho cái nhìn tổng quan về các kĩ thuật này cũng như hiệu quả và khả năng ứng dụng của nó. Ngôn ngữ chính được sử dụng cho hệ thống là tiếng Việt, một ngôn ngữ vốn có ít tài nguyên trong lĩnh vực LLM. Nghiên cứu của chúng tôi có những đóng góp có giá trị cho cộng đồng, sẽ là cơ sở để phát triển các phương pháp mới cho ngôn ngữ này.
Mục tiêu và phạm vi nghiên cứu Nghiên cứu đề xuất một hướng tiếp cận hiệu quả dựa trên những kỹ thuật tiên tiền cho bài toán Hỏi đáp tao sinh (Generative QA). Các van đề nghiên cứu chính trong phạm vi dé tài này bao gồm: ¢ Nghiên cứu tổng quan về bài toán Hoi đáp tao sinh, khảo sát những bộ dữ liệu đã công bô và các công trình nghiên cứu liên quan. * Nghiên cứu từ tổng quan đến nâng cao khi xây dựng một hệ thông RAG, kiến trúc và luồng hoạt động của nó. Đánh giá điểm quan trọng là mô hình embedding và các độ đo đánh giá hiệu suất quá trình truy xuất ngữ cảnh gồm Context Recall và Context Precision dựa vào khả nang của LLM.
* Nghiên cứu các mô hình ngôn ngữ lớn gốc và cách fine-tune một LLM. Tiếp cận theo hướng tối ưu hóa tài nguyên sử dụng và giảm thời gian huấn luyện mô hình nhưng vẫn đảm bảo chất lượng. Các độ đo đánh giá hiệu suất của hệ thống hỏi đáp như ROUGE-L, BLEU, Answer Relevence * Thực nghiệm phương pháp đề xuất trên các điều kiện thực nghiệm khác nhau trên bộ dif liệu tạo được. Đánh giá kết quả thực nghiệm.
Phân tích lỗi. Dua ra kết luận và hướng phát triển. Đóng góp của khóa luận Đề tài nghiên cứu của khóa luận có ba đóng góp chính như sau: 1. Thu thập và xây dựng thành công bộ dữ liệu phục vụ cho các tác vụ truy xuất và tạo câu trả lời.
Bộ dữ liệu trên miền thương mại điện tử với số lượng lớn điểm dữ liệu, ngôn ngữ tiếng Việt 2. Cho thấy sự khác biệt và hiệu quả khi kết hợp RAG và Fine-tune. RAG đã được chứng minh là có hiệu quả cao trong trường hợp truy xuất dữ liệu có liên quan đến ngữ cảnh, chẳng hạn như trong việc giải thích dữ liệu sản phẩm, đồng thời dẫn đến kết quả ngắn gọn hơn phản hồi tốt hơn so với mô hình gốc. Mặt khác, việc fine-tune được cho là hữu ích trong việc dạy mô hình về văn phong, sắc thái và các kỹ năng mới dành riêng cho lĩnh vực thương mại điện tử, cung cấp các phản hồi chính xác và ngắn gon hơn 3.
Chứng minh việc sử dụng LLM trong một domain khác nhau là có tiém năng và khả quan. Với những hiểu biết thu được từ nghiên cứu ban đầu cho lĩnh vực thương mại điện tử có thể áp dụng cho các lĩnh vực khác. Chương 2 TỔNG QUAN ĐỀ TÀI 2. Bài toán Bài toán Hỏi đáp tạo sinh (tiếng Anh: Generative Question Answering) là một chủ dé nghiên cứu nhận được nhiều sự quan tâm trong cộng đồng nghiên cứu trí tuệ nhân tạo (AI) trên thế giới và gần đây có một số bước tiến nổi bật trong công đồng nghiên cứu AT và khoa hoc dit liệu tại Việt Nam.
Tác vụ này của trí tuệ nhân tạo áp dụng các kỹ thuật tiêu biểu trong Xử lý ngôn ngữ tự nhiên (NLP) nhằm cho phép những chiếc máy tính tao văn bản trực tiếp dựa trên ngữ cảnh và đưa ra câu trả lời cho câu hỏi liên quan một cách tự động. Hỏi đáp tạo sinh có vô vàng những ứng dụng quan trọng vào thực tiễn đời sống như là lõi của chatbot về y té, giáo dục, thương mại,. Bài toán hỏi đáp trong thương mại điện tử là một thách thức và ngày càng phổ biến trong kỷ nguyên số hóa hiện nay. Nó liên quan đến việc phát triển các hệ thống thông minh có khả năng hiểu và trả lời các câu hỏi của khách hàng một cách chính xác và kịp thời.
Những hệ thống này thường dựa trên các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) và học máy (ML) để phân tích ngữ cảnh, ý định của người dùng, và trích xuất thông tin liên quan từ các nguồn dif liệu đa dạng. Mục tiêu chính là nâng cao trải nghiệm khách hàng, giảm tải cho đội ngũ hỗ trợ, và tối ưu hóa quy trình bán hàng. Tuy nhiên, việc xây dựng một hệ thống hỏi đáp hiệu quả đòi hỏi phải giải quyết nhiều thách thức như đa dạng ngôn ngữ, xử lý các câu hỏi phức tạp, và cập nhật liên tục 5 thông tin sản phẩm. Nghiên cứu và phát triển trong lĩnh vực này đang tập trung vào việc cải thiện độ chính xác, toc độ phan hoi, va khả năng tương tác tự nhiên của các hệ thống hỏi đáp.
Camera sau của iphone 15 pro có độ phan giải la bao nhiều Cac loai iPhone 15 Pro co 3 camera sau va co độ phan giải lan lượt: 48.1: Bài toán hoi đáp trong thương mại điện tử Để giải quyết bài toán trên, cần xây dựng một hệ thống truy xuất để cung cấp ngữ cảnh (RAG), và lựa chọn một mô hình thật tốt để tạo ra câu trả lời (LLM). Tình hình và xu hướng nghiên cứu Sự ra đời của kiến trúc Transformer [1] đã đặt nền móng cho trí tuệ nhân tạo trong tác vụ hỏi đáp QA, cho phép tạo ra các mô hình như BERT [2], RoBERTa [3], và GPT-3 [4], hiện được biết đến rộng rãi với tên gọi mô hình ngôn ngữ lớn (LLMs) từ khoảng năm 2021. Một trong những thách thức chính khi áp dụng LLMs vào QA là xử lý van ban dài và duy trì ngữ cảnh trong các chuỗi mở rộng. Các kỹ thuật như Longformer [5] và Transformer-XL [6] đã được phát triển để giải quyết van dé này bằng cách giới thiệu các cơ chế chú ý xử lý hiệu quả các văn bản dài hơn.
Những tiến bộ này và các công trình liên quan đến chúng đã mở đường cho việc truy xuất và hiểu thông tin liên quan hiệu quả hơn trong các hệ thống QA. Công trình tiên phong của Lewis et al. 2021 [7] đã giới thiệu các kỹ thuật nền tảng của RAG, chứng minh hiệu quả của nó trong các tác vụ NLP đòi hỏi kiến thức chuyên sâu bằng cách tăng cường các mô hình tạo sinh với các tài liệu được truy xuất để cung cấp câu trả lời phong phú về ngữ cảnh. Các nghiên cứu tiếp theo đã khám phá nhiều khía cạnh khác nhau của RAG, như việc tích hợp truy xuất và tạo sinh trong LLMs (Feng et al.
2023) [§], tăng cường truy xuất dựa trên prompt (prompt-guided) cho các tác vụ không đòi hỏi kiến thức chuyên sâu (Guo et al. Tính linh hoạt của các hệ thống RAG đã được thể hiện qua kha năng xử lý da dang các loại câu hỏi va định dang dữ liệu. Một nghiên cứu của [10] cho thay sự so sánh giữa việc Fine-tune va RAG. Các thí nghiệm trong bài báo tiết lộ rằng việc tinh chỉnh trên dữ liệu lĩnh vực được trích xuất từ các tạp chí nông nghiệp đã đưa ra các phản hồi ngắn gọn và chính xác hơn so với một quy trình RAG.
Tuy nhiên, các tác giả cũng đã thừa nhận chi phí ban đầu cần thiết để tinh chỉnh một mô hình là rất cao. Low Rank Adaptation (LoRA) finetuning của các mô hình ngôn ngữ lớn (LLM) [11] đã mở ra một khả năng hoàn toàn mới trong việc tinh chỉnh một số lượng giới hạn các tham số thiết yêu, thường ở mức vài nghìn đến vài triệu, thay vì toàn bộ các tham số vốn ở mức hang tỷ. Công trình về lượng tử hóa LLM (quantizing LLMs) đã mở ra cơ hội cho các hệ thống có tài nguyên về phần cứng hạn hẹp để fine-tune với chi phí bộ nhớ thấp [12]. Các bài báo về LLM được lượng tử hóa kết hợp với các kỹ thuật hiệu quả về tham số như LORA đã tiếp tục cho phép đạt được kết quả thỏa đáng với tài nguyên thấp [13].
Chương 3 PHƯƠNG PHÁP RAG VÀ TINH CHINH MO HÌNH NGÔN NGỮ LỚN Z on Ne Z 3. Phat biêu bài toán Hỏi đáp tạo sinh (Generative QA) là dang mỏ rộng của tác vụ Hỏi đáp cho phép máy tính tạo văn bản trực tiếp dựa trên ngữ cảnh.