Tìm hiểu Retrieval Augmented Generation và ứng dụng trong trả lời câu hỏi

LỜI CAM ĐOAN

LỜI CẢM ƠN

1. PHẦN MỞ ĐẦU

1.1. Tính cấp thiết của đề tài

1.2. Mục tiêu và nhiệm vụ nghiên cứu

1.3. Phương pháp nghiên cứu

1.4. Kết quả dự kiến đạt được

2. PHẦN NỘI DUNG

3. CHƯƠNG 1: MÔ HÌNH NGÔN NGỮ LỚN

3.1. MÔ HÌNH NGÔN NGỮ LỚN

3.2. Các thành phần chính

3.3. Mô hình ngôn ngữ lớn hoạt động như thế nào?

3.4. Một số mô hình ngôn ngữ lớn hiện nay

3.5. TỔNG QUAN KIẾN TRÚC TRANSFORMER

3.5.1. Encoder và Decoder

3.5.2. The Residual Connection

3.5.3. Linear and Softmax

4. CHƯƠNG 2: TRUY XUẤT THÔNG TIN

4.1. Một số phương pháp truy xuất thông tin

4.2. Các thành phần của hệ thống truy xuất thông tin

4.3. MÔ HÌNH TRUY XUẤT

4.4. Các loại mô hình truy xuất thông tin

4.5. Các mô hình và kỹ thuật truy xuất thông tin

4.5.1. Mô hình Boolean

4.5.2. MÔ HÌNH VECTOR SPACE

4.5.2.1. Tần số xuất hiện của từ

4.5.2.2. Tần số nghịch đảo xuất hiện của từ

4.5.2.3. Cách tính trọng số tf-idf

4.5.3. Phương pháp xếp hạng (Ranking function)

5. CHƯƠNG 3: TÌM HIỂU VỀ KỸ THUẬT RETRIEVAL AUGMENTED GENERATION

5.1. KỸ THUẬT NHÚNG TỪ

5.2. Các kỹ thuật nhúng từ

5.2.1. Mô hình Word2Vec

5.2.2. Mô hình CBOW

5.2.3. Mô hình Skip-gram

5.2.4. Đánh giá mô hình CBOW và Skip-gram

5.3. TỔNG QUAN VỀ RETRIEVAL AUGMENTED GENERATION

5.3.1. Lợi ích và hạn chế

6. CHƯƠNG 4: ỨNG DỤNG BÀI TOÁN TRẢ LỜI CÂU HỎI DỰA TRÊN TÀI LIỆU ĐÃ CUNG CẤP

6.1. MÔI TRƯỜNG CÀI ĐẶT VÀ CÁC THƯ VIỆN LIÊN QUAN

6.1.1. Môi trường cài đặt

6.1.2. Một số thư viện quan trọng

6.2. CÁC MÔ HÌNH ĐƯỢC SỬ DỤNG

6.2.1. Mô hình nhúng Bge-base-en-v1

6.2.2. Mô hình ngôn ngữ lớn Meta-Llama-3-8B-Instruct

6.3. XÂY DỰNG ỨNG DỤNG RAG

6.3.1. Hệ thống truy xuất

6.3.2. Xử lí tài liệu

6.3.3. Xếp hạng lại các tài liệu liên quan

6.3.4. Hệ thống tạo sinh

6.3.4.1. Thiết lập thông số cho mô hình Llama3

6.3.4.2. Kỹ thuật nhắc nhở (Prompt Engineering)

6.3.4.3. Thiết lập hệ thống RAG

6.3.5. Đánh giá hệ thống RAG

6.3.5.1. Các Metric đánh giá

6.3.5.2. Tập dữ liệu

6.3.5.3. Đánh giá và so sánh

6.3.6. Xây dựng API

6.3.7. Triển khai API và ứng dụng chat

7. PHẦN KẾT LUẬN

7.1. KẾT QUẢ ĐẠT ĐƯỢC

7.2. ƯU ĐIỂM VÀ NHƯỢC ĐIỂM

7.3. HƯỚNG PHÁT TRIỂN

TÀI LIỆU THAM KHẢO

I. Tìm hiểu về Retrieval Augmented Generation

Retrieval Augmented Generation (RAG) là một phương pháp kết hợp giữa truy xuất thông tin và sinh văn bản, nhằm nâng cao hiệu quả của các hệ thống trả lời câu hỏi. Phương pháp này tận dụng sức mạnh của mô hình ngôn ngữ lớn (Large Language Model) và hệ thống thông tin để tạo ra câu trả lời chính xác và có ngữ cảnh. RAG hoạt động bằng cách trích xuất thông tin từ các nguồn dữ liệu lớn, sau đó sử dụng mô hình ngôn ngữ để sinh ra câu trả lời phù hợp. Điều này giúp cải thiện độ chính xác và tính ngữ cảnh của câu trả lời, đặc biệt trong các bài toán phức tạp.

1.1. Nguyên lý hoạt động của RAG

RAG hoạt động dựa trên hai giai đoạn chính: truy xuất thông tin và sinh văn bản. Trong giai đoạn truy xuất, hệ thống sử dụng các kỹ thuật như tối ưu hóa tìm kiếm để lọc ra các tài liệu liên quan từ cơ sở dữ liệu. Sau đó, mô hình ngôn ngữ lớn như GPT hoặc Llama được sử dụng để sinh ra câu trả lời dựa trên thông tin đã trích xuất. Sự kết hợp này giúp hệ thống không chỉ dựa vào kiến thức có sẵn của mô hình mà còn tận dụng thông tin từ nguồn dữ liệu bên ngoài.

1.2. Lợi ích và hạn chế của RAG

RAG mang lại nhiều lợi ích, đặc biệt trong việc cải thiện độ chính xác và tính ngữ cảnh của câu trả lời. Tuy nhiên, phương pháp này cũng có một số hạn chế, như yêu cầu nguồn dữ liệu lớn và chất lượng, cũng như chi phí tính toán cao. Việc tích hợp giữa truy xuất thông tin và sinh văn bản cũng đòi hỏi sự tối ưu hóa để đảm bảo hiệu suất hệ thống.

II. Ứng dụng của RAG trong trả lời câu hỏi

Ứng dụng của RAG trong trả lời câu hỏi đã chứng minh hiệu quả trong việc xử lý các câu hỏi phức tạp và đa chiều. Bằng cách kết hợp thông tin từ nhiều nguồn dữ liệu, RAG giúp hệ thống đưa ra câu trả lời chính xác và có ngữ cảnh. Điều này đặc biệt hữu ích trong các lĩnh vực như giáo dục, y tế và hỗ trợ khách hàng, nơi yêu cầu độ chính xác cao.

2.1. Xây dựng hệ thống trả lời câu hỏi dựa trên RAG

Để xây dựng hệ thống trả lời câu hỏi dựa trên RAG, cần thực hiện các bước như chọn lọc nguồn dữ liệu, tích hợp mô hình ngôn ngữ lớn và tối ưu hóa quá trình truy xuất thông tin. Các công cụ như Langchain, Chroma và Ragas được sử dụng để hỗ trợ quá trình này. Việc đánh giá hệ thống cũng được thực hiện thông qua các chỉ số như độ chính xác và thời gian phản hồi.

2.2. Thách thức và hướng phát triển

Mặc dù RAG mang lại nhiều lợi ích, nhưng việc triển khai hệ thống này cũng gặp phải một số thách thức, như yêu cầu nguồn dữ liệu chất lượng cao và chi phí tính toán lớn. Hướng phát triển trong tương lai bao gồm tối ưu hóa quá trình truy xuất thông tin và tích hợp các mô hình ngôn ngữ lớn hiệu quả hơn.

III. Công nghệ và công cụ hỗ trợ RAG

Việc triển khai RAG đòi hỏi sử dụng nhiều công nghệ và công cụ hỗ trợ, bao gồm học máy, xử lý ngôn ngữ tự nhiên và phân tích ngữ nghĩa. Các công cụ như Langchain, Chroma và Ragas đóng vai trò quan trọng trong việc xây dựng và đánh giá hệ thống RAG.

3.1. Công cụ Langchain và Chroma

Langchain là một thư viện hỗ trợ tích hợp các mô hình ngôn ngữ lớn vào ứng dụng, trong khi Chroma là công cụ quản lý cơ sở dữ liệu vector, giúp tối ưu hóa quá trình truy xuất thông tin. Sự kết hợp giữa hai công cụ này giúp hệ thống RAG hoạt động hiệu quả hơn.

3.2. Đánh giá hệ thống với Ragas

Ragas là công cụ đánh giá hiệu suất của hệ thống RAG, giúp đo lường độ chính xác và tính ngữ cảnh của câu trả lời. Việc sử dụng Ragas giúp nhà phát triển tối ưu hóa hệ thống và cải thiện chất lượng đầu ra.

Đồ án tốt nghiệp: Tìm hiểu Retrieval Augmented Generation và ứng dụng cho bài toán trả lời câu hỏi