Tổng quan nghiên cứu

Trong bối cảnh công nghệ trí tuệ nhân tạo (AI) phát triển mạnh mẽ, các mô hình ngôn ngữ lớn (Large Language Models - LLM) đã trở thành công cụ đột phá trong xử lý ngôn ngữ tự nhiên (NLP). Theo ước tính, các mô hình như GPT-3 đã được huấn luyện trên hàng nghìn tỷ token, mở ra khả năng thực hiện nhiều tác vụ đa dạng chỉ với vài ví dụ đầu vào (few-shot learning) hoặc thậm chí không cần ví dụ nào (zero-shot). Tuy nhiên, việc huấn luyện và tinh chỉnh các LLM đòi hỏi nguồn lực tính toán lớn và bộ dữ liệu chỉ dẫn (instruction dataset) đa dạng, đặc biệt là với các ngôn ngữ ít tài nguyên như tiếng Việt.

Luận văn tập trung vào xây dựng chatbot tiếng Việt dựa trên mô hình ngôn ngữ lớn, áp dụng kỹ thuật huấn luyện theo chỉ dẫn kết hợp với các phương pháp tối ưu tham số như LoRA và kỹ thuật nén mô hình Int8 quantization nhằm giảm thiểu chi phí tính toán. Nghiên cứu thực hiện trong phạm vi tiếng Việt với hai lĩnh vực chính: đa tác vụ trên lĩnh vực rộng (open domain) và hỏi đáp chuyên sâu về y tế, sức khỏe (close domain). Bộ dữ liệu huấn luyện gồm khoảng 200.000 mẫu cho đa tác vụ và 100.000 mẫu cho lĩnh vực y tế, sức khỏe, được thu thập và tăng cường bằng kỹ thuật Self-Instruct.

Mục tiêu chính của đề tài là nâng cao khả năng hiểu và phản hồi tự nhiên của các mô hình LLM tiếng Việt trong điều kiện giới hạn tài nguyên, đồng thời xây dựng ứng dụng chatbot trên nền web hỗ trợ tương tác người dùng. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc phát triển các trợ lý ảo tiếng Việt hiệu quả, tiết kiệm chi phí và có thể ứng dụng rộng rãi trong nhiều lĩnh vực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

  • Mô hình ngôn ngữ lớn (LLM): Các mô hình như GPT-3, Bloomz, GPTJ-6B được xây dựng trên kiến trúc Transformer, nổi bật với cơ chế self-attention giúp mô hình học các phụ thuộc tầm xa trong chuỗi đầu vào. LLM có khả năng tạo văn bản tự nhiên, hiểu ngôn ngữ và thực hiện nhiều tác vụ NLP đa dạng.

  • Kiến trúc Transformer và cơ chế Self-attention: Transformer sử dụng multi-head self-attention để xử lý song song các token, giúp mô hình nắm bắt các mối quan hệ phức tạp trong dữ liệu. Mã hóa vị trí (positional encoding) được sử dụng để giữ thông tin về thứ tự token.

  • Huấn luyện theo chỉ dẫn (Instruction Fine-tuning): Phương pháp tinh chỉnh mô hình dựa trên bộ dữ liệu chỉ dẫn giúp mô hình hiểu và thực hiện các yêu cầu đa dạng từ người dùng, nâng cao khả năng zero-shot và few-shot learning.

  • Kỹ thuật tối ưu tham số (Parameter-Efficient Fine-Tuning - PEFT) với LoRA: LoRA là phương pháp thêm các ma trận phân tích bậc thấp để tinh chỉnh mô hình mà không cần huấn luyện lại toàn bộ, giúp giảm đáng kể chi phí tính toán và bộ nhớ.

  • Kỹ thuật nén mô hình Int8 quantization: Giảm độ chính xác của dữ liệu số để tiết kiệm bộ nhớ GPU khi nạp mô hình, tăng tốc quá trình huấn luyện và triển khai.

  • Tăng cường dữ liệu với Self-Instruct: Kỹ thuật tự tạo dữ liệu chỉ dẫn mới từ một tập dữ liệu nhỏ ban đầu, giúp mở rộng bộ dữ liệu huấn luyện hiệu quả mà không cần nhiều công sức thủ công.

  • Retrieval Augment Generation (RAG): Kỹ thuật cho phép mô hình truy xuất thông tin từ nguồn kiến thức bên ngoài để cải thiện độ chính xác và giảm hiện tượng tạo thông tin sai lệch (hallucination).

Phương pháp nghiên cứu

  • Nguồn dữ liệu: Bộ dữ liệu đa tác vụ gồm khoảng 200.000 mẫu chỉ dẫn và trả lời, bộ dữ liệu y tế, sức khỏe gồm khoảng 100.000 mẫu được thu thập từ các nguồn như ChatDoctor, Healthcaremagic, bài báo y khoa và được dịch sang tiếng Việt bằng OpenAI. Dữ liệu được định dạng JSON với hai trường chính: prompt (chỉ dẫn) và response (phản hồi).

  • Mô hình cơ sở (baseline models): Chọn hai mô hình LLM phù hợp với tiếng Việt là Bloomz-mt-7B và GPTJ-6B, dựa trên tiêu chí về kiến trúc autoregressive và lượng dữ liệu tiếng Việt trong quá trình huấn luyện.

  • Phương pháp phân tích: Áp dụng kỹ thuật huấn luyện theo chỉ dẫn kết hợp LoRA và Int8 quantization để tinh chỉnh mô hình trên bộ dữ liệu đã chuẩn bị. Sử dụng Fully Sharded Data Parallel (FSDP) để huấn luyện song song trên nhiều GPU, tăng tốc quá trình.

  • Timeline nghiên cứu: Quá trình thu thập và xử lý dữ liệu diễn ra trong khoảng 6 tháng, huấn luyện mô hình trong 2 epochs với batch size 128, learning rate 3e-4, tổng thời gian huấn luyện mỗi mô hình khoảng 5-6 giờ trên hệ thống 4 GPU RTX 4090.

  • Đánh giá kết quả: Sử dụng bộ dữ liệu đánh giá riêng biệt và phương pháp đánh giá tự động dựa trên GPT-4 để so sánh hiệu năng mô hình sau tinh chỉnh với mô hình gốc và ChatGPT.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả của kỹ thuật LoRA và Int8 quantization: Việc áp dụng LoRA giúp giảm số lượng tham số cần huấn luyện từ hàng tỷ xuống còn khoảng 3.6 - 6.5 triệu tham số, tiết kiệm tài nguyên tính toán hàng nghìn lần. Int8 quantization giảm bộ nhớ GPU cần thiết khi nạp mô hình, cho phép huấn luyện trên các máy tính cá nhân có GPU phổ biến.

  2. Chất lượng mô hình sau tinh chỉnh: Mô hình Bloomz-Chat và GPTJ-Chat được huấn luyện trên bộ dữ liệu đa tác vụ đạt thời gian huấn luyện khoảng 5 giờ, trong khi Bloomz-Doctor và GPTJ-Doctor trên bộ dữ liệu y tế mất khoảng 5.5 giờ. Kết quả đánh giá cho thấy mô hình tinh chỉnh có khả năng trả lời chính xác và tự nhiên hơn, với điểm đánh giá tăng khoảng 15-20% so với mô hình gốc.

  3. So sánh với ChatGPT: Mô hình tinh chỉnh tiếng Việt đạt hiệu năng gần tương đương ChatGPT trong các tác vụ đa dạng và chuyên sâu về y tế, với một số trường hợp mô hình tự phát triển có phản hồi phù hợp hơn với ngữ cảnh tiếng Việt.

  4. Ứng dụng Retrieval Augment Generation (RAG): Việc tích hợp RAG giúp mô hình truy xuất thông tin từ dữ liệu người dùng mà không cần huấn luyện lại, tăng tính linh hoạt và độ chính xác trong các câu trả lời, đặc biệt trong lĩnh vực y tế.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy việc áp dụng kỹ thuật huấn luyện theo chỉ dẫn kết hợp LoRA và Int8 quantization là giải pháp khả thi và hiệu quả để phát triển các mô hình ngôn ngữ lớn cho tiếng Việt trong điều kiện giới hạn tài nguyên. So với các nghiên cứu trước đây, đề tài đã xây dựng thành công hai bộ dữ liệu chỉ dẫn lớn với hơn 300.000 mẫu, góp phần giải quyết vấn đề thiếu hụt dữ liệu huấn luyện cho tiếng Việt.

Việc sử dụng Self-Instruct giúp mở rộng bộ dữ liệu một cách tự động, giảm thiểu công sức thủ công và tăng tính đa dạng của dữ liệu. Kết quả đánh giá dựa trên GPT-4 cung cấp một phương pháp đánh giá khách quan và hiện đại, phù hợp với xu hướng nghiên cứu hiện nay.

Ứng dụng RAG trong chatbot là bước tiến quan trọng, giúp mô hình thích ứng nhanh với các thay đổi thông tin và nâng cao trải nghiệm người dùng. Các biểu đồ so sánh điểm đánh giá giữa mô hình gốc, mô hình tinh chỉnh và ChatGPT có thể minh họa rõ ràng sự cải thiện về chất lượng phản hồi.

Tuy nhiên, nghiên cứu cũng nhận thấy một số hạn chế như hiện tượng quá khớp khi dữ liệu huấn luyện còn hạn chế, và một số câu trả lời chưa hoàn toàn chính xác trong các trường hợp phức tạp. Đây là hướng phát triển tiếp theo cần được cải thiện.

Đề xuất và khuyến nghị

  1. Mở rộng bộ dữ liệu huấn luyện: Tiếp tục thu thập và tăng cường dữ liệu chỉ dẫn cho các lĩnh vực chuyên sâu khác ngoài y tế, như giáo dục, pháp luật, nhằm nâng cao khả năng đa nhiệm của mô hình. Thời gian dự kiến 6-12 tháng, chủ thể thực hiện là các nhóm nghiên cứu và doanh nghiệp AI.

  2. Tối ưu hóa mô hình và thuật toán: Nghiên cứu áp dụng các kỹ thuật PEFT mới hơn và các phương pháp nén mô hình tiên tiến để giảm chi phí tính toán và tăng tốc độ phản hồi. Thời gian 3-6 tháng, do nhóm kỹ thuật AI đảm nhiệm.

  3. Phát triển ứng dụng chatbot đa nền tảng: Triển khai chatbot trên các nền tảng di động và mạng xã hội, tích hợp RAG để nâng cao trải nghiệm người dùng và khả năng truy xuất thông tin thực tế. Thời gian 6 tháng, phối hợp giữa nhóm phát triển phần mềm và nghiên cứu.

  4. Xây dựng hệ thống đánh giá tự động và giám sát chất lượng: Áp dụng các công cụ đánh giá dựa trên AI như GPT-4 để liên tục kiểm tra và cải thiện chất lượng phản hồi của chatbot, giảm thiểu sai sót và thông tin sai lệch. Thời gian 3 tháng, do nhóm nghiên cứu và phát triển AI thực hiện.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành trí tuệ nhân tạo, xử lý ngôn ngữ tự nhiên: Luận văn cung cấp kiến thức sâu rộng về kỹ thuật huấn luyện mô hình ngôn ngữ lớn, phương pháp tăng cường dữ liệu và tối ưu tham số, phù hợp cho nghiên cứu và phát triển các dự án AI.

  2. Doanh nghiệp phát triển sản phẩm AI và chatbot tiếng Việt: Các giải pháp tiết kiệm tài nguyên và bộ dữ liệu chỉ dẫn lớn giúp doanh nghiệp xây dựng chatbot hiệu quả, giảm chi phí triển khai và nâng cao trải nghiệm người dùng.

  3. Chuyên gia y tế và tổ chức chăm sóc sức khỏe: Ứng dụng chatbot y tế hỗ trợ tư vấn, trả lời câu hỏi chuyên sâu giúp cải thiện dịch vụ chăm sóc bệnh nhân, giảm tải cho nhân viên y tế.

  4. Nhà quản lý và hoạch định chính sách công nghệ thông tin: Tham khảo để xây dựng các chiến lược phát triển AI phù hợp với ngôn ngữ và văn hóa Việt Nam, thúc đẩy chuyển đổi số và ứng dụng AI trong các lĩnh vực xã hội.

Câu hỏi thường gặp

  1. Mô hình ngôn ngữ lớn (LLM) là gì và tại sao lại quan trọng?
    LLM là các mô hình AI được huấn luyện trên lượng lớn dữ liệu văn bản để hiểu và tạo ra ngôn ngữ tự nhiên. Chúng quan trọng vì khả năng thực hiện nhiều tác vụ NLP đa dạng như trả lời câu hỏi, dịch thuật, tạo nội dung, giúp tự động hóa và nâng cao hiệu quả công việc.

  2. Tại sao cần huấn luyện theo chỉ dẫn (instruction fine-tuning)?
    Huấn luyện theo chỉ dẫn giúp mô hình hiểu rõ hơn các yêu cầu cụ thể từ người dùng, cải thiện khả năng trả lời chính xác và tự nhiên trong nhiều tác vụ khác nhau, đặc biệt khi không có nhiều dữ liệu huấn luyện cho từng tác vụ riêng biệt.

  3. LoRA hoạt động như thế nào và lợi ích của nó?
    LoRA thêm các ma trận phân tích bậc thấp vào mô hình để tinh chỉnh mà không cần huấn luyện lại toàn bộ tham số, giúp giảm đáng kể chi phí tính toán và bộ nhớ, cho phép huấn luyện LLM trên phần cứng phổ biến như GPU cá nhân.

  4. Self-Instruct giúp gì trong việc tạo dữ liệu huấn luyện?
    Self-Instruct là kỹ thuật tự tạo dữ liệu chỉ dẫn mới từ một tập dữ liệu nhỏ ban đầu, giúp mở rộng bộ dữ liệu huấn luyện một cách tự động, giảm công sức thủ công và tăng tính đa dạng của dữ liệu.

  5. Retrieval Augment Generation (RAG) có vai trò gì trong chatbot?
    RAG cho phép mô hình truy xuất thông tin từ các nguồn kiến thức bên ngoài khi trả lời, giúp tăng độ chính xác, giảm sai lệch thông tin và nâng cao khả năng thích ứng với các thay đổi dữ liệu mà không cần huấn luyện lại mô hình.

Kết luận

  • Đề tài đã thành công trong việc xây dựng và tinh chỉnh các mô hình ngôn ngữ lớn tiếng Việt với kỹ thuật huấn luyện theo chỉ dẫn, LoRA và Int8 quantization, tiết kiệm tài nguyên tính toán đáng kể.
  • Hai bộ dữ liệu chỉ dẫn đa tác vụ và y tế, sức khỏe với hơn 300.000 mẫu được phát triển, góp phần giải quyết hạn chế về dữ liệu huấn luyện cho tiếng Việt.
  • Mô hình tinh chỉnh đạt hiệu năng cao, gần tương đương ChatGPT trong nhiều tác vụ, đặc biệt trong lĩnh vực y tế.
  • Ứng dụng kỹ thuật RAG giúp chatbot linh hoạt, chính xác hơn trong việc truy xuất và sử dụng thông tin thực tế.
  • Hướng phát triển tiếp theo bao gồm mở rộng dữ liệu, tối ưu mô hình, phát triển ứng dụng đa nền tảng và xây dựng hệ thống đánh giá tự động.

Để tiếp tục phát triển, các nhà nghiên cứu và doanh nghiệp nên áp dụng các giải pháp tối ưu tham số và tăng cường dữ liệu, đồng thời triển khai các ứng dụng thực tế nhằm nâng cao trải nghiệm người dùng. Hãy bắt đầu khám phá và ứng dụng các mô hình ngôn ngữ lớn tiếng Việt để tạo ra các sản phẩm AI hữu ích và hiệu quả!