Mô Hình Ngôn Ngữ Lớn và Ứng Dụng Trong Khai Phá Dữ Liệu Y Tế

Khóa luận tốt nghiệp nghiên cứu Mô hình ngôn ngữ lớn và ứng dụng khai phá dữ liệu y văn khóa luận tốt nghiệp đại học hệ chính quy, vận dụng lý thuyết vào thực tế, đề xuất giải

• Tác giả: Nguyễn Thị Trang
• Người hướng dẫn: TS. Đặng Thanh Hải
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Mô Hình Ngôn Ngữ Lớn Và Ứng Dụng Khai Phá Dữ Liệu Y Tế
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• LỜI CAM ĐOAN
• MỤC LỤC
• MỞ ĐẦU
• Mô hình ngôn ngữ lớn
• Mô hình ngôn ngữ lớn là gì?
• Tổng quan về chatbot và ứng dụng trong lĩnh vực y tế
• Lịch sử phát triển của chatbot
• Ứng dụng mô hình ngôn ngữ lớn và chatbot trong lĩnh vực y tế và sức khỏe tâm thần
• Thách thức và hạn chế
• Phương pháp nghiên cứu
• Cách thức nghiên cứu
• Lựa chọn mô hình Vinallama-7B-chat
• Kỹ thuật tinh chỉnh mô hình
• Tinh chỉnh mô hình ngôn ngữ lớn với chi phí thấp Low-Rank Adaptation (LoRA)
• Kỹ thuật để giảm việc sử dụng GPU và thư viện BitsAndBytes
• Xây dựng Chatbot
• Tiền xử lý dữ liệu
• Chọn lọc và dịch dữ liệu sang tiếng Việt
• Chuẩn bị dữ liệu huấn luyện cho mô hình ngôn ngữ
• Tinh chỉnh mô hình
• Xây dựng chatbot
• Giao diện người dùng
• Hệ thống quản lý cơ sở dữ liệu
• Máy chủ quản lý yêu cầu và chạy mô hình ngôn ngữ lớn
• Máy chủ trung gian
• Đánh giá tự động mô hình tinh chỉnh
• Bilingual Evaluation Understudy (BLEU)
• Recall-Oriented Understudy for Gisting Evaluation (ROUGE)
• Kết quả đánh giá tự động
• Đánh giá dựa trên tương tác người dùng
• Tài liệu Tham khảo
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH MỤC TỪ VIẾT TẮT
• MỞ ĐẦU
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
• 1.1. Giới thiệu về lý thuyết của mô hình ngôn ngữ lớn và mô hình chatbot
• 1.2. Những vấn đề và thách thức trong hỗ trợ sức khỏe tâm thần
• 2. CHƯƠNG 2: PHƯƠNG PHÁP NGHIÊN CỨU
• 3. CHƯƠNG 3: XÂY DỰNG CHATBOT
• 4. CHƯƠNG 4: KẾT QUẢ
• Phần kết luận và hướng nghiên cứu tiếp theo

Tóm tắt

I. Tổng quan về Ứng Dụng Mô Hình Ngôn Ngữ Lớn Trong Khai Thác Dữ Liệu Y Tế

Mô hình ngôn ngữ lớn (LLM) đã trở thành một công cụ quan trọng trong việc khai thác dữ liệu y tế. Chúng không chỉ giúp phân tích và xử lý thông tin mà còn hỗ trợ trong việc chẩn đoán và điều trị bệnh. Việc áp dụng LLM trong y tế mở ra nhiều cơ hội mới cho việc cải thiện chất lượng chăm sóc sức khỏe.

1.1. Mô Hình Ngôn Ngữ Lớn Là Gì

Mô hình ngôn ngữ lớn là một loại mô hình học sâu có khả năng hiểu và sinh ngôn ngữ tự nhiên. Chúng được đào tạo trên các tập dữ liệu lớn, cho phép nhận diện và tạo ra văn bản giống như con người.

1.2. Lợi Ích Của Việc Ứng Dụng LLM Trong Y Tế

Việc ứng dụng LLM trong y tế giúp cải thiện khả năng chẩn đoán, tăng cường sự chính xác trong điều trị và hỗ trợ người bệnh trong việc quản lý sức khỏe của họ.

II. Thách Thức Trong Việc Ứng Dụng Mô Hình Ngôn Ngữ Lớn Trong Y Tế

Mặc dù có nhiều lợi ích, việc ứng dụng LLM trong y tế cũng gặp phải nhiều thách thức. Các vấn đề như độ chính xác của dữ liệu, sự riêng tư của bệnh nhân và khả năng giải thích của mô hình là những yếu tố cần được xem xét.

2.1. Độ Chính Xác Của Dữ Liệu Y Tế

Độ chính xác của dữ liệu y tế là yếu tố quan trọng trong việc đảm bảo hiệu quả của LLM. Dữ liệu không chính xác có thể dẫn đến những quyết định sai lầm trong chẩn đoán và điều trị.

2.2. Vấn Đề Riêng Tư Của Bệnh Nhân

Sự riêng tư của bệnh nhân là một vấn đề nhạy cảm trong y tế. Việc sử dụng LLM cần đảm bảo rằng thông tin cá nhân của bệnh nhân được bảo vệ và không bị lạm dụng.

III. Phương Pháp Nghiên Cứu Ứng Dụng Mô Hình Ngôn Ngữ Lớn Trong Y Tế

Để ứng dụng LLM trong y tế, cần có các phương pháp nghiên cứu rõ ràng. Các bước như thu thập dữ liệu, tiền xử lý và tinh chỉnh mô hình là rất quan trọng để đạt được kết quả tốt nhất.

3.1. Thu Thập Dữ Liệu Y Tế

Việc thu thập dữ liệu y tế từ các nguồn đáng tin cậy là bước đầu tiên trong quá trình nghiên cứu. Dữ liệu này cần phải phong phú và đa dạng để đảm bảo tính chính xác.

3.2. Tiền Xử Lý Dữ Liệu

Tiền xử lý dữ liệu là quá trình quan trọng giúp loại bỏ nhiễu và chuẩn bị dữ liệu cho việc huấn luyện mô hình. Điều này giúp cải thiện hiệu suất của LLM trong các tác vụ y tế.

IV. Ứng Dụng Thực Tiễn Của Mô Hình Ngôn Ngữ Lớn Trong Y Tế

Mô hình ngôn ngữ lớn đã được ứng dụng trong nhiều lĩnh vực y tế, từ chẩn đoán bệnh đến hỗ trợ sức khỏe tâm thần. Những ứng dụng này không chỉ giúp cải thiện chất lượng chăm sóc sức khỏe mà còn nâng cao trải nghiệm của bệnh nhân.

4.1. Hỗ Trợ Chẩn Đoán Bệnh

LLM có khả năng phân tích dữ liệu y tế và hỗ trợ bác sĩ trong việc chẩn đoán bệnh. Điều này giúp tăng cường độ chính xác và giảm thiểu sai sót trong quá trình điều trị.

4.2. Chatbot Hỗ Trợ Sức Khỏe Tâm Thần

Chatbot sử dụng LLM có thể cung cấp hỗ trợ tâm lý cho người dùng, giúp họ cảm thấy được lắng nghe và thấu hiểu trong những thời điểm khó khăn.

V. Kết Luận Về Tương Lai Của Mô Hình Ngôn Ngữ Lớn Trong Y Tế

Tương lai của mô hình ngôn ngữ lớn trong y tế rất hứa hẹn. Với sự phát triển không ngừng của công nghệ, LLM có thể trở thành một phần không thể thiếu trong hệ thống chăm sóc sức khỏe hiện đại.

5.1. Tiềm Năng Phát Triển

Mô hình ngôn ngữ lớn có tiềm năng phát triển mạnh mẽ trong việc cải thiện chất lượng chăm sóc sức khỏe và hỗ trợ bệnh nhân.

5.2. Hướng Nghiên Cứu Tương Lai

Nghiên cứu trong lĩnh vực này cần tiếp tục để khám phá thêm nhiều ứng dụng mới của LLM trong y tế, từ đó nâng cao hiệu quả và độ chính xác trong chăm sóc sức khỏe.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh xã hội hiện đại với nhịp độ sống nhanh và áp lực gia tăng, các vấn đề về sức khỏe tâm thần ngày càng trở nên phổ biến và gây ảnh hưởng sâu sắc đến đời sống cá nhân cũng như sự phát triển của cộng đồng. Tại Việt Nam, tình trạng rối loạn tâm thần đang có xu hướng gia tăng rõ rệt. Theo báo cáo của Bệnh viện Tâm thần Trung ương, tỷ lệ mắc 10 chứng rối loạn tâm thần phổ biến trong năm 2014 là 14,2%, trong đó rối loạn trầm cảm chiếm 2,45%; tỷ lệ tự sát năm 2015 ghi nhận ở mức 5,87 trên 100.000 dân. Toàn quốc ước tính có khoảng 14 triệu người gặp các vấn đề rối loạn tâm thần, tuy nhiên nguồn lực y tế chuyên trách còn rất hạn chế khi chỉ có 143 nhà tâm lý lâm sàng và tâm lý trị liệu.

Sự phát triển của xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP), đặc biệt là các mô hình ngôn ngữ lớn (Large Language Models - LLM), mở ra tiềm năng ứng dụng công nghệ vào việc hỗ trợ chăm sóc sức khỏe tinh thần. Tuy vậy, các mô hình ngôn ngữ lớn phổ biến hiện nay như GPT-4, PaLM hay LLaMA-2 chủ yếu tập trung vào các tác vụ thuộc lĩnh vực tổng quát và thiếu sự đào tạo chuyên sâu trong nghiệp vụ tư vấn tâm lý.

Trước thực trạng đó, khóa luận tốt nghiệp ngành Công nghệ thông tin của tác giả Nguyễn Thị Trang (Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, dưới sự hướng dẫn của TS. Đặng Thanh Hải) đã tập trung vào việc nghiên cứu và ứng dụng mô hình ngôn ngữ lớn để xây dựng một chatbot hỗ trợ cảm xúc bằng tiếng Việt.

Mục tiêu nghiên cứu và các nhiệm vụ cụ thể được văn bản xác định gồm 4 bước:

1. Thu thập dữ liệu: Thu thập dữ liệu về các tình huống cảm xúc và căng thẳng từ các nguồn nghiên cứu và tài liệu chuyên ngành đáng tin cậy.
2. Tiền xử lý dữ liệu: Lọc nhiễu, chuẩn hóa, dịch thuật và biên tập dữ liệu để xây dựng bộ ngữ liệu hội thoại hỗ trợ cảm xúc tiếng Việt ViESConv.
3. Tinh chỉnh mô hình: Tinh chỉnh mô hình ngôn ngữ lớn tiếng Việt VinaLLaMA-7B-chat trên bộ dữ liệu ViESConv phục vụ nhiệm vụ hỗ trợ sức khỏe tinh thần.
4. Kiểm thử và đánh giá: Đánh giá mô hình bằng các thang đo tự động và thử nghiệm tương tác người dùng nhằm kiểm tra mức độ thấu hiểu và phản hồi đồng cảm.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Mô hình ngôn ngữ lớn tiếng Việt (VinaLLaMA-7B-chat), kỹ thuật tinh chỉnh tham số hiệu quả LoRA, khung hội thoại hỗ trợ cảm xúc ESC (Emotional Support Conversation) và bộ dữ liệu đàm thoại ESConv/ViESConv.
• Phạm vi nghiên cứu: Ứng dụng công nghệ xử lý ngôn ngữ tự nhiên và mô hình ngôn ngữ lớn để xây dựng hệ sinh thái chatbot hỗ trợ giải tỏa cảm xúc và chăm sóc sức khỏe tinh thần bước đầu cho người dùng ngôn ngữ tiếng Việt.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình tiếp cận

Khóa luận xây dựng trên các nền tảng lý thuyết và công nghệ chính sau:

• Khung hội thoại hỗ trợ cảm xúc (ESC Framework): Được đề xuất bởi nhóm nghiên cứu của Siyang Liu và cộng sự (Đại học Thanh Hoa, Trung Quốc), xây dựng dựa trên Lý thuyết Kỹ năng Trợ giúp (Helping Skills Theory - Hill, 2009). Khung ESC chia tiến trình hỗ trợ thành 3 giai đoạn kế tiếp nhau với 8 chiến lược can thiệp cụ thể:
  • Giai đoạn 1: Khám phá (Exploration) — Xác định vấn đề và giúp người dùng bộc lộ cảm xúc.
  • Giai đoạn 2: Thấu hiểu (Understanding) — Đồng cảm, chia sẻ và làm rõ nguyên nhân sâu xa.
  • Giai đoạn 3: Hành động (Action) — Đưa ra gợi ý, cung cấp thông tin và giải pháp tích cực.
• Kiến trúc mạng nơ-ron Transformer: Khung kiến trúc học sâu dựa hoàn toàn trên cơ chế tự chú ý (Self-Attention) bao gồm bộ mã hóa (Encoder) và bộ giải mã (Decoder), cho phép xử lý song song và nắm bắt mối quan hệ ngữ cảnh phụ thuộc tầm xa.
• Kỹ thuật tinh chỉnh mô hình hiệu quả: Sử dụng phương pháp thích ứng cấp thấp LoRA (Low-Rank Adaptation) để đóng băng trọng số gốc $W_0$ và phân rã ma trận cập nhật $\Delta W$ thành hai ma trận hạng thấp $A$ và $B$ ($d \times r$ và $r \times k$), giúp giảm đáng kể lượng tài nguyên tính toán cần thiết. Kết hợp kỹ thuật lượng tử hóa 4-bit thông qua thư viện BitsAndBytes.

Phương pháp nghiên cứu và dữ liệu thực nghiệm

• Phương pháp dịch thuật và xử lý dữ liệu: Sử dụng mô hình dịch máy nơ-ron chuyên biệt EnViT5-base (VietAI/envit5-translation) để tự động hóa quá trình dịch bộ dữ liệu gốc ESConv sang tiếng Việt, sau đó tiến hành kiểm tra và hiệu đính thủ công về mặt ngữ pháp, ngữ nghĩa chuyên ngành tâm lý.
• Nguồn dữ liệu: Bộ dữ liệu gốc ESConv gồm 1.300 cuộc hội thoại tiếng Anh (mỗi cuộc trao đổi từ 15–20 lượt giữa người tìm kiếm sự hỗ trợ và người trợ giúp). Dữ liệu bao gồm các vấn đề phổ biến như trầm cảm, lo lắng, khủng hoảng công việc, chia tay bạn đời, áp lực học tập.

Phân loại vấn đề / Cảm xúc trong bộ dữ liệu gốc ESConv	Số lượng ghi nhận
Trầm cảm (Vấn đề chính)	354
Khủng hoảng trong công việc	280
Chia tay bạn đời	243
Vấn đề với bạn bè	179
Áp lực học tập	160
Trạng thái: Trầm cảm	753
Trạng thái: Lo lắng	396
Trạng thái: Nỗi buồn	318
Trạng thái: Sợ hãi	136
Trạng thái: Tức giận	131
Trạng thái: Xấu hổ	52
Trạng thái: Kinh tởm	45

• Phân chia tập dữ liệu huấn luyện: Bộ dữ liệu ViESConv sau khi xử lý được phân chia theo tỷ lệ 6:2:2, gồm 60% cho tập huấn luyện (Training Set), 20% cho tập kiểm thử quá trình (Validation Set) và 20% cho tập kiểm tra độc lập (Test Set).

---

Thiết kế và triển khai hệ thống chatbot

Hệ thống chatbot hỗ trợ sức khỏe tinh thần được thiết kế và triển khai dưới dạng ứng dụng Web hoàn chỉnh, bao gồm 4 thành phần chức năng:

[Giao diện người dùng (Chatbot-UI)]
[Máy chủ LLM (FlaskAPI + PyNgrok + Kaggle GPU)]

Chi tiết các thành phần công nghệ

1. Giao diện người dùng (User Interface):

   • Xây dựng trên nền tảng mã nguồn mở chatbot-ui (McKay Wrigley).
   • Hỗ trợ các chức năng: đăng ký/đăng nhập tài khoản người dùng, hiển thị giao diện nhắn tin tương tác thời gian thực, xem lại lịch sử các phiên trò chuyện, và công cụ chuyển đổi giữa mô hình gốc và mô hình đã tinh chỉnh phục vụ thử nghiệm đánh giá.

2. Hệ thống quản lý cơ sở dữ liệu:

   • Sử dụng nền tảng Supabase tích hợp hệ quản trị cơ sở dữ liệu quan hệ PostgreSQL.
   • Lưu trữ an toàn thông tin tài khoản người dùng và toàn bộ lịch sử các phiên trò chuyện nhằm duy trì ngữ cảnh đàm thoại lâu dài và bảo đảm tính riêng tư cho các nội dung tư vấn nhạy cảm.

3. Máy chủ chạy mô hình ngôn ngữ lớn (LLM Server):

   • Triển khai trên môi trường GPU của Kaggle để tận dụng tài nguyên phần cứng.
   • Sử dụng mô hình VinaLLaMA-7B-chat được nạp ở định dạng lượng tử hóa 4-bit bằng thư viện BitsAndBytes.
   • Dựng dịch vụ kết nối với FlaskAPI và thiết lập đường hầm truyền dữ liệu an toàn ra Internet qua PyNgrok.

4. Máy chủ trung gian:

   • Điều phối giao tiếp giữa giao diện người dùng, cơ sở dữ liệu và máy chủ LLM.
   • Truy xuất lịch sử đàm thoại từ Supabase để xây dựng ngữ cảnh hội thoại (Context).
   • Tự động ghép nối dữ liệu đầu vào với cấu trúc Prompt chỉ dẫn tương ứng với 8 chiến lược hỗ trợ cảm xúc của khung ESC (Hỏi, Trình bày lại/diễn giải, Phản ánh cảm xúc, Tự bộc lộ, Khẳng định và trấn an, Gợi ý, Thông tin, Khác).

Tham số cấu hình tinh chỉnh mô hình (Fine-tuning Hyperparameters)

Nhóm tham số	Tên tham số	Giá trị thiết lập
Cấu hình LoRA	Hạng ma trận ($r$)	16
Cấu hình LoRA	Hệ số tỷ lệ ($\alpha_{\text{lora}}$)	32
Cấu hình LoRA	Tỷ lệ Dropout ($\text{lora_dropout}$)	0.05
Cấu hình LoRA	Các khối áp dụng ($\text{target_modules}$)	q_proj, k_proj, v_proj, o_proj
Quá trình huấn luyện	Kích thước lô ($\text{batch_size}$)	4
Quá trình huấn luyện	Tốc độ học ($\text{learning_rate}$)	$5\times 10^{-5}$ ($0.00005$)
Quá trình huấn luyện	Số chu kỳ huấn luyện ($\text{epochs}$)	5

---

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết

Chương 1 cung cấp tổng quan toàn diện về các mô hình ngôn ngữ lớn và ứng dụng của chatbot trong lĩnh vực chăm sóc sức khỏe:

• Định nghĩa LLM và phân loại kiến trúc: Phân tích 5 nhóm kiến trúc chính gồm mô hình AutoEncoder (như BERT), Sequence-to-Sequence, Transformer-Based Frameworks, mô hình nơ-ron đệ quy (Recursive Neural Networks) và kiến trúc phân cấp (Hierarchical Structures).
• Các thành phần cốt lõi của LLM: Trình bày cơ chế của Tokenization, biểu diễn vectơ nhúng (Embeddings), cơ chế tự chú ý đa đầu (Multi-Head Self-Attention), quá trình tiền huấn luyện (Pre-training), học chuyển giao (Transfer Learning) và khả năng tạo sinh (Generation Ability).
• Tiến trình phát triển của công nghệ Chatbot: Lịch sử từ thử nghiệm Turing (1950), các chatbot đối thoại theo luật đầu tiên như ELIZA (1966), PARRY, ALICE, SmarterChild; các trợ lý ảo học máy đầu những năm 2010 như Siri, Alexa, IBM Watson; cho đến kỷ nguyên AI tạo sinh với bước ngoặt ChatGPT (2022).
• Ứng dụng và thách thức trong y tế: Đánh giá vai trò của LLM trong hỗ trợ phân loại sơ bộ, tư vấn cảm xúc và giảm tải áp lực cho hệ thống y tế công cộng. Chỉ ra những rủi ro và giới hạn căn bản: AI thiếu trực giác và kinh nghiệm lâm sàng của bác sĩ, dễ chịu ảnh hưởng bởi dữ liệu sai lệch, và chỉ đóng vai trò công cụ bổ trợ chứ không thể thay thế chuyên gia y tế.

Chương 2: Phương pháp nghiên cứu

Chương 2 luận giải việc lựa chọn mô hình, phương pháp xử lý dữ liệu và thuật toán tinh chỉnh:

• Tổng quan tài liệu chuyên ngành: Phân tích 34 công trình nghiên cứu về LLM trong sức khỏe tâm thần thu thập từ 6 cơ sở dữ liệu học thuật (PubMed, Web of Science, Google Scholar, arXiv, medRxiv, PsyArXiv), chỉ ra các vấn đề được quan tâm nhiều nhất là căng thẳng (stress), trầm cảm và nguy cơ tự tử.
• Lựa chọn mô hình VinaLLaMA-7B-chat: Mô hình ngôn ngữ tiếng Việt mã nguồn mở phát triển trên nền tảng LLaMA-2, được tiền huấn luyện trên 800 tỷ token với tập dữ liệu văn học Việt Nam gồm 250.000 tập, đạt hiệu suất vượt trội trên các thang đo VLSP, VLMU và Vietnamese Vicuna so với PhoGPT.
• Cơ sở lý thuyết của khung ESC và bộ dữ liệu ESConv: Trình bày chi tiết 3 giai đoạn và 8 chiến lược hỗ trợ cảm xúc dựa trên lý thuyết Helping Skills của Hill (2009).
• Đánh giá mô hình dịch thuật EnViT5: So sánh hiệu năng dịch Anh - Việt giữa EnViT5-base (275M tham số, huấn luyện trên ngữ liệu song song MTet 4,57 triệu cặp câu và CC100) với các mô hình khác (Google Translator, mBART, Transformer-base/big, M2M100), chứng minh hiệu quả vượt trội của EnViT5 khi áp dụng dịch thuật tự động bộ dữ liệu ESConv sang ViESConv trong vòng 6 giờ.
• Cơ chế kỹ thuật của LoRA và BitsAndBytes: Giải thích nguyên lý tối ưu hóa bộ nhớ GPU khi huấn luyện các mô hình tham số lớn thông qua phân rã ma trận và biểu diễn lượng tử hóa trọng số Int8/4-bit.

Chương 3: Xây dựng chatbot

Chương 3 trình bày chi tiết quy trình kỹ thuật 3 giai đoạn để phát triển ứng dụng chatbot:

• Giai đoạn 1 - Xây dựng bộ ngữ liệu ViESConv: Tiến hành làm sạch 1.300 cuộc hội thoại từ ESConv, loại bỏ thuộc tính dư thừa; dịch tự động sang tiếng Việt bằng mô hình VietAI/envit5-translation; tổ chức kiểm tra và biên tập thủ công bảo đảm chuẩn hóa ngữ pháp và sắc thái biểu đạt tâm lý tiếng Việt.
• Giai đoạn 2 - Chuẩn bị khuôn mẫu dữ liệu và tinh chỉnh: Chuyển đổi dữ liệu ViESConv theo cấu trúc Prompt tương thích với mô hình ngôn ngữ lớn, tích hợp lịch sử trao đổi đa lượt và nhãn chiến lược can thiệp ESC. Thiết lập huấn luyện mô hình VinaLLaMA-7B-chat trên Kaggle GPU sử dụng LoRA 4-bit với các siêu tham số tối ưu ($r=16$, $\alpha=32$, $\text{lr}=5\times 10^{-5}$, 5 epochs).
• Giai đoạn 3 - Tích hợp hệ thống ứng dụng: Kết nối đồng bộ 4 thành phần (Giao diện Chatbot-UI, Cơ sở dữ liệu Supabase/PostgreSQL, Máy chủ điều phối trung gian, Máy chủ suy luận FlaskAPI + PyNgrok).

Chương 4: Kết quả

Chương 4 tập trung vào phương pháp và kết quả kiểm thử thực nghiệm:

• Phương pháp đánh giá tự động: Trình bày cơ sở toán học và cách tính toán của các chỉ số đánh giá chất lượng sinh văn bản gồm BLEU (đo lường độ trùng khớp $n$-gram hướng chính xác), ROUGE (đo lường độ trùng khớp dựa trên độ thu hồi) và Perplexity (độ bối rối của mô hình ngôn ngữ).
• Đánh giá tương tác người dùng: Phân tích phản hồi thực tế của người tham gia thử nghiệm về tính tự nhiên, khả năng thấu hiểu và mức độ phù hợp của các phản hồi hỗ trợ cảm xúc từ chatbot.

---

Kết quả và đóng góp

Kết quả chính

• Xây dựng thành công bộ dữ liệu hội thoại hỗ trợ cảm xúc tiếng Việt ViESConv: Chuyển đổi và chuẩn hóa thành công 1.300 cuộc hội thoại đa lượt từ bộ dữ liệu chuẩn quốc tế ESConv, kế thừa đầy đủ 3 giai đoạn và 8 chiến lược can thiệp tâm lý.
• Tối ưu hóa quy trình tinh chỉnh mô hình ngôn ngữ lớn tiếng Việt: Huấn luyện thành công mô hình VinaLLaMA-7B-chat trên tập dữ liệu ViESConv với kỹ thuật LoRA và BitsAndBytes 4-bit, giúp tiết kiệm tối đa tài nguyên tính toán mà vẫn duy trì khả năng sinh ngôn ngữ mạch lạc.
• Triển khai hoàn chỉnh sản phẩm phần mềm Chatbot: Xây dựng hệ thống ứng dụng web đa tầng ổn định, có khả năng tiếp nhận đàm thoại đa lượt, lưu trữ ngữ cảnh an toàn và áp dụng linh hoạt các chiến lược hỗ trợ cảm xúc.

Đóng góp của khóa luận

1. Về mặt dữ liệu: Đóng góp bộ dữ liệu hội thoại hỗ trợ sức khỏe tinh thần bằng tiếng Việt (ViESConv) có gắn nhãn chiến lược đàm thoại khoa học, tạo nguồn tài nguyên hữu ích cho các nghiên cứu tiếp theo về NLP trong y tế và tâm lý tại Việt Nam.
2. Về mặt kỹ thuật: Cung cấp giải pháp thực nghiệm hoàn chỉnh về quy trình tinh chỉnh mô hình ngôn ngữ lớn nguồn mở cho tiếng Việt (VinaLLaMA-7B) trên môi trường hạ tầng điện toán đám mây giới hạn (GPU Kaggle).
3. Về mặt ứng dụng thực tiễn: Cung cấp một công cụ đối thoại tự động có khả năng tương tác đồng cảm, hỗ trợ bước đầu trong việc lắng nghe, giải tỏa căng thẳng cho người dùng trước khi tiếp cận các dịch vụ chăm sóc y tế chuyên nghiệp.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

• Giới hạn nội tại của trí tuệ nhân tạo: Chatbot AI không có khả năng cảm nhận trực giác, thiếu kinh nghiệm lâm sàng sâu sắc và không thể nhận diện các tín hiệu phi ngôn ngữ như các chuyên gia tâm lý trực tiếp.
• Giới hạn dữ liệu và ngôn ngữ: Dữ liệu huấn luyện xuất phát từ việc biên dịch bộ dữ liệu tiếng Anh ESConv nên dù đã qua hiệu đính thủ công vẫn có thể tồn tại những khoảng cách nhất định về đặc trưng văn hóa và thói quen bộc lộ cảm xúc của người Việt.
• Giới hạn tài nguyên phần cứng: Quá trình tinh chỉnh và triển khai phụ thuộc vào nền tảng GPU trực tuyến miễn phí (Kaggle), gây hạn chế nhất định về quy mô tham số mô hình và khả năng mở rộng phục vụ đồng thời lượng người dùng lớn.

Hướng nghiên cứu tiếp theo

• Mở rộng và bản địa hóa ngữ liệu: Xây dựng thêm các tập dữ liệu hội thoại hỗ trợ tâm lý thuần Việt từ các tình huống thực tế tại Việt Nam với sự tham gia cố vấn chuyên môn của các bác sĩ và nhà tâm lý lâm sàng.
• Nâng cấp mô hình và thuật toán: Thử nghiệm tinh chỉnh các phiên bản mô hình ngôn ngữ lớn tiên tiến hơn, kết hợp phương pháp học tăng cường từ phản hồi của con người (RLHF) để cải thiện độ tự nhiên và mức độ đồng cảm trong câu trả lời.
• Hoàn thiện cơ chế an toàn và bảo mật: Nghiên cứu các giải pháp phát hiện sớm nguy cơ khủng hoảng tâm lý nghiêm trọng (như hành vi tự hại) để kịp thời đưa ra cảnh báo chuyển tuyến y tế khẩn cấp.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho các nhóm đối tượng:

• Sinh viên và học viên ngành Công nghệ thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo: Có thể tham khảo phương pháp xây dựng pipeline tinh chỉnh mô hình ngôn ngữ lớn với tài nguyên phần cứng tối thiểu (LoRA, lượng tử hóa 4-bit với BitsAndBytes, kết hợp FlaskAPI, PyNgrok và Kaggle GPU).
• Các nhà nghiên cứu về Xử lý ngôn ngữ tự nhiên tiếng Việt: Tham khảo phương pháp xây dựng, dịch thuật và chuẩn hóa dữ liệu đàm thoại đa lượt chuyên ngành (ViESConv từ ESConv qua mô hình EnViT5).
• Các dự án ứng dụng công nghệ trong Y tế số và Tâm lý học: Tham khảo mô hình tích hợp khung hội thoại hỗ trợ cảm xúc ESC (Helping Skills Theory) vào logic điều hướng của hệ thống chatbot tự động.

---

Câu hỏi thường gặp

1. Khung hội thoại hỗ trợ cảm xúc (ESC) áp dụng trong khóa luận gồm những giai đoạn và chiến lược nào?

Khung ESC (xây dựng dựa trên Lý thuyết Kỹ năng Trợ giúp của Hill, 2009) gồm 3 giai đoạn tuần tự: Khám phá $\rightarrow$ Thấu hiểu $\rightarrow$ Hành động. Khung này vận dụng 8 chiến lược hỗ trợ cảm xúc cụ thể: (1) Hỏi, (2) Trình bày lại hoặc diễn giải, (3) Phản ánh cảm xúc, (4) Tự bộc lộ, (5) Khẳng định và trấn an, (6) Gợi ý, (7) Cung cấp thông tin, và (8) Khác.

2. Bộ dữ liệu ViESConv được xây dựng qua quy trình kỹ thuật như thế nào?

ViESConv được phát triển từ 1.300 cuộc hội thoại tiếng Anh của bộ dữ liệu gốc ESConv qua 3 bước:

1. Lọc nhiễu, loại bỏ lỗi cú pháp/chính tả và các thuộc tính dư thừa.
2. Dịch tự động sang tiếng Việt bằng mô hình VietAI/envit5-translation (hoàn thành trong khoảng 6 giờ).
3. Kiểm tra và hiệu đính thủ công chi tiết về ngữ pháp, ngữ nghĩa và thuật ngữ tâm lý với sự tham vấn kiến thức chuyên môn.

3. Tác giả sử dụng mô hình ngôn ngữ nền tảng nào và áp dụng cấu hình tinh chỉnh LoRA ra sao?

Tác giả lựa chọn mô hình VinaLLaMA-7B-chat (huấn luyện trên nền LLaMA-2 với 800 tỷ token). Cấu hình tinh chỉnh LoRA bao gồm: hạng $r = 16$, $\alpha_{\text{lora}} = 32$, $\text{lora_dropout} = 0.05$, can thiệp vào các module q_proj, k_proj, v_proj, o_proj, với $\text{batch_size} = 4$, tốc độ học $\text{learning_rate} = 5\times 10^{-5}$, huấn luyện trong 5 epochs và nạp mô hình 4-bit qua thư viện BitsAndBytes.

4. Kiến trúc hệ sinh thái phần mềm của chatbot gồm những thành phần nào?

Hệ thống gồm 4 thành phần:

• Giao diện người dùng: Dựa trên mã nguồn chatbot-ui của McKay Wrigley.
• Cơ sở dữ liệu: Supabase nền tảng PostgreSQL lưu trữ người dùng và lịch sử trò chuyện.
• Máy chủ LLM: Chạy trên Kaggle GPU, kết nối qua FlaskAPI và PyNgrok.
• Máy chủ trung gian: Quản lý bối cảnh, ghép nối prompt theo 8 chiến lược ESC và chuyển tiếp dữ liệu giữa UI và máy chủ LLM.

5. Chatbot này có khả năng thay thế hoàn toàn chuyên gia tâm lý hay bác sĩ y khoa không?

Không. Văn bản khẳng định chatbot AI chỉ đóng vai trò là công cụ hỗ trợ sơ bộ, giúp lắng nghe và giảm bớt căng thẳng ban đầu cho người dùng. AI không thể thay thế chuyên gia y tế do thiếu khả năng thấu cảm trực giác của con người, không xử lý được các tín hiệu giao tiếp phi ngôn ngữ phức tạp và không có thẩm quyền chẩn đoán hay điều trị y khoa chuyên sâu.

---

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Thị Trang đã giải quyết trọn vẹn bài toán ứng dụng mô hình ngôn ngữ lớn tiếng Việt vào lĩnh vực chăm sóc sức khỏe tinh thần. Thông qua việc chuẩn hóa bộ ngữ liệu ViESConv theo khung hỗ trợ cảm xúc ESC và tinh chỉnh hiệu quả mô hình VinaLLaMA-7B-chat bằng kỹ thuật LoRA 4-bit, tác giả đã xây dựng thành công hệ thống chatbot đối thoại đồng cảm hoàn chỉnh trên nền tảng Web. Nghiên cứu thể hiện tính ứng dụng thực tiễn cao, đóng góp tài nguyên dữ liệu và giải pháp công nghệ có giá trị tham khảo tốt cho hướng nghiên cứu AI hỗ trợ y tế cộng đồng tại Việt Nam.

Trích đoạn nội dung tài liệu

Chương 1 giới thiệu về lý thuyết của mô hình ngôn ngữ lớn và mô hình chatbot. Cũng như những vấn đề và thách thức trong hỗ trợ sức khỏe tâm thần. Mô hình ngôn ngữ lớn Mô hình ngôn ngữ lớn (Large Language Model: LLM) là một mô hình xác suất có khả năng hiểu và sinh ngôn ngữ tự nhiên dựa trên kiến thức được thu thập từ các tập dữ liệu cực lớn. Đại diện cho một trong những ứng dụng thành công nhất của các mô hình transformer, LLM đã được ứng dụng và đưa đến nhiều thành công vượt trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), cụ thể như dịch thuật tự động, tóm tắt văn bản, sinh văn bản, hỗ trợ đào tạo và giáo dục, hỗ trợ sức khỏe y tế.

Mô hình ngôn ngữ lớn (LLM) là một mô hình ngôn ngữ với khả năng tổng quát trong việc tạo ngôn ngữ và các tác vụ xử lý ngôn ngữ tự nhiên khác. LLM có được khả năng này bằng cách học các mối quan hệ thống kê từ các văn bản trong quá trình huấn luyện tự giám sát và bán giám sát có độ phức tạp tính toán cao. Các mô hình này được đào tạo trên tập dữ liệu văn bản khổng lồ để tìm hiểu các mẫu, cấu trúc và ngữ cảnh trong ngôn ngữ, cho phép nó có khả năng tạo văn bản tương tự như con người và thực hiện nhiều tác vụ xử lý ngôn ngữ tự nhiên khác nhau. Mô hình ngôn ngữ lớn thực sự là những tiến bộ tiên tiến trong lĩnh vực học sâu (deep learning) được thiết kế để xử lý và hiểu ngôn ngữ của con người.

Các mô hình lớn nhất và có khả năng mạnh mẽ nhất, tính đến tháng 3 năm 2024, được xây dựng với kiến trúc dựa trên transformer chỉ bao gồm bộ giải mã (decoder). Các mô hình ngôn ngữ khác 3 nhau có thể có độ phức tạp khác nhau. Thuật ngữ mô hình ngôn ngữ lớn thường dùng để chỉ các mô hình sử dụng kỹ thuật học sâu và có số lượng tham số lớn, có thể từ vài tỷ đến hàng nghìn tỷ. Những mô hình này có khả năng phát hiện các quy luật phức tạp trong ngôn ngữ và tạo ra các văn bản giống với con người.

Sự phát triển của mô hình ngôn ngữ lớn dẫn đến nhiều loại mô hình khác nhau được sinh ra, mỗi loại có những đặc điểm riêng biệt, phục vụ cho các loại tác vụ riêng biệt của nó. Một số mô hình ngôn ngữ lớn nổi bật bao gồm: - Mô hình dựa trên bộ mã hóa tự động (AutoEncoder-Based): Dựa trên bộ mã hóa tự động như BERT mã hóa văn bản đầu vào thành một biểu diễn rút gọn, sau đó tạo ra văn bản mới từ biểu diễn này. Loại mô hình này thực hiện tốt trong việc tóm tắt nội dung và tạo ra văn bản một cách hiệu quả. - Mô hình chuỗi sang chuỗi (Sequence-to-Sequence): Mô hình tiếp nhận một chuỗi đầu vào và tạo ra chuỗi đầu ra tương ứng.

Được ứng dụng tốt trong tác vụ dịch văn bản sang nhiều ngôn ngữ khác nhau hoặc rút gọn thông tin cho việc tóm tắt. - Mô hình dựa trên Transformer (Transformer-Based Frameworks): Tận dụng kiến trúc nơron có khả năng giải mã các mối quan hệ ngữ cảnh phức tạp trên các đoạn văn dài. Dựa vào tính linh hoạt tốt mô hình ứng dụng cho các nhiệm vụ tạo văn bản, dịch ngôn ngữ và trả lời câu hỏi - Mô hình mạng nơ-ron đề quy (Recursive Neural Network): Mô hình này được tùy chỉnh cho dữ liệu có cấu trúc. Nổi bật với các nhiệm vụ đánh giá tâm trạng và suy luận ý nghĩa trong ngôn ngữ tự nhiên.

- Mô hình cấu trúc phân cấp (Hierarchical Structures): Mô hình này được thiết kế để hiểu văn bản ở cấp độ chi tiết, có thể là câu, đoạn văn hoặc toàn bộ tài liệu. Phục vụ cho các tác vụ phân loại tài liệu và trích xuất. Kiến trúc của mô hình ngôn ngữ lớn Các thành phần chính của mô hình ngôn ngữ lớn Các mô hình ngôn ngữ lớn là các kiến trúc mạng nơron phức tạp đã cách mạng hóa các nhiệm vụ xử lý ngôn ngữ tự nhiên. Các mô hình này bao một một số thành phần chính 4 hoạt động cùng nhau để giúp chúng hiểu, tạo ra và điều chỉnh ngôn ngữ con người một cách mạnh mẽ và chính xác.1 Các thành phần chính của mô hình ngôn ngữ lớn Bảng 1.1: Các thành phần chính của mô hình ngôn ngữ lớn Là quá trình chia một đoạn văn bản thành các phần nhỏ hơn Tokenization gọi là “token”.

Mỗi token thường là một từ hoặc một phần của từ. Tokenization đánh dấu bước nền tảng trong quá trình phát triển của các mô hình ngôn ngữ lớn, trong đó các chuỗi văn bản trải qua quá trình phân chia thành các đơn vị hoặc các token nhỏ hơn. Trong bối cảnh của các mô hình nâng cao, quá trình phát triển bao gồm việc tận dụng các thuật toán phân tách từ một cách khéo léo, đáp ứng hiệu quả khả năng của mô hình nhằm đáp ứng vốn từ vựng đa dạng cho mô hình, đồng thời đảm bảo hiệu quả hoạt động. Là các biểu diễn vectơ của từng token trong một mô hình ngôn ngữ lớn.

Các nhúng là không thể thiếu đối với hoạt 5 động quy mô lớn của mô hình ngôn ngữ lớn. Đây là các Các nhúng biểu diễn vectơ liên tục của các token để nắm bắt thông tin (Embeddings ngữ nghĩa. Do quy mô khổng lồ của các mô hình này, các ) nhúng được học thông qua quá trình đào tạo mở rộng. Các vectơ có số chiều cao mã hóa các mối quan hệ phức tạp giữa các token, làm cho mô hình có thể hiểu được những sắc thái ngữ cảnh tinh tế.

Là cơ chế cho phép mô hình tập trung vào các phần quan trọng của đầu vào trong quá trình xử lý. Đặc biệt là sự tự chú ý (self-attention) trong kiến trúc transformer, đóng vai trò quan trọng trong khả năng xử lý kích thước lớn của các Cơ chế Attention mô hình ngôn ngữ lớn. Cơ chế tự chú ý phân tích mối quan hệ giữa tất cả các token trong một chuỗi, hỗ trợ việc bắt kịp các phụ thuộc tầm xa. Trong các mô hình ngôn ngữ lớn, cơ chế attention có tính song song hóa cao, cho phép xử lý các chuỗi rất dài.

Là quá trình tiền huấn luyện ban đầu mà mô hình trải qua. Kích thước khổng lồ của mô hình ngôn ngữ lớn được khai Tiến huấn thác thông qua đào tạo trên các bộ dữ liệu lớn. Trong quá luyện (Pre- trình đào tạo, mô hình học các mẫu ngôn ngữ chung, kiến training) thức về từ và hiểu biết theo ngữ cảnh. Các mô hình được đào tạo trở thành kho lưu trữ kiến thức chuyên môn về ngôn ngữ, sau đó có thể được tinh chỉnh cho các tác vụ cụ thể bằng cách sử dụng các bộ dữ liệu nhỏ hơn.

Là một kỹ thuật trong đó kiến thức từ một nhiệm vụ có thể được chuyển giao và áp dụng cho một nhiệm vụ khác. Thay vì bắt đầu quá trình huấn luyện mô hình từ đầu cho mỗi nhiệm vụ cụ thể. kích thước lớn của mô hình đã được tiền Học chuyển huấn luyện tạo điều kiện cho khả năng học chuyển giao giao đáng kinh ngạc. Việc điều chỉnh một mô hình đã hấp thụ (Transfer learning) một lượng lớn kiến thức ngôn ngữ cho phép nó vượt trội 6 trong các nhiệm vụ khác nhau.

Phương pháp chuyển giao học tận dụng quy mô lớn của mô hình tiền huấn luyện để thích ứng với các nhiệm vụ mới mà không cần phải huấn luyện lại từ đầu. Là khả năng tạo ra văn bản tự nhiên. Sự phong phú về mặt tham số và kiến thức đã học giúp chúng có khả năng tạo văn bản to lớn. Các mô hinh có thể tạo ra văn bản mạch lạc và phù hợp với ngữ cảnh trên nhiều lĩnh vực khác nhau.

Việc tiếp xúc rộng rãi trong quá trình đào tạo cho phép Khả năng tạo chúng bắt chước cách sử dụng ngôn ngữ giống con người, sinh biến chúng thành công cụ linh hoạt cho các nhiệm vụ như (Generation tạo nội dung, dịch thuật, tóm tắt, v. Các thành phần này là ability) các khía cạnh quan trọng của mô hình ngôn ngữ lớn. Dựa vào việc phác thảo các chức năng và thuộc tính cho phép các mô hình này thường được sử dụng trong xây dựng chatbot, hiểu và tạo ra văn bản giống con người trên một loạt các tác vụ xử lý ngôn ngữ tự nhiên hiệu quả. Kiến trúc của mô hình ngôn ngữ lớn Kiến trúc của các mô hình ngôn ngữ lớn hiện nay đều bắt nguồn từ khung Transformer, được các nhà nghiên cứu tại Google phát triển vào năm 2017.

Khung này về cơ bản đã định hình lại bối cảnh xử lý và hiểu ngôn ngữ tự nhiên. Transformer bao gồm hai thành phần chính: Bộ mã hóa (encoder) và bộ giải mã (decoder). Mô hình phức tạp này dựa trên việc chia nhỏ dữ liệu đầu vào thành các token, sau đó thực hiện các phép toán nhằm khám phá các mối quan hệ phức tạp giữa các token. Quá trình này trích xuất và nhận dạng các mẫu theo cách tương tự như khả năng hiểu của con người.

Kiến trúc của mô hình Transformer không sử dụng sự lặp lại như các mô hình truyền thống khác như Mạng thần kinh hồi quy (RNNs) hoặc Mạng bộ nhớ dài-ngắn hạn (LSTMs). Thay vào đó , Transformer sử dụng cơ chế tự chú ý (self-attention) để tạo ra các phụ thuộc chung giữa đầu vào và đầu ra. Transformer cho phép song song hóa đáng kể hơn và là mô hình chuyển đổi đầu tiên dựa hoàn toàn vào cơ chế tự chú ý để tính toán 7 biểu diễn của đầu vào và đầu ra mà không sử dụng các mạng nơron nối tiếp được sắp xếp theo chuỗi hoặc tích chập [3].2 Kiến trúc của Transformer Trong hình 2.2 ta có thể quan sát thấy có một mô hình bộ mã hóa ở bên trái và bộ giải mã ở bên phải. Cả hai đều chứa phần cốt lõi là cơ chế tập trung đa đầu (Multi-Head Attention) và mạng truyền xuôi theo vị trí (Feed-Forward Network) được lặp lại N lần.

Sức mạnh của Transformer nằm ở cơ chế tự chú ý. Cơ chế này góp phần đẩy nhanh quá trình học tập và mang lại cho mô hình Transformer khả năng vượt trội để xem xét kỹ lưỡng một cách tỉ mỉ các phân đoạn riêng biệt của một trình tự nhất định hoặc thậm chí bao gồm toàn bộ ngữ cảnh này cho phép mô hình đưa ra các dự đoán với mức độ chính 8 xác và phù hợp cao hơn. Đầu tiên, mỗi từ hoặc phần tử trong chuỗi đầu vào được ánh xạ sang ba loại vectơ: vectơ Truy vấn (vectơ Query), vectơ Khóa (vectơ Key) và vectơ Giá trị (vectơ Value).