Bối cảnh và vấn đề nghiên cứu
Trong lĩnh vực trí tuệ nhân tạo, hệ thống trả lời câu hỏi (Question Answering system - QA) đóng vai trò là một ứng dụng tương tác tự nhiên giữa con người và máy tính. Trước khi các mô hình ngôn ngữ lớn (Large Language Models - LLMs) xuất hiện, các hệ thống trả lời câu hỏi chủ yếu được xây dựng dựa trên hai hướng tiếp cận truyền thống: hệ thống dựa trên luật (rule-based system) và hệ thống dựa trên truy xuất thông tin (retrieval-based system). Hệ thống rule-based sử dụng các mẫu đối sánh và quy tắc cố định, dẫn đến sự kém linh hoạt trước các lỗi chính tả, ngữ pháp và thường chỉ xử lý được lượt hội thoại cuối cùng. Trong khi đó, hệ thống retrieval-based chỉ có thể tìm kiếm và trích xuất lại các câu trả lời đã được định nghĩa sẵn trong cơ sở dữ liệu có cấu trúc, không có năng lực tự sinh văn bản mới để giải thích ngữ cảnh phức tạp.
Sự phát triển của kiến trúc Transformer và các LLM tiêu biểu như ChatGPT (OpenAI ra mắt tháng 11 năm 2022) đã thay đổi căn bản cách tiếp cận xử lý ngôn ngữ tự nhiên. LLM có khả năng hiểu sâu ngữ nghĩa, duy trì ngữ cảnh hội thoại và sinh câu trả lời tự nhiên. Tuy nhiên, khi áp dụng vào các lĩnh vực đặc thù như pháp luật, các LLM gặp phải hai rào cản kỹ thuật lớn: hiện tượng "ảo giác" (hallucination - đưa ra thông tin sai lệch nhưng có vẻ hợp lý) và giới hạn về dữ liệu tri thức tĩnh (mô hình GPT-3.5-Turbo chỉ cập nhật dữ liệu đến tháng 10 năm 2022, trong khi các quy phạm pháp luật liên tục được sửa đổi, bổ sung). Việc người dùng tra cứu văn bản pháp luật đòi hỏi tính chính xác tuyệt đối theo từng điều khoản, quy định có hiệu lực thi hành. Xuất phát từ bối cảnh đó, khóa luận tập trung giải quyết bài toán: xây dựng một hệ thống trả lời câu hỏi có khả năng truy xuất và xử lý dữ liệu chuyên biệt từ văn bản pháp luật Việt Nam bằng cách kết hợp mô hình ngôn ngữ lớn với kỹ thuật RAG.
Mục tiêu nghiên cứu của đề tài gồm 5 điểm chính:
- Tìm hiểu kiến trúc Transformer.
- Tìm hiểu các LLM dựa trên kiến trúc Transformer.
- Tìm hiểu hệ thống trả lời câu hỏi dựa trên các LLM.
- Kết hợp mô hình RAG với một LLM để xây dựng hệ thống trả lời câu hỏi trên lĩnh vực luật pháp Việt Nam.
- Xây dựng giao diện website để hiện thực hóa hệ thống trả lời câu hỏi.
Nhiệm vụ nghiên cứu cụ thể trong đề cương văn bản bao gồm:
- Tìm hiểu các kiến thức liên quan đến mô hình ngôn ngữ lớn.
- Tìm hiểu về hệ thống trả lời câu hỏi dựa trên mô hình ngôn ngữ lớn.
- Xây dựng hệ thống trả lời câu hỏi liên quan đến pháp luật Việt Nam.
Đối tượng và phạm vi nghiên cứu:
- Đối tượng nghiên cứu: Các mô hình ngôn ngữ lớn hiện nay và kỹ thuật Retrieval-Augmented Generation (RAG) phục vụ xây dựng hệ thống trả lời câu hỏi tự động.
- Phạm vi nghiên cứu: Đề tài được thực hiện trong thời gian một học kỳ (từ ngày 01/03/2024 đến ngày 12/07/2024) tại Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh. Dữ liệu áp dụng là văn bản quy phạm pháp luật trích xuất từ Bộ pháp điển điện tử Việt Nam. Về mặt mô hình, khóa luận tập trung phân tích khối Decoder của Transformer, áp dụng mô hình sinh GPT-3.5-Turbo của OpenAI kết hợp công cụ trích xuất mã nguồn mở và môi trường tính toán Google Colab.
Cơ sở lý thuyết và phương pháp
Khóa luận thiết lập nền tảng lý thuyết thông qua hệ thống kiến trúc mạng nơ-ron học sâu và các kỹ thuật xử lý ngôn ngữ tự nhiên:
- Khái niệm mô hình ngôn ngữ: Mô hình ngôn ngữ gán một phân phối xác suất cho chuỗi các token $(x_1, x_2, \dots, x_L)$ thuộc từ điển $V$. Mô hình tối ưu phải gán xác suất cao cho các câu đúng ngữ pháp và ngữ nghĩa, đồng thời gán xác suất thấp cho các chuỗi không hợp lý.
- Kiến trúc Transformer (Vaswani et al., 2017): Khóa luận phân tích cơ chế Attention loại bỏ tính tuần tự của mạng RNN và LSTM. Các thành phần chính được khảo sát bao gồm:
- Scaled Dot-Product Attention: Tính toán ma trận trọng số tương quan giữa ma trận Query ($Q$) và Key ($K$) theo công thức $scores = \text{Softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$.
- Multi-Head Attention: Chạy song song nhiều lớp Attention với các ma trận trọng số $W_q, W_k, W_v$ giúp mô hình nắm bắt thông tin ở nhiều không gian biểu diễn khác nhau.
- Feed-Forward Network (FFN): Gồm hai lớp Dense biến đổi qua hàm kích hoạt phi tuyến ReLU: $FFN(X) = \text{ReLU}(XW_1 + b_1)W_2 + b_2$, với kích thước mở rộng từ $d_{model}$ sang $d_{ff}$ rồi thu hẹp về $d_{model}$.
- Residual Connection và Layer Normalization: Giúp giảm thiểu hiện tượng triệt tiêu gradient (vanishing gradients) và ổn định phân phối dữ liệu trong các mạng sâu.
- Phân loại LLM: Khóa luận phân chia cây tiến hóa mô hình ngôn ngữ từ 2018 đến 2023 thành ba nhánh: Encoder-only (BERT, RoBERTa, ALBERT - phục vụ phân loại, mã hóa ngữ cảnh hai chiều), Encoder-Decoder (T5, BART - phục vụ dịch máy, tóm tắt) và Decoder-only (GPT-1, GPT-2, GPT-3, GPT-4 - phục vụ sinh văn bản tự động tiếp nối ngữ cảnh).
- Kỹ thuật RAG (Retrieval-Augmented Generation): So sánh với kỹ thuật Fine-tuning, RAG giải quyết bài toán thiếu hụt dữ liệu chuyên ngành mà không cần tái huấn luyện toàn bộ tham số mô hình, tiết kiệm chi phí tính toán GPU/TPU và hạn chế lượng phát thải $CO_2$. Kiến trúc RAG chuẩn gồm 3 khối: Vector Database, Bộ truy xuất (Retriever) và Bộ tạo sinh (Generator).
- Phương pháp phân tách văn bản (Chunking): Phân tích hai cơ chế chính:
- Text Splitter: Chia nhỏ dựa trên tham số cố định gồm
chunk_size và chunk_overlap. Nhược điểm là dễ làm đứt gãy mạch ngữ cảnh logic giữa các câu.
- Semantic Splitter: Sử dụng mô hình nhúng (Embedding) để gom cụm các câu có độ tương đồng ngữ nghĩa cao vào cùng một chunk.
- Phương pháp truy vấn dữ liệu:
- Vector Search: Biến đổi truy vấn và tài liệu thành vector số học, đo độ tương đồng ngữ nghĩa bằng Cosine Similarity: $\text{cosine_similarity}(A, B) = \frac{A \cdot B}{|A||B|}$.
- Keyword Search: Phương pháp khớp từ khóa truyền thống thông qua trọng số TF-IDF: $tf\text{-}idf(t, d) = tf(t, d) \times \log\left(\frac{N+1}{n_t+1}\right)$.
- Hybrid Search: Kết hợp đồng thời vector search và keyword search, sau đó thực hiện rerank để xếp hạng các đoạn văn bản liên quan nhất.
- Kỹ thuật đánh giá hệ thống RAG: Sử dụng khung đánh giá Ragas với 2 chỉ số:
- Faithfulness (Độ tin cậy): Tỷ lệ các khẳng định trong câu trả lời sinh ra có thể suy diễn trực tiếp từ ngữ cảnh trích xuất.
- Answer Relevance (Độ tương quan): Đo lường sự phù hợp giữa câu trả lời và câu hỏi của người dùng thông qua độ tương đồng cosine trung bình giữa embedding của câu hỏi gốc và các câu hỏi được tạo nhân tạo từ câu trả lời.
Thiết kế và triển khai
Hệ thống được thiết kế theo mô hình kiến trúc ứng dụng web kết hợp dịch vụ AI xử lý theo chu trình RAG chuyên biệt cho dữ liệu pháp điển.
| Thành phần hệ thống |
Công nghệ / Công cụ sử dụng |
Vai trò và thông số kỹ thuật |
| Nguồn dữ liệu |
Cổng thông tin Bộ pháp điển (phapdien.vn) |
45 chủ đề quy phạm pháp luật cấp trung ương |
| Thu thập & tiền xử lý |
Thư viện Python: BeautifulSoup, re, os |
Trích xuất các thẻ div class='_content' và thẻ <p>, lọc bỏ thẻ rác, lưu file JSON |
| Nạp dữ liệu |
LangChain JSONLoader |
Đọc dữ liệu từ file PDVN.json, trích xuất trường NoiDung thành các đối tượng Document |
| Phân tách văn bản |
RecursiveCharacterTextSplitter |
Kết hợp Tokenizer của vinai/PhoGPT-4B-Chat, cấu hình chunk_size = 512, chunk_overlap = 112 |
| Mô hình Tokenizer |
vinai/PhoGPT-4B-Chat (AutoTokenizer) |
Mô hình tiếng Việt, kích thước tham số 7B, dimension = 4096, max_token = 4096 |
| Mô hình tạo sinh |
OpenAI GPT-3.5-Turbo |
Tiếp nhận prompt kết hợp truy vấn và ngữ cảnh, sinh câu trả lời tự nhiên |
| Môi trường tính toán |
Google Colab |
Khai thác GPU phục vụ bước embedding và tiền xử lý dữ liệu lớn |
| Giao diện ứng dụng |
Website người dùng |
Giao diện trang chủ, khung hội thoại và màn hình hiển thị ngữ cảnh pháp lý đính kèm |
Quy trình triển khai pipeline xử lý dữ liệu:
- Thu thập dữ liệu: Chương trình duyệt qua các file HTML đề mục đã tải về, sử dụng
BeautifulSoup để parse cấu trúc cây DOM, tìm kiếm vùng văn bản nội dung. Thư viện biểu thức chính quy (re) được dùng để chuẩn hóa cấu trúc phân cấp (chương, mục, điều) và trích xuất riêng biệt từng điều luật cùng số hiệu văn bản pháp quy liên quan.
- Tiền xử lý và chia chunk: Toàn bộ điều luật được chuyển đổi thành tài liệu văn bản. Dựa trên phân tích phân phối độ dài (phần lớn điều luật dưới 400 token), hệ thống áp dụng
RecursiveCharacterTextSplitter từ thư viện LangChain kết hợp với bộ phân tách từ vựng của PhoGPT. Cấu hình độ dài chunk 512 token cùng phần chồng lấn 112 token giúp bảo toàn ngữ cảnh hoàn chỉnh của các điều khoản luật khi đưa vào cơ sở dữ liệu vector.
- Tích hợp truy xuất và phản hồi: Khi người dùng gửi câu hỏi, hệ thống tiến hành đối sánh ngữ nghĩa trong cơ sở dữ liệu vector, chọn lọc các đoạn văn bản luật tương thích nhất đưa vào prompt làm ngữ cảnh nền tảng (Context). Mô hình GPT-3.5-Turbo đóng vai trò tổng hợp ngữ cảnh và tạo sinh phản hồi giải thích điều luật cho người dùng.
Nội dung chính theo từng chương
Chương 1: Mô hình ngôn ngữ lớn
Chương này tập trung trình bày bản chất lý thuyết của mô hình ngôn ngữ và nguồn gốc kiến trúc mạng học sâu:
- Định nghĩa toán học về mô hình phân phối xác suất từ vựng, vai trò của độ dài ngữ cảnh và các phép đo ngôn ngữ.
- Chi tiết cấu trúc khối Transformer: Cơ chế Scaled Dot-Product Attention, Multi-Head Attention với các bộ trọng số Query, Key, Value; cấu trúc mạng nơ-ron truyền thẳng (FFN) sử dụng hàm kích hoạt ReLU; cơ chế kết nối dư và chuẩn hóa lớp để khắc phục vấn đề triệt tiêu gradient.
- Tiến trình phát triển của LLM từ năm 2018 đến năm 2023: Khảo sát các mốc lịch sử từ ELMo, GPT-1 (117 triệu tham số, tập BookCorpus, 12 khối Transformer), BERT (2019, mã hóa hai chiều), GPT-2 (1,5 tỷ tham số, tập WebText, context 1024), GPT-3 (2020, 175 tỷ tham số, tập WebText2, context 2048), cho đến GPT-4 (2023, ước tính 1,7 triệu tỷ tham số), cùng các mô hình mã nguồn mở như LLaMA, PaLM, MT-NLG.
- Khảo sát các yếu tố kỹ thuật khi gia tăng kích thước mô hình: Chi phí phần cứng, thời gian huấn luyện kéo dài hàng tuần/tháng, yêu cầu tài nguyên GPU/TPU và tác động môi trường do phát thải $CO_2$.
- Phân tích sâu kiến trúc Decoder-only với đại diện là dòng mô hình GPT, phương thức dự đoán token kế tiếp và vai trò của giới hạn cửa sổ ngữ cảnh đối với việc xử lý văn bản dài.
Chương 2: Tổng quan hệ thống trả lời câu hỏi dựa trên mô hình ngôn ngữ lớn
Chương 2 phân tích phương pháp luận xây dựng hệ thống hỏi đáp tự động thông minh:
- Tổng quan ứng dụng của hệ thống QA trong các lĩnh vực: Trợ lý ảo, giáo dục - đào tạo (gia sư ảo), y tế - sức khỏe và dịch vụ khách hàng.
- So sánh chi tiết hai phương pháp cập nhật tri thức: Fine-tuning (yêu cầu chi phí lớn, dễ gây quá khớp, tiêu hao tài nguyên huấn luyện) và RAG (tách biệt giữa tri thức lưu trữ và năng lực sinh ngôn ngữ, cập nhật dữ liệu linh hoạt, hạn chế tối đa ảo giác).
- Phân tích kỹ thuật các thành phần RAG:
- Vector Database: Nguyên lý lưu trữ vector nhúng; phân tích hiện tượng suy giảm độ chính xác theo vị trí tài liệu (độ chính xác đạt cao nhất ~75% ở vị trí đầu tiên, giảm xuống 55% - 60% ở các vị trí giữa 2 đến 10 do giới hạn ngữ cảnh của LLM, sau đó tăng nhẹ lên khoảng 65% ở vị trí cuối).
- So sánh kỹ thuật phân đoạn văn bản giữa Text Splitter truyền thống và Semantic Splitter dựa trên mô hình Embedding.
- Các kỹ thuật biểu diễn từ vựng: Word2Vec và BERT.
- Ba cơ chế tìm kiếm tài liệu: Vector search (Cosine similarity), Keyword search (TF-IDF) và Hybrid search kết hợp rerank.
- Khung đánh giá chất lượng hệ thống RAG: Phân tích nguyên lý thư viện Ragas, công thức và quy trình xác thực từng bước cho hai độ đo Faithfulness và Answer Relevance.
Chương 3: Xây dựng hệ thống trả lời câu hỏi hỗ trợ người dùng lĩnh vực pháp luật Việt Nam
Chương 3 trình bày chi tiết quá trình hiện thực hóa giải pháp trên tập dữ liệu thực tế:
- Định nghĩa bài toán tư vấn pháp lý tự động tại Việt Nam: Giải quyết nhu cầu tra cứu quy định pháp luật phức tạp của người dân và hỗ trợ chuyên viên pháp lý.
- Xây dựng tập dữ liệu pháp luật từ Bộ pháp điển Việt Nam (nguồn
phapdien.vn): Bộ pháp điển bao gồm 45 chủ đề, được phân cấp theo đề mục, chương, mục, tiểu mục và điều.
- Quy trình thu thập dữ liệu bằng mã nguồn Python: Sử dụng
BeautifulSoup bóc tách mã nguồn HTML, lấy nội dung các thẻ quy phạm pháp luật, sử dụng biểu thức chính quy xử lý cấu trúc và xuất ra định dạng JSON (PDVN.json).
- Khảo sát thống kê dữ liệu: Tập dữ liệu thu thập gồm hơn 81.000 văn bản/điều luật. Biểu đồ phân phối độ dài cho thấy: hơn 60.000 document có độ dài tập trung trong khoảng 0 - 400 token; hơn 12.000 document nằm trong khoảng 400 - 1000 token; chỉ có hơn 2.000 document có độ dài vượt trên 1000 token.
- Quy trình nhúng và phân tách văn bản: Sử dụng
JSONLoader nạp dữ liệu, áp dụng RecursiveCharacterTextSplitter với tokenizer của mô hình vinai/PhoGPT-4B-Chat (mô hình 7B tham số, vector chiều 4096, max token 4096) để bẻ nhỏ các tài liệu vượt ngưỡng thành các chunk 512 token có overlap 112 token trên nền tảng Google Colab.
Chương 4: Xây dựng website hiện thực hóa hệ thống trả lời câu hỏi
Chương này mô tả việc đóng gói mô hình thành một sản phẩm phần mềm hoàn chỉnh:
- Phân tích yêu cầu chức năng của hệ thống tư vấn pháp luật trực tuyến và thiết kế cơ sở dữ liệu hỗ trợ lưu trữ phiên làm việc, lịch sử hỏi đáp.
- Lựa chọn công nghệ xây dựng website phục vụ người dùng cuối.
- Hiện thực hóa giao diện website tương tác:
- Giao diện trang chủ của hệ thống tư vấn luật pháp Việt Nam cho phép nhập câu hỏi.
- Giao diện hiển thị luồng nội dung trao đổi, câu hỏi và câu trả lời do LLM sinh ra.
- Giao diện hiển thị trực quan các đoạn ngữ cảnh (văn bản quy phạm trích xuất) được hệ thống RAG cung cấp làm bằng chứng cho câu trả lời.
- Thử nghiệm và demo các kịch bản tra cứu quy định pháp luật thực tế trên giao diện.
Kết quả và đóng góp
Khóa luận đạt được các kết quả cụ thể về mặt dữ liệu, kỹ thuật và ứng dụng:
- Xây dựng thành công bộ dữ liệu pháp luật Việt Nam dạng số hóa chuẩn: Thu thập và làm sạch cấu trúc hơn 81.000 điều luật từ 45 chủ đề của Bộ pháp điển điện tử quốc gia, tổ chức lưu trữ dạng JSON có cấu trúc rõ ràng.
- Khảo sát định lượng phân phối token của văn bản quy phạm pháp luật tiếng Việt, xác định ngưỡng phân bổ chính (trên 74% điều luật có độ dài dưới 400 token) để thiết lập thông số chunking kỹ thuật tối ưu.
- Thiết lập quy trình tiền xử lý RAG tối ưu hóa cho tiếng Việt: Kết hợp bộ tokenizer của mô hình ngôn ngữ tiếng Việt chuyên biệt (
vinai/PhoGPT-4B-Chat) với công cụ phân tách văn bản đệ trình của LangChain (chunk_size = 512, chunk_overlap = 112).
- Triển khai thành công hệ sinh thái hỏi đáp kết hợp giữa mô hình sinh GPT-3.5-Turbo và kỹ thuật truy xuất RAG trên nền tảng Google Colab.
- Xây dựng hoàn chỉnh ứng dụng website tra cứu pháp luật cho phép người dùng nhập truy vấn ngôn ngữ tự nhiên và hiển thị minh bạch ngữ cảnh căn cứ pháp lý của câu trả lời.
- Về mặt đóng góp: Đề tài đã đề xuất một giải pháp thực tế giải quyết bài toán thiếu hụt tri thức pháp lý cục bộ của các mô hình ngôn ngữ thương mại, cung cấp mô hình mẫu trong việc khai thác dữ liệu mở của chính phủ để phục vụ cộng đồng.
Hạn chế và hướng nghiên cứu tiếp
Khóa luận chỉ ra các hạn chế kỹ thuật và phạm vi hiện tại:
- Giới hạn phần cứng: Việc thử nghiệm và xử lý dữ liệu phụ thuộc vào laptop cá nhân và dịch vụ miễn phí Google Colab, không đủ tài nguyên tính toán để tiến hành fine-tuning mô hình ngôn ngữ lớn riêng biệt.
- Sự phụ thuộc vào chất lượng Retriever: Hiệu năng và độ chính xác của câu trả lời phụ thuộc chặt chẽ vào các tài liệu do bộ truy xuất tìm được. Nếu bước truy xuất trích xuất sai văn bản quy phạm, mô hình ngôn ngữ lớn sẽ không có căn cứ chính xác để phản hồi.
- Phạm vi dữ liệu: Hệ thống mới chỉ bao hàm các quy phạm pháp luật thuộc Bộ pháp điển cấp trung ương (không bao gồm văn bản pháp luật địa phương hoặc các án lệ thực tế).
- Chi phí và tính khả dụng của mô hình sinh: Việc sử dụng API thương mại của OpenAI (GPT-3.5-Turbo) tạo ra sự phụ thuộc vào bên thứ ba và phát sinh chi phí khi mở rộng quy mô người dùng.
Hướng nghiên cứu tiếp theo được tác giả vạch ra trong kết luận:
- Nâng cấp kỹ thuật truy xuất: Tích hợp mô hình Hybrid Search hoàn chỉnh kết hợp giữa BM25/TF-IDF và Vector Search, áp dụng các thuật toán Reranking tiên tiến để nâng cao độ chính xác ở vị trí văn bản đầu tiên.
- Mở rộng tập dữ liệu: Bổ sung thêm hệ thống văn bản hướng dẫn thi hành, thông tư địa phương và cơ sở dữ liệu án lệ.
- Thử nghiệm các mô hình mã nguồn mở nội địa: Nghiên cứu tích hợp các mô hình LLM mã nguồn mở chạy độc lập trên máy chủ riêng nhằm bảo mật dữ liệu và tối ưu chi phí vận hành.
Giá trị tham khảo
Tài liệu khóa luận mang lại giá trị học thuật và ứng dụng thực tiễn cho nhiều nhóm đối tượng:
- Sinh viên và học viên chuyên ngành Công nghệ thông tin, Hệ thống thông tin, Khoa học dữ liệu: Khóa luận là tài liệu tham khảo bài bản về việc xây dựng pipeline RAG hoàn chỉnh từ khâu cào dữ liệu web (web scraping), tiền xử lý văn bản, nhúng vector đến tích hợp LLM.
- Người nghiên cứu về NLP tiếng Việt: Tài liệu cung cấp cách tiếp cận thực tế khi ứng dụng tokenizer tiếng Việt (
vinai/PhoGPT-4B-Chat) trong việc chia đoạn văn bản pháp luật, thay vì sử dụng các tokenizer mặc định cho tiếng Anh gây hiện tượng phân mảnh từ (subword fragmentation).
- Kỹ sư phát triển phần mềm và hệ sinh thái GovTech: Quy trình chuẩn hóa cây dữ liệu Bộ pháp điển điện tử thành kho tri thức có cấu trúc JSON là tiền đề hữu ích để xây dựng các trợ lý ảo hỗ trợ dịch vụ hành chính công.
Câu hỏi thường gặp
Tại sao tác giả lựa chọn kỹ thuật RAG thay vì Fine-tuning để xây dựng hệ thống hỏi đáp pháp luật?
Phương pháp fine-tuning đòi hỏi huấn luyện lại các tham số mạng nơ-ron, tiêu tốn rất nhiều tài nguyên tính toán phần cứng GPU/TPU, thời gian kéo dài và phát sinh chi phí lớn, đồng thời khó đáp ứng việc cập nhật liên tục khi văn bản luật thay đổi. Kỹ thuật RAG khắc phục các nhược điểm này bằng cách giữ nguyên mô hình nền tảng, chỉ thực hiện truy xuất ngữ cảnh mới nhất từ cơ sở dữ liệu bên ngoài đưa vào prompt, vừa tiết kiệm chi phí, vừa hạn chế tình trạng ảo giác thông tin.
Bộ dữ liệu pháp luật trong khóa luận được thu thập từ nguồn nào và quy mô ra sao?
Dữ liệu được bóc tách từ Cổng thông tin điện tử pháp điển Việt Nam (phapdien.vn). Đây là tập hợp các quy phạm pháp luật đang còn hiệu lực do các cơ quan nhà nước ở trung ương ban hành (trừ Hiến pháp), bao gồm 45 chủ đề. Sau khi thu thập bằng BeautifulSoup và làm sạch, tác giả thu được hơn 81.000 tài liệu điều luật lưu dưới định dạng JSON.
Phân phối độ dài các điều luật trong bộ dữ liệu có đặc điểm gì và tác giả xử lý như thế nào?
Theo thống kê trong Chương 3, phần lớn tài liệu (hơn 60.000 điều luật) có độ dài từ 0 đến 400 token; hơn 12.000 điều luật dài từ 400 đến 1000 token; và hơn 2.000 điều luật dài trên 1000 token. Do giới hạn ngữ cảnh của mô hình ngôn ngữ và để đảm bảo tính tập trung của thông tin, tác giả đã sử dụng kỹ thuật phân tách văn bản đệ trình với tham số chunk_size = 512 và chunk_overlap = 112.
Tại sao tác giả sử dụng tokenizer của mô hình vinai/PhoGPT-4B-Chat trong bước phân tách văn bản?
Mô hình vinai/PhoGPT-4B-Chat được huấn luyện chuyên biệt trên tập dữ liệu tiếng Việt lớn cho các tác vụ xử lý ngôn ngữ tự nhiên. Việc sử dụng AutoTokenizer từ mô hình này giúp bộ tách văn bản hiểu đúng ranh giới từ và cấu trúc ngữ nghĩa tiếng Việt, tránh hiện tượng chia cắt sai cụm từ pháp lý chuyên ngành so với các bộ tách từ quốc tế.
Thư viện nào được đề xuất để đánh giá chất lượng hệ thống RAG và gồm những chỉ số gì?
Khóa luận sử dụng thư viện Ragas để đo lường định lượng hệ thống dựa trên hai chỉ số: Faithfulness (đo lường tính trung thực, đảm bảo câu trả lời hoàn toàn có thể suy diễn từ ngữ cảnh luật được trích xuất) và Answer Relevance (đo lường độ tương quan, tính toán độ tương đồng cosine giữa embedding câu hỏi gốc và các câu hỏi được sinh nhân tạo từ câu trả lời).
Kết luận
Khóa luận của tác giả Lê Huỳnh Thanh Dưỡng đã nghiên cứu toàn diện cơ sở lý thuyết của kiến trúc Transformer và các dòng mô hình ngôn ngữ lớn Decoder-only hiện đại. Đề tài đã xây dựng thành công quy trình ứng dụng kỹ thuật RAG trên tập dữ liệu hơn 81.000 quy phạm pháp luật từ Bộ pháp điển điện tử Việt Nam, kết hợp hiệu quả giữa tokenizer tiếng Việt của PhoGPT và mô hình sinh GPT-3.5-Turbo. Sản phẩm website hoàn thiện đã chứng minh tính khả thi của giải pháp trong việc hỗ trợ người dùng tra cứu thông tin pháp lý chính xác kèm ngữ cảnh trích dẫn minh bạch.
