Document Processing and Querying Using Large Language Models

Đồ án tốt nghiệp xử lý và truy vấn tài liệu bằng mô hình ngôn ngữ lớn tại ĐH Sư phạm Kỹ thuật TP.HCM

• Tác giả: Đinh Tấn Dũng
• Người hướng dẫn: TS. Trần Nhật Quang
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Document Processing and Querying Using Large Language Models
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan xử lý và truy vấn tài liệu bằng LLM tại ĐH SPKT TP

Nghiên cứu xử lý và truy vấn tài liệu bằng mô hình ngôn ngữ lớn được thực hiện tại Khoa Đào tạo Quốc tế thuộc Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh. Đề tài tập trung giải quyết bài toán tra cứu văn bản học thuật và dữ liệu nội bộ. Kỹ thuật tạo sinh tăng cường truy xuất dữ liệu đóng vai trò nền tảng. Hệ thống kết hợp khả năng hiểu ngữ cảnh của mô hình ngôn ngữ với cơ sở dữ liệu chuyên biệt. Người sử dụng chỉ cần tải tài liệu lên thư mục chỉ định và đặt câu hỏi qua trình duyệt. Nền tảng hoạt động hoàn toàn trong mạng cục bộ mà không cần kết nối internet ra ngoài. Cơ chế này ngăn chặn hoàn toàn nguy cơ rò rỉ thông tin nhạy cảm. Giao diện trực quan giúp thao tác tra cứu trở nên nhanh chóng và thuận tiện. Tốc độ phản hồi đạt mức tối ưu nhờ cấu hình phần cứng tương thích. Giải pháp mang lại giá trị thực tiễn cao cho công tác quản lý tài liệu đại học.

1.1. Bối cảnh nghiên cứu tài liệu tại ĐH SPKT TP.HCM

Khối lượng tài liệu học thuật và văn bản hành chính tại các trường đại học gia tăng nhanh chóng. Nhu cầu tìm kiếm thông tin chính xác từ các nguồn lưu trữ trở nên cấp thiết. Phương pháp tìm kiếm từ khóa truyền thống bộc lộ nhiều hạn chế về mặt hiểu ngữ nghĩa. Người dùng thường mất nhiều thời gian tổng hợp câu trả lời từ các tài liệu dài. Đề tài tốt nghiệp ngành Công nghệ Thông tin tại Trường ĐH SPKT TP.HCM ra đời nhằm giải quyết vấn đề này. Dự án xây dựng một công cụ thông minh có khả năng đọc hiểu tài liệu phức tạp. Toàn bộ quy trình tra cứu được tự động hóa. Kết quả trả về có tính chính xác cao và đính kèm nguồn trích dẫn rõ ràng.

1.2. Mục tiêu phát triển hệ thống truy vấn thông minh

Mục tiêu cốt lõi là phát triển ứng dụng truy vấn tài liệu an toàn và hiệu quả cao. Hệ thống cho phép người dùng tiếp cận dữ liệu nhạy cảm mà không để lộ thông tin ra bên ngoài. Ứng dụng triển khai trên máy tính cá nhân hoặc hệ thống mạng nội bộ trường học. Quy trình thao tác diễn ra đơn giản thông qua giao diện web quen thuộc. Người quản trị dễ dàng cấu hình mô hình ngôn ngữ phù hợp với năng lực thiết bị. Ngoài ra, giải pháp chú trọng hỗ trợ xử lý ngôn ngữ tiếng Việt một cách tự nhiên. Tốc độ sinh câu trả lời được tối ưu hóa để đảm bảo trải nghiệm người dùng luôn liền mạch.

II. Thách thức xử lý và truy vấn tài liệu bằng LLM tại ĐH SPKT TP

Quá trình triển khai mô hình ngôn ngữ lớn trong môi trường giáo dục đối mặt nhiều trở ngại kỹ thuật. Vấn đề bảo mật dữ liệu luôn đặt lên hàng đầu. Các dịch vụ đám mây công cộng tiềm ẩn nguy cơ rò rỉ tài liệu nội bộ nghiêm trọng. Chi phí duy trì hạ tầng trực tuyến cũng là gánh nặng tài chính đối với các cơ sở đào tạo. Bên cạnh đó, hiện tượng ảo giác thông tin của mô hình ngôn ngữ làm giảm độ tin cậy của câu trả lời. Mô hình có thể tự tạo ra thông tin sai lệch khi tài liệu chuyên ngành quá phức tạp. Khả năng xử lý tiếng Việt của nhiều mô hình nguồn mở quốc tế vẫn còn hạn chế về từ vựng và cấu trúc ngữ pháp. Yêu cầu về phần cứng cũng là một rào cản lớn khi chạy các mô hình tham số lớn trên máy cục bộ. Bộ nhớ đồ họa hạn chế gây ra hiện tượng nghẽn cổ chai trong quá trình tính toán. Những yếu tố này đòi hỏi một phương pháp tiếp cận có tính chọn lọc và tối ưu hóa cao.

2.1. Rủi ro bảo mật và chi phí hạ tầng điện toán đám mây

Sử dụng các API đám mây thương mại khiến tài liệu nội bộ của nhà trường bị truyền ra máy chủ bên ngoài. Điều này vi phạm nghiêm trọng các quy định về an toàn thông tin học đường. Những tài liệu như đề thi, hồ sơ nghiên cứu và thông tin sinh viên đòi hỏi sự riêng tư tuyệt đối. Chi phí duy trì thuê bao định kỳ cho các nền tảng thương mại tạo gánh nặng lớn cho ngân sách. Hơn nữa, sự phụ thuộc vào đường truyền mạng ngoài làm gián đoạn công việc khi mất kết nối. Do đó, việc chuyển hướng sang mô hình chạy cục bộ là yêu cầu mang tính bắt buộc.

2.2. Hiện tượng ảo giác và rào cản xử lý tiếng Việt

Hiện tượng ảo giác là khi mô hình ngôn ngữ tạo ra câu trả lời nghe hợp lý nhưng sai sự thật. Trong nghiên cứu học thuật, sai sót này dẫn đến những hậu quả nghiêm trọng. Nhiều mô hình ngôn ngữ lớn được huấn luyện chủ yếu bằng tiếng Anh. Khi xử lý văn bản tiếng Việt phức tạp, mô hình thường dịch sai ngữ cảnh hoặc diễn đạt ngô nghê. Sự thiếu hụt dữ liệu huấn luyện tiếng Việt chất lượng cao gây khó khăn cho việc trích xuất thực thể. Do đó, hệ thống cần cơ chế kiểm soát ngữ cảnh chặt chẽ để giảm thiểu tối đa hiện tượng sai lệch này.

III. Giải pháp xử lý và truy vấn tài liệu bằng LLM tại ĐH SPKT TP

Giải pháp đề xuất áp dụng kiến trúc tạo sinh tăng cường truy xuất dữ liệu trên nền tảng mã nguồn mở. Hệ thống kế thừa ưu điểm từ LocalGPT và tích hợp linh hoạt với môi trường LM Studio. Quy trình xử lý bắt đầu bằng việc chuyển đổi tài liệu đa định dạng thành các phân đoạn văn bản nhỏ. Tiếp theo, mô hình nhúng đa ngôn ngữ E5 tiến hành chuyển hóa văn bản thành các vector toán học. Dữ liệu vector được lưu trữ trong cơ sở dữ liệu chuyên biệt để phục vụ tìm kiếm ngữ nghĩa tương đồng. Khi nhận câu hỏi, hệ thống nhanh chóng trích xuất các đoạn trích liên quan nhất làm ngữ cảnh bổ trợ. Mô hình ngôn ngữ lớn cục bộ tiếp nhận câu hỏi cùng ngữ cảnh để tạo câu trả lời hoàn chỉnh. Toàn bộ quy trình diễn ra trên máy cá nhân hoặc mạng nội bộ. Việc đóng gói hệ thống qua Docker giúp đơn giản hóa quá trình cài đặt và vận hành.

3.1. Kiến trúc RAG cục bộ kết hợp LocalGPT và LM Studio

Kiến trúc RAG cục bộ giúp giải quyết triệt để vấn đề bảo mật thông tin nội bộ. Nền tảng LocalGPT đóng vai trò làm khung xử lý chính cho toàn bộ quy trình đọc tài liệu. LM Studio hỗ trợ tải và kiểm thử các mô hình ngôn ngữ mã nguồn mở từ Hugging Face. Người quản trị có thể thay đổi mô hình dễ dàng thông qua giao diện cấu hình trực quan. Hệ thống cung cấp API mở giúp kết nối liền mạch giữa mô-đun truy xuất và mô-đun sinh văn bản. Mọi dữ liệu phân tích đều lưu giữ trên ổ cứng máy chủ trường học, ngăn chặn mọi rủi ro thất thoát.

3.2. Ứng dụng mô hình nhúng E5 tối ưu ngôn ngữ tiếng Việt

Mô hình nhúng E5 đóng vai trò then chốt trong việc biểu diễn ngữ nghĩa của văn bản tiếng Việt. Được huấn luyện tương phản trên 1 tỷ cặp văn bản đa ngữ, E5 mang lại độ chính xác vượt trội. Phiên bản E5-large-instruct cho phép tiếp nhận chỉ dẫn tự nhiên để nắm bắt ngữ cảnh tốt hơn. Quá trình vector hóa văn bản giúp hệ thống nhận diện từ đồng nghĩa và câu trúc phức tạp trong tài liệu tiếng Việt. Khi thực hiện tìm kiếm, độ đo tương đồng cosine xác định chính xác các đoạn văn phù hợp nhất. Nhờ đó, chất lượng ngữ cảnh đưa vào mô hình ngôn ngữ luôn đạt mức cao.

IV. Ứng dụng xử lý và truy vấn tài liệu bằng LLM tại ĐH SPKT TP

Hệ thống xử lý và truy vấn tài liệu hoàn thiện mở ra tiềm năng ứng dụng to lớn trong môi trường đại học. Cán bộ quản lý có thể tra cứu nhanh các quy chế đào tạo, văn bản hành chính và thông báo nội bộ. Giảng viên tiết kiệm nhiều giờ nghiên cứu nhờ khả năng tóm tắt và trích xuất dữ liệu tự động từ tài liệu học thuật. Sinh viên tiếp cận kiến thức từ giáo trình chuyên ngành dễ dàng thông qua giao diện hỏi đáp tự nhiên. Việc triển khai hệ sinh thái mở giúp nhà trường hoàn toàn làm chủ công nghệ trí tuệ nhân tạo. Mô hình hoạt động ổn định trên phần cứng phổ thông mà không phát sinh chi phí duy trì dịch vụ đám mây. Khả năng bảo mật tuyệt đối đáp ứng các tiêu chuẩn khắt khe về an toàn thông tin học đường. Đề tài khẳng định tính khả thi của việc ứng dụng mô hình ngôn ngữ lớn mã nguồn mở vào thực tiễn giáo dục đại học.

4.1. Hiệu quả triển khai thực tế trong công tác quản trị đại học

Ứng dụng thực tế chứng minh hệ thống rút ngắn đáng kể thời gian tìm kiếm thông tin quy định. Các phòng ban chức năng xử lý hồ sơ sinh viên nhanh chóng hơn nhờ khả năng đối chiếu dữ liệu tự động. Hệ thống hỗ trợ đa dạng định dạng tệp tin từ PDF, DOCX đến các bảng tính dữ liệu. Cán bộ văn phòng không cần kiến thức sâu về trí tuệ nhân tạo vẫn có thể sử dụng dễ dàng. Tính năng lưu trữ và trích xuất lịch sử trò chuyện phục vụ hiệu quả cho việc kiểm tra chất lượng thông tin. Năng suất lao động hành chính trong trường được nâng cao rõ rệt.

4.2. Định hướng mở rộng và hoàn thiện hệ thống trong tương lai

Hướng phát triển tiếp theo tập trung vào việc tinh chỉnh các mô hình ngôn ngữ nhỏ gọn hơn. Mục tiêu là duy trì độ chính xác cao nhưng giảm bớt gánh nặng tài nguyên tính toán. Hệ thống dự kiến bổ sung khả năng xử lý hình ảnh và biểu đồ trong các tài liệu kỹ thuật. Việc mở rộng mạng lưới phân tán sẽ hỗ trợ đồng thời nhiều người dùng trong khuôn viên trường học. Sự kết hợp giữa phản hồi của người dùng và phương pháp học tăng cường sẽ nâng cao độ chính xác câu trả lời. Đây là bước đi vững chắc trong lộ trình chuyển đổi số của nhà trường.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong giai đoạn phát triển hiện nay của ngành công nghệ thông tin và trí tuệ nhân tạo, sự xuất hiện của các mô hình ngôn ngữ lớn (LLM) — tiêu biểu từ làn sóng phát triển của ChatGPT vào năm 2023 — đã chứng minh khả năng hỗ trợ con người giải quyết nhiều tác vụ trí tuệ phức tạp, vượt trên các thao tác lặp lại đơn thuần. Tuy nhiên, việc áp dụng công nghệ này vào thực tiễn đang đối mặt với những thách thức nghiêm trọng liên quan đến việc xử lý và truy vấn thông tin từ các tập tài liệu chuyên ngành dài hàng trăm trang, ví dụ như văn bản quy phạm pháp luật hay hồ sơ nghiệp vụ. Các tài liệu này chứa đựng các phân đoạn dữ liệu quan trọng nằm rải rác và liên kết logic chặt chẽ, gây mất nhiều thời gian và công sức cho quá trình tra cứu thủ công.

Bên cạnh đó, việc sử dụng các dịch vụ AI đám mây thương mại công cộng (như ChatGPT hoặc Google Gemini) làm phát sinh rủi ro bảo mật đối với các dữ liệu nội bộ và tài liệu nhạy cảm. Việc tải tệp tin chứa dữ liệu cơ quan lên máy chủ bên thứ ba có thể dẫn đến nguy cơ lộ lọt dữ liệu hoặc chịu sự giám sát tự động. Tác giả dẫn chứng trường hợp thuật toán quét nội dung tự động của Google vào năm 2021 tại San Francisco đã nhận diện sai ảnh bệnh lý của một trẻ em do người cha chụp gửi bác sĩ thành hành vi vi phạm pháp luật, dẫn đến việc tài khoản bị khóa vĩnh viễn và mất toàn bộ dữ liệu liên lạc; hay trường hợp của Jennifer Watkins bị khóa tài khoản gia đình do thuật toán tự động gắn cờ sai. Những sự cố này đặt ra yêu cầu cấp thiết về việc phát triển một hệ thống xử lý và truy vấn tài liệu vận hành hoàn toàn cục bộ (local) trên máy tính cá nhân hoặc trong mạng nội bộ (LAN), không kết nối Internet ngoài, giúp người dùng làm chủ dữ liệu.

Mục tiêu nghiên cứu được tác giả xác định cụ thể qua các nhiệm vụ sau:

1. Phát triển ứng dụng truy vấn tài liệu: Xây dựng hệ thống có khả năng xử lý và truy vấn hiệu quả các tệp văn bản phức tạp thông qua kỹ thuật phân đoạn (chunking) và cơ sở dữ liệu vector.
2. Tối ưu hóa cấu hình và hiệu năng: Ứng dụng mô hình nén lượng tử hóa GPTQ-Int4 nhằm giúp hệ thống vận hành ổn định trên các cấu hình phần cứng mức độ trung bình mà vẫn đảm bảo tốc độ phản hồi và độ chính xác của câu trả lời.
3. Hỗ trợ xử lý ngôn ngữ tiếng Việt: Khắc phục tình trạng phản hồi sai lệch ngôn ngữ (như hỏi tiếng Việt nhưng hệ thống trả lời bằng tiếng Anh) nhằm đáp ứng nhu cầu bản địa hóa.
4. Cải thiện giao diện và trải nghiệm người dùng (UI/UX): Thiết kế giao diện trực quan, dễ thao tác cho cả người dùng kỹ thuật và người dùng nghiệp vụ phổ thông.
5. Thiết lập cơ chế bảo mật và xác thực nguồn tin: Tích hợp tính năng hiển thị tài liệu nguồn ("show source documents") để người dùng kiểm chứng tính xác thực, hỗ trợ trích xuất dữ liệu hội thoại ra tệp CSV và cài đặt mật khẩu truy cập nội bộ.
6. Cô lập môi trường triển khai doanh nghiệp: Đóng gói toàn bộ ứng dụng bằng công nghệ vùng chứa (Docker) nhằm hỗ trợ việc thiết lập nhanh chóng và mở rộng trong hệ thống mạng LAN doanh nghiệp.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Quy trình xử lý, nhúng vector và truy vấn tài liệu dựa trên kiến trúc RAG (Retrieval-Augmented Generation) kết hợp với các mô hình ngôn ngữ lớn nguồn mở.
• Phạm vi không gian: Triển khai thử nghiệm và vận hành cục bộ trên máy tính cá nhân và mạng nội bộ (LAN), không sử dụng API trực tuyến của bên thứ ba.
• Phạm vi thời gian: Đồ án được giao ngày 23/09/2024 và hoàn thành nghiệm thu vào ngày 01/12/2024 tại Khoa Đào tạo Quốc tế, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh. Các lĩnh vực áp dụng trọng tâm gồm văn bản ngành luật, tài liệu học thuật trong giáo dục, và báo cáo nghiệp vụ tài chính - ngân hàng.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng giải pháp dựa trên các nền tảng lý thuyết và mô hình kỹ thuật sau:

• Khung lý thuyết kiến trúc RAG (Retrieval-Augmented Generation): Kết hợp giữa giai đoạn truy xuất thông tin (Information Retrieval - IR) từ kho dữ liệu cục bộ và giai đoạn sinh văn bản từ mô hình ngôn ngữ lớn, cho phép LLM trả lời câu hỏi dựa trên đúng ngữ cảnh tài liệu được cung cấp thay vì tri thức đóng gói sẵn.
• Kỹ thuật nhúng và vector hóa (Embedding and Vectorization): Biến đổi các đoạn văn bản (chunks) thành các biểu diễn vector ngữ nghĩa trong không gian nhiều chiều để phục vụ việc so khớp thông tin.
• Kỹ thuật Prompt Engineering và Instruction Tags: Xây dựng các mẫu hướng dẫn (prompt template) có cấu trúc chuẩn nhằm điều phối mô hình tuân thủ quy tắc trích xuất dữ liệu và phản hồi đúng ngôn ngữ tiếng Việt.
• Cơ chế tìm kiếm truy xuất: Tích hợp hai phương thức tìm kiếm là so khớp độ tương đồng (Similarity Search) và tìm kiếm đa dạng hóa thông tin MMR (Maximal Marginal Relevance) nhằm giảm thiểu việc trả về các đoạn ngữ cảnh trùng lặp.

Mô hình được lựa chọn dựa trên các căn cứ thực nghiệm chuẩn hóa:

• Mô hình ngôn ngữ lớn (LLM): Lựa chọn Qwen2.5-7B-Instruct (phiên bản lượng tử hóa GPTQ-Int4). Căn cứ lựa chọn dựa trên bảng xếp hạng CompassBench của OpenCompass (Shanghai AI Laboratory). Trong phân khúc tham số từ 4B đến 10B, Qwen2.5-7B-Instruct đạt điểm trung bình 43,6 (vượt qua Gemma-2-9B-it đạt 38,7 và GLM-4-9B-Chat đạt 37,4). Về khía cạnh ngôn ngữ (Language), Qwen đạt 46,5 điểm; điểm tuân thủ chỉ dẫn (Instruct) đạt 41,6 điểm; năng lực xử lý NLP tiếng Trung đạt 52 điểm và NLP tiếng Anh đạt 50,2 điểm.
• Mô hình nhúng (Embedding Model): Lựa chọn multilingual-e5-large (thuộc dòng mô hình E5 của Microsoft Research). Mô hình được huấn luyện qua hai giai đoạn: tiền huấn luyện tương phản bán giám sát trên 1 tỷ cặp văn bản đa ngữ và tinh chỉnh trên tập dữ liệu gán nhãn chất lượng cao. Mô hình hỗ trợ hơn 100 ngôn ngữ, được kiểm chứng trên các bảng đánh giá chuẩn quốc tế như MIRACL và MTEB.

Phương pháp nghiên cứu thực tế:

• Phương pháp phát triển hệ thống và thực nghiệm kỹ thuật: Kế thừa mã nguồn cơ sở mở PromtEngineer/localGPT (giấy phép Apache License 2.0), tiến hành tái cấu trúc mô-đun hóa, bổ sung tài liệu hỗ trợ tăng tốc phần cứng GPU/CUDA, tinh chỉnh quy trình xử lý prompt và xây dựng giao diện người dùng mới.
• Phương pháp đánh giá chất lượng câu trả lời: Sử dụng phương pháp mô hình ngôn ngữ lớn làm giám khảo (LLM-as-a-judge) thông qua việc tương tác trực tiếp qua prompt (Direct Prompt Interaction) với GPT-4o để đối chiếu, chấm điểm câu trả lời của hệ thống RAG so với câu trả lời mẫu chuẩn (Reference Answer).

Nguồn dữ liệu:

• Dữ liệu thử nghiệm gồm các tệp văn bản tài liệu đa định dạng đưa vào thư mục nội bộ của hệ thống; tập câu hỏi kiểm thử và hệ thống các câu trả lời tham chiếu chuẩn được dùng trong quá trình đánh giá.

Thiết kế và triển khai

Hệ thống được thiết kế dưới dạng ứng dụng hoàn chỉnh, vận hành không phụ thuộc vào kết nối mạng bên ngoài, bao gồm các thành phần kiến trúc và tính năng kỹ thuật sau:

Thành phần hệ thống	Công nghệ / Kỹ thuật triển khai	Chức năng cụ thể
Giao diện người dùng	Streamlit (Synchronous UI)	Cung cấp giao diện tương tác đặt câu hỏi, hiển thị ngữ cảnh nguồn, xuất file CSV và cấu hình hệ thống.
Xử lý dữ liệu đầu vào	Bộ nạp đa định dạng (Multi-file handler)	Tiếp nhận các tệp văn bản từ thư mục cục bộ, thực hiện chia nhỏ văn bản (chunking) theo cấu hình.
Cơ sở dữ liệu Vector	Vector Store cục bộ	Lưu trữ vector nhúng của tài liệu bằng mô hình multilingual-e5-large; hỗ trợ tìm kiếm Similarity và MMR.
Khối sinh văn bản	Qwen2.5-7B-Instruct-GPTQ-Int4	Suy luận cục bộ có tăng tốc GPU (CUDA), nhận prompt chứa chỉ dẫn và ngữ cảnh trích xuất để sinh phản hồi tiếng Việt.
Cơ chế bảo mật	Xác thực mật khẩu (Password Feature)	Khóa giao diện truy cập nội bộ, kiểm soát người dùng truy cập ứng dụng qua mạng cục bộ LAN.
Kiểm soát tài nguyên	System & Hardware Check Module	Tự động quét kiểm tra thông số môi trường hệ điều hành và phần cứng trước khi khởi chạy mô hình.
Đóng gói hệ thống	Docker (Multi-layer Dockerfile)	Đóng gói môi trường thực thi, cô lập thư viện phụ thuộc nhằm đảm bảo tính nhất quán khi triển khai.

Quy trình vận hành kỹ thuật chi tiết:

1. Giai đoạn kiểm tra môi trường: Khi khởi động, ứng dụng tự động thực hiện hai tiến trình song song gồm kiểm tra môi trường hệ thống (Hardware system and environment check phase) và kiểm tra yêu cầu phần cứng của mô hình (Model's Hardware requirement check) nhằm cảnh báo dung lượng bộ nhớ khả dụng.
2. Giai đoạn nạp và truy xuất dữ liệu: Người dùng đặt tài liệu vào thư mục quy định. Hệ thống phân đoạn văn bản, tính toán vector nhúng và nạp vào cơ sở dữ liệu. Khi nhận câu hỏi, hệ thống cung cấp biểu mẫu truy vấn (Retrieval Query Form) cho phép chọn chế độ tìm kiếm theo độ tương đồng thông thường hoặc chế độ MMR nhằm cân bằng giữa mức độ liên quan và tính đa dạng của thông tin.
3. Giai đoạn xử lý ngôn ngữ và sinh câu trả lời: Hệ thống ghép các đoạn ngữ cảnh trích xuất vào khung prompt định dạng sẵn (kèm instruction tags) để mô hình Qwen2.5-7B-Instruct-GPTQ-Int4 sinh câu trả lời bằng tiếng Việt.
4. Giai đoạn kiểm chứng và lưu trữ: Phía dưới câu trả lời, giao diện cung cấp tính năng "show source documents" hiển thị chính xác các đoạn trích từ tệp văn bản gốc giúp người dùng đối chiếu. Người dùng có thể sử dụng tính năng tải lịch sử trò chuyện về máy tính dưới định dạng tệp CSV.

Nội dung chính theo từng chương

Chương 1: Giới thiệu (CHAPTER 1: INTRODUCTION)

Chương mở đầu phân tích bối cảnh bùng nổ của trí tuệ nhân tạo và LLM từ năm 2023, nêu rõ vấn đề tốn kém thời gian khi xử lý các tài liệu văn bản dài, phức tạp. Tác giả chỉ ra nguy cơ bảo mật khi dùng công cụ đám mây và đề xuất chiến lược xây dựng hệ thống RAG cục bộ. Chương này trình bày chi tiết cơ sở khoa học của việc lựa chọn mô hình ngôn ngữ Qwen2.5-7B-Instruct dựa trên điểm số đánh giá từ OpenCompass/CompassBench (43,6 điểm trung bình; 46,5 điểm ngôn ngữ; 41,6 điểm chỉ dẫn) và việc lựa chọn mô hình nhúng multilingual-e5-large của Microsoft Research. Cuối chương, tác giả công bố mục tiêu, đóng góp chính và bố cục toàn văn báo cáo.

Chương 2: Các công trình liên quan và các nền tảng khác (CHAPTER 2: RELATED WORK AND OTHER PLATFORMS)

Chương này đánh giá toàn diện mã nguồn mở nền tảng LocalGPT cùng ba dịch vụ tiêu biểu: ChatGPT, Google Gemini và LM Studio.

Nền tảng	Ưu điểm chính	Nhược điểm / Hạn chế	Quyền riêng tư & Bảo mật
LocalGPT (Mã nguồn cơ sở)	Mã nguồn mở, chạy cục bộ hoàn toàn, không phụ thuộc bên thứ ba, chi phí miễn phí.	Mã nguồn cũ; thiếu hướng dẫn cấu hình GPU; suy luận chậm (4-5 phút trên CPU, ~2 phút trên GPU); prompt kém dẫn đến trả lời sai ngôn ngữ (hỏi tiếng Việt đáp tiếng Anh); UI sơ sài; cấu trúc file chưa mô-đun hóa.	Kiểm soát dữ liệu hoàn toàn; không rủi ro giám sát từ bên ngoài.
ChatGPT	Đa dạng xử lý dữ liệu, hỗ trợ API linh hoạt, khả năng hiểu ngôn ngữ rất mạnh.	Chi phí API tăng cao khi mở rộng quy mô; giới hạn token mỗi truy vấn; lo ngại bảo mật dữ liệu tải lên.	Không thể kiểm chứng độc lập chính sách bảo mật máy chủ bên thứ ba.
Google Gemini	Đa phương thức (văn bản, ảnh, âm thanh, video); tích hợp sâu hệ sinh thái Google.	Thuật toán quét nội dung tự động gây khóa tài khoản oan uổng; dữ liệu người dùng bị kiểm soát và phân tích tự động.	Dữ liệu bị giám sát tự động; nguy cơ lộ lọt qua ứng dụng bên thứ ba hoặc cung cấp dữ liệu cho chính phủ.
LM Studio	Nền tảng độc lập miễn phí; tìm kiếm mô hình Huggingface nhanh chóng; hỗ trợ Open API.	Giao diện phát triển phức tạp với người dùng phi kỹ thuật; lỗ hổng API localhost mở qua mạng LAN gây rủi ro truy cập trái phép.	Lỗ hổng API localhost có thể cho phép truy cập dữ liệu nội bộ trái phép nếu thiếu bảo mật.

Từ phân tích trên, tác giả xác định các cải tiến then chốt cho hệ thống RAG: tối ưu mã nguồn, bổ sung cấu hình GPU, tinh chỉnh prompt chống lỗi ngôn ngữ, bảo mật mạng LAN và đơn giản hóa giao diện.

Chương 3: Phương pháp luận (CHAPTER 3: METHODOLOGY)

Chương 3 trình bày cơ sở lý thuyết của kỹ thuật RAG trong việc xử lý tài liệu nhạy cảm mà không để lộ dữ liệu ra bên ngoài. Tác giả mô tả chi tiết phương pháp nhúng và vector hóa văn bản (Embedding and Vectorization), nguyên lý cấu tạo của kỹ thuật Prompt Engineering và Instruction Tags để định hướng mô hình tuân thủ quy tắc trích xuất. Chương này cũng giải thích các nguyên lý truy xuất thông tin (Information Retrieval - IR), bao gồm kỹ thuật chia đoạn tài liệu và so sánh giữa hai cơ chế tìm kiếm độ tương đồng tiêu chuẩn và thuật toán MMR.

Chương 4: Hiện thực hóa hệ thống (CHAPTER 4: IMPLEMENTATIONS)

Chương 4 mô tả chi tiết các phân hệ đã lập trình và triển khai thực tế:

• Hàm lựa chọn mô hình LLM và cấu hình mẫu prompt tương ứng.
• Hàm tiếp nhận câu hỏi hội thoại và xử lý câu trả lời (Chat Question Function).
• Chức năng lưu trữ, tải lại và trích xuất dữ liệu lịch sử chat sang định dạng CSV.
• Bộ nạp xử lý đa dạng định dạng tệp văn bản đầu vào.
• Thiết lập thông số và tiêu chí đánh giá yêu cầu phần cứng phục vụ vận hành.
• Quy trình triển khai Docker hóa hệ thống thông qua mô tả chi tiết các tầng trong Dockerfile (Dockerfile layers description).
• Phát triển giao diện người dùng bằng Streamlit với tính năng xác thực mật khẩu, kiểm tra tài nguyên phần cứng trước khi chạy và biểu mẫu truy vấn tài liệu hỗ trợ Similarity và MMR.
• Cấu hình các tham số vận hành cho hệ thống RAG (Configuration metric for RAG system).

Chương 5: Đánh giá (CHAPTER 5: EVALUATION)

Chương 5 trình bày phương pháp thực nghiệm đánh giá câu trả lời của hệ thống. Tác giả sử dụng ChatGPT-4o đóng vai trò mô hình giám khảo (judge LLM) thông qua kỹ thuật tương tác prompt trực tiếp (Direct Prompt Interaction). Mô hình được kiểm thử trên hệ thống sử dụng Qwen2.5-7B-Instruct-GPTQ-Int4. Tác giả thu thập các mẫu phản hồi của hệ thống ở giai đoạn hoàn thiện và tiến hành đánh giá chi tiết chất lượng thông qua 6 bảng đánh giá (từ Bảng 13 đến Bảng 18 trong báo cáo), phân tích mối liên hệ giữa câu trả lời sinh ra, ngữ cảnh trích xuất và câu trả lời mẫu chuẩn.

Chương 6: Thảo luận (CHAPTER 6: DISCUSSION)

Chương thảo luận phân tích tính khả thi và các yêu cầu kỹ thuật khi chuyển đổi hệ thống sang môi trường sản xuất (Production Docker implementation). Tác giả thảo luận về yêu cầu bổ sung cơ chế xác thực hai yếu tố (Two Factor Authentication - 2FA) nhằm tăng cường độ an toàn khi ứng dụng được truy cập từ nhiều máy trạm trong mạng nội bộ, đồng thời nhìn nhận giá trị của mô hình mã nguồn mở trong việc cho phép kiểm toán toàn bộ quy trình dữ liệu.

Chương 7: Kết luận (CHAPTER 7: CONCLUSION)

Chương kết luận tổng kết các kết quả kỹ thuật đã hoàn thành: xây dựng thành công ứng dụng RAG cục bộ, khắc phục các lỗi cố hữu của mã nguồn gốc LocalGPT, tối ưu hóa tốc độ xử lý bằng GPU và định dạng lượng tử hóa GPTQ-Int4, đảm bảo khả năng trả lời bằng tiếng Việt và cung cấp giao diện trực quan cho người dùng.

Kết quả và đóng góp

Kết quả thực nghiệm chính:

• Khắc phục độ trễ suy luận của mã nguồn cơ sở: Hệ thống LocalGPT gốc mất khoảng 4 đến 5 phút trên CPU và khoảng 2 phút trên GPU do thiếu tối ưu hóa pipeline. Hệ thống cải tiến đã cấu hình hoàn chỉnh khả năng tăng tốc phần cứng với CUDA và sử dụng mô hình nén Qwen2.5-7B-Instruct-GPTQ-Int4, cải thiện đáng kể thời gian phản hồi câu hỏi.
• Năng lực xử lý ngôn ngữ thực nghiệm: Mô hình Qwen2.5-7B-Instruct đạt điểm OpenCompass 43,6 tổng thể, 46,5 ngôn ngữ và 41,6 tuân thủ chỉ dẫn, giải quyết triệt để lỗi phản hồi nhầm sang tiếng Anh khi người dùng đặt câu hỏi bằng tiếng Việt.
• Đánh giá chất lượng nội dung: Qua 6 mẫu thực nghiệm được kiểm định độc lập bằng GPT-4o (Bảng 13 đến Bảng 18), hệ thống cho thấy khả năng trích xuất chính xác thông tin từ các đoạn văn bản nguồn và tái hiện câu trả lời bám sát ngữ nghĩa của câu trả lời tham chiếu.

Các giải pháp kỹ thuật đề xuất:

• Đề xuất quy trình làm sạch và định dạng prompt có instruction tags chuẩn hóa cho mô hình mã nguồn mở, khắc phục lỗi mất ngữ cảnh.
• Tích hợp đồng thời hai chế độ tìm kiếm Similarity và MMR giúp người dùng linh hoạt điều chỉnh giữa độ tương đồng tuyệt đối và độ bao quát thông tin.
• Thiết kế tính năng kiểm tra tự động phần cứng và môi trường trước khi nạp mô hình, phòng ngừa sự cố tràn bộ nhớ.
• Triển khai tính năng trích xuất dữ liệu chat ra CSV và kiểm chứng văn bản nguồn ("show source documents") minh bạch hóa nguồn gốc thông tin.

Đóng góp của đồ án:

• Về mặt kỹ thuật: Kế thừa và sửa chữa thành công các thiếu sót trong dự án PromtEngineer/localGPT (bổ sung tài liệu môi trường GPU, tổ chức lại cấu trúc thư mục dạng mô-đun, xây dựng giao diện Streamlit hoàn chỉnh).
• Về mặt bảo mật: Cung cấp một giải pháp RAG mã nguồn mở theo giấy phép Apache License 2.0 vận hành độc lập, cho phép các cơ quan và doanh nghiệp kiểm toán toàn bộ mã nguồn xử lý dữ liệu, triệt tiêu nguy cơ rò rỉ dữ liệu nhạy cảm ra Internet.
• Về mặt ứng dụng bản địa: Tạo ra hệ thống truy vấn tài liệu cục bộ hoạt động ổn định và chính xác với tiếng Việt.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

• Hệ thống mới chỉ dừng lại ở bước xác thực mật khẩu đơn cấp (Password Feature), chưa tích hợp cơ chế xác thực hai yếu tố (Two Factor Authentication - 2FA) để đảm bảo an toàn tuyệt đối khi vận hành diện rộng trong mạng LAN.
• Cấu hình đóng gói Docker hiện tại cần tiếp tục được tối ưu hóa sâu hơn cho môi trường triển khai sản xuất quy mô lớn (Production Docker implementation).
• Khả năng xử lý truy vấn đồng thời phụ thuộc nhiều vào tài nguyên phần cứng vật lý tại chỗ của máy chủ cục bộ.

Hướng nghiên cứu tiếp theo:

• Hoàn thiện việc tích hợp cơ chế bảo mật xác thực hai yếu tố (2FA).
• Tinh chỉnh tệp cấu hình Docker chuyên dụng cho môi trường sản xuất để tăng tính ổn định và khả năng chịu tải.
• Tiếp tục tối ưu hóa quy trình phân đoạn tài liệu và các chỉ số cấu hình RAG để xử lý hiệu quả hơn các cấu trúc văn bản phi cấu trúc phức tạp.

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo cụ thể cho các nhóm đối tượng sau:

• Sinh viên và học viên ngành Công nghệ thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo: Có thể tham khảo phương pháp luận kết hợp kiến trúc RAG cục bộ, quy trình lựa chọn mô hình LLM và Embedding dựa trên các bảng xếp hạng học thuật chuẩn hóa (OpenCompass, MTEB).
• Kỹ sư phần mềm và quản trị viên hệ thống: Tham khảo kiến trúc đóng gói Dockerfile phân tầng, giải pháp tối ưu hóa bộ nhớ phần cứng với mô hình lượng tử hóa GPTQ-Int4 và phương pháp thiết kế giao diện bằng Streamlit.
• Cán bộ nghiệp vụ ngành Pháp luật, Giáo dục, Tài chính - Ngân hàng: Tham khảo cấu trúc ứng dụng hỏi đáp tài liệu nội bộ nhằm bảo vệ tuyệt đối dữ liệu nhạy cảm, ngăn ngừa việc vi phạm quy định bảo mật thông tin khi ứng dụng trí tuệ nhân tạo.

Các nội dung đáng tham khảo nhất trong văn bản gồm: Bảng so sánh 4 nền tảng tại Chương 2; phân tích chỉ số năng lực của Qwen2.5 và E5-large-instruct tại Chương 1; và phương pháp sử dụng GPT-4o làm giám khảo đánh giá câu trả lời tại Chương 5.

Câu hỏi thường gặp

1. Khóa luận này kế thừa mã nguồn từ dự án nào và đã khắc phục những điểm yếu kỹ thuật nào của dự án gốc? Khóa luận xây dựng dựa trên mã nguồn mở PromtEngineer/localGPT (giấy phép Apache License 2.0). Đồ án đã khắc phục các hạn chế lớn của dự án gốc bao gồm: bổ sung tài liệu và cấu hình môi trường hỗ trợ GPU/CUDA (bản gốc thiếu hướng dẫn khiến hệ thống chỉ chạy trên CPU gây chậm trễ từ 4-5 phút); tinh chỉnh prompt để khắc phục lỗi hệ thống tự động trả lời bằng tiếng Anh khi hỏi tiếng Việt; tổ chức lại cấu trúc mã nguồn dạng mô-đun và xây dựng lại giao diện đồ họa trực quan thay cho giao diện sơ sài ban đầu.

2. Vì sao tác giả lựa chọn mô hình ngôn ngữ Qwen2.5-7B-Instruct thay vì các mô hình khác trong cùng phân khúc? Dựa trên kết quả thực nghiệm từ bảng xếp hạng CompassBench của OpenCompass, trong phân khúc kích thước 4B-10B tham số, Qwen2.5-7B-Instruct đạt điểm tổng thể 43,6 (cao hơn Gemma-2-9B-it đạt 38,7 và GLM-4-9B-Chat đạt 37,4). Mô hình đạt điểm xử lý ngôn ngữ 46,5, điểm tuân thủ chỉ dẫn 41,6, điểm NLP tiếng Trung 52 và NLP tiếng Anh 50,2. Phiên bản này cung cấp sự cân bằng giữa hiệu năng suy luận và kích thước mô hình, đặc biệt khi được lượng tử hóa sang định dạng GPTQ-Int4 để chạy trên phần cứng thông thường.

3. Mô hình nhúng (Embedding) multilingual-e5-large được huấn luyện qua những giai đoạn nào và có ưu điểm gì? Mô hình multilingual-e5-large do Microsoft Research phát triển, được huấn luyện qua hai giai đoạn chính: giai đoạn tiền huấn luyện tương phản bán giám sát (weakly-supervised contrastive training) trên khoảng 1 tỷ cặp văn bản đa ngữ, và giai đoạn tinh chỉnh (fine-tuning) trên các tập dữ liệu gán nhãn chất lượng cao. Mô hình hỗ trợ tốt hơn 100 ngôn ngữ, được tinh chỉnh theo chỉ thị tự nhiên (instruction-tuned) và đạt kết quả cao trên các bài kiểm tra quốc tế như MIRACL và MTEB.

4. Tác giả sử dụng phương pháp nào để đánh giá tính chính xác của câu trả lời do hệ thống sinh ra? Tác giả áp dụng phương pháp mô hình ngôn ngữ lớn làm giám khảo (LLM-as-a-judge) thông qua kỹ thuật tương tác prompt trực tiếp (Direct Prompt Interaction) với ChatGPT-4o. Mô hình GPT-4o tiếp nhận câu hỏi, ngữ cảnh trích xuất, câu trả lời do hệ thống RAG sinh ra và câu trả lời tham chiếu (Reference Answer), sau đó tiến hành phân tích, chấm điểm và nhận xét chi tiết tính chính xác ngữ nghĩa (thể hiện qua các Bảng 13 đến Bảng 18 trong báo cáo).

5. Hệ thống cung cấp những tính năng nào giúp người dùng kiểm tra độ tin cậy và lưu trữ dữ liệu truy vấn? Hệ thống cung cấp cơ chế "show source documents" cho phép người dùng xem trực tiếp các đoạn văn bản gốc được truy xuất từ cơ sở dữ liệu vector để đối chiếu với câu trả lời của mô hình. Ngoài ra, hệ thống tích hợp chức năng lưu trữ và xuất toàn bộ lịch sử hỏi đáp cùng nguồn trích dẫn ra tệp định dạng CSV để phục vụ công tác lưu trữ hoặc phân tích ngoại tuyến.

Kết luận

Khóa luận tốt nghiệp của sinh viên Đinh Tấn Dũng đã giải quyết thành công bài toán xử lý và truy vấn tài liệu nhạy cảm bằng cách xây dựng hệ thống RAG vận hành hoàn toàn cục bộ trên máy tính cá nhân và mạng nội bộ. Bằng việc kết hợp mô hình ngôn ngữ Qwen2.5-7B-Instruct-GPTQ-Int4 và mô hình nhúng multilingual-e5-large, tác giả đã tối ưu hóa hiệu quả tài nguyên phần cứng, nâng cao tốc độ phản hồi và khắc phục triệt để tình trạng lệch ngôn ngữ tiếng Việt của các hệ thống nguồn mở tiền nhiệm. Đồ án không chỉ hoàn thiện ứng dụng với giao diện Streamlit trực quan, tính năng trích xuất CSV và kiểm chứng nguồn minh bạch, mà còn đóng gói thành công bằng Docker, mang lại giá trị ứng dụng thiết thực cho các tổ chức có yêu cầu nghiêm ngặt về bảo mật thông tin nội bộ.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION GRADUATION THESIS MAJOR: INFORMATION TECHNOLOGY DOCUMENT PROCESSING AND QUERYING USING LARGE LANGUAGE MODELS INSTRUCTOR: TRAN NHAT QUANG STUDENT: DINH TAN DUNG Ho Chi Minh city, September 2024 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION PROJECT DOCUMENT PROCESSING AND QUERYING USING LARGE LANGUAGE MODELS DINH TAN DUNG Student ID: 20110357 Major: INFORMATION TECHNOLOGY Supervisor: TRAN NHAT QUANG, PhD. Ho Chi Minh City, September 2024 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION PROJECT DOCUMENT PROCESSING AND QUERYING USING LARGE LANGUAGE MODELS DINH TAN DUNG Student ID: 20110357 Major: INFORMATION TECHNOLOGY Supervisor: TRAN NHAT QUANG, PhD. Ho Chi Minh City, September 2024 THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, September 14, 2024 GRADUATION PROJECT ASSIGNMENT Student name: Student ID: 20110357 Dinh Tan Dung Major: Class: 20110CLA1 Information Technology Supervisor: Phone number: 0856037586 Tran Nhat Quang.PhD Date of assignment: Date of submission: 23/09/2024 01/12/2024 1. Project title: DOCUMENT PROCESSING AND QUERYING USING LARGE LANGUAGE MODELS 2.

Initial materials provided by supervisor: None. Content of the project: ACKNOWLEDGEMENT LIST OF FIGURES LIST OF TABLES ABSTRACT CHAPTER 1: INTRODUCTION 1. OBJECTIVES AND CONTRIBUTIONS 1. Report structure CHAPTER 2: RELATED WORK AND OTHER PLATFORMS 2.

LocalGPT - THE BASE SOURCE CODE FOR THIS PROJECT 2. LM STUDIO CHAPTER 3: METHODOLOGY 3. RETRIEVAL AUGMENTED GENERATION (RAG) 3. Introduction about RAG 3.

Advantages of RAG 3. Challenges and solutions 3. EMBEDDING AND VECTORIZATION 3. INFORMATION RETRIEVAL (IR) CHAPTER 4: IMPLEMENTATIONS 4.

LLM model selection function and prompt to use 4. Chat Question Function 4. Chat Data Storage, Loading and Exporting Functions 4. Ability to handle multiple file types 4.

HARDWARE SYSTEM REQUIREMENT 4. Detailed description on hardware requirements 4. Hardware Performance Evaluation Criteria 4. DEPLOY DOCKER FOR PROJECT 4.

UI/UX DEVELOPMENT 4. CONFIGURATION METRIC FOR RAG SYSTEM CHAPTER 5: EVALUATION 5. CHOOSING LARGE LANGUAGE MODEL (LLMs) 5. CHOOSING EMBEDDING MODEL (LLMs) 5.

EVALUATION METHODOLOGY FOR SYSTEMS ANSWERS 5. About the reference answer for evaluation: 5. ANALYSIS ON PERFORMANCE 5. EXPERIMENT RESULTS CHAPTER 6: DISCUSSION 6.

FUTURE IMPROVEMENT CHAPTER 7: CONCLUSION CHAPTER 8: REFERENCES APPENDIX: INSTALLATION INSTRUCTIONS 4. Final product: Develop a Querying Application: Create a system capable of effectively processing and querying complex documents. Optimize Performance and Configuration: Enhance hardware and software configurations to maximize application efficiency and reliability. Support Vietnamese Language: Ensure support for the Vietnamese language to meet localization requirements.

Improve UI/UX: Design an intuitive and user-friendly interface for both technical and non-technical users. Enhance Security Features: Implement security mechanisms to safeguard data and user interactions. Environment Isolation for Enterprise Scalability: Utilize containerization to speed up deployment and scalability in enterprise settings. Project progression plan: No.

Time Works Note 1 01/10 - 15/10/2024 Research and gather literature materials. 2 15/10 - 30/10/2024 Testing and finding localization models 3 30/10 - 15/11/2024 Utilizing performance and tuning the retrieval and querying pipeline 4 15/11 - 01/12/2024 UI/UX development and dockerization. Supervisor's comments Date month year Outline writer (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness ------------ SUPERVISOR’S EVALUATION SHEET Student name:. Content of the project:.

Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, month day, year SUPERVISOR (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- PRE-DEFENSE EVALUATION SHEET Student name:. Name of Examiner:. Content and workload of the project. Approval for oral defense? (Approved or denied) .) Ho Chi Minh City, month day, year EXAMINER (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- EVALUATION SHEET OF DEFENSE COMMITTEE MEMBER Student name:.

Name of Defense Committee Member:. Content and workload of the project .) Ho Chi Minh City, month day, year COMMITTEE MEMBER (Sign with full name) DISCLAIMER This project incorporates the use of open-source software under the Apache License 2. Full license details and attributions are available in the accompanying documentation (file LICENSE. The project also adheres to privacy regulations and ensures the confidentiality and integrity of the data used during the research.

The contributions of third parties are acknowledged, and this project builds upon the foundational work provided by PromtEngineer/localGPT, with specific adaptations and extensions made to suit the research objectives. The reporter and the supervising faculty do not assume liability for any direct or indirect damages arising from the use of this project or its contents. Reporter Dinh Tan Dung 12 ACKNOWLEDGEMENT It has been a difficult but worthy journey to finish my graduation project, made possible by the priceless assistance, direction, and encouragement of many people and organisations. I would like to take this opportunity to thank everyone who helped make my effort an accomplishment.

I am first and foremost grateful to the Faculty of International Education department, whose commitment to quality and student achievement has served as a continual source of motivation. I want to express my sincere gratitude to Mr. Tran Nhat Quang in particular, whose careful oversight and dedication to my growth have been priceless. From the very beginning, he followed my progress, providing thoughtful guidance and valuable resources that significantly enhanced the efficiency and quality of my research.

His constructive feedback and encouragement have been pivotal in shaping this thesis into its current form. My sincere thanks also go to Mr. Nguyen Dang Quang, Dean of the Faculty of International Education, and Mr. Nguyen Duc Khoan, for their insightful critical evaluations, and valuable recommendations.

Their professional and detailed reviews challenged me to think critically, refining and improving the outcomes of my research. Their dedication to supporting students like me is truly admirable, and I am profoundly grateful for their efforts. Beyond the academic sphere, I wish to thank my family and friends, whose unwavering belief in my abilities has been a source of strength and motivation 13 throughout this journey. Their encouragement during moments of self-doubt provided me with the resilience to overcome challenges and continue striving for excellence.

Finally, I would like to acknowledge everyone who, in one way or another, contributed to this thesis. Whether through direct guidance, emotional support, or simply believing in my vision, your contributions have been instrumental in helping me achieve this milestone. Once again, I express my sincere gratitude to all the individuals and organizations mentioned above, whose support has made this journey both meaningful and fulfilling. Sincerely, Dinh Tan Dung 14 TABLE OF CONTENTS ACKNOWLEDGEMENT 13 LIST OF FIGURES 17 LIST OF TABLES 19 ABSTRACT 20 CHAPTER 1: INTRODUCTION 21 1.

CHOOSING LARGE LANGUAGE MODEL (LLMs) 23 1. CHOOSING EMBEDDING MODEL (LLMs) 27 1. OBJECTIVES AND CONTRIBUTIONS 29 1. Report structure 31 CHAPTER 2: RELATED WORK AND OTHER PLATFORMS 32 2.

LocalGPT - THE BASE SOURCE CODE FOR THIS PROJECT 38 2. LM STUDIO 44 CHAPTER 3: METHODOLOGY 49 3. RETRIEVAL AUGMENTED GENERATION (RAG) 49 3. Introduction about RAG 49 3.

Why RAG for Sensitive Document Processing 51 3. EMBEDDING AND VECTORIZATION 52 3. PROMPT ENGINEERING AND INSTRUCTION TAGS 53 3. Reason for choosing 55 3.

INFORMATION RETRIEVAL (IR) 56 CHAPTER 4: IMPLEMENTATIONS 57 15 4. LLM model selection function and prompt to use 57 4. Chat Question Function 58 4. Chat Data Storage, Loading and Exporting Functions 58 4.

Ability to handle multiple file types 59 4. HARDWARE SYSTEM REQUIREMENT 60 4. Detailed description on hardware requirements 61 4. Hardware Performance Evaluation Criteria 63 4.

DEPLOY DOCKER FOR PROJECT 65 4. UI/UX DEVELOPMENT 70 4. CONFIGURATION METRIC FOR RAG SYSTEM 85 CHAPTER 5: EVALUATION 86 5. About ChatGPT4o for evaluation and its role as a judge LLM: 87 5.

Using Direct Prompt Interaction with GPT-4o 88 5. Benefits of Using Direct Prompt Interaction 96 5. COLLECTED SYSTEM’S ANSWERS SAMPLES 109 5. System’s final stage answers: 110 CHAPTER 6: DISCUSSION 119 6.

Production Docker implementation 121 6. Two Factor Authentication. 122 CHAPTER 7: CONCLUSION 123 CHAPTER 8: REFERENCES 125 APPENDIX: INSTALLATION INSTRUCTIONS 126 LIST OF FIGURES Figure 1: OpenCompass Website Figure 2 and 3: Notable metrics for Qwen compared with other models in the 4B-10B parameters class. Figure 4 and 5: Notable metrics of Qwen model in 4B - 10B parameters models.

Figure 6 and 7: Benchmark rank of multilingual-e5-large Figure 8: ChatGPT is able to connect and process many type of information sources, but it is a huge concern when we wonder how they are handling our file sent to their platform. Figure 10: The New York Time Article about Google’s AI system fault that mistakenly flagged a user for his son’s medical photo, stored inside his device and sent to his doctor. This accident almost ruined his life due to being marked as a child abuser. Jennifer Watkins’s incident with Google Figure 12: UI of LM Studio Figure 13: LM Studio's massive developer interface.

17 Figure 14: Server setting of LM Studio. Figure 15: Demonstration of RAG (Advanced RAG: Architecture, Techniques, Applications and Use Cases and Development, n.) Figure 16: UI of Retrieval Query Form on similarity mode Figure 17: Searching with MMR option Figure 18: Result of MMR search (similarity mode) Figure 19: The app perform hardware system and environment check phase Figure 20: Model’s Hardware requirement check, run as the same time as the system environment check Figure 21 and 22: CSV export and download feature Figure 23: Password Feature Figure 24: Synchronous UI of Streamlit 18 LIST OF TABLES Table 1: Comparison between four cases study. Table 2: Remaining limitations of the Google platform in general. Table 3: Components in RAG system Table 4: Application UI display requirements Table 5: Chat Data Storage, Loading and Exporting Functions description Table 6: Hardware requirement Table 7: Hardware system specification Table 8: Dockerfile layers description Table 10: Element Description in Figure 8 and Figure 9 Table 11: System collecting information description Table 12: Additional elements in the "Model Requirements" section Table 13: Evaluating answer number 1 Table 14: Evaluating answer number 2 Table 15: Evaluating answer number 3 Table 16: Evaluating answer number 4 Table 17: Evaluating answer number 5 Table 18: Evaluating answer number 6 19 Table 19: Experiment setup for RAG system, using Model Qwen2.5-7B-Instruct-GPTQ-Int4 Table 20: Answer results from RAG system ABSTRACT AI: Artificial Intelligent.

LLM: Large-Language Model. CPU: Computing Processor Unit. GPU: Graphic Processor Unit. RAG: Retrieval-Augmented Generation.

CUDA: Compute Unified Device Architecture 20 CHAPTER 1: INTRODUCTION 1. PROBLEM BACKGROUND At present, the development of the information technology industry in general, and the field of artificial intelligence (AI) in particular, has entered a new era: a dawn of a time where human productivity is increasing exponentially thanks to the countless practical applications that AI can offer. The introduction of ChatGPT in 2023 has allowed humanity to witness how a tool, in just a short year, has forever changed the way the world operates, the way we work, and how we contribute to society. Thanks to AI, tasks that require human intellect can now be resolved much more quickly and efficiently, with productivity far surpassing our own capabilities.

Repetitive actions—once managed by robots—have liberated us from pure manual labor, while AI promises to free us from more difficult tasks: those requiring thought, intellect, and time, enabling us to focus on the most pressing issues that deserve our attention. RESEARCH PROBLEM Among the practical challenges observed by the writer of this graduation project, the issue of extracting information from text documents is one of the most labor - and time - consuming problems. These documents often contain numerous important fragments of information, but these are scattered among sections that may not be immediately relevant. An example is legal documents, which contain a vast amount of information, interlinked through strict logical rules to prevent loopholes from being exploited.

The volume and interconnection of these documents pose significant difficulties for those who need to search through them.