Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh chuyển đổi số giáo dục đại học, việc khai thác tài nguyên học thuật tại các thư viện truyền thống đang đối mặt với nhiều rào cản. Thống kê từ VTV cho thấy tỷ lệ đọc sách tại Việt Nam còn ở mức thấp, với chỉ 21% dân số đọc sách định kỳ hàng năm và mức trung bình đạt 1,4 đầu sách/người/năm. Thói quen tìm kiếm thông tin của thế hệ trẻ chuyển dịch mạnh mẽ sang các nền tảng trực tuyến khiến nhiều thư viện đại học rơi vào tình trạng hoạt động kém hiệu quả, suy giảm khả năng kết nối tri thức với người học. Việc ứng dụng công nghệ thông tin tại các thư viện trong nước nhìn chung chưa đồng bộ, chủ yếu dừng lại ở các hệ thống tra cứu mục lục trực tuyến (OPAC) cơ bản hoặc quản lý mã vạch/RFID truyền thống, thiếu vắng các giải pháp thông minh hóa quy trình nhập liệu và cá nhân hóa trải nghiệm tra cứu.

Nhóm tác giả đã tiến hành khảo sát các mô hình ứng dụng trí tuệ nhân tạo (AI) trong lĩnh vực thư viện trên thế giới và tại Việt Nam:

  • Đại học Thanh Hoa (Trung Quốc): Triển khai trợ lý ảo Xiaotu trên nền tảng di động và mạng xã hội, cung cấp dịch vụ tham khảo thời gian thực và tự học từ dữ liệu phản hồi.
  • Thư viện Quốc gia Việt Nam: Áp dụng AI trong việc tự động nhận diện tiêu đề và phân loại tài liệu lưu trữ.
  • Đại học VinUni (Việt Nam): Tích hợp trợ lý ảo NaviAI vào sách giáo khoa điện tử môn Đại số tuyến tính để hỗ trợ tương tác và tạo bài tập tự động.
  • Đại học Arizona (Hoa Kỳ): Tích hợp mô hình ngôn ngữ lớn ChatGPT vào hệ thống hỗ trợ sinh viên xác định chủ đề và đề xuất từ khóa nghiên cứu.

Khảo sát thực tế cho thấy chưa có hệ thống thư viện đại học nào tích hợp đồng thời quy trình tự động hóa nhập liệu bằng thị giác máy tính (nhận dạng ký tự quang học - OCR kết hợp mô hình ngôn ngữ lớn - LLM), xác thực đăng nhập sinh trắc học không tiếp xúc, tra cứu nội dung ngữ nghĩa thông qua kỹ thuật Retrieval-Augmented Generation (RAG) và gợi ý tài liệu học thuật bằng học tăng cường (Reinforcement Learning).

Từ thực tiễn đó, đề tài "Hệ thống thủ thư thông minh hỗ trợ sinh viên trường Đại học Sư phạm Kỹ thuật TP.HCM" được triển khai nhằm thực hiện 7 nhiệm vụ nghiên cứu cụ thể:

  1. Nghiên cứu cơ sở lý thuyết về bài toán nhận diện khuôn mặt qua xử lý ảnh và học sâu, trích xuất thông tin qua nhận dạng ký tự quang học (OCR), gợi ý sách bằng học tăng cường và ứng dụng mô hình ngôn ngữ lớn qua kỹ thuật Retrieval-Augmented Generation.
  2. Xây dựng cơ sở dữ liệu: thu thập, xử lý dữ liệu khuôn mặt và dữ liệu sách phục vụ công tác quản lý của hệ thống.
  3. Xây dựng hệ thống nhận diện khuôn mặt phục vụ đăng nhập, tích hợp giải pháp thay thế quét mã QR khi không thể nhận diện khuôn mặt.
  4. Xây dựng hệ thống chatbot hỗ trợ tra cứu: ứng dụng kỹ thuật RAG trên tập dữ liệu sách thu thập từ thư viện số Trường Đại học Sư phạm Kỹ thuật TP.HCM.
  5. Xây dựng hệ thống quét bìa sách và trích xuất lời mở đầu: kết hợp mô hình OCR với mô hình ngôn ngữ lớn để trích xuất tiêu đề, tác giả, tự động đồng bộ vào cơ sở dữ liệu quan hệ và cơ sở dữ liệu vector.
  6. Thiết kế hệ thống gợi ý sách: áp dụng kỹ thuật Deep Q-Learning trong học tăng cường kết hợp hàm phần thưởng tương tác.
  7. Xây dựng kiểm thử và tối ưu hiệu năng các phân hệ trên dữ liệu thực tế.

Đối tượng nghiên cứu: Hệ thống phần mềm thư viện thông minh hỗ trợ sinh viên và thủ thư trong công tác quản lý, nhập liệu tự động và khai thác tri thức học thuật thông qua các mô hình AI.

Phạm vi nghiên cứu:

  • Không gian: Thử nghiệm tại Thư viện Trường Đại học Sư phạm Kỹ thuật TP.HCM (HCMUTE).
  • Thời gian thực hiện: Từ ngày 06/01/2025 đến ngày 06/06/2025.
  • Quy mô triển khai thử nghiệm ban đầu: Tập dữ liệu gồm 250 đầu sách chuyên ngành được trích xuất từ nền tảng thư viện số HCMUTE, phục vụ đồng thời từ 50 đến 100 người dùng truy cập.

Cơ sở lý thuyết và công nghệ nền tảng

Đề tài kết hợp nhiều nhánh nghiên cứu thuộc lĩnh vực Trí tuệ nhân tạo, Thị giác máy tính và Xử lý ngôn ngữ tự nhiên:

  • Mô hình phát hiện và căn chỉnh khuôn mặt MTCNN (Multi-task Cascaded Convolutional Networks): Áp dụng kiến trúc mạng tích chập 3 tầng nối tiếp (P-Net, R-Net, O-Net) theo nguyên lý học đa nhiệm (Multi-task Learning). Mô hình đồng thời thực hiện phân loại vùng ảnh có mặt người ($L_{cls}$ qua hàm Softmax Loss), hồi quy tọa độ hộp bao ($L_{box}$ qua Smooth L1 Loss) và định vị 5 điểm đặc trưng landmark gồm hai mắt, mũi và hai khóe miệng ($L_{landmark}$ qua sai số bình phương trung bình MSE), kết hợp thuật toán loại bỏ các hộp trùng lặp Non-Maximum Suppression (NMS) với ngưỡng chồng lấp IoU mặc định 0.6.
  • Mô hình trích xuất đặc trưng InceptionResNetV1: Tích hợp các kết nối tắt (Residual Connections) vào các khối Inception đa nhánh nhằm tạo ra vector nhúng đặc trưng (face embedding) 512 chiều từ ảnh chân dung kích thước chuẩn $299 \times 299$, cho phép so sánh độ tương đồng người dùng dựa trên khoảng cách Euclidean hoặc khoảng cách Cosine.
  • Kỹ thuật tạo sinh tăng cường truy xuất (Retrieval-Augmented Generation - RAG): Kết hợp giữa bộ truy xuất ngữ nghĩa (Retriever) và mô hình sinh ngôn ngữ tự nhiên (Generator). Hệ thống sử dụng mô hình embedding đa ngôn ngữ sentence-transformers/paraphrase-multilingual-mpnet-base-v2 để ánh xạ các đoạn văn bản (chunks) trích xuất từ lời mở đầu sách vào không gian vector đa chiều, lưu trữ và đánh chỉ mục trong cơ sở dữ liệu vector ChromaDB. Mô hình ngôn ngữ lớn Gemma 2 và các mô hình LLaMA (chạy cục bộ qua công cụ mã nguồn mở llama.cpp) được tích hợp qua khung điều phối LangChain để phản hồi các câu hỏi học thuật bám sát ngữ cảnh thực tế của tài liệu.
  • Mô hình nhận dạng ký tự quang học (OCR): Phối hợp công cụ PyMuPDF để xử lý tài liệu định dạng PDF, mô hình PP-OCR (PaddleOCR) dựa trên mạng nơ-ron hồi quy tích chập (CRNN) cùng phương pháp nhị phân hóa vi phân (Differentiable Binarization - DB) để nhận dạng văn bản nhanh, kết hợp với mô hình VietOCR ứng dụng kiến trúc Transformer chuyên biệt cho việc nhận dạng chữ viết tiếng Việt có dấu.
  • Học tăng cường sâu (Deep Reinforcement Learning - DRL): Xây dựng hệ thống khuyến nghị sách theo mô hình Quá trình quyết định Markov (MDP). Tác tử (Agent) áp dụng thuật toán Deep Q-Learning (DQL), sử dụng mạng nơ-ron nhiều lớp để xấp xỉ hàm giá trị tối ưu $Q(s, a)$, cập nhật chính sách gợi ý sách dựa trên phản hồi phần thưởng (Reward) từ các thao tác bấm xem, đọc thử hoặc mượn sách của người dùng.

Nguồn dữ liệu nghiên cứu:

  • Tập dữ liệu nhận diện khuôn mặt: Bộ dữ liệu chuẩn quốc tế Pins Face Recognition thu thập từ nền tảng Pinterest (công bố bởi Burak trên Kaggle), bao gồm hàng chục nghìn ảnh chân dung phục vụ việc kiểm thử khả năng nhận dạng sinh trắc học.
  • Tập dữ liệu sách học thuật: 250 đầu sách và giáo trình điện tử được thu thập trực tiếp thông qua công cụ thu thập tự động từ hệ thống Thư viện số Trường Đại học Sư phạm Kỹ thuật TP.HCM (thuvienso.hcmute.edu.vn).

Thiết kế và triển khai hệ thống

Hệ thống được xây dựng theo mô hình Client-Server nhiều tầng, phân tách rõ ràng giữa tầng hiển thị giao diện, tầng logic xử lý nghiệp vụ AI và tầng cơ sở dữ liệu.

+-------------------------------------------------------------------+
|               GIAO DIỆN NGƯỜI DÙNG (HTML5 / Bootstrap)             |
|          - Cổng thông tin Sinh viên    - Phân hệ quản trị Thủ thư |
+---------------------------------+---------------------------------+
                                  | HTTP / REST API
+---------------------------------v---------------------------------+
|                    BACKEND FRAMEWORK (Django / Flask)             |
|                                                                   |
|  [Phân hệ Xác thực]          [Phân hệ Nhập liệu & OCR]           |
|  - MTCNN & InceptionResNetV1 - PyMuPDF & PaddleOCR / VietOCR      |
|  - QR Code Login Fallback    - LLM Classifier (Tác giả, Tiêu đề)  |
|                                                                   |
|  [Phân hệ RAG & Chatbot]     [Phân hệ Gợi ý Sách Cá nhân hóa]    |
|  - LangChain Orchestrator    - Deep Q-Learning Network (DQL)      |
|  - Gemma 2 / llama.cpp       - Reward Feedback Mechanism          |
+-------------------+-------------------------------+---------------+
                    |                               |
+-------------------v---------------+   +-----------v---------------+
| RELATIONAL DATABASE (SQL Server)  |   | VECTOR DATABASE (ChromaDB)|
| 9 bảng dữ liệu quan hệ nghiệp vụ  |   | Lưu trữ văn bản & nhúng   |
| (User, Book, Interaction, v.v.)   |   | MPNet đa ngôn ngữ         |
+-----------------------------------+   +---------------------------+

Kiến trúc phần cứng và ngăn xếp công nghệ

  • Phần cứng máy chủ tính toán: Triển khai trên máy chủ tính toán hiệu năng cao Zeppelin trang bị card đồ họa GPU chuyên dụng gồm NVIDIA Tesla P100 PCIe 16GB và MSI RTX 3090 SUPRIM X 24GB nhằm tăng tốc độ suy luận của mô hình ngôn ngữ lớn Gemma 2 và trích xuất vector embedding đa chiều. Các tác vụ OCR cơ bản có khả năng vận hành độc lập trên môi trường CPU tiêu chuẩn.
  • Khung phần mềm phụ trợ (Backend): Sử dụng kết hợp Django (cho kiến trúc ứng dụng web quản lý cơ sở dữ liệu quan hệ, phân quyền tài khoản) và Flask (dành cho việc đóng gói các API vi dịch vụ xử lý thị giác máy tính và học sâu).
  • Hệ quản trị cơ sở dữ liệu quan hệ (RDBMS): Microsoft SQL Server đảm nhiệm việc lưu trữ toàn bộ dữ liệu cấu trúc của hệ thống, bao gồm 9 bảng chức năng:
STT Tên bảng CSDL Chức năng lưu trữ chính
1 User Thông tin tài khoản người dùng, mã số sinh viên, quyền truy cập và vector khuôn mặt
2 Book Thông tin thư mục sách: mã sách, tên sách, tác giả, nhà xuất bản, thể loại
3 Department Danh mục các khoa, chuyên ngành trực thuộc trường phục vụ phân loại giáo trình
4 BookIntro Nội dung lời mở đầu, tóm tắt sách đã qua xử lý trích xuất văn bản
5 BookQA Tập hợp các câu hỏi - câu trả lời mẫu gắn liền với từng ấn phẩm
6 UserBookInteraction Lịch sử tương tác của người dùng (xem, tra cứu, yêu cầu) phục vụ học tăng cường
7 QRCodeLoginToken Quản lý phiên làm việc và mã định danh tạm thời khi đăng nhập qua mã QR
8 Chat Lịch sử nhật ký hội thoại giữa sinh viên và hệ thống trợ lý ảo
9 DeleteRequest Danh sách các yêu cầu xóa hoặc điều chỉnh thông tin sách chờ thủ thư phê duyệt

Thiết kế các phân hệ nghiệp vụ chính

  1. Phân hệ đăng nhập sinh trắc học và xác thực: Camera tiếp nhận luồng video thời gian thực từ người dùng; MTCNN tiến hành định vị khuôn mặt và chuẩn hóa tọa độ; InceptionResNetV1 trích xuất vector đặc trưng để đối soát với cơ sở dữ liệu. Nếu điều kiện ánh sáng hoặc góc chụp không đạt ngưỡng nhận diện tin cậy, hệ thống tự động cung cấp luồng đăng nhập dự phòng bằng mã QR thông qua bảng QRCodeLoginToken.
  2. Phân hệ số hóa và nhập liệu sách thông minh: Hỗ trợ thủ thư nhập liệu tự động thông qua hai phương thức: quét mã vạch ISBN liên kết API bên ngoài (Google Books API) hoặc tải lên ảnh chụp bìa sách. Với phương thức tải ảnh bìa, PaddleOCR và VietOCR định vị các khối ký tự tiếng Việt; mô hình ngôn ngữ lớn LLM phân tích ngữ nghĩa để tự động điền các trường tiêu đề và tác giả vào biểu mẫu kiểm duyệt. Đối với tệp nội dung số PDF, PyMuPDF tách riêng phần lời giới thiệu để nạp vào ChromaDB.
  3. Phân hệ trợ lý ảo hỏi - đáp RAG: Sinh viên gửi truy vấn ngôn ngữ tự nhiên về chủ đề nghiên cứu hoặc nội dung tài liệu. LangChain điều phối việc tìm kiếm k-đoạn văn bản tương đồng nhất trong ChromaDB bằng thuật toán Cosine Similarity, sau đó ghép ngữ cảnh vào prompt gửi tới mô hình Gemma 2 để sinh câu trả lời chính xác, hạn chế hiện tượng ảo giác thông tin.
  4. Phân hệ gợi ý sách cá nhân hóa: Tác tử Deep Q-Learning theo dõi hành vi tương tác trên giao diện web. Trạng thái người dùng được tổng hợp từ danh mục sách đã xem gần nhất; không gian hành động là danh mục các đầu sách sẵn có trong hệ thống; hàm phần thưởng được cộng điểm khi người dùng tiếp tục nhấn vào chi tiết sách được gợi ý và trừ điểm nếu người dùng bỏ qua, từ đó tự động tối ưu hóa chính sách đề xuất qua từng phiên làm việc.

Nội dung chính theo từng chương

Chương 1: Lý thuyết liên quan

Chương 1 hệ thống hóa toàn bộ cơ sở lý thuyết toán học và kiến trúc học sâu được ứng dụng trong đề tài. Nội dung trọng tâm đi sâu vào cấu trúc 3 giai đoạn của MTCNN:

  • P-Net (Proposal Network): Mạng CNN nông nhận đầu vào kích thước $12 \times 12 \times 3$, quét đa tỷ lệ trên kim tự tháp ảnh để đề xuất các vùng ứng viên chứa khuôn mặt.
  • R-Net (Refinement Network): Mạng tích chập nhận đầu vào $24 \times 24 \times 3$, tinh chỉnh lại tọa độ và loại bỏ các hộp nhận diện sai bằng các lớp Fully Connected.
  • O-Net (Output Network): Mạng nơ-ron sâu nhất tiếp nhận đầu vào $48 \times 48 \times 3$, xác định chính xác tọa độ bounding box cuối cùng và xuất tọa độ tương đối của 5 điểm mốc khuôn mặt.

Bên cạnh đó, chương này phân tích chi tiết mô hình InceptionResNetV1 với cấu trúc khối Stem giảm kích thước từ $299 \times 299$ xuống $35 \times 35$, các khối Inception-ResNet-A/B/C và Reduction-A/B; cơ chế hoạt động của kỹ thuật RAG; mô hình SentenceTransformer; nguyên lý toán học của phương pháp Q-Learning và Deep Q-Learning giải bài toán tối ưu hóa quyết định; đồng thời tổng quan tính năng kỹ thuật của các công cụ phát triển phần mềm gồm Django, Flask, LangChain, SQL Server, ChromaDB, PyMuPDF, PaddleOCR và VietOCR.

Chương 2: Phân tích và thiết kế hệ thống

Chương 2 mô tả quá trình chuyển hóa yêu cầu kỹ thuật thành kiến trúc phần mềm thực tế. Tác giả đặc tả chi tiết 6 chức năng vận hành chính:

  • Đăng nhập bằng nhận diện khuôn mặt;
  • Gợi ý tài liệu học thuật theo ngữ cảnh người dùng;
  • Tự động trích xuất lời mở đầu sách từ tệp định dạng PDF;
  • Chatbot tư vấn giải đáp nội dung sách qua ngôn ngữ tự nhiên;
  • Thêm mới tài liệu thông qua quét mã vạch ISBN;
  • Nhập liệu tự động ấn phẩm bằng công nghệ OCR nhận dạng ảnh bìa.

Chương này cung cấp hệ thống sơ đồ chức năng chi tiết, thiết kế lược đồ quan hệ thực thể (ERD) cho 9 bảng dữ liệu trong Microsoft SQL Server và xây dựng giao diện tương tác người dùng gồm 13 màn hình chức năng chuyên biệt cho hai nhóm đối tượng: sinh viên (trang chủ sách, quản lý kệ sách, trang giao tiếp chatbot) và thủ thư (trang quét mã ISBN, trang OCR ảnh bìa, trang xử lý yêu cầu cập nhật và kiểm duyệt sách).

Chương 3: Huấn luyện và tinh chỉnh hệ thống

Chương 3 tập trung vào công tác chuẩn bị dữ liệu thực nghiệm và tinh chỉnh siêu tham số cho các mô hình AI. Tập dữ liệu ảnh khuôn mặt từ Kaggle được chuẩn hóa, cắt tỉa và căn chỉnh điểm mốc trước khi đưa vào trích xuất embedding. Tập dữ liệu 250 đầu sách từ trang thư viện số HCMUTE được phân tích cấu trúc văn bản, làm sạch ký tự lạ và phân đoạn đoạn văn theo độ dài phù hợp với cửa sổ ngữ cảnh.

Tác giả trình bày các bộ siêu tham số tinh chỉnh thực nghiệm:

  • Thiết lập nhiệt độ (temperature) và ngưỡng lọc xác suất cho mô hình ngôn ngữ lớn Gemma 2 nhằm cân bằng giữa tính chính xác khoa học và độ mượt mà của câu trả lời.
  • Cấu hình kích thước chiều vector và độ dài phân đoạn văn bản cho mô hình nhúng sentence-transformers/paraphrase-multilingual-mpnet-base-v2.
  • Cấu hình tốc độ học (learning rate), hệ số suy giảm phần thưởng (discount factor $\gamma$), và chiến lược khám phá $\epsilon$-greedy phục vụ huấn luyện mạng nơ-ron Deep Q-Learning trong phân hệ gợi ý.

Chương 4: Đánh giá hệ thống

Chương 4 thực hiện các kiểm thử định lượng trên từng phân hệ độc lập:

  • Đánh giá phân hệ nhận diện khuôn mặt: Đo lường độ chính xác tổng thể qua các chỉ số phân loại, phân tích phân bố độ tương đồng Cosine giữa khuôn mặt hợp lệ và khuôn mặt giả mạo, ghi nhận thời gian xử lý trung bình trên mỗi khung hình nhằm bảo đảm tính năng vận hành theo thời gian thực.
  • Đánh giá phân hệ Chatbot RAG: Kiểm thử tập câu hỏi thực tế về nội dung giáo trình, ghi nhận kết quả đánh giá chất lượng câu trả lời thông qua bảng tổng hợp thực nghiệm.
  • Đánh giá phân hệ trích xuất OCR: Đo lường sai khác giữa văn bản trích xuất tự động và văn bản gốc do con người gán nhãn thông qua ba chỉ số học thuật chuẩn: ROUGE Scores (ROUGE-1, ROUGE-2, ROUGE-L), độ dài chuỗi con chung dài nhất (Longest Common Subsequence - LCS) và tỷ lệ bao phủ từ vựng tiếng Việt.
  • Đánh giá phân hệ gợi ý sách Deep Q-Learning: Theo dõi quá trình hội tụ của thuật toán học tăng cường thông qua đồ thị biến thiên của tổng phần thưởng (Reward) tích lũy qua các chu kỳ huấn luyện (Episodes).

Kết quả và đóng góp kỹ thuật

Hệ thống đã hiện thực hóa thành công một nền tảng thư viện số thông minh hoàn chỉnh, kết hợp các giải pháp AI tiên tiến vào các khâu vận hành nghiệp vụ.

Các kết quả kỹ thuật ghi nhận trong văn bản

  • Nền tảng lý thuyết kiểm chứng: Mô hình MTCNN được đối chiếu trên các tập dữ liệu chuẩn học thuật (FDDB đạt tỷ lệ phát hiện khuôn mặt thực tế TPR 92,1% tại 1000 trường hợp dương tính giả; WIDER FACE đạt độ chính xác trung bình AP 94,8% trên tập dễ, 93,4% trên tập trung bình; tập AFLW đạt sai số chuẩn hóa NME điểm mốc 5,39% và tỷ lệ thất bại 1,84%; tốc độ xử lý đạt 99ms/ảnh trên GPU Titan X kích thước $640 \times 480$).
  • Độ chính xác phân hệ nhận diện khuôn mặt: Phân tích độ phân bố Cosine Similarity cho thấy ranh giới tách biệt rõ nét giữa người dùng trong hệ thống và đối tượng chưa đăng ký, bảo đảm thời gian xác thực sinh trắc học đáp ứng yêu cầu vận hành thực tế.
  • Độ tin cậy của phân hệ OCR: Hiệu năng nhận dạng văn bản tiếng Việt từ ảnh bìa và tệp PDF đạt độ tương đồng cao so với nhãn chuẩn thông qua các chỉ số ROUGE-1, ROUGE-2, ROUGE-L, độ bao phủ từ vựng và chuỗi con chung dài nhất LCS.
  • Khả năng tối ưu của phân hệ gợi ý sách: Đồ thị hàm phần thưởng của mô hình Deep Q-Learning qua các chu kỳ (Episodes) ghi nhận xu hướng tăng trưởng và hội tụ ổn định, chứng minh tác tử có khả năng tự động học hỏi sở thích đọc của sinh viên để đưa ra các gợi ý phù hợp.

Đóng góp kỹ thuật của đề tài

  • Xây dựng thành công chu trình tự động hóa nhập liệu sách kết hợp hai giai đoạn: trích xuất ký tự bằng thị giác máy tính (PaddleOCR, VietOCR) và phân loại thực thể ngữ nghĩa bằng LLM, giúp thủ thư giảm thiểu thao tác nhập liệu thủ công.
  • Ứng dụng kỹ thuật RAG trên nguồn dữ liệu mở đầu sách học thuật, khắc phục triệt để hiện tượng bịa đặt thông tin (hallucination) của các mô hình ngôn ngữ lớn khi hỏi đáp về tài liệu chuyên ngành.
  • Đề xuất mô hình gợi ý sách áp dụng học tăng cường sâu Deep Q-Learning dựa trên hành vi tương tác thực tế, tạo bước chuyển đổi từ cơ chế tìm kiếm thụ động sang chủ động phân phối tài nguyên học tập cá nhân hóa.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của hệ thống

  • Quy mô cơ sở dữ liệu thử nghiệm hiện mới dừng lại ở mức 250 đầu sách được trích xuất từ thư viện số HCMUTE, chưa bao phủ toàn bộ kho tài nguyên đa ngành của nhà trường.
  • Hệ thống yêu cầu cấu hình phần cứng máy chủ có card đồ họa chuyên dụng (GPU Tesla P100, RTX 3090) để đảm bảo tốc độ phản hồi khi vận hành các mô hình ngôn ngữ lớn cục bộ; việc triển khai trên các hạ tầng máy chủ chỉ có CPU sẽ gặp độ trễ lớn trong khâu suy luận sinh văn bản.
  • Quy mô kiểm thử tải đồng thời chỉ mới giới hạn trong khoảng 50 đến 100 người dùng, chưa đánh giá hành vi hệ thống trong điều kiện chịu tải cực hạn tại các kỳ thi cao điểm.

Hướng phát triển trong tương lai

  • Mở rộng quy mô thu thập và lập chỉ mục cho toàn bộ kho sách in, luận văn, đề tài nghiên cứu khoa học của thư viện nhà trường vào cơ sở dữ liệu vector ChromaDB.
  • Áp dụng các kỹ thuật nén mô hình và lượng tử hóa trọng số (Model Quantization 4-bit/8-bit) nhằm tối ưu hóa tài nguyên phần cứng, cho phép mô hình ngôn ngữ lớn vận hành ổn định trên các máy chủ có cấu hình khiêm tốn.
  • Nâng cấp mô hình gợi ý sách sang dạng đa phương thức (Multimodal Recommendation), kết hợp phân tích nội dung văn bản, hình ảnh bìa và mạng lưới tương tác xã hội giữa các nhóm sinh viên cùng chuyên ngành.

Giá trị tham khảo

Đồ án là tài liệu kỹ thuật có giá trị thực tiễn cao đối với sinh viên, giảng viên và các nhóm nghiên cứu trong các lĩnh vực sau:

  • Sinh viên ngành Công nghệ Thông tin và Trí tuệ Nhân tạo: Cung cấp tài liệu tham khảo hoàn chỉnh về quy trình tích hợp các mô hình học sâu hiện đại (MTCNN, InceptionResNet, Transformers, Deep Q-Learning) vào một hệ thống phần mềm web ứng dụng thực tế với hai framework phổ biến là Django và Flask.
  • Kỹ sư phát triển ứng dụng Xử lý ngôn ngữ tự nhiên: Cung cấp ca triển khai thực tế (case study) về việc xây dựng pipeline RAG hoàn chỉnh bằng LangChain, kết hợp trích xuất văn bản tiếng Việt qua OCR (PaddleOCR + VietOCR), biểu diễn vector ngữ nghĩa với MPNet và lưu trữ truy vấn trên ChromaDB.
  • Cán bộ quản lý thư viện và cơ sở giáo dục đại học: Cung cấp mô hình kiến trúc tham chiếu cho các dự án chuyển đổi số thư viện, tự động hóa quy trình nghiệp vụ và xây dựng các dịch vụ thư viện không tiếp xúc.

Câu hỏi thường gặp

1. Hệ thống xử lý thế nào trong trường hợp camera không thể nhận diện được khuôn mặt của sinh viên?
Hệ thống đã thiết kế sẵn quy trình xác thực dự phòng: nếu camera không thể định vị khuôn mặt hoặc điểm số tương đồng Cosine không đạt ngưỡng an toàn do điều kiện ánh sáng hoặc góc chụp, sinh viên có thể chuyển sang phương thức quét mã QR trên giao diện đăng nhập thông qua cơ chế mã thông báo tạm thời lưu trong bảng QRCodeLoginToken.

2. Quá trình tự động hóa nhập liệu sách từ ảnh chụp bìa được thực hiện qua các bước nào?
Đầu tiên, ảnh bìa sách được đưa qua phân hệ OCR kết hợp giữa PP-OCR (PaddleOCR) để phát hiện vùng chữ và VietOCR để nhận dạng chính xác ký tự tiếng Việt có dấu. Sau đó, chuỗi văn bản trích xuất được đưa vào mô hình ngôn ngữ lớn LLM để tự động phân tích cú pháp, trích xuất chính xác tên tiêu đề và tên tác giả, tự động điền vào biểu mẫu trên giao diện quản trị để thủ thư kiểm duyệt trước khi lưu vào SQL Server.

3. Kỹ thuật RAG trong đề tài sử dụng dữ liệu nào để trả lời câu hỏi của sinh viên?
Hệ thống sử dụng dữ liệu phần giới thiệu, tóm tắt và lời mở đầu của 250 cuốn sách thu thập từ thư viện số HCMUTE. Nội dung này được trích xuất bằng PyMuPDF, phân đoạn (chunking), tạo vector nhúng thông qua mô hình sentence-transformers/paraphrase-multilingual-mpnet-base-v2 và lưu trong ChromaDB. Khi sinh viên đặt câu hỏi, hệ thống sẽ truy xuất các đoạn văn bản có độ tương đồng ngữ nghĩa cao nhất để làm ngữ cảnh cho mô hình ngôn ngữ lớn Gemma 2 sinh câu trả lời.

4. Thuật toán Deep Q-Learning đóng vai trò gì trong phân hệ gợi ý sách?
Deep Q-Learning được sử dụng để xây dựng hệ thống gợi ý sách mang tính cá nhân hóa. Thuật toán coi người dùng và giao diện là môi trường tương tác theo mô hình MDP. Mạng nơ-ron sâu xấp xỉ hàm giá trị $Q(s, a)$ dự đoán độ phù hợp của một cuốn sách (hành động $a$) dựa trên lịch sử tương tác trước đó (trạng thái $s$). Chính sách gợi ý được liên tục cập nhật thông qua tín hiệu phần thưởng nhận được khi người dùng nhấp vào xem hoặc tương tác với tài liệu.

5. Cơ sở dữ liệu của hệ thống được phân chia và lưu trữ như thế nào?
Hệ thống sử dụng kiến trúc lưu trữ kép: Microsoft SQL Server quản lý dữ liệu có cấu trúc gồm 9 bảng nghiệp vụ (User, Book, Department, BookIntro, BookQA, UserBookInteraction, QRCodeLoginToken, Chat, DeleteRequest), trong khi cơ sở dữ liệu vector ChromaDB chuyên biệt đảm nhiệm việc lưu trữ các vector nhúng ngữ nghĩa của phần tóm tắt sách để phục vụ cho các truy vấn của chatbot.

Kết luận

Đồ án tốt nghiệp của sinh viên Nguyễn Thi Phú và Bùi Quang Thiện đã xây dựng thành công giải pháp "Hệ thống thủ thư thông minh hỗ trợ sinh viên trường Đại học Sư phạm Kỹ thuật TP.HCM". Bằng việc kết hợp thực nghiệm nhiều nhánh công nghệ AI bao gồm thị giác máy tính (MTCNN, InceptionResNetV1, PaddleOCR, VietOCR), xử lý ngôn ngữ tự nhiên (RAG, Gemma 2, LangChain, ChromaDB) và học tăng cường (Deep Q-Learning), đề tài đã giải quyết trọn vẹn bài toán tự động hóa quy trình nhập liệu và nâng cao trải nghiệm tra cứu tri thức học thuật. Kết quả nghiên cứu là minh chứng rõ nét cho tính ứng dụng của các mô hình học máy hiện đại trong việc nâng cấp hạ tầng dịch vụ giáo dục đại học, đặt nền móng vững chắc cho các nghiên cứu mở rộng quy mô thư viện thông minh trong tương lai.