Báo Cáo Nghiên Cứu: Xây Dựng Ứng Dụng Tự Động Phát Hiện Trùng Lặp Trong Công Tác Bổ Sung Tài Liệu Thư Viện

Tóm tắt nghiên cứu

Nghiên cứu tập trung giải quyết câu hỏi cốt lõi: Làm thế nào để tối ưu hóa và tự động hóa quy trình rà soát, phát hiện trùng lặp tài liệu trong công tác bổ sung học liệu tại các thư viện đại học nhằm tiết kiệm thời gian và ngân sách?

Về phương pháp tiếp cận, nhóm tác giả tại Trung tâm Thông tin – Thư viện, Trường Đại học Hải Phòng đã phân tích quy trình nghiệp vụ thực tế, khảo sát kiến trúc hệ thống quản lý thư viện tích hợp KIPOS, từ đó xây dựng một giải pháp phần mềm gọn nhẹ (lightweight application) trên nền tảng Visual Basic for Applications (VBA) tích hợp trong Microsoft Excel. Ứng dụng kết nối trực tiếp đến hệ quản trị cơ sở dữ liệu SQL Server (máy chủ sao lưu/dự phòng) để tiến hành đối soát, truy vấn theo lô (batch searching) với tập dữ liệu lớn.

Kết quả thử nghiệm thực tế với danh mục 100 đầu tài liệu đề xuất cho thấy: tổng thời gian xử lý và rà soát giảm từ 8 giờ làm việc (thực hiện thủ công) xuống còn 1,5 giờ (trong đó thời gian so khớp tự động của ứng dụng chỉ mất khoảng 15 phút, thời gian còn lại dành cho việc tiền xử lý dữ liệu đầu vào). Kết quả đối soát đảm bảo tính nhất quán 100% qua các lần kiểm tra độc lập.

Ý nghĩa thực tiễn của nghiên cứu mở ra hướng tiếp cận chi phí thấp nhưng mang lại hiệu suất vượt trội cho các trung tâm học liệu, giúp tối ưu hóa nguồn kinh phí mua sắm sách, đồng thời đảm bảo tính chuẩn xác theo yêu cầu kiểm định chương trình đào tạo của Bộ Giáo dục và Đào tạo.

Bối cảnh và tầm quan trọng

Thực trạng quản lý và bổ sung học liệu tại các trường đại học

Trong bối cảnh giáo dục đại học đổi mới theo hướng chuẩn hóa quốc tế, tài nguyên thông tin và học liệu giữ vai trò là "xương sống" phục vụ công tác giảng dạy, học tập và nghiên cứu khoa học. Theo quy định tại Luật Thư viện số 46/2019/QH14, Luật Giáo dục đại học sửa đổi số 34/2018/QH14, cùng các văn bản dưới luật như Thông tư 04/2016/TT-BGDĐT và Thông tư 12/2017/TT-BGDĐT, nguồn học liệu phục vụ từng học phần là tiêu chí bắt buộc trong quy trình đánh giá, kiểm định chất lượng giáo dục đại học.

Hàng năm, các cơ sở giáo dục đại học đều được phân bổ ngân sách để thu thập, mua mới giáo trình, tài liệu tham khảo theo đề xuất từ các Khoa/Viện chuyên môn. Tuy nhiên, bài toán đặt ra là làm thế nào để khai thác nguồn kinh phí này hiệu quả nhất:

  1. Tránh mua thừa, mua trùng các tài liệu đã có sẵn trong kho lưu trữ.
  2. Cân đối số lượng bản in dựa trên tần suất lưu thông thực tế của bạn đọc.
  3. Đảm bảo tài liệu bổ sung khớp đúng với đề cương chi tiết của chương trình đào tạo.

Khoảng trống nghiên cứu và công nghệ

Hiện nay, thị trường phần mềm quản trị thư viện tại Việt Nam rất phong phú, bao gồm các hệ thống thương mại (KIPOS, ILIB, LIBOL, TCSOFT-LIB, NANO ELIB, DTSOFT) và các nền tảng mã nguồn mở quốc tế (KOHA, DSpace). Mặc dù các hệ thống này cung cấp đầy đủ phân hệ biên mục, lưu thông và tra cứu OPAC, nhưng chưa có phần mềm nào hỗ trợ tính năng tra cứu đối soát theo lô từ một danh sách tài liệu ngoại vi.

Khi tiếp nhận danh mục đề xuất hàng trăm đầu sách từ các khoa, cán bộ thư viện buộc phải thực hiện thao tác thủ công: copy - paste từng tên sách hoặc tác giả vào thanh tìm kiếm, ghi nhận kết quả, sau đó tổng hợp lại. Công việc lặp đi lặp lại này chiếm dụng nhiều nhân lực, dễ xảy ra sai sót chủ quan và làm chậm tiến độ trình duyệt kế hoạch mua sắm.

Tính cấp thiết và tác động tiềm năng

Nghiên cứu mang tính thời sự cao khi trực tiếp tháo gỡ điểm nghẽn trong chuyển đổi số nghiệp vụ thư viện. Bằng cách tự động hóa khâu rà soát trùng lặp, đề tài không chỉ tiết kiệm hàng trăm giờ lao động mỗi đợt bổ sung học liệu mà còn bảo vệ ngân sách nhà trường khỏi lãng phí, góp phần minh bạch hóa và chuẩn hóa cơ sở dữ liệu học thuật.

Methodology và approach

Thiết kế nghiên cứu và nguyên lý hệ thống

Nghiên cứu được thiết kế theo phương pháp nghiên cứu ứng dụng (applied research), kết hợp giữa khảo sát quy trình tác nghiệp thực địa và kỹ thuật công nghệ phần mềm:

  • Khảo sát nghiệp vụ: Phân tích chi tiết quy trình 3 giai đoạn bổ sung tài liệu tại Trường Đại học Hải Phòng (Lập danh mục $\rightarrow$ Kiểm tra, rà soát $\rightarrow$ Trình duyệt mua bổ sung).
  • Thiết kế kiến trúc an toàn dữ liệu: Nhóm nghiên cứu thiết lập mô hình Client - Server gián tiếp. Ứng dụng trên máy trạm của thủ thư không truy vấn trực tiếp vào Máy chủ 01 (Web & Production Database Server) mà kết nối vào Máy chủ 02 (Mirror & Backup Server) thông qua mạng nội bộ LAN. Dữ liệu giữa hai máy chủ được đồng bộ một chiều theo thời gian thực (Real-time Transactional Replication của SQL Server). Thiết kế này đảm bảo an toàn tuyệt đối cho cơ sở dữ liệu vận hành chính, không gây nghẽn đường truyền hay gián đoạn dịch vụ của bạn đọc.
[Máy trạm Client (VBA/Excel Tool)]

Kỹ thuật thu thập và bóc tách dữ liệu

Cơ sở dữ liệu của phần mềm KIPOS bao gồm hơn 50 bảng cấu trúc. Nhóm tác giả đã phân tích lược đồ dữ liệu và trích xuất thông tin trọng yếu từ 3 bảng dữ liệu cốt lõi:

  1. KPS_DMD: Bảng chứa siêu dữ liệu mô tả (Descriptive Metadata) như nhan đề sách (LABEL), nhà xuất bản (PUBLISHER), năm xuất bản (F8_DATE1), mã định danh (ISBN_ISSN), số lượng đầu mục (ITEM_COUNT).
  2. KPS_METS: Bảng cấu trúc siêu dữ liệu số và trạng thái ấn phẩm (METS_OBJID, STATUS_CODE, ISSUE_YEAR).
  3. KPS_AUTHOR: Bảng quản lý chuẩn hóa tên tác giả (AUTHOR, AUTHOR_RAW, TAG).

Môi trường phát triển và kỹ thuật phân tích

  • Ngôn ngữ lập trình: Visual Basic for Applications (VBA) chạy trực tiếp trong Microsoft Excel (từ phiên bản 2013 trở lên), tạo giao diện thân thiện dạng WinForm nhúng, không yêu cầu cài đặt phần mềm phức tạp.
  • Công cụ quản trị CSDL: SQL Server Management Studio (SSMS) phục vụ xây dựng các câu truy vấn phức hợp (complex queries).
  • Thuật toán so khớp đa điều kiện: Ứng dụng cung cấp các tùy chọn kết hợp tiêu chí tìm kiếm linh hoạt:
    • Khớp theo Nhan đề.
    • Khớp theo Nhan đề + Tác giả.
    • Khớp theo Nhan đề + Tác giả + Năm xuất bản.
    • Khớp theo Nhan đề + Tác giả + Năm xuất bản + Nhà xuất bản.

Đảm bảo tính hợp lệ và độ tin cậy

Độ tin cậy của thuật toán được kiểm chứng qua các bộ dữ liệu danh mục thực tế từ Khoa/Viện gửi về. Quá trình đối soát tự động được đối chứng song song với kết quả tra cứu thủ công độc lập nhằm xác thực tỷ lệ chính xác (Precision) và khả năng bao phủ (Recall).

Phát hiện chính

Quá trình triển khai thực nghiệm ứng dụng tại Trung tâm Thông tin – Thư viện, Trường Đại học Hải Phòng đã mang lại các phát hiện và số liệu định lượng nổi bật:

1. Rút ngắn hơn 80% tổng thời gian quy trình nghiệp vụ

Khi xử lý danh mục thử nghiệm gồm 100 đầu tài liệu đề xuất bổ sung:

  • Phương pháp thủ công trước đây: Cán bộ thư viện mất khoảng 8 giờ (tương đương 1 ngày làm việc trọn vẹn) để tra cứu từng cuốn trên giao diện KIPOS, ghi nhận số lượng tồn kho và lượt mượn.
  • Phương pháp ứng dụng tự động: Tổng thời gian hoàn thành chỉ còn 1,5 giờ.
    • Trong đó, khâu tiền xử lý (chuẩn hóa danh sách Excel, xóa ký tự trắng thừa, chuẩn định dạng cột) mất khoảng 1 giờ 15 phút.
    • Khâu truy vấn đối soát tự động của ứng dụng chỉ mất đúng 15 phút.
Tiêu chí Quy trình thủ công Quy trình ứng dụng tự động Mức độ cải thiện
Thời gian tra cứu & so khớp ~ 8 giờ (480 phút) 15 phút Giảm 96.8%
Thời gian xử lý dữ liệu đầu vào Đan xen liên tục 75 phút (tập trung) Tối ưu hóa tập trung
Tổng thời gian hoàn thành 8,0 giờ 1,5 giờ Tiết kiệm 81.25%
Độ chính xác qua nhiều lần lặp Biến thiên do yếu tố con người 100% đồng nhất Tuyệt đối

2. Loại bỏ hoàn toàn sai số chủ quan

Trong quá trình tra cứu thủ công, các yếu tố như mệt mỏi thị giác, gõ sai từ khóa hay bỏ sót dấu tiếng Việt thường dẫn đến kết quả âm tính giả (tài liệu thực tế đã có trong kho nhưng cán bộ tra cứu không thấy, dẫn đến việc đề xuất mua trùng). Ứng dụng tự động hóa với các câu lệnh truy vấn chuẩn hóa đã đảm bảo kết quả đối soát đồng nhất 100% giữa các lần chạy khác nhau.

3. Tích hợp dữ liệu thống kê lưu thông đa chiều

Ứng dụng không chỉ trả về trạng thái nhị phân "Có/Không" về sự tồn tại của tài liệu, mà còn tự động trích xuất:

  • Số lượng bản sách hiện có trong từng kho.
  • Tổng số lượt giao dịch mượn/trả của đầu sách tính đến thời điểm hiện tại. Thông tin này là cơ sở định lượng quan trọng giúp Hội đồng Thư viện quyết định chính xác: nếu một cuốn sách đã có nhưng tần suất mượn cực cao thì vẫn cần mua bổ sung thêm bản; ngược lại nếu sách tồn kho nhiều và ít lưu thông thì sẽ từ chối bổ sung.

4. Phát hiện bất ngờ về "nút thắt" tiền xử lý dữ liệu

Một phát hiện đáng chú ý trong nghiên cứu là thời gian chạy thuật toán tìm kiếm chiếm tỷ lệ rất nhỏ (15 phút), trong khi phần lớn thời gian (75 phút) lại dồn vào khâu làm sạch và chuẩn hóa danh mục đầu vào do các Khoa/Viện gửi về không đúng quy chuẩn (lỗi font, thừa khoảng trắng, sai lệch cấu trúc cột). Điều này chỉ ra rằng để tự động hóa toàn diện, cần phải có giải pháp chuẩn hóa dữ liệu biểu mẫu ngay từ khâu tiếp nhận.

Đóng góp khoa học

Đóng góp về mặt phương pháp luận và kỹ thuật

  • Mô hình tích hợp nhẹ (Lightweight Integration Architecture): Chứng minh tính khả thi của việc kết hợp công cụ văn phòng phổ biến (Excel VBA) với hệ quản trị cơ sở dữ liệu doanh nghiệp (SQL Server) để giải quyết bài toán nghiệp vụ chuyên sâu mà không cần đầu tư mua sắm các phân hệ phần mềm đắt tiền.
  • Cơ chế an toàn dữ liệu qua Mirror Server: Cung cấp giải pháp mẫu mực cho việc khai thác dữ liệu thứ cấp từ các hệ thống thông tin thư viện (ILS) thông qua kiến trúc sao lưu đồng bộ một chiều, bảo vệ toàn vẹn dữ liệu lõi của hệ thống.

Đóng góp thực tiễn cho quản trị đại học

  • Tối ưu hóa ngân sách tài chính: Ngăn chặn tình trạng mua sắm trùng lặp giáo trình, tài liệu tham khảo, giúp nhà trường sử dụng đúng và trúng nguồn kinh phí phát triển học liệu.
  • Hỗ trợ công tác tự đánh giá và kiểm định chất lượng: Ứng dụng được sử dụng thành công trong việc rà soát mức độ đáp ứng tài liệu cho toàn bộ chương trình đào tạo khóa K18 và 5 ngành đào tạo trọng điểm tại Trường Đại học Hải Phòng, đáp ứng trực tiếp các tiêu chuẩn khắt khe của Thông tư 12/2017/TT-BGDĐT.
  • Chuẩn hóa quy trình liên phòng ban: Thiết lập luồng trao đổi thông tin chặt chẽ, minh bạch giữa Khoa chuyên môn $\rightarrow$ Trung tâm Thư viện $\rightarrow$ Ban Giám hiệu.

Đối tượng quan tâm

Nghiên cứu này mang lại giá trị ứng dụng và tham khảo thiết thực cho nhiều nhóm đối tượng:

  • Cán bộ quản lý và thủ thư tại các thư viện đại học, cao đẳng: Trực tiếp áp dụng mô hình để cắt giảm áp lực công việc thủ công, nâng cao độ chính xác trong công tác bổ sung và thanh lọc tài liệu.
  • Chuyên viên công nghệ thông tin trong ngành giáo dục: Tham khảo kiến trúc kết nối dữ liệu SQL Server - VBA an toàn để phát triển các tiện ích mở rộng (add-ins/macros) phục vụ các nghiệp vụ quản trị trường học khác.
  • Lãnh đạo cơ sở giáo dục đại học và cán bộ quản lý chất lượng: Có thêm công cụ định lượng hỗ trợ ra quyết định mua sắm tài sản, đồng thời đảm bảo số liệu minh chứng phục vụ kiểm định chương trình đào tạo.
  • Các nhà nghiên cứu khoa học thông tin - thư viện: Mở rộng nghiên cứu áp dụng các thuật toán so khớp mờ (fuzzy matching), xử lý ngôn ngữ tự nhiên (NLP) vào việc nhận diện trùng lặp thư mục.

Câu hỏi thường gặp (FAQ)

1. Phát hiện quan trọng nhất của nghiên cứu này là gì?

Phát hiện cốt lõi là việc tự động hóa khâu so khớp dữ liệu theo lô giúp giảm đến 96.8% thời gian tra cứu (từ 8 giờ xuống 15 phút) cho danh mục 100 tài liệu, đồng thời cung cấp thêm số liệu về tần suất lưu thông để ra quyết định mua sắm chính xác.

2. Phương pháp của nghiên cứu có điểm gì đặc biệt về mặt an toàn hệ thống?

Ứng dụng kết nối tới máy chủ dự phòng (Mirror/Backup Server) được đồng bộ dữ liệu một chiều theo thời gian thực thay vì truy cập trực tiếp vào máy chủ vận hành chính. Điều này giúp loại trừ hoàn toàn nguy cơ gây nghẽn mạng hoặc lỗi cơ sở dữ liệu lõi của hệ thống KIPOS.

3. Kết quả nghiên cứu có thể khái quát hóa (generalize) cho các thư viện khác không?

Có. Giải pháp hoàn toàn có thể áp dụng cho bất kỳ thư viện nào đang sử dụng KIPOS, hoặc dễ dàng hiệu chỉnh chuỗi kết nối và câu truy vấn SQL để tương thích với các hệ thống khác như ILIB, LIBOL, KOHA hay DSpace.

4. Hướng phát triển tiếp theo của đề tài là gì?

Nhóm nghiên cứu định hướng tích hợp mô-đun tự động tiền xử lý/chuẩn hóa dữ liệu đầu vào và phát triển thuật toán tự động bóc tách danh mục tài liệu tham khảo từ đề cương chi tiết học phần dạng file Word/PDF.

5. Ứng dụng này có yêu cầu chi phí bản quyền phần mềm cao không?

Không. Giải pháp tận dụng tối đa nền tảng sẵn có trong các cơ quan là Microsoft Excel (VBA) và hệ quản trị SQL Server hiện hữu của thư viện, không làm phát sinh chi phí mua bản quyền phần mềm mới.

Kết luận

Đề tài nghiên cứu mã số ĐT.30 của Trường Đại học Hải Phòng đã giải quyết thành công một nút thắt nghiệp vụ kéo dài trong công tác bổ sung tài liệu thư viện. Bằng cách kết hợp linh hoạt giữa lập trình VBA và hệ quản trị cơ sở dữ liệu KIPOS/SQL Server, nhóm tác giả đã cung cấp một công cụ chuyển đổi số thiết thực, tiết kiệm thời gian, bảo vệ ngân sách và nâng cao chất lượng học liệu theo chuẩn kiểm định giáo dục.

Trong tương lai, việc tiếp tục hoàn thiện tính năng bóc tách tự động đề cương học phần sẽ đưa quy trình phát triển tài nguyên thông tin đại học lên một tầm cao mới. Các đơn vị thư viện đại học được khuyến nghị xem xét áp dụng giải pháp này nhằm tối ưu hóa hiệu quả quản trị học liệu tại cơ sở.