Giới thiệu dự án

Trong kỷ nguyên chuyển đổi số và bùng nổ dữ liệu tri thức, các trung tâm thông tin - thư viện quốc gia đóng vai trò hạ tầng tri thức cốt lõi. Thư viện Quốc gia Việt Nam (TVQGVN) quản lý di sản tư liệu đồ sộ với hơn 2,5 triệu đơn vị tư liệu in ấn và bộ sưu tập số hóa hơn 8 triệu trang (tương đương gần 112.000 tài liệu số hóa). Trước năm 2006, hệ thống tra cứu truyền thống qua mục lục phiếu chữ cái, mục lục phân loại (MLPL) sử dụng khung phân loại Thư viện - Thư mục Liên Xô (BBK) bộc lộ nhiều điểm nghẽn về tốc độ truy xuất, khả năng liên thông và chia sẻ dữ liệu liên thư viện.

[Người dùng tin] (73% Sinh viên, 20% Nhà nghiên cứu, 2% Quản lý)
[Hệ thống Thư mục OPAC]  [Bộ sưu tập Số hóa]           [Hệ thống Di sản Cổ]
- Chuẩn MARC21 / AACR2    - Veridian / docWorks          - Phần mềm NLVNPF
- Phân loại DDC 23       - Khổ mẫu Dublin Core          - Chuẩn Dublin Core song ngữ
- 850.000+ Biểu ghi      - 25.500+ Luận án Tiến sĩ      - 5.028 bản thảo Hán Nôm

Thực trạng phân tán giữa nguồn tài liệu truyền thống và các bộ sưu tập số hóa chuyên biệt đòi hỏi một kiến trúc lưu trữ - tra cứu đồng bộ. Đề tài "Nghiên cứu hệ thống lưu trữ và tra cứu thông tin phục vụ người dùng tin tại Thư viện Quốc gia Việt Nam" giải quyết bài toán tối ưu hóa quy trình xử lý kỹ thuật, chuẩn hóa siêu dữ liệu và nâng cao hiệu năng công cụ tìm kiếm phục vụ đa dạng nhóm người dùng tin (NDT).

Mục tiêu cụ thể của dự án:

  1. Hệ thống hóa cơ sở lý luận về Hệ thống Lưu trữ - Tra cứu Thông tin (Information Storage and Retrieval System - ISAR) và các tiêu chuẩn nghiệp vụ quốc tế.
  2. Khảo sát toàn diện thực trạng hạ tầng công nghệ, hệ quản trị cơ sở dữ liệu (CSDL) thư mục OPAC iLib, phần mềm xử lý di sản NLVNPF, và các kho CSDL số hóa toàn văn (Luận án tiến sĩ, Sách Đông Dương, Báo - Tạp chí Đông Dương, Sách Hán Nôm).
  3. Định lượng hiệu năng truy xuất thông tin (độ chính xác, độ phủ, thời gian đáp ứng) qua các kỹ thuật tìm kiếm (toán tử Boolean, chặt cụt, tìm kiếm chính xác).
  4. Đề xuất giải pháp kỹ thuật và quy trình chuẩn nhằm tối ưu hóa bộ từ khóa kiểm soát, cấu trúc phần mềm, bảo mật dữ liệu số và nâng cao trải nghiệm tra cứu.

Phạm vi nghiên cứu tập trung vào hệ thống phần cứng, hạ tầng mạng LAN cáp quang, 18 máy chủ chức năng, cùng hơn 850.000 biểu ghi thư mục MARC21 và các CSDL toàn văn được triển khai từ năm 1986 đến giai đoạn 2020–2021 tại 31 Tràng Thi, Hà Nội.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi tin học hóa, TVQGVN vận hành hệ thống mục lục phiếu thủ công. Từ năm 1986, thư viện tiếp nhận máy vi tính Olivetti M24 và triển khai phần mềm CDS/ISIS của UNESCO, sau đó chuyển dịch sang hệ thống thư viện tích hợp iLib (phát triển bởi CMC) và các nền tảng số hóa chuyên dụng.

Tiêu chí Hệ thống Cũ (Mục lục phiếu & CDS/ISIS) Hệ thống Hiện tại (iLib OPAC & Digital Collections) Yêu cầu Thế hệ mới (Next-Gen Discovery / Koha / DSpace)
Cấu trúc Dữ liệu Phiếu in 7.5x12.5cm / Tệp đảo ISIS MARC21, Dublin Core, TCVN 6909 Unicode MARC21, Dublin Core, BIBFRAME, Linked Open Data
Khả năng Tra cứu Đơn điểm truy cập thủ công / Lệnh tìm thô Web OPAC (Tìm nhanh, Cơ bản, Nâng cao, Boolean) Tìm kiếm ngữ nghĩa (Semantic), Faceted Search, ElasticSearch
Liên thông Dữ liệu Không có khả năng liên thông Liên thông nội bộ qua mạng LAN, xuất nhập ISO 2709 Giao thức Z39.50, OAI-PMH, RESTful API
Xử lý Toàn văn Lưu kho vật lý, bảo quản microfilm/microfiche Tích hợp docWorks, Veridian, NLVNPF (PDF, TIFF, JPEG) Full-text OCR indexing, IIIF Viewer, Audio/Video Streaming

Ma trận ưu tiên yêu cầu người dùng (MoSCoW):

  • Must-have (Bắt buộc): Hỗ trợ chuẩn biên mục MARC21, phân loại Dewey DDC 23, kiểm soát tiêu đề chuẩn FRAD, chỉ mục hóa 35.000 thuật ngữ từ khóa có kiểm soát, bảo mật máy chủ dữ liệu (Data Server).
  • Should-have (Cần có): Tối ưu thuật toán tìm kiếm cụm từ chính xác trên giao diện Web OPAC, phân hệ quản trị số hóa cho tài liệu khổ lớn A0/A1 (máy quét SupraScan Quartz A1 HD, 4DigitalBooks DL3003).
  • Could-have (Có thể có): Gợi ý tìm kiếm thông minh (Revise search), tra cứu liên chiểu tự động giữa CSDL Luận án (luanan.vn) và CSDL Thư mục (opac.vn).
  • Won't-have (Chưa thực hiện): Thay thế toàn bộ kiến trúc lõi iLib sang hệ thống thuần đám mây (Cloud-native ILS) trong ngắn hạn.

Thiết kế hệ thống

Kiến trúc hệ thống được tổ chức theo mô hình phân tầng Client-Server đa nhiệm:

  1. Hạ tầng Mạng & Phần cứng:

    • Tuyến truyền số liệu chuyên dụng Leased-line tốc độ cao kết hợp mạng LAN cáp quang nội bộ liên tòa nhà.
    • Hệ thống 18 máy chủ xử lý tác vụ chuyên biệt: Quản trị mạng (DNS, DHCP, Firewall, ISA Server), Máy chủ Web, Máy chủ Ứng dụng iLib, Máy chủ Cơ sở dữ liệu (Data Server), Máy chủ Thư viện số (docWorks, Veridian).
    • Thiết bị số hóa công nghiệp: Máy quét tự động DL3003 (tốc độ quét 1.100–1.300 trang/giờ), máy quét bán tự động khổ lớn SupraScan Quartz A1 HD, máy quét vi phim ScanPro 2000 và flatbed EPSON 10000XL.

  2. Tiêu chuẩn Dữ liệu & Siêu dữ liệu:

    • Biên mục mô tả: Khổ mẫu MARC21 kết hợp quy tắc mô tả quốc tế ISBD và chuẩn biên mục AACR2.
    • Phân loại nội dung: Khung phân loại thập phân Dewey ấn bản 23 (DDC 23), chuyển đổi từ DDC 14 và BBK.
    • Kiểm soát chủ đề: Bộ Từ khóa có kiểm soát (ấn bản cập nhật 2012) gồm ~35.000 mục từ với cấu trúc tham chiếu chuẩn: Xem (See), Dùng cho (Use for - DC), Cùng xem (See also - CX).
    • Siêu dữ liệu số hóa: Dublin Core áp dụng cho CSDL Luận án, Sách Hán Nôm và Sách/Báo chí Đông Dương.

Phương pháp luận (Methodology)

Nghiên cứu kết hợp phương pháp luận duy vật biện chứng với các kỹ thuật phân tích thực nghiệm:

  • Phương pháp khảo sát & thống kê dữ liệu: Đo lường 850.000 biểu ghi MARC21, 112.000 tài liệu số hóa, phân loại hành vi của 4 nhóm NDT chính (Cán bộ quản lý 2%, Giảng viên/Nhà nghiên cứu >20%, Học viên/Sinh viên 73%, Nhóm ngành nghề khác 5%).
  • Phương pháp đánh giá truy xuất thông tin thực nghiệm: Thiết lập các câu truy vấn mẫu (Query) kiểm tra độ nhạy (Recall), độ chính xác (Precision) và thời gian đáp ứng (Response Time) qua các toán tử Boolean logic và toán tử chuỗi.

Implementation và kết quả

Development Process & Key Algorithms

Hệ thống xử lý truy vấn của OPAC iLib và các CSDL tích hợp vận hành dựa trên cấu trúc tệp chỉ mục đảo (Inverted Index) kết hợp đại số Boolean và toán tử logic mở rộng.

-- Cấu trúc chỉ mục biểu ghi thư mục chuẩn MARC21 trong CSDL
CREATE TABLE MarcBibliographicRecords (
    RecordID INT PRIMARY KEY AUTO_INCREMENT,
    ControlNumber VARCHAR(50) UNIQUE, -- Trường 001
    LeaderData VARCHAR(24),           -- Dữ liệu Leader
    Tag020_ISBN VARCHAR(20),          -- Chỉ số ISBN
    Tag082_DDC VARCHAR(50),           -- Ký hiệu phân loại DDC 23
    Tag100_Author VARCHAR(255),       -- Tác giả chính
    Tag245_Title TEXT NOT NULL,       -- Nhan đề và chỉ thị trách nhiệm
    Tag650_SubjectHeading TEXT,       -- Từ khóa chủ đề có kiểm soát
    Tag856_URI VARCHAR(500),          -- Liên kết tài nguyên điện tử
    FULLTEXT INDEX idx_ft_search (Tag100_Author, Tag245_Title, Tag650_SubjectHeading)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;

Thuật toán xử lý biểu thức tìm kiếm nâng cao (Boolean & Truncation Search):

Input: Chuỗi truy vấn q, Trường tìm kiếm Field, Kiểu tìm Mode
Output: Tập hợp kết quả Biểu ghi R

Algorithm:
1. Tiền xử lý chuỗi q:
   - Chuẩn hóa Unicode TCVN 6909 / UTF-8
   - Xóa bỏ ký tự thừa, phân tách Stopwords (nếu có)
2. Phân tích cú pháp toán tử (Parsing):
   IF Mode == 'EXACT' THEN
       QueryPattern = '^' + Trim(q) + '$'
       R = ExecuteExactSearch(Field, QueryPattern)
   ELSE IF Mode == 'TRUNCATION' THEN
       Prefix = ExtractPrefix(q, '$')
       R = ExecuteWildcardSearch(Field, Prefix + '%')
   ELSE IF Mode == 'BOOLEAN' THEN
       Tokens = Tokenize(q, ['AND', 'OR', 'NOT', '*', '^'])
       QueryTree = BuildSyntaxTree(Tokens)
       R = ExecuteBooleanQuery(Field, QueryTree)
   END IF
3. Lọc theo bộ Từ khóa Kiểm soát (Thesaurus Lookup):
   R = CrossReferenceThesaurus(R, ['DC', 'CX', 'Xem'])
4. Trả về tập danh sách biểu ghi R đã xếp hạng phù hợp

Testing và validation

Khảo sát thực nghiệm được tiến hành trên tập dữ liệu thực tế tại giao diện OPAC TVQGVN để đánh giá các chỉ số chất lượng truy xuất:

[Truy vấn Thực nghiệm: "Cơ sở văn hóa Việt Nam"]

Đo lường thời gian thực thi đối với truy vấn quy mô lớn:

Thuật ngữ Tìm kiếm Phân hệ Tra cứu Số lượng Kết quả (Hits) Thời gian Đáp ứng (Latency) Đánh giá Hiệu năng
"Cơ sở văn hóa Việt Nam" Tìm nhanh (Quick) 73 biểu ghi 1,5 giây Tốc độ nhanh, độ chính xác trung bình
"Cơ sở văn hóa Việt Nam" Tìm cơ bản (Khớp chính xác) 0 biểu ghi 1,2 giây Lỗi tiền xử lý chuỗi ký tự
"Cơ sở văn hóa Việt Nam" Tìm nâng cao (AND logic) 1 biểu ghi 2,1 giây Độ phủ thấp (bỏ sót biểu ghi)
"Lịch sử" (Truy vấn rộng) Tìm nhanh (Toàn văn/Nhan đề) 54.587 biểu ghi 3 phút 10 giây (190s) Nghẽn chỉ mục khi dữ liệu vượt ngưỡng 50k hits 
Thời gian Đáp ứng Truy vấn OPAC (giây)

Kết quả đạt được

  1. Chuẩn hóa hạ tầng thư mục: Chuyển đổi và quản trị thành công hơn 850.000 biểu ghi thư mục theo chuẩn MARC21, tích hợp toàn diện khung phân loại DDC 23 thay thế triệt để khung BBK cũ.
  2. Xây dựng kho tài nguyên số: Vận hành ổn định các cổng truy cập chuyên biệt:
    • CSDL Luận án Tiến sĩ: 25.500+ bộ tóm tắt và toàn văn (luanan.vn).
    • CSDL Sách Hán Nôm: 1.952 cuốn (147.955 trang số hóa) bằng phần mềm NLVNPF (hannom.vn).
    • CSDL Sách Đông Dương: 8.000 cuốn (1.000.000+ trang) phối hợp cùng Thư viện Quốc gia Pháp (sach.vn).
    • CSDL Báo - Tạp chí Đông Dương: 7.200 số (43.000 trang) (baochi.vn).
  3. Phục vụ người dùng: Nâng cấp mạng Wi-Fi và phòng đọc đa phương tiện, đáp ứng nhu cầu nghiên cứu cho hơn 73% đối tượng học viên - sinh viên và 20% cán bộ nghiên cứu khoa học trên toàn quốc.

Đổi mới và đóng góp

  • Chuẩn hóa khung tri thức quốc gia: Hoàn thiện Bộ Từ khóa có kiểm soát gồm 35.000 thuật ngữ (phân định rõ Từ khóa chính, Nhân vật, Địa danh, Tổ chức quốc tế, Bảng thời kỳ lịch sử). Cải tiến này giúp giảm tỷ lệ truy vấn rỗng hoặc kết quả rác so với việc sử dụng 43.000 từ khóa tự do trước năm 2005.
  • Tiên phong số hóa di sản chữ Nôm: Phần mềm NLVNPF do TVQGVN phối hợp phát triển là giải pháp đầu tiên hỗ trợ hiển thị song ngữ (tiếng Việt và chữ Nôm cổ) trên nền web, ứng dụng máy chủ Apache và hệ quản trị MySQL tuân thủ siêu dữ liệu Dublin Core.
  • Chuyển đổi phân loại đồng bộ: Tiên phong áp dụng ấn bản DDC 23 trong toàn bộ hệ thống thư viện công cộng Việt Nam, giải quyết triệt để lỗi trùng lặp ký hiệu xếp giá của hệ thống BBK cũ.

Ứng dụng thực tế và triển khai

Hệ thống lưu trữ và tra cứu tại TVQGVN vận hành liên tục phục vụ người dùng tin tại chỗ và từ xa:

  1. Mô hình triển khai: Kiến trúc tích hợp đa tầng phân tán theo bộ sưu tập. Dữ liệu thư mục phục vụ công cộng qua cổng OPAC, trong khi dữ liệu toàn văn của các CSDL quốc tế (ProQuest, Wilson, SpringerNature, SAGE Journals) được kiểm soát truy cập thông qua mạng LAN nội bộ tại phòng đọc đa phương tiện (Tầng 2, Nhà D) và phòng Nghiên cứu - Doanh nhân (Tầng 3, Nhà D).
  2. Khả năng mở rộng: Hệ thống lưu trữ cho phép tích hợp linh hoạt các đĩa quang CD/DVD qua phần mềm mã nguồn mở ResourceSpace và các luồng số hóa bổ sung liên tục hàng năm từ nguồn lưu chiểu xuất bản phẩm.

Hạn chế và hướng phát triển

Dù đạt được nhiều thành tựu quan trọng, hệ thống vẫn tồn tại một số hạn chế kỹ thuật:

  • Hiện tượng phân mảnh phần mềm: Việc sử dụng song song nhiều phần mềm riêng biệt (iLib cho OPAC thư mục, NLVNPF cho Hán Nôm, docWorks/Veridian cho tài liệu Đông Dương, phần mềm Đức cho Luận án) tạo ra các ốc đảo dữ liệu (Data Silos), buộc NDT phải tra cứu trên nhiều giao diện khác nhau.
  • Hiệu năng xử lý chuỗi: Thuật toán tìm kiếm chính xác trên iLib chưa tối ưu hóa xử lý khoảng trắng và chỉ số tiền tố/hậu tố, dẫn đến tình trạng trả về 0 kết quả trên các nhan đề phổ thông. Tốc độ tìm kiếm diện rộng còn chậm (lên tới 3 phút 10 giây với >50.000 biểu ghi).
  • Hạ tầng liên thông: Chưa hỗ trợ đầy đủ các giao thức thu thập dữ liệu tự động OAI-PMH và tìm kiếm liên chiểu Federated Search.

Hướng nâng cấp đề xuất:

  1. Hợp nhất chỉ mục tra cứu qua công nghệ tìm kiếm phân tán ElasticSearch / Apache Solr.
  2. Nâng cấp hệ thống thư viện tích hợp thế hệ mới hỗ trợ chuẩn dữ liệu liên kết BIBFRAME và giao thức OAI-PMH.
  3. Ứng dụng công nghệ nhận dạng ký tự quang học (OCR) nâng cao trên các bộ sưu tập báo chí cổ để cho phép tìm kiếm toàn văn chi tiết (Full-text deep indexing).

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học (73% NDT): Tiếp cận kho tàng 25.500+ luận án tiến sĩ toàn văn và hệ thống mục lục trực tuyến phục vụ học tập, nghiên cứu chuyên sâu.
  • Nhà nghiên cứu, Giảng viên (>20% NDT): Khai thác trực tiếp các nguồn tài liệu lịch sử quý hiếm (Sách Đông Dương, Báo chí Pháp thuộc, Bản thảo Hán Nôm) được số hóa độ phân giải cao mà không làm hư hại bản gốc.
  • Nhân viên Thư viện & Chuyên viên Thông tin: Giảm 60% thời gian xử lý kỹ thuật tài liệu nhờ chuẩn hóa khung biên mục MARC21, phân loại DDC 23 và Bộ Từ khóa kiểm soát 35.000 từ.
  • Cán bộ Quản lý & Hoạch định chính sách (2% NDT): Nắm bắt tổng quan nguồn lực thông tin quốc gia qua các báo cáo thống kê tự động, phục vụ điều hành và phát triển văn hóa đọc.

Câu hỏi thường gặp

1. Yêu cầu kỹ thuật để khai thác toàn bộ các CSDL tại TVQGVN là gì?

Người dùng từ xa chỉ cần trình duyệt web tiêu chuẩn (Chrome, Firefox, Edge) hỗ trợ Unicode để tra cứu OPAC và đọc các tài liệu số hóa công khai (luanan.vn, hannom.vn). Đối với các CSDL mua quyền truy cập quốc tế (ProQuest, SAGE, Wilson), NDT bắt buộc phải truy cập qua mạng LAN có dây hoặc Wi-Fi nội bộ tại phòng đọc đa phương tiện của Thư viện.

2. Nguyên nhân nào khiến tra cứu từ khóa rộng trên OPAC mất hơn 3 phút?

Khi người dùng nhập các thuật ngữ phổ quát như "Lịch sử", hệ thống iLib phải quét tuần tự trên toàn bộ hơn 850.000 biểu ghi và tổng hợp hơn 54.000 kết quả mà không có cơ chế phân trang động (Dynamic Pagination) và bộ nhớ đệm (Caching) tối ưu, dẫn đến độ trễ cao trên tầng cơ sở dữ liệu.

3. Hệ thống Hán Nôm NLVNPF xử lý phông chữ cổ như thế nào?

Phần mềm NLVNPF được tích hợp bộ mã ký tự Unicode mở rộng dành cho chữ Nôm, kết hợp siêu dữ liệu Dublin Core song ngữ, giúp hiển thị chính xác các ký tự chữ Nôm viết tay mà không bị lỗi phông chữ trên môi trường web.

Kết luận

Hệ thống lưu trữ và tra cứu thông tin tại Thư viện Quốc gia Việt Nam là mô hình tiêu biểu cho quá trình chuyển đổi số ngành thông tin - thư viện tại Việt Nam. Bằng việc chuẩn hóa 850.000+ biểu ghi MARC21, áp dụng khung DDC 23, vận hành bộ từ khóa kiểm soát 35.000 mục từ và số hóa hơn 8 triệu trang tư liệu quý hiếm, thư viện đã tối ưu hóa năng lực phục vụ cho hàng triệu lượt người dùng tin. Việc tiếp tục nghiên cứu, tích hợp các công nghệ tìm kiếm hiện đại và hợp nhất cơ sở dữ liệu sẽ là bước đi quyết định để khẳng định vị thế trung tâm tri thức hàng đầu quốc gia trong kỷ nguyên dữ liệu số.