Tổng quan nghiên cứu

Sự bùng nổ của mạng lưới Internet toàn cầu và công cuộc chuyển đổi số quốc gia đang tạo ra khối lượng dữ liệu khổng lồ trong mọi lĩnh vực hành chính và kinh tế. Tại Việt Nam, số lượng người tiếp cận Internet đã đạt mức 68,72 triệu người (tương đương 97,3% dân số có kết nối trực tuyến, vượt xa mức trung bình 59,2% của thế giới), trong đó 96,9% người dùng truy cập qua thiết bị di động với thời lượng sử dụng trung bình mỗi ngày lên tới 6 giờ 47 phút. Riêng công cụ tìm kiếm Google ghi nhận hơn 1 tỷ lượt truy cập mỗi tháng tại thị trường trong nước, phản ánh nhu cầu tìm kiếm và khai thác thông tin đặc biệt lớn từ phía người dùng.

Tại các cơ quan hành chính nhà nước và tổ chức đoàn thể, nhu cầu quản trị, điều hành và số hóa tài liệu ngày càng trở nên cấp thiết. Điển hình tại cơ quan Hội Nông dân tỉnh Tây Ninh, hệ thống phần mềm Tic-Office tiếp nhận, luân chuyển và quản lý thường niên hơn 2.000 văn bản đến và văn bản đi. Tuy nhiên, chức năng tìm kiếm hiện hữu của hệ thống mới chỉ dừng lại ở mức tra cứu từ khóa đơn thuần dựa trên trích yếu hoặc số ký hiệu văn bản lưu trữ trong cơ sở dữ liệu. Phương thức so khớp chuỗi ký tự cứng nhắc này bộc lộ hạn chế lớn khi không thể nhận diện được ngữ nghĩa tiềm ẩn, từ viết tắt hay các khái niệm đồng nghĩa, dẫn đến độ phủ thông tin thấp và bỏ sót nhiều tài liệu quan trọng.

Xuất phát từ thực trạng đó, nghiên cứu tập trung giải quyết bài toán tra cứu văn bản chuyên sâu thông qua việc xây dựng chức năng tìm kiếm dựa trên công nghệ Web ngữ nghĩa (Semantic Web) và bản thể học (Ontology). Đề tài xác định phạm vi nghiên cứu thực nghiệm trên toàn bộ kho lưu trữ hơn 2.000 văn bản hành chính năm 2021 của Hội Nông dân tỉnh Tây Ninh. Ý nghĩa thực tiễn của công trình là cung cấp một giải pháp công nghệ hoàn chỉnh, giúp rút ngắn thời gian xử lý nghiệp vụ văn thư xuống dưới 1 giây cho mỗi truy vấn, đồng thời nâng cao độ chính xác và độ bao phủ của hệ thống thông tin quản lý văn bản Tic-Office.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa giữa các nền tảng lý thuyết cốt lõi về Truy hồi thông tin (Information Retrieval - IR), Bản thể học (Ontology) và Xử lý ngôn ngữ tự nhiên (NLP).

Đầu tiên, mô hình Không gian Vector (Vector Space Model - VSM) đóng vai trò trung tâm trong việc biểu diễn tài liệu văn bản và câu truy vấn dưới dạng các vector đa chiều trong không gian đặc trưng. Độ tương đồng giữa câu truy vấn và tài liệu được lượng hóa thông qua hàm khoảng cách góc Cosine, cho phép xếp hạng mức độ liên quan theo giá trị biến thiên liên tục từ 0 đến 1 thay vì chỉ trả về giá trị nhị phân như mô hình Boolean.

Thứ hai, khung kiến trúc bản thể học CK_ONTO (Classed Keyphrase based Ontology) được áp dụng để chuẩn hóa và mở rộng ngữ nghĩa cho câu truy vấn. Mô hình CK_ONTO được cấu thành từ bộ ba thành phần cơ bản gồm tập hợp các cụm từ khóa (Keyphrase đơn và kết hợp), 5 phân lớp chuyên ngành và 25 mối quan hệ ngữ nghĩa nhị phân tiêu biểu (như quan hệ đồng nghĩa, viết tắt, quan hệ thành phần, cùng lớp, tác nhân, vị trí không gian và thời gian).

Thứ ba, lý thuyết Trường ngẫu nhiên có điều kiện (Conditional Random Fields - CRFs) kết hợp kỹ thuật Nhận dạng thực thể có tên (Named Entity Recognition - NER) được ứng dụng để phân tách các thực thể quan trọng trong văn bản tiếng Việt như tên người, tên tổ chức, chức danh và địa danh hành chính.

Phương pháp nghiên cứu

Nguồn dữ liệu và cỡ mẫu nghiên cứu bao gồm 2.000 tài liệu văn bản hành chính thực tế (gồm cả văn bản đến và văn bản đi) phát sinh trong toàn bộ năm 2021 tại Hội Nông dân tỉnh Tây Ninh. Nghiên cứu áp dụng phương pháp chọn mẫu mục đích (purposive sampling), thu thập toàn văn các văn bản dưới cả hai định dạng: tệp văn bản số hóa và tệp hình ảnh quét (Scan PDF).

Lý do lựa chọn phương pháp phân tích kết hợp giữa Tesseract OCR, thư viện xử lý tiếng Việt Underthesea và mô hình không gian vector VSM là nhằm tự động hóa hoàn toàn chuỗi xử lý từ khâu bóc tách ký tự ảnh quang học đến bước phân tích cấu trúc cú pháp và suy diễn ngữ nghĩa. Công cụ Tesseract OCR sử dụng cơ chế lai kết hợp phân tích bố cục từ trên xuống (top-down) và từ dưới lên (bottom-up), kết hợp ngưỡng thích ứng để trích xuất văn bản từ ảnh chụp với độ tin cậy cao.

Quy trình nghiên cứu được triển khai thực nghiệm qua 3 giai đoạn chính trong mốc thời gian 12 tháng (từ tháng 07/2021 đến tháng 07/2022): giai đoạn khảo sát cấu trúc dữ liệu Tic-Office; giai đoạn thiết kế mô hình bản thể học CK_ONTO và xây dựng các module OCR/NER; và giai đoạn tích hợp API tra cứu nâng cao, tiến hành đo kiểm và so sánh kết quả thực nghiệm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm thử và đánh giá thực nghiệm chức năng tra cứu ngữ nghĩa nâng cao trên hệ thống Tic-Office đã mang lại các kết quả vượt trội so với phương pháp tìm kiếm từ khóa truyền thống:

Thứ nhất, độ bao phủ (Recall) của hệ thống tra cứu mới đạt mức 78,5%, tăng trưởng hơn 40,5% so với mức 38,0% của hệ thống tra cứu cũ. Việc tích hợp bản thể học CK_ONTO đã giúp hệ thống tự động suy diễn và mở rộng truy vấn đối với các từ viết tắt phổ biến (như UBND mở rộng thành Ủy ban nhân dân, TP thành Thành phố, HĐND thành Hội đồng nhân dân) và các từ đồng nghĩa chuyên ngành hành chính.

Thứ hai, độ chính xác (Precision) của kết quả tìm kiếm duy trì ở mức cao, đạt 84,2% trên tập các câu truy vấn phức hợp, trong khi phương pháp tra cứu từ khóa cũ chỉ đạt 52,6%. Tỷ lệ tài liệu hữu ích thực sự đáp ứng đúng nhu cầu thông tin của người dùng tăng thêm 31,6%.

Thứ ba, module nhận dạng ký tự quang học Tesseract OCR sau khi được tinh chỉnh và tiền xử lý ảnh đã đạt tỷ lệ nhận dạng chính xác ký tự tiếng Việt lên tới 91,5% đối với các tài liệu hành chính quét chuẩn, hỗ trợ bóc tách dữ liệu tự động cho hơn 2.000 tệp tài liệu lưu trữ.

Thứ tư, thời gian phản hồi trung bình của hệ thống đối với một câu truy vấn ngữ nghĩa nâng cao thông qua giao diện API tích hợp đạt mức 0,76 giây, hoàn toàn đáp ứng tiêu chuẩn vận hành trực tuyến thời gian thực của cơ quan hành chính.

Thảo luận kết quả

Nguyên nhân căn bản giúp hiệu năng tra cứu tăng vọt nằm ở cơ chế kết hợp giữa bản thể học domain và đại số tuyến tính trong mô hình VSM. Khi người dùng nhập một câu hỏi bằng ngôn ngữ tự nhiên, hệ thống không chỉ so khớp chuỗi ký tự bề mặt mà còn phân tích cấu trúc ngữ pháp, bóc tách thực thể NER và kích hoạt 25 mối quan hệ ngữ nghĩa trong CK_ONTO để tạo ra một vector truy vấn mở rộng đầy đủ các khái niệm tương đương.

So sánh với mô hình Boolean thuần túy vốn chỉ đưa ra kết quả nhị phân (chứa từ hoặc không chứa từ, dẫn đến tình trạng trả về quá nhiều kết quả rác hoặc không tìm thấy bất kỳ tài liệu nào), mô hình lai VSM - CK_ONTO cho phép tính toán độ tương đồng Cosine liên tục và sắp xếp kết quả theo thứ tự ưu tiên giảm dần. Dữ liệu thực nghiệm có thể được trình bày rõ nét qua bảng ma trận so sánh hiệu năng và biểu đồ cột kép thể hiện tương quan giữa hai chỉ số đối nghịch là Precision và Recall, minh chứng cho sự tối ưu hóa điểm cân bằng giữa độ chính xác và độ bao phủ.

Việc ứng dụng thành công tại Hội Nông dân tỉnh Tây Ninh khẳng định tính khả thi cao của giải pháp Web ngữ nghĩa trong việc giải quyết bài toán quản trị tri thức hành chính công, mở ra hướng tiếp cận hiện đại thay thế cho các công cụ tìm kiếm cơ sở dữ liệu quan hệ truyền thống.

Đề xuất và khuyến nghị

Nhằm hoàn thiện và nhân rộng giải pháp tra cứu văn bản dựa trên Web ngữ nghĩa, nghiên cứu đưa ra 4 nhóm khuyến nghị hành động cụ thể:

  1. Mở rộng cơ sở tri thức Ontology tự động: Nhóm kỹ thuật phần mềm cần triển khai công cụ học máy bán tự động nhằm mở rộng quy mô mô hình CK_ONTO từ 5 phân lớp hiện tại lên 15 phân lớp chuyên sâu bao hàm toàn diện các nghiệp vụ nông nghiệp, phấn đấu đạt mục tiêu quản lý trên 10.000 keyphrase trong thời hạn 6 tháng tới.

  2. Nâng cấp độ chính xác của module OCR: Đội ngũ phát triển trí tuệ nhân tạo cần nghiên cứu tích hợp các mô hình học sâu (Deep Learning) chuyên dụng cho văn bản tiếng Việt để xử lý các tài liệu scan cũ bị mờ hoặc ố vàng, đặt mục tiêu nâng độ chính xác nhận dạng văn bản từ mức 91,5% hiện tại lên trên 96,0% trong lộ trình 9 tháng.

  3. Chuẩn hóa và đồng bộ API liên thông: Ban Giám đốc cùng bộ phận Công nghệ thông tin của Hội Nông dân tỉnh Tây Ninh cần ban hành quy chế kỹ thuật, hoàn tất tích hợp phân hệ tra cứu ngữ nghĩa Tic-Office cho 100% các đơn vị trực thuộc cấp huyện và thành phố trong vòng 12 tháng.

  4. Tối ưu hóa thuật toán xử lý dữ liệu lớn: Bộ phận nghiên cứu hệ thống cần tiến hành tối ưu hóa ma trận thưa và cơ chế lập chỉ mục đảo (Inverted Index) phân tán, đảm bảo khi kho lưu trữ vượt ngưỡng 50.000 văn bản thì thời gian truy vấn trung bình vẫn được kiểm soát chặt chẽ dưới mức 0,5 giây trong giai đoạn 2023 - 2024.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả thực nghiệm của luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng trọng tâm:

  1. Cán bộ văn thư và quản trị viên lưu trữ: Giúp nắm bắt phương thức số hóa tài liệu giấy qua OCR và cách thức khai thác chức năng tra cứu thông minh để giảm 70% thời gian tìm kiếm hồ sơ lưu trữ tại các cơ quan, đơn vị hành chính.

  2. Kỹ sư phát triển phần mềm và kiến trúc sư hệ thống: Cung cấp hướng dẫn chi tiết về cách thức xây dựng ontology CK_ONTO bằng Protégé, tích hợp thư viện Underthesea, cài đặt mô hình VSM và đóng gói API liên thông vào các phần mềm quản lý văn bản điều hành hiện hữu.

  3. Học viên cao học và nghiên cứu sinh ngành Hệ thống thông tin / Khoa học máy tính: Là tài liệu học thuật thực chứng về việc kết hợp giữa xử lý ngôn ngữ tự nhiên tiếng Việt, mô hình hóa dữ liệu ngữ nghĩa và kỹ thuật truy hồi thông tin thực tế.

  4. Lãnh đạo và chuyên gia chuyển đổi số khu vực công: Đem lại cái nhìn chiến lược và căn cứ khoa học vững chắc để hoạch định các dự án nâng cấp hệ sinh thái chính phủ điện tử và văn phòng số tại các cơ quan ban ngành địa phương.

Câu hỏi thường gặp

Mô hình CK_ONTO giải quyết bài toán tra cứu văn bản như thế nào?
Mô hình CK_ONTO mô tả tri thức thông qua cụm từ khóa (Keyphrase), phân lớp chủ đề và 25 mối quan hệ ngữ nghĩa. Khi người dùng nhập truy vấn, hệ thống tự động suy diễn các từ viết tắt và từ đồng nghĩa liên quan, mở rộng không gian tìm kiếm giúp tìm đúng văn bản mục tiêu dù từ khóa không xuất hiện trực tiếp trong trích yếu.

Tại sao luận văn lựa chọn mô hình VSM thay vì mô hình Boolean truyền thống?
Mô hình Boolean chỉ trả về kết quả nhị phân đúng hoặc sai, dẫn đến việc trả về quá nhiều kết quả rác hoặc không tìm thấy tài liệu nào. Mô hình VSM tính toán độ tương đồng Cosine liên tục giữa vector truy vấn và vector tài liệu, cho phép xếp hạng mức độ liên quan từ cao xuống thấp một cách linh hoạt và chính xác.

Độ chính xác của module Tesseract OCR trong việc nhận dạng văn bản tiếng Việt đạt mức bao nhiêu?
Trong điều kiện văn bản hành chính quét chuẩn có độ phân giải từ 300 DPI trở lên và được tiền xử lý khử nhiễu, Tesseract OCR đạt tỷ lệ nhận dạng ký tự tiếng Việt chính xác 91,5%. Module này kết hợp phân tích bố cục lai giúp trích xuất toàn văn hơn 2.000 tài liệu năm 2021 của Hội Nông dân Tây Ninh vào cơ sở dữ liệu.

Thư viện Underthesea và mô hình CRFs đóng vai trò gì trong hệ thống?
Underthesea phối hợp cùng mô hình toán học CRFs thực hiện nhiệm vụ tách từ và nhận dạng thực thể có tên (NER) trong các câu văn tiếng Việt. Quy trình này tự động bóc tách các danh từ chỉ người, tổ chức, địa danh và thời gian để cung cấp dữ liệu đầu vào chuẩn xác cho mô hình bản thể học.

Giải pháp tra cứu này có thể triển khai cho các đơn vị khác ngoài Hội Nông dân Tây Ninh không?
Hoàn toàn khả thi. Toàn bộ kiến trúc được thiết kế theo dạng module hóa độc lập kết nối qua chuẩn giao tiếp API. Các cơ quan ban ngành hoặc doanh nghiệp khác chỉ cần mở rộng và chuẩn hóa tập từ vựng bản thể học chuyên ngành tương ứng là có thể tích hợp liền mạch vào hệ thống điều hành văn bản hiện có.

Kết luận

  • Luận văn đã thiết kế và triển khai thành công mô hình bản thể học CK_ONTO gồm 5 phân lớp và 25 mối quan hệ ngữ nghĩa, giải quyết triệt để bài toán nhận dạng từ viết tắt và từ đồng nghĩa trong văn bản hành chính.
  • Tích hợp hiệu quả chuỗi công nghệ hiện đại gồm Tesseract OCR, công cụ nhận dạng thực thể tiếng Việt Underthesea dựa trên CRFs và mô hình Không gian Vector (VSM) tính toán độ đo tương đồng Cosine.
  • Kết quả thực nghiệm trên hơn 2.000 văn bản thực tế tại hệ thống Tic-Office của Hội Nông dân tỉnh Tây Ninh cho thấy độ bao phủ (Recall) tăng vượt bậc lên 78,5% (tăng hơn 40,5%) và độ chính xác (Precision) đạt mức 84,2%.
  • Đóng góp giải pháp khoa học và thực tiễn có khả năng tái sử dụng cao, hỗ trợ đắc lực cho công tác văn thư lưu trữ và quản lý điều hành văn bản trực tuyến tại các cơ quan nhà nước.
  • Kế hoạch phát triển giai đoạn 2023 - 2024 tập trung vào nâng cấp OCR bằng học sâu, mở rộng ontology lên 15 phân lớp và tự động hóa cập nhật tri thức.

Hãy liên hệ ngay với tác giả hoặc bộ phận nghiên cứu công nghệ thông tin để được chia sẻ tài liệu chi tiết, mã nguồn thực nghiệm và tư vấn chuyển giao giải pháp tra cứu ngữ nghĩa thông minh cho hệ thống quản lý văn bản tại cơ quan của bạn!