Tổng quan nghiên cứu

Trong bối cảnh bùng nổ thông tin toàn cầu, hơn 85% khối lượng dữ liệu số tồn tại dưới dạng văn bản phi cấu trúc trên Internet, gây ra tình trạng quá tải thông tin nghiêm trọng. Khi người dùng thực hiện truy vấn với các từ khóa quá rộng như từ khóa "Báo cáo", các cỗ máy tìm kiếm có thể trả về hơn 10.600.000 bài viết, trong đó tỷ lệ thông tin không hữu ích hoặc gây nhiễu chiếm hơn 70%. Vấn đề đặt ra là làm thế nào để tự động lọc, trích xuất chính xác các tài liệu hữu ích theo đúng chủ đề quan tâm và đưa vào lưu trữ tập trung.

Luận văn thạc sĩ ngành Công nghệ thông tin, chuyên ngành Kỹ thuật phần mềm của tác giả Đỗ Thị Loan, dưới sự hướng dẫn khoa học của PGS. Lê Huy Thập tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội (bảo vệ năm 2015), tập trung giải quyết trọn vẹn bài toán này. Mục tiêu nghiên cứu cụ thể bao gồm: phát triển cơ chế tạo xâu tìm kiếm tối ưu dựa trên lý thuyết mode và toán tử logic; thiết kế mô hình Web Crawler tự động thu thập tài liệu theo chuyên đề; bóc tách thông tin thô và chuyển đổi trực tiếp vào hệ cơ sở dữ liệu quan hệ có cấu trúc định sẵn. Phạm vi nghiên cứu được thử nghiệm trên không gian mạng Internet mở, hướng đến các nhóm dữ liệu báo chí điện tử, tài chính và văn bản chuyên ngành trong giai đoạn 2015. Ý nghĩa của công trình thể hiện ở việc rút ngắn hơn 80% thời gian tổng hợp báo cáo chuyên đề cho các nhà quản lý, đồng thời cung cấp giải pháp kỹ thuật hữu hiệu để phát hiện và ngăn chặn các luồng văn bản độc hại truyền tải trên mạng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng vững chắc của 2 trụ cột khoa học máy tính: lý thuyết cơ sở dữ liệu quan hệ và đại số logic mệnh đề trong toán rời rạc.

Trước hết, mô hình cơ sở dữ liệu quan hệ của E.F. Codd được ứng dụng để chuẩn hóa các thuộc tính dữ liệu văn bản từ dạng tự do sang dạng bảng. Luận văn vận dụng nghiêm ngặt 3 cấp độ kiến trúc cơ sở dữ liệu (mức vật lý, mức khái niệm, mức khung nhìn) cùng hệ thống ràng buộc toàn vẹn thực thể, ràng buộc miền giá trị và ràng buộc toàn vẹn tham chiếu thông qua các cặp khóa chính và khóa ngoại.

Thứ hai, lý thuyết toán rời rạc về logic mệnh đề được khai thác nhằm chuẩn hóa các câu truy vấn. Tác giả áp dụng 5 toán tử logic cơ bản gồm phép phủ định, phép hội (AND), phép tuyển (OR), phép kéo theo và phép tương đương để biểu diễn các tập xâu tìm kiếm. Mọi biểu thức logic phức hợp đều được chứng minh có thể biến đổi tương đương về Dạng chuẩn hội (Conjunctive Normal Form - CNF) hoặc Dạng chuẩn tuyển (Disjunctive Normal Form - DNF) bằng cách áp dụng luật De Morgan và luật phân phối. Việc chuẩn hóa về dạng CNF giữ vai trò quyết định trong việc giảm không gian tìm kiếm của hệ thống.

Ngoài ra, nghiên cứu tích hợp các khái niệm cốt lõi: văn bản phi cấu trúc (Unstructured Text), siêu văn bản (HyperText HTML), kỹ thuật bóc tách dữ liệu dạng Wrapper và phân bố tần số theo mode của xâu ký tự.

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu được thu thập từ các website báo điện tử, cổng thông tin tài chính và các diễn đàn trực tuyến thông qua các công cụ tìm kiếm phổ biến và module Crawler tự động. Cỡ mẫu thử nghiệm bao gồm 10 nhóm cụm từ chủ đề với tổng tần số tích lũy lên tới 33.610.000 kết quả tìm kiếm trên Internet. Phương pháp chọn mẫu phân tầng có chủ đích được áp dụng dựa trên độ sâu quét (tham số quét numberLink thiết lập ở mức 50 liên kết cho mỗi chủ đề) nhằm đảm bảo tính đại diện và độ bao phủ của thông tin.

Lý do lựa chọn phương pháp phân tích kết hợp giữa thuật toán heuristic dựa trên mode của xâu và phân tích cú pháp DOM HTML (HTML Parser) là nhằm giải quyết triệt để tính phi ngữ nghĩa của mã nguồn HTML. Hệ thống thử nghiệm được thiết kế và triển khai trong mốc thời gian 12 tháng năm 2015, sử dụng kiến trúc máy chủ Apache 2.x, ngôn ngữ kịch bản PHP 5.6 và hệ quản trị cơ sở dữ liệu MySQL.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh hiệu quả vượt trội của các thuật toán đề xuất thông qua 4 phát hiện thực nghiệm quan trọng:

Thứ nhất, phương pháp lựa chọn cụm từ tìm kiếm dựa vào lớp mode giúp tối ưu hóa không gian truy vấn một cách rõ rệt. Khi phân tích tập dữ liệu 10 cụm từ thử nghiệm, tần số xuất hiện biến thiên từ 896.000 bài viết (đối với cụm từ hẹp "Thu hoạch lúa vụ mùa của năm") đến 10.600.000 bài viết (đối với từ khóa rộng "Báo cáo"). Thuật toán đã chứng minh việc chọn các cụm từ nằm trong phân vị thứ 2 và thứ 3 của đồ thị tần số tích lũy (tương ứng khoảng tần số tích lũy từ 4.550.000 đến 19.290.000 kết quả) giúp loại bỏ hơn 65% lượng thông tin rác và tập trung chính xác vào nội dung trọng tâm của chủ đề.

Thứ hai, thuật toán gom nhóm URL (Thuật toán 1) dựa trên biểu thức chuẩn hội đã tự động khởi tạo các bộ sưu tập liên kết (Collection) và hàng đợi xử lý một cách chuẩn xác, đạt hiệu suất lưu trữ 100% các URL hợp lệ mà không xảy ra hiện tượng trùng lặp địa chỉ web.

Thứ ba, thuật toán truy cập và bóc tách nội dung (Thuật toán 2) kết hợp với các bộ lọc Wrapper đã bóc tách thành công 6 trường thông tin cốt lõi gồm tiêu đề, tóm tắt, mã HTML gốc, văn bản thuần (plain text), tác giả và ngày xuất bản từ mã nguồn web, tự động chuyển đổi vào bảng dữ liệu có cấu trúc với tỷ lệ hoàn thiện trường dữ liệu đạt trên 80% ngay ở lần quét thô đầu tiên.

Thứ tư, hệ thống thực thi truy vấn thống kê dữ liệu động trên cơ sở dữ liệu quan hệ với thời gian phản hồi trung bình dưới 2 giây trên máy chủ đơn lẻ, đáp ứng hoàn hảo yêu cầu kết xuất báo cáo nhanh theo thời gian thực.

Thảo luận kết quả

Hiệu quả của giải pháp đến từ sự phối hợp chặt chẽ giữa hai thuật toán nền tảng. Dữ liệu phân bố tần số được minh họa trực quan qua biểu đồ tần số tích lũy hình chữ S (dạng phân phối thực nghiệm), cho thấy rõ ranh giới phân vị thứ 2 và thứ 3 – nơi chứa các cụm từ tối ưu nhất cho bài toán tìm kiếm. Trong cơ sở dữ liệu, mối quan hệ giữa bảng chủ đề (Article_subject) và bảng nội dung (Article_content) được thiết lập theo tỷ lệ 1-nhiều qua khóa ngoại subjectId, cho phép lưu trữ và liên kết hàng triệu bài viết với độ toàn vẹn tham chiếu tuyệt đối.

So sánh với các nghiên cứu quốc tế, phương pháp tiếp cận của luận văn có nhiều nét tương đồng và kế thừa giá trị. Điển hình như nghiên cứu của Cecchini (2010) khi sử dụng từ điển từ khóa phân tích văn bản trong Báo cáo thường niên để dự báo kiệt quệ tài chính đã đạt độ chính xác 75%, hay nghiên cứu của Shirata và Sakagami (2009) ứng dụng phân tích hình thái học cho bộ ký tự Kanji. Điểm vượt trội của luận văn này là không dừng lại ở mức độ phân tích tĩnh mà đã tự động hóa hoàn toàn quy trình từ khâu thu thập web bằng Crawler, bóc tách cấu trúc bằng DOM Parser cho đến việc tái cấu trúc dữ liệu thành các bảng quan hệ SQL chuẩn hóa. Dù vẫn còn một số hạn chế do tính đa dạng của các mẫu giao diện web khiến một số bài viết bị khuyết tiêu đề trong lần quét đầu, nhưng cơ chế khung nhìn tinh chế (Create View) đã khắc phục triệt để vấn đề này, nâng độ chính xác của cơ sở dữ liệu sau tinh chế lên trên 98%.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu quả và mở rộng khả năng ứng dụng thực tiễn của hệ thống tìm kiếm và chuyển đổi văn bản vào cơ sở dữ liệu, 4 nhóm giải pháp chiến lược được đề xuất như sau:

Thứ nhất, tích hợp công nghệ học máy (Machine Learning) và kỹ thuật nhận diện mẫu (Pattern Recognition) vào module Wrapper. Thay vì sử dụng các luật bóc tách tĩnh, các kỹ sư phần mềm cần triển khai các mô hình phân loại tự động để hệ thống tự thích ứng với các cấu trúc HTML mới, hướng tới mục tiêu tự động hóa 90% việc trích xuất nội dung mà không cần cấu hình thủ công trong vòng 6 đến 12 tháng tới.

Thứ hai, phát triển bộ từ điển nhận dạng thực thể tên riêng và xử lý ngôn ngữ tự nhiên (NLP) chuyên sâu cho tiếng Việt. Các nhóm nghiên cứu học thuật nên hoàn thiện bộ công cụ gán nhãn ngữ pháp và phân tích cú pháp tiếng Việt nhằm tăng độ chính xác trích xuất tác giả, địa điểm và thời gian lên trên 95% trong lộ trình 1 năm.

Thứ ba, nâng cấp kiến trúc Crawler từ mô hình đơn máy sang hệ thống thu thập dữ liệu phân tán (Distributed Web Crawler) trên nền tảng đám mây. Các tổ chức công nghệ cần đầu tư hạ tầng để nâng công suất quét từ 50 liên kết mỗi chủ đề lên hơn 5.000 liên kết mỗi phút, hoàn thành triển khai trong giai đoạn 18 tháng.

Thứ tư, áp dụng quy trình khai phá văn bản tự động vào hệ thống giám sát an ninh mạng và quản lý nhà nước. Các cơ quan quản lý cần ứng dụng ngay mô hình này để quét, phát hiện và ngăn chặn các luồng thông tin độc hại, sai lệch trên không gian mạng với mục tiêu kiểm soát độ trễ thông tin dưới 5 phút kể từ thời điểm phát tán.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị thực tiễn và học thuật sâu sắc cho 4 nhóm đối tượng trọng tâm:

  1. Kỹ sư phát triển phần mềm và kỹ sư dữ liệu: Có thể khai thác mã nguồn thuật toán Crawler, kỹ thuật bóc tách mã HTML và mô hình thiết kế cơ sở dữ liệu quan hệ để xây dựng các hệ thống cào dữ liệu tự động cho doanh nghiệp.
  2. Giảng viên, nhà nghiên cứu và học viên cao học ngành Công nghệ thông tin: Tìm thấy tài liệu tham khảo giá trị về ứng dụng toán rời rạc, logic mệnh đề chuẩn hội (CNF) và giải thuật thống kê mode xâu trong bài toán xử lý thông tin phi cấu trúc.
  3. Chuyên viên phân tích thị trường và tình báo kinh doanh (BI): Vận dụng quy trình thu thập và cấu trúc hóa tin tức tự động để theo dõi động thái của hơn 100 đối thủ cạnh tranh và diễn biến thị trường theo thời gian thực.
  4. Cán bộ quản lý thông tin và chuyên gia an ninh mạng: Ứng dụng khung giải pháp lọc nội dung theo từ khóa chuyên đề để xây dựng các cổng kiểm soát thông tin, ngăn chặn tài liệu độc hại bảo vệ hệ thống mạng nội bộ 24/7.

Câu hỏi thường gặp

  1. Tại sao luận văn lại chuyển các biểu thức logic tìm kiếm về dạng chuẩn hội (CNF)? Việc chuyển đổi biểu thức logic về dạng chuẩn hội (là hội của các tuyển sơ cấp) giúp thuật toán chuẩn hóa không gian tìm kiếm. Do các câu truy vấn thực tế thường chứa nhiều toán tử AND hơn OR, dạng chuẩn hội giúp hệ thống dễ dàng phân rã biểu thức phức tạp thành các điều kiện đơn để lọc nhanh hàng triệu liên kết web.

  2. Phương pháp xác định xâu tìm kiếm theo mode mang lại lợi ích gì so với tìm kiếm thông thường? Tìm kiếm thông thường với từ khóa đơn lẻ dễ gây quá tải thông tin với hơn 10.000.000 kết quả không sát thực tế. Phương pháp mode chọn các cụm từ thuộc phân vị thứ 2 và thứ 3 của đồ thị tần số tích lũy, giúp giảm hơn 65% lượng tin rác và tối ưu hóa độ chính xác của nội dung cần thu thập.

  3. Module bóc tách dữ liệu xử lý như thế nào khi gặp các trang web có cấu trúc HTML khác nhau? Module sử dụng kỹ thuật Wrapper dựa trên các thẻ nhận diện tiêu chuẩn như cặp thẻ title, meta description, heading và các khối div bài viết. Đối với các dữ liệu thô chưa hoàn chỉnh tiêu đề, hệ thống áp dụng cơ chế tinh chế qua khung nhìn dữ liệu (View) trong cơ sở dữ liệu để chuẩn hóa lại.

  4. Cấu trúc cơ sở dữ liệu của hệ thống lưu trữ những thông tin cụ thể nào? Hệ thống lưu trữ dữ liệu tập trung qua 2 bảng chính: bảng chủ đề (Article_subject) quản lý tên chuyên đề, từ khóa và độ sâu quét; bảng tin tức (Article_content) lưu trữ 9 trường thông tin gồm mã bài viết, liên kết nguồn, tiêu đề, tóm tắt, nội dung HTML, văn bản thuần, tác giả và ngày đăng.

  5. Hệ thống này có thể ứng dụng trong lĩnh vực kinh tế - tài chính ra sao? Trong tài chính, hơn 80% thông tin quan trọng nằm trong các báo cáo thường niên phi cấu trúc. Hệ thống có thể tự động thu thập tin tức của hàng trăm doanh nghiệp niêm yết, trích xuất các nhận định về kế hoạch kinh doanh và rủi ro để phục vụ các mô hình dự báo tài chính sớm.

Kết luận

Luận văn của tác giả Đỗ Thị Loan đã giải quyết trọn vẹn bài toán chuyển đổi dữ liệu từ dạng văn bản phi cấu trúc trên Internet sang cơ sở dữ liệu quan hệ có cấu trúc chuẩn mực. Những đóng góp cốt lõi của công trình được tóm lược qua 5 điểm nổi bật:

  • Hệ thống hóa cơ sở lý thuyết logic mệnh đề và đại số quan hệ trong việc mô hình hóa các câu truy vấn tìm kiếm văn bản.
  • Đề xuất phương pháp tối ưu hóa xâu tìm kiếm dựa vào lớp mode và phân vị tần số tích lũy, loại bỏ hiệu quả tình trạng nhiễu thông tin.
  • Xây dựng thành công 2 thuật toán nền tảng: thuật toán gom nhóm URL theo bộ sưu tập và thuật toán bóc tách văn bản thô đa trường thông tin.
  • Thiết kế hoàn chỉnh lược đồ cơ sở dữ liệu quan hệ và cơ chế tinh chế dữ liệu động phục vụ kết xuất báo cáo nhanh theo thời gian thực.
  • Thử nghiệm thành công chương trình trên nền tảng máy chủ web Apache, PHP và MySQL với tốc độ xử lý ổn định và độ tin cậy cao.

Trong giai đoạn 6 đến 12 tháng tiếp theo, hướng phát triển tự nhiên của đề tài là tích hợp học máy sâu và mạng nơ-ron xử lý ngôn ngữ tự nhiên để hoàn thiện khả năng hiểu ngữ nghĩa văn bản. Đây là tài liệu học thuật và kỹ thuật mẫu mực, rất khuyến khích các nhà nghiên cứu, kỹ sư phần mềm và học viên cao học nghiên cứu sâu để ứng dụng vào các hệ thống khai phá dữ liệu lớn hiện đại.