Tổng quan nghiên cứu

Trong bối cảnh bùng nổ công nghệ thông tin và mạng Internet, hơn 80% khối lượng dữ liệu toàn cầu tồn tại dưới dạng thông tin phi cấu trúc như các bài báo điện tử, văn bản, thư tín và báo cáo. Mặc dù các công cụ tìm kiếm phổ biến tại thời điểm năm 2009 như Google, Yahoo hay Exalead phát triển vượt bậc, chúng chỉ dừng lại ở việc trả về danh sách hàng ngàn liên kết URL phù hợp với từ khóa mà chưa hỗ trợ tổng hợp nội dung chi tiết. Người sử dụng phải truy cập và đọc duyệt thủ công từng trang web, làm tiêu tốn từ 60% đến 75% thời gian tra cứu và gây cản trở lớn đối với việc ra quyết định kịp thời trong quản lý kinh tế - xã hội.

Luận văn thạc sĩ chuyên ngành Hệ thống thông tin với đề tài nghiên cứu về chuẩn hóa và xác định mối quan hệ giữa các cụm từ, tìm kiếm và trích xuất thông tin liên quan đã giải quyết triệt để bài toán này. Mục tiêu trọng tâm của nghiên cứu là xây dựng các thuật toán tự động xác định mối quan hệ ngữ nghĩa giữa các cụm từ thông qua phương pháp phân bố tần số thống kê, tìm kiếm các xâu thuộc vùng Mode và tự động trích xuất nội dung văn bản trên Internet để kết xuất thành các báo cáo phi cấu trúc động.

Nghiên cứu được triển khai thực nghiệm trên tập dữ liệu tin tức tài chính và chứng khoán Việt Nam trong giai đoạn năm 2008 đến tháng 12 năm 2009. Kết quả nghiên cứu mang lại ý nghĩa khoa học và thực tiễn sâu sắc, giúp các tổ chức và doanh nghiệp cắt giảm hơn 70% thời gian tổng hợp tin tức thị trường, chuyển hóa kho tri thức web phong phú thành các báo cáo súc tích phục vụ đắc lực cho công tác quản trị và định hướng đầu tư.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Khung lý thuyết của nghiên cứu được xây dựng trên sự kết hợp liên ngành giữa xác suất thống kê ứng dụng, xử lý ngôn ngữ tự nhiên và kiến trúc phần mềm hiện đại:

Thứ nhất là lý thuyết phân bố thống kê tần số và khái niệm giá trị Mode. Trong thống kê, Mode là giá trị có tần số xuất hiện lớn nhất trong một danh sách dữ liệu. Luận văn mở rộng khái niệm này thành lớp Mode hoặc vùng Mode, được định nghĩa là tập hợp các cụm từ nằm trong khoảng phân vị từ 25% đến 75% của đường phân bố tần số tích lũy. Mô hình này giúp lọc bỏ các cụm từ quá rộng gây loãng thông tin và các cụm từ quá hẹp làm mất tính đại diện của chủ đề.

Thứ hai là lý thuyết đối sánh mẫu bằng biểu thức chính quy (Regular Expressions). Nghiên cứu ứng dụng các cấu trúc đối sánh ký tự biên giới, các lớp ký tự số và chữ, cùng các toán tử định lượng để nhận diện chính xác các cụm từ mục tiêu trong mã nguồn HTML của các trang web tin tức. Không gian tên System.Text.RegularExpressions cung cấp các lớp đối tượng chuyên sâu như Regex, Match và MatchCollection để xử lý trích xuất văn bản với tốc độ cao.

Thứ ba là kiến trúc phát triển ứng dụng 3 tầng trên nền tảng Microsoft .NET Framework. Nền tảng này tích hợp môi trường thực thi ngôn ngữ chung (CLR), tầng dịch vụ mạng System.Net với hai lớp cơ sở HttpWebRequest và HttpWebResponse, hỗ trợ cơ chế xác thực đa dạng như xác thực cơ bản, xác thực người dùng Windows tích hợp và xác thực qua chứng thư số X509.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập từ hơn 3.750.000 bài viết và tài liệu trực tuyến trên mạng Internet tại Việt Nam trong năm 2009, tập trung vào lĩnh vực kinh tế và thị trường tài chính.

Phương pháp chọn mẫu là chọn mẫu mục đích (purposive sampling) với cỡ mẫu thực nghiệm gồm 10 cụm từ đại diện thuộc chủ đề Thị trường chứng khoán Việt Nam. Việc lựa chọn mẫu này đảm bảo phản ánh đầy đủ các mức độ phân bố tần số từ rất cao đến rất thấp, cho phép kiểm chứng độ nhạy của thuật toán trích xuất.

Phương pháp phân tích dựa trên mô hình định lượng thống kê mô tả. Thuật toán tiến hành sắp xếp mảng cụm từ theo độ dài tăng dần, sau đó tính toán chuỗi tần số tích lũy theo công thức đệ quy cf(i+1) = cf(i) + f(i), trong đó f(i) là tần số xuất hiện của cụm từ thứ i và giá trị khởi tạo cf(1) = 0. Lý do lựa chọn phương pháp này xuất phát từ bản chất dữ liệu web: số lượng bài viết chứa cụm từ là một đại lượng ngẫu nhiên có quan hệ tần số tuyệt đối. Việc xác định dải tứ phân vị từ 25% đến 75% cho phép loại trừ sai số biên và tối ưu hóa không gian tìm kiếm. Quá trình thiết kế, cài đặt và kiểm thử phần mềm được tác giả hoàn thiện vào tháng 12 năm 2009.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm đã mang lại 3 phát hiện cốt lõi về mối quan hệ giữa cụm từ tìm kiếm và hiệu quả trích xuất thông tin:

Thứ nhất, độ dài của cụm từ tìm kiếm tỷ lệ nghịch với số lượng bài viết được trả về nhưng tỷ lệ thuận với độ cô đọng của nội dung. Khi tìm kiếm với cụm từ quá bao hàm như "chứng khoán", hệ thống ghi nhận khoảng 3.000.000 bài viết, dẫn đến không gian tìm kiếm quá rộng và nội dung báo cáo bị tản mạn. Ngược lại, cụm từ cụ thể và bám sát chủ đề như "Thị trường chứng khoán Việt Nam năm 2009" chỉ xuất hiện trong khoảng 326.000 bài viết, giúp tập trung hóa ngữ nghĩa. Đối với các cụm từ sai lệch ngữ cảnh như "chứng gà", số lượng kết quả thu về chỉ là 9.340 bài viết và hoàn toàn bị loại bỏ khỏi chủ đề.

Thứ hai, thuật toán xác định lớp Mode chứng minh tính ưu việt vượt trội trong việc tinh lọc từ khóa. Trên tập dữ liệu mẫu có tổng tần số tích lũy đạt 14.750.000 lượt xuất hiện, vùng tứ phân vị thứ hai và thứ ba (nằm trong khoảng từ 3.687.500 đến 11.062.500) đã tự động chọn lọc chính xác 3 cụm từ trọng tâm: "Bảng giá chứng khoán" (1.000.000 bài viết), "Thị trường chứng khoán HN" (2.000.000 bài viết) và "Mã chứng khoán tăng mạnh" (921.000 bài viết). Các cụm từ này đại diện cho hơn 65% lượng thông tin thời sự cốt lõi của thị trường.

Thứ ba, việc kết hợp HttpWebRequest với bộ phân tích Regex trong .NET Framework giúp tăng tốc độ trích xuất nội dung bài viết lên hơn 70% so với phương pháp thu thập dữ liệu tuần tự, đồng thời xử lý thành công 100% các website yêu cầu xác thực bảo mật tài khoản hoặc chứng thực điện tử.

Thảo luận kết quả

Các kết quả thực nghiệm được minh họa rõ nét thông qua đồ thị tần số tích lũy dạng đường cong tăng trưởng và bảng phân phối tứ phân vị. Trên trục tọa độ, trục tung biểu diễn tần số tích lũy chạy từ 0 đến 14.750.000 đơn vị, trong khi trục hoành thể hiện danh sách các cụm từ được chuẩn hóa và sắp xếp tăng dần theo độ dài ký tự. Đường biểu diễn tạo ra một đoạn dốc trung tâm thể hiện mật độ tập trung cao độ của các tin tức mang tính thời sự nóng hổi.

Nguyên nhân dẫn đến sự phân bố này là do trong thực tế truyền thông số, các sự kiện kinh tế nổi bật thường được các cơ quan báo chí phản ánh qua những cụm từ có độ dài vừa phải và mang tính định danh cao. Nếu so sánh với các công cụ tìm kiếm nội địa tại thời điểm năm 2008 và 2009 như Xalo của Tinh Vân (phát hành tháng 3 năm 2008 với 4 dịch vụ tìm kiếm) hay Baamboo và Timnhanh, giải pháp của luận văn đã tiến một bước dài: chuyển đổi từ việc hiển thị đường dẫn thụ động sang tự động biên soạn báo cáo phi cấu trúc động. Điều này giúp loại bỏ hoàn toàn các liên kết trùng lặp và cung cấp bức tranh toàn cảnh về thị trường tài chính một cách tức thì.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu đạt được, tác giả đưa ra 4 nhóm giải pháp và khuyến nghị ứng dụng thực tế:

Thứ nhất, tích hợp thuật toán lọc vùng Mode vào hệ thống quản trị thông tin của các cơ quan quản lý nhà nước và doanh nghiệp tài chính. Ban chỉ đạo công nghệ thông tin tại các đơn vị cần triển khai thí điểm mô-đun này trước quý 2 năm 2010 nhằm tự động hóa quy trình theo dõi dư luận và biến động thị trường, hướng tới mục tiêu giảm 80% thời gian biên soạn báo cáo tổng hợp hàng ngày.

Thứ hai, chuẩn hóa và mở rộng các giao thức kết nối, trích xuất dữ liệu web bảo mật. Đội ngũ kỹ sư phát triển phần mềm cần áp dụng cơ chế xác thực kép qua giao thức HTTPS và chứng thư điện tử X509 trong vòng 6 tháng tới, đảm bảo tỷ lệ trích xuất thành công dữ liệu từ các cổng thông tin chuyên ngành đạt mức tối thiểu 95%.

Thứ ba, xây dựng bộ từ điển đồng nghĩa và cơ sở tri thức ngữ nghĩa chuyên sâu cho từng ngành kinh tế. Các viện nghiên cứu phối hợp cùng các trường đại học triển khai dự án làm giàu kho ngữ liệu trong thời gian 12 tháng, mở rộng dung lượng mẫu từ 10 cụm từ lên trên 50.000 cụm từ chuẩn hóa, giúp hệ thống bao quát được nhiều lĩnh vực như bất động sản, ngân hàng và xuất nhập khẩu.

Thứ tư, nâng cấp kiến trúc phần mềm sang mô hình xử lý phân tán đa luồng. Các nhóm nghiên cứu kỹ thuật cần hoàn thiện việc chuyển đổi nền tảng sang kiến trúc điện toán đám mây trong vòng 18 tháng, nâng năng lực xử lý đồng thời lên hơn 1.000.000 trang tin mỗi giờ nhằm đáp ứng tốc độ gia tăng nhanh chóng của dữ liệu trực tuyến.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng sau:

Thứ nhất là các kỹ sư phần mềm và chuyên gia phát triển hệ thống trên nền tảng .NET: Tài liệu cung cấp hướng dẫn chi tiết kèm mã nguồn mẫu về việc sử dụng các lớp HttpWebRequest, Regex, MatchCollection và giải pháp xử lý xác thực bảo mật web để xây dựng các công cụ thu thập dữ liệu tự động.

Thứ hai là các nhà nghiên cứu và học viên cao học chuyên ngành Khoa học máy tính và Hệ thống thông tin: Luận văn là tài liệu tham khảo giá trị về phương pháp ứng dụng thống kê mô tả, phân bố Mode và phân tích tần số tích lũy vào bài toán xử lý ngôn ngữ tự nhiên và khai phá dữ liệu web.

Thứ ba là các chuyên viên phân tích thị trường, nhà đầu tư tài chính và quản lý doanh nghiệp: Nghiên cứu cung cấp phương pháp luận và công cụ tự động hóa việc theo dõi tin tức về hàng trăm mã cổ phiếu, hỗ trợ trích xuất thông tin nhanh chóng để nắm bắt cơ hội đầu tư kinh doanh.

Thứ tư là các cơ quan quản lý nhà nước và tổ chức kinh tế - xã hội: Giải pháp tạo báo cáo phi cấu trúc động giúp các nhà lãnh đạo tổng hợp nhanh các nguồn tin tức đa chiều, nâng cao chất lượng điều hành và ra quyết định chính xác.

Câu hỏi thường gặp

Khái niệm vùng Mode trong thuật toán của luận văn được xác định như thế nào? Vùng Mode là khoảng giá trị chứa các cụm từ có tần số tích lũy nằm trong đoạn từ 25% đến 75% của tổng phân bố tần số. Trong tập dữ liệu mẫu 14.750.000 lượt xuất hiện, vùng Mode nằm trong khoảng từ 3.687.500 đến 11.062.500, giúp giữ lại các cụm từ chuẩn xác và loại bỏ các từ khóa quá rộng hoặc quá hiếm.

Tại sao nghiên cứu lại sử dụng biểu thức chính quy Regex trong trích xuất văn bản? Biểu thức chính quy cho phép định nghĩa các khuôn mẫu ký tự linh hoạt để so khớp chuỗi văn bản phức tạp, bỏ qua các thẻ định dạng HTML gây nhiễu. Lớp Regex và MatchCollection trong nền tảng .NET giúp hệ thống xử lý hàng vạn dòng văn bản chỉ trong vài mili-giây với độ chính xác đạt trên 98%.

Sự khác biệt cốt lõi giữa hệ thống trong luận văn và công cụ tìm kiếm Google là gì? Google chỉ trả về danh sách các đường dẫn liên kết tĩnh và yêu cầu người dùng tự đọc duyệt từng trang web. Ngược lại, hệ thống của luận văn tự động truy cập vào các bài viết, bóc tách các đoạn văn bản chứa cụm từ thuộc vùng Mode và tổng hợp trực tiếp thành một báo cáo phi cấu trúc động hoàn chỉnh.

Phần mềm xử lý các website yêu cầu đăng nhập và chứng thực bảo mật bằng cách nào? Hệ thống sử dụng thuộc tính Credentials của đối tượng HttpWebRequest để gán thông tin đăng nhập theo chuẩn Basic Authentication, Digest Authentication hoặc tích hợp tài khoản Windows. Đối với website đòi hỏi chứng thực số cao cấp, hệ thống tự động nạp tệp chứng chỉ thông qua lớp X509Certificate, đảm bảo khả năng truy cập thành công 100%.

Mô hình tần số tích lũy có thể áp dụng cho các ngôn ngữ và chủ đề khác ngoài chứng khoán không? Hoàn toàn có thể áp dụng. Thuật toán phân bố tần số tích lũy và trích xuất vùng Mode hoạt động dựa trên các quy luật thống kê thuần túy, không phụ thuộc vào cấu trúc ngữ nghĩa riêng biệt. Khi thử nghiệm trên hơn 500 bài viết thuộc các chủ đề như y tế hay giáo dục, thuật toán vẫn đạt độ chính xác tương đương.

Kết luận

  • Đã đề xuất thành công mô hình thống kê phân bố tần số tích lũy để chuẩn hóa và xác định mối quan hệ định lượng giữa các cụm từ tìm kiếm trên mạng Internet.
  • Xác lập phương pháp xác định lớp Mode trong dải tứ phân vị từ 25% đến 75%, giúp thu hẹp hiệu quả không gian tìm kiếm và tập trung vào các luồng thông tin thời sự cốt lõi.
  • Xây dựng hoàn chỉnh kiến trúc ứng dụng 3 tầng trên nền tảng Microsoft .NET Framework, tích hợp xử lý biểu thức chính quy và trích xuất dữ liệu qua giao thức HTTP an toàn.
  • Thử nghiệm thành công trên tập ngữ liệu hơn 3.750.000 bài viết tài chính - chứng khoán, chứng minh khả năng tự động tạo báo cáo phi cấu trúc động với tốc độ vượt trội.
  • Mở ra giải pháp đột phá giúp giải quyết triệt để vấn đề quá tải thông tin số, hỗ trợ đắc lực cho các nhà quản lý trong quá trình ra quyết định kinh tế - xã hội.

Trong giai đoạn tiếp theo từ năm 2010 đến năm 2012, hướng phát triển trọng tâm là tích hợp công nghệ học máy để tự động nhận diện từ đồng nghĩa và mở rộng hệ thống lên môi trường tính toán song song. Các tổ chức, doanh nghiệp và nhà nghiên cứu quan tâm hãy ứng dụng ngay giải pháp trích xuất dữ liệu dựa trên vùng Mode để tối ưu hóa quy trình khai thác tri thức số của mình.