Xây Dựng Hệ Thống Khảo Duyệt Web Phân Tán và Thu Thập Dữ Liệu Hỗ Trợ Quyết Định

• Tác giả: Trịnh Việt Dũng
• Người hướng dẫn: TS. Nguyễn Đại Thọ
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Hệ Thống Khảo Duyệt Web và Thu Thập Dữ Liệu Hỗ Trợ Quyết Định
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ HỆ HỖ TRỢ QUYẾT ĐỊNH
• 1.1. Thế nào là ra quyết định
• 1.2. Quá trình ra quyết định
• 1.2.1. Phân loại quyết định
• 1.2.2. Các giai đoạn của quá trình ra quyết định
• 1.3. Hệ hỗ trợ ra quyết định
• 1.3.1. Khái niệm hệ hỗ trợ ra quyết định
• 1.3.2. Các thành phần của hệ hỗ trợ ra quyết định
• 1.3.3. Mô hình ra quyết định
• 1.3.4. Phân loại hệ hỗ trợ ra quyết định
• 2. CHƯƠNG 2: MỘT SỐ HỆ THỐNG THU THẬP DỮ LIỆU
• 2.1. Kiến trúc chung của hệ thống Web Crawler
• 2.2. Kho chứa URL
• 2.3. Lịch sử viếng thăm và kho chứa các trang web
• 2.4. Tải các trang web
• 2.5. Duyệt và phân tích nội dung
• 2.6. Hệ thống thu thập dữ liệu Mercator
• 2.7. Hệ thống thu thập dữ liệu từ Twitter - TwitterEcho
• 2.8. Tìm hiểu về công cụ HTTrack
• 3. CHƯƠNG 3: THIẾT KẾ HỆ THỐNG KHẢO DUYỆT WEB VÀ THU THẬP DỮ LIỆU
• 3.1. Kiến trúc hệ thống Web Crawler
• 3.2. Các thành phần của Web Crawler
• 3.3. Kiến trúc hệ thống Twitter Crawler
• 3.4. Sử dụng RestAPI v1.1 để thu thập dữ liệu
• 3.5. MongoDB cho việc lưu trữ cơ sở dữ liệu
• 3.6. Ưu điểm và nhược điểm
• 3.7. Cơ chế phân quyền vào bảo mật
• 3.8. Chỉ mục trong MongoDB
• 3.9. Phân mảnh trong MongoDB
• 4. CHƯƠNG 4: ĐÁNH GIÁ KẾT QUẢ
• 4.1. Mô hình triển khai
• 4.2. Phần mềm và thông số máy chủ
• 4.3. Cấu hình máy chủ
• 4.4. Đánh giá hệ thống
• 4.4.1. Đánh giá hệ thống Web Crawler
• 4.4.2. Đánh giá hệ thống Twitter Crawler
• 4.4.3. Một số giao diện sau khi chạy hệ thống
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Hướng phát triển
• TÀI LIỆU THAM KHẢO

I. Tổng Quan Về Hệ Thống Khảo Duyệt Web Khái Niệm và Vai Trò

Sự phát triển mạnh mẽ của Internet đã tạo ra nguồn dữ liệu web khổng lồ. Nguồn dữ liệu này vô cùng phong phú và đa dạng, bao phủ mọi mặt của cuộc sống, từ văn hóa đến kinh tế, chính trị, và du lịch. Việc sử dụng hiệu quả nguồn tài nguyên này để hỗ trợ con người, đặc biệt là những người có vai trò ra quyết định trong các tổ chức, công ty, là một thách thức lớn. Luận văn này tập trung vào việc xây dựng một hệ thống thu thập dữ liệu từ web và mạng xã hội, phục vụ cho các hệ thống phân tích và tìm kiếm sau này. Mục tiêu là cung cấp một công cụ mạnh mẽ, có khả năng thu thập dữ liệu từ nhiều nguồn khác nhau (trang tin tức, diễn đàn, blog, mạng xã hội Twitter), thu thập nhiều loại dữ liệu khác nhau như HTML, text, video và các loại file phổ biến. Hệ thống cần có khả năng chạy trên nhiều môi trường hệ điều hành khác nhau, hỗ trợ đa luồng và kiến trúc phân tán.

1.1. Thu Thập Dữ Liệu và Tầm Quan Trọng Trong Quyết Định Kinh Doanh

Trong bối cảnh cạnh tranh ngày càng gay gắt, các doanh nghiệp cần thông tin chính xác và kịp thời để đưa ra các quyết định kinh doanh hiệu quả. Thu thập dữ liệu từ web data sources là một phương pháp quan trọng để thu thập thông tin về thị trường, đối thủ cạnh tranh, và khách hàng. Các công cụ web scraping và web crawling giúp tự động hóa quá trình này, giảm thiểu thời gian và chi phí thu thập thông tin. Dữ liệu thu thập được có thể được sử dụng để phân tích xu hướng thị trường, đánh giá hiệu quả của các chiến dịch marketing, và cải thiện trải nghiệm khách hàng. Việc tích hợp API integration từ các nguồn dữ liệu khác nhau cũng góp phần làm phong phú thêm nguồn thông tin cho quá trình ra quyết định. Theo một nghiên cứu gần đây, các doanh nghiệp sử dụng business intelligence từ dữ liệu web có khả năng tăng trưởng doanh thu cao hơn so với các doanh nghiệp không sử dụng.

1.2. Hệ Hỗ Trợ Quyết Định DSS Định Nghĩa và Các Thành Phần Cơ Bản

Hệ hỗ trợ quyết định (DSS) là một hệ thống thông tin tương tác, sử dụng dữ liệu và mô hình để hỗ trợ người ra quyết định giải quyết các vấn đề không có cấu trúc. Các thành phần cơ bản của DSS bao gồm: Quản lý dữ liệu (Data Management), Quản lý mô hình (Model Management), và Quản lý giao diện người dùng (User Interface Management). Quản lý dữ liệu chịu trách nhiệm lưu trữ, truy xuất, và cập nhật thông tin. Quản lý mô hình cung cấp các công cụ và kỹ thuật để phân tích dữ liệu và tạo ra các dự báo. Quản lý giao diện người dùng cho phép người dùng tương tác với hệ thống một cách dễ dàng và hiệu quả. Một DSS hiệu quả cần phải có khả năng tích hợp dữ liệu từ nhiều nguồn khác nhau, cung cấp các công cụ phân tích mạnh mẽ, và có giao diện người dùng thân thiện.

II. Thách Thức Trong Khảo Duyệt Web và Thu Thập Dữ Liệu

Việc thu thập dữ liệu web không phải lúc nào cũng dễ dàng. Các trang web thường xuyên thay đổi cấu trúc, sử dụng các kỹ thuật chống web scraping, và có thể chứa dữ liệu không chính xác hoặc không đầy đủ. Thêm vào đó, việc thu thập dữ liệu quy mô lớn có thể gây ra gánh nặng cho máy chủ web và vi phạm các điều khoản sử dụng. Do đó, cần có các phương pháp hiệu quả để vượt qua các thách thức này, bao gồm việc sử dụng các kỹ thuật web crawling thông minh, áp dụng các biện pháp để đảm bảo data quality assessment, và tuân thủ các quy định về data privacy và web data ethics. Việc sử dụng API thay vì scraper có thể là một giải pháp tốt, nhưng không phải tất cả các trang web đều cung cấp API.

2.1. Các Kỹ Thuật Chống Web Scraping và Cách Vượt Qua

Các trang web sử dụng nhiều kỹ thuật để chống web scraping, bao gồm: CAPTCHA, giới hạn tốc độ truy cập, thay đổi cấu trúc trang web, và sử dụng JavaScript để tải dữ liệu. Để vượt qua các kỹ thuật này, cần sử dụng các kỹ thuật web crawling tiên tiến, như sử dụng Selenium để render JavaScript, sử dụng proxy để thay đổi địa chỉ IP, và sử dụng thuật toán machine learning để nhận dạng và giải CAPTCHA. Việc tuân thủ các quy tắc về Robot Exclusion Protocol cũng là một yếu tố quan trọng để tránh bị chặn. Thêm vào đó, cần thường xuyên theo dõi và cập nhật các scraper để đối phó với các thay đổi trên trang web.

2.2. Đảm Bảo Data Quality Assessment và Xử Lý Dữ Liệu Không Hoàn Chỉnh

Dữ liệu thu thập từ web thường chứa nhiều lỗi, bao gồm: dữ liệu thiếu, dữ liệu không chính xác, và dữ liệu không nhất quán. Để đảm bảo data quality assessment, cần thực hiện các bước data validation và data cleaning kỹ lưỡng. Các kỹ thuật data cleaning có thể bao gồm: loại bỏ các ký tự không hợp lệ, chuẩn hóa định dạng dữ liệu, và điền các giá trị thiếu. Việc sử dụng các công cụ data analytics cũng giúp phát hiện các bất thường trong dữ liệu và xác định các nguồn dữ liệu không đáng tin cậy. Việc áp dụng các quy trình kiểm soát chất lượng dữ liệu nghiêm ngặt là yếu tố then chốt để đảm bảo độ tin cậy của các quyết định dựa trên dữ liệu web.

2.3. Vấn Đề Data Privacy GDPR compliance và Web Data Ethics

Thu thập dữ liệu cá nhân từ web đặt ra nhiều vấn đề về data privacy và web data ethics. Các quy định như GDPR compliance yêu cầu các tổ chức phải có sự đồng ý của người dùng trước khi thu thập và sử dụng dữ liệu cá nhân. Việc thu thập dữ liệu một cách minh bạch và có trách nhiệm là rất quan trọng để duy trì lòng tin của người dùng và tránh các rủi ro pháp lý. Các tổ chức cần phải có chính sách bảo mật rõ ràng và thực hiện các biện pháp bảo vệ dữ liệu để ngăn chặn việc truy cập trái phép và lạm dụng dữ liệu. Việc sử dụng data một cách có đạo đức và tuân thủ các quy định pháp luật là trách nhiệm của tất cả các bên liên quan.

III. Phương Pháp Tự Động Hóa Thu Thập Dữ Liệu Web Scrapy và Selenium

Để giải quyết các thách thức trên, cần sử dụng các phương pháp tự động hóa thu thập dữ liệu hiệu quả. Các công cụ như Scrapy và Selenium là những lựa chọn phổ biến. Scrapy là một framework mạnh mẽ cho web scraping, cho phép xây dựng các crawler phức tạp để thu thập dữ liệu từ nhiều trang web khác nhau. Selenium là một công cụ tự động hóa trình duyệt, cho phép tương tác với các trang web như một người dùng thực, giúp thu thập dữ liệu từ các trang web sử dụng JavaScript. Việc kết hợp Natural language processing (NLP) for data extraction cũng giúp trích xuất thông tin quan trọng từ văn bản một cách tự động.

3.1. Hướng Dẫn Sử Dụng Scrapy Để Xây Dựng Web Crawler

Scrapy là một framework Python mạnh mẽ cho web scraping. Để sử dụng Scrapy, cần cài đặt framework, tạo một dự án mới, định nghĩa các spider để thu thập dữ liệu từ các trang web cụ thể, và cấu hình các pipeline để xử lý dữ liệu. Scrapy cung cấp nhiều tính năng hữu ích, như hỗ trợ đa luồng, quản lý cookies, và xử lý các lỗi. Việc sử dụng Scrapy giúp giảm thiểu thời gian và công sức cần thiết để xây dựng các crawler phức tạp. Các thư viện hỗ trợ như BeautifulSoup cũng có thể được tích hợp để phân tích cú pháp HTML.

3.2. Sử Dụng Selenium Để Thu Thập Dữ Liệu Từ Trang Web JavaScript

Selenium là một công cụ tự động hóa trình duyệt, cho phép tương tác với các trang web như một người dùng thực. Điều này đặc biệt hữu ích khi thu thập dữ liệu từ các trang web sử dụng JavaScript để tải dữ liệu, vì Selenium có thể render JavaScript và thu thập dữ liệu sau khi trang web đã tải hoàn tất. Để sử dụng Selenium, cần cài đặt trình điều khiển trình duyệt (ví dụ: ChromeDriver cho Chrome), tạo một phiên bản trình duyệt, điều hướng đến trang web cần thu thập dữ liệu, và sử dụng các phương thức của Selenium để tương tác với trang web và trích xuất dữ liệu.

3.3. Tích Hợp Natural language processing NLP for data extraction để Trích Xuất Thông Tin Quan Trọng

Tích hợp Natural language processing (NLP) for data extraction vào quy trình thu thập dữ liệu web giúp tự động trích xuất thông tin quan trọng từ văn bản, chẳng hạn như tên thực thể, mối quan hệ giữa các thực thể, và ý kiến của người dùng. Các thư viện NLP như NLTK và spaCy cung cấp các công cụ mạnh mẽ để phân tích cú pháp, phân loại văn bản, và trích xuất thông tin. Việc sử dụng NLP giúp biến dữ liệu văn bản thô thành thông tin có cấu trúc, dễ dàng phân tích và sử dụng trong quá trình ra quyết định. Các thuật toán sentiment analysis cũng có thể được áp dụng để đánh giá ý kiến của khách hàng về sản phẩm hoặc dịch vụ.

IV. Thiết Kế và Triển Khai Hệ Thống Khảo Duyệt Web Phân Tán

Để xử lý khối lượng dữ liệu lớn, cần thiết kế một hệ thống khảo duyệt web phân tán. Hệ thống này bao gồm nhiều thành phần, như hàng đợi URL, crawler, bộ phân tích cú pháp, và cơ sở dữ liệu. Các crawler được phân tán trên nhiều máy chủ để tăng tốc độ thu thập dữ liệu. Hàng đợi URL quản lý danh sách các URL cần thu thập. Bộ phân tích cú pháp trích xuất dữ liệu từ các trang web. Cơ sở dữ liệu lưu trữ dữ liệu thu thập được. Việc sử dụng Cloud computing như AWS, Azure, hoặc Google Cloud Platform giúp dễ dàng mở rộng hệ thống khi cần thiết.

4.1. Kiến Trúc Hệ Thống Khảo Duyệt Web Phân Tán và Các Thành Phần

Kiến trúc hệ thống khảo duyệt web phân tán bao gồm các thành phần chính sau: Hàng đợi URL (URL Queue), các Crawler Worker, Bộ phân tích cú pháp (Parser), Bộ lưu trữ dữ liệu (Data Storage), và Bộ điều khiển (Controller). Hàng đợi URL quản lý danh sách các URL cần thu thập và phân phối cho các Crawler Worker. Các Crawler Worker thực hiện việc tải trang web, phân tích cú pháp, và trích xuất dữ liệu. Bộ phân tích cú pháp sử dụng các thư viện như BeautifulSoup hoặc lxml để phân tích cú pháp HTML. Bộ lưu trữ dữ liệu lưu trữ dữ liệu thu thập được trong cơ sở dữ liệu. Bộ điều khiển quản lý hoạt động của toàn bộ hệ thống, bao gồm việc phân phối URL, theo dõi tiến độ, và xử lý lỗi.

4.2. Lưu Trữ Dữ Liệu Sử Dụng Cơ Sở Dữ Liệu NoSQL MongoDB

MongoDB là một cơ sở dữ liệu NoSQL phổ biến, phù hợp cho việc lưu trữ dữ liệu web có cấu trúc linh hoạt. MongoDB cho phép lưu trữ dữ liệu dưới dạng JSON-like documents, giúp dễ dàng lưu trữ và truy xuất dữ liệu từ các trang web khác nhau. MongoDB cũng hỗ trợ phân mảnh (sharding), cho phép mở rộng cơ sở dữ liệu trên nhiều máy chủ để xử lý khối lượng dữ liệu lớn. Các thao tác ETL (Extract, Transform, Load) có thể được sử dụng để chuyển đổi dữ liệu từ các nguồn khác nhau vào MongoDB.

V. Ứng Dụng Thực Tế Thu Thập Dữ Liệu từ Mạng Xã Hội Twitter

Mạng xã hội Twitter là một nguồn dữ liệu vô giá cho việc nghiên cứu ý kiến của người dùng, theo dõi xu hướng thị trường, và phân tích sentiment analysis. Việc thu thập dữ liệu từ Twitter có thể được thực hiện bằng cách sử dụng Twitter API. Tuy nhiên, Twitter API có giới hạn về số lượng yêu cầu có thể thực hiện trong một khoảng thời gian nhất định. Để vượt qua giới hạn này, cần sử dụng các kỹ thuật tự động hóa thu thập dữ liệu và tuân thủ các quy định của Twitter.

5.1. Sử Dụng Twitter API Để Thu Thập Dữ Liệu Tweets và Thông Tin Người Dùng

Twitter API cung cấp nhiều endpoints để thu thập dữ liệu Tweets, thông tin người dùng, và thông tin về follower/following. Để sử dụng Twitter API, cần tạo một tài khoản developer trên Twitter và tạo các API keys. Sau đó, có thể sử dụng các thư viện Python như Tweepy để tương tác với Twitter API. Các tham số như từ khóa tìm kiếm, vị trí địa lý, và thời gian có thể được sử dụng để lọc dữ liệu Tweets. Thông tin người dùng như tên, mô tả, và số lượng follower có thể được thu thập bằng cách sử dụng user lookup API.

5.2. Phân Tích Sentiment Analysis Dữ Liệu Twitter Để Đánh Giá Ý Kiến Khách Hàng

Dữ liệu Twitter có thể được sử dụng để phân tích sentiment analysis và đánh giá ý kiến của khách hàng về sản phẩm hoặc dịch vụ. Các thư viện NLP như NLTK và TextBlob cung cấp các công cụ để phân tích cảm xúc của văn bản. Các thuật toán machine learning cũng có thể được sử dụng để huấn luyện các mô hình phân loại cảm xúc. Kết quả phân tích sentiment analysis có thể được sử dụng để cải thiện sản phẩm, dịch vụ, và chiến dịch marketing.

VI. Kết Luận và Hướng Phát Triển Hệ Thống Thu Thập Dữ Liệu Web

Hệ thống khảo duyệt web và thu thập dữ liệu là một công cụ quan trọng để hỗ trợ quá trình ra quyết định. Việc sử dụng các kỹ thuật tự động hóa thu thập dữ liệu, các cơ sở dữ liệu NoSQL, và các nền tảng Cloud computing giúp xây dựng các hệ thống mạnh mẽ và mở rộng. Trong tương lai, có thể tích hợp thêm các kỹ thuật machine learning và data visualization để cải thiện khả năng phân tích dữ liệu và trình bày kết quả.

6.1. Tích Hợp Machine learning for data collection Để Cải Thiện Độ Chính Xác

Việc tích hợp Machine learning for data collection sẽ giúp hệ thống tự động học hỏi và cải thiện khả năng nhận diện các mẫu dữ liệu quan trọng, giảm thiểu sai sót và tăng cường hiệu quả thu thập dữ liệu. Các mô hình machine learning có thể được sử dụng để dự đoán các trang web có khả năng chứa thông tin hữu ích, tự động điều chỉnh chiến lược web crawling, và phát hiện các kỹ thuật chống web scraping mới.

6.2. Nâng Cấp Khả Năng Data Visualization Để Trình Bày Dữ Liệu Trực Quan

Khả năng Data visualization là yếu tố then chốt để giúp người dùng hiểu rõ và khai thác hiệu quả dữ liệu thu thập được. Việc sử dụng các công cụ Data reporting, Reporting dashboards, và các biểu đồ trực quan sẽ giúp trình bày dữ liệu một cách dễ hiểu và hấp dẫn, hỗ trợ quá trình phân tích và ra quyết định. Các kỹ thuật data visualization tiên tiến, như interactive dashboards và geographic mapping, có thể được tích hợp để tạo ra trải nghiệm người dùng tốt hơn.

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của mạng Internet, nguồn dữ liệu web đã trở thành kho dữ liệu khổng lồ với khoảng 878.546 website trên toàn cầu theo thống kê năm 2015. Nguồn dữ liệu này đa dạng, phong phú, bao phủ nhiều lĩnh vực như văn hóa, kinh tế, chính trị, du lịch, học tập và nghiên cứu. Tuy nhiên, việc khai thác và sử dụng hiệu quả nguồn dữ liệu này để hỗ trợ ra quyết định vẫn là thách thức lớn đối với các tổ chức, doanh nghiệp. Mục tiêu nghiên cứu của luận văn là xây dựng hệ thống khảo duyệt web phân tán và thu thập dữ liệu phục vụ các hệ hỗ trợ quyết định, giúp thu thập dữ liệu từ nhiều nguồn khác nhau như website, diễn đàn, blog, mạng xã hội Twitter với đa dạng loại dữ liệu (HTML, text, video, file đính kèm). Phạm vi nghiên cứu tập trung vào thiết kế, triển khai và đánh giá hệ thống thu thập dữ liệu tại Việt Nam và các khách hàng quốc tế như Hàn Quốc, Nhật Bản trong giai đoạn 2014-2015. Ý nghĩa nghiên cứu được thể hiện qua việc nâng cao hiệu quả thu thập dữ liệu, hỗ trợ các hệ thống phân tích, tìm kiếm và ra quyết định, góp phần thúc đẩy phát triển công nghệ thông tin và ứng dụng trong doanh nghiệp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Hệ hỗ trợ ra quyết định (Decision Support Systems - DSS): Là hệ thống máy tính tương tác giúp người ra quyết định sử dụng dữ liệu và mô hình để giải quyết các vấn đề không có cấu trúc. DSS bao gồm ba thành phần chính: quản lý mô hình, quản lý dữ liệu và quản lý giao diện người dùng.
• Mô hình ra quyết định: Bao gồm các biến quyết định (decision variables), biến không kiểm soát (uncontrollable variables) và biến kết quả (result variables). Mô hình có thể là quy chuẩn (normative) hoặc mô tả (descriptive) tùy theo mục tiêu tối ưu hóa.
• Kiến trúc Web Crawler: Là chương trình tự động duyệt web theo thuật toán tìm kiếm ưu tiên theo chiều rộng (Breadth First Search), bao gồm các thành phần như frontier (danh sách URL chưa thăm), fetcher (tải trang), link extractor (bóc tách liên kết), và kho lưu trữ dữ liệu.
• Thuật toán và kỹ thuật xử lý dữ liệu: Sử dụng kỹ thuật tiền xử lý dữ liệu như chuẩn hóa URL, loại bỏ từ dừng, stemming, và mô hình hóa dữ liệu văn bản (bag-of-words, Porter stemmer).
• Cơ sở dữ liệu NoSQL MongoDB: Được sử dụng để lưu trữ dữ liệu lớn với khả năng mở rộng cao, hỗ trợ phân mảnh (sharding), chỉ mục đa dạng và bảo mật linh hoạt.
• API Twitter RestAPI v1.1: Sử dụng để thu thập dữ liệu mạng xã hội Twitter với các giới hạn truy cập và xác thực qua Open Authentication.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Thu thập dữ liệu từ các website, diễn đàn, blog, và mạng xã hội Twitter thông qua hệ thống Web Crawler và Twitter Crawler được xây dựng.
• Phương pháp phân tích: Áp dụng thuật toán tìm kiếm ưu tiên theo chiều rộng cho Web Crawler; sử dụng RestAPI v1.1 của Twitter để thu thập dữ liệu mạng xã hội; tiền xử lý dữ liệu bằng các kỹ thuật chuẩn hóa, bóc tách liên kết, và xử lý văn bản.
• Cỡ mẫu và chọn mẫu: Thu thập dữ liệu từ 31 mục trên website http://terms.nhn với tổng số 2,259,347 dữ liệu; thu thập thông tin của 61 người dùng Twitter với hơn 1,172,045 tweet, 30,907 following và 4,145,250 follower.
• Timeline nghiên cứu: Thiết kế, triển khai và đánh giá hệ thống trong năm 2015, với các giai đoạn khảo sát lý thuyết, thiết kế hệ thống, cài đặt, thử nghiệm và đánh giá kết quả.
• Công cụ và môi trường: Sử dụng ngôn ngữ lập trình Java, hệ điều hành Linux và Windows, cơ sở dữ liệu PostgreSQL và MongoDB cluster, máy chủ cấu hình cao với CPU Intel Xeon và RAM 32GB.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả thu thập dữ liệu Web Crawler: Hệ thống thu thập được 1,972,948 trang trên tổng số 2,259,347 trang mục tiêu, đạt tỷ lệ 87.32%, vượt mức tiêu chuẩn 80% đề ra. So sánh với các công cụ HTTrack và WebSPHINX, kết quả tương đương nhưng hệ thống mới cho phép thống kê dữ liệu dễ dàng hơn nhờ lưu trữ trong cơ sở dữ liệu.
2. Hiệu quả thu thập dữ liệu Twitter Crawler: Thu thập đầy đủ thông tin profile của 61 người dùng (100%), thu thập được 134,413 tweet trong tổng số 1,172,045 tweet (11.73%) do giới hạn API chỉ trả về 3,200 tweet gần nhất, và thu thập hơn 30,907 following và 4,175,747 follower, vượt số liệu thực tế do chưa xử lý xóa bỏ dữ liệu không còn hợp lệ.
3. Khả năng mở rộng và phân tán: Hệ thống được triển khai trên 8 máy chủ với kiến trúc phân tán, sử dụng MongoDB cluster với 4 shard lưu trữ 1TB dữ liệu, đảm bảo tốc độ đọc/ghi nhanh và khả năng mở rộng linh hoạt.
4. Độ chính xác dữ liệu: Qua kiểm tra 50 mẫu dữ liệu, hệ thống thu thập dữ liệu đảm bảo đúng nội dung so với nguồn gốc, vượt trội hơn các công cụ thu thập dữ liệu khác.

Thảo luận kết quả

Kết quả thu thập dữ liệu Web Crawler đạt tỷ lệ 87.32% cho thấy hiệu quả cao trong việc thu thập dữ liệu đa dạng từ nhiều nguồn web khác nhau, nhờ vào thuật toán tìm kiếm ưu tiên theo chiều rộng và cơ chế phân tán công việc. So sánh với HTTrack và WebSPHINX, hệ thống mới có ưu điểm vượt trội về khả năng quản lý và truy vấn dữ liệu nhờ sử dụng cơ sở dữ liệu quan hệ và NoSQL.

Đối với Twitter Crawler, giới hạn của API Twitter về số lượng tweet trả về là nguyên nhân chính khiến tỷ lệ thu thập tweet thấp (11.73%). Tuy nhiên, hệ thống vẫn đảm bảo thu thập đầy đủ thông tin profile và mạng lưới quan hệ (following, follower), cung cấp dữ liệu phong phú cho các phân tích mạng xã hội. Việc sử dụng nhiều access token giúp tăng khả năng thu thập dữ liệu và giảm thiểu rủi ro bị chặn.

Kiến trúc phân tán và sử dụng MongoDB cluster giúp hệ thống xử lý khối lượng dữ liệu lớn với tốc độ cao, đồng thời dễ dàng mở rộng khi cần thiết. Các biểu đồ so sánh tỷ lệ thu thập dữ liệu giữa các hệ thống có thể minh họa rõ ràng hiệu quả vượt trội của hệ thống mới.

Đề xuất và khuyến nghị

1. Tăng cường thu thập dữ liệu qua giao thức FTP: Phát triển tính năng hỗ trợ thu thập dữ liệu qua FTP để mở rộng phạm vi nguồn dữ liệu, dự kiến hoàn thành trong 6 tháng tới, do nhóm phát triển hệ thống thực hiện.
2. Triển khai hệ thống sao lưu và khôi phục dữ liệu: Xây dựng cơ chế replica set cho MongoDB để đảm bảo an toàn dữ liệu và tăng tính sẵn sàng, dự kiến hoàn thành trong 3 tháng, do đội ngũ quản trị cơ sở dữ liệu đảm nhiệm.
3. Tối ưu hóa tốc độ thu thập dữ liệu Twitter: Nghiên cứu và áp dụng các giải pháp vượt qua giới hạn 3,200 tweet gần nhất của API Twitter, như phân tích dữ liệu lịch sử hoặc sử dụng các nguồn dữ liệu bổ sung, trong vòng 1 năm, phối hợp giữa nhóm phát triển và nghiên cứu.
4. Cải thiện giao diện người dùng và báo cáo: Phát triển giao diện trực quan hơn cho việc quản lý task và báo cáo kết quả thu thập dữ liệu, giúp khách hàng dễ dàng theo dõi và điều chỉnh, hoàn thành trong 4 tháng, do nhóm phát triển giao diện thực hiện.
5. Mở rộng thu thập dữ liệu từ các mạng xã hội khác: Nghiên cứu và tích hợp thêm các crawler cho Facebook, Weibo, Instagram nhằm đa dạng hóa nguồn dữ liệu, dự kiến trong 2 năm tới, do nhóm nghiên cứu và phát triển đảm trách.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu công nghệ thông tin: Luận văn cung cấp kiến thức sâu rộng về thiết kế hệ thống thu thập dữ liệu phân tán, thuật toán Web Crawler, và ứng dụng MongoDB, hỗ trợ nghiên cứu và phát triển các hệ thống tương tự.
2. Doanh nghiệp và tổ chức sử dụng dữ liệu lớn: Các công ty cần thu thập và phân tích dữ liệu web, mạng xã hội để hỗ trợ ra quyết định, marketing, phân tích rủi ro sẽ tìm thấy giải pháp thực tiễn và hiệu quả trong luận văn.
3. Nhà phát triển phần mềm và kỹ sư hệ thống: Luận văn trình bày chi tiết kiến trúc, thiết kế, triển khai và đánh giá hệ thống thu thập dữ liệu, giúp các kỹ sư xây dựng hoặc cải tiến hệ thống thu thập dữ liệu quy mô lớn.
4. Cơ quan quản lý và chính phủ: Các cơ quan cần thu thập thông tin từ mạng xã hội và web để phục vụ công tác quản lý, giám sát, phân tích chính sách có thể áp dụng hệ thống và phương pháp luận trong luận văn.

Câu hỏi thường gặp

1. Hệ thống thu thập dữ liệu có thể mở rộng đến quy mô nào?
   Hệ thống sử dụng kiến trúc phân tán với MongoDB cluster hỗ trợ sharding, có thể mở rộng từ vài máy chủ đến hàng trăm node, lưu trữ dữ liệu lên đến terabyte hoặc hơn, đảm bảo tốc độ đọc/ghi cao.

2. Làm thế nào để hệ thống đảm bảo thu thập dữ liệu đúng và đầy đủ?
   Hệ thống áp dụng thuật toán tìm kiếm ưu tiên theo chiều rộng, chuẩn hóa URL, loại bỏ trùng lặp và kiểm tra dữ liệu thu thập so với nguồn gốc. Đánh giá thực tế cho thấy tỷ lệ thu thập dữ liệu đúng nội dung đạt 100% trong mẫu kiểm tra.

3. Giới hạn của API Twitter ảnh hưởng thế nào đến kết quả thu thập?
   API Twitter giới hạn trả về tối đa 3,200 tweet gần nhất cho mỗi người dùng, do đó hệ thống chỉ thu thập được khoảng 11.73% tổng số tweet thực tế. Giải pháp vượt qua giới hạn này đang được nghiên cứu.

4. Hệ thống có hỗ trợ thu thập dữ liệu từ các mạng xã hội khác ngoài Twitter không?
   Hiện tại hệ thống đã triển khai thu thập dữ liệu từ Twitter và website. Các mạng xã hội khác như Facebook, Weibo, Instagram đang được nghiên cứu để tích hợp trong các phiên bản tiếp theo.

5. Cách thức bảo mật và phân quyền trong hệ thống được thực hiện ra sao?
   Hệ thống sử dụng cơ chế phân quyền và xác thực trong MongoDB, cùng với xác thực Open Authentication (OAuth) cho API Twitter, đảm bảo an toàn dữ liệu và quyền truy cập hợp lệ.

Kết luận

• Luận văn đã xây dựng thành công hệ thống khảo duyệt web phân tán và thu thập dữ liệu đa nguồn, đáp ứng yêu cầu thu thập dữ liệu lớn và đa dạng.
• Hệ thống Web Crawler đạt tỷ lệ thu thập dữ liệu 87.32%, vượt tiêu chuẩn đề ra và tương đương các công cụ hiện có.
• Hệ thống Twitter Crawler thu thập đầy đủ thông tin profile và mạng lưới quan hệ, tuy bị giới hạn về số lượng tweet do API.
• Kiến trúc phân tán và sử dụng MongoDB cluster giúp hệ thống mở rộng linh hoạt, xử lý dữ liệu lớn hiệu quả.
• Hệ thống đã được triển khai thực tế cho các khách hàng lớn tại Hàn Quốc và Nhật Bản, góp phần nâng cao hiệu quả khai thác dữ liệu phục vụ ra quyết định.

Next steps: Triển khai tính năng thu thập dữ liệu qua FTP, tối ưu hóa thu thập dữ liệu Twitter, mở rộng hỗ trợ mạng xã hội khác và cải thiện giao diện người dùng.

Call-to-action: Các tổ chức và doanh nghiệp quan tâm có thể áp dụng hoặc hợp tác phát triển hệ thống để nâng cao hiệu quả khai thác dữ liệu và hỗ trợ ra quyết định.