Ứng Dụng Big Data Trong Giám Sát Và Thống Kê Dữ Liệu Truy Vấn Hệ Thống DNS Quốc Gia

Tài liệu nghiên cứu Ứng dụng bigdata trong việ giám sát và thống kê dữ liệu truy vấn hệ thống dns quốc gia, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Trần Cảnh Toàn
• Người hướng dẫn: PGS. Cao Tuấn Dũng
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ Thuật Phần Mềm
• Đề tài: Ứng Dụng Big Data Trong Giám Sát Và Thống Kê Dữ Liệu DNS Quốc Gia
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Tổng quan về hệ thống máy chủ DNS Quốc gia
• 1.2. Mô hình và chức năng của hệ thống DNS Quốc gia
• 1.3. Hoạt động truy vấn tên miền qua hệ thống máy chủ DNS Quốc gia
• 1.4. Dữ liệu log truy vấn DNS trên hệ thống DNS Quốc gia
• 1.5. Hiện trạng hệ thống phân tích, giám sát và thống kê log truy vấn DNS
• 1.6. Mô hình tổng quan và các chức năng của hệ thống. Nguyên tắc hoạt động của hệ thống
• 1.7. Các hạn chế của hệ thống hiện tại
• 1.8. Mục tiêu và định hướng giải pháp
• 2. CHƯƠNG 2: TỔNG QUAN VỀ CƠ SỞ LÝ THUYẾT VÀ CÔNG NGHỆ
• 2.1. Tình hình nghiên cứu lĩnh vực
• 2.2. Tình hình nghiên cứu và ứng dụng trên thế giới
• 2.3. Tình hình nghiên cứu và ứng dụng trong nước
• 2.4. Một số giải pháp nổi bật
• 2.5. Tổng quan về công nghệ Big Data Hadoop
• 2.6. Giới thiệu về công nghệ Big Data Hadoop
• 2.7. Các thành phần cơ bản của hệ thống Big Data Hadoop
• 2.8. Hệ sinh thái Hadoop
• 2.9. Quản lý cụm máy chủ Big Data Hadoop với giải pháp của Cloudera
• 3. CHƯƠNG 3: XÂY DỰNG HỆ THỐNG GIÁM SÁT, THỐNG KÊ DỮ LIỆU LOG TRUY VẤN DNS QUỐC GIA DỰA TRÊN CÔNG NGHỆ BIGDATA
• 3.1. Áp dụng công nghệ Big Data Hadoop vào bài toán giám sát và thống kê dữ liệu log truy vấn DNS
• 3.2. Các thành phần của Big Data Hadoop áp dụng cho bài toán giám sát và thống kê dữ liệu log. Thiết kế mô hình triển khai hệ thống giám sát, thống kê log truy vấn DNS Quốc gia. Triển khai cụm máy chủ Big Data Hadoop
• 3.3. Kích thước và quy mô hệ thống. Triển khai cụm máy chủ Big Data Hadoop với giải pháp của Cloudera
• 3.4. Xây dựng hệ thống giám sát và thống kê dữ liệu log truy vấn DNS sử dụng Big Data Hadoop
• 3.5. Thu thập và phân tích log truy vấn DNS
• 3.6. Tổ chức để lưu trữ log truy vấn DNS
• 3.7. Trực quan dữ liệu log truy vấn DNS để phục vụ giám sát, thống kê
• 4. CHƯƠNG 4: PHÂN TÍCH KẾT QUẢ ĐẠT ĐƯỢC
• 4.1. Kết quả triển khai hệ thống
• 4.2. Giao diện tổng thể hệ thống
• 4.3. Đồ thị lưu lượng truy vấn DNS
• 4.4. Danh sách các địa chỉ IP truy vấn nhiều nhất
• 4.5. Danh sách các tên miền GTLD được truy vấn nhiều nhất
• 4.6. Danh sách các tên miền .VN được truy vấn nhiều nhất
• 4.7. Biểu đồ thống kê nguồn truy vấn DNS theo quốc gia
• 4.8. Bản đồ nhiệt các khu vực trên thế giới về truy vấn DNS Quốc gia
• 4.9. Biểu đồ thống kê các loại bản ghi được truy vấn
• 4.10. Biểu đồ thống kê về tỷ lệ sử dụng IPv4 – IPv6 trong truy vấn DNS
• 4.11. Biểu đồ thống kê về tỷ lệ truy vấn DNSSEC
• 4.12. Biểu đồ thống kê về giao thức truyền vận trong truy vấn DNS
• 4.13. Bảng dữ liệu các truy vấn mới nhất trên hệ thống
• 4.14. Thực nghiệm về hiệu năng hệ thống
• TÀI LIỆU THAM KHẢO
• Phụ lục 1: Cài đặt và cấu hình máy chủ hệ thống Big Data Hadoop

Tóm tắt

I. Tổng Quan Về Ứng Dụng Big Data Giám Sát DNS Quốc Gia

Hệ thống máy chủ tên miền quốc gia .VN đóng vai trò then chốt trong hạ tầng Internet Việt Nam. Việc giám sát DNS và thống kê DNS hiệu quả là vô cùng quan trọng để đảm bảo an toàn và ổn định cho hệ thống. Hiện tại, hệ thống do VNNIC vận hành đang sử dụng các phương pháp truyền thống để thu thập và phân tích dữ liệu DNS Logs. Tuy nhiên, với lưu lượng truy vấn ngày càng tăng, việc áp dụng các công nghệ mới như Big Data trở nên cần thiết. Hệ thống DNS quốc gia là hệ thống thông tin trọng yếu hàng đầu của quốc gia theo quyết định số 632/QĐ-TTg. Để đảm bảo hệ thống hoạt động an toàn và ổn định, nhiều giải pháp và công nghệ đã được nghiên cứu và áp dụng như tiêu chuẩn an toàn bảo mật mở rộng hệ thống máy chủ DNS (DNSSEC), công nghệ DNS-Anycast, công nghệ cân bằng tải, IPv6. Bên cạnh các công nghệ, giải pháp đã áp dụng, việc theo dõi tình trạng hoạt động của hệ thống và phân tích hành vi truy cập của người dùng cũng góp phần rất quan trọng để đảm bảo hoạt động liên tục cho hệ thống DNS Quốc gia cũng như giúp phát hiện và cảnh báo sớm các bất thường để đưa ra các phương án xử lý, đảm bảo an toàn an ninh cho hệ thống.

1.1. Vai trò và Chức năng Hệ thống DNS Quốc Gia

Hệ thống DNS Quốc gia .VN do Trung tâm Internet Việt Nam (VNNIC) quản lý, có nhiệm vụ quản lý không gian tên miền cấp quốc gia và phân giải các truy vấn tên miền từ Internet. Chức năng chính bao gồm: Quản lý không gian tên miền cấp quốc gia .VN và các tên miền cấp 2 dùng chung thuộc hệ thống tên miền . Phân cấp và chuyển giao không gian tên miền .VN cho các đơn vị khác quản lý theo quy định. Tiếp nhận và trả lời các truy vấn tên miền .VN từ các nguồn truy vấn hợp lệ trên Internet. Đảm bảo hoạt động truy vấn tên miền .VN của người dùng Internet được thông suốt, nhanh chóng và an toàn. Hiện tại hệ thống máy chủ DNS Quốc gia gồm 7 cụm máy chủ, trong đó 5 cụm máy chủ đặt trong nước (tại Hà Nội, TP.HCM, Đà nẵng), 2 cụm máy chủ đặt ở nước ngoài tại nhiều điểm trên thế giới.

1.2. Quy Trình Truy Vấn Tên Miền và Dữ Liệu DNS

Khi người dùng truy cập website, trình duyệt sẽ thực hiện truy vấn tên miền đến DNS Server. Quá trình này bao gồm việc truy vấn từ ISP đến Root Server, sau đó đến máy chủ DNS quốc gia để tìm kiếm thông tin và trả về địa chỉ IP. Thông thường, việc truy vấn tên miền sẽ được thực hiện thông qua hệ thống máy chủ DNS của các nhà cung cấp dịch vụ Internet (ISP). Với các tên miền .VN, hệ thống máy chủ tên miền của các ISP sẽ truy vấn lên hệ thống máy chủ ROOT server hoặc hệ thống máy chủ tên miền đệm (Caching DNS) của VNNIC và từ đó truy vấn hệ thống máy chủ tên miền quốc gia để tìm kiếm thông tin và trả lời truy vấn.

1.3. Định Dạng và Thông Tin Lưu Trữ trong Dữ Liệu Log

Hệ thống DNS Quốc gia lưu trữ thông tin truy vấn vào log files. Mỗi bản ghi chứa thông tin về thời gian truy vấn, địa chỉ IP của khách hàng, tên miền được truy vấn, loại bản ghi DNS, và các thông tin khác liên quan đến truy vấn. Với mỗi truy vấn tên miền, dữ liệu log truy vấn sẽ lưu trữ các thông tin như sau:  Thời gian truy vấn: có độ chính xác đến mức milli giây, dưới dạng dd-MMM-yyyy HH:mm:ss.  Địa chỉ IP của khách hàng: có thể ở dạng địa chỉ IPv4 hoặc IPv6.  Port truy vấn của khách hàng: là dạng số nguyên.  Tên miền được truy vấn: có thể là tên miền .vn hoặc tên miền GTLD.

II. Thách Thức Với Giám Sát DNS Quốc Gia Hiện Tại Cần Big Data

Hệ thống giám sát và thống kê DNS hiện tại đang gặp nhiều thách thức. Lưu lượng truy vấn lớn (trung bình 300 triệu lượt/ngày) tạo ra khối lượng dữ liệu khổng lồ (60GB/ngày ở dạng thô). Các công nghệ truyền thống khó có thể xử lý và lưu trữ hiệu quả. Khả năng mở rộng hạn chế cũng là một vấn đề đáng quan tâm. Theo thống kê, hàng ngày trung bình có khoảng 300 triệu lượt truy vấn vào hệ thống máy chủ DNS Quốc gia, với kích thước dữ liệu log ở dạng thô là 60GB. Chính vì vậy, việc nghiên cứu công nghệ, hướng tiếp cận mới để nâng cao năng lực xử lý cũng như khả năng lưu trữ và khai thác số liệu, áp dụng cho vào bài toán phân tích dữ liệu log truy vấn DNS đang là một yêu cầu cấp thiết.

2.1. Hạn Chế của Công Nghệ Truyền Thống trong Xử Lý Dữ Liệu

Các công nghệ truyền thống như hệ thống quản lý cơ sở dữ liệu (CSDL) quan hệ gặp khó khăn trong việc xử lý dữ liệu lớn, tốc độ cao và đa dạng từ DNS Logs. Khả năng mở rộng của các hệ thống này cũng hạn chế, gây khó khăn trong việc đáp ứng nhu cầu tăng trưởng của dữ liệu DNS. Việc thu thập, phân tích dữ liệu log truy vấn là đang rất hạn chế do khả năng lưu trữ và xử lý cũng như khả năng mở rộng hệ thống, tiêu chí thống kê, giám sát.

2.2. Yêu Cầu về Khả Năng Lưu Trữ và Xử Lý Dữ Liệu Lớn Big Data

Việc thu thập, lưu trữ và phân tích dữ liệu DNS Logs đòi hỏi một hệ thống có khả năng mở rộng linh hoạt, chịu tải cao và xử lý dữ liệu nhanh chóng. Big Data cung cấp các công cụ và kỹ thuật để đáp ứng những yêu cầu này, cho phép lưu trữ dữ liệu phân tán và xử lý song song trên nhiều máy chủ.

2.3. Tiềm Năng Khai Thác Dữ Liệu DNS bằng Phân Tích Chuyên Sâu

Dữ liệu DNS Logs chứa đựng nhiều thông tin giá trị về hành vi người dùng, xu hướng truy cập, và các mối đe dọa an ninh mạng. Phân tích dữ liệu chuyên sâu bằng các kỹ thuật Data Mining và Machine Learning có thể giúp phát hiện các bất thường, dự đoán tấn công và cải thiện an ninh mạng.

III. Phương Pháp Ứng Dụng Big Data Để Giám Sát và Thống Kê DNS

Để giải quyết các thách thức trên, việc ứng dụng Big Data là một giải pháp hiệu quả. Các công cụ như Hadoop, Spark, và Kafka có thể được sử dụng để thu thập, xử lý và lưu trữ dữ liệu DNS Logs. Bên cạnh đó, các công cụ trực quan hóa dữ liệu như Elasticsearch và Kibana giúp tạo ra các dashboard giám sát trực quan, giúp người quản trị dễ dàng theo dõi tình hình hoạt động của hệ thống. Hiện nay trên thế giới đã có nhiều nghiên cứu, giải pháp, cũng như sản phẩm phần mềm để phục vụ cho việc phân tích, giám sát và thống kê dữ liệu log. Tiêu biểu trong các giải pháp và phần mềm phổ biến, được nhiều tổ chức, đơn vị đã và đang áp dụng để phân tích dữ liệu log có thể kể đến như Elastic Stack, Splunk, và công nghệ Big Data.

3.1. Sử Dụng Hadoop và Spark Cho Xử Lý Dữ Liệu Phân Tán

Hadoop cung cấp hệ thống lưu trữ phân tán (HDFS) và mô hình xử lý song song (MapReduce) để xử lý dữ liệu DNS Logs trên quy mô lớn. Spark cung cấp các API mạnh mẽ để thực hiện các tác vụ phân tích phức tạp, chẳng hạn như phân tích lưu lượng truy cập và phát hiện tấn công DNS.

3.2. Triển Khai Kafka Để Thu Thập Dữ Liệu Theo Thời Gian Thực

Kafka là một nền tảng truyền tải dữ liệu phân tán, có khả năng xử lý hàng triệu sự kiện mỗi giây. Sử dụng Kafka để thu thập dữ liệu DNS Logs theo thời gian thực giúp giám sát và phản ứng nhanh chóng với các sự kiện bất thường.

3.3. Trực Quan Hóa Dữ Liệu với Elasticsearch và Kibana

Elasticsearch là một công cụ tìm kiếm và phân tích dữ liệu mạnh mẽ, cho phép lập chỉ mục và tìm kiếm dữ liệu DNS Logs một cách nhanh chóng. Kibana cung cấp giao diện trực quan để tạo ra các dashboard và biểu đồ, giúp người quản trị dễ dàng theo dõi và phân tích dữ liệu.

IV. Ứng Dụng Big Data trong Giám Sát An Ninh Mạng DNS Quốc Gia

Big Data không chỉ giúp quản lý dữ liệu DNS Logs hiệu quả hơn mà còn hỗ trợ giám sát an ninh mạng. Bằng cách phân tích dữ liệu truy vấn, có thể phát hiện các dấu hiệu của tấn công DNS, chẳng hạn như DNS spoofing, DNS flooding, và Domain Generation Algorithms (DGAs). Thông qua việc phân tích Dữ liệu lớn, chúng ta có thể phát hiện và ngăn chặn các mối đe dọa an ninh mạng. Các kỹ thuật Threat Intelligence giúp xác định các nguồn tấn công tiềm ẩn và đưa ra các biện pháp phòng ngừa kịp thời.

4.1. Phát Hiện Tấn Công DNS Bằng Phân Tích Dữ Liệu Lớn

Các kỹ thuật phân tích dữ liệu lớn có thể được sử dụng để phát hiện các mẫu truy vấn bất thường, chẳng hạn như số lượng truy vấn tăng đột biến từ một địa chỉ IP duy nhất hoặc truy vấn đến các tên miền đáng ngờ. Các mẫu này có thể chỉ ra các cuộc tấn công DNS đang diễn ra.

4.2. Xây Dựng Hệ Thống Cảnh Báo Sớm Dựa Trên Threat Intelligence

Threat Intelligence là thông tin về các mối đe dọa an ninh mạng tiềm ẩn. Bằng cách tích hợp thông tin Threat Intelligence vào hệ thống giám sát DNS, có thể xác định các nguồn tấn công tiềm ẩn và đưa ra các biện pháp phòng ngừa kịp thời.

4.3. Tự Động Hóa Phản Ứng Với Tấn Công Sử Dụng AI và Machine Learning

Trí tuệ nhân tạo (AI) và Machine Learning có thể được sử dụng để tự động hóa quá trình phản ứng với các cuộc tấn công DNS. Ví dụ, một hệ thống AI có thể được huấn luyện để phát hiện các cuộc tấn công DNS và tự động chặn các địa chỉ IP tấn công.

V. Ứng Dụng Thực Tế Big Data để Nâng Cao Hiệu Suất DNS Quốc Gia

Ứng dụng Big Data mang lại nhiều lợi ích thực tế cho việc nâng cao hiệu suất DNS quốc gia. Việc phân tích dữ liệu DNS Logs giúp tối ưu hóa cấu hình DNS Server, cải thiện thời gian phản hồi, và giảm thiểu tình trạng nghẽn mạng. Việc sử dụng Big Data để giám sát và phân tích dữ liệu DNS là một xu hướng tất yếu trong bối cảnh an ninh mạng ngày càng phức tạp. Việc áp dụng các công nghệ mới giúp cải thiện khả năng bảo vệ hệ thống DNS quốc gia, đảm bảo hoạt động ổn định của Internet Việt Nam.

5.1. Tối Ưu Hóa Cấu Hình DNS Server Dựa Trên Phân Tích Dữ Liệu

Việc phân tích dữ liệu DNS Logs có thể giúp xác định các cấu hình DNS Server không hiệu quả. Ví dụ, nếu một số DNS Server đang bị quá tải, có thể di chuyển lưu lượng truy cập sang các DNS Server khác.

5.2. Cải Thiện Thời Gian Phản Hồi DNS Bằng Phân Tích Hiệu Năng

Việc phân tích dữ liệu DNS Logs có thể giúp xác định các yếu tố ảnh hưởng đến thời gian phản hồi DNS, chẳng hạn như độ trễ mạng hoặc cấu hình DNS Server không tối ưu. Bằng cách giải quyết các yếu tố này, có thể cải thiện thời gian phản hồi DNS và nâng cao trải nghiệm người dùng.

5.3. Giảm Thiểu Nghẽn Mạng Nhờ Phân Tích Lưu Lượng Truy Cập

Việc phân tích dữ liệu DNS Logs có thể giúp xác định các điểm nghẽn mạng. Bằng cách định tuyến lại lưu lượng truy cập hoặc nâng cấp cơ sở hạ tầng mạng, có thể giảm thiểu nghẽn mạng và cải thiện hiệu suất DNS.

VI. Kết Luận và Triển Vọng Ứng Dụng Big Data Cho DNS Quốc Gia

Việc ứng dụng Big Data trong giám sát DNS và thống kê dữ liệu DNS quốc gia là một bước tiến quan trọng. Điều này không chỉ giúp nâng cao hiệu suất và an ninh mạng mà còn mở ra nhiều cơ hội để khai thác giá trị từ dữ liệu DNS Logs. Trong tương lai, việc tích hợp AI và Machine Learning sẽ giúp tự động hóa nhiều tác vụ và đưa ra các quyết định thông minh hơn. Với hiện trạng và yêu cầu nêu trên, cùng với xu hướng nghiên cứu và áp dụng của thế giới, đề tài được lựa chọn để giải quyết hai vấn đề: 1/ Nghiên cứu công nghệ Big Data, áp dụng vào việc khai thác dữ liệu log; 2/ Thiết kế mô hình và triển khai các thành phần công nghệ Big Data để tiến hành thu thập, phân tích, lưu trữ và giám sát thống kê dữ liệu log truy vấn DNS trên hệ thống DNS Quốc gia, hỗ trợ đảm bảo an toàn an ninh cho hệ thống DNS Quốc gia.

6.1. Tổng Kết Lợi Ích của Big Data trong Quản Lý DNS

Big Data mang lại nhiều lợi ích cho việc quản lý DNS, bao gồm: Khả năng xử lý và lưu trữ dữ liệu lớn, Khả năng phát hiện tấn công DNS, Khả năng tối ưu hóa cấu hình DNS Server, Khả năng cải thiện thời gian phản hồi DNS, Khả năng giảm thiểu nghẽn mạng, Khả năng tích hợp AI và Machine Learning.

6.2. Hướng Phát Triển Tương Lai AI và Machine Learning Cho DNS

Trong tương lai, AI và Machine Learning sẽ đóng vai trò ngày càng quan trọng trong việc quản lý DNS. Các hệ thống AI có thể được huấn luyện để tự động phát hiện và phản ứng với các cuộc tấn công DNS, cũng như đưa ra các quyết định thông minh về cấu hình DNS Server.

6.3. Đề Xuất Chính Sách và Chiến Lược Phát Triển DNS Quốc Gia

Để tận dụng tối đa tiềm năng của Big Data trong quản lý DNS, cần có các chính sách và chiến lược phù hợp. Điều này bao gồm việc đầu tư vào cơ sở hạ tầng Big Data, đào tạo nhân lực có kỹ năng về Big Data, và xây dựng các quy định về bảo mật dữ liệu.

Nội dung chính

Tổng quan nghiên cứu

Hệ thống máy chủ tên miền quốc gia .VN đóng vai trò trọng yếu trong việc phân giải địa chỉ cho các tên miền .VN, được xem là “trái tim” của mạng Internet Việt Nam. Theo quyết định số 632/QĐ-TTg ngày 10/5/2017 của Thủ tướng Chính phủ, hệ thống này là một trong những hệ thống thông tin trọng yếu hàng đầu quốc gia. Trung bình mỗi ngày, hệ thống DNS Quốc gia tiếp nhận khoảng 300 triệu lượt truy vấn, tương đương với dung lượng dữ liệu log thô lên đến 60GB, và dự kiến lưu trữ hơn 20TB dữ liệu trong vòng một năm. Tuy nhiên, hệ thống giám sát và thống kê log truy vấn DNS hiện tại còn nhiều hạn chế về khả năng lưu trữ, xử lý và mở rộng, dẫn đến việc giám sát chưa kịp thời và thiếu các tiêu chí phân tích chuyên sâu.

Mục tiêu nghiên cứu tập trung vào việc ứng dụng công nghệ Big Data, đặc biệt là nền tảng Hadoop, để thiết kế và triển khai hệ thống giám sát, thống kê dữ liệu log truy vấn DNS Quốc gia với khả năng xử lý song song, lưu trữ phân tán và truy xuất dữ liệu hiệu quả. Phạm vi nghiên cứu bao gồm hệ thống DNS Quốc gia tại Việt Nam, với dữ liệu thu thập trong giai đoạn từ năm 2016 đến 2018. Nghiên cứu nhằm nâng cao năng lực giám sát gần thời gian thực, mở rộng các tiêu chí thống kê và hỗ trợ phát hiện các bất thường, góp phần đảm bảo an toàn, an ninh và ổn định cho hệ thống DNS Quốc gia.

Việc áp dụng Big Data trong giám sát DNS không chỉ giúp cải thiện hiệu năng xử lý dữ liệu lớn mà còn tạo điều kiện cho việc khai thác sâu hơn các thông tin từ log truy vấn, hỗ trợ các cơ quan quản lý trong việc ra quyết định chính sách và vận hành hệ thống hiệu quả hơn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên hai lý thuyết và mô hình chính:

1. Công nghệ Big Data Hadoop: Hadoop là framework mã nguồn mở cho phép xử lý và lưu trữ dữ liệu lớn phân tán trên cụm máy chủ. Thành phần chính gồm HDFS (Hadoop Distributed File System) đảm bảo lưu trữ phân tán, nhân bản dữ liệu để tăng độ tin cậy và YARN (Yet Another Resource Negotiator) quản lý tài nguyên tính toán và lập lịch xử lý song song. Mô hình MapReduce được sử dụng để phân tách và xử lý dữ liệu log truy vấn DNS một cách hiệu quả, giảm thiểu thời gian xử lý và tăng khả năng mở rộng.

2. Mô hình giám sát và phân tích log truy vấn DNS: Dữ liệu log truy vấn DNS được thu thập dưới dạng file text với các trường thông tin chi tiết như thời gian truy vấn, địa chỉ IP client, tên miền truy vấn, loại bản ghi DNS, loại truy vấn và địa chỉ IP máy chủ DNS. Hệ thống giám sát hiện tại sử dụng mô hình Observer để phân tích log theo tiến trình song song, tuy nhiên còn hạn chế về khả năng mở rộng và thời gian thực.

Các khái niệm chuyên ngành quan trọng bao gồm: DNS (Domain Name System), DNSSEC (tiêu chuẩn an toàn mở rộng cho DNS), GTLD (General Top Level Domain), IPv4/IPv6, HDFS, MapReduce, YARN, và các loại bản ghi DNS như A, AAAA, MX, NS.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là các file log truy vấn DNS thu thập từ hệ thống máy chủ DNS Quốc gia, với kích thước trung bình 60GB/ngày, tương đương khoảng 300 triệu lượt truy vấn. Dữ liệu được thu thập liên tục trong vòng một năm để đảm bảo tính toàn diện và độ tin cậy.

Phương pháp phân tích sử dụng nền tảng Big Data Hadoop, triển khai cụm máy chủ Hadoop với giải pháp Cloudera để thu thập, lưu trữ và xử lý dữ liệu log. Cụ thể:

• Thu thập dữ liệu log bằng công cụ Flume, hỗ trợ thu thập song song từ nhiều máy chủ DNS.
• Lưu trữ dữ liệu trên hệ thống phân tán HDFS với khả năng nhân bản và dự phòng cao.
• Phân tích dữ liệu bằng mô hình MapReduce và truy vấn dữ liệu qua HiveQL, Impala để thực hiện các thống kê và giám sát.
• Trực quan hóa dữ liệu bằng các công cụ như Solr Admin và Lucidworks Banana.

Timeline nghiên cứu kéo dài từ năm 2016 đến 2018, bao gồm các giai đoạn: khảo sát hiện trạng, thiết kế mô hình hệ thống, triển khai cụm máy chủ Hadoop, thu thập và phân tích dữ liệu log, xây dựng hệ thống giám sát và thống kê, và đánh giá kết quả.

Cỡ mẫu dữ liệu là toàn bộ log truy vấn DNS trong khoảng thời gian nghiên cứu, với phương pháp chọn mẫu toàn bộ dữ liệu để đảm bảo tính đại diện và đầy đủ. Phương pháp phân tích tập trung vào xử lý song song, phân tán để tối ưu hiệu năng và khả năng mở rộng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu năng xử lý và lưu trữ được cải thiện đáng kể: Hệ thống Big Data Hadoop triển khai có khả năng xử lý trung bình 3.500 lượt truy vấn mỗi giây, với đỉnh điểm trên 5.000 lượt, vượt trội so với hệ thống truyền thống. Dung lượng lưu trữ dữ liệu log lên đến hơn 20TB trong một năm được đảm bảo với khả năng mở rộng linh hoạt.

2. Giám sát gần thời gian thực: Hệ thống mới cho phép cập nhật dữ liệu giám sát với tần suất 5 phút/lần, giảm đáng kể độ trễ so với hệ thống cũ chỉ lấy mẫu 5 phút/lần nhưng không hỗ trợ xử lý song song. Điều này giúp phát hiện sớm các bất thường và sự cố trên hệ thống DNS Quốc gia.

3. Mở rộng tiêu chí thống kê và phân tích: Hệ thống hỗ trợ thống kê đa dạng các trường thông tin như loại bản ghi DNS, giao thức truyền vận, tỷ lệ sử dụng IPv4/IPv6, truy vấn DNSSEC, vị trí địa lý của client, danh sách tên miền và địa chỉ IP truy vấn nhiều nhất. Ví dụ, biểu đồ thống kê cho thấy tỷ lệ truy vấn DNSSEC chiếm khoảng 15% tổng lưu lượng, phản ánh xu hướng tăng cường bảo mật.

4. Hỗ trợ phát hiện và phân tích các cuộc tấn công mạng: Hệ thống cho phép xác định nguồn tấn công DNS Flood và DDOS thông qua phân tích chi tiết các địa chỉ IP truy vấn nhiều nhất và các mẫu truy vấn bất thường. So với phương pháp thủ công trước đây, việc này giúp giảm thời gian phản ứng từ vài giờ xuống còn vài phút.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện là việc ứng dụng công nghệ Big Data Hadoop với khả năng xử lý song song và lưu trữ phân tán, khắc phục được các hạn chế về dung lượng và tốc độ truy xuất dữ liệu của hệ thống truyền thống. So sánh với các nghiên cứu quốc tế như hệ thống ENTRADA của Hà Lan, hệ thống DNS Quốc gia Việt Nam đã đạt được hiệu năng tương đương trong việc xử lý hàng trăm triệu truy vấn mỗi ngày.

Việc mở rộng các tiêu chí thống kê và hỗ trợ phân tích sâu hơn giúp nâng cao giá trị khai thác dữ liệu log, từ đó hỗ trợ công tác vận hành và đảm bảo an toàn an ninh mạng hiệu quả hơn. Dữ liệu có thể được trình bày qua các biểu đồ lưu lượng truy vấn theo thời gian, bản đồ nhiệt vị trí truy vấn, bảng xếp hạng tên miền và địa chỉ IP truy vấn nhiều nhất, giúp trực quan hóa và dễ dàng theo dõi.

Kết quả cũng cho thấy việc áp dụng Big Data không chỉ nâng cao hiệu quả kỹ thuật mà còn tạo nền tảng cho việc tích hợp các công nghệ học máy và trí tuệ nhân tạo trong tương lai để phân tích hành vi người dùng và phát hiện các mối đe dọa phức tạp hơn.

Đề xuất và khuyến nghị

1. Triển khai mở rộng hệ thống Big Data Hadoop trên toàn bộ các cụm máy chủ DNS Quốc gia nhằm đảm bảo khả năng xử lý và lưu trữ dữ liệu log truy vấn DNS với dung lượng ngày càng tăng, dự kiến hoàn thành trong vòng 12 tháng tới. Chủ thể thực hiện: Trung tâm Internet Việt Nam (VNNIC).

2. Phát triển các module phân tích nâng cao tích hợp học máy và trí tuệ nhân tạo để tự động phát hiện các bất thường và tấn công mạng dựa trên dữ liệu log, nhằm giảm thiểu thời gian phản ứng và nâng cao độ chính xác. Thời gian triển khai dự kiến 18 tháng. Chủ thể thực hiện: VNNIC phối hợp với các viện nghiên cứu CNTT.

3. Xây dựng hệ thống cảnh báo sớm và dashboard giám sát trực quan theo thời gian thực với tần suất cập nhật dưới 5 phút, hỗ trợ các nhà quản lý và kỹ thuật viên theo dõi tình trạng hệ thống hiệu quả hơn. Thời gian hoàn thành dự kiến 9 tháng. Chủ thể thực hiện: VNNIC và các đơn vị phát triển phần mềm.

4. Tăng cường đào tạo và nâng cao năng lực kỹ thuật cho đội ngũ vận hành hệ thống về công nghệ Big Data, Hadoop và các công cụ phân tích log để đảm bảo vận hành ổn định và khai thác tối đa hiệu quả hệ thống. Thời gian thực hiện liên tục, ưu tiên trong 6 tháng đầu. Chủ thể thực hiện: VNNIC phối hợp với các trường đại học và tổ chức đào tạo.

Đối tượng nên tham khảo luận văn

1. Các cơ quan quản lý Internet và tên miền quốc gia: Giúp nâng cao năng lực giám sát, phân tích và đảm bảo an toàn an ninh cho hệ thống DNS quốc gia, hỗ trợ ra quyết định chính sách vận hành.

2. Các nhà cung cấp dịch vụ Internet (ISP) và nhà đăng ký tên miền: Áp dụng các giải pháp Big Data để giám sát lưu lượng truy vấn DNS, phát hiện sớm các tấn công mạng và cải thiện chất lượng dịch vụ.

3. Các tổ chức nghiên cứu và phát triển công nghệ thông tin: Tham khảo mô hình triển khai và ứng dụng công nghệ Big Data Hadoop trong xử lý dữ liệu lớn, từ đó phát triển các giải pháp tương tự cho các lĩnh vực khác.

4. Sinh viên và học viên cao học chuyên ngành kỹ thuật phần mềm, an toàn thông tin: Nắm bắt kiến thức thực tiễn về ứng dụng Big Data trong giám sát hệ thống mạng, từ đó phát triển kỹ năng nghiên cứu và ứng dụng công nghệ mới.

Câu hỏi thường gặp

1. Big Data Hadoop có ưu điểm gì so với các giải pháp phân tích log truyền thống?
   Big Data Hadoop cho phép xử lý và lưu trữ dữ liệu phân tán với khả năng mở rộng linh hoạt, xử lý song song giúp tăng hiệu năng, đồng thời hỗ trợ lưu trữ dữ liệu lớn lên đến hàng chục terabyte, vượt trội so với các hệ thống cơ sở dữ liệu quan hệ truyền thống.

2. Hệ thống giám sát mới có thể phát hiện tấn công mạng nhanh hơn bao lâu so với hệ thống cũ?
   Hệ thống mới cập nhật dữ liệu giám sát gần thời gian thực với tần suất 5 phút/lần, giảm đáng kể độ trễ so với hệ thống cũ, giúp phát hiện và phản ứng với các cuộc tấn công trong vòng vài phút thay vì vài giờ.

3. Làm thế nào để hệ thống xử lý được lượng truy vấn DNS lên đến 300 triệu lượt mỗi ngày?
   Hệ thống sử dụng mô hình xử lý song song MapReduce trên cụm máy chủ Hadoop, kết hợp lưu trữ phân tán HDFS và quản lý tài nguyên YARN, giúp phân chia và xử lý dữ liệu đồng thời trên nhiều node, đảm bảo hiệu năng cao.

4. Có thể mở rộng hệ thống để xử lý dữ liệu log trong tương lai không?
   Có, hệ thống Hadoop được thiết kế để mở rộng theo chiều ngang bằng cách thêm các node mới vào cụm, giúp tăng dung lượng lưu trữ và khả năng xử lý mà không ảnh hưởng đến hiệu năng hiện tại.

5. Hệ thống có hỗ trợ phân tích các loại truy vấn DNSSEC và IPv6 không?
   Có, hệ thống mới hỗ trợ thống kê và giám sát chi tiết các loại truy vấn DNSSEC, tỷ lệ sử dụng IPv4 và IPv6, giúp đánh giá mức độ áp dụng các tiêu chuẩn bảo mật và giao thức mới trong hệ thống DNS.

Kết luận

• Nghiên cứu đã thành công trong việc ứng dụng công nghệ Big Data Hadoop để xây dựng hệ thống giám sát và thống kê dữ liệu log truy vấn DNS Quốc gia với khả năng xử lý và lưu trữ vượt trội.
• Hệ thống mới cho phép giám sát gần thời gian thực, mở rộng các tiêu chí phân tích và hỗ trợ phát hiện các cuộc tấn công mạng hiệu quả hơn.
• Kết quả nghiên cứu phù hợp với xu hướng ứng dụng Big Data trong lĩnh vực an toàn an ninh mạng và quản lý hệ thống DNS trên thế giới.
• Đề xuất triển khai mở rộng hệ thống, phát triển các module phân tích nâng cao và đào tạo nhân lực để khai thác tối đa tiềm năng của công nghệ.
• Các bước tiếp theo bao gồm hoàn thiện hệ thống cảnh báo sớm, tích hợp học máy và mở rộng phạm vi ứng dụng trong các lĩnh vực liên quan.

Hành động ngay hôm nay để nâng cao năng lực giám sát và bảo vệ hệ thống DNS Quốc gia bằng công nghệ Big Data tiên tiến!

Trích đoạn nội dung tài liệu

Chương 1 : GIỚI THIỆU ĐỀ TÀI 1. Tổng quan về hệ thống máy chủ DNS Quốc gia 1. Mô hình và chức năng của hệ thống DNS Quốc gia Hệ thống máy chủ tên miền quốc gia .VN là hệ thống kỹ thuật nhằm đảm bảo hoạt động cho tên miền quốc gia .VN trên Internet. Trung tâm Internet Việt Nam - Bộ Thông tin và Truyền thông thiết lập, quản lý và vận hành hệ thống máy chủ tên miền quốc gia.

Hệ thống máy chủ tên miền quốc gia .VN thực hiện các nhiệm vụ chính như sau: - Quản lý không gian tên miền cấp quốc gia .VN và các tên miền cấp 2 dùng chung thuộc hệ thống tên miền. - Phân cấp và chuyển giao không gian tên miền .VN cho các đơn vị khác quản lý theo quy định. - Tiếp nhận và trả lời các truy vấn tên miền .VN từ các nguồn truy vấn hợp lệ trên Internet. Đảm bảo hoạt động truy vấn tên miền .VN của người dùng Internet được thông suốt, nhanh chóng và an toàn.

Hiện tại hệ thống máy chủ DNS Quốc gia gồm 7 cụm máy chủ, trong đó 5 cụm máy chủ đặt trong nước (tại Hà Nội, TP.HCM, Đà nẵng), 2 cụm máy chủ đặt ở nước ngoài tại nhiều điểm trên thế giới. Công STT Cụm máy chủ Vị trí Địa chỉ IP nghệ Nước 194.VN ngoài 2001:678:4::12 IPv6 203.VN Hà Nội 2001:dc8:1:2::105 IPv6 203. HCM 2001:dc8:c000:7::105 IPv6 4 D DNS SERVERS VN ẵ 203 119 44 105 LB 5 E DNS-SERVERS VN Hà Nội 203 119 60 105 LB 6 F.105 LB 2001:dc8:d000:2::105 IPv6 Nước 204.VN ngoài 2001:500:14:6115:ad::1 IPv6 Bảng 1: Danh sách các cụm máy chủ DNS quốc gia. Hoạt động truy vấn tên miền qua hệ thống máy chủ DNS Quốc gia Khi người dùng sử dụng các dịch vụ dựa trên tên miền như truy cập website hay gửi email,.

việc đầu tiên các chương trình trên máy tính người dùng thực hiện là phân giải tên miền ra địa chỉ IP để thực hiện các kết nối hay còn gọi là truy vấn tên miền. Thông thường, việc truy vấn tên miền sẽ được thực hiện thông qua hệ thống máy chủ DNS của các nhà cung cấp dịch vụ Internet (ISP). Với các tên miền .VN, hệ thống máy chủ tên miền của các ISP sẽ truy vấn lên hệ thống máy chủ ROOT server hoặc hệ thống máy chủ tên miền đệm (Caching DNS) của VNNIC và từ đó truy vấn hệ thống máy chủ tên miền quốc gia để tìm kiếm thông tin và trả lời truy vấn. Hình 1: Hoạt động truy vấn tên miền qua hệ thống máy chủ DNS Quốc gia (nguồn VNNIC) Quá trình truy vấn tên miền khi người dùng Internet Việt Nam thực hiện truy vấn tên miền .vn sẽ diễn ra như sau (ví dụ với tên miền home.

Chương trình trên máy người sử dụng (trình duyệt) sẽ truy vấn hệ thống máy chủ tên miền của ISP mà người dùng kết nối. Hệ thống máy chủ tên miền của ISP sẽ tiếp nhận và gửi truy vấn này lên hệ thống máy chủ ROOT để tìm kiếm máy chủ quản lý tên miền home. Hệ thống máy chủ ROOT Server nhận được truy vấn và tiến hành tìm kiếm trong cơ sở dữ liệu tên miền để trả lời. Căn cứ theo dữ liệu đã có, máy chủ ROOT Server sẽ trả lời cho máy chủ của ISP các thông tin (địa chỉ IP, tên máy chủ) của máy chủ thuộc hệ thống máy chủ tên miền quốc gia.

Hệ thống máy chủ ISP sẽ truy vấn máy chủ quản lý các tên miền quốc gia để tìm kiếm thông tin về tên miền home. Hệ thống máy chủ tên miền quốc gia sẽ tiến hành tìm kiếm dữ liệu và cung cấp thông tin cho máy chủ ISP về máy chủ quản lý tên miền vnn. Ở đây là máy chủ của VDC. Hệ thống máy chủ của ISP sẽ truy vấn máy chủ của VDC để tìm kiếm địa chỉ trang web home.

Máy chủ của VDC quản lý không gian tên miền vnn.vn nên nó có thông tin về địa chỉ của tên miền home.vn và tiến hành cung cấp địa chỉ IP này cho hệ thống DNS của ISP. Hệ thống DNS của ISP trả lời người sử dụng địa chỉ IP của máy chủ có trang web home. Người sử dụng dùng địa chỉ này để truy cập vào trang web home. Hình 2: Các bước trong quá trình truy vấn tên miền “.

Dữ liệu log truy vấn DNS trên hệ thống DNS Quốc gia a. Khuôn dạng và thông tin dữ liệu log Hệ thống máy chủ DNS Quốc gia được cấu hình để lưu lại toàn bộ thông tin về truy vấn tên miền vào log file dưới định dạng là một file text với mỗi truy vấn là một dòng trong log file, có cấu trúc như sau: QUERYTIME (dd-MMM-yyyy HH:mm:ss.SSS) queries: info: client CLIENTIP#CLIENTPORT (DOMAIN): query : DOMAIN CLASS RECORDTYPE QUERYTYPE (SERVERIP). Ví dụ về một bản ghi log truy vấn DNS: 25-Mar-2018 15:05:04.815 queries: info: client 87.vn): query: vdc-hn01.vn IN A -EDC (204.88) Như vậy với mỗi truy vấn tên miền, dữ liệu log truy vấn sẽ lưu trữ các thông tin như sau:  Thời gian truy vấn: có độ chính xác đến mức milli giây, dưới dạng dd- MMM-yyyy HH:mm:ss.  Địa chỉ IP của khách hàng: có thể ở dạng địa chỉ IPv4 hoặc IPv6.

 Port truy vấn của khách hàng: là dạng số nguyên.  Tên miền được truy vấn: có thể là tên miền .vn hoặc tên miền GTLD.  Loại bản ghi DNS được truy vấn: có thể là NS, A, AAAA, CNAME, MX,. (tham khảo https://en.org/wiki/List_of_DNS_record_types)  Các thông tin về loại truy vấn: o “-“: không đệ quy o “+”: đệ quy o S: truy vấn đã được ký (signed) o E: truy vấn sử dụng giao thức DNS mở rộng (EDNS) o T: truy vấn sử dụng giao thức TCP (mặc định là UDP).

o D: truy vấn DNSSEC. o CD: truy vấn không kiểm tra DNSSEC (Checking Disabled)  Địa chỉ IP của máy chủ DNS: có thể ở dạng địa chỉ IPv4 hoặc IPv6. Kích thước dữ liệu log: Theo thống kê, trung bình mỗi giây hệ thống DNS Quốc gia tiếp nhận và xử lý khoảng 3.500 lượt truy vấn, trong đó trung bình tại thời điểm cao điểm hệ thống tiếp 11 nhận hơn 5.000 lượt truy vấn, thậm chí có những thời điểm lưu lượng truy vấn vượt con số 10. Cũng theo dữ liệu thống kê, số lượng truy vấn tiếp nhận hàng ngày trên hệ thống DNS Quốc gia khoảng 300.000 lượt truy vấn với kích thước dữ liệu log khoảng 60GB.

Với yêu cầu lưu trữ dữ liệu tối thiểu trong vòng 01 năm, dung lượng lưu log truy vấn hệ thống DNS Quốc gia là hơn 20 TB. Hiện trạng hệ thống phân tích, giám sát và thống kê log truy vấn DNS Hiện tại dữ liệu log truy vấn DNS đã được thu thập, phân tích để đưa ra màn hình giám sát cũng như vào hệ thống thống kê lưu lượng truy vấn DNS trên hệ thống DNS quốc gia. Hệ thống hiện tại có mô hình, nguyên tắc hoạt động và các chức năng như sau: 1. Mô hình tổng quan và các chức năng của hệ thống 1.

Mô hình tổng quan của hệ thống Hệ thống phân tích, giám sát và thống kê dữ liệu log truy vấn DNS hiện tại có mô hình như sau: VNNIC-USER Syslog HCM WEBMonHCM WEBMonHN Syslog HN WebThke DNSStatistic DNSStatistic HCM HN Crytal Report Server Collect App Collect App THKEDB HN Site HCM Site HN Hình 3: Mô hình logic hệ thống giám sát, thống kê Log truy vấn DNS hiện tại Các thành phần của hệ thống: 12 - Hệ thống thu thập log truy vấn DNS: được triển khai tại từng điểm để thu thập toàn bộ log truy vấn trên các máy chủ DNS thuộc điểm đó. Việc triển khai hệ thống log truy vấn trên điểm nhằm giảm băng thông truyền tải và đảm bảo tiêu chí giám sát theo thời gian thực. Hệ thống thu thập log truy vấn DNS sử dụng công cụ open-source là syslog-ng. Dữ liệu log trên máy chủ syslog-ng sẽ lưu log dưới dạng pipe file.

Pipe file là một dạng file đặc biệt, cấu hình cho phép một tiến trình ghi vào file và một tiến trình đọc file theo nguyên tắc vào trước ra trước (FIFO), dữ liệu sau khi được đọc sẽ bị xóa ra khỏi pipe. - Hệ thống phân tích, giám sát log truy vấn DNS: có chức năng đọc log truy vấn trên hệ thống syslog-ng, tiến hành phân tích các thông tin của từng bản ghi log (log-record), xử lý các thông tin phân tích được để phục vụ cho việc giám sát, cảnh báo và lưu trữ dữ liệu thống kê tạm thời. Các hệ thống này được triển khai trên từng điểm theo syslog đầu vào. Tuy nhiên hệ thống giám sát trên từng điểm có mở dịch vụ để các hệ thống tương ứng trên các site còn lại kết nối lấy dữ liệu giám sát, phục vụ cho việc giám sát tập trung và giám sát chéo lẫn nhau.

- Hệ thống thống kê tập trung: o Các chương trình tự động lấy dữ liệu thống kê (Collect App) từ dữ liệu lưu tạm thời (DNSStatistic và DNSWarning) trên các sites (Hà Nội, TP. Hồ Chí Minh) theo các tiêu chí phục vụ nhu cầu quản lý. Sau đó lưu trữ vào CSDL thống kê tập trung. o Crystal Report Server: Hệ thống tạo các báo cáo tự động theo định kỳ (ngày, tuần, tháng, năm) với các báo cáo đã được thiết kế sẵn.

o Website thống kê: Hiển thị số liệu thống kê và các báo cáo thống kê đã được tạo tự động. Chức năng hệ thống Hệ thống được thiết kế và xây dựng để đưa ra các chức năng giám sát bao gồm bảng số liệu xếp hạng truy vấn và vẽ biểu đồ lưu lượng truy vấn trên các máy chủ DNS theo 3 dạng giao diện giám sát như sau: a. Giao diện giám sát chung (DashBoard): - Hiển thị biểu đồ lưu lượng truy vấn của tất cả các máy chủ, cụm máy chủ DNS trên cả site Hà Nội và TP. Hồ Chí Minh.

13 - Mỗi biểu đồ cung cấp dữ liệu truy vấn DNS của tên miền .VN và tên miền .Other trong vòng 24 tiếng gần nhất kể từ thời điểm hiện tại (thời điểm hiện tại nằm bên phải cùng của biểu đồ). - Giao diện cung cấp số liệu tổng số truy vấn hiện tại trên cả site và trên từng máy chủ trong biểu đồ. - Trên mỗi biểu đồ đều cung cấp đường link để vào giao diện xem chi tiết lưu lượng truy vấn trên máy chủ hoặc cụm máy chủ DNS. - Dữ liệu của biểu đồ được tự động cập nhật 5 phút một lần.

Hình 4: Giao diện giám sát chung dữ liệu truy vấn DNS b. Giao diện giám sát chi tiết cụm máy chủ: Giao diện này dùng để giám sát chi tiết lưu lượng log truy vấn vào một cụm máy chủ DNS Quốc gia.