Giải pháp backup dữ liệu sử dụng cơ chế phân cụm động trong mạng ngang hàng

Luận văn thạc sĩ VNU UET trình bày giải pháp backup dữ liệu qua cơ chế phân cụm động trong mạng ngang hàng, phục vụ hệ thống thông tin.

• Tác giả: Nguyễn Hữu Loan
• Người hướng dẫn: TS. Nguyễn Hoài Sơn
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Giải pháp backup dữ liệu trong mạng ngang hàng sử dụng cơ chế phân cụm động
• Loại tài liệu: luận văn thạc sỹ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KIẾN TRÚC HỆ THỐNG MẠNG NGANG HÀNG
• 1.1. Hệ thống P2P tập trung
• 1.2. Hệ thống P2P phân tán
• 1.3. Hệ thống P2P hỗn hợp
• 2. CHƯƠNG 2: CÁC PHƯƠNG PHÁP BACKUP DỮ LIỆU TRÊN MẠNG NGANG HÀNG CÓ CẤU TRÚC
• 2.1. Cơ chế backup theo successor list
• 2.2. Phân cụm tĩnh trong mạng Chord
• 2.2.1. Phương pháp tách cụm tĩnh
• 2.2.2. Phương pháp backup file
• 3. CHƯƠNG 3: PHƯƠNG PHÁP PHÂN CỤM ĐỘNG VÀ CƠ CHẾ BACKUP
• 3.1. Nguyên tắc chung
• 3.2. Phương pháp tách nhập cụm
• 3.3. Phân mảnh khi đưa một file mới vào mạng
• 3.4. Backup khi các node rời mạng
• 3.4.1. Backup khi các mảnh dữ liệu nằm trong cụm
• 3.4.2. Backup khi các mảnh dữ liệu nằm ngoài cụm
• 4. CHƯƠNG 4: ĐÁNH GIÁ HIỆU QUẢ PHƯƠNG PHÁP TÁCH NHẬP CỤM SỬ DỤNG CƠ CHẾ PHÂN CỤM ĐỘNG
• 4.1. Chương trình mô phỏng
• 4.2. Đánh giá và so sánh một số thông số của phương pháp tách nhập cụm theo cơ chế phân cụm động so với phân cụm tĩnh
• 4.2.1. Tỷ lệ khôi phục file ban đầu thành công (khi cố định thời gian sống 1 node và tăng số file)
• 4.2.2. Tỷ lệ khôi phục file ban đầu thành công (cố định số lượng file và thay đổi thời gian sống)
• 4.2.3. Chi phí cho việc duy trì các mảnh là bao nhiêu
• 4.2.4. So sánh file ban đầu thành công khi thay đổi số lượng node trong cụm
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Tóm tắt

I. Tổng quan về giải pháp backup dữ liệu trong mạng ngang hàng

Giải pháp backup dữ liệu trong mạng ngang hàng sử dụng cơ chế phân cụm động đang trở thành một chủ đề nóng trong lĩnh vực công nghệ thông tin. Mạng ngang hàng (P2P) cho phép các node kết nối và chia sẻ dữ liệu mà không cần đến máy chủ trung tâm. Tuy nhiên, việc đảm bảo an toàn và khôi phục dữ liệu trong môi trường này vẫn là một thách thức lớn. Bài viết này sẽ phân tích các vấn đề và giải pháp liên quan đến backup dữ liệu trong mạng ngang hàng.

1.1. Khái niệm về mạng ngang hàng và backup dữ liệu

Mạng ngang hàng (P2P) là một mô hình mạng trong đó các node có thể hoạt động như máy khách và máy chủ. Backup dữ liệu trong mạng này yêu cầu các phương pháp hiệu quả để đảm bảo dữ liệu được lưu trữ an toàn và có thể khôi phục khi cần thiết.

1.2. Tại sao cần giải pháp backup dữ liệu trong mạng P2P

Việc khôi phục dữ liệu trong mạng P2P là rất quan trọng do tính không ổn định của các node. Khi một node rời mạng, dữ liệu có thể bị mất. Giải pháp backup dữ liệu giúp đảm bảo rằng thông tin quan trọng không bị thất thoát.

II. Vấn đề và thách thức trong backup dữ liệu mạng ngang hàng

Mặc dù mạng ngang hàng mang lại nhiều lợi ích, nhưng việc backup dữ liệu trong môi trường này cũng gặp phải nhiều thách thức. Các vấn đề như tính không ổn định của node, khả năng khôi phục dữ liệu và bảo mật thông tin là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Tính không ổn định của các node trong mạng P2P

Các node trong mạng P2P có thể gia nhập hoặc rời khỏi mạng bất cứ lúc nào. Điều này gây khó khăn cho việc duy trì dữ liệu và đảm bảo rằng các bản sao backup luôn được cập nhật.

2.2. Khả năng khôi phục dữ liệu khi node rời mạng

Khi một node rời mạng, dữ liệu lưu trữ trên node đó có thể bị mất. Việc khôi phục dữ liệu từ các node khác là một thách thức lớn, đặc biệt là khi không có cơ chế backup hiệu quả.

III. Phương pháp phân cụm động trong backup dữ liệu

Phân cụm động là một phương pháp hiệu quả để quản lý dữ liệu trong mạng ngang hàng. Bằng cách tổ chức các node thành các cụm, việc backup và khôi phục dữ liệu trở nên dễ dàng hơn. Phương pháp này giúp tối ưu hóa hiệu suất mạng và đảm bảo an toàn cho dữ liệu.

3.1. Nguyên tắc hoạt động của phân cụm động

Phân cụm động cho phép các node tự động tổ chức lại thành các cụm dựa trên các tiêu chí như dung lượng lưu trữ và băng thông. Điều này giúp cải thiện khả năng khôi phục dữ liệu khi có sự cố xảy ra.

3.2. Lợi ích của việc sử dụng phân cụm động

Việc sử dụng phân cụm động giúp giảm thiểu chi phí duy trì dữ liệu và tăng cường khả năng khôi phục. Các node trong cùng một cụm có thể chia sẻ dữ liệu và hỗ trợ lẫn nhau trong việc backup.

IV. Ứng dụng thực tiễn của giải pháp backup dữ liệu trong mạng P2P

Giải pháp backup dữ liệu sử dụng cơ chế phân cụm động đã được áp dụng thành công trong nhiều ứng dụng thực tiễn. Các hệ thống chia sẻ file, video và dữ liệu lớn đều có thể hưởng lợi từ phương pháp này, giúp cải thiện hiệu suất và độ tin cậy.

4.1. Các ứng dụng chia sẻ file sử dụng mạng P2P

Nhiều ứng dụng chia sẻ file như Bittorrent và eDonkey đã áp dụng giải pháp backup dữ liệu trong mạng P2P. Điều này giúp người dùng dễ dàng truy cập và khôi phục dữ liệu khi cần.

4.2. Kết quả nghiên cứu về hiệu quả của phương pháp backup

Nghiên cứu cho thấy rằng việc sử dụng phân cụm động trong backup dữ liệu giúp cải thiện tỷ lệ khôi phục thành công và giảm thiểu chi phí duy trì dữ liệu trong mạng P2P.

V. Kết luận và hướng phát triển tương lai của giải pháp backup dữ liệu

Giải pháp backup dữ liệu trong mạng ngang hàng sử dụng cơ chế phân cụm động không chỉ giúp cải thiện hiệu suất mà còn đảm bảo an toàn cho dữ liệu. Tương lai của giải pháp này hứa hẹn sẽ mang lại nhiều cải tiến và ứng dụng mới trong lĩnh vực công nghệ thông tin.

5.1. Tương lai của công nghệ backup dữ liệu trong mạng P2P

Công nghệ backup dữ liệu trong mạng P2P sẽ tiếp tục phát triển với sự xuất hiện của các phương pháp mới và cải tiến. Điều này sẽ giúp nâng cao hiệu quả và độ tin cậy của các hệ thống chia sẻ dữ liệu.

5.2. Các nghiên cứu tiếp theo cần thực hiện

Cần thực hiện thêm nhiều nghiên cứu để tối ưu hóa các phương pháp backup dữ liệu trong mạng P2P, nhằm giải quyết các vấn đề còn tồn tại và nâng cao hiệu suất của hệ thống.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ dữ liệu số toàn cầu, các hệ thống mạng ngang hàng (P2P) từng chiếm tới hơn 40% tổng lưu lượng băng thông Internet, đóng vai trò nền tảng cho việc chia sẻ và lưu trữ tệp phân tán mà không cần phụ thuộc vào máy chủ trung tâm đắt đỏ. Tuy nhiên, các kiến trúc mạng P2P có cấu trúc kinh điển như giao thức Chord phải đối mặt với thách thức nghiêm trọng về hiện tượng biến động nút mạng (churn rate), khi các máy trạm liên tục gia nhập và rời mạng ngẫu nhiên. Thực trạng này khiến tỷ lệ thất thoát dữ liệu tăng cao, làm suy giảm hiệu quả sao lưu và gây mất cân bằng tải trầm trọng giữa các nút lưu trữ.

Nhằm giải quyết triệt để bài toán trên, luận văn thạc sĩ chuyên ngành Hệ thống thông tin của tác giả Nguyễn Hữu Loan, dưới sự hướng dẫn khoa học của Tiến sĩ Nguyễn Hoài Sơn tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội (bảo vệ năm 2017), đã đề xuất công trình: "Giải pháp backup dữ liệu, sử dụng cơ chế phân cụm động trong mạng ngang hàng có cấu trúc". Mục tiêu trọng tâm của nghiên cứu là thiết kế cơ chế phân cụm động linh hoạt dựa trên số lượng nút thực tế, kết hợp thuật toán mã hóa xóa (Erasure Coding) để nâng cao độ sẵn sàng của dữ liệu sao lưu.

Phạm vi nghiên cứu tập trung vào mô hình mạng Chord với không gian định danh 4096 định danh (ID). Nghiên cứu mang ý nghĩa khoa học và thực tiễn sâu sắc khi cải thiện tỷ lệ khôi phục tệp thành công lên tới 99% trong điều kiện tải chuẩn, đồng thời vượt trội hơn khoảng 3% so với giải pháp phân cụm tĩnh truyền thống, mở ra hướng đi bền vững cho các hạ tầng lưu trữ phân tán thế hệ mới.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng 2 lý thuyết cốt lõi của khoa học máy tính phân tán: lý thuyết Bảng băm phân tán (Distributed Hash Table - DHT) thông qua giao thức Chord và lý thuyết Mã hóa phân tán thông tin (Information Dispersal Algorithm - IDA).

Giao thức Chord tổ chức không gian định danh m-bit thành một vòng tròn khép kín từ 0 đến 2^m - 1 (với m = 12 tương ứng 4096 nút mạng), trong đó mỗi nút chịu trách nhiệm quản lý một tập hợp khóa (key) xác định. Bảng định tuyến ngón tay (Finger Table) cho phép định tuyến tìm kiếm khóa với độ phức tạp thuật toán tối ưu là O(log2 N), với N là tổng số nút tham gia mạng.

Mô hình nghiên cứu tích hợp 4 khái niệm nền tảng chính:

• Bảng băm phân tán DHT: Cơ chế ánh xạ các cặp (khóa, giá trị) trên nhiều nút mạng vật lý độc lập.
• Mã xóa IDA: Thuật toán phân chia một tệp tin ban đầu thành n mảnh dữ liệu độc lập (ví dụ n = 6), cho phép tái tạo hoàn chỉnh tệp gốc chỉ với tối thiểu k mảnh bất kỳ (k = 3 hoặc k = 4), giúp tiết kiệm tới 50% dung lượng lưu trữ so với phương pháp nhân bản truyền thống.
• Cụm động (Dynamic Clustering): Cơ chế linh hoạt tự động chia tách không gian định danh khi số nút vượt ngưỡng 30 nút và sáp nhập 2 cụm liền kề khi tổng số nút giảm xuống dưới 20 nút.
• Nút đầu cụm (Cluster Head): Nút mạng đặc biệt chịu trách nhiệm lưu trữ danh sách các nút có dung lượng lưu trữ (capacity) lớn nhất và điều phối chu kỳ sao lưu trong phạm vi 5 cụm lân cận.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập từ hệ thống mô phỏng chuyên dụng xây dựng trên ngôn ngữ lập trình C++ (Visual Studio), mở rộng và tinh chỉnh từ mô hình mô phỏng mạng phân tán chuẩn của Jonathan Ledlie.

Cỡ mẫu nghiên cứu bao gồm 4096 nút mạng hoạt động đồng thời trên không gian vòng tròn DHT. Phương pháp chọn mẫu áp dụng kỹ thuật phát sinh sự kiện ngẫu nhiên (Poisson process) để mô phỏng chính xác chu kỳ sống (birth/death churn) của các nút với 5 mốc thời gian sống trung bình: 15 phút, 30 phút, 1 giờ, 2 giờ và 3 giờ. Dung lượng lưu trữ của mỗi nút được phân bổ ngẫu nhiên trong dải từ 5 đến 235 đơn vị dung lượng, đạt mức trung bình 120 đơn vị dung lượng cho mỗi nút. Mức độ phân bổ tệp tin được kiểm thử qua 5 mức tỷ trọng dữ liệu gồm 5%, 10%, 15%, 20% và 30% trên toàn mạng.

Lý do lựa chọn phương pháp mô phỏng thực nghiệm lặp vòng có kiểm soát là nhằm đo lường chính xác các chỉ số định lượng về tỷ lệ truy vấn thành công và chi phí bảo trì trong các kịch bản mạng quy mô lớn, điều vốn bất khả thi nếu triển khai trực tiếp trên hạ tầng vật lý do rào cản về chi phí và tính bất định của đường truyền Internet. Timeline nghiên cứu được thực hiện đồng bộ trong chu kỳ 12 tháng hoàn thiện luận văn vào năm 2017 tại Hà Nội.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm chuyên sâu trên môi trường mô phỏng 4096 nút mạng đã mang lại 4 phát hiện quan trọng:

Thứ nhất, cơ chế phân cụm động đạt tỷ lệ khôi phục tệp thành công vượt trội ở mọi mức tải dữ liệu. Cụ thể, khi dữ liệu đưa vào hệ thống ở mức 5%, tỷ lệ phục hồi tệp đạt tới 99%. Khi tăng tải lên mức tối đa 30%, tỷ lệ này vẫn duy trì ở mức 76%, cao hơn trung bình 3% so với cơ chế phân cụm tĩnh (chỉ đạt khoảng 73%).

Thứ hai, thời gian sống của nút mạng tỷ lệ thuận trực tiếp với độ an toàn dữ liệu. Khi thời gian sống trung bình của một nút tăng từ 15 phút lên 30 phút, tỷ lệ truy vấn thành công tăng vọt từ 68% lên hơn 88%. Đặc biệt, khi thời gian sống đạt ngưỡng từ 2 giờ đến 3 giờ, tỷ lệ khôi phục dữ liệu thành công đạt mức hoàn hảo 100% ở cả hai phương pháp.

Thứ ba, chi phí duy trì các mảnh dữ liệu của phân cụm động cao hơn phân cụm tĩnh khoảng 10% đến 15%. Nguyên nhân do quá trình tách cụm động khiến các mảnh dữ liệu bị phân tán qua các cụm liền kề, đòi hỏi phát sinh thêm thông điệp đồng bộ liên cụm.

Thứ tư, thuật toán phân chia ngưỡng 30 nút tách cụm và 20 nút nhập cụm giúp tối ưu hóa tải trọng lưu trữ trên danh sách các máy chủ có dung lượng lớn (trung bình 120 đơn vị), loại bỏ hoàn toàn hiện tượng nút cổ chai tại các nút đơn lẻ.

Thảo luận kết quả

Sở dĩ phương pháp phân cụm động đạt hiệu năng vượt trội là nhờ cơ chế cập nhật thông tin cục bộ cực nhanh. Thay vì phải quét toàn bộ vòng tròn 4096 định danh như giao thức Chord nguyên thủy (danh sách kế nhiệm successor list), nút đầu cụm trong phân cụm động chỉ quản lý một vùng định danh thu hẹp và liên tục cập nhật danh sách các nút có dung lượng lớn nhất. Ngay khi số mảnh dữ liệu của một tệp giảm xuống dưới ngưỡng an toàn (nhỏ hơn hoặc bằng 4 mảnh), nút quản lý khóa sẽ lập tức kích hoạt quy trình tái tạo mảnh bị mất trên các nút tốt nhất trong cụm.

So với các nghiên cứu phân cụm tĩnh cố định 20 cụm trước đây, phân cụm động giải quyết triệt để bài toán biến động số lượng nút. Khi số nút giảm mạnh, việc sáp nhập cụm giúp gom đủ tài nguyên để duy trì tối thiểu k = 3 mảnh phục hồi.

Để trực quan hóa các kết luận trên, dữ liệu nghiên cứu được biểu diễn thông qua:

• Biểu đồ đường (Line Chart): Thể hiện đường cong tăng trưởng của tỷ lệ khôi phục tệp từ 68% lên 100% tương ứng với thời gian sống của nút từ 15 phút đến 180 phút.
• Biểu đồ cột đôi (Clustered Column Chart): So sánh đối sánh trực tiếp chi phí duy trì tài nguyên giữa phân cụm tĩnh và phân cụm động qua 4 mức tải (5%, 10%, 15%, 20%).
• Bảng tổng hợp số liệu: Chi tiết hóa sự suy giảm tỷ lệ truy vấn thành công từ 99% xuống 76% khi số lượng dữ liệu tăng dần từ 5 đơn vị lên 30 đơn vị trên mỗi nút mạng.

Đề xuất và khuyến nghị

Dựa trên các kết quả thực nghiệm chuẩn xác, luận văn đưa ra 4 khuyến nghị then chốt nhằm ứng dụng và tối ưu hóa giải pháp sao lưu phân cụm động:

1. Triển khai chuẩn hóa thuật toán tách nhập cụm tự động: Đội ngũ kỹ sư kiến trúc hệ thống phân tán cần áp dụng bộ thông số ngưỡng phân tách ở mức 30 nút và sáp nhập ở mức 20 nút cho các mạng P2P quy mô lớn. Mục tiêu là duy trì tỷ lệ khôi phục dữ liệu luôn đạt trên 98%, với lộ trình cấu hình thử nghiệm hoàn tất trong vòng 3 tháng đầu tiên.

2. Tối ưu hóa giao thức đồng bộ hóa liên cụm: Nhóm chuyên gia phát triển mạng cần tinh chỉnh chu kỳ kiểm tra định kỳ T1 cho 2 cụm liền kề gần và chu kỳ T2 cho 2 cụm liền kề xa. Giải pháp này giúp cắt giảm 15% chi phí truyền tải thông điệp duy trì mảnh ngoài cụm, đặt mục tiêu hoàn thiện trong khung thời gian 6 tháng.

3. Tích hợp cơ chế mã hóa xóa thích ứng (Adaptive IDA): Các kỹ sư phần mềm hệ thống cần xây dựng module tự động điều chỉnh số lượng phân mảnh từ n = 6 lên n = 12 dựa trên chỉ số dung lượng lưu trữ khả dụng (dao động từ 5 đến 235 đơn vị) của các nút trong cụm. Lộ trình triển khai dự kiến kéo dài 9 tháng nhằm nâng cao khả năng chịu lỗi trong môi trường mạng thiếu ổn định.

4. Xây dựng phân hệ giám sát và dự báo nút rời mạng: Bộ phận an ninh và vận hành hạ tầng mạng cần ứng dụng các thuật toán học máy thống kê để dự báo xác suất nút rời mạng đột ngột với độ chính xác trên 85%, từ đó chủ động di dời các mảnh dữ liệu trọng yếu trước khi nút sập nguồn, hoàn thành trong vòng 12 tháng.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng thực tiễn cao, đặc biệt phù hợp với 4 nhóm đối tượng sau:

1. Kỹ sư kiến trúc hệ thống lưu trữ phân tán và điện toán đám mây: Nắm bắt phương pháp kết hợp bảng băm DHT với cơ chế phân cụm động để xây dựng các giải pháp lưu trữ dữ liệu phi tập trung (Decentralized Storage), tăng độ bền vững dữ liệu lên trên 99% mà không cần đầu tư máy chủ chuyên dụng tốn kém.

2. Nhà nghiên cứu và học viên cao học ngành Công nghệ thông tin: Tiếp cận phương pháp luận nghiên cứu mô phỏng khoa học, cách thiết lập kịch bản churn rate trên 4096 nút mạng và kỹ thuật mở rộng thuật toán Chord kinh điển để phục vụ các đề tài nghiên cứu chuyên sâu về hệ phân tán.

3. Chuyên gia an toàn thông tin và quản trị mạng doanh nghiệp: Ứng dụng mô hình mã hóa xóa IDA phân mảnh (6 mảnh, khôi phục từ 3 mảnh) vào chiến lược sao lưu dữ liệu dự phòng thảm họa (Disaster Recovery), đảm bảo tính toàn vẹn dữ liệu ngay cả khi 50% hạ tầng mạng cục bộ gặp sự cố.

4. Sinh viên chuyên ngành Hệ thống thông tin và Mạng máy tính: Sử dụng luận văn làm tài liệu tham khảo chuẩn mực về cấu trúc bảng băm phân tán DHT, bảng định tuyến Finger Table độ phức tạp O(log2 N) và kỹ thuật lập trình mô phỏng thuật toán trên nền tảng C++.

Câu hỏi thường gặp

1. Cơ chế phân cụm động trong mạng Chord giải quyết vấn đề cốt lõi nào? Cơ chế phân cụm động khắc phục tình trạng mất dữ liệu do các nút mạng liên tục gia nhập và rời mạng (churn rate). Bằng cách cố định số lượng từ 20 đến 30 nút trong mỗi cụm, hệ thống đẩy nhanh tốc độ cập nhật thông tin và tái tạo mảnh dữ liệu bị mất cục bộ, giúp nâng tỷ lệ khôi phục tệp thành công lên tới 99%.

2. Thuật toán mã hóa xóa IDA phân mảnh và khôi phục dữ liệu như thế nào? Mỗi tệp tin khi đưa vào mạng được thuật toán IDA chia thành n = 6 mảnh dữ liệu độc lập và phân bổ vào các nút có dung lượng cao nhất (trung bình 120 đơn vị). Khi cần khôi phục, hệ thống chỉ cần thu thập đủ tối thiểu k = 3 mảnh bất kỳ để tái tạo chính xác 100% nội dung tệp ban đầu.

3. Vì sao chi phí duy trì mảnh dữ liệu của phân cụm động lại cao hơn phân cụm tĩnh? Khi các cụm liên tục chia tách theo số lượng nút, các mảnh dữ liệu của cùng một tệp có thể nằm rải rác ở các cụm lân cận. Việc nút đầu cụm phải định kỳ trao đổi thông tin với 4 cụm lân cận để quét và đồng bộ các mảnh ở xa làm phát sinh thêm chi phí thông điệp so với cụm tĩnh cố định.

4. Quy tắc đánh số và chia tách cụm được thực hiện ra sao khi số nút tăng cao? Cụm được đánh số theo cấu trúc cây nhị phân. Khi số nút trong một cụm đạt từ 30 nút trở lên, nút đầu cụm chia đôi không gian ID thành hai nửa bằng nhau; cụm nhánh trái nhận thêm chỉ số 1 và cụm nhánh phải nhận thêm chỉ số 2 ở cuối chuỗi định danh.

5. Khi một nút đầu cụm đột ngột rời mạng thì hệ thống xử lý như thế nào? Khi nút đầu cụm rời mạng, nút liền sau (successor) lập tức được chuyển giao quyền hạn để trở thành nút đầu cụm mới. Nút này kế thừa bảng định tuyến, tiếp nhận danh sách các nút có dung lượng lưu trữ tốt nhất và tiếp tục điều phối chu kỳ sao lưu mà không làm gián đoạn hệ thống.

Kết luận

• Luận văn đã hoàn thiện trọn vẹn mô hình phân cụm động trên mạng Chord DHT 4096 định danh, giải quyết xuất sắc bài toán suy giảm dữ liệu do biến động nút mạng.
• Tỷ lệ khôi phục tệp tin ban đầu thành công đạt mức từ 76% đến 99%, cải thiện vượt bậc khoảng 3% so với giải pháp phân cụm tĩnh truyền thống.
• Ứng dụng thành công thuật toán mã hóa xóa IDA chia tệp thành 6 mảnh với ngưỡng khôi phục 3 mảnh, tối ưu hóa dung lượng lưu trữ trung bình 120 đơn vị trên mỗi nút.
• Xác lập cơ chế phân tách cụm linh hoạt ở ngưỡng 30 nút và sáp nhập ở ngưỡng 20 nút, đảm bảo cân bằng tải hoàn hảo trên toàn bộ hệ thống phân tán.
• Chứng minh tính khả thi vượt trội khi thời gian sống của nút mạng đạt từ 2 giờ trở lên, đưa tỷ lệ phục hồi dữ liệu đạt mức tối đa 100%.

Đóng góp lớn nhất của công trình là cung cấp một giải pháp sao lưu dữ liệu tự thích ứng, có tính sẵn sàng cao và khả năng mở rộng quy mô vượt trội cho mạng ngang hàng có cấu trúc. Trong lộ trình 12 tháng tiếp theo, nghiên cứu cần được tiếp tục mở rộng thử nghiệm trên môi trường Internet thực tế với quy mô trên 10000 nút và tích hợp các lớp bảo mật chống tấn công giả mạo (Sybil attack). Quý độc giả, nhà nghiên cứu và các kỹ sư hệ thống hãy khai thác và ứng dụng ngay mô hình phân cụm động này để tối ưu hóa kiến trúc lưu trữ phân tán cho tổ chức của mình.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ KIẾN TRÚC HỆ THỐNG MẠNG NGANG HÀNG Trong chương này sẽ giới thiệu một số kiến trúc hệ thống mạng mang hàng, mô tả các đặc điểm chung, các thuộc tính và một số hệ thống áp dụng cho mỗi kiến trúc đưa ra. Nhìn chung, mạng ngang hàng được phân thành hai hệ thống chính là hệ thống tập trung và hệ thống phân tán, dựa trên tính sẵn sàng của một hay nhiều server. Bên cạnh đó còn có hệ thống hỗn hợp là hệ thống vừa có những đặc điểm của hệ thống tập trung và hệ thống phân tán. Hình 1-1 mô tả sơ đồ phân loại kiến trúc hệ thống P2P.

Tập trung Hỗn hợp Kiến trúc P2P Không cấu trúc Phân tán Có cấu trúc Hình 1-1 Phân loại kiến trúc P2P Các nội dung tiếp theo của chương sẽ mô tả chi tiết từng kiến trúc này.1 Hệ thống P2P tập trung Trong hệ thống P2P tập trung, có một hay nhiều server giúp cho các peer xác định vị trí tài nguyên mong muốn hoặc phối hợp các hoạt động giữa các peer với nhau. Để định vị tài nguyên, một peer gửi thông điệp tới server trung tâm để xác định địa chỉ peer mà chứa tài nguyên mong muốn. Khi xác định được peer có thông tin hay dữ liệu, nó có thể liên kết trực tiếp với các peer đó để trao đổi thông tin mà không qua server nữa [1]. Kiến trúc hệ thống tập trung này dễ bị tấn công vào liên kết đến server, mặt khác nó còn là nút thắt cổ chai đối với hệ thống có số peer lớn, tiềm ẩn việc 9 LUAN VAN CHAT LUONG download : add [e-mail] làm giảm hiệu năng một cách đột ngột, ngoài ra mô hình này hạn chế khả năng mở rộng, điển hình của mô hình này là Napster [16].

Napster: Chia sẻ nội dung số Chia sẻ file nhạc có lẽ là một trong những ứng dụng phát triển nhanh nhất Internet và Napster đóng một vai trò quan trọng trong việc thúc đẩy trao đổi file nhạc qua Internet. Trong Napster, mỗi user (peer) hoạt động như một máy tạo dữ liệu (file MP3), vì vậy hệ thống có thể tạo ra các file MP3 phân tán, các user có thể chia sẻ nội dung cho nhau trong cùng hệ thống. Để xác định vị trí các file nhạc, Napster triển khai server tập trung lưu trữ vị trí của các node mà chứa file. Ngoài ra còn cung cấp các chức năng cơ bản như là phương tiện tìm kiếm, chia sẻ file và chuyển tiếp thông điệp qua Internet.

File chia sẻ cung cấp cơ chế để chuyển tới các Peer mà không sử dụng không gian lưu trữ trong server tập trung, thông điệp được truyền qua internet đồng thời cung cấp cách tìm kiếm và liên hệ qua các ứng dụng tin nhắn nhanh với những peer đang online. Một file MP3 đưa vào hệ thống Napster chia làm 3 giai đoạn: Tham gia vào mạng Napster, tìm tài nguyên và tải file. Trước tiên thông qua các kết nối khác nhau, một user có thể gia nhập vào mạng Napster bằng cách kết nối tới server trung tâm và hoàn thành thủ tục đăng ký trên server trung tâm. Thứ hai, một peer truy vấn tới server trung tâm bằng cách gửi đi thông điệp tìm kiếm.

Sau khi nhận được thông điệp, server trung tâm tìm lại danh mục trong kho lưu trữ cục bộ và trả lại danh sách các node chứa file yêu cầu. Cuối cùng truy vấn được kết nối trực tiếp với peer yêu cầu và tải file mà không thông qua server trung tâm. Hình 1-2 dưới đây mô tả hoạt động của mạng Napster. Hình 1-2 Mô hình mạng Napster 10 LUAN VAN CHAT LUONG download : add [e-mail] Những thuộc tính và giới hạn của hệ thống P2P tập trung như sau: Khả năng phục hồi lỗi, tính riêng tư và tính bảo mật: Do dựa vào server trung tâm để lưu thông tin về user online và chia sẻ file nên hệ thống có dễ bị tấn công vào đường truyền kết nối đến server.

Ngoài ra, một peer truy vấn có thể chứa địa chỉ IP của các Peer khác từ server trung tâm, điều này có thể phá hủy tính ẩn danh và riêng tư của các peer. Việc biết được địa chỉ IP, các user chứa mã độc có thể tấn công trực tiếp tới các peer hoặc lấy cắp những thông tin có giá trị từ các peer này. Vì thế, tiềm ẩn những mối nguy hiểm trong mạng và không đảm bảo tính bảo mật. Tính mở rộng: Trong mạng Napster, tất các peer phải kết nối tới server trung tâm và tất cả các truy vấn phải được xử lý ở server trung tâm trước tiên.

Trường hợp server bị giới hạn về khả năng xử lý, trong khi số lượng kết nối và truy vấn tại một thời điểm vượt quá khả năng server làm thời gian trả lời kéo dài hoặc bị các cuộc tấn công từ chối dịch vụ (DoS). Vì vậy khả năng mở rộng và tính mạnh mẽ bị giới hạn. Tính sẵn sàng: Tính sẵn sàng là mức độ hoặc khả năng truy vấn của một peer có thể tìm thấy dữ liệu mong muốn từ các peer khác. Sau khi một peer tải file MP3 từ các peer khác, nó sẽ duy trì một bản sao của những file này trong vùng lưu trữ cục bộ và có thể được sử dụng cho các peer khác truy vấn đến, do đó trao đổi file nhạc trong các peer được cải thiện được tính sẵn sàng.

Tính phân tán: Mức độ phân tán thấp, do một server trung tâm được triển khai để quản lý hoạt động của cả hệ thống, bù lại việc xử lý tìm kiếm khá hiệu quả. Chi phí sở hữu: Một tính năng thú vị trong hệ thống P2P tập trung là chi phí sở hữu thấp, bao gồm chi phí duy trì liên kết đến các tài nguyên khác nhau trong mạng P2P. Trong trường hợp kiến trúc client-server, một server mạnh được sử dụng để lưu trữ, chia sẻ tài nguyên cho các client tải dữ liệu và cung cấp cho các dịch vụ khác của client, do đó phải tốn chi phí cao để duy trì các server có cấu hình mạnh. Năng suất và hiệu quả: Thành công của Napster chứng minh rằng với việc kiểm soát tập trung sẽ thúc đẩy quá trình định vị tài nguyên với chi phí rẻ và hiệu quả.

Mặc dù hệ thống P2P tập trung cho thấy những điểm mạnh như đảm bảo quá trình định định vị tài nguyên cho việc tìm kiếm. Dễ dàng duy trì, tổ chức và quản lý toàn bộ hệ thống thông qua server trung tâm, tuy nhiên hệ thống này cũng cho thấy một số nhược điểm sau:  Server trung tâm có thể trở thành nút cổ chai cho việc mở rộng hệ thống  Server trung tâm gặp lỗi sẽ làm ảnh hưởng tới toàn bộ hệ thống. 11 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Hệ thống P2P phân tán Trong hệ thống phân tán các peer có quyền và trách nhiệm như nhau. Mỗi peer chỉ có thông tin một phần trong mạng và yêu cầu dữ liệu hay dịch vụ thông qua một số peer khác[2].

Như vậy việc xác định các peer yêu cầu dữ liệu hay dịch vụ nhanh là một vấn đề và thách thức đối với hệ thống này. Hệ thống P2P phân tán được chia thành hai hệ thống là hệ thống P2P phân tán không cấu trúc và hệ thống P2P phân tán có cấu trúc, khác nhau giữa hai hệ thống này là phương pháp các truy vấn chuyển đến các node. Hệ thống P2P không cấu trúc Trong hệ thống này, mỗi peer chịu trách nhiệm đối với dữ liệu riêng và duy trì thiết lập với node lân cận để liên kết, trao đổi thông tin và chuyển các truy vấn cho nhau. Việc định vị dữ liệu trong hệ thống này gặp khó khăn như:  Khó xác định đúng peer chứa dữ liệu để để truy vấn.

 Không đảm bảo cho việc trả lời đầy đủ các truy vấn, trừ khi tìm kiếm cho toàn mạng.  Không đảm bảo về thời gian trả lời. Điển hình của hệ thống P2P không cấu trúc là FreeNet và Guntella, ban đầu áp dụng cơ chế tìm kiếm random walk [15] để xác định tài nguyên. Cơ chế này mặc dù không hiệu quả về thời gian trả lời, nhưng hiệu quả về tiêu thụ băng thông và số lượng thông điệp sử dụng ít.

Sau này dựa theo cơ chế định tuyến flooding, hiệu quả về thời gian đáp ứng nhưng không hiệu quả về tiêu thụ băng thông và số lượng thông điệp sử dụng. Gnutella: Hệ thống P2P thuần túy đầu tiên Gnutella là hệ thống phân tán thuần túy, không có node trung tâm chịu trách nhiệm tổ chức mạng và không phân biệt giữa client và server. Các node trong hệ thống kết nối với nhau thông qua một phần mềm ứng dụng cụ thể. Mạng Gnutella được mở rộng khi node mới tham gia vào mạng và bị thu hẹp khi các node rời mạng.

Hoạt động cơ bản của Gnutella bao gồm việc tham gia, rời mạng, tìm kiếm và tải các file. Tham gia hoặc rời mạng: Khi một node tham gia mạng Gunutella, nó sẽ gửi thông điệp “ping” tới các node mà nó biết địa chỉ (đã được cài đặt sẵn hoặc thông qua các node khác) thông điệp này sẽ chuyển tới các node khác thông qua hình thức broadcast. Khi các node nhận được thông tin “ping” sẽ phản hồi thông tin “pong”. Node tham gia có thể nhận thông tin về các node đó và thiết lập 12 LUAN VAN CHAT LUONG download : add [e-mail] thông tin các node lân cận của nó.

Khi một node rời mạng, nó không cần thông báo tới các node lân cận của nó, mà thăm dò node lân cận thông qua thông điệp “ping” theo định kỳ, để xác nhận rằng các node lân cận có hoạt động trong hệ thống hay không. Tìm kiếm và tải file: Khi một node muốn tìm một file xác định, nó hỏi các node lân cận bằng cách đưa ra thông điệp tìm kiếm, tiếp đó các node lân cận sẽ chuyển tiếp thông điệp tới các node lân cận của nó theo cách tương tự. Khi tìm được node chứa file, nó sẽ trả lại thông tin theo cách chuyển tiếp thông điệp ngược lại tới node cần tìm ban đầu. Kết quả là node gốc sau khi truy vấn sẽ có nhiều liên kết để tải file mong muốn và có thể chọn một vài node để kết nối và tải file.

Tuy nhiên, mỗi thông điệp gắn với một định danh duy nhất, khi một node nhận được thông điệp mà nó đã được nhận trước đó thì nó sẽ hủy thông điệp đó để tránh các thông điệp lặp lại. Hình 1-3 mô tả quá trình tìm kiếm và trả lời kết quả tìm kiếm trong mạng Gnutella.