Đồ án tốt nghiệp nghiên cứu giao thức s3 và xây dựng hệ thống sao lưu và phục hồi dữ liệu

Đồ án nghiên cứu tốt nghiệp nghiên cứu giao thức s3 và xây dựng hệ thống sao lưu và phục hồi dữ liệu, thiết kế chi tiết, tính toán kỹ thuật theo tiêu chuẩn, đánh giá tính

• Tác giả: Đinh Hoàng Tuấn
• Người hướng dẫn: TS. Phạm Văn Hưởng
• Trường học: Học viện Kỹ thuật Mật mã
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu giao thức S3 và xây dựng hệ thống sao lưu và phục hồi dữ liệu
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Tóm tắt

I. Giao Thức S3 và Tầm Quan Trọng trong Hệ Thống Sao Lưu Dữ Liệu

Giao thức S3 (Simple Storage Service) là một dịch vụ lưu trữ đối tượng được phát triển bởi Amazon Web Services, trở thành chuẩn công nghiệp cho các giải pháp sao lưu dữ liệu hiện đại. Hệ thống sao lưu sử dụng S3 cung cấp độ bền vững cao, khả năng mở rộng linh hoạt và bảo mật dữ liệu toàn diện. Giao thức này cho phép các tổ chức lưu trữ và quản lý dữ liệu một cách hiệu quả, tiết kiệm chi phí và đảm bảo tính sẵn sàng liên tục. Công nghệ sao lưu dựa trên S3 đã được chứng minh giúp giảm rủi ro mất dữ liệu đáng kể, hỗ trợ phục hồi dữ liệu nhanh chóng khi gặp sự cố.

1.1. Khái Niệm và Đặc Điểm của Giao Thức S3

S3 là dịch vụ lưu trữ đối tượng cung cấp giao diện web đơn giản để lưu và truy cập dữ liệu. Nó hoạt động dựa trên mô hình bucket-object, cho phép người dùng tạo các vùng lưu trữ riêng biệt. Các đặc điểm chính bao gồm độ bền 99.99%, tính khả dụng cao, khả năng mở rộng vô hạn và bảo mật cấp độ doanh nghiệp. Hệ thống S3 hỗ trợ mã hoá dữ liệu, kiểm soát truy cập chi tiết và nhật ký kiểm toán đầy đủ.

1.2. Vai Trò S3 trong Giải Pháp Sao Lưu Hiện Đại

Giao thức S3 đóng vai trò trung tâm trong các hệ thống sao lưu đương đại bằng cách cung cấp nơi lưu trữ đáng tin cậy cho dữ liệu quan trọng. Sao lưu dữ liệu trên S3 cho phép các doanh nghiệp tuân thủ các yêu cầu về bảo vệ dữ liệu, thực hiện các chính sách sao lưu linh hoạt và kích hoạt phục hồi dữ liệu tức thì khi cần thiết.

II. Các Chiến Lược Sao Lưu Dữ Liệu Hiệu Quả

Để tối ưu hóa hệ thống sao lưu, các tổ chức cần triển khai các chiến lược sao lưu dữ liệu phù hợp. Có ba loại chính bao gồm sao lưu đầy đủ, sao lưu tăng tiến và sao lưu khác biệt. Mỗi phương pháp có ưu nhược điểm riêng và cần được lựa chọn dựa trên yêu cầu cụ thể của tổ chức. Kết hợp các chiến lược này với giao thức S3 cho phép xây dựng hệ thống sao lưu mạnh mẽ, tiết kiệm tài nguyên và hỗ trợ phục hồi dữ liệu nhanh chóng. Các chiến lược này giúp giảm lượng dữ liệu cần lưu trữ, tối thiểu hóa thời gian sao lưu và tăng cường hiệu quả hoạt động.

2.1. Sao Lưu Tăng Tiến Incremental Backup

Sao lưu tăng tiến chỉ backup những thay đổi kể từ lần sao lưu cuối cùng, giúp tiết kiệm dung lượng lưu trữ và thời gian sao lưu đáng kể. Phương pháp này lý tưởng cho môi trường với khối lượng dữ liệu lớn và thay đổi thường xuyên. Kết hợp với giao thức S3, sao lưu tăng tiến cho phép phục hồi dữ liệu hiệu quả và quản lý chi phí lưu trữ tối ưu.

2.2. Sao Lưu Khác Biệt Differential Backup

Sao lưu khác biệt ghi lại tất cả những thay đổi từ lần sao lưu đầy đủ gần nhất, cung cấp điểm cân bằng tốt giữa tốc độ và dung lượng. Phương pháp này đơn giản hơn sao lưu tăng tiến nhưng đòi hỏi dung lượng lưu trữ nhiều hơn. Trong hệ thống sao lưu sử dụng S3, sao lưu khác biệt cho phép phục hồi dữ liệu nhanh với cấu hình đơn giản.

III. Mã Hoá AES 256 trong Bảo Vệ Dữ Liệu

Bảo mật là yếu tố quan trọng nhất trong bất kỳ hệ thống sao lưu dữ liệu nào. Mã hoá AES-256 là tiêu chuẩn công nghiệp được sử dụng để bảo vệ dữ liệu được sao lưu trên giao thức S3. Thuật toán này sử dụng khóa 256-bit, cung cấp mức độ bảo mật cao nhất cho dữ liệu nhạy cảm. Hệ thống sao lưu sử dụng AES-256 đảm bảo rằng ngay cả khi dữ liệu bị truy cập trái phép, nó vẫn không thể được đọc. Kết hợp với phục hồi dữ liệu an toàn, mã hoá AES-256 tạo thành lớp bảo vệ vững chắc cho các tổ chức, tuân thủ các tiêu chuẩn bảo mật quốc tế và quy định pháp luật.

3.1. Nguyên Tắc Hoạt Động của AES 256

AES-256 hoạt động thông qua các vòng mã hoá phức tạp, biến đổi dữ liệu gốc thành dạng không thể đọc được mà không có khóa chính xác. Thuật toán này được sử dụng rộng rãi trong hệ thống sao lưu để mã hoá dữ liệu trước khi tải lên giao thức S3. Điều này đảm bảo an toàn toàn bộ quá trình sao lưu và phục hồi dữ liệu.

3.2. Ứng Dụng AES 256 trong Hệ Thống Sao Lưu

Trong hệ thống sao lưu hiện đại, AES-256 được áp dụng để mã hoá dữ liệu trước khi lưu trữ trên S3, bảo vệ thông tin khỏi các mối đe dọa mạng. Phục hồi dữ liệu được thực hiện an toàn bằng cách giải mã chỉ khi được ủy quyền. Cách tiếp cận này giúp doanh nghiệp tuân thủ GDPR, HIPAA và các quy định bảo mật dữ liệu khác.

IV. Xây Dựng và Triển Khai Hệ Thống Sao Lưu Toàn Diện

Xây dựng một hệ thống sao lưu hiệu quả đòi hỏi sự kết hợp hài hòa giữa công nghệ, quy trình và quản lý. Hệ thống sao lưu dữ liệu hiện đại sử dụng giao thức S3, mã hoá AES-256 và các chiến lược sao lưu linh hoạt để tạo ra một giải pháp toàn diện. Triển khai thành công đòi hỏi phải xác định yêu cầu dữ liệu cụ thể, lựa chọn chiến lược sao lưu phù hợp và thiết lập quy trình phục hồi dữ liệu định kỳ. Công nghệ như Duplicati cung cấp công cụ mã nguồn mở cho phép các tổ chức triển khai hệ thống sao lưu linh hoạt với chi phí thấp, đảm bảo dữ liệu được bảo vệ toàn diện.

4.1. Các Bước Triển Khai Hệ Thống Sao Lưu

Triển khai hệ thống sao lưu bắt đầu từ đánh giá nhu cầu dữ liệu, lựa chọn chiến lược sao lưu phù hợp và cấu hình giao thức S3. Bước tiếp theo là thiết lập mã hoá AES-256 để bảo vệ dữ liệu, cấu hình quyền truy cập và thiết lập giám sát. Cuối cùng, tiến hành kiểm thử phục hồi dữ liệu để đảm bảo hệ thống hoạt động chính xác.

4.2. Kiểm Thử và Đánh Giá Hiệu Suất

Kiểm thử là giai đoạn quan trọng để xác định tính hiệu quả của hệ thống sao lưu. Cần kiểm thử tính năng sao lưu dữ liệu toàn bộ, phục hồi dữ liệu thực tế từ các bản sao lưu khác nhau và xác minh tính toàn vẹn dữ liệu. Đánh giá hiệu suất bao gồm kiểm tra thời gian sao lưu, dung lượng lưu trữ được sử dụng và độ tin cậy của hệ thống.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ ĐỀ TÀI VÀ CÔNG NGHỆ SỬ DỤNG ________________ 1. Khảo sát các hệ thống sao lưu dữ liệu cho người dùng Backup là một phần thiết yếu trong hoạt động của các cá nhân, tổ chức vì dữ liệu là vô giá và không ai muốn xảy ra việc mất dữ liệu do sự cố phần mềm hay hệ thống, lỗi phần cứng hay bất kỳ lý do nào khác. Tuy nhiên, nhiệm vụ backup này không hề dễ dàng do khối lượng dữ liệu và chi phí thiết bị lưu trữ đều ở mức cao, đó là lý do tại sao có nhiều chiến lược sao lưu giúp tối ưu hoá việc lưu trữ dữ liệu mà không tốn nhiều chi phí. Các chiến lược backup phổ biến có thể kể đến sao lưu đầy đủ, sao lưu tăng tiến và sao lưu khác biệt [1].

Sao lưu đầy đủ (full backup) Hình 1. Sao lưu đầy đủ (full backup) Sao lưu đầy đủ (hình 1.1) là phương thức sao lưu dữ liệu, trong đó một bản sao lưu sẽ chứa đầy đủ toàn bộ tập dữ liệu cần sao lưu của người dùng. Mặc dù sao lưu đầy đủ được cho là cung cấp việc bảo vệ sự toàn vẹn tốt nhất cho dữ liệu, nhưng hầu hết người dùng không sử dụng phương thức sao lưu dữ liệu này hàng ngày vì chúng tốn rất nhiều thời gian, đi kèm với đó là thường yêu cầu một dung lượng lưu trữ lớn, và không phải cá nhân hay tổ chức nào cũng có khả năng đáp ứng được điều kiện về cơ sở hạ tầng như vậy. 7 Học viện Kỹ thuật Mật mã Báo cáo Đồ án tốt nghiệp 1.

Sao lưu tăng tiến (incremental backup) Hình 1. Sao lưu tăng tiến (incremental backup) Sao lưu tăng tiến (incremental backup) (hình 1.2) là một phương thức sao lưu dữ liệu, có ưu điểm là tăng tốc độ sao lưu và giảm dung lượng lưu trữ cần thiết so với việc thực hiện sao lưu đầy đủ. Mỗi lần thực hiện sao lưu tăng tiến, hệ thống sẽ chỉ tạo ra bản sao lưu chứa những dữ liệu đã thay đổi so với lần sao lưu trước được thực hiện [2]. Ví dụ, giả sử người dùng đã tạo một bản sao lưu đầy đủ vào ngày đầu tiên và sử dụng sao lưu tăng tiến cho những ngày còn lại.

Bản sao lưu theo lịch trình của ngày thứ hai sẽ chỉ chứa dữ liệu đã thay đổi kể từ thứ nhất, các tệp sao lưu của ngày thứ ba sẽ chỉ chứa dữ liệu đã thay đổi kể từ ngày thứ hai… Mặc dù sao lưu tăng tiến có thể tăng tốc độ sao lưu, nhưng ở mặt ngược lại, nhược điểm chính của sao lưu tăng tiến là chúng có thể tốn thời gian để phục hồi dữ liệu. Khi cần khôi phục dữ liệu, quá trình đó sẽ cần phải có bản sao lưu đầy đủ mới nhất cộng với tất cả các bản sao lưu tăng tiến tính đến thời điểm khôi phục. Trong ví dụ trên, giả sử người dùng muốn khôi phục bản sao lưu ở ngày thứ ba. Để làm điều đó, trước tiên người dùng phải khôi phục bản sao lưu đầy đủ của ngày đầu tiên, sau đó khôi phục bản sao lưu của ngày thứ hai, tiếp theo đó là ngày thứ ba.

Ngoài ra, nếu bất kỳ bản sao lưu nào bị thiếu hoặc bị lỗi trong quá trình thực hiện sao lưu thì người dùng sẽ gặp phải tình trạng dữ liệu được khôi phục không hoàn chỉnh. 8 Học viện Kỹ thuật Mật mã Báo cáo Đồ án tốt nghiệp Một số biến thể của sao lưu tăng tiến có thể kể đến sao lưu đầy đủ tổng hợp (synthetic full backup) và sao lưu tăng tiến liên tục (incremental-forever backup). Sao lưu đầy đủ tổng hợp (synthetic full backup) Sao lưu đầy đủ tổng hợp (hình 1.3) giống như bất kỳ bản sao lưu tăng tiến nào khác, quá trình sao lưu bao gồm việc thực hiện sao lưu đầy đủ đầu tiên, sau đó là một loạt các bản sao lưu tăng tiến. Nhưng sau đó có thêm một bước nữa là máy chủ thực sự tạo ra các bản sao lưu đầy đủ tiếp theo.

Nó thực hiện điều này bằng cách kết hợp bản sao lưu đầy đủ hiện có với dữ liệu từ các bản sao lưu tăng tiến. Kết quả cuối cùng là một bản sao lưu đầy đủ tổng hợp tương tự với một bản sao lưu đầy đủ được tạo theo cách truyền thống. Ưu điểm chính của sao lưu đầy đủ tổng hợp là thời gian khôi phục dữ liệu được giảm đi đáng kể. Việc khôi phục một bản sao lưu này không yêu cầu người dùng phải khôi phục từng bản sao lưu tăng tiến, có thể nằm trên nhiều phương tiện lưu trữ khác nhau.

Sao lưu đầy đủ tổng hợp cung cấp tất cả các ưu điểm của sao lưu đầy đủ nhưng giảm thời gian sao lưu và mức sử dụng băng thông. Sao lưu tăng tiến liên tục thường được sử dụng bởi các hệ thống cần sao lưu từ ổ đĩa sang ổ đĩa (disk-to-disk). Quá trình thực hiện cơ bản của phương thức này, giống như sao lưu tăng tiến, cũng là bắt đầu bằng cách sao lưu toàn bộ tập dữ liệu. Sau thời điểm đó, chỉ sao lưu tăng tiến được thực hiện.

Điều làm cho sao lưu tăng tiến liên tục khác với sao lưu tăng tiến thông thường là tính sẵn có của dữ liệu. Nếu như việc khôi phục sao lưu tăng tiến yêu cầu phương tiện đang chứa các bản sao lưu đầy đủ và mọi bản sao lưu tăng tiến tiếp theo của bản sao lưu mà người dùng muốn khôi phục, thì đối với sao lưu tăng tiến liên tục, máy chủ thực 9 Học viện Kỹ thuật Mật mã Báo cáo Đồ án tốt nghiệp hiện sao lưu thường lưu trữ tất cả các bản sao lưu trên một danh sách các ổ đĩa mà nó quản lý, tự động hoá quá trình khôi phục để người dùng không cần phải tìm ra đâu là bản sao lưu cần thiết cho quá trình này. Một số hệ thống sao lưu có sử dụng sao lưu tăng tiến bao gồm: − Veeam Backup & Replication: đây là một giải pháp sao lưu phổ biến hỗ trợ tính năng sao lưu tăng tiến. Veeam sử dụng một kỹ thuật gọi là Changed Block Tracking (CBT) để xác định và chỉ sao lưu dữ liệu đã thay đổi kể từ lần sao lưu cuối cùng.

− Acronis True Image: hỗ trợ cả sao lưu đầy đủ, tăng tiến và khác biệt. Trong đó sao lưu tăng tiến ở đây là sao lưu tăng tiến liên tục. − Backup Exec: một hệ thống cũng sử dụng sao lưu tăng tiến liên tục. − Amazon Web Services (AWS) Backup: AWS Backup là giải pháp sao lưu trên đám mây hỗ trợ sao lưu tăng tiến.

Nó sử dụng sao lưu tăng tiến với tính năng chống trùng lặp cấp khối để xác định và chỉ sao lưu dữ liệu đã thay đổi kể từ lần sao lưu cuối cùng. Sao lưu khác biệt (differential backup) Hình 1. Sao lưu khác biệt (differential backup) Sao lưu khác biệt (differential backup) (hình 1.4) giống với sao lưu tăng tiến ở việc nó bắt đầu bằng một bản sao lưu đầy đủ và các bản sao lưu tiếp theo chỉ chứa dữ liệu đã thay đổi [3]. Sự khác biệt chủ yếu giữa sao lưu khác biệt so với 10 Học viện Kỹ thuật Mật mã Báo cáo Đồ án tốt nghiệp sao lưu tăng tiến là trong khi sao lưu tăng tiến chỉ bao gồm dữ liệu đã thay đổi kể từ lần sao lưu trước, thì sao lưu khác biệt chứa tất cả dữ liệu đã thay đổi kể từ lần sao lưu đầy đủ cuối cùng.

Giả sử rằng người dùng muốn tạo một bản sao lưu đầy đủ vào ngày thứ nhất và sử dụng sao lưu khác biệt cho những ngày còn lại. Bản sao lưu của ngày thứ hai sẽ chứa tất cả dữ liệu đã thay đổi kể từ ngày thứ nhất, lúc này nó sẽ giống với một bản sao lưu tăng tiến. Tuy nhiên, vào ngày thứ ba, bản sao lưu khác biệt cũng sẽ sao lưu lại mọi dữ liệu đã thay đổi kể từ ngày đầu tiên, bao gồm cả những thay đổi trong ngày thứ hai. Ưu điểm mà sao lưu khác biệt mang lại so với sao lưu tăng tiến là thời gian khôi phục dữ liệu sẽ ngắn hơn.

Khôi phục bản sao lưu khác biệt không bao giờ yêu cầu nhiều hơn hai bản sao lưu, một bản sao lưu đầy đủ và một bản sao lưu khác biệt tại thời điểm đó, trong khi sao lưu tăng tiến có thể yêu cầu một số lượng lớn các bản sao lưu. Tuy nhiên, sao lưu khác biệt yêu cầu một dung lượng lưu trữ lớn hơn. Một số hệ thống sao lưu có sử dụng sao lưu khác biệt bao gồm: − Veritas Backup Exec − NovaBACKUP − Acronis True Image − Microsoft Azure Backup − Commvault Hầu hết các hệ thống trên đều hỗ trợ cả sao lưu tăng tiến và khác biệt. Phát biểu bài toán Với sự phát triển mạnh mẽ của công nghệ thông tin, các dịch vụ lưu trữ đám mây ngày càng trở nên phổ biến.

Trong số đó, giao thức lưu trữ S3 của Amazon là một trong những giao thức được sử dụng nhiều nhất. Tuy nhiên, việc sao lưu và phục hồi dữ liệu trên hệ thống lưu trữ đám mây vẫn còn gặp nhiều thách thức, nhất là với những dữ liệu quan trọng và nhạy cảm. Vì vậy, đề tài nghiên cứu giao thức S3 và xây dựng hệ thống sao lưu và phục hồi dữ liệu sẽ giúp cho các tổ chức, doanh nghiệp và cá nhân có thể lưu trữ dữ 11 Học viện Kỹ thuật Mật mã Báo cáo Đồ án tốt nghiệp liệu một cách an toàn, đồng thời đảm bảo khả năng phục hồi dữ liệu nhanh chóng và hiệu quả khi có sự cố xảy ra. Mục tiêu của đề tài là nghiên cứu và phân tích các yêu cầu và tiêu chuẩn của hệ thống sao lưu và phục hồi dữ liệu, xác định các giải pháp sao lưu và phục hồi dữ liệu trên giao thức S3 và xây dựng một hệ thống tin cậy, đáp ứng được các yêu cầu về tính bảo mật và khả năng phục hồi dữ liệu.

Đối tượng nghiên cứu của đề tài: Giao thức S3 và Duplicati. Phạm vi nghiên cứu của đề tài: Nghiên cứu và phân tích kiến trúc mã nguồn, các module xử lý S3 của Duplicati. Giải pháp và công nghệ sử dụng 1. Giao thức S3 a) Giới thiệu S3 (Simple Storage Service) là một giao thức mạng được sử dụng khá phổ biến, cung cấp khả năng lưu trữ đối tượng trên cloud và truyền dữ liệu giữa cloud với máy khách.

Nó sử dụng giao diện dịch vụ web RESTful dựa trên HTTP/ HTTPS, làm cho nó có thể dễ dàng tích hợp với các ứng dụng và dịch vụ web.