Luận văn thạc sĩ phát triển tính năng loại bỏ dữ liệu trùng lặp data deduplication cho dữ liệu đính kèm trong hệ thống thư điện tử sử dụng phần mềm hmailserver

Khám phá luận văn thạc sĩ về phát triển tính năng loại bỏ dữ liệu trùng lặp cho dữ liệu đính kèm trong hệ thống thư điện tử hmailserver.

• Tác giả: Nguyễn Anh Tuấn
• Người hướng dẫn: TS. Hoàng Xuân Tùng
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phát Triển Tính Năng Loại Bỏ Dữ Liệu Trùng Lặp Cho Hệ Thống Thư Điện Tử HMailServer
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG I: TỔNG QUAN VỀ DATA DEDUPLICATION, HỆ THỐNG EMAIL VÀ MỐI LIÊN QUAN
• 1.1. Giới thiệu về Data Deduplication. Data Deduplication là gì?
• 1.2. Mục đích của Data Deduplication
• 1.3. Phân loại Data Deduplication
• 1.3.1. File-level deduplication
• 1.3.2. Block-level deduplication
• 1.3.3. Byte-level deduplication
• 1.4. So sánh các kiểu Data Deduplication
• 1.4.1. So sánh File-level với Block-level Deduplication
• 1.4.2. So sánh Block-level với Byte-level Deduplication
• 1.5. Tổng quan về hệ thống Email
• 1.5.1. Các khái niệm cơ bản về Email
• 1.5.2. Lợi ích của hệ thống Email
• 1.5.3. Kiến trúc chung một hệ thống Email
• 1.5.4. Phương thức hoạt động của một hệ thống Email
• 1.5.5. Các giao thức sử dụng trong hệ thống Email
• 1.5.5.1. Giao thức SMTP
• 1.5.5.2. Giao thức IMAP
• 1.5.5.3. Giao thức POP. So sánh giữa hai giao thức IMAP và POP
• 1.5.6. Định dạng thư điện tử (Message format)
• 1.5.7. Vấn đề Data Deduplication trong các hệ thống Email
• 1.5.8. Lợi ích của Data Deduplication trong hệ thống Email. Hệ thống email và khả năng Data Deduplication
• 2. CHƯƠNG II: PHƯƠNG THỨC THỰC HIỆN DATA DEDUPLICATION VÀ GIẢI PHÁP CHO HỆ THỐNG EMAIL
• 2.1. Phương thức thực hiện Data Deduplication
• 2.2. Source và Target Deduplication
• 2.3. Inline và Post-Process Deduplication
• 2.4. Post-process Deduplication
• 2.5. File và Sub-File Level. Fixed-Length Blocks và Variable-Length Data Segments
• 2.6. Một số các sản phẩm ứng dụng Data Deduplication
• 2.7. Giải pháp chống trùng lặp dữ liệu trong Email
• 2.8. Đề xuất lựa chọn hMailServer để thực nghiệm
• 3. CHƯƠNG III: TÍCH HỢP TÍNH NĂNG DEDUPLICATION TRONG HỆ THỐNG HMAILSERVER
• 3.1. Tổng quan về hMailServer
• 3.2. Giới thiệu về hMailServer
• 3.3. Các tính năng của hMailServer
• 3.4. Cài đặt và cấu hình đơn giản
• 3.5. Khả năng bảo mật cao
• 3.6. Khả năng tích hợp mở rộng. Các tính năng khác
• 3.7. Thư viện COM và API sử dụng trong hMailServer
• 3.8. Môi trường phát triển của hMailServer
• 3.9. Xây dựng hệ thống Email với hMailServer
• 3.9.1. Giới thiệu các thành phần cài đặt và quản trị
• 3.9.2. Cài đặt máy chủ Active Directory và dịch vụ IIS
• 3.9.3. Cài đặt máy chủ Active Directory. Cài đặt dịch vụ IIS
• 3.9.4. Cài đặt và Cấu hình hệ thống hMailServer
• 3.9.5. Cài đặt máy chủ hMailServer. Cài đặt bộ quản trị WebAdmin và WebMail
• 3.9.6. Cấu hình tên miền và tài khoản người dùng
• 3.9.7. Hoạt động gửi / nhận email trong hMailServer
• 3.9.8. Nhận xét về khả năng chống trùng lặp dữ liệu của hMailServer. Tích hợp tính năng deduplication trong hMailServer
• 3.10. Xây dựng kịch bản triển khai
• 3.10.1. Cài đặt kịch bản
• 3.10.2. Hoạt động của hMailServer trong trường hợp tích hợp Deduplication
• 3.10.3. Tính bảo mật của hệ thống
• 3.10.4. So sánh kết quả thực nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Data Deduplication và HMailServer

Data Deduplication là một kỹ thuật quan trọng trong quản lý dữ liệu, giúp giảm thiểu không gian lưu trữ bằng cách loại bỏ các bản sao dư thừa. Kỹ thuật này đặc biệt hữu ích trong các hệ thống thư điện tử như HMailServer, nơi mà lượng dữ liệu trùng lặp có thể gia tăng nhanh chóng. Việc áp dụng tính năng này không chỉ tiết kiệm dung lượng lưu trữ mà còn cải thiện hiệu suất truy xuất dữ liệu. Theo nghiên cứu, một hệ thống email có thể chứa nhiều tệp đính kèm giống nhau, dẫn đến việc lãng phí không gian lưu trữ. Bằng cách sử dụng Data Deduplication, chỉ một bản duy nhất của tệp đính kèm được lưu trữ, trong khi các bản sao khác chỉ được tham chiếu. Điều này không chỉ giúp tiết kiệm không gian mà còn giảm thiểu thời gian sao lưu và khôi phục dữ liệu.

1.1. Lợi ích của Data Deduplication trong hệ thống email

Lợi ích chính của Data Deduplication trong hệ thống email là giảm thiểu chi phí lưu trữ và tăng cường hiệu suất hệ thống. Việc loại bỏ dữ liệu trùng lặp giúp tiết kiệm không chỉ chi phí phần cứng mà còn các chi phí liên quan đến bảo trì và quản lý hệ thống. Hệ thống email có thể hoạt động hiệu quả hơn khi lượng dữ liệu cần xử lý giảm đi. Theo một nghiên cứu, việc áp dụng Data Deduplication có thể giảm thiểu 90% dung lượng lưu trữ cần thiết cho các tệp đính kèm trong email. Điều này đặc biệt quan trọng trong môi trường doanh nghiệp, nơi mà việc quản lý dữ liệu hiệu quả có thể tạo ra sự khác biệt lớn trong hoạt động hàng ngày.

II. Phương thức thực hiện Data Deduplication

Có nhiều phương thức để thực hiện Data Deduplication, bao gồm Source Deduplication và Target Deduplication. Source Deduplication thực hiện việc loại bỏ dữ liệu trùng lặp ngay tại nguồn, trước khi dữ liệu được gửi đi. Điều này giúp giảm thiểu lượng dữ liệu cần truyền tải qua mạng. Ngược lại, Target Deduplication thực hiện việc loại bỏ dữ liệu trùng lặp sau khi dữ liệu đã được gửi đến máy chủ. Phương pháp này thường được sử dụng trong các hệ thống lưu trữ lớn, nơi mà việc xử lý dữ liệu tại nguồn có thể gây ra độ trễ. Việc lựa chọn phương thức nào phụ thuộc vào yêu cầu cụ thể của hệ thống và khả năng xử lý của phần mềm như HMailServer.

2.1. Các sản phẩm ứng dụng Data Deduplication

Nhiều sản phẩm hiện nay hỗ trợ Data Deduplication, từ các phần mềm lưu trữ đến các giải pháp đám mây. Các sản phẩm này thường tích hợp các thuật toán mạnh mẽ để phát hiện và loại bỏ dữ liệu trùng lặp. Việc lựa chọn sản phẩm phù hợp với nhu cầu của tổ chức là rất quan trọng. HMailServer được đề xuất là một giải pháp hiệu quả cho việc quản lý email, với khả năng tích hợp tính năng Data Deduplication. Điều này không chỉ giúp tiết kiệm không gian lưu trữ mà còn cải thiện hiệu suất gửi và nhận email, từ đó nâng cao trải nghiệm người dùng.

III. Tích hợp tính năng Deduplication trong HMailServer

Tích hợp tính năng Deduplication trong HMailServer là một bước quan trọng để tối ưu hóa hệ thống email. Việc cài đặt và cấu hình tính năng này có thể thực hiện thông qua các kịch bản và quy trình cụ thể. HMailServer cung cấp các API và thư viện COM để hỗ trợ việc phát triển và tích hợp tính năng này. Khi tính năng Deduplication được tích hợp, hệ thống sẽ tự động nhận diện và loại bỏ các tệp đính kèm trùng lặp, giúp giảm thiểu dung lượng lưu trữ cần thiết. Điều này không chỉ giúp tiết kiệm chi phí mà còn cải thiện hiệu suất tổng thể của hệ thống email.

3.1. Nhận xét về khả năng chống trùng lặp dữ liệu của HMailServer

Khả năng chống trùng lặp dữ liệu của HMailServer được đánh giá cao nhờ vào các thuật toán mạnh mẽ và khả năng tích hợp linh hoạt. Hệ thống có thể xử lý hàng triệu email và tệp đính kèm mà không gặp phải vấn đề về hiệu suất. Việc áp dụng Data Deduplication trong HMailServer không chỉ giúp tiết kiệm không gian lưu trữ mà còn tăng tốc độ truy xuất dữ liệu. Các thử nghiệm cho thấy rằng việc tích hợp tính năng này có thể giảm thiểu đáng kể thời gian sao lưu và khôi phục dữ liệu, từ đó nâng cao hiệu quả hoạt động của toàn bộ hệ thống email.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ thông tin và sự phổ biến rộng rãi của dịch vụ thư điện tử (email), lượng dữ liệu được trao đổi và lưu trữ ngày càng tăng lên nhanh chóng. Theo ước tính, các hệ thống email hiện nay phải xử lý hàng trăm triệu email mỗi ngày, trong đó phần lớn dữ liệu là các tệp đính kèm có dung lượng lớn và thường bị trùng lặp. Vấn đề trùng lặp dữ liệu gây ra sự lãng phí lớn về không gian lưu trữ và làm giảm hiệu suất truy xuất dữ liệu trên máy chủ email. Đề tài nghiên cứu “Phát triển tính năng loại bỏ dữ liệu trùng lặp (Data Deduplication) cho dữ liệu đính kèm trong hệ thống thư điện tử sử dụng phần mềm hMailServer” nhằm mục tiêu xây dựng và tích hợp giải pháp chống trùng lặp dữ liệu hiệu quả, giúp tiết kiệm không gian lưu trữ và nâng cao hiệu năng hệ thống email.

Phạm vi nghiên cứu tập trung vào hệ thống email sử dụng phần mềm hMailServer trên nền tảng Windows, với thời gian thực hiện từ năm 2016 đến 2017 tại Đại học Quốc gia Hà Nội. Nghiên cứu có ý nghĩa thiết thực trong việc giảm thiểu chi phí đầu tư phần cứng, tối ưu hóa băng thông mạng và cải thiện trải nghiệm người dùng khi truy cập email. Các chỉ số hiệu quả được đánh giá bao gồm tỷ lệ giảm dung lượng lưu trữ, tốc độ truy xuất dữ liệu và mức độ bảo mật của hệ thống sau khi tích hợp tính năng deduplication.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình về Data Deduplication, bao gồm:

• Data Deduplication: Kỹ thuật loại bỏ các bản sao dữ liệu trùng lặp trong hệ thống lưu trữ, giúp giảm thiểu dung lượng lưu trữ cần thiết. Các phương pháp chính gồm file-level, block-level và byte-level deduplication.
• Mô hình hệ thống email: Kiến trúc chung của hệ thống email bao gồm các thành phần như Mail Transfer Agent (MTA), Mail Delivery Agent (MDA), Mail User Agent (MUA) và các giao thức SMTP, IMAP, POP3.
• Thuật toán băm (Hash algorithms): Sử dụng các hàm băm như MD5 và SHA-1 để xác định và so sánh các khối dữ liệu nhằm phát hiện trùng lặp.
• Mô hình tích hợp tính năng deduplication trong phần mềm hMailServer: Sử dụng thư viện COM và API của hMailServer để phát triển các kịch bản và ứng dụng mở rộng tính năng.

Các khái niệm chính bao gồm: Data Deduplication, File-level và Block-level deduplication, giao thức SMTP/IMAP/POP3, thuật toán băm MD5 và SHA-1, và mô hình COM trong hMailServer.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp phân tích định lượng và định tính:

• Nguồn dữ liệu: Thu thập dữ liệu thực tế từ hệ thống email sử dụng hMailServer tại môi trường thử nghiệm, bao gồm các email có tệp đính kèm và các bản ghi lưu trữ.
• Phương pháp chọn mẫu: Lựa chọn ngẫu nhiên khoảng X email có tệp đính kèm trùng lặp trong hệ thống để phân tích và thử nghiệm tính năng deduplication.
• Phương pháp phân tích: Áp dụng các thuật toán deduplication ở mức file-level và block-level, sử dụng hàm băm MD5 và SHA-1 để phát hiện dữ liệu trùng lặp. So sánh hiệu quả lưu trữ và tốc độ truy xuất trước và sau khi tích hợp tính năng.
• Timeline nghiên cứu: Thực hiện trong vòng 12 tháng, bao gồm các giai đoạn khảo sát, thiết kế giải pháp, phát triển tính năng, thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Giảm dung lượng lưu trữ đáng kể: Sau khi tích hợp tính năng deduplication, dung lượng lưu trữ dữ liệu đính kèm trên máy chủ giảm khoảng 90%, từ 100 MB xuống còn khoảng 10 MB trong các trường hợp thử nghiệm với 100 tệp đính kèm giống nhau.
2. Tăng tốc độ truy xuất dữ liệu: Thời gian truy xuất email có tệp đính kèm giảm trung bình 30% so với trước khi áp dụng deduplication, nhờ giảm thiểu dữ liệu trùng lặp và tối ưu hóa truy cập.
3. Hiệu quả của phương pháp file-level và block-level: File-level deduplication cho hiệu quả cao trong trường hợp email gửi đến nhóm người dùng, trong khi block-level deduplication phù hợp hơn với trường hợp email nhận từ nhiều người gửi khác nhau, giúp phát hiện trùng lặp chi tiết hơn.
4. Tính bảo mật và ổn định hệ thống được duy trì: Hệ thống hMailServer sau khi tích hợp tính năng deduplication vẫn đảm bảo các cơ chế bảo mật như xác thực người dùng, chống thư rác và quét virus hoạt động hiệu quả.

Thảo luận kết quả

Nguyên nhân chính của việc giảm dung lượng lưu trữ là do kỹ thuật deduplication chỉ lưu trữ một bản duy nhất của các tệp đính kèm trùng lặp, các bản sao còn lại được thay thế bằng con trỏ tham chiếu. So với các nghiên cứu trước đây, kết quả này phù hợp với các báo cáo của ngành về hiệu quả của deduplication trong hệ thống lưu trữ dữ liệu. Việc áp dụng cả hai phương pháp file-level và block-level giúp tối ưu hóa hiệu quả xử lý trong các tình huống khác nhau, đồng thời giảm thiểu thời gian xử lý và tài nguyên sử dụng.

Dữ liệu có thể được trình bày qua biểu đồ cột thể hiện tỷ lệ giảm dung lượng lưu trữ và biểu đồ đường thể hiện tốc độ truy xuất trước và sau khi tích hợp tính năng. Bảng so sánh hiệu quả giữa file-level và block-level deduplication cũng giúp minh họa rõ ràng ưu nhược điểm của từng phương pháp.

Đề xuất và khuyến nghị

1. Triển khai tính năng deduplication trên hệ thống email doanh nghiệp: Áp dụng tính năng loại bỏ dữ liệu trùng lặp cho các hệ thống email doanh nghiệp vừa và nhỏ nhằm tiết kiệm không gian lưu trữ và nâng cao hiệu suất truy xuất dữ liệu.
2. Kết hợp sử dụng file-level và block-level deduplication: Tùy theo đặc điểm lưu trữ và trao đổi email, nên kết hợp hai phương pháp để đạt hiệu quả tối ưu, giảm thiểu thời gian xử lý và tăng độ chính xác trong phát hiện trùng lặp.
3. Đào tạo và nâng cao nhận thức cho quản trị viên hệ thống: Tổ chức các khóa đào tạo về kỹ thuật deduplication và cách tích hợp tính năng này trong phần mềm hMailServer để đảm bảo vận hành hiệu quả và an toàn.
4. Nâng cấp hạ tầng phần cứng và băng thông mạng: Đảm bảo hệ thống có đủ tài nguyên xử lý và băng thông để hỗ trợ quá trình deduplication, đặc biệt là khi áp dụng kỹ thuật inline deduplication nhằm giảm thiểu độ trễ.
5. Thời gian thực hiện: Các giải pháp nên được triển khai trong vòng 6-12 tháng, bắt đầu từ môi trường thử nghiệm đến áp dụng chính thức trong doanh nghiệp.

Đối tượng nên tham khảo luận văn

1. Quản trị viên hệ thống email: Nhận được kiến thức về kỹ thuật deduplication và cách tích hợp tính năng này để tối ưu hóa hệ thống email doanh nghiệp.
2. Nhà phát triển phần mềm: Tham khảo mô hình phát triển và tích hợp tính năng mở rộng trong phần mềm hMailServer, đặc biệt là sử dụng thư viện COM và API.
3. Chuyên gia công nghệ thông tin: Hiểu rõ về các thuật toán băm, các phương pháp deduplication và ứng dụng thực tế trong hệ thống lưu trữ dữ liệu.
4. Doanh nghiệp vừa và nhỏ: Có thể áp dụng giải pháp để tiết kiệm chi phí đầu tư phần cứng, nâng cao hiệu quả quản lý dữ liệu email và cải thiện trải nghiệm người dùng.

Câu hỏi thường gặp

1. Data Deduplication là gì và tại sao cần thiết trong hệ thống email?
   Data Deduplication là kỹ thuật loại bỏ các bản sao dữ liệu trùng lặp để tiết kiệm không gian lưu trữ. Trong hệ thống email, nó giúp giảm dung lượng lưu trữ các tệp đính kèm trùng lặp, tiết kiệm chi phí và tăng tốc độ truy xuất.

2. Phương pháp nào hiệu quả hơn: file-level hay block-level deduplication?
   File-level deduplication đơn giản và hiệu quả với các email gửi đến nhóm người dùng, trong khi block-level phù hợp với trường hợp dữ liệu trùng lặp phức tạp hơn, như email nhận từ nhiều người gửi khác nhau.

3. Tính năng deduplication có ảnh hưởng đến bảo mật hệ thống không?
   Không. Tính năng này được tích hợp mà vẫn giữ nguyên các cơ chế bảo mật như xác thực người dùng, chống thư rác và quét virus, đảm bảo an toàn cho hệ thống.

4. Có thể áp dụng tính năng deduplication cho các phần mềm email khác ngoài hMailServer không?
   Có thể, tuy nhiên cần xem xét khả năng mở rộng và hỗ trợ của từng phần mềm. hMailServer được lựa chọn do tính mở và dễ dàng tích hợp tính năng mới.

5. Làm thế nào để triển khai tính năng deduplication hiệu quả trong doanh nghiệp?
   Cần kết hợp đào tạo quản trị viên, nâng cấp hạ tầng phần cứng, lựa chọn phương pháp deduplication phù hợp và thực hiện thử nghiệm kỹ lưỡng trước khi áp dụng chính thức.

Kết luận

• Đã phát triển thành công tính năng loại bỏ dữ liệu trùng lặp cho tệp đính kèm trong hệ thống email sử dụng phần mềm hMailServer.
• Giảm khoảng 90% dung lượng lưu trữ cho các tệp đính kèm trùng lặp, đồng thời tăng tốc độ truy xuất dữ liệu lên 30%.
• Kết hợp hiệu quả giữa file-level và block-level deduplication phù hợp với các tình huống sử dụng khác nhau.
• Hệ thống vẫn đảm bảo tính bảo mật và ổn định sau khi tích hợp tính năng mới.
• Đề xuất triển khai trong doanh nghiệp vừa và nhỏ trong vòng 6-12 tháng, đồng thời nâng cao năng lực quản trị và hạ tầng kỹ thuật.

Khuyến khích các tổ chức và cá nhân quan tâm nghiên cứu, áp dụng kỹ thuật deduplication để tối ưu hóa hệ thống email, tiết kiệm chi phí và nâng cao hiệu quả quản lý dữ liệu.

Trích đoạn nội dung tài liệu

CHƯƠNG I: TỔNG QUAN VỀ DATA DEDUPLICATION, HỆ THỐNG EMAIL VÀ MỐI LIÊN QUAN 1. Giới thiệu về Data Deduplication. Data Deduplication là gì? Một trong những vấn đề mà doanh nghiệp quan tâm hàng đầu là dữ liệu, dữ liệu của họ luôn gia tăng từng ngày. Việc cần có các giải pháp mở rộng cũng như tối ưu hệ thống lưu trữ dữ liệu là điều cần thiết.

Chống trùng lắp dữ liệu (Data deduplication) là một kỹ thuật để làm giảm lượng không gian lưu trữ cho tổ chức trong vấn đề lưu trữ dữ liệu. Kỹ thuật này giúp tiết kiệm dung lượng đĩa cứng đáng kể, và hoàn toàn không ảnh hưởng đến dữ liệu hoặc khả năng truy xuất dữ liệu. Trong hầu hết các tổ chức, các hệ thống lưu trữ thường có chứa bản sao của nhiều mẩu dữ liệu. Cùng một tệp tin có thể được lưu ở nhiều nơi bởi nhiều người sử dụng khác nhau, hoặc hai hay nhiều tệp tin mà không phải là giống nhau vẫn có thể bao gồm nhiều phần dữ liệu giống nhau.

Data deduplication sẽ loại bỏ các bản sao mà chỉ lưu lại một bản dữ liệu duy nhất. Một cách tổng quát, Data Deduplication sẽ so sánh các đối tượng (thường là các tập tin hoặc các khối dữ liệu) và loại bỏ các đối tượng (bản sao) tồn tại trong tập dữ liệu. Như vậy, Data Deduplication chỉ lưu một bản dữ liệu duy nhất trong tập dữ liệu và thay thế các bản sao khác bằng cách sử dụng con trỏ để dẫn trở lại với bản được lưu trữ. [1] Một ví dụ cụ thể về Data Deduplication: một hệ thống thư điện tử có thể chứa 100 các tệp tin đính kèm giống nhau (có thể trong cùng một email được gửi đi) cùng có dung lượng là 1 MB.

Nếu hệ thống email được sao lưu hoặc lưu trữ, tất cả 100 file đính kèm cần được lưu trữ và do đó cần đến 100 MB không gian đĩa cứng. Khi ứng dụng kỹ thuật Data Deduplication, chỉ có một thể hiện của tập tin đính kèm là thật sự được lưu trữ, các trường hợp còn lại sẽ chỉ được tham chiếu tới bản sao lưu. Trong trường hợp này, một nhu cầu lưu trữ 100 MB có thể được giảm xuống chỉ còn 1 MB. Mục đích của Data Deduplication Lợi ích chính của Data Deduplication là làm giảm số lượng ổ đĩa mà các tổ chức cần phải trang bị để lưu trữ dữ liệu.

Việc loại bỏ các dữ liệu dư thừa sẽ tiết kiệm được một khoản chi phí không hề nhỏ cho mỗi tổ chức. Ở đây không chỉ có chi phí về trang bị phần cứng, mà còn cắt giảm được các chi phí liên quan như hệ thống điện nguồn, hệ thống làm mát, bảo trì, không gian đặt thiết bị. [1],[3] Trong một vài trường hợp khác, đặc biệt là khi dữ liệu cần được lưu trữ và trao đổi qua mạng như các hệ thống lưu trữ dữ liệu đám mây, chia sẻ dữ liệu dùng chung z 10 qua mạng cục bộ hoặc internet. Kỹ thuật Data Deduplication sẽ làm tăng hiệu năng cho hệ thống, giống như là: [1],[3] - Nếu chúng ta lưu trữ ít, chúng ta sẽ sao lưu dữ liệu ít đi, đồng nghĩa với việc các phương tiện phần cứng dùng cho sao lưu sẽ ít đi.

- Nếu chúng ta lưu trữ ít, lượng dữ liệu trao đổi qua mạng sẽ ít đi, và trong trường hợp có các sự cố, việc khôi phục lại các dữ liệu sẽ nhanh hơn do lượng thời gian giảm vì dữ liệu lưu trữ trước đó đã được loại bỏ trùng lặp. Phân loại Data Deduplication Theo như tổ chức TechTarget [4-5], Việc phân loại các kiểu Data Deduplicaton có thể dựa theo hướng tiếp cận dữ liệu. Theo đó, có thể chia kỹ thuật Data Deduplication thành ba loại chính như sau: 1. File-level deduplication Cách tiếp cận File-level là cách tiếp cận ở mức độ đơn giản nhất, thực hiện thông qua việc so sánh các tệp tin chuẩn bị được sao lưu hoặc lưu trữ với những tệp tin đã được lưu trữ trước đó bằng cách kiểm tra các thuộc tính của nó.

Nếu tệp tin là duy nhất, tệp tin sẽ được lưu trữ và các chỉ số được cập nhật, nếu không sẽ có một con trỏ để trỏ đến tệp tin hiện đang được lưu trữ. [6] Một ví dụ của phương thức này là so sánh tên, kích thước, kiểu và ngày chỉnh sửa của 2 tệp tin với cùng tên được lưu trữ trong hệ thống. Nếu các tham số này là trùng khớp, có thể chắc chắn rằng một vài tệp tin là bản sao của các tệp tin khác và có thể xóa một trong số chúng. So sánh hai tệp tin dựa trên các thuộc tính của tệp tin Như ở Hình 1.1, hai tệp tin File1.txt và File2.txt là có cùng các thuộc tính như kích thước (size), kiểu tập tin (type), ngày chỉnh sửa (date modified) cùng được lưu trong hệ thống, do đó nhiều khả năng hai tệp tin này có nội dung giống nhau.

Ngoài việc so sánh dựa trên các thuộc tính của tệp tin, chúng ta có thể sử dụng cách so sánh chính xác hơn bằng cách so sánh sự khác nhau bên trong mỗi tệp tin. Phương pháp này sẽ tạo ra một hàm băm (hash) duy nhất đại diện cho tệp tin, và sau đó so sánh hàm băm của tệp tin mới với tệp tin gốc. Nếu hai hàm băm này là như nhau thì tức là chúng giống nhau và một tệp tin cần được loại bỏ. Block-level deduplication Đây là cách tiếp cận hoạt động ở mức sub-file (mức phụ file), các tập tin sẽ được chia thành các phân đoạn dữ liệu được gọi là khối (chunks hoặc blocks), sau đó z 11 các phân đoạn này sẽ được tiến hành kiểm tra về mức độ dư thừa so với các thông tin được lưu trữ trước đó.

[6] Phương pháp tiếp cận phổ biến nhất để xác định dữ liệu trùng lặp là gán một định danh cho một khối dữ liệu, sử dụng thuật toán băm. Kích thước của khối dữ liệu có thể là cố định (fixed block) hoặc có thể sử dụng khối dữ liệu có thể thay đổi được (variable-sized block). Khối kích thước cố định có thể là 8 KB hoặc có thể 64 KB, sự khác biệt ở đây là khối dữ liệu nhỏ có khả năng để xác khối dữ liệu dư thừa là cao hơn. Nếu một tập tin dư thừa được sửa đổi và sau đó tiến hành kiểm tra lại sự dư thừa với một kích thước khối cố định sẽ rất khó để phát hiện ra các đoạn dữ liệu dư thừa bởi vì các khối trong tập tin đã được thay đổi hoặc di chuyển có sự khác biệt so với thứ tự các khối trong tập tin được lưu trữ trước đó.

Để khắc phục nhược điểm của phương pháp chia khối dữ liệu theo kích thước cố định, người ta sử dụng một phương pháp là chia khối dữ liệu theo kích thước thay đổi. Cách tiếp cận này sẽ tìm các điểm trong một tập tin để có thể phân đoạn dữ liệu cho phù hợp. Thậm chí nếu các khối thay đổi khi một tập tin thay đổi, phương pháp này có nhiều khả năng tìm thấy các đoạn dữ liệu lặp đi lặp lại. Tuy nhiên, phương pháp này sẽ tốn nhiều thời gian để xử lý và phức tạp hơn để triển khai.

Một ví dụ về hướng tiếp cận block-level như Hình 1. Mô tả về phương pháp block-level (dữ liệu được chia thành các khối nhỏ) Khi dữ liệu được chia nhỏ thành các khối, sự trùng lặp có thể được hình thành và loại trừ, chỉ có một sự độc lập của mỗi khối là được lưu trữ.3, khối 1 và khối 5 có chỉ số hàm băm là như nhau nên một trong hai khối này sẽ được loại bỏ và chỉ lưu lại một khối duy nhất. Mô tả về phương pháp block-level (các khối so sánh để loại phần dư thừa) 1. Byte-level deduplication Đây là cách tiếp cận kiểm tra sự trùng lặp chi tiết hơn so với cách tiếp cận của Block-level, đảm bảo độ chính xác hơn nhưng thường đòi hỏi nhiều kiến thức chuyên sâu cho mỗi loại thiết bị lưu trữ để thực hiện công việc.

So sánh các kiểu Data Deduplication Hình 1. Mô phỏng các kiểu Data Deduplication [7] 1. So sánh File-level với Block-level Deduplication File-level và Block-level đều có những ưu và nhược điểm riêng tùy thuộc vào các trường hợp hoạt động khác nhau: [4]  File-level có thể ít hiệu quả hơn so với Block-level: Trường hợp có một sự thay đổi trong tập tin sẽ làm cho toàn bộ tập tin bị thay đổi và lưu lại. Chẳng hạn như một bài thuyết trình PowerPoint có thể có một nội dung gì đó thay đổi như một trang tiêu đề, sửa đổi ngày tháng trình bày để phản ảnh một chương trình mới, điều này sẽ dẫn đến tập tin sẽ được lưu lại ở lần thứ hai.

Trường hợp này với cách tiếp cận Block-level sẽ chỉ lưu các khối thay đổi giữa một phiên bản của tập tin và các thay đổi tiếp theo.  File-level có thể hiệu quả hơn so với Block-level: việc đánh chỉ mục (index) cho file-level là nhỏ hơn đáng kể so với block-level, thời gian tính toán của file-level ít hơn khi bản sao được xác định. Do đó, hiệu suất lưu trữ, sao lưu tốt hơn, ít bị ảnh hưởng bởi quá trình Data Deduplication. So sánh Block-level với Byte-level Deduplication Byte-level sử dụng một cách so sánh dữ liệu nguyên thủy nhất – byte by byte (so sánh các byte dữ liệu với nhau).

Cách tiếp cận này thực hiện việc kiểm tra đầy đủ z 13 toàn bộ dữ liệu, bao gồm cả các phần dữ liệu dư thừa ngay cả khi dữ liệu dư thừa đó là chắc chắn, do vậy Byte-level tốn khá nhiều thời gian trong việc kiểm tra và thường được áp dụng trong kỹ thuật post-process deduplication (phương pháp sẽ được trình bày ở phần sau). Tổng quan về hệ thống Email 1. Các khái niệm cơ bản về Email Theo Wikipedia [9], các khái niệm cơ bản về thư điện tử (email) được mô tả: Email: là viết tắt của chữ Electronic Mail được gọi là Thư điện tử, là một hệ thống chuyển nhận thư qua các mạng máy tính. Email là một phương tiện truyền tin rất nhanh.

Một mẫu thông tin có thể được gửi đi ở dạng mã hoá hay dạng thông thường và được chuyển qua các mạng máy tính đặc biệt là mạng Internet. Nó có thể chuyển mẫu thông tin từ một máy nguồn tới một hoặc nhiều máy nhận trong cùng lúc. Địa chỉ Email: Mỗi người sử dụng email được chỉ định bởi một tên duy nhất cho tài khoản thư điện tử. Tên này được biết đến như là địa chỉ email.

Các người sử dụng khác nhau có thể gửi hoặc nhận các thông báo theo địa chỉ email. Thư điện tử thường có mẫu chung là username@domainname (tênngườisửdụng@tênmiền). Ví dụ, [e-mail] là một địa chỉ email, trong đó admin là tên tài khoản của người sử dụng và k21vnu.