Nâng cao hiệu quả quản lý dữ liệu với Data Deduplication tại Đại học Quốc gia Hà Nội

Luận văn nghiên cứu phát triển tính năng loại bỏ dữ liệu trùng lặp cho dữ liệu đính kèm trong hệ thống thư điện tử sử dụng hmailserver.

• Người hướng dẫn: TS. Hà Ngọc Xuân
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Quản lý dữ liệu
• Đề tài: Nâng cao hiệu quả quản lý dữ liệu với Data Deduplication
• Loại tài liệu: luận văn
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ DATA DEDUPLICATION, HỆ THỐNG EMAIL VÀ MỐI LIÊN QUAN
• 1.1. Giới thiệu về Data Deduplication
• 1.2. Mục đích của Data Deduplication
• 1.3. Phân loại Data Deduplication
• 1.3.1. File-level deduplication
• 1.3.2. Block-level deduplication
• 1.3.3. Byte-level deduplication
• 1.4. So sánh các kiểu Data Deduplication
• 1.5. Tổng quan về hệ thống Email
• 1.5.1. Lợi ích của hệ thống Email
• 1.5.2. Kiến trúc chung một hệ thống Email
• 1.5.3. Phương thức hoạt động của một hệ thống Email
• 1.5.4. Giao thức sử dụng trong hệ thống Email
• 1.5.5. So sánh giữa hai giao thức IMAP và POP
• 1.5.6. Vấn đề Data Deduplication trong hệ thống Email
• 1.5.7. Lợi ích của Data Deduplication trong hệ thống Email
• 1.5.8. Hệ thống email và khả năng Data Deduplication
• 2. CHƯƠNG II: PHƯƠNG THỨC THỰC HIỆN DATA DEDUPLICATION VÀ GIẢI PHÁP CHO HỆ THỐNG EMAIL
• 2.1. Phương thức thực hiện Data Deduplication
• 2.2. Source và Target Deduplication
• 2.3. Inline và Post-Process Deduplication
• 2.4. File và Sub-File Level
• 2.5. Fixed-Length Blocks và Variable-Length Data Segments
• 2.6. Một số sản phẩm ứng dụng Data Deduplication
• 2.7. Giải pháp chống trùng lặp dữ liệu trong Email
• 2.8. Đề xuất lựa chọn HMailServer để thử nghiệm
• 3. CHƯƠNG III: TÍNH HỢP TÍNH NĂNG DEDUPLICATION TRONG HỆ THỐNG HMAILSERVER
• 3.1. Tổng quan về HMailServer
• 3.2. Giới thiệu về HMailServer
• 3.3. Cài đặt và cấu hình đơn giản
• 3.4. Thư viện COM và API sử dụng trong HMailServer
• 3.5. Môi trường phát triển của HMailServer
• 3.6. Xây dựng hệ thống Email với HMailServer
• 3.7. Giới thiệu các thành phần cài đặt và quản trị
• 3.8. Cài đặt máy chủ Active Directory và dịch vụ IIS
• 3.9. Cài đặt dịch vụ IIS
• 3.10. Cài đặt và cấu hình hệ thống HMailServer
• 3.11. Cài đặt bộ quản trị WebAdmin và WebMail
• 3.12. Cấu hình tên miền và tài khoản người dùng
• 3.13. Hoạt động gửi/nhận email trong HMailServer
• 3.14. Nhận xét về khả năng chống trùng lặp dữ liệu của HMailServer
• 3.15. Tính hợp tính năng deduplication trong HMailServer
• 3.16. Xây dựng kịch bản triển khai
• 3.17. Hoạt động của HMailServer trong trường hợp tính hợp deduplication
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Data Deduplication Quản Lý Dữ Liệu Hiệu Quả

Trong bối cảnh dữ liệu tăng trưởng chóng mặt, Data Deduplication nổi lên như một giải pháp then chốt. Đây là kỹ thuật loại bỏ dữ liệu trùng lặp, giúp tối ưu hóa lưu trữ và tiết kiệm dung lượng lưu trữ đáng kể. Kỹ thuật này không ảnh hưởng đến dữ liệu gốc hay khả năng truy xuất. Các tổ chức thường có nhiều bản sao dữ liệu giống nhau, Data Deduplication giải quyết vấn đề này bằng cách chỉ giữ lại một bản duy nhất và tạo tham chiếu đến bản gốc cho các bản sao khác. Theo tài liệu gốc, mục tiêu chính của Data Deduplication là giảm thiểu không gian lưu trữ cần thiết, từ đó giảm chi phí liên quan đến phần cứng, điện năng, làm mát và bảo trì.

1.1. Data Deduplication Là Gì Giải Thích Chi Tiết

Data Deduplication là một kỹ thuật quản lý dữ liệu giúp loại bỏ các bản sao trùng lặp của dữ liệu. Thay vì lưu trữ nhiều bản sao giống hệt nhau, hệ thống chỉ lưu trữ một bản duy nhất và tạo các con trỏ hoặc tham chiếu đến bản sao đó. Điều này giúp tiết kiệm dung lượng lưu trữ, giảm chi phí và tăng hiệu quả quản lý dữ liệu. Kỹ thuật này đặc biệt hữu ích trong các môi trường có lượng lớn dữ liệu trùng lặp, chẳng hạn như sao lưu dữ liệu, lưu trữ email và ảo hóa.

1.2. Mục Đích Của Data Deduplication Tiết Kiệm Chi Phí

Mục đích chính của Data Deduplication là giảm chi phí lưu trữ. Bằng cách loại bỏ dữ liệu trùng lặp, các tổ chức có thể giảm đáng kể lượng dung lượng lưu trữ cần thiết. Điều này dẫn đến việc giảm chi phí mua sắm và bảo trì phần cứng lưu trữ, cũng như giảm chi phí năng lượng và làm mát. Ngoài ra, Data Deduplication còn giúp cải thiện hiệu suất sao lưu và phục hồi dữ liệu, vì lượng dữ liệu cần xử lý ít hơn đáng kể.

II. Phân Loại Data Deduplication Cách Chọn Phương Pháp Phù Hợp

Có nhiều cách phân loại Data Deduplication, tùy thuộc vào cách tiếp cận dữ liệu. Các phương pháp phổ biến bao gồm File-level, Block-level và Byte-level Data Deduplication. Mỗi phương pháp có ưu và nhược điểm riêng, phù hợp với các tình huống khác nhau. Việc lựa chọn phương pháp phù hợp phụ thuộc vào yêu cầu cụ thể của hệ thống và loại dữ liệu cần tối ưu hóa lưu trữ. Theo Techtarget, việc phân loại dựa trên cách tiếp cận dữ liệu là một phương pháp phổ biến.

2.1. File Level Deduplication Ưu Điểm và Hạn Chế

File-level Deduplication là phương pháp đơn giản nhất, so sánh các file dựa trên thuộc tính như tên, kích thước và ngày sửa đổi. Nếu các thuộc tính trùng khớp, hệ thống sẽ chỉ lưu trữ một bản duy nhất. Ưu điểm của phương pháp này là dễ triển khai và ít tốn kém. Tuy nhiên, nó kém hiệu quả hơn so với các phương pháp khác, đặc biệt khi chỉ có một phần nhỏ của file bị thay đổi.

2.2. Block Level Deduplication Phân Tích Sâu Dữ Liệu

Block-level Deduplication chia file thành các khối nhỏ (blocks) và so sánh các khối này để tìm ra dữ liệu trùng lặp. Phương pháp này hiệu quả hơn File-level, vì nó có thể loại bỏ dữ liệu trùng lặp ngay cả khi các file không hoàn toàn giống nhau. Tuy nhiên, nó phức tạp hơn và đòi hỏi nhiều tài nguyên hơn.

2.3. Byte Level Deduplication Độ Chính Xác Cao Nhất

Byte-level Deduplication là phương pháp chi tiết nhất, so sánh từng byte dữ liệu để tìm ra sự trùng lặp. Phương pháp này đảm bảo độ chính xác cao nhất, nhưng cũng đòi hỏi nhiều tài nguyên nhất và thường được sử dụng trong các ứng dụng đặc biệt.

III. Ứng Dụng Data Deduplication Trong Hệ Thống Email Giải Pháp

Trong hệ thống email, Data Deduplication có thể giúp giảm đáng kể dung lượng lưu trữ, đặc biệt là đối với các file đính kèm. Nhiều người dùng có thể nhận cùng một email với file đính kèm giống nhau, dẫn đến việc lưu trữ nhiều bản sao của cùng một file. Giải pháp Data Deduplication sẽ chỉ lưu trữ một bản duy nhất của file đính kèm và tạo tham chiếu đến bản gốc cho các email khác. Theo luận văn gốc, việc áp dụng Data Deduplication trong hệ thống email giúp tiết kiệm không gian lưu trữ và tăng tốc độ truy xuất dữ liệu.

3.1. Lợi Ích Của Data Deduplication Trong Hệ Thống Email

Lợi ích chính của việc sử dụng Data Deduplication trong hệ thống email là tiết kiệm dung lượng lưu trữ. Ngoài ra, nó còn giúp cải thiện hiệu suất sao lưu và phục hồi dữ liệu, giảm chi phí và tăng hiệu quả quản lý dữ liệu.

3.2. Vấn Đề Data Deduplication Trong Các Hệ Thống Email

Vấn đề chính là sự trùng lặp dữ liệu, đặc biệt là các file đính kèm. Nhiều người dùng có thể nhận cùng một email với file đính kèm giống nhau, dẫn đến việc lưu trữ nhiều bản sao của cùng một file. Điều này gây lãng phí dung lượng lưu trữ và làm chậm hiệu suất hệ thống.

3.3. HMailServer Lựa Chọn Để Thử Nghiệm Data Deduplication

HMailServer là một máy chủ email mã nguồn mở, có thể được sử dụng để thử nghiệm và triển khai Data Deduplication. Nó cung cấp các API và thư viện cho phép tích hợp các giải pháp Data Deduplication vào hệ thống email. Việc sử dụng HMailServer giúp các nhà phát triển và quản trị viên có thể kiểm tra và đánh giá hiệu quả của các phương pháp Data Deduplication khác nhau.

IV. Phương Pháp Thực Hiện Data Deduplication Hướng Dẫn Chi Tiết

Có nhiều phương pháp thực hiện Data Deduplication, bao gồm Source Deduplication, Target Deduplication, Inline Deduplication và Post-process Deduplication. Mỗi phương pháp có ưu và nhược điểm riêng, phù hợp với các tình huống khác nhau. Việc lựa chọn phương pháp phù hợp phụ thuộc vào yêu cầu cụ thể của hệ thống và loại dữ liệu cần tối ưu hóa lưu trữ.

4.1. Source và Target Deduplication So Sánh Hiệu Quả

Source Deduplication thực hiện việc loại bỏ dữ liệu trùng lặp trước khi dữ liệu được truyền đến thiết bị lưu trữ. Điều này giúp giảm băng thông mạng và tăng tốc độ sao lưu. Target Deduplication thực hiện việc loại bỏ dữ liệu trùng lặp trên thiết bị lưu trữ. Phương pháp này đơn giản hơn để triển khai, nhưng có thể làm chậm quá trình sao lưu.

4.2. Inline và Post Process Deduplication Thời Điểm Xử Lý

Inline Deduplication thực hiện việc loại bỏ dữ liệu trùng lặp trong quá trình ghi dữ liệu. Điều này giúp tiết kiệm dung lượng lưu trữ ngay lập tức. Post-process Deduplication thực hiện việc loại bỏ dữ liệu trùng lặp sau khi dữ liệu đã được ghi vào thiết bị lưu trữ. Phương pháp này ít ảnh hưởng đến hiệu suất ghi dữ liệu, nhưng có thể tốn nhiều thời gian hơn.

4.3. Fixed Length và Variable Length Data Segments Kích Thước Khối

Fixed-Length Block chia dữ liệu thành các khối có kích thước cố định. Phương pháp này đơn giản để triển khai, nhưng có thể kém hiệu quả nếu dữ liệu trùng lặp không nằm trên ranh giới khối. Variable-Length Data Segments chia dữ liệu thành các khối có kích thước thay đổi, dựa trên nội dung của dữ liệu. Phương pháp này hiệu quả hơn, nhưng phức tạp hơn để triển khai.

V. Tích Hợp Deduplication Vào HMailServer Hướng Dẫn Thực Hiện

Việc tích hợp Data Deduplication vào HMailServer có thể giúp giảm đáng kể dung lượng lưu trữ email. Có nhiều cách để thực hiện việc này, bao gồm sử dụng các API và thư viện của HMailServer, hoặc sử dụng các giải pháp Data Deduplication của bên thứ ba. Việc lựa chọn phương pháp phù hợp phụ thuộc vào yêu cầu cụ thể của hệ thống và kỹ năng của người thực hiện. Theo tài liệu, việc tích hợp tính năng Deduplication vào HMailServer giúp tối ưu hóa hệ thống.

5.1. Tổng Quan Về HMailServer Máy Chủ Email Mã Nguồn Mở

HMailServer là một máy chủ email mã nguồn mở, miễn phí và dễ sử dụng. Nó hỗ trợ nhiều giao thức email phổ biến, như SMTP, POP3 và IMAP. HMailServer có thể được sử dụng để xây dựng một hệ thống email hoàn chỉnh cho các tổ chức nhỏ và vừa.

5.2. Xây Dựng Hệ Thống Email Với HMailServer Các Bước Cơ Bản

Để xây dựng một hệ thống email với HMailServer, bạn cần cài đặt và cấu hình HMailServer, tạo các tài khoản người dùng và cấu hình các giao thức email. Bạn cũng cần cấu hình DNS để đảm bảo rằng email có thể được gửi và nhận một cách chính xác.

5.3. Tích Hợp Tính Năng Deduplication Trong HMailServer Chi Tiết

Để tích hợp tính năng Deduplication vào HMailServer, bạn có thể sử dụng các API và thư viện của HMailServer, hoặc sử dụng các giải pháp Data Deduplication của bên thứ ba. Bạn cần viết mã để phát hiện và loại bỏ dữ liệu trùng lặp trong email và file đính kèm.

VI. Kết Luận và Tương Lai Của Data Deduplication Tổng Kết

Data Deduplication là một kỹ thuật quan trọng để tối ưu hóa lưu trữ và tiết kiệm dung lượng lưu trữ. Nó có thể được áp dụng trong nhiều lĩnh vực khác nhau, bao gồm sao lưu dữ liệu, lưu trữ email và ảo hóa. Trong tương lai, Data Deduplication sẽ tiếp tục phát triển và trở nên quan trọng hơn, khi lượng dữ liệu ngày càng tăng và chi phí lưu trữ ngày càng trở nên quan trọng.

6.1. Tóm Tắt Lợi Ích Của Data Deduplication

Data Deduplication mang lại nhiều lợi ích, bao gồm tiết kiệm dung lượng lưu trữ, giảm chi phí, cải thiện hiệu suất sao lưu và phục hồi dữ liệu, và tăng hiệu quả quản lý dữ liệu.

6.2. Hướng Phát Triển Của Data Deduplication Trong Tương Lai

Trong tương lai, Data Deduplication sẽ tiếp tục phát triển và trở nên quan trọng hơn, khi lượng dữ liệu ngày càng tăng và chi phí lưu trữ ngày càng trở nên quan trọng. Các xu hướng phát triển bao gồm Data Deduplication dựa trên đám mây, Data Deduplication thời gian thực và Data Deduplication kết hợp với các kỹ thuật tối ưu hóa lưu trữ khác.

Trích đoạn nội dung tài liệu

ĐẠI hỌc QUỐC GIA hÀ HỘI TTGƠỊỜIG ĐẠI hỌc cÔIIG IGhỆ HGUYVÈH AITh TUÁN PhÁT TTIÊN TíIHh HĂNG L0ẠI bỎ DỮ LIỆU TTùòïIG LẶP (DATA DEDUPLIcATION) ch0 DU LIEU Dillh KEM TIONG hE ThOMG Th] DIEM TU SU DUNG PhÀII MÈM hMAILSETVET LUẬN VĂN ThẠc SĨ cÔIG HIGhỆ ThÔIIG TII hà Hội — 2017 ĐẠI hỌc QUỐC GIA hÀ HỘI TTG|ỜHG ĐẠI hỌc cÔIIG IGhỆ HỌC NGHỆ HGUVÈH AITh TUATI PhÁT TTIÊN TíHh HĂNG LOẠI bÓ DỮ LIỆU TTùòiIG LẶP (DATA DEDUPLIcATI0IN) ch0 DỮ LIỆU ĐíHh KÈM TT0HG hỆ ThÓIG ThdJ ĐIỆN TỬ SỬ DỤNG PhÀII MÈM hMAILSETVET Ilgành: công nghệ thông lin chuyên ngành: Truyền dữ liệu và Mạng máy lính Mã số: chuyên ngành đà0 1a0 thí điểm LUẬN VĂN ThẠc SĨ cÔIG HIGhỆ ThÔIIG TII HGGIỜI h0|ỚIG DÃII Kh0A hỌc: TS.h0ÀIIG XUÂN TùHG hà lội - 2017 1 LỜI cAM Đ0AH Tôi xin cam đ0an nội dung lr0ng luận văn là sản phẩm d0 1ôi thực hiện dojới su hojong dẫn của Thầy giá0 Tiến sĩ h0àng Xuân Tùng. các kết quả †r0ng khóa luận la hOan tan trung thuc va choja đojợc cá nhân, tô chức nà0 công số lr0ng sấi kỳ nghiên cứu nà0. Tôi xin chịu trách nhiệm ch0 lời cam đÓan của mình. hà Hội, ngày 28 tháng 05 năm 2017 IIgojời cam đÖan Hguyễn Anh Tuan MUc LUc LOI cAM DOATI 1 MUc LUc.

“ : 2 DAITh MUc cAc KY RIEU VA CHU VIET TAT uu. cescssscssscssscsccssccsecsccssecssccnscensees 4 DAIIh MUc cAc bATIG. 5 DATIh SAch cÁc hillh VE, DO ThI 6 LOI MO DAU 8 ch] ONG I: TONG QUATI VE DATA DEDUPLIcATION, hE ThONG EMAIL VA MOI LIED QUAIL 9 1. Gidi Hhigu vé Data DeduplicaHOm,.

Data DeduplicaHOH là gì?. Mục đích của Dala DeduplicaHŨN. Phân lOại Dala DeduplicaHiŨH. Eile-level dedupliCaHŨII.

bl0ck-level deduplicaHH. byle-level deduplicalHIT. S0 sánh các kiểu Dala Deduplicai0n 1. S0 sánh File-level với bl0ck-level DeduplicaH0mn.

S0 sánh bl0ck-level với byle-level DeduplicaHOn. Tổng quan về hệ thống Email. các khái niệm cơ bản về Email. Lợi ích của hệ thông Email.

Kiên trúc chung một hệ thông Email. Phojơng †hức h0ại động của mội hệ thông Email. các gia0 thức sử dụng lr0ng hệ thông Email. GiaO Hhtte SMTP .2, GiaO Hhitc IMAP ou.

S0 sánh giữa hai gia0 thức IMAP và P0P. Định dạng lhơi điện lử (Message fÔrmal). Lành HH gi, 21 1. LH HH HT HT HH TH ngư, 22 I6 0 (0200.

Vấn đề Dala Deduplicali0n tr0ng các hệ thống Email. Lợi ích của Dala Deduplicali0n tr0ng hệ thống Email. hệ thống email và khả năng Dala Deduplicali0n.-------- 23 chG] ONG I: Pho]ONG ThUc ThUc hIEM DATA DEDUPLIcATION VA GIAI PhAP ch0 hE ThONG EMAIL 26 2. Phong thức thực hiện Dala DeduplicaHHH.

S0Ource và Targel DeduplicaHHI. -¿-¿- << kề HT HH rn 27 2. Targel DeduplicaHHŨNT. Inline va P0si-Pr0cess DeduplicaHH.

POst-prOcess DeduplicahOn 2. File và Sub-File LLeVel .-- «56+ sx+vxseseeexseesee sa 2. Fixed-Length bl0cks va Variable-Length Data Segmerils. Một số các sản phẩm ứng dụng Data Deduplicali0n.

Giải pháp chông trùng lặp dữ liệu trOng Email oo. Đề xuất lựa chọn hMailServer đề thực nghiệm. Giới thiệu về hMailSerVer. các nh năng của hMallS€TV€T.- ¿+ 1k TH TH HH HH gi, 36 3.

cài đặt và cấu hình đơn giản. Khả năng sả0 mật ca0. Kha nang tich hop mo rong. các lính năng |khác.-- - «+ tt TT nưệt 38 3.

Thoi viện cM và API sử dụng Ir0ng hMailSerVer. Môi lrolờng phái lriên của hMailS€TV€T.- 5 cs+xsx+xsersereeeeeee 40 3. Xây dựng hệ thống Email với hMailSerVer. Giới thiệu các thành phần cài đặt và quản †rị.

cai dat may chu Active DirectOry va dich vu IIS. cài đặt máy chủ Aclive DireclOTy. cài đặi dịch vụ IIS. cài đặi và cấu hình hệ thống hMailServer.

cài đặt máy chủ hMailSeTV€T. cài đặt bộ quản tri WepAdmin va WebMail. câu hình lên miên và lài khOản ngojời dÙ1g. h0ại động gửi / nhận email lr0ng hMailSerVer.

Thận xét về khả năng chống trùng lặp đữ liệu của hMailServer. Tích hợp lính năng deduplicahOn lr0ng hMaIlSeTVeT. Xây dựng kịch sản lriển lkhai.-- 22-25 52 222‡EEZ‡EEES2EEEEEEcEEecrkeerkee 56 3. cài đặt kịch bảH.

HH HH HH HH nưệt 56 3. hOat dong cua hMailServer trOng trojong hgp lích hợp Deduplicai0n. Timh 5a0 mat ctia hé HHO oo. S0 sánh kết quả thực nghiệm .----¿- 22 +¿+E+SEE£EE2EEE2E7122712271222122xee.

71 KẾT LUẬN 73 TÀI LIỆU ThAM KhẢ0 74 4 DAIIh MUc cAc KY hIEU VA chU’ VIET TAT Tên viết tắt Tên đầy đủ Ý nghĩa Data DeduplicatiOn chống lrùng lặp đữ liệu AGPLv3 Affer0 General Puslic License v3 | Giay phép xuất sản AGPL Ver3 ApplicatiOn Programmi API PPDCAHLH SIL8ammng Gia0 diện lập trình ứng dụng Interface ASall American Standard cOde fOr chuan traO doi thong hn h0a c ` InfOrmatiOn Interchange Ky c0M library c0M library Tho viện cỦM DIIS DOmain Mame System hệ thống phân giải lên miền Email Electronic Mail Thọ điện tử IIgôn ngữ đánh dâu siêu văn hTML hyperText Markup Language : ball Mội gia0 thức lruy cập thơi điện IMAP Internet Message Access Pr010c0I | |. us veep nes LAH L0cal Area Ilelw0rk Mạng nội bộ MDS Message-Digest algOrithm 5 Thuat 104n MDS MDA Mail Delivery Agent May chu chuyén gia0 thoy MultipurpOse Internet Mail Mot chuan internet vé định MIME. d Extensi0ns ang chO tho dién tr MTA Mail Transfer Agent Máy chủ gửi thơi MUA Mail User Agent Phan mềm thọ điện tir Mội gia0 thức lruy cập thơi điện P0P3 P0si 0ffice Pr010c01 Ver3 hr. veep Tài liệu đặc †ả các chuân, gia0 ITc Tequest fOr COmments , thức ShA-I Secure hash Alg0rithm I Thuật l0án ShA-1 Gia0 thức lruyên tải thơ điện hr SMTP Simple Mail Transfer Pr0†0c0l cv, y 465 đơn giản Khung chính sách gửi thơi điện SPF Sender POlicy FramewOrk ° co.

§ vẻ " : tu dong x4c minh ngoj0i gir. Mội dạng bộ lọc danh sách SUPbL Spam UII Tealtime blacklist chéng tho rac 5 DAIHh MỤCc cÁc bẢING bảng 1. Mô †ả một số các lệnh của gia0 thức SMTP bảng 1. M6 4 một số các lệnh của gia0 thức IMAP.

Mô †ả một số các lệnh của gia0 thức P0P. SO sánh hai gia0 thirc IMAP va POP bang 1. SO sánh lính năng của một số máy chủ email phổ biến hiện nay bảng 2. SO sánh các sản phâm đeduplicaliOn của một số các nhà cung cấp.

SO sánh gần đúng kết quả khi sử dụng Dala Deduplicali0n.- 71 6 DAIth SAch cAc hillh VE, DO ThI hình 1. S0 sánh hai lệp tin dựa trên các thuộc lính của lệp lin. Mô lá về phoJơng pháp sl0ck-level (dữ liệu đojợc chia thành các khối nhỏ). Mô tá về phơtơng pháp sl0ck-level (các khối s0 sánh đề l0ại phần do thừa) 12 hình 1.

Mô phỏng các kiểu Dala DeduplicaliOn [7]. Kiến trúc chung của một hệ thống email thông thoiờng. Mé ta phojong thirc hOat dong cua mot hé thống email. Mối loJơng quan giữa các yếu lố kỹ thuật của công nghệ DeduplicaHOm.

Mô lá kỹ thuật DeduplicaliOn lại nguồn. Mô †á kỹ thuật DeduplicaliOn lại đích. Mô lá kỹ thuat Inline DeduplicatiOn es hình 2. Mô lá kỹ thuật P0sl-pr0cess DeduplicaHH.-- - 5 +55 sc+xecsrsee 30 hình 2.

Khối đữ liệu lotơng tự nhau nhơIng có thê khác vị lrí. Quản lý hMailServer bằng công cụ quản lrị. Quản lý hMailServer bằng gia0 diện we. Một ví dụ về các phojơng thức và thuộc lính của đối loJợng AHachment.

Mô hình triển khai hệ thống hMailServer.---2:-2©2cz+ccxceccsez 42 hình 3. Trình thuậi sĩ cài đặ! T0les hiện lên khi click chọn Add T0les. chọn dịch vụ AcHve Direcl0ry để cài đặt. Màn hình thông sá0 kích h0ại dịch vụ AcHve DireclOry.

công cụ quản lý AcHve Direcl0ry Users and cOmputers. Lựa chọn dịch vụ Web Server (IIS) để cài đặt. Thêm mới wessile để loiu trữ và lạ0 linl ch0 các lệp đính kèm. cấu hình yêu cầu xác thực sằng lài kh0ản wind0ws trên IIS ses hình 3.

bắt dau tién hamh cai dat HMailServer. chon dopomg dam cdi dat HMailServer. chọn các thành phần đề cài đặi ch0 hMailServer. Tùy chọn cơ sở dữ diệu để sử dụng ch0 hMailServer.

Tạ0 ra mật khẩu đề quản trị hMailServer. Quá trimh cải đặt hMailServer đơjợc diễn ra. cầu hình kết nối cơ sở đữ liệu ch0 hMailServer. cau hình kết nối cơ sở dữ liệu ch0 hMailServer.

cầu hình tham số đề lạ0 cơ sở đữ liệu ch0 hMailServer. Khởi chạy dịch vụ Apache lrên Xampp v3. cài đặt Web Admin — sa0 chép thơi mục PhPWebAdmin. cài đặt WebAdmin — chỉnh sửa file cÔnfig.

cài đặt WebAdmin — gia0 diện đăng nhập WebAdmim. cài đặt WebMail — gia0 diện đăng nhập WebMail sa hình 3. Tạ0 D0Omain sử dụng lr0ng hMallSeTV€T. Gia0 diện 1ạ0 tài khOản ngojời dùng lr0ng hMailServer.

Sử dụng truy vấn SQL đề xem danh sách các email của ngojời dòng. Email gửi đi đojợc lơiu lr0ng hòm thơi của Userl hình 3. Email giri di dojoc loju Ong hom tho cua User2 bees hình 3. còng một email gửi đi đojợc loiu Ong hom tho cua User 1 va User?.

cài dat kich sản lích hợp chức năng deduplicaliÖn. Tạ0 Tule dé kích h0ại kịch bản es hình 3. chỉ liết cầu hình Tule để kích h0ạ† kịch pản. IIgojời dòng nhận đơiợc email khi triển khai lính năng deduplicatiOn.

Email đơjợc loiu lại hòm thơ của ngơjời nhận với dung lơjợng nhỏ. Tệp đính kèm đgqợc lơiu chỉ mội sản trên máy chủ hMailServer. Mô lả quá trình chứng thực khi ngojời dòng lruy cập lệp in đính kèm .71 8 LOI MO DAU còng với sự phát trién chung cua 10am x4 hi, cong nghé thong tin da timg bojớc đojợc phát trién va dojgc img dung rong rai tOng thuc #. IIgay nay, mang Internet da phat trién thành mội mạng số liệu 10am cầu ch0 phép nhiều l0ại hình thông lin truyền đi trên nó.

Tr0ng số đó, lhơi điện lử (email) là mội dịch vụ đã và đang trở nên phô siến hơn sa0 giờ hết. Email ch0 phép chúng †a có thể gia0 dịch, tra0 đổi các thông tin qua lại một cách nhanh chóng, chính xác với độ tin cậy ca0. Tuy nhiên, dO đặc thù của một hệ thống email sẽ sa0 gồm nhiều ngojời dùng và mội ngojời dòng có thể nhận đojợc email từ một h0ặc nhiều ngojời dùng khác ở lr0ng hOặc ng0ài hệ thống. D0 vậy, có một vấn đề phát sinh là lojợng dữ liệu tròng lặp (hông điệp thơt gửi đi, lệp đính kèm,.) có thể sẽ đojợc loiu trữ nhiều lần trên còng mot may chu email.

Than thirc dojgc lính cấp thiết của đề lài, lôi đã liến hành nghiên cứu các phojơng pháp có khả năng chống trùng lặp dữ liệu để từ đó ứng dụng tr0ng hệ thống email nhằm mục đích lối giảm sự tròng lặp đữ liệu tr0ng việc gửi / nhận email trOng một hệ thống, đề từ đó liết kiệm không gian lơiu trữ máy chủ và lăng lốc độ truy xuất dữ liệu ch0 ngojời dùng. Tên dé tài khóa luận của lôi là: “Phát tiển tinh nang Wai bó dữ liệu lòng lặp (Daia Deduplidi0n) chủ dữ liệu đính kèm le0ng hệ thong tha điện tir sw dung phan mém BMailSeevee”. Đề h0àn lhành đojợc khóa luận này, lôi xin đojợc gửi lời cảm ơn chân thành đến Thầy giá0: TS.