TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BỘ MÔN CÔNG NGHỆ THÔNG TIN QUẢN TRỊ DỮ LIỆU - CT467 Chương 2: LƯU TRỮ VÀ CẤU TRÚC TẬP TIN Biên soạn: Ths. Nguyễn Thị Kim Yến Ntkyen@ctu.vn MỤC TIÊU CỦA CHƯƠNG 2_Buổi 1 Hiểu được cơ chế hoạt động của đĩa từ, công nghệ RAID và các mức RAID cơ bản. 1 NỘI DUNG 1 Các loại thiết bị lưu trữ 2 Đĩa từ và RAID 3 Quản lý bộ đệm 4 Tổ chức tập tin 5 Tổ chức mẫu tin trong tập tin 6 Chỉ mục và băm 7 Xử lý vấn tin 2 1. Các loại thiết bị lưu trữ Cache Truy xuất ngẫu Dung nhiên, lưu trữ lượng không ổn định lưu Main Memory (Bộ nhớ chính) trữ tăng Flash Memory (Bộ nhớ Flash) Truy Tốc xuất độ ngẫu truy Magnetic disk (Lưu trữ đĩa từ) nhiên, xuất lưu trữ giảm ổn định Optical disk (Lưu trữ đĩa quang học) Giá Truy giảm xuất Magnetic tape (Lưu trữ băng từ) tuần tự 3 1.
Các loại thiết bị lưu trữ (tt) Bộ nhớ trong Bộ nhớ ngoài 4 2. Đĩa từ và RAID 2.1 Đĩa từ • Đĩa từ: có dạng hình tròn, được làm nhôm, hợp chất gốm và thủy tinh, 2 mặt đĩa được phủ lớp từ tính và lớp bảo vệ. Các đĩa được xếp chồng và gắn trên cùng 1 trục. Đĩa từ và RAID (tt) 2.1 Đĩa từ - Cấu trúc vật lý Bề mặt từ tính của đĩa Cần di chuyển đầu đọc: Giúp các đầu từ dịch chuyển ngang trên bề mặt đĩa Đầu đọc/ghi dữ liệu: Mỗi mặt đĩa có đầu đọc riêng 6 2.
Đĩa từ và RAID (tt) 2.1 Đĩa từ - Cấu trúc vật lý • Spindle (trục quay): truyền chuyển động của đĩa từ • Platter (đĩa): Mỗi đĩa có thể sử dụng hai mặt • Động cơ: Được gắn đồng trục với trục quay và các đĩa 7 2. Đĩa từ và RAID (tt) 2.1 Đĩa từ - Cấu trúc luận lý • Track (rãnh): các vòng tròn đồng tâm trên bề mặt đĩa • Sector (cung): phần tử trên track, mỗi sector có 512 byte => chứa DL • Cylinder (mặt trục): tập hợp những track đồng Cluster: Tập tâm của tất cả các lá đĩa hợp 1 hoặc nhiều sector 8 2. Đĩa từ và RAID (tt) 2.1 Đĩa từ - Đo lường hiệu năng Dung lượng đĩa từ phụ thuộc mật độ tích hợp của các phần tử từ tính trên bề mặt đĩa • Lớp bôi trơn • Lớp bảo vệ • Lớp lưu trữ • Lớp nền 9 2. Đĩa từ và RAID (tt) 2.1 Đĩa từ - Đo lường hiệu năng Thời gian truy xuất: khoảng thời gian từ khi yêu cầu đọc/viết được phát đi đến khi bắt đầu truyền dữ liệu.
TG tìm kiếm TG trễ quay TG chuyển giao • Di chuyển đầu • Từ khi đầu đọc • Chuyển DL từ đọc để định vị được định vị đĩa vào bộ nhớ đúng track lên track cho hoặc ngược lại • 2.30ms đến khi tìm • 60.120 • Xấu 1/3 TGTK được sector vòng/giây cần đọc • 1/2 vòng quay 10 2. Đĩa từ và RAID (tt) 2.1 Đĩa từ - Đo lường hiệu năng Tốc độ truyền dữ liệu: tốc độ dữ liệu có thể được lấy ra từ đĩa hoặc được lưu trữ vào đĩa. Hiện nay tốc này vào khoảng1.5 Mbps Độ tin cậy (TG trung bình không sự cố): lượng TG trung bình hệ thống chạy liên tục không có bất kỳ sự cố nào. Đĩa từ và RAID (tt) 2.1 Đĩa từ - Tối ưu hóa truy xuất • Yêu cầu I/O sinh ra bởi hệ thống file và bộ quản trị bộ nhớ ảo • Đơn vị dữ liệu truyền giữa đĩa và bộ nhớ là khối, khối sẽ được tính ra số trụ của mặt + sectors.
Đĩa từ và RAID (tt) 2.1 Đĩa từ - Tối ưu hóa truy xuất • Cần có chiến lược nâng cao tốc độ truy xuất khối đĩa: – Định thời các tác vụ truy xuất đĩa (lập lịch biểu) để hạn chế di chuyển đầu đọc – Bố trí các file thường sử dụng vào vị trí thích hợp – Tăng tốc độ quay của đĩa – Giảm kích thước đĩa – Đĩa log 13 2. Đĩa từ và RAID 2.2 RAID - Định nghĩa • RAID - Redundant Array of Inexpensive Disks • Là hình thức gộp nhiều ổ đĩa cứng vật lý thành một hệ thống ổ đĩa cứng • Giúp gia tăng khả năng đọc/ghi và truy xuất dữ liệu từ ổ đĩa cứng 14 2. Đĩa từ và RAID (tt) 2.2 RAID - Mục đích và Lợi ích Mục đích • Nâng cao hiệu suất vận hành của toàn bộ hệ thống • Cải tiến hiệu năng thông qua quản lý song song • Tăng độ tin cậy nhờ tính lưu trữ dư thừa dữ liệu Lợi ích: • An toàn vì có cơ chế dự phòng • Hiệu quả cao, sử dụng bộ nhớ dung lượng lớn • Giá thành thấp 15 2. Đĩa từ và RAID (tt) 2.2 RAID - Các loại mức độ • Các nhân tố ảnh hưởng đến việc lựa chọn mức RAID: – Chi phí – Hiệu suất về số lượng hoạt động I/O – Hiệu năng khi hệ thống bị sự cố – Hiệu năng khi phục hồi • Raid phổ biến, được sử dụng nhiều đó là 4 loại RAID: Raid 0 – Raid 1 – Raid 5 – Raid 10 16 2.
Đĩa từ và RAID (tt) 2.1 RAID 0 - Striping (chia sọc) • Tách luồng dữ liệu thành các khối có kích thước nhất định => viết từng khối qua từng RAID • Lưu trữ dữ liệu không quan trọng cần được đọc/ghi ở tốc độ cao • Chỉnh sửa ảnh hoặc video 17 2. Đĩa từ và RAID (tt) 2.1 RAID 1 - Mirroring • Là một kỹ thuật lưu trữ các bản sao dữ liệu giống hệt nhau được lưu trữ trên các thành viên RAID cùng một lúc • Các dịch vụ yêu cầu về an toàn dữ liệu, không yêu cầu tốc độ đọc/ghi 18 2. Đĩa từ và RAID (tt) 2.1 RAID 5 - Parity • Là chẵn và lẻ. Nếu tổng của 2 khối dữ liệu là chẵn thì số bit là chẵn, nếu tổng của 2 khối dữ liệu là lẻ thì số bit là lẻ • Dịch vụ có số lượng truy cập và yêu cầu tài nguyên từ nhỏ đến vừa và lớn 19 2.
Đĩa từ và RAID (tt) 2.1 RAID 10 - Mirror + Stripe • Là sự kết hợp của RAID 1 và RAID 0. Với một mảng stripe (RAID 0) được sao chép qua một mảng mirror (RAID 1) • Phù hợp mọi đối tượng, dịch vụ • Yêu cầu về hiệu suất và đảm bảo an toàn dữ liệu 20 • Một số loại RAID • Hệ thống dùng Parity bits-bit chẵn lẻ, phân bổ qua nhiều ổ đĩa dữ liệu và ổ đĩa dự phòng. • Các bit dự phòng tính toán bằng mã Hamming, một dạng Mã Sửa Lỗi • Bộ điều khiển phức tạp, chuyên dụng và đắt tiền 21 • Một số loại RAID (tt) Hiệu năng truy xuất không cao • Dữ liệu được stripe qua nhiều ổ đĩa ở cấp độ byte • Parity được tính toán và lưu vào một ổ đĩa riêng biệt 22 • Một số loại RAID (tt) Cải tiến hiệu năng: Byte => Block • Dữ liệu được stripe qua nhiều ổ đĩa theo khối => khả năng chịu lỗi thông qua ổ đĩa parity riêng biệt 23 Cải tiến độ tin cậy thông qua sự dư thừa • Lưu trữ thông tin phụ, không cần thiết ==> nhưng sử dụng để tái tạo thông tin bị mất khi gặp sự số • Đơn giản là làm bản sao cho mỗi đĩa 24 Cải tiến hiệu năng thông qua song song • Nạp nhiều truy xuất nhỏ cân bằng ==> lượng dữ liệu được nạp tăng lên trong 1 đơn vị thời gian • Song song hóa các truy xuất lớn sao cho thời gian trả lời các truy xuất lớn giảm 25 NỘI DUNG 1 Các loại thiết bị lưu trữ 2 Đĩa từ và RAID 3 Quản lý bộ đệm 4 Tổ chức tập tin 5 Tổ chức mẫu tin trong tập tin 6 Chỉ mục và băm 7 Xử lý vấn tin 26 MỤC TIÊU CỦA CHƯƠNG 2_Buổi 2 Hiểu được phương pháp tổ chức tập tin và tổ chức các mẫu tin trong tập tin. Quản lý bộ đệm • Mục tiêu nổi trội của hệ CSDL là tối thiểu hóa số khối truyền giữa đĩa và bộ nhớ.
Một cách thực hiện là trữ sẵn trong RAM • Tuy nhiên, RAM không đủ để chứa tất cả DB → buffer. • Vùng lưu trữ dữ liệu tạm thời • Nằm bên trong ổ RAM máy tính • Để ngăn chặn sự tắc nghẽn dữ liệu 28 3. Quản lý bộ đệm (tt) • Hệ thống con đảm trách cấp phát không gian buffer được gọi là bộ quản trị buffer – Khối đã sẵn sàng trong buffer địa chỉ khối trong bộ nhớ chính được chuyển cho người yêu cầu. – Khối chưa có trong buffer bộ QT buffer cấp phát không gian trong buffer cho khối Kích cỡ CSDL có thể rất lớn không đủ chứa toàn bộ trong bộ nhớ chính → sử dụng các kỹ thuật: 29 3.
Quản lý bộ đệm (tt) Các kỹ thuật: 1. Chiến lược thay thế: Khi không có chỗ trong buffer → một khối phải xóa khỏi buffer → khối mới được đọc vào. Khối chốt: Khối không cho phép viết lại lên đĩa 3. Xuất ra bắt buộc các khối: nội dung bộ nhớ chính bị mất khi có sự cố, DL trên đĩa còn tồn tại sau sự cố 30 3.
Quản lý bộ đệm (tt) Chiến lược thay thế khối trong buffer: tối thiểu hóa các truy xuất đĩa • LRU: thay thế khối đã được dùng lâu nhất. • MRU: thay thế khối được dùng gần đây nhất. • Các thông tin khác: xác suất sử dụng (tự điển DL, index), thông tin từ các thành phần khác (bộ điều khiển cạnh tranh, hệ thống khôi phục)… 31 4. Tổ chức tập tin (file) • Một file được tổ chức logic như một dãy các mẩu tin (record) ánh xạ lên các khối đĩa.
• Có 2 loại mẩu tin: – Các mẫu tin có độ dài cố định – Các mẫu tin có độ dài thay đổi • Ta sẽ xét các phương pháp lưu trữ các mẩu tin vào trong file cho từng loại mẩu tin. Tổ chức tập tin (file) (tt) 4.1 Mẩu tin có độ dài cố định • Xét các mẩu tin trong file instructor, được định nghĩa như: 53 byte Vấn đề nảy sinh: Nếu kích thước của một khối không chia hết cho 53 thì một số bản ghi sẽ vượt quá một khối đĩa (một bản ghi có thể nằm trong hai khối đĩa. Phải truy xuất tới hai khối đĩa để đọc hay ghi một bản ghi. Tổ chức tập tin (file) (tt) 4.1 Mẩu tin có độ dài cố định • Cách giải quyết: Lưu mỗi bản ghi trong một khối.
Phần khoảng trống dư lại ở cuối khối sẽ bị bỏ qua. Khó khăn khi xóa một bản ghi Xóa mẩu tin thứ 3 Hình 1: File chứa các record Intructor 34 4.