PHÂN TÍCH DỮ LIỆU TÀI CHÍNH QUY MÔ LỚN Nhóm 02 - Lớp 02 PHƯƠNG PHÁP LÀM SẠCH DỮ LIỆU NỘI DUNG 1. Chuẩn hoá dữ liệu 2. Xử lý ngoại lệ 3. Scaling và Normalization 1.
Chuẩn hoá dữ liệu 1. Khái niệm Chuẩn hóa (Normalization) là quá trình tách bảng (phân rã) thành các bảng nhỏ hơn dựa vào các phụ thuộc hàm. Mục đích của chuẩn hoá là loại bỏ các dư thừa dữ liệu, các lỗi khi thao tác dư thừa và các lỗi khi thao tác dữ liệu (Insert, Delete, Update). Tuy nhiên việc này cũng làm tăng thời gian truy vấn do cần phải join nhiều bảng để lấy dữ liệu.
Các dạng chuẩn hóa dữ liệu dạng chuẩn 1. Chuẩn hoá dữ liệu Có 4 dạng cơ bản là dạng chuẩn: 1NF, 2NF, 3NF và BCNF. Chuẩn BCNF sẽ bao gồm 3 loại chuẩn là 1NF, 2NF và 3NF. Ngoài ra, còn có các dạng chuẩn hoá khác như: Chuẩn hoá dữ liệu 4NF, 5NF, 6NF.
Các dạng chuẩn hóa được sắp xếp từ thấp đến cao. Để chuẩn hóa 2NF thì cơ sở dữ liệu của phải đạt chuẩn 1NF, tương tự nếu muốn đạt chuẩn 3NF thì phải đạt chuẩn 1NF và 2NF. Chuẩn hoá 1NF - First Normal Form 1. Chuẩn hoá dữ liệu Một bảng (quan hệ) được gọi là ở dạng chuẩn 1NF nếu và chỉ nếu toàn bộ các miền giá trị của các cột có mặt trong bảng (quan hệ) đều chỉ chứa các giá trị nguyên tử (nguyên tố).
Dạng chuẩn hóa đầu tiên này yêu cầu mỗi cột03 trong bảng chỉ chứa các giá trị nguyên tử (không thể phân tách), và không có nhóm dữ liệu lặp lại. Nói cách khác, mỗi thuộc tính của bảng phải chứa một giá trị duy nhất. Chuẩn hoá 1NF - First Normal Form 1. Chuẩn hoá dữ liệu Ma SV Ho va ten Mail Domain SDT Lop abc stu.vn 0912345678 B21DCTC020 Nguyen Trung Anh TC02 123 gmail.com 0936782239 hahaha stu.vn 0837253828 B21DCTC230 Nguyen Thi Nhan TC01 hihihi gmail.com 0372986928 doilathe stu.vn 0636926388 B21DCTC032 Nguyen Van Doi TC02 Doichanv gmail.com 0378253863 03 => Bảng này đang vi phạm 1NF vì cột Mail chứa nhiều giá trị (nhiều mail) nên các giá trị trong cột không phải là nguyên tố.
Chuẩn hoá 1NF - First Normal Form 1. Chuẩn hoá dữ liệu Bảng dữ liệu trên sau khi đưa về dạng 1NF được biểu diễn như sau: Mã SV Họ va tên Mail Domain SDT Lớp B21DCTC020 Nguyen Trung Anh abc stu.vn 0912345678 TC02 B21DCTC020 Nguyen Trung Anh 123 gmail.com 0936782239 TC02 B21DCTC230 Nguyen Thi Nhan hahaha gmail.com 0837253828 TC01 B21DCTC230 Nguyen Thi Nhan hihihi stu.vn 0372986928 TC01 B21DCTC032 Nguyen Van Doi doilathe stu.vn 0636926388 TC02 B21DCTC032 Nguyen Van Doi Doichanv gmail. Chuẩn hoá 1NF - First Normal Form 1. Chuẩn hoá dữ liệu Mã SV Họ va tên Mail Domain SDT Lớp B21DCTC020 Nguyen Trung Anh abc stu.vn 0912345678 TC02 B21DCTC020 Nguyen Trung Anh 123 gmail.com 0936782239 TC02 B21DCTC230 Nguyen Thi Nhan hahaha gmail.com 0837253828 TC01 B21DCTC230 Nguyen Thi Nhan hihihi stu.vn 0372986928 TC01 B21DCTC032 Nguyen Van Doi doilathe stu.vn 0636926388 TC02 B21DCTC032 Nguyen Van Doi Doichanv gmail.com 0378253863 TC02 => Bảng trên đã đạt chuẩn hoá 1NF vì: Không có nhóm lặp trong bảng: tất cả các giá trị trong các cột đều là giá trị duy nhất và 03 không chứa nhóm lặp.
Mỗi hàng là duy nhất: mỗi hàng đại diện cho sự kết hợp duy nhất của các thuộc tính. Các cột có cấu trúc rõ ràng: các cột không chứa nhiều giá trị trong một ô, đảm bảo cấu trúc dạng chuẩn hoá 1NF. Chuẩn hoá 2NF - Second Normal Form 1. Chuẩn hoá dữ liệu Để chuẩn hóa dạng 2NF, yêu cầu dữ liệu phải Chuẩn hóa dạng 2NF sẽ tách dữ liệu đạt chuẩn 1NF và tất cả các thuộc tính không thành các bảng riêng biệt.
Mỗi bảng sẽ khóa (non-key attributes) phải phụ thuộc có khóa chính và khóa ngoại - là khóa hoàn toàn vào khóa chính (primary key). chính của bảng khác để liên kết các bảng lại với nhau. Chuẩn hóa dạng 2NF giúp dữ liệu không Chuẩn hóa dạng 2NF cũng giúp bảo toàn bị trùng lặp, tối ưu không gian lưu trữ và tính toàn vẹn của dữ liệu, khi đó các thao dễ dàng hơn trong việc quản lý và cập tác trên dữ liệu sẽ rõ ràng và chính xác nhập dữ liệu một cách nhất quán. hơn; tối ưu hóa hiệu suất truy vấn và dễ dàng phát hiện sửa lỗi dữ liệu.
Chuẩn hoá 2NF - Second Normal Form 1. Chuẩn hoá dữ liệu Chuẩn hóa bảng trên thành 2NF Mã SV Họ và tên Lớp Bảng 2 - Thông tin liên lạc sinh viên Mã SV Mail Domain SĐT B21DCTC020 Nguyen Trung Anh TC02 B21DCTC020 abc stu.vn 0912345678 B21DCTC230 Nguyen Thi Nhan TC01 B21DCTC020 123 gmail.com 0936782239 B21DCTC032 Nguyen Van Doi TC02 B21DCTC230 hahaha gmail.com 0837253828 Bảng 1 - Thông tin sinh viên B21DCTC230 hihihi stu.vn 0372986928 B21DCTC032 doilathe stu.vn 0636926388 B21DCTC032 Doichanv gmail. Chuẩn hoá 3NF - Third Normal Form 1. Chuẩn hoá dữ liệu Để chuẩn hóa dạng 3, dữ liệu phải đạt chuẩn 2NF và không có sự bắc cầu trong phụ thuộc hàm.
Dạng chuẩn hóa thứ ba tiếp tục cải thiện cấu trúc bảng bằng cách loại bỏ các phụ thuộc bắc cầu giữa các thuộc tính không khóa với nhau. Phụ thuộc chuyển tiếp xảy ra khi một thuộc tính phụ thuộc vào một thuộc tính khác không phải là khóa chính. Chuẩn hoá 3NF - Third Normal Form 1. Chuẩn hoá dữ liệu Mã SV Mail Domain SĐT Ở bảng này, Khoá chính B21DCTC020 abc stu.vn 0912345678 là Mã SV.
Các thuộc tính B21DCTC020 123 gmail.com 0936782239 trong bảng phụ thuộc vào khoá chính. B21DCTC230 hahaha gmail.com 0837253828 Tuy nhiên vẫn có sự phụ thuộc lẫn nhau giữa các B21DCTC230 hihihi stu.vn 0372986928 thuộc tính không phải khóa chính như: Mail B21DCTC032 doilathe stu.vn 0636926388 phụ thuộc vào Domain. B21DCTC032 Doichanv gmail. Chuẩn hoá 3NF - Third Normal Form 1.
Chuẩn hoá dữ liệu Mã SV SĐT Bảng 2 - Thông tin liên lạc bằng mail B21DCTC020 0912345678 Mã SV Mail Domain B21DCTC020 0936782239 B21DCTC020 abc stu.vn B21DCTC230 0837253828 B21DCTC020 123 gmail.com B21DCTC230 0372986928 B21DCTC230 hahaha gmail.com B21DCTC032 0636926388 B21DCTC230 hihihi stu.vn B21DCTC032 0378253863 B21DCTC032 doilathe stu.vn Bảng 1 - Thông tin liên lạc SĐT B21DCTC032 Doichanv gmail. Chuẩn hoá 3NF - Third Normal Form 1. Chuẩn hoá dữ liệu Sau khi chuẩn hóa, tách dữ liệu thành 2 bảng riêng biệt, ta loại bỏ được hoàn toàn sự phụ thuộc lẫn nhau giữa các thuộc tính không khóa trong bảng. Chuẩn hóa dạng 3NF cũng có những lợi ích giống với chuẩn hóa loại 2 nhưng hiệu suất được tối ưu hóa hơn, nhanh hơn, chính xác hơn vì dữ liệu được tổ chức hợp lý mà không bị dư thừa.
3NF là một dạng chuẩn hóa quan trọng giúp đảm bảo cơ sở dữ liệu hoạt động hiệu quả và ít xảy ra lỗi liên quan đến dữ liệu. Chuẩn hoá 3NF - Third Normal Form 1. Chuẩn hoá dữ liệu Đây là tổng quát để đạt được cấp chuẩn hoá 3NF trong chuẩn hoá dạng chuẩn 1. Chuẩn hoá dữ liệu Là dạng chuẩn hóa mạnh hơn so với BCNF thường được áp dụng trong các trường chuẩn hóa thứ 3 (3NF).
BCNF giải quyết hợp mà 3NF không đủ để loại bỏ các phụ thuộc các vấn đề mà 3NF có thể bỏ sót khi một bất hợp lý, đặc biệt là khi có nhiều khóa ứng viên bảng có nhiều khóa ứng viên (candidate trong một bảng. BCNF đảm bảo rằng CSDL có keys) và một trong các khóa này có thuộc cấu trúc mạnh mẽ và đáng tin cậy hơn. tính không khóa phụ thuộc vào nó. Chuẩn hoá dữ liệu Bảng lưu trữ về thông tin của các khóa học, trước khi chuẩn hóa BCNF => Bảng này dùng khóa chính kết hợp ClassID và Professor để xác định 1 lớp học.
Tuy nhiên có phụ thuộc hàm là Professor → Room, nghĩa là mỗi giáo sư chỉ có thể dạy trong một phòng học cụ thể. Điều này dẫn đến vấn đề khi một phòng học có thể được gán cho nhiều lớp học khác nhau, và bảng không đạt chuẩn BCNF. Chuẩn hoá dữ liệu Dữ liệu được chuẩn hóa BCNF 1. Các dạng chuẩn hóa dữ liệu khác 1.
Chuẩn hoá dữ liệu Chuẩn hóa dữ liệu trong cơ sở dữ liệu không chỉ dừng lại ở các dạng chuẩn từ 1NF đến BCNF, mà còn có các cấp cao hơn như chuẩn hóa cấp 4 (4NF), cấp 5 (5NF), và thậm chí là cấp 6 (6NF). Những cấp chuẩn hóa này nhằm mục đích tập trung vào việc loại bỏ các loại phụ thuộc phức tạp hơn, đảm bảo tính toàn vẹn và hiệu quả tối ưu của cơ sở dữ liệu. Chuẩn hoá dữ liệu 4NF 1. Chuẩn hoá dữ liệu 4NF tập trung vào việc loại bỏ các phụ thuộc đa trị (Multivalued Dependency - MVD).
Một bảng được coi là đạt chuẩn 4NF nếu nó đã đạt chuẩn Boyce- Codd Normal Form (BCNF) và không chứa các phụ thuộc đa trị không cần thiết. Chuẩn hoá dữ liệu 5NF 1. Chuẩn hoá dữ liệu 5NF tập trung vào việc loại bỏ các phụ thuộc kết hợp (Join Dependency). Một bảng được coi là đạt chuẩn 5NF nếu nó đã đạt chuẩn 4NF và không thể phân rã thành các bảng nhỏ hơn mà không làm mất thông tin.
Chuẩn hoá dữ liệu 6NF 1. Chuẩn hoá dữ liệu 6NF là dạng chuẩn hóa cao nhất và tập trung vào việc tách tất cả các thuộc tính vào các bảng có cấu trúc đơn giản nhất (atomic). Một bảng được coi là đạt chuẩn 6NF nếu nó không thể phân tách thêm mà vẫn giữ nguyên các phụ thuộc và quan hệ giữa các thuộc tính. Xử lý ngoại lệ 2.
Khái niệm Ngoại lệ là sự kiện không tránh khỏi, xuất hiện thường xuyên trong cuộc sống hàng ngày. Xử lý ngoại lệ 2. Ngoại lệ trong chuẩn hoá dữ liệu là gì ? “Điều kiện bất thường hoặc cần xử lý đặc biệt - thường thay đổi luồng bình thường của việc thực hiện chương trình” - theo Wikipedia Và việc xử lý chúng đòi hỏi: “Cấu trúc ngôn ngữ lập trình chỉ định rõ ràng hoặc cơ chế phần cứng máy tính phù hợp” Vì vậy, các ngoại lệ cần được xử lý đặc biệt và một ngoại lệ chưa được xử lý có thể gây ra hành vi không mong muốn. Kết quả thường có thể khó kiểm soát.
Xử lý ngoại lệ Ngoại lệ là một yếu tố cơ bản của lập trình hiện đại; nó tồn tại để làm cho phần mềm của chúng ta tốt hơn. Thay vì sợ ngoại lệ, chúng ta nên nắm lấy chúng và học cách hưởng lợi từ chúng. Xử lý ngoại lệ 2. Cơ chế ngoại lệ hoạt động Phát hiện ngoại lệ Xử lý ngoại lệ Lên cấp ngoại lệ “Ném” ngoại lệ Cuối cùng (Optional) 2.
Xử lý ngoại lệ 2. Cơ chế ngoại lệ hoạt động Phát hiện ngoại lệ Khi một đoạn mã gặp lỗi hoặc tình huống bất thường, một ngoại lệ (exception) được phát sinh. Ví dụ, khi chia cho 0 hoặc mở một tệp không tồn tại, hệ thống phát sinh ngoại lệ. “Ném” ngoại lệ Khi một lỗi xảy ra, hệ thống hoặc mã lệnh sẽ ném một đối tượng ngoại lệ (exception object) chứa thông tin về lỗi.