CHƯƠNG 1: KHÁM PHÁ DỮ LIỆU VÀ BÁO CÁO CHẤT LƯỢNG DỮ LIỆU 1. Chuyển đổi bộ dữ liệu Chuyển đổi dữ liệu từ định dạng .xlsx là một quy trình khá đơn giản và có thể được thực hiện bằng cách sử dụng các công cụ phần mềm phổ biến như Microsoft Excel hoặc các thư viện lập trình như pandas trong Python. Dưới đây là các bước để thực hiện việc chuyển đổi này: Cách 1. Sử dụng Microsoft Excel (1) Mở tập tin .csv trong Excel ▪ Mở Microsoft Excel.
▪ Chọn "File" -> "Open" và duyệt đến tập tin .csv bạn muốn chuyển đổi. ▪ Chọn tập tin .csv và nhấp "Open". Excel sẽ tự động nhận diện các cột và hàng trong tập tin. (2) Lưu tập tin dưới định dạng .xlsx ▪ Sau khi tập tin .csv đã được mở trong Excel, chọn "File" -> "Save As".
▪ Trong phần "Save as type", chọn "Excel Workbook (*. ▪ Chọn vị trí lưu và nhấn "Save". Sử dụng Google Sheets (1) Tải lên tập tin .csv ▪ Mở Google Drive và đăng nhập vào tài khoản của bạn. ▪ Kéo và thả tập tin .csv vào Google Drive hoặc nhấp vào nút "New" -> "File upload" và chọn tập tin.
(2) Mở tập tin trong Google Sheets ▪ Sau khi tập tin được tải lên, nhấp đúp vào tập tin để mở nó trong Google Sheets. (3) Lưu tập tin dưới định dạng .xlsx ▪ Chọn "File" -> "Download" -> "Microsoft Excel (. ▪ Tập tin sẽ được tải xuống dưới định dạng. Trang 5 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS.
NGUYỄN MẠNH TUÂN Quá trình chuyển đổi từ .xlsx (hoặc ngược lại) có thể được thực hiện dễ dàng bằng Microsoft Excel hoặc Google sheet. Cách sử dụng phụ thuộc vào nhu cầu của bạn: nếu bạn chỉ cần chuyển đổi một vài tập tin, Excel và Google sheet có thể là lựa chọn tốt. Khám phá dữ liệu Báo cáo chất lượng dữ liệu bao gồm các báo cáo dạng bảng mô tả đặc điểm từng tính năng trong bảng cơ sở phân tích (ABT) bằng cách sử dụng các biện pháp thống kê tiêu chuẩn về xu hướng và biến thể trung tâm. Các bước phân tích bộ dữ liệu trong RapidMiner 1.
Trực quan hóa, thông kê cơ bản dữ liệu Bước 1. Import Data vào Read Excel Hình 1.1 Nhập dữ liệu vào Rapidminer Trang 6 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS. NGUYỄN MẠNH TUÂN Bước 2. Modeling Hình 1.
Chạy model Sau khi Run, thu được các kết quả như sau: a) Absenteeism time b) Age Trang 7 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS. NGUYỄN MẠNH TUÂN c) Body mass index d) Day of the week e) Disciplinary failure Trang 8 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS. NGUYỄN MẠNH TUÂN f) Distance from Residence to Work g) Education h) Height Trang 9 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS. NGUYỄN MẠNH TUÂN i) Hit target j) ID k) Month of absence Trang 10 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS.
NGUYỄN MẠNH TUÂN l) Pet m) Reason for absence n) Season Trang 11 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS. NGUYỄN MẠNH TUÂN o) Service time p) Social drinker q) Social smoker Trang 12 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS. NGUYỄN MẠNH TUÂN r) Son s) Transportation Expense t) Weight Trang 13 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS. NGUYỄN MẠNH TUÂN u) Workload Average/day Hình 1.3: Đặc điểm liên tục (Continuous features) 1.
Ma trận tương quan Hình 1.4: Biểu đồ ma trận tương quan giữa các thuộc tính Trang 14 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS. NGUYỄN MẠNH TUÂN CHƯƠNG 2: MỤC TIÊU BÀI TOÁN KHOA HỌC DỮ LIỆU Mục tiêu nghiên cứu được đặt ra với bộ dữ liệu đã được thu thập nhầm pháttriển một mô hình hoặc phương pháp đánh giá mức độ béo phì dựa trên các thông tin về thói quen ăn uống và tình trạng thể chất của cá nhân từ các quốc gia như Mexico, Peru và Colombia. Đồng thời tạo ra một hệ thống dự đoán hoặc công cụ tính toán thông minh có khả năng phân loại mức độ béo phì của cá nhân dựa trên dữ liệu được thu thập từ cuộc khảo sát trực tuyến. Phân tích và xác định mối liên hệ giữa các yếu tố liên quan đến thói quen ăn uống, tình trạng thể chất và mức độ béo phì.
Cung cấp thông tin hữu ích và chi tiết về cách các yếu tố như tiêu thụ calo, tần suất hoạt động thể chất, và thói quen ăn uống có thể ảnh hưởng đến sự phát triển của béo phì. Cuối cùng đề xuất các phương pháp hiệu quả để đo lường và ước lượng mức độ béo phì dựa trên thông tin về thói quen ăn uống và tình trạng thể chất của cá nhân. Tổng quát, mục tiêu chính của nghiên cứu là cung cấp một cách tiếp cận hiệu quả và đáng tin cậy để đánh giá và dự đoán mức độ béo phì dựa trên dữ liệu về thói quen ăn uống và tình trạng thể chất. Chuẩn hóa dữ liệu (Normalization): Trong nghiên cứu việc chuẩn hóa dữ liệu có thể được thực hiện để đảm bảo rằng các thuộc tính có cùng phạm vi giá trị, giúp cho việc so sánh và phân tích dữ liệu dễ dàng hơn.
Các phương pháp chuẩn hóa thông thường như Min-Max, Z-score hoặc Robust có thể được áp dụng để đảm bảo rằng các thuộc tính có cùng đơn vị đo và phân phối. Trang 15 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS. NGUYỄN MẠNH TUÂN CHƯƠNG 3: CƠ SỞ LÝ THUYẾT 3. k-NN K-nearest neighbor (k-NN) [1] [2], một thuật toán phân loại có giám sát phổ biến trong học máy và khai phá dữ liệu, nổi tiếng với tính đơn giản và linh hoạt.
Thuật toán này phân loại dữ liệu dựa trên sự tương đồng với các điểm dữ liệu lân cận, được xem như nền tảng của phương pháp học phi tham số, đặc biệt hiệu quả khi xử lý các mô hình phức tạp [3].Thuật toán k-NN có thể được ứng dụng trong cả hai bài toán phân loại (classification) và hồi quy (regressions). Việc ứng dụng hiệu quả thuật toán k-NN đòi hỏi sự lựa chọn kỹ lưỡng ba yếu tố: số lân cận gần nhất (k), vectơ trọng số (α) và khoảng cách giữa các điểm dữ liệu. Tuy nhiên, việc xác định giá trị tối ưu cho k và α vẫn là một thách thức và đã được nghiên cứu rộng rãi từ những năm 1950 với nhiều phương pháp khác nhau. Hầu hết các nghiên cứu lý thuyết tập trung vào phương pháp tiệm cận, giả định số lượng mẫu (n) tiến đến vô cùng, bỏ qua trường hợp thực tế với số lượng mẫu hữu hạn [4].
Trong khi đó, phần lớn các nghiên cứu ứng dụng lại tập trung vào việc tìm giá trị k tối ưu cho từng tập dữ liệu cụ thể, bỏ qua cấu trúc và đặc tính của các điểm dữ liệu được gánnhãn cần ước tính. Thuật toán k-NN có khả năng dự đoán nhãn mục tiêu của một điểm dữ liệu bằng cách xác định phân lớp của các điểm láng giềng gần nhất với nó. Phương trình khoảng cách Euclidean thường được sử dụng để đo lường sự gần gũi giữa các điểm dữ liệu trong không gian đặc trưng: n d(x, y) = √∑(𝓍i − 𝓎i)2 i=1 Việc lựa chọn giá trị k trong thuật toán k-NN đóng vai trò quan trọng, ảnh hưởng trực tiếp đến hiệu quả của mô hình trên từng bộ dữ liệu cụ thể. Nếu k quá nhỏ, mô hình dễ bị ảnh hưởng bởi nhiễu và dẫn đến kết quả không chính xác.
Ngược lại,nếu k quá lớn, mô hình sẽ trở nên kém linh hoạt và tốn kém về mặt tính toán. Trang 16 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS. NGUYỄN MẠNH TUÂN 3. Naïve Bayes Giải thuật Naive Bayes [5] là một phương pháp phân loại dựa trên định lý Bayes, được sử dụng rộng rãi trong các bài toán phân loại và dự đoán.
Giải thuật này dựa trên giả định đơn giản (do đó có tên là "naive") rằng các thuộc tính của dữ liệu đầu vào là độc lập với nhau. Điều này có nghĩa là sự hiện diện hoặc giá trị của một thuộc tính không ảnh hưởng đến sự hiện diện hoặc giá trị của các thuộc tính khác, mặc dù trong thực tế, các thuộc tính này có thể có mối quan hệ với nhau. Cơ sở lý thuyết của giải thuật Naive Bayes xuất phát từ định lý Bayes trong xácsuất thống kê, được biểu diễn bằng công thức [6] Trong đó: • P(A|B) là xác suất xảy ra sự kiện A khi biết sự kiện B đã xảy ra. • P(B|A) là xác suất xảy ra sự kiện B khi biết sự kiện A đã xảy ra.
• P(A) là xác suất tiên nghiệm của sự kiện A. • P(B) là xác suất tiên nghiệm của sự kiện B. Khi áp dụng vào bài toán phân loại, A đại diện cho lớp cần dự đoán và B là vector các thuộc tính của mẫu dữ liệu. Mục tiêu của giải thuật là tìm ra xác suất cao nhất cho mỗi lớp có thể xảy ra, tức là: ŷ= argmaxc𝖾C P(C = c|X = x1 , x2 ,.
xn ) Dựa trên giả định độc lập, công thức trên có thể được viết lại thành: n P(C|X) = P(C) × 𝖦 P(xi|C) i=1 Trong đó: • P(C|X) là xác suất của lớp C khi biết dữ liệu X. • P(C) là xác suất tiên nghiệm của lớp C. • P(xi|C) là xác suất của thuộc tính xi khi biết lớp C. Giải thuật Naive Bayes bao gồm các bước Trang 17 KHOA HỌC DỮ LIỆU ỨNG DỤNG PGS.
NGUYỄN MẠNH TUÂN chính sau: (1) Huấn luyện: Tính toán các xác suất tiên nghiệm P(C) và các xác suất có điều kiện P(xi|C) từ tập dữ liệu huấn luyện. (2) Dự đoán: Đối với mỗi mẫu dữ liệu mới, tính toán xác suất P(C|X) cho mỗi lớp C và chọn lớp có xác suất cao nhất làm kết quả phân loại. Do tính đơn giản và hiệu quả trong tính toán, giải thuật Naive Bayes thường được áp dụng trong các ứng dụng như lọc thư rác, phân loại văn bản, và nhận dạng giọng nói. Tuy nhiên, do giả định độc lập của các thuộc tính, giải thuật này có thể không phù hợp với những dữ liệu mà các thuộc tính có mối quan hệ phức tạp với nhau.
Decision tree Giải thuật Decision Tree (Cây quyết định) là một phương pháp phân loại và hồi quy phổ biến trong học máy. Nó hoạt động bằng cách xây dựng một cây quyết định từ dữ liệu huấn luyện, trong đó mỗi nút của cây biểu diễn một thuộc tính của dữ liệu và mỗi nhánh biểu diễn một giá trị của thuộc tính đó. Mục tiêu của cây quyết định là chia nhỏ không gian dữ liệu thành các vùng nhỏ hơn và đồng nhất hơn cho đến khi đạt được các nút lá với các quyết định cuối cùng. Entropy và Information gain Entropy là thước đo độ hỗn loạn hay độ không chắc chắn trong một tập dữ liệu.
Nó được sử dụng để xác định thuộc tính nào sẽ phân chia dữ liệu tốt nhất.