BÀI TẬP THỰC HÀNH MÔN NHẬP MÔN PHÂN TÍCH DỮ LIỆU VÀ HỌC SÂU Bài tập được thiết kế theo từng lab, mỗi lab là 3 tiết có sự hướng dẫn của GV. Cuối mỗi buổi thực hành, sinh viên nộp lại phần bài tập mình đã thực hiện cho GV hướng dẫn. Những câu hỏi mở rộng/khó giúp sinh viên trau dồi thêm kiến thức của môn học. Sinh viên phải có trách nhiệm nghiên cứu, tìm câu trả lời nếu chưa thực hiện xong trong giờ thực hành.
1 BÀI TẬP THỰC HÀNH MÔN NHẬP MÔN PHÂN TÍCH DỮ LIỆU VÀ HỌC SÂU Nội dung LAB 1:. Tìm hiểu nghiệp vụ dữ liệu. Nhập liệu bằng công cụ từ file excel. Xác định dữ liệu định tính và định lượng.
Hiệu chỉnh các thang đo phù hợp và kiểu giá trị dữ liệu cho từng biến số. Hiệu chỉnh dữ liệu và xử lý dữ liệu thiếu. Chuyển đổi (transformation) dữ liệu theo khoảng cho trước. Tạo biến số phụ thuộc theo biến độc lập.
Tạo biến định tính phân loại. Trình bày dữ liệu cơ bản. Trực quan hóa dữ liệu cơ bản. Thiếu dòng tiêu đề ở file csv.
Nhiều biến lưu ở một cột. Dữ liệu cột chứa các giá trị đơn vị không nhất quán. Dữ liệu có một dòng trống. Dữ liệu có các dòng trùng lặp.
Các ký tự không phải ASCII. Giá trị bị mất. Tiêu đề cột là giá trị chứ không phải tên biến. Exploration Data Analysis (EDA).
Kỹ thuật function chain trong Pandas – pipe(). 12 2 BÀI TẬP THỰC HÀNH MÔN NHẬP MÔN PHÂN TÍCH DỮ LIỆU VÀ HỌC SÂU LAB 5:. Học cách phân tích dữ liệu thông qua các giá trị tóm tắt dữ liệu và qua biểu diễn hình học của dữ liệu. So sánh hai tập dữ liệu.
Vẽ đồ thị phân tán (scatter plot) thể hiện mối tương quan giữa 2 đại lượng. Tính hệ số tương quan giữa 2 đại lượng. Xây dựng phương trình hồi quy tuyến tính. Kiểm định phương trình hồi quy tuyến tính.
Tính khoảng sai số khi dự đoán các đại lượng. Xác định và xử lý các giá trị có ảnh hưởng đến phương trình hồi quy. Dựa vào phương trình hồi quy đã xây dựng để dự báo. Mô tả dữ liệu MNIST cho bài toán nhận dạng chữ viết tay.
Quá trình học và dự báo. Giới thiệu về thư viện NLTK. Tìm 1 từ với NLTK. Phân tích tần số của các từ.
Lựa chọn các từ trong văn bản. Bigrams và collocations. Sử dụng văn bản trên mạng. Rút trích văn bản từ trang html.
Phân tích cảm xúc người dùng. Bài tập áp dụng. 47 3 BÀI TẬP THỰC HÀNH MÔN NHẬP MÔN PHÂN TÍCH DỮ LIỆU VÀ HỌC SÂU LAB 1: Ự Ữ Ệ Nội dung: Thao tác dữ liệu điểm thi đại học của học sinh được cho bởi bảng bên dưới Mục tiêu: Sinh viên đạt được kiến thức sau ể ệ ụ ữ ệ ậ ệ ằ ụ ừ Xác đị ữ ệu định tính và định lượ ệ ỉnh các thang đo phù hợ ể ị ữ ệ ừ ế ố ệ ỉ ữ ệ ử ữ ệ ế ển đổ ữ ệ ảng cho trướ ạ ế ố ụ ộ ến độ ậ ạ ến đị ạ Dữ liệu được mô tả như sau Dữ liệu lưu trữ điểm trung bình môn, khu vực, khối thi và điểm thi đại học của 100 học sinh. T1, L1, H1, S1, V1, X1, D1, N1 lần lượt là điểm trung bình các môn Toán, Lý ,Hóa, Sinh, Văn, Sử, Địa, Ngoại ngữ năm lớp 10 T2, L2, H2, S2, V2, X2, D2, N2 lần lượt là điểm trung bình các môn Toán, Lý , Sinh, Văn, Sử, Địa, Ngoại ngữ năm lớp 11 T6, L6, H6, S6, V6, X6, D6, N6 lần lượt là điểm trung bình các môn Toán, Lý ,Hóa, Sinh, Văn, Sử, Địa, Ngoại ngữ năm lớp 12 GT: Giới tính DT: Dân tộc KV, KT lần lượt là khu vực thi và khối thi DH1, DH2, DH3 lần lượt là điểm thi đại học môn 1, môn 2, môn 3 Sử dụng Pandas để thực hiện các yêu cầu sau đây Xác định và phân loại dữ liệu định tính và định lượng Định nghĩa các thang đo phù hợp cho từng biến số Sử dụng Python để tải dữ liệu lên chương trình và in ra màn hình 10 dòng đầu tiên và 10 dòng cuối cùng Thống kê dữ liệu thiếu cho cột dân tộc và hiệu chỉnh dữ liệu thiếu như sau: Mặc định thiếu thì điền giá trị 0.
Lập bảng tần số, tần suất để khảo sát dữ liệu thiếu, bao nhiêu dữ liệu riêng biệt (pand 2. Thực hiện thay thế dữ liệu thiếu bằng phương pháp điền dữ liệu 0 Thống kê dữ liệu thiếu cho biến T1 và hiệu chỉnh dữ liệu, lưu ý việc thay thế dữ liệu thiếu sử dụng phương pháp Mean. Lập bảng tần số, tần suất để khảo sát dữ liệu thiếu 2. Thực hiện thay thế dữ liệu thiếu bằng phương pháp Mean 4 BÀI TẬP THỰC HÀNH MÔN NHẬP MÔN PHÂN TÍCH DỮ LIỆU VÀ HỌC SÂU Hãy thực hiện xử lý lần lượt tất cả dữ liệu thiếu cho các biến về điểm số còn lại.
Tạo các biến TBM1, TBM2, TBM3 tương ứng với trung bình môn của các năm lớp 10, 11 và Công thức tính: T Tạo các biến xếp loại XL1, XL2 và XL3 dựa trên TBM1,TBM2 và TBM3 cho từng năm lớp 10, 11, 12 như sau: Nhỏ hơn 5.0 xếp loại: yếu (kí hiệu là Y) Từ 5.5: trung bình (kí hiệu là TB) Từ 6.0 trở lên: xuất sắc (kí hiệu là XS) Tạo các biến US_TBM1, US_TBM2 và US_TBM3 để chuyển điểm trung bình các năm lớp 10, 11 và 12 từ thang điểm 10 của Việt Nam sang thang điểm 4 của Mỹ. Sử dụng phương Tạo biến kết quả xét tuyển (kí hiệu là KQXT) nhằm xác định sinh viên đậu (giá trị ―1‖) và rớt ( giá trị ―0‖) vào các khối dựa trên điểm DH1, DH2 và DH3 như sau Với khối A, A1 nếu [(DH1*2 + DH2 + DH3)/4] lớn hơn hoặc bằng 5.0 thì đậu, ngược lại là rớt Với khối B nếu [(DH1 + DH2*2 + DH3)/4] lớn hơn hoặc bằng 5.0 thì đậu, ngược lại là rớt Với khối khác nếu [(DH1+ DH2 + DH3)/3] lớn hơn hoặc bằng 5.0 thì đậu, ngược lại là rớt Lưu trữ dữ liệu xuống ổ đĩa thành file LAB 2: Ự Ữ Ệ Nội dung: Trực quan hóa dữ liệu điểm thi đã được xử lý Mục tiêu: Sinh viên đạt được kiến thức sau. ữ ệu cơ bả ự ữ ệu cơ bả ần 1: Thống kê dữ liệu Hãy sắp xếp dữ liệu điểm DH1 theo thứ tự tăng dần Hãy sắp xếp dữ liệu điểm DH2 tăng dần theo nhóm giới tính Hãy tạo pivot table để thống kê các giá trị count, Q2 và Q3 của DH1 theo KT Hãy tạo pi table để thống kê các giá trị count, Q2 và Q3 của DH1 theo KT và KV Hãy tạo pivot table để thống kê các giá trị count, Q2 và Q3 của DH1 theo KT, KV và DT Phần 2: Trình bày dữ liệu 5 BÀI TẬP THỰC HÀNH MÔN NHẬP MÔN PHÂN TÍCH DỮ LIỆU VÀ HỌC SÂU Hãy trình bày dữ liệu biến: GT Gợi ý Lập bảng tần số và tần suất Vẽ biểu đồ tần số (cột), biểu đồ tần suất (tròn) Hãy trình bày dữ liệu lần lượt các biến: Hãy trình bày dữ liệu biến DT với các học sinh là nam dữ liệu biến KV với các học sinh là nam thuộc dân tộc Kinh, có điểm thỏ mãn điều kiện (DH1 >= 5.0) Hãy trình bày dữ liệu lần lượt các biến DH1, DH2, DH3 lớn hơn bằng 5.0 và thuộc khu vực 2NT Phần 3: Trực quan hóa dữ liệu theo nhóm phân loại Trực quan dữ liệu học sinh nữ trên các nhóm XL1, XL2, XL3 dạng unstacked Gợi ý Lọc dữ liệu giới tính là nữ Oy: Chiều cao biểu đồ cột thể hiển số lượng học sinh theo xếp loại Màu sắc thể hiện giá trị xếp loại: [Y, TB, K, G, XS] Ox: thể hiện nh Trực quan dữ liệu KQXT trên nhóm học sinh có khối thi A, A1, B thuộc khu vực 1, 2 Trực quan dữ liệu số lượng thí sinh từng khu vực dựa trên từng nhóm khối thi Trực quan dữ liệu số lượng thí sinh đậu, rớt trên từng nhóm khối thi Trực quan dữ liệu số lượng thí sinh đậu rớt trên từng nhóm khu vực. Trực quan dữ liệu số lượng thí sinh đậu rớt dựa trên từng nhóm dân tộc Trực quan dữ liệu số lượng thí sinh đậu rớt dựa trên từng nhóm giới tính.
Phần 4: Trực quan hóa dữ liệu nâng cao Vẽ biểu đồ đường Simple cho biến T1 Kết quả Hãy tạo biến phân loại (phanlopt1) cho môn toán (T1) như sau: Từ 0 đến dưới 5 = kém (ký hiệu ―k‖) Từ 5 đến dưới 7 = trung bình (ký hiệu ―tb‖) Từ 7 đến dưới 8 = khá (ký hiệu ―k‖) Từ 8 trở lên = giỏi (ký hiệu ―g‖) 6 BÀI TẬP THỰC HÀNH MÔN NHẬP MÔN PHÂN TÍCH DỮ LIỆU VÀ HỌC SÂU Lập bảng tần số cho biến phanloait1 Vẽ biểu đồ đường Multiple Line cho biến T1 được phân loại bởi biến phanlopt1 Kết quả Vẽ biểu đồ Drop line cho biến T1 được phân loại bởi biến phanlopt1 Kết quả Phần 5: Mô tả dữ liệu và khảo sát dạng phân phối Hãy mô tả và khảo sát phân phối cho biến T1 Gợi ý Mô tả độ tập trung và phân tán của dữ liệu T1 Vẽ biểu đồ Box Plot và xác định các 10 đại lượng trong biểu đồ đó Mô tả hình dáng lệch của phân phối T1 dựa vào các đại lượng hướng tâm Vẽ biểu đồ Histogram biểu thị hình dáng phân phối Mô tả các đặc trưng của phân phối, mức độ lệch và mức độ nhọn 7 BÀI TẬP THỰC HÀNH MÔN NHẬP MÔN PHÂN TÍCH DỮ LIỆU VÀ HỌC SÂU Kiểm chứng phân phối chuẩn QQ Nhận xét và đánh giá về phân phối của T1 Hãy mô tả và khảo sát phân phối cho biến T1 trên từng nhóm phân lớp (phanlopT1) Gợi ý Trực quan hóa biểu đồ plot theo phân nhóm là giá trị của ‗phanlopT1‘.