Chương 1.-- 2 2SE2EE2 2 1EE12112112112112112112111. Lý do chọn đề tài.---:- + St‡Sx+ SE EE1E11211211211211211211211 121.- 2: 2£ ©52+SE‡EE2EE9EEEEE1221571211271711711 21121. Cac nghién ctu lén quan uo. Giai đoạn định nghĩa các khung DQA và tiêu chí tổng quát.
Giai đoạn các khung DỌA ứng dụng trong lĩnh vực vụ thể. Giai đoạn DQA tự động.-SĂ se SS*sseireeereree 12 2. Các mô hình dự đoán kết quả sinh viên tốt nghiệp. NGHIÊN CỨU LÝ THUYẾÊT.
Chất lượng dit liệu. Vòng đời dữ liệu. Khung đánh giá chất lượng dữ liệu. Các tiêu chí đánh giá chất lượng dữ liệu.
Quy trình quản lý chat lượng dữ liệu. Mô hình dự đoán kết quả sinh viên tốt nghiệp. _ Kiến trúc dữ liệu lớn. Phương pháp nghién CỨU.
_ Tổng quan phương pháp nghiên cứu. _ Phân tích dữ liệu. Đánh giá chất lượng dữ liệu. Cải thiện chất lượng dữ liệu.
Dự đoán kết quả tốt nghiệp của sinh viên. Quản lý chất lượng dữ liệu trên kiến trúc dữ liệu lớn. TRINH BAY, DANH GIÁ BAN LUẬN VE KET QUẢ. Thiết kế thực nghi@m.
Kết quả thực nghiệm .----¿- 2 2+S<+SE+EE+EESEEEEEEEEEEEEEEEEE2E12E. Đánh giá kết quả thực nghiệm.-- 2-2 2 2+S£+E++E£+E+EE+E++EzEzrerreee 51 Chương 5.cc-S22-55- 252 EE EEEEEEEEEEEEEEErkrrkrrkerkee 54 Chương 6. _ HƯỚNG PHÁT TRIỂN.-- 2: 22©5<+E++E£+EE£EEE£EEeEEerkerrkerxee 56 TÀI LIEU THAM KHÁO.s- (tt SE SEEEE‡EEEEEEEEEEEEEEEEEEEEEEEEkEEEEkrkekrrkrkrrerke 57 DANH MỤC HÌNH Hình 1. Ảnh hưởng của DQ kém trong Data Lake.
Biéu đồ đám mây từ mô tả các độ đo DQA và mức độ phố biến của chúng. Vòng đời dữ liệu.---- 2-2 2 ++cz+EzEzEzxezreee 18 Hình 3. Một quy trình bốn giai đoạn trong quy trình DQM. Hình ảnh biéu diễn giải thuật Decision Tree.
Dữ liệu hoạt động trên kiến trúc dữ liệu lớn.- - 2s ec++s+sezx+xez 22 Hình 3. Một mô hình kiến trúc Big Data được đề xuất bởi Microsoft. Biểu đồ cột thống kê tổng số sinh viên nhập học của từng khóa đào tạo 27 Hình 3. Các biêu đồ phân bồ sinh viên theo khoa, theo tình trạng học (cập nhật vào năm 2022), theo ngành và theo hệ đào tạO.-- -- 6 5+ *Sc* + E+EEeseerreeesersree 27 Hình 3.
Biểu đồ phân bố sinh viên theo hệ đào tao ở các năm từ 2006 đến 2022. Biéu đồ phân bồ sinh viên theo khoa ở các năm từ 2006 đến 2022. Biểu đồ phân bồ sinh viên theo dân tộc thé hiện sự gia tăng về sự đa dạng các dân tộc trong nhà trường ở các năm từ 2006 đến 2022. Biểu đồ phân bố sinh viên thé hiện sự gia tăng về tính đa dạng thành phan các tôn giáo trong nhà trường từ năm 2006 đến 2022.
Biểu đồ cột phân bồ sinh viên đã tốt nghiệp theo từng khóa đào tạo. Biểu đồ cột phân bố sinh viên đã tốt nghiệp theo bốn nhãn Kha, Giỏi, Trung Bình, XUAL SAC 1 ad 31 Hình 3. Biéu đồ cột phân bố sinh viên tốt nghiệp theo bốn loại kết quả tốt nghiệp của từng khóa đào tao từ 2006 đến 20 1. Năm tiêu chí DQA cho dữ liệu giáo dục đại học.
Sơ đồ mô tả hai cách DQA. Một là DQA cho từng bảng riêng lẻ. Hai là DQA tổng thé cho bộ dữ liệu dự đoán xếp loại tốt nghiệp. Sơ đồ quá trình cải thiện DQ.
Dữ liệu thô lưu trữ ở kho chứa Bronze. Dữ liệu đã làm sạch lưu trữ ở kho Silver. Dữ liệu đã cải thiện theo tác vụ phân tích lưu 0898 kho chia Gold. Hình ảnh mô tả sự khác nhau của hai cách tiếp cận để phát triển cây.
Cây bat đối xứng (bên trái) và cây đối xứng (bên phải). Mô hình dự đoán xếp loại tốt nghiệp.----- 2-22 ++x+ze+cxzee 38 Hình 3. Hình ảnh mô tả các loại dữ liệu từ nhiều nguồn được lưu trữ dưới dạng nguyên bản trong data lake .- - -- G11 HH HH 41 Hinh 3. So dé DQM trén kiến trúc dữ liệu lớn sử dụng hệ sinh thái Microsoft ÀZUT.
A co nen 41 Hình 4. Thống kê sự thay đối số lượng thuộc tinh theo các năm. Biéu đồ histogram thé hiện tỉ lệ số cột dữ liệu bị thiếu trong tổng số cột của từng dòng dit liệu đối với tiêu chí completeness trong các bảng DSSV. Biểu đồ cột trực quan số lượng bản ghi không đầy đủ các thuộc tính bắt buộc của bang DSSV và tổng số bản ghi của dữ liệu sinh viên từ năm 2006 đến 2022 Hình 4.
Biểu đồ cột thé hiện tổng số bản ghi không đầy đủ các thuộc tính bắt buộc của bang DIEM va tổng số bản ghi của dữ liệu điểm từ năm 2006 đến 2022. Một dashboard giám sát DQ theo thời gian trên công cụ Power BI. 53 DANH MỤC BANG Bảng 1. Các dịch vụ đã phát hành cung cấp giải pháp DQM phổ biến.
Bảng so sánh các khung DQA ở giai đoạn định nghĩa các khung đánh gia 8ï 009/09/1) 1. Bảng so sánh các khung DỌA ở giai đoạn các khung DQA ứng dụng trong lĩnh vực cụ thỂ. - - St SE EEE E311 EE11111111111111E 1111111111111 11. Bảng so sánh các nghiên cứu đánh gia DQ ở giai đoạn đánh giá DQ tự động ¬.
Bang so sánh hai phương pháp DQA chủ quan và DQA khách quan. Bảng mô tả tác vụ chính của bốn giai đoạn trong quy trình DQM. Bảng mô tả các bảng dữ liệu có cấu trúc trong bộ dữ liệu. Bang mô ta cách triển khai các phương pháp cải thiện DQ.
Bảng so sánh sự khác nhau của Data Warehouse va Data Lakehouse. Bảng mô tả các kiểm tra được thực hiện đối với từng tiêu chí DQA theo cấp độ dòng và cấp độ bảng. Bang mô tả các phương pháp đo lường dé thực thi các kiểm tra DQA đối với từng tiêu chí theo hai cấp đỘ.---¿--:- 2-5252 S22SE+EE2EEEEEEEE2EE2EE2EE2E12E222221e xe, 46 Bảng 4. Bảng kết quả trung bình của DQA trên từng bảng riêng lẻ.
Bảng dự đoán kết quả tốt nghiệp đối với dữ liệu trước và sau khi cải thiện DANH MỤC TU VIET TAT STT | Ky hiéu tir viét tat Từ day đủ 1 |DQ Data Quality (Chất lượng dit liệu) 2 DOA Data Quality Assessment (Danh gia chat lượng dir liệu) 3 DOM Data Quality Management (Quan ly chat lượng dir liệu) 4 LightGBM Light Gradient Boosting Machine 5 CatBoost Categorical Boosting TÓM TẮT KHÓA LUẬN Trong bối cảnh giáo dục hiện đại, kết hợp giữa sự phát triển mạnh mẽ của dữ liệu lớn và các công nghệ mới, thách thức mà các nhà quản lý giáo dục đầu ngành phải đối diện đó là làm cách nào dé quản lý và khai thác tốt khối lượng tài nguyên đa dạng và tận dụng chúng dé đưa ra những chiến lược hiệu qua cho sự phát triển bền vững của tổ chức. Các tổ chức không chỉ sử dụng nguồn dữ liệu nội bộ mà còn khai thác dữ liệu từ các nền tảng trực tuyến bên ngoài. Điều này giúp cho tổ chức sở hữu tập hợp dữ liệu đa dạng và phức tạp về nguồn, kiểu dit liệu, cách xử lý và cách lưu trữ. Đó cũng là lý do giải pháp hồ đữ liệu Data Lake ra đời với mục tiêu lưu trữ tất cả các phiên ban đữ liệu trong suốt vòng đời hoạt động vào một nơi duy nhất hỗ trợ truy cập dễ dàng và khai thác tối đa giá trị sử dụng của đữ liệu.
Tuy nhiên, chất lượng đữ liệu trong Data Lake thường gặp nhiều van đề như dữ liệu không chính xác, không day đủ, bị trùng lắp, thiếu tính nhất quán và bị lỗi thời. Các vấn đề này ảnh hưởng nghiêm trọng đến độ tin cậy và tinh ứng dụng trong việc sử dụng dit liệu dé đưa ra các quyết định và chiến lược quan trọng của tô chức. Do đó, mục tiêu của nghiên cứu này là dé giải quyết các van đề bằng cách dé xuất một giải pháp quản lý chất lượng dữ liệu bền vững trong môi trường kiến trúc dữ liệu lớn. Đồng thời, nghiên cứu cũng kiểm chứng mức độ hiệu quả của các phương pháp cải thiện chất lượng đữ liệu trên nhóm dữ liệu có cấu trúc đề xuất thông qua bài toán ứng dụng dự đoán xếp loại tốt nghiệp của sinh viên với hai phiên bản dữ liệu trước và sau khi cải thiện.
Quy trình quản lý DQ đề xuất gồm bốn giai đoạn chính: phân tích đặc điểm dữ liệu, triển khai các đánh giá DQ, giám sát kết quả đánh giá và tiến hành cải thiện đối với các dữ liệu dưới ngưỡng tiêu chuẩn. Quy trình này giúp cho người quản lý dit liệu có thé theo ddi mức độ 6n định của toàn bộ dữ liệu cả về tổng thé và chỉ tiết. Từ đó, người sử dụng dữ liệu có cơ sở tin cậy dé lựa chọn những dữ liệu phù hợp cho các tác vụ cần thiết. Hai mô hình máy học boosting tiên tiền LightGBM và CatBoost được sử dụng trong nghiên cứu để dự đoán kết quả loại tốt nghiệp của sinh viên.
Từ kết quả độ chính xác tăng 5%, nghiên cứu đánh giá tiềm năng của các phương pháp cải thiện đã đề xuất có hiệu quả tương đối tốt trên nhóm dữ liệu có cấu trúc. Cuối cùng, nghiên cứu đề xuất việc triển khai quy trình quan lý DQ trong Azure Data Lake Gen2 trên kiến trúc đữ liệu lớn với hệ sinh thái Microsoft Azure. Lý do chọn đề tài Có nhiều tiêu chí để đánh giá chất lượng dao tạo của một tổ chức giáo dục đại học, một trong số đó là kết quả tốt nghiệp của sinh viên. Tuy nhiên, dữ liệu giáo dục thường gặp các vấn đề như không chính xác, không đầy đủ, không cập nhật, không nhất quán, không liên quan.
Hậu quả của các vấn đề này như giảm độ chính xác của mô hình dự đoán, giảm độ tin cậy dẫn đến những quyết định thiếu chính xác dựa trên dữ liệu, cũng như gây thiệt hại về tài chính cho các bên liên quan được trực quan như hình 1. Bên cạnh đó, nâng cao tỉ lệ sinh viên tốt nghiệp đúng hạn với kết quả tốt luôn là mục tiêu được ưu tiên hàng đầu của các trường đại học. Kết quả tốt nghiệp tốt là một điểm cộng dé các ứng viên gây được ấn tượng ban đầu tốt với các nhà tuyển dụng và các nhà tuyển dụng cũng phần nào đánh giá được khả năng chuyên môn của ứng viên trong thời gian học tập tại trường đại học. Đề đạt được điều này, việc phát triển các phương pháp theo dõi định kỳ và can thiệp linh hoạt dé hỗ trợ sinh viên lúc khó khăn là vô cùng cần thiết.
Trong giới khoa học dữ liệu, có một câu nói nổi tiếng đó là “garbage in garbage out”, câu này có ý nghĩa là nếu dữ liệu đầu vào có chất lượng kém thì kết quả đầu ra cũng kém chất lượng, không đáng tin cậy, không mang lại ý nghĩa ứng dụng trong thực tế.