Chương 1: Tổng quan dé tài khóa luận. Chương 2: Công trình nghiên cứu liên quan. Chương 3: Cơ sở lý thuyết. Chương 4: Phương pháp thực nghiệm.
Chương 5: Thực nghiệm. Chương 5: Kết luận và đánh giá CHUONG 2. CONG TRÌNH NGHIÊN CỨU LIEN QUAN Trong bài báo khảo sát về chất lượng dữ liệu “An Overview of Data Quality Frameworks” [2], Corinna Cichy và Stefan Rass đã phân tích và so sánh các định nghĩa, phương pháp đánh giá và cải thiện chất lượng dit liệu có thé áp dụng trong nhiều ngữ cảnh khác nhau. Nhóm nghiên cứu còn cung cấp hướng dẫn chọn phương pháp chất lượng dữ liệu dựa trên một số tiêu chí cụ thê.
PIpino cùng các cộng sự trong bai báo "Data Quality Assessment" [3] đã mô tả một số phương pháp đánh giá chất lượng dữ liệu cả khách quan và chủ quan. Nhóm nghiên cứu đã trình bày cách kết hợp các đánh giá này thông qua các phương pháp như “simple ratio”, “min or max operation” và “weighted average”, và minh họa ứng dụng thực tế của chúng. Năm 2016, Reza Vaziri, Mehran Mohsenzadeh và Jafar Habibi đã đề xuất phương pháp Task-based Data Quality (TBDQ) [4]. Phương pháp này tập trung vào dữ liệu có cấu trúc và bao gồm hai giai đoạn chính: Đánh giá (Assessment) và Cải thiện (Improvement), được lặp lại theo chu kỳ cho đến khi đạt chất lượng dữ liệu mong muôn.
Năm 2018, David Camilo Corrales cùng các cộng sự đã đề xuất khuôn khổ DQF4CT [5] dé giải quyết van dé chất lượng dữ liệu trong các nhiệm vụ phân loại. Khuôn khổ này hướng dẫn người dùng cách xử lý các van đề dữ liệu và áp dung phương pháp làm sạch dữ liệu thích hợp. Thực nghiệm trên hai bộ đữ liệu thực tế cho thấy mô hình được huấn luyện với dữ liệu đã làm sạch đạt độ chính xác cao hon so với trước đây. Ashish Juneja và các cộng sự (2019) đã dé xuất khung tiền xử lý dé cải thiện chất lượng dữ liệu lớn trước khi phân tích, đặc biệt trong ứng dụng giám sát và dự báo thời tiết [7].
Nghiên cứu nhắn mạnh việc xử lý các khía cạnh của dữ liệu thô như làm sạch, lọc nhiễu, tích hợp, lọc và chuyền đôi, chuẩn hóa đữ liệu, nhằm cải thiện độ chính xác phân tích và giảm chi phí phát sinh. Nghiên cứu của C. Khung này nhân mạnh tam quan trọng của sự tham gia của tat cả các bên liên quan, sử dụng tiêu chuẩn BPMN 2.0 dé tạo ra các quy trình dé hiểu, và giúp các tô chức giảm thiểu van đề dư thừa đữ liệu, cung cấp "một phiên bản duy nhất của sự thật". Hima Patel cùng các cộng sự (2023) đã đề xuất khung AI tập trung vào dữ liệu nhằm tự động hóa quá trình phân tích dữ liệu và các tác vụ chất lượng đữ liệu [9].
Nghiên cứu này xác định các điểm đau trong giai đoạn chuẩn bị đữ liệu và phát triển bốn thuật toán mới, xây dựng công cụ tự động tạo mã Python tích hợp các thuật toán, giúp tăng năng suât và cải thiện độ chính xác của mô hình. Nghiên cứu nhắn mạnh sự cần thiết của việc đánh giá và cải thiện chất lượng đữ liệu trong tương lai. Nghiên cứu của Boshu Ru và các cộng sự (2023) triển khai và đánh giá khung đánh giá chất lượng dữ liệu trong ung thư học, đặc biệt là thời gian đến khi ngừng điều trị (rwTTD) [11]. Các tác giả đã áp dụng phương pháp Đánh giá Mức độ Phù hợp va Chat lượng Cụ thê theo Trường hợp Sử dụng trên hai cơ sở dit liệu ung thư, giúp xác định mức độ phù hợp và chất lượng của dữ liệu.
CƠ SỞ LY THUYET 3. Data Quality Dimension Data Quality Dimension là khía cạnh chất lượng dữ liệu, đây là những yếu tố hoặc tiêu chí cụ thể được sử dụng cho việc đo lường và đánh giá mức chất lượng ma bộ dữ liệu đạt được. Đánh giá chất lượng đữ liệu sẽ được thực hiện thông qua các thao tác đo lường các khía cạnh của dữ liệu dựa trên các tiêu chí rõ ràng, đây chính là giai đoạn cơ sở cho các bước phân tích và cải tiên khác nhau trên bộ dữ liệu. Mỗi dimension phản ánh van dé của một khía cạnh chất lượng khác nhau, do đó, có thé hiểu rằng đo lường các khía cạnh chính là đánh giá chất lượng của dit liệu.
Tùy thuộc vào những ngữ cảnh và trường hợp sử dụng khác nhau, những tiêu chí phù hợp sẽ được chọn đề tiến hành đánh giá và cải tiến. Độ chính xác (Accuracy): Dữ liệu có tính chính xác là dữ liệu phản ánh đúng thực tế và không có sai sót về mặt giá trị cũng như thông tin mô tả. Tính nhất quan (Consistency): Dữ liệu giữa các tập có sự đồng nhất, không xuất hiện sự mâu thuẫn về định dạng cũng như cấu trúc. Dữ liệu nhất quán giúp đảm bảo rằng các phần khác nhau của tập dữ liệu không mâu thuẫn với nhau.
Tính hợp lệ (Validity): Dữ liệu hợp lệ là dữ liệu đáp ứng được các yêu cầu và quy tắc đặt ra bởi hệ thống hoặc ứng dụng. Tính duy nhất (Uniqueness): Dữ liệu không bị trùng lặp và có tính duy nhất. Dữ liệu duy nhất giúp dam bảo rằng mỗi điểm dữ liệu chỉ xuất hiện một lần trong tap dữ liệu, tránh sự trùng lặp và lãng phí tài nguyên. Khung chat lượng dữ liệu (data quality framework) 3.
Khái niệm Data Quality Framework là một phương pháp có hệ thống dé quan lý và dam bảo chất lượng đữ liệu. Nó đóng vai trò như một lộ trình chỉ dẫn cho các tô chức trong việc xử lý dữ liệu nhằm đảm bảo độ tin cậy và tính hữu ich của thông tin. Để xây dựng một khung chất lượng đữ liệu phù hop, cần xem xét các yếu tố sau: bối cảnh đữ liệu (context of data), hệ thống thông tin (information system), và loại hình kinh doanh (type of business). Các tiêu chí chính của khung này bao gồm: Chức năng (Functionality): Khung cần tích hợp các chức năng cơ bản như kiểm tra, giám sát, và báo cáo đê đảm bảo chât lượng dữ liệu.
Tính linh hoạt (Flexibility): Khung cần có khả năng thích ứng với nhiều ngành công nghiệp và loại dữ liệu khác nhau. Do Lường và Dinh Lượng (Measurable and Quantifiable Dimension): Các tiêu chí trong khung phải có khả năng đo lường và định lượng để đánh giá mức độ cải thiện chất lượng đữ liệu. Hướng Dẫn Triển Khai Thực Tiễn (Practical Implementation Steps): Cần cung cấp hướng dẫn chi tiết về cách triển khai thực tế, bao gồm thu thập, xử lý, và đánh giá chất lượng đữ liệu. Việc triển khai khung chất lượng dữ liệu một cách hiệu quả giúp các tô chức có thé đưa ra các quyết định dựa trên dữ liệu một cách tự tin hơn.
Kết quả là dit liệu sẽ đảm bảo được độ chính xác, tính nhất quán và đáng tin cậy. Phương pháp đo lường Đề đánh giá các khía cạnh chất lượng và xác định mức độ chất lượng của bộ dữ liệu, có thể sử dụng hai phương pháp chính: đánh giá chủ quan và đánh giá khách quan. Đánh giá chủ quan Đánh giá chủ quan liên quan đến việc thu thập ý kiến từ những người sử dụng dữ liệu thông qua các bảng khảo sát, thường dựa trên các tiêu chí như tính chính xác và tính đầy đủ của dit liệu. Tuy nhiên, phương pháp này có một số hạn chế.
Kết quả đánh giá có thé bị ảnh hưởng bởi kinh nghiệm và hiểu biết của người đánh giá, dẫn đến sự không nhất quán và thiếu chính xác. Việc so sánh và đo lường cũng gặp khó khăn do thiêu các tiêu chí cụ thê. 10 Đánh giá khách quan Trong nghiên cứu của chúng tôi, chúng tôi tập trung vào phương pháp đánh giá khách quan, thực hiện việc đo lường và đánh giá chất lượng đữ liệu dựa trên các tính toán cụ thể. Các số liệu này giúp đo lường một cách rõ ràng và khách quan các khía cạnh chất lượng dữ liệu.
Tùy vào khung và tính chất của dữ liệu, các tiêu chí đo lường sẽ khác nhau. Tính chính xác và nhất quán: Phương pháp này sử dụng các tiêu chí cụ thé dé đảm bảo tính chính xác và nhất quán trong quá trình đánh giá. Dựa trên các tiêu chí rõ ràng: Các tiêu chí rõ rang va minh bạch giúp loại bỏ yếu tố chủ quan, làm cho quy trình đo lường và đánh giá trở nên rõ ràng hơn 3. Khả năng so sánh và đo lường: Phương pháp này cho phép so sánh và đo lường giữa các trạng thái dữ liệu khác nhau, giúp theo dõi sự thay đổi và cải thiện chất lượng đữ liệu theo thời gian.
Nhược điểm: Mặc dù phương pháp đánh giá khách quan có nhiều ưu điểm như tính chính xác, nhất quán, tiêu chí đo lường cụ thể và khả năng so sánh, nhưng cũng tồn tại một số nhược điểm cần lưu ý khi áp dụng dé đánh giá chất lượng dữ liệu. Ton thời gian và công sức: Quá trình thu thập, phân tích và đánh giá dữ liệu đòi hỏi nhiều thời gian và công sức, đặc biệt khi xử lý các tập đữ liệu lớn và phức tạp. Yêu cầu kiến thức chuyên môn cao: ĐỀ xác định các tiêu chí đo lường và thực hiện đánh giá, cần có kiến thức chuyên sâu trong lĩnh vực ứng dụng va dit liệu, thường cần sự tham gia của các chuyên gia. Khó đánh giá các yếu tố khó định lượng: Một số yếu tố như mức độ phù hợp của dữ liệu đối với người dùng khó có thé được định lượng một cách khách quan.
Dé 11 giải quyết van dé này, có thể kết hợp cả hai phương pháp đánh giá chủ quan và khách quan dé có cái nhìn toàn diện hơn về chất lượng dữ liệu. Thuật toán phân loại đa lớp Trong nghiên cứu này, tôi đã thực nghiệm hai thuật toán phân loại đa lớp để dự đoán kết quả học tập của sinh viên: LightGBM va Catboost. LightGBM LightGBM được giới thiệu vào năm 2017, là một mô hình học máy dựa trên tập hợp, cải tiến từ thuật toán Gradient Boosting. LightGBM sử dụng các kỹ thuật tối ưu hóa đề tăng tốc độ huấn luyện và nâng cao hiệu suất mô hình.
Ý tưởng Tương tự như XGBoost, LightGBM tạo ra nhiều cây quyết định liên tiếp, trong đó mỗi cây mới có gang sửa lỗi của cây trước đó bằng cách tối thiểu hóa hàm mat mát. LightGBM sử dụng thuật toán Gradient Boosting Decision Tree (GDBT) để tối ưu hoa mô hình, bang cách tính toán gradient của hàm mat mát dé xác định cách cập nhật mô hình ở mỗi bước lặp. Nhờ vào việc sử dụng gradient, mô hình có thé điều chỉnh trọng sô của các đặc trưng dé cải thiện độ chính xác của dự đoán. LightGBM cũng áp dụng các kỹ thuật tính toán song song để tăng tốc độ huấn luyện.