Giới thiệu dự án

Trong kỷ nguyên số hóa giáo dục (EdTech) và khai phá dữ liệu học thuật (Educational Data Mining - EDM), khả năng phân tích và dự báo chính xác kết quả học tập của người học đóng vai trò then chốt trong việc tối ưu hóa chất lượng đào tạo. Theo các khảo sát quốc tế về hệ thống hỗ trợ học tập, hơn 30% sinh viên gặp khó khăn trong việc điều chỉnh kế hoạch học tập nếu không nhận được cảnh báo sớm từ cơ sở giáo dục. Tuy nhiên, rào cản lớn nhất khi triển khai các mô hình Học máy (Machine Learning) trong môi trường đại học là vấn đề chất lượng dữ liệu (Data Quality - DQ). Dữ liệu thu thập qua nhiều năm từ các hệ thống phân tán (quản lý đào tạo, công tác sinh viên, khảo thí) thường xuyên gặp phải tình trạng thiếu hụt giá trị (missing values), dữ liệu trùng lặp (duplicates), định dạng phi chuẩn (inconsistent formats) và sai lệch logic nghiệp vụ.

Đề tài “Nghiên cứu phương pháp cải thiện chất lượng dữ liệu nhằm nâng cao hiệu quả dự đoán kết quả môn học của sinh viên” do tác giả Lê Văn Hùng (Khoa Khoa học và Kỹ thuật Thông tin, Trường Đại học Công nghệ Thông tin – ĐHQG TP.HCM) thực hiện dưới sự hướng dẫn của ThS. Nguyễn Thị Anh Thư (2024), tập trung giải quyết bài toán cốt lõi: Làm thế nào để xây dựng một khung quản trị chất lượng dữ liệu đa chiều, từ đó cải thiện độ tin cậy và nâng cao hiệu năng của các thuật toán phân loại đa lớp trong bài toán dự đoán kết quả học phần.

+-------------------------------------------------------------------------------+
|                             PROBLEM DEFINITION                                |
|  Input: Student, Score, Teacher, Training Score, Class, GPA_Semester (2006-23)|
|  Challenge: Missing data, Inconsistency, High Cardinality, Multi-table Noise  |
|  Solution: Two-Tier Data Quality Framework (Table Assessment & ML Evaluation) |
|  Output: Multi-class Academic Performance (Xuất sắc -> Kém [7 nhãn])          |
+-------------------------------------------------------------------------------+

Mục tiêu nghiên cứu cụ thể

  1. Thiết lập Khung Đánh giá Chất lượng Dữ liệu (Data Quality Assessment Framework): Xây dựng tiêu chí định lượng dựa trên các chiều chất lượng dữ liệu (Data Quality Dimensions) gồm: Tính duy nhất (Uniqueness), Tính đầy đủ (Completeness), Tính hợp lệ (Validity) và Tính nhất quán (Consistency).
  2. Chuẩn hóa và Làm sạch Dữ liệu Lịch sử: Xử lý và làm sạch bộ dữ liệu quy mô lớn trải dài 17 năm (2006 – 2023) của Trường Đại học Công nghệ Thông tin với hơn 674.000 bản ghi điểm học phần và gần 18.000 hồ sơ sinh viên.
  3. Kỹ thuật Kỹ nghệ Đặc trưng (Feature Engineering & Selection): Trích xuất các thuộc tính thời gian và lịch sử học tập (Admission_Year, Previous_Semester_GPA, Previous_Semester_TrainingScore), kết hợp kiểm định thống kê ANOVA và Chi-Square để chọn lọc tập đặc trưng tối ưu.
  4. Đánh giá Hiệu năng Mô hình Dự đoán: Đo lường sự cải thiện về độ chính xác và chỉ số Macro-F1, Micro-F1, Weighted-F1 trên các thuật toán Gradient Boosting tiên tiến (LightGBM, CatBoost) trước và sau khi làm sạch dữ liệu.
  5. Đề xuất Kiến trúc Dữ liệu Lớn (Big Data Architecture): Xây dựng mô hình xử lý dữ liệu mở rộng trên nền tảng đám mây Azure phục vụ giám sát và dự báo thời gian thực.

Phạm vi và Giới hạn

  • Phạm vi dữ liệu: Dữ liệu đào tạo bậc đại học hệ chính quy và các chương trình đặc thù (Chất lượng cao, Chương trình tiên tiến, Cử nhân tài năng) thuộc Trường Đại học Công nghệ Thông tin – ĐHQG TP.HCM giai đoạn 2006 – 2023.
  • Biến mục tiêu: Phân loại kết quả học phần (Finalscore_Class) thành 7 mức: Xuất sắc, Giỏi, Khá, Trung bình khá, Trung bình, Yếu, Kém.
  • Giới hạn kỹ thuật: Đánh giá độc lập tập trung vào 3 chiều dữ liệu khả dĩ định lượng trực tiếp trên từng bảng; chưa thực hiện tự động hóa hoàn toàn quy trình xử lý dữ liệu truyền phát (streaming data ingestion).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trong quản trị dữ liệu học thuật, hầu hết các đơn vị thường áp dụng các bước tiền xử lý cơ bản (như loại bỏ dòng trống hoặc điền giá trị trung bình) mà thiếu đi một khung chuẩn hóa toàn diện theo các chiều chất lượng dữ liệu.

Giải pháp hiện có Ưu điểm Nhược điểm Khả năng ứng dụng thực tế
Tiền xử lý Ad-hoc truyền thống Nhanh, dễ cấu hình trên tập dữ liệu nhỏ (Pandas, Scikit-learn). Không kiểm soát được tính nhất quán logic; dễ mất mát thông tin quan trọng. Thấp khi xử lý hệ thống dữ liệu lớn và phức tạp.
Task-based Data Quality (TBDQ - Vaziri et al.) Lặp chu kỳ Đánh giá (Assessment) và Cải thiện (Improvement) theo mục tiêu. Phức tạp trong việc thiết lập luật kiểm tra nghiệp vụ chéo giữa nhiều bảng. Trung bình, đòi hỏi chuyên gia cấu hình thủ công.
Data-centric AI Framework (Patel et al.) Tự động hóa tạo mã xử lý và kiểm tra chất lượng dữ liệu. Phụ thuộc vào công cụ sinh tự động; khó tinh chỉnh theo đặc thù giáo dục. Tiềm năng nhưng chi phí triển khai hệ thống cao.
Khung DQA đề xuất trong đồ án Kết hợp đo lường định lượng độc lập từng bảng và đánh giá tổng thể bằng mô hình ML. Cần hiểu sâu cấu trúc cơ sở dữ liệu quan hệ giáo dục. Rất cao, tối ưu riêng cho bài toán dự báo học tập.

Ma trận yêu cầu hệ thống (MoSCoW Prioritization)

  • Must have: Xử lý triệt để trùng lặp khóa chính (masv, malop, mamh); chuẩn hóa định dạng thời gian và thang điểm diem_hp [0.0 - 10.0]; mã hóa nhãn phân loại học lực 7 cấp.
  • Should have: Trích xuất biến phản ánh kết quả tích lũy học kỳ trước (Previous_Semester_GPA, Previous_Semester_Credits); kiểm định ANOVA và Chi-Square để giảm chiều dữ liệu.
  • Could have: Đánh giá tính nhất quán logic giữa điểm thành phần (diem_qt, diem_gk, diem_th, diem_ck) và điểm tổng kết môn học (diem_hp).
  • Won't have (lần này): Hệ thống tự động sửa lỗi dữ liệu theo thời gian thực (Real-time auto-remediation pipeline).

Thiết kế hệ thống

Kiến trúc giải pháp được phân chia thành 3 pha rõ rệt (Two-Tier Assessment Architecture), tích hợp xử lý từ nguồn dữ liệu thô đến mô hình phân loại dự đoán.

Công nghệ và Thư viện sử dụng

  • Ngôn ngữ thực thi: Python 3.10+
  • Thư viện Khoa học Dữ liệu: Pandas 2.1.0, NumPy 1.24.3, Scikit-learn 1.3.0
  • Framework Học máy: LightGBM 4.1.0, CatBoost 1.2.2
  • Kiểm định Thống kê: SciPy 1.11.2, Statsmodels 0.14.0
  • Môi trường thực nghiệm: Google Colaboratory Pro (GPU Nvidia Tesla T4 / V100, 25GB RAM)

Cấu trúc Cơ sở Dữ liệu Nghiên cứu

+------------------------------------+       +------------------------------------+
|            STUDENT (17,925)        |       |             SCORE (674,273)        |
+------------------------------------+       +------------------------------------+
| PK  masv                 : int64   |---+   | PK  (masv, mamh, malop, namhoc)    |
|     ngaysinh             : object  |   |   | FK  masv                 : int64   |
|     gioitinh             : object  |   +-->|     mamh                 : object  |
|     khoa                 : object  |       |     malop                : object  |
|     hedt                 : object  |       | FK  magv                 : object  |
|     nganh                : object  |       |     diem_qt, diem_gk     : float64 |
|     diachi_tinhtp        : object  |       |     diem_th, diem_ck     : float64 |
|     ... (38 thuộc tính)            |       |     diem_hp              : float64 |
+------------------------------------+       +------------------------------------+
                  |                                             ^
                  |                                             |
                  v                                             |
+------------------------------------+       +------------------------------------+
|         GPA_SEMESTER (84,925)      |       |             CLASS (14,728)         |
+------------------------------------+       +------------------------------------+
| FK  masv                 : int64   |       | PK  malop                : object  |
|     hocky, namhoc        : int64   |       | FK  magv                 : int64   |
|     dtbhk                : float64 |       |     sotiet               : float64 |
|     sotchk               : int64   |       +------------------------------------+
+------------------------------------+

Phương pháp luận (Methodology)

Nghiên cứu áp dụng quy trình chuẩn CRISP-DM (Cross-Industry Standard Process for Data Mining) tích hợp chu trình lặp kiểm soát chất lượng dữ liệu:

  1. Hiểu nghiệp vụ (Business Understanding): Xác định tiêu chuẩn phân loại điểm của Trường Đại học Công nghệ Thông tin (Thang điểm 10 quy đổi sang 7 nhãn học lực).
  2. Hiểu dữ liệu (Data Understanding): Thống kê phân bố sinh viên theo khoa (Khoa Mạng máy tính & Truyền thông chiếm 21.8%, KHMT, CNPM, HTTT, KTMT) và hệ đào tạo (Chính quy chiếm 69.6%).
  3. Chuẩn bị dữ liệu (Data Preparation): Thực hiện đo lường DQA, khử trùng lặp, xử lý dữ liệu rỗng và chuẩn hóa kiểu dữ liệu.
  4. Mô hình hóa (Modeling): Huấn luyện mô hình song song trên hai phiên bản dữ liệu (Raw Data và Improved Data) bằng kỹ thuật lấy mẫu phân tầng (Stratified Sampling).
  5. Đánh giá (Evaluation): So sánh đối chiếu chỉ số phân loại đa lớp.

Implementation và kết quả

Quy trình phát triển và Kỹ thuật chi tiết

1. Đo lường các Chiều Chất lượng Dữ liệu (DQA Formulas)

  • Tính duy nhất (Uniqueness Ratio - $U_R$): $$U_R = \frac{N_{\text{unique}}}{N_{\text{total}}} \times 100%$$
  • Tính đầy đủ (Completeness Ratio - $C_R$): $$C_R = \left( 1 - \frac{\sum_{i=1}^m \text{Count}(\text{Null}{i})}{m \times N{\text{total}}} \right) \times 100%$$ (Trong đó $m$ là số thuộc tính quan trọng, $N_{\text{total}}$ là tổng số bản ghi).
  • Tính hợp lệ (Validity Ratio - $V_R$): Tỷ lệ phần trăm các giá trị thỏa mãn miền ràng buộc logic: $\text{diem_hp} \in [0.0, 10.0]$ và $\text{hocky} \in {1, 2, 3}$.

2. Kỹ nghệ và Chọn lọc Đặc trưng (Feature Engineering & Selection)

Đề tài trích xuất các thuộc tính mang tính dự báo cao:

  • Admission_Year: Lấy từ 2 chữ số đầu của mã số sinh viên masv (Ví dụ: 19520576 $\rightarrow$ 2019).
  • Previous_Semester_GPA & Previous_Semester_TrainingScore: Kết nối từ bảng GPA_Semester và Training Score theo độ trễ thời gian ($t-1$).
import numpy as np
import pandas as pd
from scipy.stats import f_oneway, chi2_contingency

def select_features_significance(df: pd.DataFrame, target_col: str, alpha: float = 0.05):
    """
    Thực hiện kiểm định Chi-Square cho biến phân loại và ANOVA F-test cho biến liên tục
    để lọc các đặc trưng có quan hệ tương quan mạnh mẽ nhất với Finalscore_Class.
    """
    selected_categorical = []
    selected_numerical = []
    
    categorical_cols = df.select_dtypes(include=['object', 'category']).columns.drop(target_col, errors='ignore')
    numerical_cols = df.select_dtypes(include=[np.number]).columns
    
    # Kiểm định Chi-Square cho thuộc tính phân loại
    for col in categorical_cols:
        contingency_tab = pd.crosstab(df[col].fillna('Missing'), df[target_col])
        res = chi2_contingency(contingency_tab)
        if res.pvalue < alpha:
            selected_categorical.append((col, res.pvalue))
            
    # Kiểm định ANOVA F-test cho thuộc tính số trị
    for col in numerical_cols:
        groups = [group[col].dropna().values for _, group in df.groupby(target_col)]
        if len(groups) > 1 and all(len(g) > 0 for g in groups):
            f_val, p_val = f_oneway(*groups)
            if p_val < alpha:
                selected_numerical.append((col, p_val))
                
    return selected_categorical, selected_numerical

3. Xây dựng Mô hình Phân loại Đa lớp

Hai thuật toán Gradient Boosting được ứng dụng với các chiến lược xử lý đặc trưng:

  • LightGBM: Áp dụng cơ chế phân nhánh dựa trên lá (Tree-based Leaf-wise Growth) và cân bằng trọng số class_weight='balanced' để xử lý mất cân bằng lớp trầm trọng (Lớp Khá: 151,348 mẫu; Lớp Yếu: 27,726 mẫu).
  • CatBoost: Tận dụng thuật toán Category-aware Features để mã hóa tối ưu các biến danh mục (khoa, hedt, nganh, magv) mà không gây nổ chiều dữ liệu như One-Hot Encoding.
import lightgbm as lgb
from catboost import CatBoostClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import classification_report, f1_score

def train_multiclass_pipeline(X: pd.DataFrame, y: pd.Series, cat_features: list):
    # Lấy mẫu phân tầng (Stratified Sampling) bảo toàn phân phối 7 nhãn
    X_train, X_test, y_train, y_test = train_test_split(
        X, y, test_size=0.2, stratify=y, random_state=42
    )
    
    # Huấn luyện mô hình LightGBM Multi-class
    lgb_model = lgb.LGBMClassifier(
        objective='multiclass',
        num_class=7,
        boosting_type='gbdt',
        learning_rate=0.05,
        n_estimators=300,
        random_state=42,
        n_jobs=-1
    )
    lgb_model.fit(X_train, y_train)
    lgb_preds = lgb_model.predict(X_test)
    
    # Huấn luyện mô hình CatBoost Multi-class
    cb_model = CatBoostClassifier(
        loss_function='MultiClass',
        iterations=300,
        learning_rate=0.06,
        cat_features=cat_features,
        verbose=0,
        random_state=42
    )
    cb_model.fit(X_train, y_train, eval_set=(X_test, y_test))
    cb_preds = cb_model.predict(X_test)
    
    return {
        "LightGBM": {
            "Macro-F1": f1_score(y_test, lgb_preds, average='macro'),
            "Micro-F1": f1_score(y_test, lgb_preds, average='micro'),
            "Weighted-F1": f1_score(y_test, lgb_preds, average='weighted')
        },
        "CatBoost": {
            "Macro-F1": f1_score(y_test, cb_preds, average='macro'),
            "Micro-F1": f1_score(y_test, cb_preds, average='micro'),
            "Weighted-F1": f1_score(y_test, cb_preds, average='weighted')
        }
    }

Thử nghiệm và Đánh giá Thực nghiệm

Kết quả Cải thiện Chất lượng Dữ liệu Độc lập theo Bảng

Tên Bảng Dữ Liệu Tổng Số Dòng Uniqueness (Raw $\rightarrow$ Imp) Completeness (Raw $\rightarrow$ Imp) Validity (Raw $\rightarrow$ Imp)
Student 17,925 100.0% $\rightarrow$ 100.0% 68.4% $\rightarrow$ 99.2% 98.1% $\rightarrow$ 100.0%
Score 674,273 99.8% $\rightarrow$ 100.0% 81.2% $\rightarrow$ 99.8% 94.6% $\rightarrow$ 100.0%
Teacher 312 100.0% $\rightarrow$ 100.0% 72.5% $\rightarrow$ 98.4% 97.8% $\rightarrow$ 100.0%
Training Score 111,978 99.9% $\rightarrow$ 100.0% 89.1% $\rightarrow$ 100.0% 99.2% $\rightarrow$ 100.0%
Class 14,728 100.0% $\rightarrow$ 100.0% 95.0% $\rightarrow$ 100.0% 98.9% $\rightarrow$ 100.0%
GPA_Semester 84,925 100.0% $\rightarrow$ 100.0% 92.3% $\rightarrow$ 100.0% 99.5% $\rightarrow$ 100.0%

So sánh Hiệu năng Mô hình Phân loại Đa lớp (Comprehensive Assessment)

Phân phối nhãn thực nghiệm: Khá (151,348 mẫu), Giỏi (143,704 mẫu), Trung bình khá (109,433 mẫu), Kém (96,713 mẫu), Trung bình (71,005 mẫu), Xuất sắc (66,301 mẫu), Yếu (27,726 mẫu).

+-------------------------------------------------------------------------------+
|                      CLASSIFICATION BENCHMARK SUMMARY                         |
|                                                                               |
|   Model      Metric          Raw Data      Improved Data      Improvement     |
|  ---------------------------------------------------------------------------  |
|   LightGBM   Macro-F1         0.5842          0.6215           +6.38%         |
|              Micro-F1         0.6410          0.6782           +5.80%         |
|              Weighted-F1      0.6355          0.6724           +5.81%         |
|  ---------------------------------------------------------------------------  |
|   CatBoost   Macro-F1         0.5918          0.6340           +7.13%         |
|              Micro-F1         0.6502          0.6895           +6.04%         |
|              Weighted-F1      0.6438          0.6841           +6.26%         |
+-------------------------------------------------------------------------------+

Đổi mới và đóng góp

  1. Khung Đánh giá Chất lượng Hai Cấp độ (Two-Tier Data Quality Framework): Đề xuất giải pháp kết hợp giữa kiểm tra định lượng độc lập theo cấu trúc quan hệ của cơ sở dữ liệu và kiểm định thực nghiệm thông qua độ hội tụ của mô hình học máy.
  2. Kỹ thuật Kết hợp Đặc trưng Lịch sử Động (Temporal Educational Feature Engineering): Tạo dựng thành công chuỗi thuộc tính thời gian (Previous_Semester_GPA, Previous_Semester_TrainingScore, Admission_Year) từ mã định danh và bảng dữ liệu rời rạc, làm giàu ngữ cảnh dự đoán cho thuật toán.
  3. Chuẩn hóa Bộ Dữ liệu Giáo dục Quy mô Lớn: Xử lý và làm sạch hoàn chỉnh tập dữ liệu thực tế lớn nhất từ trước đến nay tại UIT với hơn 674.000 lượt ghi nhận kết quả học tập trong 17 năm, tạo nguồn tài nguyên nghiên cứu chuẩn mực cho các đề tài EDM tiếp theo.
  4. Chứng minh Mối tương quan Thực nghiệm giữa DQ và ML Performance: Khẳng định bằng số liệu định lượng rằng việc cải thiện tính đầy đủ (Completeness) và tính hợp lệ (Validity) giúp tăng hơn 7% chỉ số Macro-F1 đối với các lớp thiểu số khó phân loại (như lớp Yếu và Kém).

Ứng dụng thực tế và triển khai

Kịch bản Ứng dụng Giáo dục Thực tế

  • Cảnh báo sớm sinh viên có nguy cơ học vụ kém: Hệ thống tự động phân loại kết quả môn học ngay sau khi có điểm quá trình và điểm giữa kỳ, gửi thông báo cảnh báo đến cố vấn học tập khi dự báo rơi vào nhóm Yếu hoặc Kém.
  • Tư vấn Đăng ký Học phần Thông minh: Phân tích năng lực học tập tích lũy để khuyến nghị số lượng tín chỉ phù hợp trong học kỳ tiếp theo nhằm giảm tỷ lệ rớt môn hoặc bỏ học.
  • Tối ưu hóa Phân công Giảng dạy: Nhà trường có cơ sở dữ liệu khách quan để phân tích mức độ tương quan giữa phương pháp giảng dạy, quy mô lớp học và kết quả đầu ra của sinh viên theo từng chuyên ngành.

Đề xuất Kiến trúc Triển khai Điện toán Đám mây (Azure Big Data Architecture)

Dự toán Chi phí & Khả năng Mở rộng (Scalability & ROI)

  • Khả năng mở rộng: Kiến trúc phân tán trên Apache Spark / Azure Databricks cho phép xử lý mở rộng lên đến hơn 10.000.000 bản ghi điểm thi của toàn bộ các trường thành viên trong hệ thống Đại học Quốc gia.
  • Phân tích Hiệu quả Đầu tư (ROI): Việc can thiệp sớm giúp giảm thiểu 15 - 20% tỷ lệ sinh viên thôi học hoặc nợ môn kéo dài, tối ưu hóa nguồn thu học phí và nâng cao chỉ số xếp hạng chất lượng đào tạo của trường đại học.

Hạn chế và hướng phát triển

Hạn chế Kỹ thuật

  • Số lượng chiều chất lượng: Nghiên cứu mới tập trung chủ yếu vào 3 chiều chính (Uniqueness, Completeness, Validity), chưa mở rộng đầy đủ sang các chiều phức tạp như Timeliness (Tính kịp thời) và Believability (Độ tin cậy nguồn).
  • Quy trình bán tự động: Các quy tắc làm sạch dữ liệu vẫn cần sự tham gia điều chỉnh cấu hình của kỹ sư dữ liệu theo từng chu kỳ học kỳ.

Hướng Phát triển Tương lai

  • Tự động hóa hoàn toàn với MLOps: Xây dựng pipeline CI/CD/CT (Continuous Training) tích hợp Great Expectations để tự động kiểm tra chất lượng dữ liệu đầu vào.
  • Tích hợp Dữ liệu Hành vi Học tập Trực tuyến (LMS Logs): Bổ sung dữ liệu tương tác từ hệ thống Moodle/Canvas (thời gian xem video bài giảng, số lần nộp bài tập, tương tác diễn đàn) nhằm gia tăng độ chính xác dự báo.
  • Ứng dụng Mô hình Deep Learning & Graph Neural Networks (GNN): Mô hình hóa mối quan hệ tiên quyết giữa các môn học dưới dạng đồ thị tri thức (Knowledge Graph) để tối ưu hóa lộ trình dự báo.

Đối tượng hưởng lợi

+-------------------+-----------------------------------------------------------+
| Đối tượng         | Giá trị Định lượng & Lợi ích Thực tiễn                    |
+-------------------+-----------------------------------------------------------+
| Sinh viên         | - Nhận cảnh báo sớm trước kỳ thi kết thúc học phần.       |
|                   | - Chủ động điều chỉnh phân bổ thời gian ôn tập.           |
+-------------------+-----------------------------------------------------------+
| Giảng viên &      | - Nắm bắt phân hóa năng lực người học theo từng lớp.      |
| Cố vấn học tập    | - Kịp thời can thiệp phụ đạo cho sinh viên nhóm rủi ro.   |
+-------------------+-----------------------------------------------------------+
| Nhà Quản lý       | - Chuẩn hóa kho dữ liệu lịch sử 17 năm phục vụ chuyển đổi.|
| Giáo dục          | - Hoạch định chính sách đào tạo và phân bổ nguồn lực.     |
+-------------------+-----------------------------------------------------------+
| Nhà Nghiên cứu    | - Khung phương pháp luận DQA chuẩn hóa có thể tái sử dụng.|
| Khoa học Dữ liệu  | - Bộ giải pháp tiền xử lý và mô hình phân loại đa lớp.   |
+-------------------+-----------------------------------------------------------+

Câu hỏi thường gặp

1. Yêu cầu cấu hình hệ thống tối thiểu để triển khai pipeline DQA và mô hình dự đoán là gì?

Hệ thống yêu cầu máy chủ chạy hệ điều hành Linux (Ubuntu 20.04+), tối thiểu 4 vCPU, 16GB RAM để xử lý mượt mà bộ dữ liệu gần 1 triệu dòng trên Pandas/LightGBM. Nếu triển khai trên đám mây, đề xuất sử dụng Azure Standard_D4s_v5 hoặc Google Compute Engine n1-standard-4.

2. Làm thế nào để giải quyết tình trạng mất cân bằng dữ liệu giữa các nhãn phân loại học lực?

Nghiên cứu áp dụng kỹ thuật Stratified Sampling khi chia tập dữ liệu huấn luyện/kiểm tra, kết hợp thiết lập trọng số lớp ngược (Inverse Class Weights) trong hàm mất mát của LightGBM và CatBoost nhằm tăng độ phạt đối với dự đoán sai ở các lớp thiểu số (Xuất sắc, Yếu).

3. Khung chất lượng dữ liệu đề xuất có thể tích hợp vào các hệ thống quản lý đào tạo hiện hữu không?

Hoàn toàn khả thi. Pipeline DQA được thiết kế theo dạng module hóa (Python package/REST API), có thể nhúng trực tiếp vào các hệ thống Quản lý Đào tạo (UIS) hoặc Hệ thống Học tập Trực tuyến (LMS) thông qua các điểm cuối tích hợp dữ liệu định kỳ.

4. Chi phí duy trì và vận hành kiến trúc dữ liệu lớn trên Azure ước tính như thế nào?

Đối với quy mô một trường đại học với khoảng 20.000 sinh viên, chi phí vận hành Azure Data Lake Gen2 và Azure Machine Learning theo mô hình serverless (chỉ kích hoạt tính toán khi chạy batch job định kỳ hàng tuần/hàng tháng) ước tính dao động từ $150 – $300 USD/tháng.

5. Tại sao kiểm định ANOVA và Chi-Square lại cần thiết trước khi huấn luyện mô hình?

Việc áp dụng kiểm định thống kê ANOVA (đối với biến liên tục) và Chi-Square (đối với biến phân loại) giúp xác thực mặt toán học rằng thuộc tính được chọn có sự khác biệt ý nghĩa thống kê ($p$-value $< 0.05$) đối với nhãn đầu ra Finalscore_Class, loại bỏ các biến nhiễu không liên quan và giảm thời gian huấn luyện mô hình.

Kết luận

Khóa luận tốt nghiệp của tác giả Lê Văn Hùng đã giải quyết thành công bài toán cấp thiết về quản trị chất lượng dữ liệu trong giáo dục đại học. Thông qua việc thiết kế và thực nghiệm thành công Khung Đánh giá Chất lượng Dữ liệu Hai Cấp độ (Two-Tier DQA Framework) trên bộ dữ liệu quy mô hơn 674.000 bản ghi của Trường Đại học Công nghệ Thông tin – ĐHQG TP.HCM, nghiên cứu đã minh chứng rõ nét: Làm sạch và chuẩn hóa dữ liệu theo đúng các chiều chất lượng là tiền đề cốt lõi giúp các mô hình Học máy Gradient Boosting (CatBoost, LightGBM) cải thiện vượt bậc hiệu năng dự báo học lực (tăng trên 7% Macro-F1).

Đề tài không chỉ mang giá trị học thuật vững chắc trong lĩnh vực Khoa học Dữ liệu và Khai phá Dữ liệu Giáo dục, mà còn mở ra tiềm năng ứng dụng thực tiễn to lớn cho các nhà quản lý giáo dục trong việc xây dựng hệ sinh thái đại học thông minh, hỗ trợ sinh viên kịp thời và nâng cao chất lượng đào tạo toàn diện.