Bối cảnh và vấn đề nghiên cứu

Sự phát triển mạnh mẽ của khoa học và công nghệ đã thúc đẩy các hình thức giáo dục hiện đại, đặc biệt là các khóa học trực tuyến mở đại chúng (Massive Open Online Courses - MOOC). Những nền tảng tiêu biểu như Coursera, edX, XuetangX hay Udemy mang lại sự linh hoạt về thời gian, không gian học tập và nguồn học liệu phong phú. Thống kê đến năm 2020 cho thấy các nền tảng MOOC toàn cầu đã hợp tác với hàng nghìn trường đại học, phục vụ 180 triệu học viên (tăng hơn 90 lần so với năm 2012). Đến năm 2023, số người đăng ký trên Coursera đạt 142 triệu (tăng 24 triệu) và Udemy đạt 69 triệu học viên với hơn 61,8 triệu lượt truy cập trong quý 2 năm 2024.

Mặc dù quy mô phát triển nhanh chóng, các nền tảng MOOC đối mặt với thách thức lớn về tỷ lệ hoàn thành khóa học rất thấp, tỷ lệ học viên bỏ học dao động từ 80% đến 90% (tỷ lệ nhận chứng chỉ dưới 20%). Nguyên nhân xuất phát từ sự thiếu tương tác trực tiếp, khó khăn trong kiểm soát hành vi học tập, thiết kế khóa học chưa tối ưu và rào cản công nghệ. Phần lớn các công trình nghiên cứu trước đây chỉ tập trung cải thiện thuật toán dự đoán bỏ học trên dữ liệu tương tác nhấp chuột (clickstream) dạng tĩnh mà thiếu một khung kiến trúc dữ liệu lớn hoàn chỉnh để thu thập, xử lý theo thời gian thực và triển khai cảnh báo tự động.

Trước thực tiễn đó, đề tài khóa luận đặt ra các mục tiêu và nhiệm vụ nghiên cứu cụ thể:

  1. Phân tích dữ liệu hành vi tương tác của người học trên video bài giảng dẫn tới hành vi bỏ học; áp dụng mô hình học máy và học sâu cho tác vụ dự đoán đạt hiệu suất huấn luyện và hiệu quả dự đoán cao.
  2. Xây dựng kiến trúc dữ liệu lớn trên dịch vụ điện toán đám mây phù hợp với các tính chất dữ liệu nền tảng MOOC, có khả năng mở rộng cao cho các hướng nghiên cứu tương lai.
  3. Triển khai mô hình dự đoán bỏ học trên kiến trúc dữ liệu lớn và ứng dụng các luồng dữ liệu để trực quan hóa cho ứng dụng giám sát, phân tích hành vi học viên.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Học viên MOOC (dữ liệu nhân khẩu học, nhật ký clickstream khi xem video, điểm số) và đội ngũ quản lý/giảng viên khóa học (theo dõi tiến độ, phân tích hiệu quả bài giảng để can thiệp kịp thời).
  • Phạm vi nghiên cứu: Các thuật toán học sâu xử lý dữ liệu chuỗi thời gian (BiLSTM kết hợp cơ chế Bahdanau Attention), kiến trúc kho dữ liệu phân tích Lakehouse và các dịch vụ đám mây Microsoft Azure (Azure Event Hubs, Azure Databricks, Delta Lake, ADLS Gen2, Azure Data Factory, Power BI). Thực nghiệm được tiến hành trên bộ dữ liệu "User Activity" của nền tảng XuetangX.

Cơ sở lý thuyết và phương pháp

Nghiên cứu xây dựng trên nền tảng lý thuyết dữ liệu lớn với 4 đặc trưng cốt lõi ("4'V") của nền tảng MOOC:

  • Volume (Khối lượng): Hàng triệu dòng dữ liệu tương tác, hàng nghìn giờ video bài giảng và tài liệu học tập tích lũy liên tục.
  • Variety (Đa dạng): Dữ liệu có cấu trúc (thông tin nhân khẩu học, bảng điểm), dữ liệu bán cấu trúc (nhật ký clickstream, log hệ thống dạng JSON/XML) và dữ liệu phi cấu trúc (video, audio, slide bài giảng, bình luận diễn đàn).
  • Velocity (Tốc độ): Dữ liệu clickstream phát sinh liên tục theo thời gian thực từ hàng chục triệu lượt truy cập đồng thời.
  • Value (Giá trị): Khai thác dữ liệu để cá nhân hóa lộ trình học, cải thiện chương trình đào tạo và phát hiện sớm nguy cơ bỏ học.

Về bài toán dự đoán bỏ học, nghiên cứu lựa chọn định nghĩa: Dự đoán liệu người học có tiếp tục tham gia vào tuần tiếp theo của khóa học hay không dựa trên hành vi của tuần hiện tại. Định nghĩa này cho phép hệ thống đưa ra cảnh báo sớm cho người quản trị ngay trong quá trình học thay vì đợi đến khi khóa học kết thúc.

Phương pháp nghiên cứu thực nghiệm và mô hình hóa:

  • Mô hình học sâu BiLSTMA: Kết hợp mạng nơ-ron hồi quy hai chiều (Bidirectional LSTM) và cơ chế chú ý cộng tính (Additive Attention / Bahdanau Attention). BiLSTM trích xuất ngữ cảnh chuỗi tương tác theo cả hai chiều thời gian (tiến và lùi). Cơ chế Bahdanau Attention tính toán điểm chú ý ($\text{score}_{ij} = \tanh(W_1 h_i + W_2 s_j)$) giữa trạng thái ẩn của các mốc thời gian với trạng thái đầu ra cuối cùng, giúp mô hình tập trung vào các ngày tương tác mang tính quyết định.
  • Kiến trúc lưu trữ Lakehouse: Áp dụng mô hình Medallion (Bronze - Silver - Gold) trên nền tảng Delta Lake, kết hợp ưu điểm của Data Lake (linh hoạt, lưu trữ đa định dạng) và Data Warehouse (đảm bảo giao dịch ACID, tối ưu hóa truy vấn phân tích).
  • Nguồn dữ liệu: Bộ dữ liệu mở "User Activity" từ XuetangX với 157.943 mẫu dữ liệu đã gán nhãn (119.817 nhãn bỏ học "1" và 38.126 nhãn duy trì "0").
Đặc tính nghiên cứu Chi tiết áp dụng trong khóa luận
Định nghĩa bỏ học Trạng thái tiếp tục tham gia khóa học trong tuần tiếp theo
Khung mô hình AI BiLSTM 2 lớp kết hợp cơ chế Bahdanau (Additive) Attention
Kiến trúc dữ liệu Lakehouse Medallion Architecture (Bronze - Silver - Gold)
Định dạng bảng lưu trữ Delta Lake (hỗ trợ giao dịch ACID, Time Travel)
Bộ dữ liệu thực nghiệm "User Activity" từ XuetangX (157.943 bản ghi)

Thiết kế và triển khai

Hệ thống được thiết kế theo mô hình kiến trúc dữ liệu lớn trên nền tảng điện toán đám mây Microsoft Azure, phân tách độc lập giữa tầng tính toán và tầng lưu trữ nhằm đảm bảo tính sẵn sàng và khả năng mở rộng quy mô:

  1. Tầng thu thập dữ liệu (Data Ingestion):

    • Luồng dữ liệu trực tuyến (Streaming Stream): Thu nhận dữ liệu clickstream từ các nền tảng MOOC thông qua API bảo mật với giao thức OAuth 2.0, kết nối trực tiếp vào Azure Event Hubs Namespace.
    • Luồng dữ liệu theo lô (Batch Stream): Azure Data Factory lập lịch định kỳ để trích xuất dữ liệu có cấu trúc và bán cấu trúc từ nhiều nguồn khác nhau, sử dụng cơ chế Auto Loader của Databricks để tự động phát hiện và nạp tệp mới.

  2. Tầng lưu trữ Lakehouse theo mô hình Medallion (Data Storage):

    • Lớp Bronze: Lưu trữ toàn bộ dữ liệu thô thu thập từ Event Hubs và Data Factory dưới định dạng bảng Delta Lake trên Azure Data Lake Storage Gen2 (ADLS Gen2).
    • Lớp Silver: Các tác vụ Azure Databricks xử lý dữ liệu từ lớp Bronze, thực hiện làm sạch, loại bỏ nhiễu, chuẩn hóa định dạng và tích hợp dữ liệu với sự hỗ trợ của các giao dịch tuân thủ chuẩn ACID.
    • Lớp Gold: Lưu trữ các bảng dữ liệu tổng hợp chất lượng cao, phục vụ trực tiếp cho việc huấn luyện mô hình học máy, phân tích nghiệp vụ và kết nối bảng điều khiển.

  3. Tầng xử lý và tính toán phân tán (Computation Engine):

    • Cụm Azure Databricks sử dụng công nghệ Spark Structured Streaming để xử lý song song các luồng dữ liệu thời gian thực.
    • Công cụ Delta Engine được kích hoạt để tối ưu hóa hiệu suất thực thi các câu lệnh Spark SQL và xử lý cấu trúc DataFrame trên quy mô lớn.

  4. Tầng phục vụ và ứng dụng (Data Serving & Consumption):

    • Triển khai quy trình MLOps trên Azure để quản lý vòng đời, lưu trữ tham số và phục vụ mô hình BiLSTMA dự đoán bỏ học.
    • Kết nối dữ liệu từ vùng Gold lên Power BI và hệ thống bảng điều khiển của Databricks nhằm trực quan hóa các chỉ số tương tác, xu hướng học tập và đưa ra cảnh báo sớm về các học viên có nguy cơ bỏ học.

Nội dung chính theo từng chương

Chương 1: Tổng quan về đề tài nghiên cứu

Trình bày bối cảnh phát triển của các nền tảng MOOC, thực trạng tỷ lệ bỏ học cao từ 80% đến 90% và nhu cầu xây dựng một giải pháp kỹ thuật tổng thể. Chương này xác định định nghĩa bài toán, đầu vào là dữ liệu đa dạng của MOOC, đầu ra là hệ thống phân tích và giám sát hỗ trợ giảm tỷ lệ bỏ học; đồng thời nêu rõ 3 mục tiêu nghiên cứu, đối tượng, phạm vi và bố cục khóa luận.

Chương 2: Cơ sở lý thuyết

Hệ thống hóa các khái niệm về dữ liệu lớn trong giáo dục thông qua mô hình 4V (Volume, Variety, Velocity, Value) và phân loại dữ liệu MOOC thành 3 nhóm (phi cấu trúc, bán cấu trúc, có cấu trúc). Chương 2 phân tích 3 hướng tiếp cận định nghĩa bài toán dự đoán bỏ học, chỉ ra ưu điểm của định nghĩa dự đoán theo trạng thái tuần tiếp theo; đồng thời trình bày nguyên lý toán học của cơ chế Bahdanau Attention và cấu trúc mạng BiLSTM.

Chương 3: Các công trình nghiên cứu liên quan

Khảo sát các giải pháp dữ liệu lớn trong giáo dục như ứng dụng Spark Streaming trong tuyển sinh, Azure HDInsight trên hạ tầng HDFS để phân tích dữ liệu LMS. Đồng thời, chương này đánh giá các mô hình dự đoán bỏ học hiện có bao gồm hồi quy Logistic, các thuật toán tăng cường độ dốc (PBTF-EM với XGBoost, LightGBM, CatBoost), mạng nơ-ron nhận biết ngữ cảnh (CFIN), mô hình kết hợp DT-ELM và các kiến trúc CNN-LSTM.

Chương 4: Phân tích dữ liệu

Khảo sát các đặc trưng dữ liệu clickstream trên bộ dữ liệu XuetangX với 157.943 bản ghi qua chuỗi thời gian 7 tuần. Phát hiện chỉ ra tuần đầu tiên có khối lượng tương tác lớn nhất; hơn 70% học viên bỏ học dừng hoạt động ngay trong tuần 1 hoặc tuần 2. Số lượng hành vi trung bình mỗi tuần của nhóm học viên duy trì hoàn thành khóa học cao gấp 3 đến 10 lần so với nhóm bỏ học.

Chương 5: Phương pháp đề xuất

Mô tả chi tiết kiến trúc dữ liệu lớn Lakehouse trên nền tảng Azure gồm các luồng Streaming (Event Hubs) và Batch (Data Factory), mô hình lưu trữ Medallion (Bronze, Silver, Gold) trên Delta Lake và ADLS Gen2. Thiết kế framework mô hình BiLSTMA gồm: tiền xử lý ma trận chuỗi ngày ($T \times d$), 2 lớp BiLSTM trích xuất ngữ cảnh hai chiều và lớp Bahdanau Attention tính toán trọng số chú ý nhằm tối ưu hóa dự đoán sớm.

Chương 6: Thực nghiệm

Trình bày các thiết lập đánh giá hệ thống và mô hình. Thực nghiệm truyền tải dữ liệu chứng minh khả năng tiếp nhận ổn định của Azure Event Hubs và tốc độ xử lý của Spark Streaming. Đánh giá quy trình MLOps trên Azure, kiểm thử mô hình BiLSTMA trong tuần thứ nhất và tuần thứ hai, đồng thời kiểm nghiệm khả năng xử lý các dạng dữ liệu đa phương tiện (video bài giảng) và hiển thị kết quả trên Power BI.

Chương 7: Thảo luận kết quả

Thảo luận chi tiết về hiệu năng của kiến trúc dữ liệu lớn trong việc xử lý luồng dữ liệu đa dạng trên môi trường đám mây so với hệ thống truyền thống tại chỗ (on-premise). Đánh giá tính chính xác và tốc độ hội tụ của mô hình BiLSTMA, phân tích ý nghĩa của các phân bố điểm chú ý trong việc nhận diện hành vi tương tác sớm.

Chương 8: Kết luận

Tổng kết toàn bộ các kết quả đạt được của khóa luận, khẳng định tính khả thi của giải pháp kiến trúc Lakehouse kết hợp học sâu trong việc quản lý và giảm thiểu tỷ lệ bỏ học trên MOOC, đồng thời vạch ra các định hướng cải tiến trong tương lai.

Kết quả và đóng góp

Nghiên cứu đạt được các kết quả định lượng và đóng góp kỹ thuật dựa trên dữ liệu thực tế:

Khía cạnh Kết quả và phát hiện cụ thể
Phân tích dữ liệu XuetangX Phát hiện hơn 70% học viên bỏ học xuất hiện trong 2 tuần đầu tiên; nhóm hoàn thành có tương tác trung bình cao hơn 3 - 10 lần so với nhóm bỏ học.
Xây dựng kiến trúc dữ liệu lớn Thiết lập thành công luồng dữ liệu end-to-end trên Azure (Event Hubs, Data Factory, Databricks, ADLS Gen2 Delta Lake) xử lý đồng thời cả dữ liệu streaming và batch.
Tối ưu hóa mô hình dự đoán Mô hình BiLSTMA với 2 lớp BiLSTM và Bahdanau Attention cho phép nắm bắt quan hệ phụ thuộc thời gian và căn chỉnh trọng số tương tác theo từng ngày, tối ưu hiệu suất dự đoán ngay từ tuần đầu.
Ứng dụng thực tiễn Tích hợp quy trình MLOps và trực quan hóa dữ liệu gần thời gian thực qua Power BI và Databricks Dashboards, hỗ trợ quản trị viên phát hiện bất thường và can thiệp kịp thời.

Đóng góp của khóa luận thể hiện ở việc cung cấp một giải pháp toàn diện, khắc phục khoảng trống của các nghiên cứu trước đây vốn chỉ tập trung vào việc tinh chỉnh thuật toán độc lập trên tập dữ liệu tĩnh mà thiếu kiến trúc công nghệ dữ liệu lớn có khả năng mở rộng để vận hành trong môi trường sản xuất thực tế.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

  • Dữ liệu thực nghiệm chính cho việc huấn luyện mô hình dự đoán tập trung chủ yếu vào bộ dữ liệu "User Activity" của nền tảng XuetangX, chưa kiểm thử diện rộng trên các nền tảng MOOC khác như Coursera hay edX.
  • Việc triển khai toàn bộ trên hạ tầng điện toán đám mây Azure đòi hỏi chi phí vận hành cần được tối ưu hóa liên tục khi mở rộng quy mô dữ liệu.

Hướng nghiên cứu tiếp:

  • Mở rộng xử lý và tích hợp sâu hơn các loại dữ liệu phi cấu trúc phức tạp như phân tích cảm xúc từ thảo luận diễn đàn (NLP), phân tích nội dung video và âm thanh bài giảng.
  • Nâng cấp quy trình MLOps tự động hóa hoàn toàn từ khâu thu thập dữ liệu mới, tái huấn luyện (retraining) đến cập nhật mô hình trực tiếp trên môi trường đám mây.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn giá trị cho:

  • Sinh viên và nhà nghiên cứu ngành Công nghệ thông tin, Kỹ thuật dữ liệu (Data Engineering), Khoa học dữ liệu (Data Science): Tham khảo bản thiết kế chi tiết kiến trúc Lakehouse (Medallion Architecture với Bronze, Silver, Gold), kỹ thuật vận hành Spark Streaming và Delta Engine trên Azure Databricks.
  • Kỹ sư Trí tuệ nhân tạo: Tham khảo phương pháp chuyển đổi cơ chế Bahdanau Attention sang bài toán phân loại nhị phân trên chuỗi thời gian kết hợp BiLSTM để xử lý dữ liệu tương tác clickstream.
  • Đơn vị phát triển hệ thống giáo dục trực tuyến, LMS: Tham khảo mô hình phân tích hành vi người học, khung quy trình trực quan hóa và cảnh báo sớm tình trạng bỏ học phục vụ nâng cao chất lượng đào tạo.

Câu hỏi thường gặp

1. Khóa luận định nghĩa bài toán dự đoán bỏ học trên MOOC theo tiêu chí nào?
Nghiên cứu định nghĩa bài toán là dự đoán liệu người học có tiếp tục tham gia khóa học vào tuần tiếp theo hay không dựa trên hành vi của tuần hiện tại. Cách tiếp cận này giúp phát hiện trạng thái liên tục và hỗ trợ can thiệp sớm ngay từ giai đoạn đầu khóa học.

2. Bộ dữ liệu "User Activity" từ XuetangX có đặc điểm phân bố như thế nào?
Bộ dữ liệu gồm 157.943 bản ghi có nhãn, trong đó có 119.817 nhãn bỏ học ("1") và 38.126 nhãn tiếp tục duy trì ("0"). Dữ liệu chứa thông tin khóa học, thông tin nhân khẩu học của học viên và nhật ký clickstream tương tác trên video bài giảng.

3. Kiến trúc Lakehouse trong đề tài được phân cấp lưu trữ ra sao?
Kiến trúc sử dụng mô hình Medallion trên Azure Data Lake Storage Gen2 (ADLS Gen2) với định dạng Delta Lake, chia thành 3 lớp: lớp Bronze (lưu trữ dữ liệu thô ban đầu), lớp Silver (làm sạch, tích hợp dữ liệu với giao dịch ACID) và lớp Gold (lưu trữ dữ liệu tổng hợp chất lượng cao phục vụ phân tích, báo cáo BI và huấn luyện mô hình).

4. Phân tích dữ liệu ở Chương 4 chỉ ra xu hướng bỏ học của học viên diễn ra như thế nào?
Kết quả phân tích 7 tuần cho thấy tuần 1 có số lượng tương tác cao nhất. Hơn 70% tổng số học viên bỏ học dừng hoạt động ngay trong tuần đầu tiên hoặc tuần thứ hai. Đồng thời, số lượng hành vi trung bình mỗi tuần của nhóm hoàn thành khóa học luôn cao gấp 3 đến 10 lần so với nhóm bỏ học.

5. Cơ chế Bahdanau Attention được tích hợp vào mạng BiLSTM nhằm mục đích gì?
Cơ chế Bahdanau Attention tính toán điểm chú ý giữa các vector đặc trưng đầu vào tại từng mốc thời gian (timestep theo ngày) với trạng thái ẩn cuối cùng của BiLSTM. Việc này giúp mô hình tự động gán trọng số và tập trung vào các ngày tương tác quan trọng nhất trong chuỗi, nâng cao độ chính xác dự đoán nhị phân.

Kết luận

Khóa luận của nhóm tác giả Nguyễn Anh Khoa và Nguyễn Đình Khoa đã giải quyết bài toán cấp thiết về tỷ lệ bỏ học cao trên các nền tảng khóa học trực tuyến mở (MOOC). Đề tài xây dựng thành công kiến trúc dữ liệu lớn Lakehouse trên nền tảng Microsoft Azure, kết hợp quy trình xử lý dữ liệu streaming và batch thông qua Azure Event Hubs, Azure Databricks và Delta Lake. Đồng thời, việc phát triển mô hình học sâu BiLSTMA kết hợp cơ chế Bahdanau Attention đã mang lại giải pháp cảnh báo sớm nguy cơ bỏ học ngay từ tuần đầu tiên, tạo cơ sở kỹ thuật vững chắc để nâng cao hiệu quả quản trị và giữ chân học viên trong giáo dục trực tuyến.