Bối cảnh và vấn đề nghiên cứu

Trong xu thế xã hội hóa giáo dục, các trường đại học và cao đẳng đứng trước yêu cầu phải không ngừng nâng cao chất lượng đào tạo, đổi mới cơ sở vật chất và tăng cường năng lực quản lý để thu hút người học. Sự cạnh tranh trong công tác tuyển sinh đòi hỏi các cơ sở giáo dục không chỉ mở rộng ngành nghề mà còn phải lựa chọn được thí sinh có năng lực phù hợp với đặc thù đào tạo của từng chuyên ngành. Để đưa ra các giải pháp cải tiến quản lý và tư vấn tuyển sinh hiệu quả, việc phân tích dữ liệu lịch sử về tuyển sinh và kết quả học tập của người học đóng vai trò then chốt.

Trường Cao đẳng Sư phạm (CĐSP) Hưng Yên, với hơn 50 năm hoạt động đào tạo giáo viên các cấp từ mầm non, tiểu học đến trung học cơ sở cho tỉnh Hưng Yên, đã tích lũy khối lượng dữ liệu tuyển sinh và học tập rất phong phú. Tuy nhiên, việc lưu trữ nguồn dữ liệu này tại Phòng Đào tạo còn phân tán, mang nặng tính thủ tục pháp lý hành chính theo quy định của Bộ Giáo dục và Đào tạo, chưa được khai thác có hệ thống để phục vụ công tác dự báo và hỗ trợ ra quyết định. Xuất phát từ thực tế đó, đề tài luận văn thạc sĩ "Phân tích dữ liệu phục vụ công tác quản lý đào tạo tại Trường CĐSP Hưng Yên" của tác giả Đỗ Tuấn Anh (Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, 2010) được thực hiện.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài bao gồm:

  1. Nghiên cứu cơ sở lý luận về dữ liệu, quy trình phát hiện tri thức trong cơ sở dữ liệu (KDD), các thuật toán khai phá luật kết hợp phổ biến (Apriori, FP-Growth), các độ đo tương quan và kỹ thuật xử lý phân tích trực tuyến (OLAP).
  2. Khảo sát thực trạng ứng dụng công nghệ thông tin và xác định nhu cầu phân tích dữ liệu đào tạo tại Trường CĐSP Hưng Yên.
  3. Thực hiện thu thập, tiền xử lý, chuẩn hóa và rời rạc hóa dữ liệu đào tạo thực tế của sinh viên niên khóa 2004 – 2007.
  4. Cài đặt chương trình thử nghiệm các thuật toán để tìm kiếm các luật kết hợp giữa kết quả tuyển sinh đầu vào và kết quả học tập toàn khóa của sinh viên.
  5. Đề xuất một số giải pháp cải tiến công tác quản lý đào tạo và tuyển sinh cho nhà trường dựa trên các tri thức phát hiện được.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Dữ liệu hồ sơ tuyển sinh, thông tin cá nhân và kết quả học tập, rèn luyện của học sinh, sinh viên (HSSV).
  • Phạm vi không gian: Trường CĐSP Hưng Yên.
  • Phạm vi thời gian và dữ liệu thực nghiệm: Tập dữ liệu sinh viên hệ cao đẳng chính quy niên khóa 2004 – 2007.

Cơ sở lý thuyết và phương pháp

Luận văn tiếp cận vấn đề dựa trên khung lý thuyết về khai phá dữ liệu (Data Mining) và khám phá tri thức trong cơ sở dữ liệu (KDD - Knowledge Discovery in Databases). Quy trình KDD được tác giả xác định gồm 7 bước tuần hoàn:

  • Làm sạch dữ liệu (loại bỏ nhiễu và dữ liệu không nhất quán).
  • Tích hợp dữ liệu (kết hợp nhiều nguồn dữ liệu).
  • Chọn dữ liệu (trích xuất các tập dữ liệu liên quan đến mục tiêu phân tích).
  • Biến đổi dữ liệu (chuẩn hóa và chuyển đổi cấu trúc phù hợp cho khai phá).
  • Khai phá dữ liệu (áp dụng các thuật toán thông minh để trích xuất mẫu).
  • Đánh giá mẫu (đo lường mức độ quan tâm của các mẫu theo tiêu chí xác định).
  • Biểu diễn tri thức (trực quan hóa tri thức thu được cho người sử dụng).

Trong phân nhóm bài toán khai phá luật kết hợp, luận văn đi sâu vào hai thuật toán cốt lõi:

  • Thuật toán Apriori: Do R. Agrawal và R. Srikant đề xuất năm 1994, sử dụng nguyên lý lặp theo từng mức để sinh các $(k+1)$-tập mục từ $k$-tập mục thường xuyên dựa trên tính chất Apriori (mọi tập con không rỗng của một tập mục thường xuyên đều phải là tập mục thường xuyên).
  • Thuật toán FP-Growth (Frequent Pattern Growth): Sử dụng cấu trúc cây FP-Tree (chứa nút gốc "null", các nút mang thuộc tính tên mục item-name, số đếm hỗ trợ count, liên kết nút node-link và bảng chỉ mục header table). Phương pháp này khai phá tập mục thường xuyên theo chiến lược chia để trị và phát triển đoạn mẫu mà không cần phát sinh tập ứng viên, giúp giảm chi phí quét cơ sở dữ liệu.

Nhằm khắc phục nhược điểm của khung đánh giá truyền thống chỉ dựa trên độ hỗ trợ tối thiểu (min_sup) và độ tin cậy tối thiểu (min_conf), tác giả đã bổ sung các độ đo tương quan để lọc bỏ các luật rác:

  • Độ đo tương quan Lift: Xác định tỷ lệ phụ thuộc giữa hai tập mục $A$ và $B$ qua công thức $Lift(A, B) = \frac{P(A \cup B)}{P(A)P(B)}$.
  • Độ đo kiểm định Chi bình phương ($\chi^2$): Đo lường sự khác biệt giữa tần suất quan sát thực tế ($O_{ij}$) và tần suất mong đợi ($e_{ij}$).
  • Độ đo all_confidence: Xác định ngưỡng hỗ trợ nhỏ nhất giữa các luật sinh ra từ tập mục.
  • Độ đo Cosine: Đo lường mức độ liên kết tương quan giữa các tập mục độc lập với tổng số giao tác.

Về công nghệ hiển thị và tổ chức dữ liệu đa chiều, luận văn khảo sát kỹ thuật OLAP (Online Analytical Processing) với các khái niệm khối dữ liệu (Data Cube), các chiều (Dimensions), chiều ảo, độ đo (Measures), phân hoạch (Partitions) và khối ảo. Nghiên cứu thực hiện phân tích so sánh ba mô hình lưu trữ OLAP tiêu biểu:

Tiêu chí so sánh Mô hình MOLAP Mô hình ROLAP Mô hình HOLAP
Lưu trữ dữ liệu cơ sở Khối đa chiều Bảng quan hệ Bảng quan hệ
Lưu trữ thông tin tổng hợp Khối đa chiều Bảng quan hệ Khối đa chiều
Hiệu suất thực hiện truy vấn Nhanh nhất Chậm nhất Nhanh
Tiêu thụ không gian lưu trữ Nhiều Thấp Trung bình
Chi phí bảo trì hệ thống Cao Thấp Trung bình

Phương pháp nghiên cứu được triển khai kết hợp:

  • Phương pháp nghiên cứu tài liệu: Tổng hợp các công trình khoa học trong và ngoài nước về KDD, luật kết hợp, phân tích tương quan và công nghệ cơ sở dữ liệu.
  • Phương pháp điều tra, phỏng vấn: Khảo sát thực tế nhu cầu tin học hóa, hạ tầng kỹ thuật và thực trạng các phân hệ quản lý điểm, quản lý sinh viên tại Trường CĐSP Hưng Yên.
  • Phương pháp thực nghiệm mô hình hóa: Thiết kế cơ sở dữ liệu giao tác, chuẩn hóa thuộc tính, chuyển đổi các giá trị liên tục sang miền rời rạc và lập trình thực thi thuật toán để khai phá dữ liệu thực tế.

Nguồn dữ liệu sử dụng gồm toàn bộ hồ sơ đăng ký dự thi, kết quả trúng tuyển, thông tin khu vực cư trú, chính sách ưu tiên và bảng điểm chi tiết các môn học của sinh viên khóa 2004 – 2007 do Phòng Đào tạo nhà trường cung cấp.

Nội dung chính theo từng chương

Mở đầu

Phần mở đầu tập trung làm rõ tính cấp thiết của đề tài trong bối cảnh xã hội hóa giáo dục và nhu cầu nâng cao hiệu quả quản trị đại học, cao đẳng. Tác giả trình bày tổng quan về mục đích, đối tượng, phạm vi nghiên cứu, phương pháp luận và bố cục tổng thể của luận văn gồm phần mở đầu, ba chương nội dung chính và kết luận.

Chương 1. Khai phá dữ liệu

Chương này thiết lập nền tảng lý thuyết cho toàn bộ nghiên cứu:

  • Phân định các khái niệm dữ liệu thô, dữ liệu đã qua xử lý và siêu dữ liệu (metadata).
  • Trình bày kiến trúc hệ thống khai phá dữ liệu tiêu biểu gồm: cơ sở dữ liệu/kho dữ liệu, máy chủ cơ sở dữ liệu, cơ sở tri thức, động cơ khai phá dữ liệu (Data Mining Engine), mô-đun đánh giá mẫu và giao diện tương tác người dùng.
  • Mô tả chi tiết các nhóm bài toán khai phá dữ liệu: phân lớp và dự đoán, khai phá luật kết hợp, khai phá mẫu tuần tự, phân cụm dữ liệu.
  • Phân tích chi tiết thuật toán Apriori và giải thuật FP-Growth, đồng thời minh họa thuật toán từng bước qua tập cơ sở dữ liệu giao tác giả định gồm 9 giao tác ($|D|=9$) với các hạng mục học tập từ $I_1$ đến $I_5$.
  • Trình bày các công thức toán học tính toán độ đo tương quan ($Lift$, $\chi^2$, $all_conf$, $Cosine$) để nâng cao tính chuẩn xác khi trích xuất luật.
  • Làm rõ cấu trúc các mô hình lưu trữ OLAP gồm MOLAP (Multidimensional OLAP), ROLAP (Relational OLAP) và HOLAP (Hybrid OLAP).

Chương 2. Nhu cầu phân tích dữ liệu đào tạo tại Trường CĐSP Hưng Yên

Chương 2 phản ánh bức tranh thực tiễn tại đơn vị nghiên cứu:

  • Khái quát vai trò của công nghệ thông tin trong dạy học và quản lý giáo dục theo định hướng của Bộ Giáo dục và Đào tạo cũng như các diễn đàn quốc tế (như Hội nghị Bộ trưởng Giáo dục APEC năm 2000).
  • Khảo sát thực trạng hạ tầng và các phần mềm tác nghiệp tại Trường CĐSP Hưng Yên: hệ thống máy tính, mạng nội bộ, các mô-đun phần mềm quản lý hồ sơ đăng ký dự thi, tổ chức thi, in giấy báo nhập học, quản lý thông tin sinh viên và quản lý điểm thi.
  • Chỉ ra điểm hạn chế: dữ liệu phát sinh hàng năm được lưu trữ trên các hệ cơ sở dữ liệu quan hệ và bảng tính Microsoft Excel chỉ mới phục vụ việc in ấn báo cáo thống kê cơ bản, chưa có khả năng hỗ trợ phân tích đa chiều hoặc dự báo chất lượng đào tạo.
  • Xác định nhu cầu cấp bách trong việc trích xuất mối quan hệ ẩn giữa kết quả thi tuyển đầu vào với quá trình học tập thực tế của người học.

Chương 3. Phân tích dữ liệu đào tạo tại Trường CĐSP Hưng Yên

Chương này trình bày toàn bộ quá trình thực nghiệm và các kết quả thu được:

  • Xây dựng mô hình dữ liệu giao tác từ hồ sơ sinh viên khóa 2004 – 2007.
  • Tiến hành tiền xử lý, chuẩn hóa và rời rạc hóa các thuộc tính (chuyển đổi điểm số dạng số thực sang các khoảng xếp loại định tính: Giỏi, Khá, Trung bình, Yếu; phân nhóm khu vực cư trú: Khu vực 1, 2, 2-NT, 3; phân nhóm chính sách ưu tiên; phân nhóm khối thi và ngành đào tạo).
  • Cài đặt và thực thi chương trình khai phá dữ liệu sử dụng cả hai thuật toán Apriori và FP-Growth trên tập dữ liệu đã chuẩn hóa.
  • Trình bày các bảng tổng hợp luật kết hợp phát hiện được thể hiện mối liên hệ giữa điểm đầu vào, ngành học, thái độ học tập giữa các khối kiến thức, giới tính, khu vực địa lý với kết quả học tập toàn khóa.
  • Đề xuất các giải pháp quản lý đào tạo cụ thể cho Trường CĐSP Hưng Yên dựa trên các phát hiện từ dữ liệu.

Kết quả và đóng góp

Luận văn đã đạt được các kết quả cụ thể thông qua quá trình phân tích dữ liệu thực nghiệm:

  • Xây dựng thành công quy trình tiền xử lý và bảng từ điển rời rạc hóa dữ liệu phục vụ khai phá luật kết hợp cho dữ liệu đào tạo đặc thù của Trường CĐSP Hưng Yên.
  • Chương trình thử nghiệm đã chạy thành công cả hai thuật toán Apriori và FP-Growth trên tập dữ liệu niên khóa 2004 – 2007, trích xuất được hệ thống các luật kết hợp thỏa mãn ngưỡng min_sup và min_conf.
  • Phát hiện các quy luật có giá trị thực tiễn đối với nhà trường:
    • Tồn tại mối tương quan thuận rõ rệt giữa điểm thi đầu vào cao và kết quả tốt nghiệp loại Khá, Giỏi của sinh viên.
    • Phân hóa kết quả học tập theo đặc thù khối ngành: sinh viên các ngành tự nhiên và xã hội có sự khác biệt về thái độ học tập và mức độ tiếp thu giữa các khối kiến thức đại cương và kiến thức chuyên ngành.
    • Phân tích mối quan hệ giữa các yếu tố xã hội (giới tính, khu vực thường trú, diện ưu tiên chính sách, năm tốt nghiệp phổ thông) với sự biến thiên về kết quả học tập toàn khóa.
  • Đánh giá hiệu năng thuật toán: Kết quả thực nghiệm xác nhận thuật toán FP-Growth cho tốc độ xử lý nhanh và tiết kiệm tài nguyên bộ nhớ hơn so với thuật toán Apriori trên tập dữ liệu đào tạo nhờ việc nén dữ liệu vào cây FP-Tree và không phải sinh tập ứng viên khổng lồ qua từng vòng lặp.

Dựa trên các kết quả này, tác giả đã đưa ra các kiến nghị quản lý cho Trường CĐSP Hưng Yên:

  • Điều chỉnh chỉ tiêu và phương án tư vấn tuyển sinh sát với từng đối tượng thí sinh theo vùng miền và khối thi.
  • Cải tiến chương trình khung, phân bổ hợp lý thời lượng giữa khối kiến thức cơ bản và chuyên ngành cho từng nhóm đối tượng sinh viên.
  • Nâng cấp hệ thống cơ sở dữ liệu tác nghiệp hiện tại thành kho dữ liệu tập trung (Data Warehouse) kết hợp công cụ OLAP để cán bộ quản lý có thể truy vấn thông tin đa chiều định kỳ.

Đóng góp của tác giả nằm ở việc áp dụng thành công các thuật toán khai thác mẫu thường xuyên vào bài toán quản trị giáo dục cụ thể tại địa phương, cung cấp căn cứ định lượng thay vì dựa trên cảm tính trong quản lý đào tạo.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài:

  • Dữ liệu thực nghiệm mới dừng lại ở phạm vi một khóa học (niên khóa 2004 – 2007) của một trường cao đẳng sư phạm địa phương, chưa mở rộng ra nhiều khóa học liên tiếp để theo dõi biến động dài hạn.
  • Đề tài tập trung chủ yếu vào kỹ thuật khai phá luật kết hợp và khảo sát lý thuyết OLAP; chưa tích hợp toàn diện các mô hình phân tích nâng cao khác như mạng nơ-ron hay cây quyết định vào một hệ thống phần mềm hoàn chỉnh.

Hướng nghiên cứu tiếp theo:

  • Mở rộng tập dữ liệu sang nhiều niên khóa tiếp theo và tích hợp dữ liệu đánh giá rèn luyện, hoạt động ngoại khóa của người học.
  • Ứng dụng thêm các kỹ thuật phân cụm dữ liệu (Clustering), phân lớp (Classification) để xây dựng mô hình dự báo sớm nguy cơ học tập yếu kém của sinh viên ngay từ học kỳ đầu.
  • Xây dựng hệ thống kho dữ liệu giáo dục và giao diện OLAP hoàn chỉnh nhằm tự động hóa quy trình phân tích báo cáo định kỳ cho ban giám hiệu và các phòng ban chuyên môn.

Giá trị tham khảo

Luận văn là tài liệu tham khảo phù hợp cho các nhóm đối tượng:

  • Cán bộ quản lý đào tạo và giáo dục: Tham khảo phương pháp tiếp cận khai thác dữ liệu lịch sử để phục vụ xây dựng kế hoạch tuyển sinh, phân bổ chương trình giảng dạy và ra quyết định quản trị.
  • Học viên, sinh viên ngành Công nghệ thông tin và Hệ thống thông tin: Tham khảo cách triển khai chi tiết các giải thuật khai phá dữ liệu kinh điển (Apriori, FP-Growth), các bước tiền xử lý/rời rạc hóa dữ liệu thực tế và các phép đo tương quan thống kê.
  • Phần nội dung đáng chú ý: Mục phân tích so sánh chi tiết giữa thuật toán Apriori và FP-Tree/FP-Growth trong Chương 1; bảng so sánh kỹ thuật ba mô hình MOLAP, ROLAP, HOLAP; quy trình rời rạc hóa các thuộc tính điểm số và thông tin cá nhân của người học trong Chương 3.

Câu hỏi thường gặp

1. Mục đích chính của việc ứng dụng các thuật toán khai phá luật kết hợp trong khóa luận này là gì?
Mục đích là tìm ra các tri thức ẩn và mối tương quan định lượng giữa các yếu tố tuyển sinh đầu vào (khối thi, điểm thi, ngành học, khu vực thường trú, đối tượng ưu tiên) với kết quả rèn luyện và học tập toàn khóa của sinh viên tại Trường CĐSP Hưng Yên, từ đó đưa ra các đề xuất cải tiến công tác tuyển sinh và quản lý đào tạo.

2. Điểm khác biệt căn bản giữa thuật toán Apriori và FP-Growth được luận văn trình bày như thế nào?
Thuật toán Apriori sinh các tập mục thường xuyên bằng phương pháp lặp từng mức và phải sinh các tập ứng viên $C_k$, dẫn đến chi phí tính toán cao và phải quét cơ sở dữ liệu nhiều lần. Ngược lại, FP-Growth sử dụng cấu trúc cây FP-Tree để nén dữ liệu giao tác, áp dụng kỹ thuật chia để trị và khai phá trực tiếp trên các cây điều kiện mà không cần phát sinh tập ứng viên, giúp tối ưu hóa thời gian và bộ nhớ đối với tập dữ liệu lớn.

3. Vì sao luận văn đề xuất phải bổ sung các độ đo tương quan bên cạnh khung độ hỗ trợ (Support) và độ tin cậy (Confidence)?
Bởi vì việc chỉ sử dụng hai ngưỡng min_sup và min_conf có thể sinh ra số lượng rất lớn các luật không có giá trị hoặc các luật có quan hệ độc lập/tương quan âm giữa các hạng mục. Bổ sung các độ đo như $Lift$, $\chi^2$, $all_confidence$ hay $Cosine$ giúp đánh giá chính xác mối tương quan nhân quả thực sự giữa tiền đề và hệ quả, loại bỏ các luật dư thừa.

4. Ba mô hình lưu trữ hỗ trợ OLAP (MOLAP, ROLAP, HOLAP) được đánh giá khác nhau ra sao về hiệu suất và không gian lưu trữ?
Theo bảng so sánh trong luận văn: MOLAP lưu cả dữ liệu cơ sở và thông tin tổng hợp trong khối đa chiều nên có hiệu suất truy vấn nhanh nhất nhưng tiêu thụ nhiều không gian và chi phí bảo trì cao. ROLAP lưu trữ hoàn toàn trong bảng quan hệ nên tiêu thụ ít không gian, chi phí bảo trì thấp nhưng tốc độ truy vấn chậm nhất. HOLAP là mô hình lai (lưu dữ liệu cơ sở trong bảng quan hệ, lưu dữ liệu tổng hợp trong khối đa chiều), đạt hiệu suất truy vấn nhanh với mức tiêu thụ không gian và chi phí bảo trì ở mức trung bình.

5. Dữ liệu thực nghiệm của luận văn được thu thập từ nguồn nào và bao gồm những thông tin gì?
Dữ liệu thực nghiệm lấy từ hồ sơ tuyển sinh và kết quả học tập của sinh viên niên khóa 2004 – 2007 do Phòng Đào tạo Trường CĐSP Hưng Yên quản lý, bao gồm các trường thông tin: khối thi, ngành trúng tuyển, điểm thi đầu vào, khu vực thường trú, diện chính sách ưu tiên, năm tốt nghiệp phổ thông, điểm các khối kiến thức đại cương, chuyên ngành và điểm tổng kết toàn khóa.

Kết luận

Luận văn thạc sĩ của tác giả Đỗ Tuấn Anh đã hệ thống hóa toàn diện cơ sở lý thuyết về khai phá dữ liệu, luật kết hợp, phân tích tương quan và công nghệ OLAP. Bằng việc thực nghiệm trên tập dữ liệu sinh viên niên khóa 2004 – 2007 tại Trường CĐSP Hưng Yên, công trình đã chứng minh tính hiệu quả của các giải thuật Apriori và FP-Growth trong việc phát hiện mối tương quan giữa dữ liệu tuyển sinh và kết quả học tập. Các phát hiện và kiến nghị được đề xuất trong luận văn cung cấp cơ sở khoa học thiết thực giúp nhà trường đổi mới công tác quản lý đào tạo và hoạch định chiến lược tuyển sinh theo hướng ứng dụng công nghệ thông tin chuyên sâu.