Luận Văn Thạc Sĩ Về Phương Pháp Xây Dựng Trọng Số Môn Học Để Đánh Giá Chuẩn Đầu Ra ABET

Luận văn thạc sĩ kỹ thuật phân tích hệ thống thông tin quản lý phương pháp xây dựng trọng số môn học để đánh giá các chuẩn đầu ra abet, đánh giá thực trạng, chỉ ra hạn chế, đề

• Tác giả: Đinh Nguyễn Thúy Nguyệt
• Người hướng dẫn: TS. Lê Thanh Vân
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Hệ thống thông tin quản lý
• Đề tài: Phương Pháp Xây Dựng Trọng Số Môn Học Đánh Giá Chuẩn Đầu Ra ABET
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• ABSTRACT
• LỜI CAM ĐOAN
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH ẢNH
• DANH MỤC TỪ VIẾT TẮT
• 1. Chương 1: TỔNG QUAN ĐỀ TÀI
• 1.1. Lý do hình thành đề tài
• 1.2. Mục tiêu đề tài
• 1.3. Đối tượng và phạm vi đề tài
• 1.4. Quy trình và phương pháp nghiên cứu của đề tài
• 1.5. Bố cục đề tài
• 2. Chương 2: TỔNG QUAN VỀ ABET VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. TỔNG QUAN VỀ ABET
• 2.1.1. Tổ chức ABET và mục tiêu hoạt động
• 2.1.2. Các thuật ngữ liên quan
• 2.1.3. Tóm tắt các tiêu chí kiểm định của ABET
• 2.1.4. Chuẩn đầu ra của các chương trình Kỹ thuật
• 2.1.5. Đánh giá chất lượng đào tạo và cải thiện liên tục chương trình
• 2.1.6. Lợi ích của việc đạt được chuẩn kiểm định ABET
• 2.2. CÁC NGHIÊN CỨU LIÊN QUAN
• 3. Chương 3: XÂY DỰNG TRỌNG SỐ MÔN HỌC THEO MÔ HÌNH PHÂN LỚP SINH VIÊN
• 3.1. PHÂN LỚP DỮ LIỆU VÀ KỸ THUẬT PHÂN LỚP CÂY QUYẾT ĐỊNH
• 3.1.1. Phân lớp dữ liệu trong khai phá dữ liệu
• 3.1.2. Cây quyết định
• 3.1.3. Phân lớp dữ liệu với WEKA
• 3.2. XÂY DỰNG MÔ HÌNH PHÂN LỚP SINH VIÊN
• 3.2.1. Thu thập và xử lý dữ liệu
• 3.2.2. Xây dựng mô hình
• 3.3. XÁC ĐỊNH TRỌNG SỐ MÔN HỌC
• 3.3.1. Mức độ ảnh hưởng của môn học đến việc phân lớp sinh viên
• 3.3.2. Trọng số môn học theo mô hình phân lớp
• 4. Chương 4: TỔNG HỢP TRỌNG SỐ VÀ ĐÁNH GIÁ
• 4.1. THIẾT KẾ MÔN HỌC ĐÁP ỨNG CHUẨN ĐẦU RA ABET
• 4.1.1. Xây dựng mục tiêu môn học
• 4.1.2. Xác định sự liên quan giữa mục tiêu môn học và chuẩn đầu ra
• 4.2. XÂY DỰNG TRỌNG SỐ MÔN HỌC THEO MỨC ĐỘ NHẬN THỨC BLOOM
• 4.2.1. Xây dựng các ma trận môn học và ma trận chuẩn đầu ra
• 4.2.2. Xác định trọng số môn học
• 4.3. TỔNG HỢP TRỌNG SỐ VÀ MINH HỌA ĐÁNH GIÁ
• 4.3.1. Tổng hợp trọng số
• 4.3.2. Đánh giá chung các CĐR theo trọng số xây dựng
• 4.4. ĐỀ XUẤT KẾ HOẠCH ĐÁNH GIÁ
• 5. Chương 5: KẾT LUẬN
• 5.1. KẾT QUẢ ĐẠT ĐƯỢC
• 5.2. ĐÓNG GÓP CỦA ĐỀ TÀI
• 5.3. HẠN CHẾ VÀ KIẾN NGHỊ VỀ NHỮNG NGHIÊN CỨU TIẾP THEO
• DANH MỤC TÀI LIỆU THAM KHẢO
• PHỤ LỤC 1: TẬP DỮ LIỆU HUẤN LUYỆN
• PHỤ LỤC 2: KẾ HOẠCH ĐÁNH GIÁ CĐR THÔNG QUA CÁC MÔN HỌC
• PHỤ LỤC 3: CÁC MA TRẬN MÔN HỌC TRONG CHƯƠNG TRÌNH KTMT

Tóm tắt

I. Tổng quan về phương pháp xây dựng trọng số môn học

Phương pháp xây dựng trọng số môn học nhằm đánh giá chuẩn đầu ra ABET trong hệ thống thông tin quản lý là một quy trình quan trọng. Quy trình này không chỉ giúp xác định mức độ đạt được của sinh viên mà còn đảm bảo rằng các môn học trong chương trình đào tạo đáp ứng được các yêu cầu của chuẩn ABET. Việc xây dựng trọng số môn học dựa trên mô hình phân lớp sinh viên và các mức độ nhận thức của Bloom. Điều này cho phép các giảng viên có cái nhìn tổng quan về hiệu quả của từng môn học trong việc đạt được các chuẩn đầu ra. Theo đó, trọng số môn học sẽ được xác định dựa trên mức độ ảnh hưởng của môn học đến việc phân loại sinh viên, từ đó giúp cải thiện chất lượng đào tạo.

1.1. Mô hình phân lớp sinh viên

Mô hình phân lớp sinh viên được xây dựng dựa trên điểm học tập của sinh viên trong các môn học. Mô hình này giúp phân loại sinh viên thành các nhóm khác nhau dựa trên hiệu suất học tập của họ. Việc phân lớp này không chỉ giúp xác định những sinh viên có khả năng cao mà còn giúp nhận diện những sinh viên cần hỗ trợ thêm. Mô hình phân lớp này sử dụng các thuật toán như cây quyết định để phân tích dữ liệu. Kết quả từ mô hình này sẽ được sử dụng để xác định trọng số cho các môn học, từ đó đảm bảo rằng các môn học có ảnh hưởng lớn đến việc đạt được chuẩn đầu ra sẽ có trọng số cao hơn.

1.2. Các mức độ nhận thức của Bloom

Các mức độ nhận thức của Bloom là một công cụ quan trọng trong việc xây dựng trọng số môn học. Mô hình này phân chia các mức độ nhận thức thành sáu cấp độ: nhớ, hiểu, áp dụng, phân tích, đánh giá và sáng tạo. Mỗi môn học sẽ được đánh giá dựa trên mức độ nhận thức mà nó yêu cầu từ sinh viên. Những môn học yêu cầu sinh viên phải đạt được các mức độ cao hơn sẽ được gán trọng số cao hơn. Điều này không chỉ giúp đảm bảo rằng sinh viên có thể đạt được các chuẩn đầu ra mà còn khuyến khích họ phát triển kỹ năng tư duy phản biện và sáng tạo.

II. Đánh giá chuẩn đầu ra ABET

Đánh giá chuẩn đầu ra ABET là một phần không thể thiếu trong quy trình cải tiến chất lượng giáo dục. Chuẩn đầu ra ABET được thiết lập nhằm đảm bảo rằng các chương trình đào tạo đáp ứng được các tiêu chuẩn chất lượng quốc tế. Việc đánh giá này không chỉ dựa vào kết quả học tập của sinh viên mà còn dựa vào sự phản hồi từ các bên liên quan như doanh nghiệp và cựu sinh viên. Đánh giá chuẩn đầu ra giúp các trường đại học nhận diện được những điểm mạnh và điểm yếu trong chương trình đào tạo của mình. Qua đó, các trường có thể thực hiện các điều chỉnh cần thiết để nâng cao chất lượng đào tạo.

2.1. Quy trình đánh giá

Quy trình đánh giá chuẩn đầu ra ABET bao gồm nhiều bước, từ việc thu thập dữ liệu đến phân tích và báo cáo kết quả. Đầu tiên, các trường cần thu thập dữ liệu về điểm số của sinh viên trong các môn học liên quan đến chuẩn đầu ra. Sau đó, dữ liệu này sẽ được phân tích để xác định mức độ đạt được của sinh viên. Cuối cùng, các trường sẽ báo cáo kết quả đánh giá và đề xuất các biện pháp cải tiến. Quy trình này không chỉ giúp đảm bảo tính minh bạch mà còn tạo cơ hội cho các trường học cải thiện chất lượng đào tạo của mình.

2.2. Lợi ích của việc đạt chuẩn ABET

Việc đạt chuẩn ABET mang lại nhiều lợi ích cho các trường đại học. Đầu tiên, nó giúp nâng cao uy tín của chương trình đào tạo, thu hút sinh viên và nhà tuyển dụng. Thứ hai, việc đạt chuẩn ABET cũng giúp các trường có cơ hội hợp tác với các tổ chức quốc tế, mở rộng mạng lưới và chia sẻ kinh nghiệm. Cuối cùng, việc đạt chuẩn ABET còn giúp các trường cải thiện chất lượng giáo dục thông qua việc thực hiện các biện pháp cải tiến liên tục dựa trên kết quả đánh giá.

III. Kết luận và đề xuất

Phương pháp xây dựng trọng số môn học để đánh giá chuẩn đầu ra ABET trong hệ thống thông tin quản lý là một công cụ hữu ích trong việc nâng cao chất lượng giáo dục. Việc kết hợp giữa mô hình phân lớp sinh viên và các mức độ nhận thức của Bloom giúp các trường có cái nhìn tổng quan về hiệu quả của từng môn học. Để đạt được kết quả tốt nhất, các trường cần thực hiện đánh giá định kỳ và điều chỉnh chương trình đào tạo dựa trên phản hồi từ sinh viên và các bên liên quan. Điều này không chỉ giúp nâng cao chất lượng đào tạo mà còn đảm bảo rằng sinh viên được trang bị đầy đủ kiến thức và kỹ năng cần thiết để đáp ứng yêu cầu của thị trường lao động.

3.1. Đề xuất cải tiến

Để cải tiến quy trình đánh giá chuẩn đầu ra, các trường cần xem xét việc áp dụng công nghệ thông tin trong việc thu thập và phân tích dữ liệu. Việc sử dụng phần mềm hỗ trợ sẽ giúp tiết kiệm thời gian và nâng cao độ chính xác trong quá trình đánh giá. Bên cạnh đó, các trường cũng nên thường xuyên tổ chức các buổi hội thảo để thu thập ý kiến từ sinh viên và các bên liên quan, từ đó có thể điều chỉnh chương trình đào tạo cho phù hợp với nhu cầu thực tế.

3.2. Tương lai của giáo dục đại học

Trong bối cảnh giáo dục đại học đang ngày càng phát triển, việc đạt chuẩn ABET sẽ trở thành một yếu tố quan trọng trong việc khẳng định chất lượng giáo dục. Các trường cần chủ động cập nhật các tiêu chuẩn mới và cải tiến chương trình đào tạo để đáp ứng được yêu cầu của thị trường lao động. Điều này không chỉ giúp nâng cao chất lượng giáo dục mà còn tạo ra những cơ hội mới cho sinh viên trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh hội nhập quốc tế của giáo dục đại học, việc kiểm định chất lượng theo các tiêu chuẩn toàn cầu đã trở thành mục tiêu hàng đầu của các cơ sở đào tạo kỹ thuật và công nghệ tại Việt Nam. Tổ chức Kiểm định Kỹ thuật và Công nghệ Hoa Kỳ (ABET) hiện đã kiểm định thành công cho hơn 3.100 chương trình đào tạo tại hơn 670 trường đại học thuộc 24 quốc gia trên thế giới. Yêu cầu cốt lõi trong bộ tiêu chuẩn ABET là tiêu chí số 4 về sự cải thiện liên tục (Continuous Improvement), đòi hỏi các trường phải thiết lập cơ chế đo lường và đánh giá định kỳ mức độ đáp ứng 11 chuẩn đầu ra kỹ thuật ký hiệu từ 3a đến 3k.

Vấn đề nghiên cứu trọng tâm xuất phát từ thực tế đánh giá kết quả đạt được của chuẩn đầu ra thông qua các môn học. Hiện nay, hầu hết các chương trình thường sử dụng phương pháp tính trung bình giản đơn hoặc tính trung bình có trọng số mang tính chủ quan, chưa phản ánh chính xác vai trò phân hóa năng lực học tập của từng môn học cũng như chiều sâu nhận thức mà môn học đó cung cấp cho người học.

Mục tiêu cụ thể của luận văn là nghiên cứu, đề xuất phương pháp xây dựng trọng số môn học khoa học và khách quan dựa trên sự kết hợp giữa mô hình phân lớp sinh viên trong khai phá dữ liệu và các mức độ nhận thức theo thang đo Bloom. Nghiên cứu được triển khai thực nghiệm trên dữ liệu của chương trình đào tạo ngành Kỹ thuật Máy tính thuộc Khoa Khoa học và Kỹ thuật Máy tính, Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh trong giai đoạn từ năm 2008 đến năm 2014.

Ý nghĩa của đề tài được thể hiện qua việc nâng cao độ chính xác của mô hình phân lớp lên mức 86,58%, giúp lượng hóa chính xác tỷ lệ đóng góp của 24 môn học cốt lõi tương đương 74 tín chỉ đối với từng chuẩn đầu ra. Kết quả này vừa cung cấp công cụ toán học vững chắc để đánh giá toàn diện năng lực sinh viên, vừa hỗ trợ nhà trường tối ưu hóa kế hoạch kiểm định mà không gây lãng phí nguồn lực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa giữa ba nền tảng lý thuyết chính: tiêu chuẩn kiểm định giáo dục kỹ thuật ABET, thang đo nhận thức Bloom và lý thuyết khai phá dữ liệu với thuật toán cây quyết định.

Trước hết, khung đánh giá chất lượng của ABET đóng vai trò định hướng mục tiêu, tập trung vào hai khái niệm cốt lõi: Đánh giá quá trình (Assessment) và Đánh giá tổng hợp (Evaluation). Trong đó, 11 chuẩn đầu ra của khối ngành kỹ thuật bao gồm toàn diện các kỹ năng từ áp dụng toán học, khoa học, kỹ thuật (3a), thiết kế và thực nghiệm (3b), giải quyết vấn đề kỹ thuật (3e) cho đến trách nhiệm đạo đức (3f) và kỹ năng làm việc nhóm (3d). Chu trình cải tiến liên tục đòi hỏi các minh chứng đo lường trực tiếp từ kết quả học tập phải phản ánh trung thực mức độ thụ đắc chuẩn đầu ra của người học.

Thứ hai, thang đo nhận thức Bloom cung cấp cơ sở để xác định mức độ phức tạp về tư duy mà môn học yêu cầu đối với sinh viên, chia thành 6 cấp độ từ nhận biết, thông hiểu, vận dụng, phân tích, đánh giá cho đến sáng tạo. Bằng cách ánh xạ mục tiêu môn học vào các cấp độ Bloom, nghiên cứu lượng hóa được chiều sâu kiến thức mà môn học đóng góp cho từng chuẩn đầu ra cụ thể.

Thứ ba, lý thuyết phân lớp dữ liệu trong học máy, cụ thể là thuật toán cây quyết định C4.5 được triển khai thông qua công cụ WEKA với thuật toán J48. Cây quyết định sử dụng tỷ số độ lợi thông tin (Information Gain Ratio) để chọn thuộc tính phân tách tối ưu, cho phép xác định chính xác môn học nào đóng vai trò then chốt trong việc phân loại năng lực học tập của sinh viên thành các nhóm Giỏi (loại A), Khá (loại B+) và Trung bình (loại C).

Phương pháp nghiên cứu

Nguồn dữ liệu ban đầu thu thập từ hệ thống quản lý đào tạo gồm kết quả học tập của 3.180 sinh viên thuộc các ngành Kỹ thuật Máy tính, Khoa học Máy tính và Công nghệ Thông tin từ khóa 2003 đến khóa 2013, kết hợp cùng toàn bộ đề cương chi tiết của 26 môn học chuyên ngành.

Phương pháp chọn mẫu được tiến hành có hệ thống và nghiêm ngặt qua 3 giai đoạn lọc dữ liệu:

1. Lọc theo chuyên ngành: Chọn lọc riêng 1.661 hồ sơ sinh viên thuộc ngành Kỹ thuật Máy tính.
2. Lọc theo tính ổn định của khung chương trình: Loại bỏ các khóa có sự thay đổi mã môn hoặc thiếu dữ liệu, chọn 350 sinh viên thuộc các khóa 2008, 2009 và 2010 có dữ liệu điểm hoàn chỉnh nhất.
3. Lọc theo ngưỡng tích lũy tín chỉ: Chỉ chọn những sinh viên đã hoàn thành từ 55 tín chỉ trở lên trên tổng số 74 tín chỉ thuộc 24 môn học cốt lõi liên quan trực tiếp đến chuẩn đầu ra (không bao gồm môn thực tập và luận văn tốt nghiệp). Cỡ mẫu nghiên cứu chính thức gồm 213 sinh viên.

Lý do lựa chọn phương pháp phân tích bằng thuật toán C4.5/J48 trên phần mềm WEKA là vì thuật toán này xử lý xuất sắc dữ liệu dạng số liên tục, tự động khắc phục tình trạng thiếu giá trị điểm cục bộ và có cơ chế tỉa cây sau (Post-pruning) giúp ngăn ngừa hiện tượng quá khớp (Overfitting). Để đánh giá độ tin cậy, nghiên cứu áp dụng phương pháp kiểm chứng chéo 10 lần (10-fold cross-validation). Đồng thời, nhằm giải quyết sự mất cân bằng giữa các nhãn lớp (lớp C chiếm 105 mẫu, lớp B+ chiếm 69 mẫu, lớp A chiếm 39 mẫu), nghiên cứu thực hiện 9 lần nhân bản dữ liệu có kiểm soát để tạo ra 9 tập dữ liệu mới với kích thước từ 291 đến 302 mẫu, giúp mô hình phân lớp đạt tính ổn định cao nhất. Toàn bộ quy trình nghiên cứu được hoàn thành trong khung thời gian từ tháng 01/2014 đến tháng 11/2014.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích thực nghiệm và tổng hợp ma trận trọng số đã mang lại 4 phát hiện quan trọng:

Thứ nhất, mô hình cây quyết định ban đầu xây dựng trên 213 mẫu đạt độ chính xác phân lớp tổng thể là 73,24%, tương ứng với 156 trường hợp được phân lớp chính xác. Cụ thể, mô hình nhận diện đúng 87 trên 105 sinh viên lớp C (tỷ lệ chính xác 82,86%), 42 trên 69 sinh viên lớp B+ (tỷ lệ 60,87%) và 27 trên 39 sinh viên lớp A (tỷ lệ 69,23%).

Thứ hai, việc áp dụng kỹ thuật cân bằng dữ liệu trên 9 tập dữ liệu thử nghiệm từ S1 đến S9 đã cải thiện rõ rệt hiệu năng của mô hình phân lớp, đẩy độ chính xác trung bình lên mức từ 80,73% đến 86,58%. Trong đó, tập dữ liệu S4 ghi nhận hiệu quả cao nhất với độ chính xác đạt 86,58% (phân lớp đúng 258 trên tổng số 298 trường hợp), tỷ lệ phân lớp sai giảm xuống chỉ còn 13,42%.

Thứ ba, nghiên cứu đã xác định được nhóm các môn học giữ vai trò thuộc tính phân tách cấp cao (nằm sát nút gốc của cây quyết định), có mức độ ảnh hưởng quyết định đến phân loại kết quả học tập của sinh viên. Điển hình là các môn: Vi xử lý – Vi điều khiển (mã 504007), Xử lý tín hiệu số (mã 504005), Kỹ thuật truyền số liệu (mã 504003), Giải tích mạch (mã 404036), Cấu trúc dữ liệu và Giải thuật (mã 503001) và Công nghệ phần mềm (mã 502002).

Thứ tư, bảng tổng hợp đối sánh giữa trọng số theo mô hình phân lớp và trọng số theo thang nhận thức Bloom đã cho phép xác lập hệ số trọng số cuối cùng cho từng môn học đối với từng chuẩn đầu ra từ 3a đến 3k một cách chuẩn xác, khắc phục hoàn toàn sự chênh lệch giữa điểm số tích lũy thông thường và mức độ thuần thục năng lực thực tế.

Thảo luận kết quả

Nguyên nhân cốt lõi khiến các môn học như Vi xử lý – Vi điều khiển hay Cấu trúc dữ liệu và Giải thuật xuất hiện ở các vị trí phân nhánh đầu tiên của cây quyết định là do các môn học này tích hợp khối lượng kiến thức nền tảng lớn, kết hợp chặt chẽ giữa tư duy logic trừu tượng và kỹ năng thực hành kỹ thuật phức tạp. Sinh viên đạt điểm giỏi ở các môn này thường có xu hướng duy trì kết quả học tập vượt trội ở toàn bộ chương trình đào tạo.

So với các nghiên cứu trước đây vốn chỉ dựa vào phân phối thời lượng giờ học hoặc gán trọng số đồng đều giữa các môn, phương pháp tích hợp của luận văn mang lại tính hợp lý vượt trội. Phương pháp này đảm bảo nguyên tắc: một môn học chỉ được cấp trọng số đánh giá cao đối với một chuẩn đầu ra khi nó vừa đòi hỏi mức độ nhận thức cao theo chuẩn Bloom, vừa có khả năng phân hóa thực chứng kết quả học tập của sinh viên.

Để tối ưu hóa tính trực quan trong báo cáo kiểm định, các phát hiện này có thể được trình bày thông qua hệ thống biểu đồ và bảng biểu chuyên sâu. Cụ thể, ma trận nhầm lẫn (Confusion Matrix) được mô tả qua bảng số liệu chéo phản ánh chi tiết độ nhạy và độ đặc hiệu của từng nhãn lớp học tập. Cấu trúc cây quyết định được mô hình hóa bằng sơ đồ phân cấp trực quan thể hiện rõ các ngưỡng điểm rẽ nhánh. Đồng thời, độ phân bổ trọng số của 24 môn học đối với 11 chuẩn đầu ra được trực quan hóa tối ưu thông qua biểu đồ mạng nhện (Radar Chart) đa chiều hoặc biểu đồ cột xếp chồng (Stacked Bar Chart), giúp hội đồng kiểm định dễ dàng nhận diện những môn học then chốt cần thu thập minh chứng đánh giá.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đề xuất 4 giải pháp cụ thể nhằm tối ưu hóa công tác đánh giá chuẩn đầu ra và cải tiến chất lượng đào tạo:

Thứ nhất, thiết lập và áp dụng mô hình tính trọng số môn học hỗn hợp cho toàn bộ chương trình đào tạo kỹ thuật. Hội đồng Đảm bảo Chất lượng phối hợp với Ban chủ nhiệm Khoa cần chuẩn hóa công thức tính điểm chuẩn đầu ra tổng hợp có trọng số, hướng tới mục tiêu đạt độ chính xác trên 85% trong việc lượng hóa kết quả đào tạo cho 100% môn học cốt lõi. Thời gian triển khai thực hiện giải pháp này là trong Quý 1 và Quý 2 của năm học mới.

Thứ hai, tuyển chọn và rút gọn danh mục môn học trong kế hoạch đánh giá định kỳ. Thay vì dàn trải nguồn lực đánh giá trên toàn bộ 26 môn học, Tổ Đánh giá Chương trình Đào tạo cần chọn lọc từ 8 đến 12 môn học trọng điểm có trọng số cao nhất ở từng chuẩn đầu ra để thu thập bài tập lớn, bài thi và đồ án thực tế. Giải pháp này giúp cắt giảm từ 30% đến 40% khối lượng công việc hành chính mà vẫn đảm bảo độ tin cậy và bao phủ toàn diện 11 chuẩn đầu ra ABET theo chu kỳ đánh giá hằng năm.

Thứ ba, rà soát và cập nhật đề cương chi tiết môn học theo thang đo nhận thức Bloom. Giảng viên phụ trách học phần cần tiến hành viết lại mục tiêu học tập (Course Learning Outcomes) sử dụng các động từ hành động tương ứng với mức nhận thức từ cấp độ 3 (Vận dụng) đến cấp độ 6 (Sáng tạo) cho 100% học phần chuyên ngành. Hoạt động này cần hoàn thành trong khung thời gian 6 tháng trước thời điểm nhà trường nộp báo cáo tự đánh giá cho tổ chức kiểm định quốc tế.

Thứ tư, tích hợp công cụ khai phá dữ liệu tự động vào hệ thống quản lý học tập số. Phòng Đào tạo cùng Trung tâm Công nghệ Thông tin cần xây dựng phân hệ phần mềm ứng dụng thuật toán J48 để tự động cập nhật dữ liệu điểm và tái phân bổ trọng số môn học sau mỗi học kỳ. Hệ thống cần đạt năng lực xử lý tự động toàn bộ dữ liệu học tập của hơn 1.000 sinh viên trong vòng dưới 24 giờ kể từ khi hoàn tất nhập điểm thi.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị ứng dụng thiết thực cho 4 nhóm đối tượng chính sau:

1. Ban Giám hiệu và Lãnh đạo các Trường Đại học Kỹ thuật: Cung cấp góc nhìn chiến lược và căn cứ khoa học vững chắc để hoạch định chính sách đảm bảo chất lượng giáo dục, nâng cao năng lực cạnh tranh và đáp ứng chuẩn mực kiểm định quốc tế theo khung ABET.
2. Trưởng Bộ môn và Giảng viên xây dựng chương trình đào tạo: Cung cấp phương pháp chi tiết để thiết kế đề cương môn học, ánh xạ chuẩn đầu ra môn học vào chuẩn đầu ra chương trình thông qua thang đo nhận thức Bloom và định lượng hóa đóng góp của từng môn.
3. Chuyên viên Đảm bảo Chất lượng Giáo dục (QA) và Khảo thí: Hướng dẫn quy trình thu thập minh chứng, tính toán điểm chuẩn đầu ra theo trọng số và rút gọn kế hoạch kiểm định một cách khoa học, tiết kiệm chi phí và nhân lực vận hành.
4. Học viên Cao học và Nghiên cứu sinh ngành Hệ thống Thông tin / Khoa học Dữ liệu: Cung cấp một nghiên cứu tình huống điển hình về ứng dụng kỹ thuật khai phá dữ liệu giáo dục (Educational Data Mining), cách thức xử lý dữ liệu thực tế bị mất cân bằng và triển khai thuật toán cây quyết định C4.5/J48 trên môi trường WEKA.

Câu hỏi thường gặp

1. Tại sao cần kết hợp cả mô hình phân lớp sinh viên và thang đo nhận thức Bloom khi xác định trọng số môn học? Việc chỉ dựa vào thang đo Bloom mang tính lý thuyết trên đề cương, trong khi chỉ dựa vào mô hình phân lớp lại phản ánh năng lực phân loại chung mà chưa gắn chặt với từng chuẩn đầu ra riêng biệt. Sự kết hợp này dung hòa giữa yêu cầu học thuật chuẩn mực và hiệu quả phân hóa năng lực thực tế của 213 sinh viên trên 24 môn học.

2. Thuật toán C4.5/J48 có ưu điểm gì vượt trội so với các thuật toán phân lớp khác trong bài toán này? Thuật toán C4.5/J48 xử lý rất tốt các thuộc tính điểm số dạng liên tục từ 0 đến 10, tự động bù đắp dữ liệu thiếu trên từng học phần và có khả năng tỉa cành để chống quá khớp. Kết quả phân lớp được hiển thị dưới dạng cây quyết định trực quan, giúp các nhà quản lý giáo dục dễ dàng diễn giải các luật phân loại.

3. Nghiên cứu xử lý vấn đề mất cân bằng dữ liệu giữa các nhóm xếp loại học tập như thế nào? Do số lượng sinh viên đạt loại A (39 sinh viên) và loại B+ (69 sinh viên) ít hơn nhiều so với loại C (105 sinh viên), nghiên cứu đã tạo ra 9 tập dữ liệu mới (từ S1 đến S9) bằng phương pháp nhân bản dữ liệu tuân thủ các luật phát sinh, giúp nâng cao độ chính xác phân loại từ 73,24% lên mức tối đa 86,58%.

4. Phương pháp xác định trọng số trong luận văn có thể chuyển giao cho các ngành đào tạo khác không? Quy trình 3 bước gồm xử lý dữ liệu điểm, xây dựng mô hình phân lớp bằng cây quyết định và đối sánh ma trận mục tiêu học phần theo thang đo Bloom hoàn toàn có thể nhân rộng cho các ngành Kỹ thuật Điện, Kỹ thuật Hóa học hay Khoa học Máy tính nhằm phục vụ các bộ tiêu chuẩn kiểm định quốc tế khác nhau.

5. Việc áp dụng trọng số môn học giúp tối ưu hóa nguồn lực kiểm định giáo dục như thế nào? Thay vì phải kiểm tra toàn bộ 26 môn học, khoa đào tạo có thể căn cứ vào trọng số để chọn ra từ 8 đến 12 môn học có đóng góp cao nhất cho 11 chuẩn đầu ra ABET. Điều này giúp giảm hơn 30% khối lượng thu thập hồ sơ đánh giá mà vẫn đảm bảo đầy đủ bằng chứng khoa học phục vụ đoàn kiểm định.

Kết luận

Luận văn đã giải quyết trọn vẹn bài toán xác định trọng số môn học phục vụ đánh giá chuẩn đầu ra ABET thông qua các đóng góp nổi bật sau:

• Xây dựng thành công phương pháp luận kết hợp đột phá giữa kỹ thuật khai phá dữ liệu cây quyết định và thang phân loại mức độ nhận thức Bloom.
• Kiểm chứng thực nghiệm thành công trên bộ dữ liệu gồm 213 sinh viên và 24 môn học cốt lõi tương đương 74 tín chỉ của ngành Kỹ thuật Máy tính.
• Nâng cao độ chính xác phân loại kết quả học tập từ 73,24% ở mô hình ban đầu lên mức 86,58% sau khi xử lý cân bằng dữ liệu.
• Đề xuất giải pháp khoa học cho phép rút gọn danh mục môn học cần kiểm định trực tiếp, giúp tiết kiệm từ 30% đến 40% nguồn lực quản lý.
• Thiết lập quy trình chuẩn hóa hỗ trợ chu trình cải tiến liên tục chất lượng giáo dục đại học đáp ứng trọn vẹn 11 tiêu chí chuẩn đầu ra quốc tế.

Trong giai đoạn tiếp theo, các cơ sở giáo dục đại học cần nhanh chóng tích hợp thuật toán phân lớp tự động vào hệ thống quản lý học tập số trong vòng 6 đến 12 tháng tới. Hãy liên hệ ngay với nhóm nghiên cứu hoặc phòng Đảm bảo Chất lượng của nhà trường để nhận bộ tài liệu hướng dẫn chuyển giao quy trình tính toán trọng số môn học, góp phần nâng tầm chất lượng chương trình đào tạo đạt chuẩn kiểm định quốc tế ABET.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA --------------------- ĐINH NGUYỄN THÖY NGUYỆT PHƢƠNG PHÁP XÂY DỰNG TRỌNG SỐ MÔN HỌC ĐỂ ĐÁNH GIÁ CÁC CHUẨN ĐẦU RA ABET CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN QUẢN LÝ MÃ SỐ CHUYÊN NGÀNH: 60.48 LUẬN VĂN THẠC SĨ NGƢỜI HƢỚNG DẪN KHOA HỌC TS. LÊ THANH VÂN Thành phố Hồ Chí Minh, tháng 12 năm 2014 CÔNG TRÌNH ĐƢỢC HOÀN THÀNH TẠI TRƢỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hƣớng dẫn khoa học : TS. LÊ THANH VÂN Cán bộ chấm nhận xét 1 : TS.

LÊ LAM SƠN Cán bộ chấm nhận xét 2 : TS. NGUYỄN TUẤN ĐĂNG Luận văn thạc sĩ đƣợc bảo vệ tại trƣờng Đại học Bách Khoa, ĐHQG TP.HCM ngày 06 tháng 01 năm 2015. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1. ĐẶNG TRẦN KHÁNH Chủ tịch 2.

LÊ THÀNH SÁCH Thƣ ký 3. LÊ LAM SƠN Phản biện 1 4. NGUYỄN TUẤN ĐĂNG Phản biện 2 5. NGUYỄN THANH BÌNH Ủy viên Xác nhận của Chủ tịch Hội đồng đánh giá luận văn và Trƣởng khoa quản lý chuyên ngành sau khi luận văn đã đƣợc sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÕA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƢỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc ____________ ____________ NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: ĐINH NGUYỄN THÚY NGUYỆT MSHV : 12321069 Ngày, tháng, năm sinh: 21/10/1988 Nơi sinh : Ninh Thuận Chuyên ngành: Hệ thống thông tin quản lý Mã số : 603448 I.

TÊN ĐỀ TÀI Phƣơng pháp xây dựng trọng số môn học để đánh giá các chuẩn đầu ra ABET II. NHIỆM VỤ VÀ NỘI DUNG 1. Xây dựng mô hình phân lớp sinh viên và đề xuất trọng số môn học theo mô hình phân lớp đã xây dựng. Xây dựng trọng số môn học theo các mức độ nhận thức của Bloom.

So sánh, đối chiếu giữa trọng số môn học theo mô hình phân lớp sinh viên vừa xây dựng và trọng số môn học theo các mức độ nhận thức của Bloom để cân nhắc, đề xuất trọng số cuối cùng cho các môn học, đồng thời xem xét những môn học nào nên đƣợc đƣa vào kế hoạch đánh giá chuẩn đầu ra nhằm đánh giá chuẩn đầu ra dựa trên kết quả học tập của những môn này. NGÀY GIAO NHIỆM VỤ: 20/01/2014 VI. NGÀY HOÀN THÀNH NHIỆM VỤ: 14/11/2014 V. CÁN BỘ HƢỚNG DẪN: TS.

LÊ THANH VÂN TP. HCM, ngày … tháng … năm … CÁN BỘ HƢỚNG DẪN TRƢỞNG KHOA (Họ tên và chữ ký) (Họ tên và chữ ký) LỜI CẢM ƠN Đầu tiên, tôi xin gửi lời cảm ơn chân thành và sâu sắc nhất đến TS. Lê Thanh Vân, ngƣời đã định hƣớng đề tài nghiên cứu và tận tình hƣớng dẫn tôi trong quá trình thực hiện luận văn. Kế đến, tôi xin cảm ơn các thầy cô đã truyền đạt những kiến thức và kinh nghiệm quý báu cho tôi trong suốt quá trình học.

Cuối cùng, xin cảm ơn gia đình, các anh chị đồng nghiệp đã luôn hỗ trợ và tạo điều kiện tốt nhất để tôi có thể hoàn thành luận văn này.HCM, ngày ……tháng……năm …… Học viên cao học Đinh Nguyễn Thúy Nguyệt. TÓM TẮT Đề tài đề xuất phƣơng pháp xây dựng trọng số cho các môn học nhằm hỗ trợ công việc đánh giá chung kết quả đạt đƣợc của chuẩn đầu ra thông qua những môn học liên quan đến việc đáp ứng chuẩn đầu ra. Trọng số môn học đƣợc xây dựng bằng việc kết hợp giữa trọng số môn học xem xét theo mô hình phân lớp sinh viên và trọng số môn học xem xét theo các mức độ nhận thức của Bloom. Tất cả các dữ liệu nghiên cứu của đề tài đƣợc thu thập từ chƣơng trình đào tạo ngành Kỹ thuật máy tính – Khoa Khoa học và Kỹ thuật Máy tính, Trƣờng Đại học Bách Khoa Thành phố Hồ Chí Minh.

Nội dung dữ liệu thu thập bao gồm điểm học tập của sinh viên và các đề cƣơng môn học trong chƣơng trình. Căn cứ vào các dữ liệu thu thập, đề tài tiến hành: (1) xây dựng mô hình phân lớp sinh viên và đề xuất trọng số cho môn học theo mô hình đã xây dựng; (2) xây dựng ma trận chuẩn đầu ra của chƣơng trình theo các mức độ nhận thức của Bloom và đề xuất trọng số cho môn học theo ma trận xây dựng đƣợc; (3) kết luận trọng số cuối cùng của môn học sau khi so sánh 2 kết quả trọng số của môn học đã xây dựng theo 2 cách trƣớc đó. Qua quá trình thực hiện, đối với mỗi CĐR trong chƣơng trình, đề tài đã xây dựng đƣợc trọng số cho các môn học liên quan đến việc đáp ứng CĐR đó, kết quả đƣợc trình bày chi tiết ở các bảng 4. Ngoài ra, dựa vào các kết quả nghiên cứu, một số môn học đƣợc đề xuất để đƣa vào kế hoạch đánh giá CĐR nhằm đánh giá chung kết quả đạt đƣợc của CĐR thông qua các môn học này.

ABSTRACT The study proposed the method to define the weight of courses to support the overall assessment of achievement of ABET program outcomes based on the program outcomes attainment in related courses. The weight of courses was constructed by combining the weight of courses considered in a classification model for students’ performance with the weight of courses considered in the levels of Bloom’s cognitive domain. All study data were collected from the Computer Engineering program designed by the faculty of Computer Science and Engineering, Technology University of Ho Chi Minh City. The data collected includes students’ marks and the syllabi.

Based on the data collected, three steps were carried out: (1) building a classification model for students’ performance and proposing the weight for courses through the model above; (2) developing a matrix of program outcomes according to the levels of Bloom’s cognitive domain and proposing the weight for courses; (3) concluding the final weight of courses after comparing the results of two weights in two ways above. After conducting these steps, for each program outcome, the study has established the weight for the courses addresses that program outcome, the results are presented in detail in the tables 4. Also, according to the results of the study, it is suggested that some courses should be included in assessment plan to evaluate overall assessment of achievement of program outcomes through these courses. LỜI CAM ĐOAN Tôi xin cam đoan nội dung, các kết quả của luận văn là do tôi tự nghiên cứu và thực hiện.

Dữ liệu đƣợc thu thập, xử lý một cách khách quan và trung thực. DANH MỤC BẢNG BIỂU Bảng 3.Các môn học đáp ứng CĐR trong chƣơng trình .Thống kê 24 thuộc tính môn học trong tập dữ liệu huấn luyện .Kết quả đánh giá của các mô hình phân lớp .Mức độ ảnh hƣởng của các môn học 501128 – 506002 theo các MHPL .Mức độ ảnh hƣởng của các môn học 502002 – 504003 theo các MHPL .Mức độ ảnh hƣởng của các môn học 504005 – 504010 theo các MHPL .Trọng số của môn học đề xuất theo MHPL sinh viên .Trọng số của môn học đối với từng CĐR theo MHPL sinh viên .Mức độ đáp ứng của môn học đối với CĐR theo Bloom .Trọng số của môn học đối với từng CĐR theo Bloom .Trọng số của môn học đối với CĐR 3a-3b theo MHPL và theo Bloom .Trọng số của môn học đối với CĐR 3c-3d theo MHPL và theo Bloom .Trọng số của môn học đối với CĐR 3e-3f theo MHPL và theo Bloom .Trọng số của môn học đối với CĐR 3g-3h theo MHPL và theo Bloom .Trọng số của môn học đối với CĐR 3i-3j theo MHPL và theo Bloom .Trọng số của môn học đối với CĐR 3k theo MHPL và theo Bloom. 56 DANH MỤC HÌNH ẢNH Hình 2.Đánh giá để cải thiện liên tục chƣơng trình .Quá trình phân lớp dữ liệu-(a) Bƣớc xây dựng mô hình phân lớp .Quá trình phân lớp dữ liệu-(b) Bƣớc sử dụng mô hình phân lớp .Ma trận đánh giá/ ma trận nhầm lẫn cho bài toán 2 lớp .Mô hình phân lớp Cây quyết định .Màn hình lựa chọn giao diện làm việc của WEKA .Phân lớp dữ liệu với thuật toán J48 trong giao diện Explorer .7 – Thống kê thuộc tính nhãn lớp của tập dữ liệu huấn luyện .Ma trận môn học .Ma trận CĐR của chƣơng trình. 48 DANH MỤC TỪ VIẾT TẮT CĐR : Chuẩn đầu ra CNTT : Công nghệ thông tin CTĐT : Chƣơng trình đào tạo KHMT : Khoa học máy tính KTMT : Kỹ thuật máy tính KH&KTMT : Khoa học và Kỹ thuật máy tính MHPL : Mô hình phân lớp MỤC LỤC Chƣơng 1 TỔNG QUAN ĐỀ TÀI.

Lý do hình thành đề tài. Mục tiêu đề tài. Đối tƣợng và phạm vi đề tài. Quy trình và phƣơng pháp nghiên cứu của đề tài.

Bố cục đề tài .7 Chƣơng 2 TỔNG QUAN VỀ ABET VÀ CÁC NGHIÊN CỨU LIÊN QUAN. TỔNG QUAN VỀ ABET. Tổ chức ABET và mục tiêu hoạt động. Các thuật ngữ liên quan.

Tóm tắt các tiêu chí kiểm định của ABET. Chuẩn đầu ra của các chƣơng trình Kỹ thuật. Đánh giá chất lƣợng đào tạo và cải thiện liên tục chƣơng trình. Lợi ích của việc đạt đƣợc chuẩn kiểm định ABET.

CÁC NGHIÊN CỨU LIÊN QUAN .16 Chƣơng 3 XÂY DỰNG TRỌNG SỐ MÔN HỌC THEO MÔ HÌNH PHÂN LỚP SINH VIÊN. PHÂN LỚP DỮ LIỆU VÀ KỸ THUẬT PHÂN LỚP CÂY QUYẾT ĐỊNH. Phân lớp dữ liệu trong khai phá dữ liệu. Cây quyết định.

Phân lớp dữ liệu với WEKA. XÂY DỰNG MÔ HÌNH PHÂN LỚP SINH VIÊN. Thu thập và xử lý dữ liệu. Xây dựng mô hình.

XÁC ĐỊNH TRỌNG SỐ MÔN HỌC. Mức độ ảnh hƣởng của môn học đến việc phân lớp sinh viên. Trọng số môn học theo mô hình phân lớp.43 Chƣơng 4 TỔNG HỢP TRỌNG SỐ VÀ ĐÁNH GIÁ. THIẾT KẾ MÔN HỌC ĐÁP ỨNG CHUẨN ĐẦU RA ABET.

Xây dựng mục tiêu môn học. Xác định sự liên quan giữa mục tiêu môn học và chuẩn đầu ra. XÂY DỰNG TRỌNG SỐ MÔN HỌC THEO MỨC ĐỘ NHẬN THỨC BLOOM. Xây dựng các ma trận môn học và ma trận chuẩn đầu ra.

Xác định trọng số môn học. TỔNG HỢP TRỌNG SỐ VÀ MINH HỌA ĐÁNH GIÁ. Tổng hợp trọng số. Đánh giá chung các CĐR theo trọng số xây dựng.

ĐỀ XUẤT KẾ HOẠCH ĐÁNH GIÁ .78 Chƣơng 5 KẾT LUẬN. KẾT QUẢ ĐẠT ĐƢỢC. ĐÓNG GÓP CỦA ĐỀ TÀI. HẠN CHẾ VÀ KIẾN NGHỊ VỀ NHỮNG NGHIÊN CỨU TIẾP THEO .82 DANH MỤC TÀI LIỆU THAM KHẢO .83 PHỤ LỤC 1: TẬP DỮ LIỆU HUẤN LUYỆN .87 PHỤ LỤC 2: KẾ HOẠCH ĐÁNH GIÁ CĐR THÔNG QUA CÁC MÔN HỌC .90 PHỤ LỤC 3: CÁC MA TRẬN MÔN HỌC TRONG CHƢƠNG TRÌNH KTMT .92 Chƣơng 1 TỔNG QUAN ĐỀ TÀI 1.