Đánh giá của sinh viên về giảng dạy, khóa học và đặc điểm sinh viên tại Andrews University

Khám phá mối liên hệ giữa đánh giá giảng dạy của sinh viên và đặc điểm của sinh viên trong bài viết này. Tìm hiểu cách cải thiện chất lượng giảng dạy.

• Tác giả: Fatimah Al Nasser
• Người hướng dẫn: Larry D. Burton
• Trường học: Andrews University
• Chuyên ngành: Higher Education
• Đề tài: Đánh giá của sinh viên về giảng dạy và đặc điểm khóa học tại Andrews University
• Loại tài liệu: dissertation
• Năm xuất bản: 2018
• Địa điểm: Berrien Springs

Mục lục chi tiết

• LIST OF TABLES
• LIST OF ABBREVIATIONS
• 1. CHAPTER 1: INTRODUCTION
• 1.1. Background of the Problem
• 1.2. Statement of the Problem
• 1.3. Purpose of the Study
• 1.4. Student Evaluations of Teaching
• 1.5. SET Overall Rating and SET Dimensions
• 1.6. Student and Course Characteristics Influencing SET Scores
• 1.7. The Research Questions
• 1.8. Significance of the Study
• 1.9. Definition of Terms
• 2. REVIEW OF LITERATURE AND CONCEPTUAL FRAMEWORK
• 2.1. Review of Literature
• 2.2. Purpose of the Study
• 2.3. Research Design
• 2.4. Summary of Findings
• 2.4.1. Findings for Research Question 1
• 2.4.2. Findings for Research Question 2
• 2.4.3. Findings for Research Question 3
• ANDREWS UNIVERSITY SET INSTRUMENT
• TABLE OF DEFINITION OF VARIABLES
• IRB FORM AND CERTIFICATION
• LIST OF TABLES
• LIST OF ABBREVIATIONS
• ACKNOWLEDGEMENT

Tóm tắt

I. Tổng quan về đánh giá giảng dạy tại Andrews University

Đánh giá giảng dạy tại Andrews University là một phần quan trọng trong việc cải thiện chất lượng giáo dục. Sinh viên thường được yêu cầu đánh giá các khóa học và giảng viên sau khi hoàn thành. Những đánh giá này không chỉ phản ánh chất lượng giảng dạy mà còn giúp các giảng viên điều chỉnh phương pháp giảng dạy của mình. Theo nghiên cứu, sinh viên thường đánh giá cao các khóa học mà họ tham gia, đặc biệt là những khóa học có sự chuẩn bị và tổ chức tốt.

1.1. Đánh giá giảng dạy và sự quan trọng của nó

Đánh giá giảng dạy giúp xác định hiệu quả của các phương pháp giảng dạy. Nó cung cấp thông tin quý giá cho giảng viên và quản lý trường học để cải thiện chất lượng giáo dục.

1.2. Các yếu tố ảnh hưởng đến đánh giá giảng dạy

Nhiều yếu tố có thể ảnh hưởng đến đánh giá giảng dạy, bao gồm sự chuẩn bị của giảng viên, khả năng giao tiếp và sự quan tâm đến sinh viên. Những yếu tố này thường được sinh viên đánh giá cao.

II. Vấn đề trong đánh giá giảng dạy tại Andrews University

Mặc dù đánh giá giảng dạy là cần thiết, nhưng vẫn tồn tại nhiều vấn đề. Một số sinh viên có thể không đánh giá công bằng do cảm xúc cá nhân hoặc kỳ vọng không thực tế. Ngoài ra, sự khác biệt về giới tính và tình trạng học tập cũng có thể ảnh hưởng đến điểm số đánh giá.

2.1. Thách thức trong việc thu thập phản hồi

Việc thu thập phản hồi từ sinh viên có thể gặp khó khăn do sự thiếu quan tâm hoặc sự không đồng nhất trong cách đánh giá. Điều này có thể dẫn đến những kết quả không chính xác.

2.2. Ảnh hưởng của giới tính và tình trạng học tập

Nghiên cứu cho thấy giới tính và tình trạng học tập có thể ảnh hưởng đến điểm số đánh giá. Tuy nhiên, ảnh hưởng này thường rất nhỏ và không nhất quán.

III. Phương pháp đánh giá giảng dạy tại Andrews University

Andrews University sử dụng nhiều phương pháp để đánh giá giảng dạy, bao gồm khảo sát sinh viên và phân tích dữ liệu. Các phương pháp này giúp xác định các yếu tố nào ảnh hưởng đến sự hài lòng của sinh viên và chất lượng giảng dạy.

3.1. Khảo sát sinh viên và phân tích dữ liệu

Khảo sát sinh viên là công cụ chính để thu thập dữ liệu. Dữ liệu này được phân tích để xác định các xu hướng và mẫu trong đánh giá giảng dạy.

3.2. Các chỉ số đánh giá hiệu quả giảng dạy

Các chỉ số như sự chuẩn bị, tổ chức và khả năng giao tiếp của giảng viên thường được sử dụng để đánh giá hiệu quả giảng dạy.

IV. Kết quả nghiên cứu về đánh giá giảng dạy tại Andrews University

Nghiên cứu cho thấy sinh viên thường đánh giá cao các khóa học tại Andrews University. Các yếu tố như sự tôn trọng sự đa dạng và khả năng giao tiếp hiệu quả được đánh giá cao hơn cả. Điều này cho thấy rằng giảng viên cần chú trọng đến những yếu tố này để nâng cao chất lượng giảng dạy.

4.1. Các yếu tố dự đoán điểm số đánh giá

Nghiên cứu đã xác định bốn yếu tố chính dự đoán điểm số đánh giá tổng thể, bao gồm sự kích thích sự quan tâm, giao tiếp hiệu quả, khám phá trí tuệ và đánh giá.

4.2. Sự hài lòng của sinh viên với khóa học

Sự hài lòng của sinh viên với khóa học thường cao, đặc biệt là khi giảng viên thể hiện sự quan tâm và hỗ trợ trong quá trình học tập.

V. Kết luận và tương lai của đánh giá giảng dạy tại Andrews University

Đánh giá giảng dạy tại Andrews University đóng vai trò quan trọng trong việc cải thiện chất lượng giáo dục. Tương lai của đánh giá này sẽ phụ thuộc vào việc cải thiện các phương pháp thu thập và phân tích dữ liệu. Cần có sự chú ý hơn đến các yếu tố ảnh hưởng đến sự đánh giá của sinh viên.

5.1. Hướng đi tương lai cho đánh giá giảng dạy

Cần phát triển các phương pháp mới để thu thập phản hồi từ sinh viên, nhằm đảm bảo rằng đánh giá giảng dạy phản ánh chính xác chất lượng giáo dục.

5.2. Tăng cường sự tham gia của sinh viên

Khuyến khích sinh viên tham gia vào quá trình đánh giá sẽ giúp cải thiện độ chính xác và độ tin cậy của các kết quả đánh giá.

Nội dung chính

Tổng quan về luận án

Đánh giá giảng dạy của sinh viên (Student Evaluation of Teaching - SET) từ lâu đã trở thành công cụ cốt lõi trong hệ thống quản trị đại học toàn cầu, vừa phục vụ chức năng đánh giá quá trình (formative feedback) nhằm cải tiến phương pháp sư phạm, vừa là thước đo tổng kết (summative assessment) chi phối các quyết định tuyển dụng, thăng hàm và tái bổ nhiệm giảng viên. Tuy nhiên, tính hợp lệ cấu trúc (construct validity), độ tin cậy và sự can thiệp của các biến số gây nhiễu phi sư phạm (non-instructional confounding variables) vẫn là tâm điểm tranh biện học thuật gay gắt. Luận án tiến sĩ "Student Evaluations of Teaching, Course and Student Characteristics at Andrews University" của nghiên cứu sinh Fatimah Al Nasser (2018), dưới sự hướng dẫn của Giáo sư Larry D. Burton cùng hội đồng chuyên môn (Tiến sĩ Jimmy Kijai, Tiến sĩ Lynn Merklin, Tiến sĩ Robson Marinho, Tiến sĩ Alice C. Williams) tại Trường Giáo dục thuộc Đại học Andrews, đại diện cho một công trình nghiên cứu tiên phong giải mã cấu trúc đa chiều của SET và định lượng tác động của các đặc tính khóa học lẫn sinh viên đối với điểm số đánh giá.

+-----------------------------------------------------------------------------+
|                           KHUNG PHÂN TÍCH TỔNG THỂ                          |
|                                                                             |
|   [CÁC CHIỀU KÍCH SƯ PHẠM (SET DIMENSIONS)]                                 |
|   - Kích thích hứng thú (Stimulate Interest)   ---\                         |
|   - Giao tiếp hiệu quả (Effective Communication) --+--> [ĐÁNH GIÁ TỔNG THỂ] |
|   - Khám phá & Tra vấn (Intellectual Discovery) ---+   (OVERALL RATING)     |
|   - Đánh giá & Cho điểm (Evaluation & Grading)  ---/                        |
|                                                                             |
|   [BIẾN SỐ NHIỄU KIỂM SOÁT (CONFOUNDING COVARIATES)]                        |
|   - Giới tính (Gender): Không có tác động ý nghĩa (p > .05)                 |
|   - Trạng thái học tập (Student Status): Tác động khu biệt, Effect size nhỏ |
|   - Cấp độ khóa học (Course Level): Điểm cao hơn ở bậc Sau đại học          |
|   - Loại khóa học & Phân khoa: Hiệu ứng không đáng kể trong thực tiễn       |
+-----------------------------------------------------------------------------+

Nghiên cứu xuất phát từ một khoảng trống học thuật thực nghiệm (empirical research gap) rõ ràng: phần lớn các công trình tiền nhiệm chưa xác định được mô hình hồi quy tinh gọn (parsimonious predictive model) chỉ ra những chiều kích sư phạm cốt lõi nào dự báo trực tiếp điểm đánh giá tổng thể (SET Overall Rating). Đồng thời, các kết luận về ảnh hưởng của nhân khẩu học sinh viên (giới tính, năm học) và cấu trúc khóa học (môn bắt buộc, môn tự chọn, cấp độ lớp, phân khoa chuyên môn) thường mang tính mâu thuẫn, phân mảnh do mẫu khảo sát bị giới hạn trong một khoa đơn lẻ hoặc mất cân đối nghiêm trọng về cơ cấu mẫu.

Để giải quyết khoảng trống này, luận án thiết lập 3 câu hỏi nghiên cứu (Research Questions - RQ) và hệ giả thuyết định lượng cụ thể:

• RQ1: Sinh viên có xu hướng đánh giá như thế nào đối với các chiều kích giảng dạy cụ thể và điểm đánh giá tổng thể của các khóa học đã tham gia?
• RQ2: Những chiều kích giảng dạy cụ thể nào trong thang đo SET đóng vai trò là các biến dự báo có ý nghĩa thống kê đối với điểm đánh giá tổng thể (Overall Rating)?
• RQ3: Có mối liên hệ hoặc sự khác biệt có ý nghĩa thống kê giữa các chiều kích SET, điểm tổng thể với 5 biến số phân loại: Giới tính (Nam/Nữ), Trạng thái học thuật của sinh viên (Tân sinh viên, Sinh viên năm hai, Năm ba, Năm tư, Học viên cao học, Sau đại học), Loại khóa học (Đại cương bắt buộc, Tự chọn ngành, Bắt buộc chuyên ngành, Tự chọn tự do), Cấp độ khóa học (Bậc 100, 200, 300, 400, 500, 600) và Phân khoa đào tạo (Khoa học & Nghệ thuật, Kiến trúc, Quản trị Kinh doanh, Giáo dục, Các ngành Y tế)?

Khung lý thuyết của luận án được xây dựng dựa trên sự giao thoa giữa Nguyên lý Thực hành Giảng dạy Đại học Hiệu quả của Chickering & Gamson (1989), Lý thuyết Đa chiều về Đánh giá Sư phạm của Marsh (1982, 1984) và Mô hình Phân loại Hiệu quả Giảng dạy của Feldman (2007). Với quy mô mẫu lớn gồm $N = 3.745$ phản hồi đánh giá khóa học chính thức tại Đại học Andrews, công trình đã xác lập đóng góp đột phá khi chứng minh rằng chỉ có 4 chiều kích sư phạm cốt lõi giải thích phần lớn phương sai của điểm tổng thể, đồng thời bác bỏ các quan niệm thiên kiến phổ biến về vai trò của giới tính trong đánh giá giảng dạy.

Literature Review và Positioning

Nghiên cứu về đánh giá giảng dạy của sinh viên trải qua hơn sáu thập kỷ tranh luận học thuật, phân hóa thành ba dòng tư tưởng lý thuyết chính:

===============================================================================
                     CÁC DÒNG TIẾP CẬN TRONG Y VĂN VỀ SET
===============================================================================
Dòng 1: Cấu trúc đa chiều & Giá trị đo lường
  -> Marsh (1982, 1984); Centra (1977); Catano & Harvey (2011)
  -> Tranh luận: Bản chất đa chiều (Multidimensionality) vs. Đơn chiều (Global Halo)
-------------------------------------------------------------------------------
Dòng 2: Mô hình dự báo Đánh giá Tổng thể
  -> Feldman (2007); Diette & Kester (2015); Özgüngör & Duru (2015); Yin et al. (2016)
  -> Tranh luận: Trọng số của phương pháp sư phạm vs. Tiêu chí kiểm tra, đánh giá
-------------------------------------------------------------------------------
Dòng 3: Thiên kiến phi sư phạm & Biến số bối cảnh
  -> Darby (2006a, 2006b); Santhanam & Hicks (2002); Whitworth et al. (2002)
  -> Tranh luận: Giới tính, loại khóa học & Phân khoa có làm sai lệch điểm số?
===============================================================================

Dòng nghiên cứu thứ nhất tập trung vào bản chất đa chiều của hiệu quả giảng dạy. Herbert Marsh (1982, 1984, 2007) cùng John Centra (1977) khẳng định hiệu quả giảng dạy là một cấu tạo đa diện (multidimensional construct), không thể quy giản về một chỉ số đơn nhất. William Coffman (1954) từ sớm đã chỉ ra các thành tố như sự chuẩn bị, tổ chức, khả năng khơi gợi tư duy và học thuật. Ngược lại, Catano & Harvey (2011) chỉ trích các công cụ SET truyền thống thường bị áp đặt bởi "những bậc thầy sư phạm" (teaching masters), dẫn đến việc đánh giá quá mức (overrepresented) các yếu tố giao tiếp, sự tận tâm và xem nhẹ (underrepresented) tính sẵn sàng hỗ trợ, phản hồi cá nhân hóa và kỹ năng giải quyết vấn đề.

Dòng nghiên cứu thứ hai xem xét mối quan hệ giữa các chiều kích chi tiết và điểm tổng thể. Feldman (2007) thông qua phân tích tổng hợp chỉ ra rằng tính rõ ràng, khả năng kích thích hứng thú, tổ chức bài giảng và động viên sinh viên có tác động mạnh nhất đến điểm tổng thể. Các nghiên cứu quốc tế sau đó chứng minh sự đa dạng về trọng số: Debra Grace và cộng sự (2012) nhận thấy kỹ năng tổng quát và phương pháp dạy tốt chi phối SET; Diette & Kester (2015) ghi nhận giao tiếp rõ ràng và nhiệt huyết là nhân tố quyết định trong các khối ngành kinh tế; trong khi Nasser-Abu (2017) khảo sát $N = 2.475$ sinh viên cho thấy tiêu chí kiểm tra, đánh giá (assessment qualities) mới là yếu tố được sinh viên xếp hạng ưu tiên cao nhất.

Dòng nghiên cứu thứ ba phân tích các biến số gây nhiễu. Nhiều học giả chỉ ra rằng SET bị tác động bởi các yếu tố không liên quan đến năng lực sư phạm thực tế (Abrami, Perry, & Leventhal, 1982; Shevlin, Banyard, Davies, & Griffiths, 2000; Svanum & Aigner, 2011). Tranh biện nổi bật nhất xoay quanh giới tính và loại môn học:

• Tranh luận về giới tính: Santhanam & Hicks (2002), Worthington (2002), Darby (2006a), Al-Issa & Sulieman (2007) và Ali & Ajmi (2013) báo cáo sinh viên nữ có xu hướng chấm điểm giảng viên cao hơn sinh viên nam. Darby (2006a) lập luận rằng sự khác biệt trong năng lực ghi nhớ chi tiết và cảm nhận tương tác xã hội của sinh viên nữ tạo ra độ lệch điểm số này.
• Tranh luận về loại khóa học và hiện tượng "Sophomore Slump": Braskamp & Ory (1994), Darby (2006b) và Donnon et al. (2010) khẳng định các môn tự chọn (elective courses) luôn nhận được đánh giá ưu ái hơn các môn bắt buộc (required courses) do tâm lý tự nguyện đăng ký. Santhanam & Hicks (2002) cũng phát hiện sinh viên năm hai thường cho điểm thấp nhất trong toàn bộ các khối lớp do hiện tượng suy giảm nhiệt huyết ban đầu chuyển thành thái độ hoài nghi ("sophomore slump").

So sánh với các nghiên cứu quốc tế quy mô lớn:

1. Nghiên cứu của Özgüngör & Duru (2015) tại Thổ Nhĩ Kỳ ($N = 23.814$): Khảo sát 6 chiều kích SET và xác nhận tương tác lớp học cùng kỹ năng chung đóng vai trò then chốt trong việc định hình điểm tổng thể.
2. Nghiên cứu của Yin, Wang, & Han (2016) tại Trung Quốc ($N = 2.043$): Ứng dụng bảng hỏi quá trình học tập hai nhân tố, khẳng định nhận thức của sinh viên về mục tiêu rõ ràng và chuẩn mực đánh giá chi phối toàn diện mức độ hài lòng.

Vị trí của luận án Al Nasser (2018) được định vị chính xác tại điểm giao thoa này: kiểm định đồng thời các chiều kích giảng dạy và 5 biến số bối cảnh trong một cơ chế phân tích đa biến chặt chẽ, từ đó kiểm chứng tính ổn định của các lý thuyết đo lường phương Tây trong bối cảnh một đại học tư thục đa văn hóa.

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án của Fatimah Al Nasser mang lại những đóng góp nền tảng cho lý thuyết đo lường giáo dục đại học thông qua việc mở rộng và tái định hình các mô hình kinh điển:

+-----------------------------------------------------------------------------+
|                         MÔ HÌNH HỒI QUY DỰ BÁO CỐT LÕI                      |
|                                                                             |
|   Y (Overall Rating) = beta_0 + beta_1(Stimulate Interest)                  |
|                               + beta_2(Effective Communication)             |
|                               + beta_3(Intellectual Discovery)              |
|                               + beta_4(Evaluation & Grading) + epsilon      |
|                                                                             |
|   -> Kiểm soát hoàn toàn hiện tượng đa cộng tuyến (VIF < 5.0, Tolerance > .2)|
|   -> R^2 duy trì độ bao phủ phương sai vượt trội so với Full Model           |
+-----------------------------------------------------------------------------+

1. Mở rộng lý thuyết phân loại của Feldman (2007) và Marsh (1984): Nghiên cứu đã chứng minh rằng từ 10 chiều kích ban đầu, chỉ cần 4 biến số cốt lõi là đủ để dự báo chuẩn xác điểm đánh giá tổng thể: Kích thích hứng thú sinh viên (Stimulating Student Interest), Giao tiếp hiệu quả (Effective Communication), Khám phá và tra vấn trí tuệ (Intellectual Discovery and Inquiry), và Đánh giá - cho điểm (Evaluation and Grading). Điều này cung cấp bằng chứng thực nghiệm ủng hộ nguyên lý tinh giản cấu trúc (structural parsimony) trong thiết kế công cụ đo lường.
2. Thách thức lý thuyết về thiên kiến giới tính (Challenging the Gender Bias Paradigm): Trái ngược với các công bố của Santhanam & Hicks (2002), Darby (2006a) hay Ali & Ajmi (2013), nghiên cứu của Al Nasser chỉ ra rằng giới tính của sinh viên không tạo ra sự khác biệt có ý nghĩa thống kê đối với điểm đánh giá giảng dạy. Phát hiện này bác bỏ giả định cho rằng SET vốn dĩ bị méo mó bởi yếu tố giới tính của người học, củng cố tính khách quan của công cụ đánh giá.
3. Giải mã kích thước hiệu ứng (Effect Size Reality Check): Nghiên cứu đóng góp một bước tiến nhận thức luận quan trọng: sự khác biệt có ý nghĩa thống kê ($p < .05$) trong các mẫu nghiên cứu lớn thường chỉ đi kèm kích thước hiệu ứng cực nhỏ ($\text{partial } \eta^2 < .01$). Do đó, các biến số như phân khoa học thuật hay loại môn học không tạo ra tác động sư phạm thực tế đủ lớn để biện minh cho việc điều chỉnh điểm số nhân tạo trong quản lý nhân sự.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp 10 chiều kích sư phạm đo lường và 3 chỉ số đánh giá tổng thể:

+-----------------------------------------------------------------------------+
|                     HỆ THỐNG BIẾN SỐ TRONG THANG ĐO SET                     |
|                                                                             |
|   1. Giao tiếp hiệu quả (Effective Communication)                           |
|   2. Tôn trọng sự đa dạng (Respect for Diversity)                           |
|   3. Kích thích hứng thú (Stimulating Student Interest)                     |
|   4. Khám phá & Tra vấn trí tuệ (Intellectual Discovery and Inquiry)        |
|   5. Tích hợp đức tin & Tri thức (Integrating Faith and Learning)           |
|   6. Chuẩn bị & Tổ chức bài giảng (Preparation and Organization)            |
|   7. Phát triển tư duy phản biện (Critical Thinking)                        |
|   8. Tính rõ ràng của mục tiêu (Clarity of Objectives)                      |
|   9. Tính sẵn sàng & Hỗ trợ (Availability and Helpfulness)                  |
|   10. Đánh giá & Cho điểm công bằng (Evaluation and Grading)                |
|                                                                             |
|   [CHỈ SỐ TỔNG THỂ]: Khóa học | Giảng viên | Trải nghiệm học tập chung      |
+-----------------------------------------------------------------------------+

Đặc trưng phân tích độc đáo của thang đo này là việc đưa biến số "Tích hợp đức tin và tri thức" (Integrating Faith and Learning) vào cấu trúc đánh giá chuẩn hóa, phản ánh triết lý giáo dục toàn diện (whole-person education). Điều kiện biên (boundary conditions) của mô hình được xác lập rõ: áp dụng cho các khóa học giảng dạy trực tiếp theo phương thức truyền thống (traditional lecture-based format), không bao gồm các khóa học trực tuyến (online courses), các lớp hội thảo chuyên đề (seminar) hoặc chương trình đào tạo chủng viện thần học.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ chặt chẽ lập trường nhận thức luận thực chứng (positivist epistemological stance), áp dụng thiết kế nghiên cứu định lượng đa biến cắt ngang (cross-sectional quantitative research design).

+-----------------------------------------------------------------------------+
|                     THIẾT KẾ ĐA TẦNG VÀ PHÂN LỚP MẪU                        |
|                                                                             |
|   QUY MÔ MẪU TỔNG THỂ: N = 3.745 phản hồi đánh giá khóa học                 |
|                                                                             |
|   PHÂN THEO CẤP BẬC HỌC THUẬT:                                              |
|   - Đại học (Undergraduate: Bậc 100, 200, 300, 400)                         |
|   - Sau đại học (Graduate: Bậc 500, 600)                                    |
|                                                                             |
|   PHÂN THEO 5 PHÂN KHOA ĐÀO TẠO (ACADEMIC SCHOOLS):                         |
|   - Khoa học & Nghệ thuật (Arts and Sciences)                               |
|   - Kiến trúc (Architecture)                                                |
|   - Quản trị Kinh doanh (Business Administration)                            |
|   - Giáo dục (Education)                                                    |
|   - Các ngành Y tế (Health Professions)                                     |
+-----------------------------------------------------------------------------+

Thiết kế phân tầng đa cấp (multi-level stratification) cho phép kiểm soát đồng thời các tác động cố định của cấp độ học phần và môi trường học thuật chuyên ngành.

Quy trình nghiên cứu rigorous

Quy trình nghiên cứu được triển khai theo các bước chuẩn hóa nghiêm ngặt:

• Công cụ thu thập dữ liệu: Bản Khảo sát Khóa học của Đại học Andrews (Andrews University Course Survey Instrument) được quản trị qua hệ thống trực tuyến khép kín, đảm bảo tính ẩn danh tuyệt đối cho sinh viên nhằm giảm thiểu sai lệch do tâm lý e ngại. Thang đo sử dụng định dạng Likert 5 điểm chuẩn hóa.
• Quy trình thẩm định và đạo đức nghiên cứu: Đề tài được phê duyệt chính thức bởi Hội đồng Đạo đức Nghiên cứu Đại học (Institutional Review Board - IRB Approval & Certification).
• Độ tin cậy và giá trị đo lường: Hệ số nhất quán nội tại Cronbach's alpha ($\alpha$) của các tiểu thang đo đều đạt chuẩn học thuật ($\alpha > .80$). Thang đo kết hợp các câu hỏi đảo nghịch nhằm phát hiện và loại trừ các phản hồi thiếu tập trung của sinh viên (Frick, Chadha, Watson, & Zlatkovska, 2010).

Data và phân tích

Dữ liệu được xử lý bằng phần mềm thống kê chuyên dụng SPSS (Statistical Package for the Social Sciences):

+-----------------------------------------------------------------------------+
|                    QUY TRÌNH PHÂN TÍCH THỐNG KÊ ĐA BƯỚC                     |
|                                                                             |
|   BƯỚC 1: Thống kê mô tả (Mean, SD, Skewness, Kurtosis)                     |
|   BƯỚC 2: Phân tích Hồi quy Tuyến tính Đa biến (Multiple Linear Regression) |
|           -> So sánh Mô hình Đầy đủ (Full) vs. Mô hình Thu gọn (Restricted) |
|           -> Kiểm định Đa cộng tuyến (Tolerance, VIF)                       |
|   BƯỚC 3: Phân tích Phương sai Đa biến (MANOVA)                             |
|           -> Wilks' Lambda (Lambda) kiểm tra tác động tổng hợp              |
|           -> Univariate ANOVA & Post-hoc Scheffe/Tukey xác định khác biệt   |
|           -> Tính toán Kích thước hiệu ứng (Partial Eta Squared - eta^2)    |
+-----------------------------------------------------------------------------+

Để tránh hiện tượng đa cộng tuyến (multicollinearity), các chỉ số Tolerance và Hệ số Phóng đại Phương sai (Variance Inflation Factor - VIF) được tính toán kỹ lưỡng, đảm bảo tất cả các giá trị VIF đều nằm trong ngưỡng an toàn tuyệt đối ($\text{VIF} < 5.0$).

Phát hiện đột phá và implications

Những phát hiện then chốt

Kết quả phân tích định lượng trên $N = 3.745$ quan sát mang lại 5 phát hiện cốt lõi:

+-----------------------------------------------------------------------------+
|                     TỔNG HỢP CÁC PHÁT HIỆN THỰC NGHIỆM                      |
|                                                                             |
|   1. ĐIỂM SỐ XU HƯỚNG TÍCH CỰC:                                             |
|      - Sinh viên đánh giá cao toàn diện các khóa học.                       |
|      - Điểm cao nhất: Tôn trọng sự đa dạng, Chuẩn bị & Tổ chức bài giảng,   |
|        Tính sẵn sàng & Hỗ trợ.                                              |
|                                                                             |
|   2. BỐN CHIỀU KÍCH DỰ BÁO ĐÁNH GIÁ TỔNG THỂ (RQ2):                         |
|      - Kích thích hứng thú (Stimulate Interest)                             |
|      - Giao tiếp hiệu quả (Effective Communication)                         |
|      - Khám phá & Tra vấn trí tuệ (Intellectual Discovery and Inquiry)      |
|      - Đánh giá & Cho điểm công bằng (Evaluation and Grading)               |
|                                                                             |
|   3. BÁC BỎ THIÊN KIẾN GIỚI TÍNH:                                           |
|      - Giới tính sinh viên KHÔNG ảnh hưởng có ý nghĩa đến điểm SET (p > .05)|
|                                                                             |
|   4. TÁC ĐỘNG PHÂN HÓA THEO CẤP LỚP & NĂM HỌC:                             |
|      - Khóa học Sau đại học (500-600) đạt điểm cao hơn Đại học (100-400).   |
|      - Sinh viên năm cuối & Cao học đánh giá cao hơn Tân sinh viên.          |
|                                                                             |
|   5. HIỆU ỨNG THỰC TIỄN KHÔNG ĐÁNG KỂ CỦA PHÂN KHOA & LOẠI MÔN:             |
|      - Partial eta^2 cực nhỏ, không đủ trọng số để áp dụng phân tầng quản trị|
+-----------------------------------------------------------------------------+

• Phát hiện 1 (Mức độ đánh giá chung): Sinh viên có xu hướng đánh giá tích cực tổng thể các khóa học. Trong đó, ba chiều kích đạt điểm số trung bình cao nhất là: Tôn trọng sự đa dạng (Respect for Diversity), Chuẩn bị và tổ chức bài giảng (Preparation and Organization), cùng Tính sẵn sàng và hỗ trợ sinh viên (Availability and Helpfulness).
• Phát hiện 2 (Bốn trụ cột dự báo Overall Rating): Khi thực hiện phân tích hồi quy tuyến tính chuẩn hóa, mô hình thu gọn (restricted model) xác nhận 4 chiều kích dự báo mang tính quyết định đối với điểm tổng thể:

  "Four dimensions were found predicting SET overall rating. These dimensions were: stimulate interest, effective communication, intellectual discovery and inquiry, and evaluation and grading." (Al Nasser, 2018, p. 2) Các biến số này duy trì hệ số hồi quy chuẩn hóa ($\beta$) có ý nghĩa thống kê cao ($p < .001$), chứng minh rằng khả năng truyền cảm hứng và tính minh bạch trong đánh giá là nhân tố cốt lõi chi phối sự thỏa mãn của sinh viên.

• Phát hiện 3 (Tính trung lập của giới tính): Trái ngược hoàn toàn với các quan điểm trước đây của Darby (2006a) hay Santhanam & Hicks (2002), kiểm định MANOVA cho thấy không có sự khác biệt có ý nghĩa thống kê giữa sinh viên nam và nữ đối với điểm đánh giá SET ($p > .05$):

  "Different from other studies, this study found that gender had no influence on SET scores." (Al Nasser, 2018, p. 3)

• Phát hiện 4 (Ảnh hưởng của Cấp độ khóa học và Trạng thái học tập): Cấp độ khóa học (Course Level) và trạng thái sinh viên (Student Status) có tác động đến điểm số ở một số chiều kích cụ thể. Khóa học bậc sau đại học (500s, 600s) nhận điểm đánh giá cao hơn đáng kể so với bậc đại học (100s-400s). Sinh viên năm cuối và học viên cao học thể hiện sự hài lòng cao hơn so với sinh viên năm nhất và năm hai.
• Phát hiện 5 (Kích thước hiệu ứng của Loại môn học và Phân khoa): Mặc dù phân tích phương sai ghi nhận sự khác biệt thống kê giữa các loại môn học (môn bắt buộc vs. tự chọn) và giữa 5 phân khoa, kích thước hiệu ứng (effect size) thu được lại ở mức rất thấp:

  "Both the course type and the academic school were found not significant enough to be used in practice." (Al Nasser, 2018, p. 2)

===============================================================================
     BẢNG ĐỐI CHIẾU KẾT QUẢ VỚI CÁC NGHIÊN CỨU TIỀN NHIỆM
===============================================================================
Yếu tố khảo sát       Y văn tiền nhiệm               Phát hiện của Al Nasser (2018)
-------------------------------------------------------------------------------
Giới tính sinh viên   Nữ chấm cao hơn Nam           Không có sự khác biệt (p > .05)
                      (Darby 2006a; Ali & Ajmi 2013) (Gender Neutrality)

Loại môn học          Tự chọn cao hơn Bắt buộc       Khác biệt có effect size cực nhỏ,
                      (Darby 2006b; Donnon 2010)     không có ý nghĩa thực tiễn

Cấp độ khóa học       Sau đại học cao hơn Đại học    Xác nhận: Sau đại học đạt điểm
                      (Whitworth 2002; Stewart 2007) cao hơn ở các chiều kích cụ thể

Dự báo điểm tổng thể  Đơn lẻ hoặc chung chung        Xác lập mô hình 4 trụ cột:
                      (Feldman 2007; Grace 2012)     Interest + Comm + Inquiry + Grading
===============================================================================

Implications đa chiều

1. Đóng góp học thuật và phương pháp luận: Khẳng định sự cần thiết phải phân biệt giữa ý nghĩa thống kê ($p$-value) và ý nghĩa thực tiễn (practical significance/effect size) khi xử lý tập dữ liệu lớn trong nghiên cứu giáo dục đại học.
2. Cải tiến sư phạm (Pedagogical Development): Giảng viên không cần dàn trải nguồn lực vào tất cả các tiêu chí mà nên tập trung ưu tiên phát triển 4 năng lực sư phạm cốt lõi: kích thích tư duy người học, rèn luyện kỹ năng truyền đạt rõ ràng, khuyến khích sinh viên tra vấn học thuật và thiết lập tiêu chí chấm điểm minh bạch, kịp thời.
3. Chính sách quản trị đại học (Institutional Policy): Lãnh đạo các trường đại học không nên áp dụng cơ chế cộng/trừ điểm điều chỉnh nhân tạo phức tạp dựa trên phân khoa hay loại môn học khi xét duyệt thi đua, bổ nhiệm chức danh giảng viên, bởi các yếu tố bối cảnh này có kích thước hiệu ứng không đáng kể. Thay vào đó, cần kết hợp đánh giá đồng nghiệp (peer-review) như khuyến nghị của Benton & Ryalls (2016) để tạo nên hệ thống đánh giá toàn diện.

Limitations và Future Research

Luận án thừa nhận một số giới hạn nghiên cứu cụ thể:

+-----------------------------------------------------------------------------+
|                          GIỚI HẠN & HƯỚNG PHÁT TRIỂN                        |
|                                                                             |
|   GIỚI HẠN NGHIÊN CỨU:                                                      |
|   - Bối cảnh đơn cơ sở: Đại học Andrews (Đại học Cơ Đốc giáo tư thục)       |
|   - Phương thức khảo sát trực tuyến: Tỷ lệ phản hồi tự nguyện               |
|   - Phạm vi môn học: Loại trừ khóa học trực tuyến, seminar và chủng viện    |
|   - Thiết kế định lượng thuần túy: Chưa khai thác phản hồi định tính        |
|                                                                             |
|   CHƯƠNG TRÌNH NGHIÊN CỨU 10 NĂM TIẾP THEO:                                 |
|   1. Mở rộng kiểm định đa cơ sở (Cross-institutional Multi-site validation) |
|   2. Đo lường theo chuỗi thời gian dọc (Longitudinal Panel Studies)         |
|   3. Đánh giá phương thức học tập kết hợp & Trực tuyến (Blended/Online SET) |
|   4. Thiết kế hỗn hợp định tính - định lượng (Mixed-methods Triangulation)  |
|   5. Tác động của ứng dụng công nghệ giáo dục & AI trong lớp học hiện đại   |
+-----------------------------------------------------------------------------+

• Bối cảnh thể chế đặc thù: Dữ liệu được thu thập tại Đại học Andrews - một trường đại học Cơ Đốc giáo tư thục quy mô vừa. Do đó, khả năng khái quát hóa (generalizability) đối với các đại học công lập quy mô lớn hoặc các tổ chức phi tôn giáo cần được kiểm chứng thêm.
• Giới hạn phạm vi chương trình: Nghiên cứu chỉ tập trung vào các lớp học bài giảng truyền thống thuộc 5 phân khoa, loại trừ các khóa học trực tuyến, chương trình danh dự (honors) và toàn bộ các học phần thuộc Chủng viện Thần học (Theological Seminary).

Tác động và ảnh hưởng

• Ảnh hưởng học thuật: Luận án cung cấp hệ thống bằng chứng thực nghiệm vững chắc cho các tạp chí chuyên ngành hàng đầu về đo lường giáo dục (Research in Higher Education, Studies in Higher Education, Assessment & Evaluation in Higher Education), định hình lại các tranh luận về tính hợp lệ của SET.
• Chuyển đổi thực tiễn quản trị: Cung cấp cơ sở khoa học để các trung tâm phát triển giảng viên (Centers for Teaching Excellence) thiết kế các khóa tập huấn tập trung đúng trọng tâm 4 chiều kích dự báo.
• Tác động chính sách kiểm định: Đóng góp luận cứ xác thực cho các tổ chức kiểm định chất lượng giáo dục đại học (như Higher Learning Commission) trong việc chuẩn hóa công cụ khảo sát ý kiến người học.

Đối tượng hưởng lợi

• Nghiên cứu sinh tiến sĩ & Học giả đo lường giáo dục: Tiếp cận mô hình phân tích hồi quy thu gọn và phương pháp kiểm soát biến nhiễu chuẩn mực trong nghiên cứu giáo dục.
• Giảng viên đại học: Xác định rõ các ưu tiên sư phạm cần trau dồi để nâng cao chất lượng giảng dạy và cải thiện mức độ hài lòng của người học.
• Nhà quản lý & Trưởng khoa: Có cơ sở thực chứng để đánh giá hồ sơ giảng viên công bằng, tránh các định kiến sai lệch về giới tính hay đặc thù bộ môn.
• Tổ chức bảo đảm chất lượng: Tối ưu hóa cấu trúc bảng hỏi khảo sát ý kiến sinh viên cuối kỳ, loại bỏ các mục thừa thãi và tập trung vào các chỉ báo có giá trị dự báo cao.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào? Đóng góp độc đáo nhất là việc xác lập Mô hình 4 chiều kích dự báo cốt lõi (Stimulate Interest, Effective Communication, Intellectual Discovery and Inquiry, Evaluation and Grading) đối với điểm đánh giá tổng thể, mở rộng trực tiếp Lý thuyết phân loại giảng dạy hiệu quả của Feldman (2007) và Lý thuyết đa chiều của Marsh (1984), đồng thời chứng minh biến số Tích hợp đức tin - tri thức phản ánh trọn vẹn triết lý giáo dục toàn diện.

2. Đổi mới phương pháp luận của nghiên cứu khi so sánh với ít nhất 2 công trình tiền nhiệm? So với nghiên cứu của Darby (2006a, 2006b) chỉ sử dụng các phép kiểm định đơn biến trên mẫu giảng viên hạn chế, hoặc nghiên cứu của Santhanam & Hicks (2002) chỉ phân tích 6 câu hỏi đơn lẻ, luận án của Al Nasser áp dụng phân tích đa biến tích hợp: kết hợp Hồi quy tuyến tính bội (với chẩn đoán đa cộng tuyến VIF nghiêm ngặt) và MANOVA trên tập dữ liệu $N = 3.745$ phản hồi, phân tích đồng thời 10 chiều kích sư phạm và 5 biến số nhân khẩu/cấu trúc, tách bạch rõ ràng giữa ý nghĩa thống kê và kích thước hiệu ứng thực tế ($\text{partial } \eta^2$).

3. Phát hiện gây bất ngờ nhất được hỗ trợ bởi dữ liệu thực nghiệm là gì? Phát hiện bất ngờ nhất là sự vô hiệu hóa hoàn toàn của biến số giới tính sinh viên đối với điểm số SET ($p > .05$), trực tiếp phản bác hàng loạt công trình trước đó (Ali & Ajmi, 2013; Darby, 2006a; Santhanam & Hicks, 2002) vốn khẳng định sinh viên nữ luôn chấm điểm cao hơn sinh viên nam.

4. Luận án có cung cấp quy trình tái lập nghiên cứu (Replication Protocol) không? Có. Toàn bộ cấu trúc thang đo của Đại học Andrews (Andrews University SET Instrument), định nghĩa thao tác hóa các biến số (Table of Definition of Variables), thông số kiểm định VIF, quy trình lọc mẫu và văn bản phê duyệt IRB đều được ghi chép chi tiết trong các phụ lục của luận án.

5. Chương trình nghiên cứu 10 năm được phác thảo như thế nào? Chương trình nghiên cứu dài hạn tập trung vào việc: (1) Kiểm định đa cơ sở mô hình 4 chiều kích tại các trường đại học công lập và quốc tế; (2) Thiết lập mô hình phương trình cấu trúc đa tầng (Multilevel SEM) đo lường dữ liệu chuỗi thời gian; (3) Khảo sát tác động của môi trường giảng dạy số hóa và trí tuệ nhân tạo đối với nhận thức của người học về hiệu quả sư phạm.

Kết luận

1. Xác lập mô hình 4 chiều kích sư phạm cốt lõi (Kích thích hứng thú, Giao tiếp hiệu quả, Khám phá tri thức, Đánh giá công bằng) giải thích phần lớn phương sai điểm đánh giá tổng thể của sinh viên.
2. Bác bỏ thực nghiệm định kiến về thiên kiến giới tính trong đánh giá giảng dạy, xác nhận tính trung lập của biến số giới tính người học trong môi trường đại học.
3. Chứng minh rằng mặc dù cấp độ khóa học và trạng thái sinh viên có tạo ra khác biệt thống kê ở một số chiều kích, kích thước hiệu ứng của loại môn học và phân khoa là không đáng kể trong thực tiễn quản trị.
4. Mở ra 3 hướng nghiên cứu mới: Kiểm định xuyên văn hóa mô hình 4 chiều kích, Phân tích chuỗi thời gian đo lường sự thay đổi nhận thức của sinh viên, và Đánh giá SET trong môi trường giáo dục số hóa.
5. Cung cấp bộ công cụ đo lường chuẩn hóa, hỗ trợ các cơ sở giáo dục đại học quốc tế tối ưu hóa hệ thống khảo sát ý kiến sinh viên, phục vụ mục tiêu phát triển chuyên môn giảng viên và bảo đảm chất lượng đào tạo bền vững.

Trích đoạn nội dung tài liệu

Andrews University Digital Commons @ Andrews University Dissertations Graduate Research 2018 Student Evaluations of Teaching, Course and Student Characteristics at Andrews University Fatimah Al Nasser Andrews University, [e-mail] Follow this and additional works at: https://digitalcommons.edu/dissertations Part of the Higher Education and Teaching Commons Recommended Citation Al Nasser, Fatimah, "Student Evaluations of Teaching, Course and Student Characteristics at Andrews University" (2018).edu/dissertations/1662 This Dissertation is brought to you for free and open access by the Graduate Research at Digital Commons @ Andrews University. It has been accepted for inclusion in Dissertations by an authorized administrator of Digital Commons @ Andrews University. For more information, please contact repository@andrews. ABSTRACT STUDENT EVALUATIONS OF TEACHING, COURSE AND STUDENT CHARACTERISTICS AT ANDREWS UNIVERSITY by Fatimah Al Nasser Chair: Larry D.

Burton ABSTRACT OF GRADUATE STUDENT RESEARCH Dissertation Andrews University School of Education Title: STUDENT EVALUATIONS OF TEACHING, COURSE AND STUDENT CHARACTERISTICS AT ANDREWS UNIVERSITY Name of researcher: Fatimah Al Nasser Name and degree of faculty chair: Larry D. Date completed: July 2018 Problem This research examined the type of rating of specific Student Evaluation of Teaching (SET) dimensions and overall rating students tended to give for the courses that they took, identified the dimensions that predicted the overall rating, and assessed the association of gender, student academic status, course level, course type, academic school and the effect on SET scores. Method The researcher used a quantitative research method to explore the type of score that students give to the courses they took, examine the relationship between dimensions of SET and overall rating, and the influence of gender, student status, course level, course type, and academic school in SET score. The study included 3,745 responses to courses at five schools at Andrews University.

Andrews University’s Course Survey was used as the main instrument. Descriptive analysis, regression linear analysis, and multivariate analysis of variance were conducted to help answer the research questions. Results The research found that students tended to rate all courses highly. However, these students tended to rate the dimensions of respect for diversity, preparation and organization, and availability and helpfulness higher than other dimensions.

Four dimensions were found predicting SET overall rating. These dimensions were: stimulate interest, effective communication, intellectual discovery and inquiry, and evaluation and grading. Regarding the student and course characteristics that were examined, gender was not found to influence the SET score. Student academic status and course level were found to affect SET scores within specific dimensions, but the effect sizes were very small.

Both the course type and the academic school were found not significant enough to be used in practice. Conclusion This study supported other research that reported some dimensions of SET predicted overall rating. The research offered a model with four dimensions that predicted overall rating. The results of this study supported the theory that both student status and course level affect SET scores.

However, this study found that the effect of these two factors tended to be within specific dimensions of SET. Different from other studies, this study found that gender had no influence on SET scores. Both course type and academic school had a very small effect size, which is not large enough to be used in practice Andrews University School of Education STUDENT EVALUATIONS OF TEACHING, COURSE AND STUDENT CHARACTERISTICS AT ANDREWS UNIVERSITY A Dissertation Present in the Partial Fulfillment of the Requirements for the Degree Doctor of Philosophy by Fatimah Al Nasser July 2018 © Copyright by Fatimah Al Nasser 2018 All Rights Reserved STUDENT EVALUATIONS OF TEACHING, COURSE AND STUDENT CHARACTERISTICS AT ANDREWS UNIVERSITY A dissertation presented in partial fulfillment of the requirements for the degree Doctor of Philosophy by Fatimah Al Nasser APPROVAL BY THE COMMITTEE: ____________________________________________ _______________________________________ Chair: Larry D. Burton Dean, School of Education Robson Marinho ________________________________ Member: Jimmy Kijai ________________________________ Member: Lynn Merklin ________________________________ ______________________________ External: Alice C Williams Date approved TABLE OF CONTENTS LIST OF TABLES.

vi LIST OF ABBREVIATIONS. 1 Background of the Problem. 4 Statement of the Problem. 4 Purpose of the Study.

6 Student Evaluations of Teaching. 6 SET Overall Rating and SET Dimensions. 7 Student and Course Characteristics Influencing SET Scores. 9 The Research Questions.

11 Significance of the Study. Erro r! Bookmark not defined. 12 Definition of Terms. 14 Student Evaluation of Teaching.

15 Introduction to SET. 18 Challenges in SET. 20 Validity and Reliability of SET. 21 SET and Bias Factors.

23 Dimensions of Effective Teaching. 24 iii Dimensions of SET and SET Overall Rating. 26 Student and Course Characteristics Affecting SET. 29 Summary of Literature Review.

48 Need for Further Study. 55 The Research Questions. 59 SET Overall Rating. 65 Characteristics of Participants.

66 Results by Research Questions. 76 Gender and SET Score. 78 Student Status and SET Score. 78 Course Type and SET Score.

84 Course Level and SET Score. 87 Academic School and SET Score. 88 Summary of Major Findings. SUMMARY, DISCUSSIONS, CONCLUSIONS, AND RECOMMENDATIONS.

99 Review of Literature and Conceptual Framework. 99 Review of Literature. 109 Purpose of the Study. 110 iv Research Design.

112 Summary of Findings. 112 Findings for Research Question 1. 113 Findings for Research Question 2. 113 Findings for Research Question 3.

ANDREWS UNIVERSITY SET INSTRUMENT. TABLE OF DEFINITON OF VARIABLES. IRB FORM AND CERTIFICATION. 148 v LIST OF TABLES 1.

Summary of Studies Compared to the SET Dimensions and the Examined Characteristics in this Study. Schools and the Number of Responses for Each One. SET Dimensions (Variables), Conceptual Definition, Items, Source. Characteristics of Responses.

Descriptive Analysis of SET Dimensions Related to the Course and Instructor. Descriptive Analysis of Questions Related to Overall Rating. Correlations Between Overall Rating and SET Dimensions. Standard Regression Analysis Result (Full Model) for the Predictors for Overall Rating.

Standard Regression Analysis Result (Restricted Model with Major Predictors). Standardized Coefficients in Two Models and the Value of R2. Mean and Standard Deviation for Gender Group. The Mean, and Standard Deviation for the Student Status Groups.

Between-Subject (Student Status) Effects. Mean Differences Between Student Status. The Mean and Standard Deviation for the Course Type Groups. Between-Subjects (Course Type) Effects.

The Mean and Standard Deviation for the Course Level Groups. Between-Subjects (Course Level) Effects. Mean Differences Between Course Level. The Mean and Standard Deviation for the Academic School Groups.

Between-Subjects (Academic School) Effects. Research Questions and Dimensions Found Related. 98 vii LIST OF ABBREVIATIONS ANOVA Analysis of Variance MANOVA Multivariate Analysis of Variance SET Student Evaluation of Teaching SPSS Statistical Package for the Social Sciences VIF Variance Inflation Factor viii ACKNOWLEDGEMENT In the name of God, the Most Gracious, the Most Merciful I first thank Allah, my Creator and Master, the great teacher and messenger prophet Mohammad, the Immaculate Imams, Imam Hussain, and Imam Mahdi. I thank my parents, for always being there for me and inspiring me to reach a high level of education.

Thank you for your prayers that made a hard time much easier. I also thank all of my family members who prayed for me to reach my goals. Thank you to my sister and brother who always believed that I can reach all my dreams. Thank you to my nephew, Hassan, who was always there to help and support during this journey.

I thank my committee chair, Dr. Larry Burton for your guidance, thoughtful feedback, encouragements, and time during the process of completing this work. I would like to acknowledge the support of my committee members Dr. Kijai and Dr.

Thank you Dr. Kijai for reading the documents many times, helping to modify many tables, and enlightening me with your knowledge. Thank you Dr. Merklin for providing thoughtful suggestions for clarity and willing to help me all the time.

I would like to acknowledge the assistance of Laura Carroll and Amy Waller. Thank you Mrs. Carroll for all your help with the data extraction process. Thank you Mrs.

Waller for all your help finding the documents that I needed during the process of writing my dissertation. Thank you to all my friends and colleagues who encouraged me and prayed for me to complete this work with easiness and joy. ix CHAPTER 1 INTRODUCTION Background of the Problem The meaning of effective teaching is expanding faster than before. Effective teaching includes using effective teaching methods, having knowledge, and making students interested in learning (Evans, Baskerville, Wynn-Williams, & Gillett, 2014).

Student Evaluation of Teaching (SET) (McIntyre, Smith, & Hassett, 1984) is an important tool that most higher education institutions use to help measure teaching effectiveness (Hobler, 2014) and as a tool for faculty evaluation systems around the world (Al-Issa & Sulieman, 2007). A review of the literature indicated that SET is an assessment, which takes the form of a survey that is completed by the student at the end of a course or a program. This survey asks the students to use their judgment to report their experiences regarding the effectiveness of the instructor or the quality of the course (Ali & Ajmi, 2013; Brown, 2008; Driscoll & Cadden, 2010; Hobson & Talbot, 2001; Lindahl & Unger, 2010; Oliver & Pookie, 2005; Smith, 2007; Tsai & Lin, 2012). The items that are included in the SET survey are related to overall rating and the dimensions of effective teaching.

Overall rating measured the student general opinion regarding the course, instructor and learning experience. The dimensions of effective teaching related to the principles of effective teaching that an institution adapts. Each higher education institution has its own definition of effective teaching that emphasizes 1 specific dimensions that might not be emphasized by other institutions. Therefore, the SET survey might differ from one institution to another.

Research found that effective teaching should encourage student-faculty contact, cooperation among students, active learning, communicate high expectations, provide prompt feedback, emphasize time on task, and respect diverse talents and ways of learning (Chickering & Gamson, 1989). Other research reported that effective teaching included other aspects such as intellectual growth (Bowman & Seifert, 2011), course content and critical thinking (Anderson, 2012), course structure (Lumpkin & Multon, 2013), communication (Nargundkar & Shrikhande, 2012), respect for diversity, organization, and clarity (Lumpkin & Multon, 2013). The result of this survey is used for different purposes. It is used by administrators and instructors to make important decisions regarding development of the course and the instruction (Al-Issa & Sulieman, 2007; Ali & Ajmi, 2013; Beuth et al.

Also, it is used by students to make better decisions regarding which course they want to take and to be aware of the course levels of difficulty before the registration process (Adams & Umbach, 2012; Ali & Ajmi, 2013; Atek, Salim, Ab Halim, Jusoh, & Yusuf, 2015; Beuth et al., 2015; Brockx, Spooren, & Mortelmans, 2011; Chulkov & Jason Van, 2012; Donnon, Delver, & Beran, 2010; Driscoll & Cadden, 2010; Fah, Yin & Osman, 2011). Furthermore, SET is considered an important tool that could have negative impacts on the development of teaching if it does not give accurate results (Ali & Ajmi, 2013). Additionally, institutional administrators use SET for accreditation purposes and to make decisions for the faculty promotion process (Terry, Heitner, Miller, & Hollis, 2017). Therefore, accurate results help develop better instruction and more knowledgeable learners (Hobler, 2014).

2 Some researchers have suggested that the results of SET are not truly a reflection of effective teaching. They proposed that different non-instructional factors could affect the results of SET or produce biased results, and called for further studies (Coffman, 1954; Reynolds, 1979).