ĐẠI HỌC QUỐC GIA HÀ NỘI TR¯àNG ĐẠI HÞC GIÁO DỤC BÙI THỊ KIM PH¯ỢNG XÂY DỰNG BÀI KIỂM TRA THÍCH ỨNG BẰNG MÁY TÍNH ĐỂ ĐÁNH GIÁ KIẾN THỨC TỪ VỰNG TIẾP NHÀN TIẾNG ANH LUÀN ÁN TIẾN SĨ ĐO L¯àNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC M愃̀ sĀ: 9140115 HÀ NỘI – 2024 ĐẠI HỌC QUỐC GIA HÀ NỘI TR¯àNG ĐẠI HÞC GIÁO DỤC BÙI THỊ KIM PH¯ỢNG XÂY DỰNG BÀI KIỂM TRA THÍCH ỨNG BẰNG MÁY TÍNH ĐỂ ĐÁNH GIÁ KIẾN THỨC TỪ VỰNG TIẾP NHÀN TIẾNG ANH LUÀN ÁN TIẾN SĨ ĐO L¯àNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC M愃̀ sĀ: 9140115 Ng°ái h°ßng d¿n khoa hßc: 1. NGUYỄN QUÝ THANH 2. LÊ THÁI H¯NG HÀ NỘI – 2024 LàI CAM ĐOAN Tôi xin cam oan lu¿n án tiÁn sĩ <Xây dựng bài kiểm tra thích ÿng bằng máy tính để đánh giá kiÁn thÿc từ vựng tiÁp nh¿n tiÁng Anh= là công trình nghiên cÿu căa chính bÁn thân tôi. Trong quá trình thực hián lu¿n án, tôi ã tuân thă nghiêm túc các quy tÁc ¿o ÿc nghiên cÿu; các nội dung trình bày trong lu¿n án là trung thực, và không sao chép từ bÃt kỳ một nguồn nào và d°ới bÃt kỳ hình thÿc nào.
Viác tham khÁo các nguồn tài liáu (nÁu có) ã °ÿc thực hián trích d¿n và ghi nguồn tài liáu tham khÁo úng quy ịnh. Tôi xin hoàn toàn chịu trách nhiám và tính trung thực căa các nội dung trong lu¿n án căa mình. Hà Nội, ngày 05 tháng 05 năm 2024 Tác giÁ lu¿n án Bùi Thị Kim Ph°ÿng i LàI CÁM ¡N Để có thể hoàn thành °ÿc lu¿n án tiÁn sĩ này, tôi ã nh¿n °ÿc sự hỗ trÿ và giúp ỡ từ gia ình, các thÅy cô, b¿n bè, ồng nghiáp và các em sinh viên. Tr°ớc hÁt, tôi xin bày tỏ lòng biÁt ¢n sâu sÁc tới GS.
Nguyßn Quý Thanh và PGS. Lê Thái H°ng ã t¿n tình h°ớng d¿n, chỉ bÁo tôi trong suốt quá trình học t¿p cũng nh° thực hián lu¿n án. Tôi xin trân trọng cÁm ¢n Ban giám hiáu tr°ßng Đ¿i học Giáo dāc - ĐHQGHN, Ban chă nhiám và các thÅy cô Khoa QuÁn trị chÃt l°ÿng, tr°ßng ĐHGD 3 Đ¿i học Quốc gia Hà Nội ã h°ớng d¿n, giúp ỡ, t¿o iÃu kián thu¿n lÿi cho tôi trong suốt thßi gian học t¿p và nghiên cÿu. Xin gÿi lßi cÁm ¢n nhiát thành gÿi tới PGS.
Nguyßn Thúy Nga, PGS. Vũ Trọng L°ỡng, TS. Tăng Thị Thùy, TS. TrÅn Thị Thu H°¢ng, TS.
TrÅn Xuân Quang và biÁt bao các thÅy cô ã giúp tôi căng cố kiÁn thÿc và cho tôi nhāng lßi khuyên quý báu trong thßi gian thực hián lu¿n án. Tôi xin chân thành cÁm ¢n Ban lãnh ¿o căa Khoa Ngo¿i ngā - Đ¿i học Bách khoa Hà Nội, n¢i tôi ang công tác cũng các ồng nghiáp ã luôn tin t°áng, ăng hộ tôi ngay từ nhāng ngày Åu thực hián lu¿n án. Không có °ÿc sự hỗ trÿ này cùng sự nhiát tình tham gia căa các em sinh viên, tôi s¿ không thể nào hoàn thành lu¿n án. Cuối cùng, tôi dành tÃt cÁ sự yêu th°¢ng và lßi cÁm ¢n t¿n áy lòng tới gia ình căa tôi, nhāng ng°ßi thân yêu ã luôn ộng viên, khích lá, ăng hộ tôi trong suốt quá trình học t¿p và thực hián lu¿n án.
Một lần nữa, tôi xin trân trọng cảm ¡n! ii DANH MĀC CHĀ VIÀT TÀT Cām từ viÁt tÁt Cām từ đÅy đă (nghĩa tiÁng Viát) CALT : Computerized Adaptive Kiểm tra ngôn ngā Language Testing thích ÿng trên máy tính CAT : Computerized Adaptive Kiểm tra thích ÿng Testing trên máy tính CATSS : Computer adaptive test of Bài kiểm tra từ vựng size and strength thích ÿng bằng máy tính ánh giá ộ rộng và ộ sâu CAT-WPLT : Computerized Adaptive Bài kiểm tra thích ÿng Testing 3 Word Part và mÿc ộ hiểu biÁt Levels Test thành tố từ CNTT : Công nghá thông tin ĐHGD : Tr°ßng Đ¿i học Giáo dāc ĐHQGHN : Đ¿i học Quốc gia Hà Nội IRT : Item Response Theory Lý thuyÁt hồi áp câu hỏi NGSL : New General Service List Danh sách từ vựng tiÁng Anh thông dāng mới NGSLT : New General Service List Bài kiểm tra danh sách Test từ vựng tiÁng Anh thông dāng mới TS : thí sinh VLT : Vocabulary Levels Test Bài kiểm tra cÃp ộ từ vựng VST : Vocabulary Size Test Bài kiểm tra ộ rộng từ vựng UEd-ALS : University of Education 3 Há thống học t¿p thích Adaptive Learning System ÿng căa tr°ßng ĐHGD UEd-CAT : University of Education 3 Há thống trÁc nghiám Computerized Adaptive thích ÿng căa tr°ßng Testing ĐHGD iii DANH MĀC HÌNH Hình 1.2: Quy trình xây dựng ngân hàng câu hỏi .3: Thang o kiÁn thÿc từ vựng (Paribakht & Welshe, 1997).4: Các khía c¿nh căa kiÁn thÿc từ vựng (Nation, 2013) .5: Quy trình xây dựng à kiểm tra (Bachman & Palmer, 1996).6: Khung kiểm tra từ vựng (Read & Chapelle, 2001).7: Ví dā câu hỏi trong VLT .8: Ví dā câu hỏi trong New VLT .9: Ví dā câu hỏi VST .10: Mô hình nghiên cÿu .1: Quy trình nghiên cÿu .2: Thÿ tự sÿ dāng các ph°¢ng pháp nghiên cÿu.3: H°ớng d¿n làm bài trên há thống.4: Quy trình phát triển há thống trÁc nghiám thích ÿng.5: Các b°ớc căa một bài trÁc nghiám thích ÿng .6: Tính năng căa UEd-CAT .7: Câu hỏi ví dā trong NGSLT.8: Câu hỏi ví dā căa NGSLT .9: Câu hỏi ví dā trong NGSLT song ngā tiÁng Anh và tiÁng Viát .10: BÁn ồ phân bố năng lực và ộ khó căa à m¿u .11: аßng cong ặc tr°ng căa câu hỏi 66 .12: Xác nh¿n căa ng°ßi tham gia nghiên cÿu.1: BÁn ồ phân bố năng lực và ộ khó căa Đà 7 .2: KÁt quÁ phân tích Conquest căa Đà 1 .3: аßng cong ặc tr°ng căa câu hỏi 20 3 Đà 4 .4: KÁt quÁ phân tích Conquest căa Đà 6 .6: Độ khó câu hỏi thi tr°ớc và sau khi cân bằng.7: Độ khó căa ngân hàng câu hỏi chuÇn hóa .8: Thßi gian làm bài trên há thống UEd-CAT .9: Lộ trình thích ÿng trong bài kiểm tra căa thí sinh HONG.10: Sai số chuÇn căa phép °ớc l°ÿng năng lực c¿p nh¿t sau từng câu hỏi trong bài làm căa thí sinh HONG .11: Lộ trình thích ÿng l°ÿt làm bài số 1 căa thí sinh DAN .12: Lộ trình thích ÿng l°ÿt làm bài số 2 căa thí sinh DAN .13: Lộ trình thích ÿng l°ÿt làm bài số 3 căa thí sinh DAN .14: Điểm căa thí sinh với bài kiểm tra 20 câu hỏi .15: Lộ trình thích ÿng trong bài trÁc nghiám HONG thực hián .16: Lộ trình thích ÿng trong bài trÁc nghiám MDUC thực hián .17: Lộ trình thích ÿng trong bài trÁc nghiám LINH thực hián .18: Biểu ồ phân tán tỉ lá trÁ lßi chính xác và iểm bài kiểm tra thích ÿng .19: KÁt quÁ làm bài kiểm tra cố ịnh căa 98 thí sinh .20: Biểu ồ phân tán iểm số trong bài kiểm tra cố ịnh và bài kiểm tra thích ÿng .21: Giá trị trung bình mÿc ộ ồng ý với các nh¿n ịnh và .22: Mÿc ộ mong muốn căa ng°ßi tham gia khÁo sát vÃ. 133 v DANH MĀC BÀNG BÁng 1.1: Các mô hình IRT (Lâm Quang Thiáp, 2010; Carlson, 2020) .2: Khung xây dựng CAT (Thompson & Weiss, 2011) .3: Các yÁu tố xác ịnh māc ích kiểm tra .4: Từ vựng trong Nội dung d¿y học các cÃp căa Ch°¢ng trình giáo dāc phổ thông môn TiÁng Anh 2018 .5: Đặc tÁ và từ vựng theo các b¿c năng lực ngôn ngā.6: Định d¿ng câu hỏi trong CATSS .1: Thông tin m¿u căa ph°¢ng pháp chuyên gia .2: Cỡ m¿u thÿ nghiám theo à .3: Tổng hÿp số liáu sinh viên thÿ nghiám trên há thống .4: Thông tin căa ng°ßi tham gia khÁo sát .5: Thông tin căa ng°ßi tham gia phỏng vÃn .6: BÁng ặc tÁ bài kiểm tra song ngā ánh giá từ vựng tiÁp nh¿n tiÁng Anh .7: Há số Alpha và há số tin c¿y ộc l¿p căa à m¿u .8: Các câu hỏi không phù hÿp với mô hình căa à m¿u. 9: KÁt quÁ phân tích căa câu hỏi 66 .1: Số câu hỏi thô theo mÿc ộ tÅn suÃt .2: Thông tin thÇm ịnh à căa nhóm chuyên gia .3: Tổng hÿp ánh giá căa nhóm chuyên gia .4: Ví dā câu hỏi chỉnh sÿa theo ý kiÁn chuyên gia.5: Cỡ m¿u °ÿc chọn phân tích căa bÁy bài kiểm tra thÿ nghiám .7: Các câu hỏi không phù hÿp với mô hình căa Đà 1 .8: KÁt quÁ phân tích căa câu hỏi 20 Đà 4 .9: Tổng hÿp số câu hỏi cÅn chỉnh sÿa .10: Các câu hỏi cÅn chỉnh sÿa căa Đà 6 .11: ThiÁt kÁ câu hỏi neo giāa bÁy à sau khi phân tích Conquest .12: Há số cân bằng bÁy à thÿ nghiám.14: Ba l°ÿt làm bài căa thí sinh DAN .15: Thông số căa các bài kiểm tra 20 câu hỏi ba thí sinh thực hián.16: KÁt quÁ làm bài trong các l°ÿt làm bài khác nhau .17: Phân tích t°¢ng quan Pearson giāa tỉ lá trÁ lßi chính xác và iểm bài kiểm tra thích ÿng.18: Các tr°ßng hÿp bị lo¿i trừ .19: Nh¿n thÿc căa học sinh và ặc iểm bài kiểm tra thích ÿng. 130 vii MĀC LĀC DANH MĀC CHĀ VIÀT TÀT.
iii DANH MĀC HÌNH. iv DANH MĀC BÀNG. Māc ích và nhiám vā nghiên cÿu. Māc ích nghiên cÿu.
Nhiám vā nghiên cÿu. Khách thể và ối t°ÿng nghiên cÿu. Ph¿m vi và giới h¿n nghiên cÿu. Câu hỏi nghiên cÿu.
Ph°¢ng pháp nghiên cÿu. Đóng góp khoa học căa lu¿n án. 7 CH¯¡NG 1: C¡ Sà LÝ LUãN CĂA VÂN Đ NGHIÊN C¯U. Lý thuyết khảo thí hiện đại.
Lý luận về trắc nghiệm thích ứng bằng máy tính. Lý luận về đánh giá kiến thức từ vựng tiếp nhận tiếng Anh. Tổng quan nghiên cÿu. Các nghiên cứu về kiểm tra thích ứng trong đào tạo ngôn ngữ.
Các nghiên cứu về đánh giá kiến thức từ vựng tiếp nhận tiếng Anh. Khoảng trống nghiên cứu. KÁt ch°¢ng và à xuÃt mô hình nghiên cÿu. 62 CH¯¡NG 2: PH¯¡NG PHÁP LUãN NGHIÊN C¯U.
Quy trình nghiên cÿu. Ph°¢ng pháp nghiên cÿu. Phương pháp nghiên cứu định lượng. Phương pháp nghiên cứu định tính.
Quá trình lÃy m¿u. Mẫu của phương pháp chuyên gia. Mẫu tham gia thử nghiệm. Mẫu tham gia khảo sát và phỏng vấn.
Công cā nghiên cÿu. Hệ thống UEd-CAT. Bài trắc nghiệm song ngữ đánh giá từ vựng tiếp nhận tiếng Anh. Bảng câu hỏi xin ý kiến chuyên gia.
Bảng câu hỏi khảo sát. Bộ câu hỏi phỏng vấn. Các vÃn à và ¿o ÿc nghiên cÿu. 97 CH¯¡NG 3: KÀT QUÀ NGHIÊN C¯U VÀ BÀN LUãN.
ChuÇn hóa ngân hàng câu hỏi trÁc nghiám thích ÿng từ vựng tiÁp nh¿n tiÁng Anh. Biên soạn và chỉnh sửa bộ câu hỏi thô. Đánh giá độ tin cậy của các đề thử nghiệm. Loại các câu hỏi không phù hợp với mô hình.
Phân loại và chỉnh sửa câu hỏi .