MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY OPEN UNIVERSITY -------- ∞0∞-------- NGUYEN THANH LOAN COOPERATIVE TEST GENERATION: AN APPLICATION INTO A TERTIARY EFL-MAJOR WRITING CLASSROOM AT A COLLEGE IN HO CHI MINH CITY MASTER THESIS MASTER OF ARTS IN TESOL HO CHI MINH CITY, 2021 Tai Lieu Chat Luong MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY OPEN UNIVERSITY -------- ∞0∞-------- NGUYEN THANH LOAN COOPERATIVE TEST GENERATION: AN APPLICATION INTO A TERTIARY EFL-MAJOR WRITING CLASSROOM AT A COLLEGE IN HO CHI MINH CITY Major: Teaching English to Speakers of Other Languages Major code: 8 14 01 11 MASTER THESIS MASTER OF ARTS IN TESOL Supervisor: Dr. NGUYEN THI XUAN LAN HO CHI MINH CITY, 2021 TRƯỜNG ĐẠI HỌC MỞ CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM THÀNH PHỐ HỒ CHÍ MINH Độc lập – Tự do – Hạnh phúc KHOA ĐÀO TẠO SAU ĐẠI HỌC GIẤY XÁC NHẬN Tôi tên là: NGUYỄN THANH LOAN Ngày sinh: 19-03-1986 Nơi sinh: Quảng Ninh Chuyên ngành: 8 14 01 11 Mã học viên: 1781401110015 Tôi đồng ý cung cấp toàn văn thông tin luận án/ luận văn tốt nghiệp hợp lệ về bản quyền cho Thư viện trường đại học Mở Thành phố Hồ Chí Minh. Thư viện trường đại học Mở Thành phố Hồ Chí Minh sẽ kết nối toàn văn thông tin luận án/ luận văn tốt nghiệp vào hệ thống thông tin khoa học của Sở Khoa học và Công nghệ Thành phố Hồ Chí Minh. Ký tên Nguyễn Thanh Loan i STATEMENT OF AUTHORSHIP I certify that this thesis entitled: “Cooperative Test Generation: An Application into a Tertiary EFL-Major Writing Classroom at a College in Ho Chi Minh City” is my original work; it is based on my own research.
All sources used by me have been documented. No other person’s work has been used without due acknowledgement. This piece of work has not previously been submitted for assessment in this or any other subject or course at this University or elsewhere. Ho Chi Minh City, 2021 Nguyen Thanh Loan ii ACKNOWLEDGEMENTS During the time of conducting and completing my thesis, I have received great amount of suggestions, helps and encouragements from my beloved people.
I am profoundly grateful to my advisor, Dr. Nguyen Thi Xuan Lan, for her wholehearted support, patience, motivation, and immense knowledge. Her guidance helped me in all the time of research and writing of this thesis. I could not have imagined having a better advisor and mentor for my study.
I am also grateful to Dr. Nguyen Dinh Thu, Dr. Bao Dat, Dr. Le Thi Thanh Thu, and Dr.
Nguyen Thuy Nga. Their questions and comments did provide me with a fresher and better look at this research paper. A very special gratitude goes out to my all students who were willing to take part in my study. My thesis could not have been finished without their great contribution.
And finally, last but by no means least, also to my beloved family members, my best friends in our Chop-Chep group and my colleagues who always stand by my side to support, encourage and motivate me on the progress of conducting this study. Thanks for all your encouragement! iii ABSTRACT The idea for this study arises from the reputation of an active learning practice that is letting students cooperatively generate their own tests which from now is shortly called as CTG. The practice has received commendation for raising students’ retention and engagement in classes of different subjects including language learning. Does the practice also work effectively in writing classes? Can it improve students writing ability? May it win students affection? This study aims to uncover those questions relating to possible changes of students’ writing performance and emotions when they are entitled to generate tests to assess their own learning.
To achieve the aims, a quasi-experiment along with three tests as assessing tools was employed to measure the effects of CTG on students’ writing performance. Also, a questionnaire was conducted to collect students’ attitudes towards the practice. Analysis of the tests and questionnaire revealed interesting findings, some of which were in line with findings in previous studies, some however were different. Specifically, it found out that CTG contributed to improving students’ writing performance but not significantly different from the conventional method, except for its far greater impact on cohesion.
The practice also won students’ affection as the students thought it benefited their cognitive learning, learning habits and also emotions. Moreover, the study discovered that although confusion appeared occasionally in the test generating and test taking phases, this difficulty did not emerge frequently enough to make the students hesitate about approving the implementation of CTG. Basing on the findings, recommendations were given for the implementation of CTG and for further research. iv TÓM TẮT Nghiên cứu này lấy cảm hứng từ sự thành công của một phương pháp học tập tích cực cho phép người học cùng phối hợp để tự tạo ra một bài kiểm tra.
Phương pháp có tên gọi tắt là CTG. Đối với nhiều môn học, bao gồm cả môn học về ngoại ngữ, phương pháp này thường được ca ngợi là giúp người học nắm giữ kiến thức cũng như tích cực tham gia vào hoạt động học tập. Vậy liệu phương pháp có phát huy hiệu quả trong các lớp học về kỹ năng viết? Liệu nó có giúp cải thiện kỹ năng viết của người học không? Liệu người học có chào đón phương pháp này? Khám phá những câu hỏi này là mục tiêu của nghiên cứu. Cụ thể, nghiên cứu đã tìm hiểu xem liệu việc trao quyền thiết kế bài kiểm tra cho người học với mục đích giúp họ tự đánh giá việc học của mình sẽ dẫn đến những thay đổi gì về khả năng viết cũng như thái độ của người học.
Để đạt được mục tiêu trên, nghiên cứu sử dụng thiết kế bán thực nghiệm trong đó có ba bài kiểm tra làm công cụ đo lường tác động của phương pháp CTG tới khả năng viết của người học. Ngoài ra, nghiên cứu cũng sử dụng một bảng hỏi để thu thập thông tin về thái độ của người học đối với phương pháp này. Kết quả của các bài kiểm tra và bảng hỏi, qua phân tích, đã cho thấy những phát hiện thú vị, trong đó cả những phát hiện giống và những phát hiện khác hoặc mới so với kết quả của các nghiên cứu trước. Cụ thể, nghiên cứu khẳng định phương pháp CTG góp phần cải thiện năng lực viết của người học, nhưng không khác biệt nhiều so với phương pháp thông thường, ngoại trừ tính liên kết chặt chẽ của bài viết.
Phương pháp này cũng chiếm được cảm tình của người học; họ cho rằng phương pháp mang lại lợi ích cho khả năng tiếp thu, thói quen học tập, cũng như cảm xúc của mình. Nghiên cứu cũng phát hiện ra rằng, dù cảm giác băn khoăn, khó hiểu đôi khi xuất hiện trong quá trình thiết kế bài kiểm tra cũng như quá trình trả lới bài kiểm tra của nhóm khác thiết kế, nhưng khó khăn này không xuất hiện thường xuyên, và không đủ mạnh để khiến người học do dự trong việc ủng hộ việc triển khai CTG trong lớp học. v Cuối cùng, dựa vào các kết quả nghiên cứu, tác giả đưa ra một số đề xuất cho việc triển khai phương pháp CTG và những đề xuất cho các nghiên cứu tiếp theo. vi TABLE OF CONTENTS STATEMENT OF AUTHORSHIP.
ii LIST OF FIGURES .xi LIST OF TABLES .xiv CHAPTER 1: INTRODUCTION. The problem of the study. Aims of the study. Significance of the study.
Organization of the study. 4 CHAPTER 2: LITERATURE REVIEW.1 WRITING SKILL BASIS .1 The concept of writing and primary writing components.2 Assessing writing performance at sentence and paragraph levels. Weaknesses of students’ writing performance at sentence and paragraph levels .2 Grammar, syntax and vocabulary .4 The 21st-Century theories on improving students’ writing performance .1 Active learning theory and writing .2 Collaborative learning theory and writing .1 The concept of CTG.2 Active and collaborative learning framework of CTG.1 CTG and Active learning .2 CTG and Collaborative learning .3 Research on CTG application in teaching English .3 SUBJECTS OF THE STUDY.1 Site and Sampling .2 Size of the subject.1 Subjects of the tests .2 Subjects of the questionnaire .3 Important information about the subjects .1 English proficiency of the subjects .2 The subjects’ current course .3 Similarities and difference between the groups of subjects .1 Pre-test, progress test, and post-test.5 DATA COLLECTION PROCEDURE. 29 Pre-test administration.
30 Progress test and Post-test administration. 34 CHAPTER 4: DATA ANALYSIS AND FINDINGS .1 ANALYSIS OF THE TESTS AND RESEARCH QUESTION 1 .1 Test data screening.2 Analysis of tests’ total scores .1 Total scores within groups .2 Total scores between groups .3 Analysis of scores for mechanism, grammar, syntax and vocabulary .1 Score for mechanism, grammar, syntax and vocabulary within groups .2 Score for mechanism, grammar, syntax and vocabulary between groups.4 Analysis of organization scores .1 Organization scores within groups .2 Organization scores between groups .5 Analysis of cohesion scores .1 Cohesion scores within groups .2 Cohesion scores between groups .6 Summary of test data analysis .2 ANALYSIS OF THE QUESTIONNAIRE .1 Checking the reliability of the scale .2 Analysis of the close-ended part. 61 Theme 1: Students’ belief in benefits of CTG to their cognitive learning. 61 Theme 2: Students’ belief in benefits of CTG to their learning behaviours.
62 Theme 3: Students’ belief in benefits of CTG to their emotions. 63 Summary of analysis of close-ended part .3 Analysis of the open-ended part. 64 Students’ difficulties in doing CTG. 65 Students’ further comments and recommendations for CTG.
66 Summary of questionnaire data analysis. 69 CHAPTER 5: DISCUSSION AND RECOMMENDATIONS .1 Effect of CTG on tertiary EFL major students’ writing performance (RQ1) .2 Tertiary EFL major students’ perspectives towards CTG (RQ2) .2 LIMITATIONS OF THE STUDY. 73 For CTG implementation. 73 For further research.
88 APPENDIX A: CONSENT FORM SAMPLE. 88 APPENDIX B: QUESTIONNAIRE SAMPLE. 90 x APPENDIX C: PRE-TEST SAMPLE. 94 APPENDIX D: PROGRESS TEST SAMPLE.
96 APPENDIX E: POST-TEST SAMPLE. 98 APPENDIX F: TEST SCORING RUBRIC. 100 APPENDIX G: WRITING CORRECTION CODE SYSTEM. 102 APPENDIX H: WRITING 1 SYLLABUS.
104 APPENDIX I: RESULTS OF CONTROL GROUP’S TESTS. 106 APPENDIX J: RESULTS OF EXPERIMENTAL GROUP’S TESTS. 107 APPENDIX K: STUDENT-GENERATED TEST SAMPLES. 108 APPENDIX L: LESSON PLAN SAMPLE .117 xi LIST OF FIGURES Figure 2.1 Assessing Writing Performance at A2 level.2 Assessing Writing Performance at B1 level.3 Syllabus for Writing at Sentence and Paragraph Levels .4 Roles in Small Groups .1 Format of Student-Generated Test .1 Screening for Missing Values .2 Screening for Outlier Value .3A Within Control Group – 3 Test’s Total Score Comparison.3B Means of Control Group’s 3 Test’s Total Scores .4A Within Experimental Group – 3 Test’s Total Score Comparison .4B Means of Experimental Group’s 3 Test’s Total Scores .5A Between Groups – 3 Test’s Total Score Comparison .5B Means of Two Groups 3 Test’s Total Scores .5C Summary of 3 Test’s Total Score Comparison within and between Groups .6A Comparison within Control Group’s Scores for Mechanism, Grammar, Syntax, and Vocabulary.6B Means of Control Group’s Scores for Mechanism, Grammar, Syntax, and Vocabulary .7A Comparison within Experimental Group’s Scores for Mechanism, Grammar, Syntax, and Vocabulary.7B Means of Experimental Group’s Scores for Mechanism, Grammar, Syntax, and Vocabulary .8A Between Groups Comparison on Scores for Mechanism, Grammar, Syntax, and Vocabulary .8B Means of Two Groups’ Scores for Mechanism, Grammar, Syntax, and Vocabulary .8C Summary of Comparison within and between Groups regarding for Mechanism, Grammar, Syntax, and Vocabulary .9A Comparison within Control Group on Scores for Organization.