Luận án TS: Học & Giữ Từ Vựng L2 qua các Phương thức Đầu vào Âm thanh-Hình ảnh

Khám phá cách đầu vào đa phương tiện (video, hình ảnh, âm thanh) tác động tích cực đến việc học và ghi nhớ từ vựng ngôn ngữ thứ hai (L2) hiệu quả.

• Tác giả: Hassan Alshumrani
• Người hướng dẫn: Dr Sarah Rule
• Trường học: University of Southampton
• Chuyên ngành: Ngôn ngữ thứ hai
• Đề tài: Học và ghi nhớ từ vựng ngẫu nhiên L2 thông qua các phương thức đầu vào nghe nhìn khác nhau
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2019
• Địa điểm: Southampton

Tóm tắt

I. Tổng quan về học từ vựng L2 qua đầu vào đa phương tiện

Học từ vựng ngôn ngữ thứ hai (L2) một cách tình cờ là quá trình người học tiếp thu từ mới mà không có chủ đích ghi nhớ rõ ràng. Thay vào đó, từ vựng được tiếp nhận tự nhiên thông qua hoạt động giao tiếp, đọc hiểu hoặc xem tài liệu nghe-nhìn. Nghiên cứu của Alshumrani (2019) tại Đại học Southampton đã điều tra ảnh hưởng của bốn phương thức đầu vào audio-visual đến việc học và giữ từ vựng L2. Bốn phương thức bao gồm: video kết hợp âm thanh và phụ đề (VAC), video và âm thanh (VA), phụ đề và âm thanh (CA), và chỉ âm thanh (A only). Nghiên cứu sử dụng thiết kế quasi-thực nghiệm với 36 từ mục tiêu. Kiến thức từ vựng được đánh giá qua ba bài kiểm tra: nhận dạng dạng nói, gợi nhớ nghĩa và nhận dạng nghĩa. Các bài kiểm tra được thực hiện tại ba thời điểm: trước thí nghiệm, ngay sau thí nghiệm và trễ. Kết quả cho thấy việc học từ vựng tình cờ là khả thi qua tất cả các phương thức, nhưng mức độ hiệu quả khác nhau đáng kể giữa các điều kiện đầu vào.

1.1. Định nghĩa học từ vựng tình cờ trong L2

Học từ vựng tình cờ (incidental vocabulary learning) là quá trình người học tiếp thu từ mới trong khi thực hiện một hoạt động giao tiếp khác, không phải với mục đích học từ trực tiếp. Khái niệm này được nghiên cứu rộng rãi trong lĩnh vực ngôn ngữ học ứng dụng. Waring và Takaki (2003) chỉ ra rằng học từ vựng tình cờ qua đọc là khả thi nhưng thu được tương đối ít. Kiến thức thụ động như nhận dạng hình thức và nhận dạng nghĩa phát triển tốt hơn so với kiến thức sản xuất. Trong bối cảnh audio-visual, người học tiếp xúc với từ vựng qua nhiều kênh cảm giác đồng thời: hình ảnh, âm thanh và văn bản. Điều này tạo ra môi trường tiếp xúc ngôn ngữ tự nhiên, mô phỏng quá trình học ngôn ngữ thứ nhất.

1.2. Vai trò của đầu vào đa phương tiện trong học ngôn ngữ

Đầu vào đa phương tiện đóng vai trò quan trọng trong việc tạo môi trường học ngôn ngữ chân thực. Các tài liệu audio-visual cung cấp ngữ cảnh phi ngôn ngữ như hình ảnh, cử chỉ và biểu cảm khuôn mặt. Những yếu tố này hỗ trợ quá trình suy đoán nghĩa của từ mới. Nghiên cứu trước đây chủ yếu tập trung vào đọc hoặc nghe riêng lẻ. Tuy nhiên, việc kết hợp nhiều kênh cảm giác có thể tạo ra hiệu ứng cộng hưởng tích cực. Montero Perez và cộng sự (2018) cùng Peters và Webb (2018) đã chứng minh rằng xem tài liệu audio-visual hỗ trợ học từ vựng hiệu quả. Các phương thức khác nhau tạo ra mức độ mã hóa từ vựng đa dạng trong trí nhớ dài hạn.

II. Phân tích ảnh hưởng của các phương thức đầu vào audio visual

Nghiên cứu của Alshumrani so sánh tác động của bốn phương thức đầu vào audio-visual đến ba khía cạnh kiến thức từ vựng: nhận dạng dạng nói, gợi nhớ nghĩa và nhận dạng nghĩa. Phương thức VAC (video, âm thanh và phụ đề) tạo điều kiện tiếp xúc đầy đủ nhất với thông tin ngôn ngữ. Phương thức VA (video và âm thanh) loại bỏ hỗ trợ văn bản, đặt gánh nặng lớn hơn lên quá trình xử lý thính giác. Phương thức CA (phụ đề và âm thanh) loại bỏ kênh hình ảnh. Phương thức A only chỉ cung cấp đầu vào âm thanh thuần túy. Kết quả cho thấy sự khác biệt đáng kể giữa các phương thức trong cả học ngắn hạn và giữ dài hạn. Tần suất xuất hiện của từ mục tiêu cũng đóng vai trò dự đoán quan trọng. Từ xuất hiện càng nhiều lần, khả năng học và giữ càng cao. Điều này phù hợp với nghiên cứu trước đó về mối quan hệ giữa tần suất lặp lại và tiếp thu từ vựng.

2.1. So sánh hiệu quả giữa bốn phương thức đầu vào

Mỗi phương thức đầu vào tạo ra mức độ tiếp thu từ vựng khác nhau. Phương thức VAC cung cấp ba kênh thông tin đồng thời: hình ảnh chuyển động, âm thanh và phụ đề văn bản. Sự kết hợp này cho phép người học liên kết từ mới với nhiều đầu mối ngữ cảnh. Phương thức VA dựa vào hình ảnh và âm thanh, yêu cầu người học xử lý ngôn ngữ nói mà không có hỗ trợ văn bản. Phương thức CA sử dụng phụ đề và âm thanh, phù hợp với người học có kỹ năng đọc tốt hơn nghe. Phương thức A only là thử thách lớn nhất vì thiếu mọi hỗ trợ trực quan. Nghiên cứu chỉ ra rằng kiến thức thụ động phát triển tốt hơn kiến thức sản xuất ở tất cả các phương thức.

2.2. Vai trò của tần suất xuất hiện và trí nhớ làm việc

Tần suất xuất hiện của từ mục tiêu là biến số liên quan đến yếu tố mục có ảnh hưởng mạnh đến kết quả học. Từ xuất hiện nhiều lần trong tài liệu audio-visual có khả năng được tiếp thu cao hơn. Đây là phát hiện nhất quán với các nghiên cứu trước về đọc và nghe. Trí nhớ làm việc (working memory) là biến số liên quan đến người học. Nghiên cứu sử dụng bốn bài đo: nhớ chữ số xuôi, nhớ chữ số ngược, ma trận chấm và tìm hình khác biệt. Hai thành phần được đánh giá: vòng lặp ngữ âm và bản phác thảo không gian-thị giác. Kết quả cho thấy trí nhớ làm việc có mối liên hệ với việc học từ vựng tình cờ. Các bài đo phức tạp dự đoán tốt hơn so với bài đo đơn giản.

III. Giải pháp tối ưu hóa việc học và giữ từ vựng L2 qua đa phương tiện

Dựa trên kết quả nghiên cứu, nhiều giải pháp thực tiễn được đề xuất để tối ưu hóa quá trình học từ vựng L2 qua đầu vào đa phương tiện. Thứ nhất, việc sử dụng tài liệu audio-visual kết hợp đầy đủ video, âm thanh và phụ đề nên được ưu tiên trong giai đoạn đầu học từ mới. Thứ hai, tần suất lặp lại từ mục tiêu cần được chú trọng. Người thiết kế tài liệu học tập nên đảm bảo từ mới xuất hiện đủ số lần để tạo cơ hội mã hóa sâu. Thứ ba, phụ đề đóng vai trò cầu nối quan trọng giữa hình thức nói và nghĩa. Phụ đề song ngữ hoặc phụ đề L2 giúp người học xác định ranh giới từ và liên kết hình thức với nghĩa. Thứ tư, hoạt động học nên được cá nhân hóa dựa trên dung lượng trí nhớ làm việc của người học. Người học có trí nhớ làm việc thấp cần nhiều hỗ trợ ngữ cảnh hơn. Cuối cùng, việc đánh giá kiến thức từ vựng nên bao gồm cả ba khía cạnh: nhận dạng dạng, gợi nhớ nghĩa và nhận dạng nghĩa để đo lường đầy đủ mức độ tiếp thu.

3.1. Thiết kế tài liệu audio visual hiệu quả cho học từ vựng

Thiết kế tài liệu audio-visual cần tuân theo nguyên tắc tối ưu hóa đầu vào ngôn ngữ. Phụ đề nên được hiển thị rõ ràng và đồng bộ với âm thanh. Từ mục tiêu nên được đặt trong ngữ cảnh giao tiếp tự nhiên, không bị cô lập. Hình ảnh minh họa cần liên quan trực tiếp đến nội dung ngôn ngữ để tạo liên kết ý nghĩa mạnh mẽ. Số lần lặp lại từ mục tiêu nên đạt ngưỡng tối thiểu để kích hoạt quá trình tiếp thu. Nghiên cứu chỉ ra rằng kiến thức thụ động dễ phát triển hơn kiến thức sản xuất. Do đó, tài liệu nên được thiết kế theo hướng tăng dần độ phức tạp. Giai đoạn đầu tập trung vào nhận dạng hình thức và nghĩa. Giai đoạn sau yêu cầu người học sản xuất từ vựng trong ngữ cảnh mới.

3.2. Chiến lược cá nhân hóa dựa trên đặc điểm người học

Trí nhớ làm việc là yếu tố cá nhân ảnh hưởng đến hiệu quả học từ vựng. Người học có dung lượng trí nhớ làm việc cao có khả năng xử lý thông tin ngôn ngữ tốt hơn. Đối với người học có trí nhớ làm việc thấp, việc cung cấp nhiều kênh thông tin đồng thời là cần thiết. Phụ đề và hình ảnh minh họa giúp giảm gánh nặng xử lý nhận thức. Người học nên được khuyến khích tiếp xúc lặp đi lặp lại với tài liệu audio-visual. Thời gian nghỉ giữa các lần tiếp xúc cũng quan trọng để kích hoạt quá trình củng cố trí nhớ. Hoạt động ôn tập nên được phân bố đều trong thời gian dài thay vì dồn vào một thời điểm. Điều này đảm bảo kiến thức từ vựng được chuyển từ trí nhớ ngắn hạn sang dài hạn.

IV. Kết luận và ứng dụng thực tế trong giảng dạy ngôn ngữ

Nghiên cứu về học từ vựng L2 tình cờ qua đầu vào đa phương tiện mở ra nhiều hướng ứng dụng thực tế trong giảng dạy ngôn ngữ. Kết quả cho thấy việc học từ vựng tình cờ là khả thi qua tất cả các phương thức audio-visual. Tuy nhiên, phương thức kết hợp đầy đủ video, âm thanh và phụ đề mang lại hiệu quả cao nhất. Tần suất xuất hiện và trí nhớ làm việc là hai yếu tố dự đoán quan trọng. Đối với giáo viên, việc tích hợp tài liệu audio-visual vào chương trình giảng dạy là chiến lược hiệu quả. Người học nên được tiếp xúc với đa dạng loại tài liệu: phim, video giáo dục, podcast có hình ảnh. Việc đánh giá từ vựng cần đo lường nhiều khía cạnh kiến thức. Kiến thức thụ động thường phát triển trước kiến thức sản xuất. Điều này gợi ý rằng quá trình học từ vựng cần thời gian và sự kiên nhẫn. Các nghiên cứu trong tương lai nên tiếp tục khám phá ảnh hưởng của các biến số cá nhân đến quá trình tiếp thu từ vựng qua đa phương tiện.

4.1. Ứng dụng trong thiết kế chương trình giảng dạy

Chương trình giảng dạy ngôn ngữ nên tích hợp tài liệu audio-visual một cách có hệ thống. Phụ đề L2 nên được sử dụng song song với âm thanh để hỗ trợ quá trình liên kết hình thức và nghĩa. Số lần tiếp xúc với từ mục tiêu cần được tính toán kỹ lưỡng trong thiết kế bài học. Giáo viên nên sử dụng video có nội dung phù hợp với trình độ người học. Hoạt động trước khi xem giúp kích hoạt kiến thức sẵn có. Hoạt động sau khi xem củng cố và mở rộng kiến thức từ vựng mới. Chương trình cũng nên phân loại người học theo dung lượng trí nhớ làm việc để cá nhân hóa trải nghiệm học tập. Đánh giá định kỳ qua ba loại bài kiểm tra giúp đo lường tiến bộ toàn diện.

4.2. Hướng nghiên cứu tương lai về học từ vựng đa phương tiện

Nghiên cứu tương lai cần mở rộng mẫu người học và ngôn ngữ mục tiêu để tăng tính khái quát hóa. Việc khám phá thêm các biến số cá nhân như động lực, phong cách học tập và kinh nghiệm trước đó là cần thiết. Công nghệ thực tế ảo và thực tế tăng cường có thể tạo ra môi trường học từ vựng mới. Nghiên cứu về tác động của phụ đề thông minh, tự động điều chỉnh theo trình độ người học, cũng đáng quan tâm. Thời gian giữ từ vựng dài hơn, sáu tháng hoặc một năm, cần được nghiên cứu thêm. Các phương pháp thu thập dữ liệu sinh trắc học như theo dõi mắt và đo hoạt động não bộ có thể cung cấp hiểu biết sâu hơn về quá trình nhận thức.

Trích đoạn nội dung tài liệu

University of Southampton Research Repository Copyright © and Moral Rights for this thesis and, where applicable, any accompanying data are retained by the author and/or other copyright owners. A copy can be downloaded for personal non-commercial research or study, without prior permission or charge. This thesis and the accompanying data cannot be reproduced or quoted extensively from without first obtaining permission in writing from the copyright holder/s. The content of the thesis and accompanying research data (where applicable) must not be changed in any way or sold commercially in any format or medium without the formal permission of the copyright holder/s.

When referring to this thesis and any accompanying data, full bibliographic details must be given, e. Thesis: Author (Year of Submission) "Full thesis title", University of Southampton, name of the University Faculty or School or Department, PhD Thesis, pagination. University of Southampton FACULTY OF HUMANITIES Modern Languages L2 Incidental Vocabulary Learning and Retention through Different Modalities of Audio-visual Input by Hassan Alshumrani Thesis for the degree of Doctor of Philosophy April, 2019 University of Southampton Abstract Faculty of Arts and Humanities Modern Languages Thesis for the degree of Doctor of Philosophy L2 Incidental Vocabulary Learning and Retention through Different Modalities of Audio-visual Input Hassan Alshumrani While the bulk of previous studies on incidental vocabulary learning through audio-visual materials have looked at the differential effects of some input modalities (e., L1 subtitles vs L2 captions), little research has examined the effects of other important modalities of audio-visual input. The present research study investigates L2 incidental vocabulary short-term learning and long-term retention in four different audio-visual input conditions.

More precisely, adopting a quasi-experimental research design, this study compares the effects of four modalities of audio- visual input: video, audio, and caption (VAC), video and audio (VA), caption and audio, (CA), and audio only (A only) on incidental learning and retention of knowledge of 36 target words’ spoken form recognition, meaning recall, and meaning recognition. Additionally, the study examines the predictive roles of an item-related variable (frequency of occurrence) and a learner-related variable (working memory) in incidental vocabulary learning through the four different input conditions. The study used a range of data collection methods. Vocabulary knowledge was assessed through three vocabulary tests: spoken form recognition, spoken meaning recall, and spoken meaning recognition.

These were administered at three different time points as, pre-tests, immediate post- tests, and delayed post-tests. Working memory capacity was measured using two verbal tests, (forward digit recall and backward digit recall) and two visuospatial tests, (dot matrix and odd one out). The study demonstrated that the four audio-visual input conditions resulted in L2 incidental vocabulary learning of the three vocabulary knowledge dimensions. The findings showed that the four modalities of audio-visual input had differential effects on incidental short-term learning of the three vocabulary knowledge types.

The captioning conditions (CA and VAC) were more effective than the non-captioning conditions (VA and A only) for fostering form learning. The visual condition (VA) was the most effective condition for promoting meaning knowledge. Additionally, large attrition rates of the three vocabulary knowledge dimensions were found across the four experimental groups. The results also demonstrated that the effect of frequency of occurrence varied based on the modalities of audio-visual input and the target word knowledge aspects.

In relation to the role of working memory, the findings indicated that individual differences in working memory capacity did not account for the variations in the vocabulary scores on the immediate and delayed post-tests. A number of pedagogical implications regarding the effects of the different modalities of audio-visual input on vocabulary learning and retention are presented. Table of Contents Table of Contents. i List of Tables.ix Table of Figures.

xv Research Thesis: Declaration of Authorship. xxi Chapter 1 Introduction .1 Background to the study .2 Motivation of the study.3 The purpose and research questions of the study.4 Structure of the thesis. 7 Chapter 2 Literature Review.1 To know a word .2 Receptive and productive vocabulary knowledge .3 Incidental and intentional learning .4 Previous research on L2 incidental vocabulary learning.1 The dual coding theory.2 The cognitive theory of multimedia learning.1 The multimedia principle.2 The redundancy principle .3 The multicomponent model of working memory.1 The distinction between working memory and short-term memory .2 Components of working memory .3 The phonological loop .5 The central executive .6 The implication of working memory in vocabulary learning .7 The role of working memory in learning through multiple modalities of input .4 The integrated (phonological/executive) model of working memory .3 Modalities of input.1 Review of previous empirical studies on different modalities of input .2 Critique of the previously described studies .3 Gaps in literature and the focus of the study. 61 Chapter 3 Methodology and research design.1 Objectives and research questions .4 Approach selected for this study .5 The participants and setting of the study .9 Procedures of the experiment .1 Spoken form recognition test .2 Spoken meaning recall test .3 Spoken meaning recognition test .12 Measures of working memory .1 Forward digit recall .2 Backward digit recall .4 The odd-one-out .13 Semi-structured interviews .14 Validity and reliability.1 Pilot study one.2 Pilot study two.

98 Chapter 4 Vocabulary findings.1 Section one: research question 1 .1 Differences in vocabulary scores on the pre-tests (between-groups comparison).2 Scores on the pre-tests and on the immediate-post-tests (within-subjects comparison).3 Summary of key findings .2 Section two: research question 2.1 Findings of the spoken form recognition immediate post-test .2 Findings of the spoken meaning recall immediate post-test.3 Findings of the spoken meaning recognition immediate post-test .4 Summary of key findings .3 Section three: research question 3 .1 Scores on the immediate post-tests and on the delayed post-tests (within- subjects comparison) .1 Findings of the spoken form recognition delayed post-test .2 Findings of the spoken meaning recall delayed post-test .3 Findings of the spoken meaning recognition delayed post-test .2 The differential effects of the different modalities of audio-visual input on long-term retention of the target words (between-groups comparison) .1 Findings of the spoken form recognition delayed post-test .2 Findings of the spoken meaning recall delayed post-test .3 Findings of the spoken meaning recognition delayed post-test .3 Summary of key findings.4 Section four: research question 4:.1 Findings of the spoken form recognition test .2 Findings of the spoken meaning recall test .3 Findings of the spoken meaning recognition tests .4 Summary of key findings:. 139 Chapter 5 Working memory findings .1 Section one: research question 5 .1 WM and incidental vocabulary short-term learning .2 WM and incidental vocabulary long-term retention .3 Summary of key findings: .2 Section two: research question 6 .1 WM and incidental vocabulary short-term learning .2 WM and incidental vocabulary long-term retention .3 Summary of key findings: .3 Section three: research question 7 .1 Individual performance data .2 WM and incidental vocabulary short-term learning .1 Verbal WM measures.2 Forward digit recall test .3 Backward digit recall test .4 Visual WM measures .5 Dot matrix test .6 The odd one out test.3 WM and incidental vocabulary long-term retention .1 Verbal WM measures.2 Forward digit recall test .3 Backward digit recall test .4 Visual WM measures .5 Dot matrix test.6 The odd one out test .4 Summary of key findings: .1 Section one: research question 1 .2 Section two: research question 2.3 Section three: research question 3 .4 Section four: research question 4 .5 Section five: research question 5 .6 Section six: research question 6 .7 Section seven: research question 7 .1 Summary of the findings .1 The differential effects of the four audio-visual input conditions, VAC, VA, CA, and A only, on L2 incidental vocabulary learning of spoken form, meaning recall, and meaning recognition (research questions, 1 & 2) .2 The differential effects of the four audio-visual input conditions, VAC, VA, CA, and A only, on incidental vocabulary long-term retention of spoken form, meaning recall, and meaning recognition (research question 3) .3 The effect of frequency of occurrence on incidental vocabulary learning (research question 4) .4 The relationship between WM and incidental vocabulary learning and retention and the interaction between WM and the four input modalities (research questions, 5-7).2 Overall contribution of the study .3 Implications for Saudi EFL context .4 Limitations and future directions. 205 List of References. 206 Vocabprofile analysis output.

220 Examples of treatment condition (VAC) computer screen. 221 Examples of Treatment condition (VA) computer screen. 223 Examples of Treatment condition (CA) computer screen. 225 Consent Form and Participant Information Sheet.

227 Non-words list adopted from Waring and Takaki (2003) (12 items). 231 Example of the Spoken Form Recognition Test Answer sheet (first 7 items) 232 Example of the Spoken Meaning Recall Test Answer sheet (first 7 items). 233 Example of the Spoken Meaning Recognition Test Answer sheet (first 7 items). 236 Welch ANOVA tests.

237 ANOVA results for the four WM measures and incidental vocabulary learning. 238 ANOVA results for the four WM measures and incidental vocabulary retention. 242 vi vii List of Tables Table 2. Different types of word knowledge.

Schematic representation of previous empirical studies examining incidental vocabulary learning through different modalities of audio-visual input. Number of subjects in each treatment group, completing the WM tests, and attending the interviews. Overview of the videos and the results of Vocabprofile analysis of the texts of the four videos .3 Target words, their number of repetitions, and their frequency lists. Target words and their frequency of occurrences in the materials.

The treatments of the study. Overview of the research procedures .7 Example of the scores on the spoken form recognition test before and after applying the cfg formula .8 An overview of the pilot studies. The number of participants involved in the first pilot study .1 The Kolmogorov-Smirnova normality test for the three vocabulary pre-tests.2 Kruskal-Wallis H tests for the three vocabulary pre-tests .3 Mean scores for the spoken form recognition test of the four treatment groups over pre-and-immediate-post-test administrations .4 Mean scores for the spoken meaning recall test of the four treatment groups over pre- and-immediate-post-test administrations .5 Mean scores for the spoken meaning recognition test of the four treatment groups over pre-and-immediate-post-test administrations. Tests of Normality.

Test of Homogeneity of Variances. A one-way ANOVA test for the spoken form recognition immediate post-test. Summarised data from the Games-Howell post-hoc test for the spoken form recognition test. A one-way ANOVA test for the spoken meaning recall immediate post-test.

Summarised data from the Games-Howell post-hoc test for the spoken meaning recall test. A one-way ANOVA test for the spoken meaning recognition immediate post-test117 Table 4. Summarised data from the Games-Howell post-hoc test for the spoken meaning recognition test. A Wilcoxon signed rank test for the spoken form recognition test.

A Wilcoxon signed rank test for the spoken meaning recall test. A Wilcoxon signed rank test for the spoken meaning recognition test. A Kruskal-Wallis H test for the spoken form delayed post-test. Mann-Whitney U post-hoc test for the spoken form recognition delayed post-test126 Table 4.

A Kruskal-Wallis H test for the spoken meaning recall delayed post-test. Mann-Whitney U post-hoc test for the spoken meaning recall delayed post-test 127 Table 4. A Kruskal-Wallis H test for the spoken meaning recognition delayed post-test. Mann-Whitney U post-hoc test for the spoken meaning recognition delayed post-test.

The mean scores of words of the three frequency groups answered correctly on the spoken form recognition immediate post-test by the four experimental groups. Mann-Whitney U tests for frequency of occurrence in the spoken form recognition immediate post-test. The mean scores of words of the three frequency groups answered correctly on the spoken meaning recall immediate post-test by the four experimental groups134 x Table 4. Mann-Whitney U tests for frequency of occurrence in the spoken meaning recall immediate post-test.

The mean scores of words of the three frequency groups answered correctly on the spoken meaning recognition immediate post-test by the four experimental groups .