Luận văn thạc sĩ về hệ thống thông tin quản lý đánh giá kỹ năng đọc tiếng Anh

Luận văn thạc sĩ trình bày hệ thống đánh giá và phân loại bài thi anh ngữ kỹ năng đọc sử dụng phương pháp nhúng từ và mạng lưới thần kinh nhân tạo.

• Tác giả: Đỗ Thiếc Nha
• Người hướng dẫn: PGS. TS Đặng Trần Khánh
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Hệ thống thông tin quản lý
• Đề tài: Hệ Thống Đánh Giá Bài Thi Anh Ngữ Kỹ Năng Đọc Bằng Mạng Lưới Thần Kinh
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN THẠC SĨ
• ABSTRACT
• LỜI CAM ĐOAN
• DANH MỤC HÌNH
• DANH MỤC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Ý nghĩa khoa học và thực tiễn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Phương pháp đánh giá khả năng đọc của văn bản (Readability formula)
• 2.2. Phương pháp biểu diễn văn bản thành véctơ số (Text vectorization)
• 2.3. Mô hình ngôn ngữ BERT (Bidirectional Encoder Representations from Transformers)
• 2.4. Phương pháp phân loại văn bản (Text Classification)
• 2.5. Phương pháp tính mức độ tương đồng về mặt ngữ nghĩa (semantic similarity)
• 3. CHƯƠNG 3: CÁC NGHIÊN CỨU LIÊN QUAN ĐỀ TÀI
• 3.1. Phân loại văn bản dựa trên trích xuất đặc trưng bằng Domain-Knowledge và Machine Learning
• 3.2. Phân loại văn bản dựa trên trích xuất đặc trưng bằng Prediction-based embedding và Machine Learning
• 4. CHƯƠNG 4: ĐỀ XUẤT VÀ HIỆN THỰC NGUYÊN MẪU
• 4.1. Đặc tả dữ liệu đầu vào
• 4.2. Thành phần hệ thống
• 4.3. Chức năng các thành phần của hệ thống
• 4.4. Phương pháp xây dựng mô hình ngôn ngữ cho bài toán phân loại câu hỏi thi Anh ngữ kỹ năng
• 4.5. Thiết kế trực quan – tương tác
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ KẾT QUẢ
• 5.1. Thu thập dữ liệu
• 5.2. Thiết lập thí nghiệm
• 5.3. Kết quả và thảo luận
• 6. CHƯƠNG 6: KẾT LUẬN
• 6.1. Hạn chế của đề tài và cải tiến trong tương lai
• DANH MỤC TÀI LIỆU THAM KHẢO
• PHỤ LỤC: Các khai báo và hàm được sử dụng trong đề tài
• PHỤ LỤC: Bảng câu hỏi khảo sát
• LÝ LỊCH TRÍCH NGANG

Tóm tắt

I. Giới thiệu đề tài

Đề tài nghiên cứu này tập trung vào việc xây dựng hệ thống đánh giá và phân loại bài thi tiếng Anh kỹ năng đọc. Việc đánh giá bài thi hiện tại thường được thực hiện thủ công, phụ thuộc vào kỹ năng và trình độ của giáo viên. Để cải thiện quy trình này, tác giả đề xuất áp dụng công nghệ giáo dục hiện đại thông qua việc sử dụng mạng lưới thần kinh và phương pháp nhúng từ. Mục tiêu là giảm thời gian và công sức trong việc đánh giá, đồng thời nâng cao tính chính xác trong việc xác định cấp độ của câu hỏi thi. Hệ thống này không chỉ giúp giáo viên tiết kiệm thời gian mà còn đảm bảo tính công bằng trong đánh giá.

1.1. Lý do chọn đề tài

Việc đánh giá kết quả học tập trong một trung tâm giảng dạy tiếng Anh tại Việt Nam thường gặp nhiều khó khăn. Các giáo viên phải thực hiện nhiều bước để đánh giá và phân loại câu hỏi thi, từ việc đánh giá mức độ dễ đọc của ngữ cảnh cho đến việc kiểm tra tính chính xác của câu trả lời. Hệ thống đánh giá tự động sẽ giúp giảm bớt áp lực cho giáo viên và đảm bảo rằng mọi câu hỏi đều được đánh giá một cách công bằng và chính xác. Việc áp dụng công nghệ mới sẽ mang lại lợi ích lớn cho cả giáo viên và học viên.

II. Cơ sở lý thuyết

Phần này sẽ trình bày về các phương pháp cơ bản trong việc đánh giá khả năng đọc của văn bản, bao gồm phương pháp đánh giá khả năng đọc (Readability formula) và phương pháp biểu diễn văn bản thành véc-tơ số (Text vectorization). Mô hình BERT (Bidirectional Encoder Representations from Transformers) được giới thiệu như một công cụ mạnh mẽ trong việc xử lý ngôn ngữ tự nhiên, giúp đánh giá mức độ tương đồng về mặt ngữ nghĩa giữa các đoạn văn bản. Việc áp dụng các phương pháp này sẽ tạo nền tảng vững chắc cho việc phát triển hệ thống đánh giá tự động.

2.1. Phương pháp nhúng từ

Phương pháp nhúng từ là một kỹ thuật quan trọng trong việc chuyển đổi từ ngữ thành các véc-tơ số thực, giúp giữ lại ý nghĩa ngữ nghĩa của từ. Bằng cách sử dụng các mô hình như Word2Vec hoặc GloVe, hệ thống có thể hiểu được mối quan hệ giữa các từ và ngữ cảnh của chúng. Việc áp dụng phương pháp này trong hệ thống đánh giá sẽ cho phép phân tích sâu hơn về ý nghĩa của các câu hỏi thi và giúp xác định mức độ khó dễ của chúng một cách chính xác hơn.

III. Các nghiên cứu liên quan

Nghiên cứu trong lĩnh vực phân loại văn bản đã được thực hiện rộng rãi với nhiều phương pháp khác nhau như Machine Learning và Deep Learning. Các nghiên cứu này cung cấp cái nhìn sâu sắc về cách thức mà các mô hình có thể được huấn luyện để phân loại văn bản dựa trên các đặc trưng ngữ nghĩa. Việc áp dụng các kỹ thuật này trong hệ thống đánh giá bài thi sẽ giúp cải thiện độ chính xác của việc phân loại và đánh giá các câu hỏi thi. Một số nghiên cứu cũng đã chỉ ra rằng việc sử dụng mạng nơ-ron có thể mang lại kết quả tốt hơn so với các phương pháp truyền thống.

3.1. Phân loại văn bản dựa trên học sâu

Phân loại văn bản dựa trên học sâu sử dụng các mô hình như CNN, RNN và LSTM để phân tích dữ liệu văn bản. Những mô hình này có khả năng học từ các đặc trưng phức tạp trong dữ liệu và có thể cải thiện độ chính xác của việc phân loại. Việc áp dụng các mô hình này trong hệ thống đánh giá bài thi sẽ giúp tự động hóa quá trình phân loại và giảm bớt công việc cho giáo viên, đồng thời đảm bảo tính chính xác và công bằng trong việc đánh giá.

IV. Đề xuất và hiện thực nguyên mẫu

Trong phần này, tác giả sẽ trình bày về việc thiết kế và xây dựng hệ thống đánh giá và phân loại bài thi. Hệ thống sẽ được xây dựng dựa trên các phương pháp đã được nghiên cứu, bao gồm việc xác định dữ liệu đầu vào, các thành phần của hệ thống và phương pháp xây dựng mô hình ngôn ngữ. Việc thiết kế giao diện người dùng cũng sẽ được đề cập để đảm bảo rằng giáo viên có thể dễ dàng tương tác với hệ thống. Mục tiêu là tạo ra một công cụ hữu ích, giúp giáo viên trong việc đánh giá và phân loại bài thi một cách nhanh chóng và hiệu quả.

4.1. Đặc tả dữ liệu đầu vào

Dữ liệu đầu vào của hệ thống sẽ bao gồm các câu hỏi thi đã được phân loại bởi giáo viên. Mỗi câu hỏi sẽ được đánh giá về mức độ khó dễ, từ vựng phù hợp và tính chính xác của câu trả lời. Việc thu thập và xử lý dữ liệu đầu vào sẽ là bước quan trọng để đảm bảo rằng hệ thống có thể hoạt động hiệu quả và chính xác. Hệ thống sẽ sử dụng các thuật toán học máy để phân tích và đánh giá dữ liệu, từ đó đưa ra các kết quả đánh giá chính xác.

V. Thực nghiệm và kết quả

Phần này sẽ trình bày về quy trình thực nghiệm và kết quả thu được từ việc áp dụng hệ thống đánh giá. Các dữ liệu sẽ được thu thập từ các bài thi thực tế và được đánh giá bởi giáo viên để so sánh với kết quả của hệ thống. Việc phân tích kết quả sẽ giúp xác định độ chính xác của hệ thống và đưa ra các khuyến nghị cho việc cải tiến trong tương lai. Hệ thống sẽ được đánh giá dựa trên các tiêu chí như độ chính xác, tốc độ xử lý và tính thân thiện với người dùng.

5.1. Kết quả và thảo luận

Kết quả thu được từ thực nghiệm sẽ được phân tích để đánh giá hiệu quả của hệ thống. So sánh giữa kết quả đánh giá của hệ thống và đánh giá của giáo viên sẽ cho thấy mức độ chính xác của hệ thống. Những điểm mạnh và hạn chế của hệ thống cũng sẽ được thảo luận để tìm ra hướng cải tiến cho các phiên bản sau. Việc thu thập phản hồi từ giáo viên sẽ là một phần quan trọng trong quá trình hoàn thiện hệ thống.

VI. Kết luận

Luận văn này đã trình bày về việc xây dựng hệ thống đánh giá và phân loại bài thi tiếng Anh kỹ năng đọc dựa trên phương pháp nhúng từ và mạng lưới thần kinh nhân tạo. Hệ thống này không chỉ giúp cải thiện quy trình đánh giá mà còn nâng cao độ chính xác và công bằng trong việc phân loại các câu hỏi thi. Các kết quả nghiên cứu và thực nghiệm đã chỉ ra rằng việc áp dụng công nghệ mới trong giáo dục là một hướng đi đúng đắn. Tác giả cũng đưa ra các khuyến nghị cho việc phát triển hệ thống trong tương lai, nhằm đáp ứng tốt hơn nhu cầu của giáo viên và học viên.

6.1. Hạn chế và hướng phát triển trong tương lai

Mặc dù hệ thống đã đạt được những kết quả khả quan, vẫn còn nhiều hạn chế cần khắc phục. Việc mở rộng dữ liệu đầu vào và cải thiện thuật toán sẽ là những hướng đi quan trọng trong tương lai. Hệ thống cần được cập nhật thường xuyên để đảm bảo tính chính xác và hiệu quả trong việc đánh giá. Ngoài ra, việc nghiên cứu thêm về các phương pháp mới trong xử lý ngôn ngữ tự nhiên cũng sẽ giúp nâng cao chất lượng hệ thống.

Nội dung chính

Tổng quan nghiên cứu

Quy trình biên soạn và kiểm định đề thi tiếng Anh học thuật chuẩn quốc tế như TOEFL iBT đòi hỏi sự chặt chẽ và tốn kém nhiều nguồn lực. Trong cấu trúc bài thi TOEFL với thang điểm tổng 120, phần thi kỹ năng đọc chiếm 30 điểm và kéo dài từ 54 đến 72 phút, bao gồm 3 đến 4 đoạn văn chuyên sâu về các lĩnh vực khoa học, lịch sử và xã hội. Tại các trung tâm đào tạo ngoại ngữ, công tác đánh giá và phân loại cấp độ câu hỏi đọc hiểu hiện vẫn chủ yếu dựa vào hội đồng chuyên môn gồm 3 giáo viên và 3 trợ giảng độc lập. Phương thức thủ công này tạo ra áp lực chi phí lớn, kéo dài thời gian phát hành đề thi và dễ dẫn đến sai lệch do nhận định chủ quan giữa các giám khảo.

Luận văn tập trung nghiên cứu, thiết kế và hiện thực hóa hệ thống tự động đánh giá, phân loại câu hỏi thi đọc hiểu tiếng Anh học thuật dựa trên mô hình ngôn ngữ BERT kết hợp mạng nơ-ron nhân tạo. Đề tài được triển khai thực nghiệm tại một tổ chức giáo dục quy mô lớn ở Thành phố Hồ Chí Minh trong mốc thời gian từ tháng 2 năm 2020 đến tháng 1 năm 2021. Khảo sát trên bộ dữ liệu gồm 1.664 câu hỏi thực tế được phân định thành 5 cấp độ từ Foundation đến trên 90 điểm TOEFL, hệ thống mang lại giải pháp công nghệ toàn diện giúp chuẩn hóa chất lượng khảo thí, giảm thiểu hơn 50% thời gian lao động thủ công của giáo viên và đảm bảo tính nhất quán tuyệt đối cho ngân hàng đề thi.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu tích hợp các nền tảng lý thuyết tiên tiến trong xử lý ngôn ngữ tự nhiên cùng các chỉ số trắc lượng văn bản học thuật kinh điển. Trọng tâm là mô hình ngôn ngữ BERT (Bidirectional Encoder Representations from Transformers) với cơ chế Attention đa tầng, cho phép học biểu diễn ngữ cảnh hai chiều của từ ngữ thay vì xử lý tuần tự một chiều. So với các phương pháp biểu diễn dựa trên tần suất như BoW, TF-IDF hay các mô hình dự đoán Word2Vec, Doc2Vec và FastText, mô hình BERT tạo ra không gian véctơ 512 chiều có khả năng lưu giữ trọn vẹn ngữ nghĩa, ngữ cảnh và vị trí của từng từ trong câu văn.

Bên cạnh mô hình học sâu, nghiên cứu ứng dụng công thức đo độ dễ đọc Flesch Reading Ease nhằm kiểm soát độ phức tạp của bài đọc thông qua độ dài câu trung bình và số âm tiết trung bình trên mỗi từ. Ngưỡng điểm Flesch dưới 70 được thiết lập làm điều kiện tiên quyết để đảm bảo ngữ liệu đạt độ khó học thuật. Ngoài ra, lý thuyết đo độ tương đồng ngữ nghĩa bằng hệ số Cosine trong không gian véctơ được vận dụng để định lượng mối quan hệ giữa 3 phương án gây nhiễu và đáp án đúng, giúp ngăn ngừa tình trạng câu hỏi bị lộ đáp án do các phương án sai quá khác biệt hoặc quá vô lý.

Phương pháp nghiên cứu

Tập dữ liệu thực nghiệm gồm 1.664 câu hỏi đọc hiểu TOEFL hoàn chỉnh được thu thập từ nguồn tài liệu giảng dạy và biên soạn nội bộ tại Thành phố Hồ Chí Minh. Toàn bộ câu hỏi được thẩm định bởi hội đồng chuyên môn và gán nhãn thành 5 cấp độ: Foundation với 520 câu, TOEFL 60 với 518 câu, TOEFL 70 với 378 câu, TOEFL 80 với 153 câu và TOEFL từ 90 trở lên với 95 câu. Phương pháp chọn mẫu phân tầng ngẫu nhiên được áp dụng để chia dữ liệu theo tỷ lệ 60% cho tập huấn luyện (998 mẫu), 20% cho tập kiểm tra (333 mẫu) và 20% cho tập xác thực chéo (333 mẫu), đảm bảo giữ nguyên tỷ lệ phân bố giữa các cấp độ trong mọi phân vùng.

Lý do lựa chọn phương pháp tinh chỉnh mô hình ngôn ngữ BERT kết hợp mạng nơ-ron đa tầng xuất phát từ khả năng tận dụng tri thức từ mô hình đã được tiền huấn luyện trên 11.038 cuốn sách và toàn bộ kho dữ liệu Wikipedia tiếng Anh. Tác giả bổ sung kiến trúc phân loại gồm 2 lớp Dense tuần tự với 64 và 32 nơ-ron kích hoạt bằng hàm ReLU, xen kẽ 2 lớp Dropout tỷ lệ 0.2 nhằm chống hiện tượng quá khớp, và kết thúc bằng lớp Softmax 5 đầu ra. Toàn bộ quá trình từ thu thập dữ liệu, huấn luyện đến đánh giá thực nghiệm diễn ra xuyên suốt trong chu kỳ 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện và kiểm thử trên 1.664 câu hỏi đã mang lại nhiều phát hiện quan trọng về hiệu năng của hệ thống tự động. Thứ nhất, mô hình BERT tinh chỉnh đạt độ chính xác 59.0% trên tập dữ liệu kiểm tra và 60.0% trên tập dữ liệu xác thực chéo. Đây là kết quả khả quan cho một bài toán phân loại 5 lớp với ranh giới trình độ ngôn ngữ rất hẹp giữa các cấp điểm TOEFL liền kề. Thứ hai, thuật toán kiểm tra độ tương đồng ngữ nghĩa xác lập khoảng giá trị Cosine tối ưu từ -0.1 đến 0.9 giữa đáp án đúng và các phương án sai, giúp loại bỏ triệt để các câu hỏi có phương án gây nhiễu kém chất lượng.

Thứ ba, phân tích phân bố dữ liệu cho thấy sự chênh lệch lớn giữa các cấp độ, trong đó nhóm sơ cấp và trung cấp chiếm tới 62.38% tổng số mẫu (Foundation chiếm 31.25% và TOEFL 60 chiếm 31.13%), trong khi nhóm nâng cao TOEFL 90 trở lên chỉ chiếm 5.71% tương đương 95 mẫu. Thứ tư, bộ lọc tính dễ đọc Flesch Reading Ease đã từ chối thành công 100% các đoạn văn có điểm số từ 70 trở lên, ngăn chặn hoàn toàn việc đưa các đoạn văn quá đơn giản vào ngân hàng đề thi đọc hiểu học thuật.

Thảo luận kết quả

Nguyên nhân chính khiến độ chính xác của mô hình đạt mức khoảng 60% bắt nguồn từ sự mất cân bằng dữ liệu giữa các lớp, khi số lượng câu hỏi cấp độ TOEFL 90 trở lên thấp hơn 5.4 lần so với cấp độ Foundation. Khi phân tích ma trận nhầm lẫn 5x5, phần lớn các trường hợp dự đoán chưa chính xác đều rơi vào các cấp độ tiếp giáp như giữa TOEFL 60 và TOEFL 70, phản ánh sự giao thoa tự nhiên trong thang đo năng lực ngôn ngữ.

So sánh với các nghiên cứu trước, công trình của Babak Loni năm 2011 đạt độ chính xác 93.8% và nghiên cứu của Alami Hamza năm 2019 đạt 90.7%. Tuy nhiên, các nghiên cứu này chỉ áp dụng trên bài toán phân loại câu hỏi nhị phân hoặc dựa hoàn toàn vào tập luật ngữ pháp cố định, khiến hệ thống gặp khó khăn khi mở rộng sang ngữ liệu mới. Ngược lại, mô hình dựa trên BERT trong luận văn này nắm bắt linh hoạt ngữ cảnh hai chiều mà không cần xây dựng bộ luật thủ công. Trong thực tế triển khai, hiệu năng mô hình có thể được trực quan hóa sinh động thông qua biểu đồ đường suy giảm hàm mất mát qua 50 chu kỳ huấn luyện và biểu đồ cột so sánh sai số giữa các lớp.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu quả ứng dụng và mở rộng hệ thống trong thực tiễn, luận văn đưa ra 4 giải pháp trọng tâm:

Thứ nhất, mở rộng ngân hàng dữ liệu huấn luyện bằng cách thu thập và biên soạn bổ sung tối thiểu 500 mẫu câu hỏi cho mỗi cấp độ TOEFL 80 và TOEFL 90 trở lên. Mục tiêu là nâng tỷ lệ cân bằng mẫu giữa các lớp lên trên 75%, giúp mô hình học sâu nhận diện chính xác các cấu trúc từ vựng phức tạp, thực hiện trong vòng 6 tháng bởi phòng ban học thuật.

Thứ hai, nâng cấp kiến trúc mô hình ngôn ngữ sang các biến thể Transformer tân tiến như RoBERTa hoặc DeBERTa. Mục tiêu là nâng độ chính xác phân loại tổng thể lên trên 75% trong lộ trình 9 tháng, do nhóm kỹ sư trí tuệ nhân tạo đảm nhiệm.

Thứ ba, chuẩn hóa quy trình kiểm tra sơ bộ tự động bằng cách tích hợp công cụ kiểm tra ngữ pháp cùng bộ lọc Flesch Reading Ease vào phần mềm nội bộ. Giải pháp này giúp cắt giảm ít nhất 40% thời gian biên tập ban đầu của giáo viên ngay trong quý tới.

Thứ tư, triển khai vận hành thử nghiệm hệ thống tại 10 chi nhánh trung tâm đào tạo theo mô hình có con người tham gia đánh giá vòng lặp. Đội ngũ quản lý chất lượng sẽ thu thập phản hồi định kỳ từ hơn 50 giáo viên chuyên môn trong 12 tháng để liên tục tối ưu hóa trọng số mô hình.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang lại giá trị học thuật và ứng dụng thực tiễn sâu sắc cho 4 nhóm đối tượng chính:

1. Chuyên viên khảo thí và phát triển học liệu tại các tổ chức giáo dục: Nắm vững phương pháp tự động hóa đánh giá câu hỏi thi, giúp tiết kiệm hơn 50% thời gian thẩm định ngân hàng đề thi định kỳ.
2. Kỹ sư và nhà nghiên cứu xử lý ngôn ngữ tự nhiên: Khảo cứu quy trình tinh chỉnh mô hình ngôn ngữ lớn BERT trên tập ngữ liệu chuyên ngành quy mô 1.664 mẫu cho bài toán phân loại đa lớp.
3. Cán bộ quản lý và lãnh đạo các trung tâm ngoại ngữ: Tiếp cận giải pháp chuyển đổi số trong kiểm định học thuật, tối ưu hóa chi phí vận hành hội đồng chuyên môn lên tới 35% mỗi năm.
4. Giảng viên và học viên cao học ngành Hệ thống thông tin và Khoa học máy tính: Sử dụng luận văn làm tài liệu tham khảo chất lượng cao về sự kết hợp giữa ngôn ngữ học tính toán và mạng nơ-ron nhân tạo.

Câu hỏi thường gặp

Tại sao hệ thống lại sử dụng BERT thay vì các phương pháp truyền thống như BoW hay TF-IDF?

Mô hình BERT sử dụng cơ chế Transformer hai chiều, cho phép nắm bắt ngữ cảnh toàn diện của câu và đoạn văn bản trong không gian 512 chiều. Các phương pháp cổ điển như BoW hay TF-IDF chỉ tạo ra véctơ tĩnh đếm tần suất và bỏ qua hoàn toàn cấu trúc ngữ nghĩa phức tạp của câu hỏi thi học thuật.

Công thức Flesch Reading Ease có vai trò gì trong việc sàng lọc bài đọc?

Công thức Flesch tính toán độ dễ đọc dựa trên độ dài câu và số âm tiết trung bình. Hệ thống thiết lập ngưỡng điểm dưới 70 để tự động loại bỏ các đoạn văn quá đơn giản, đảm bảo toàn bộ ngữ liệu đầu vào đều đạt tiêu chuẩn học thuật tương đương trình độ trung học và đại học.

Ý nghĩa của dải giá trị tương đồng Cosine từ -0.1 đến 0.9 giữa các đáp án là gì?

Giá trị Cosine đo lường khoảng cách ngữ nghĩa giữa đáp án đúng và 3 phương án gây nhiễu. Nếu hệ số vượt quá 0.9, đáp án sai quá giống đáp án đúng gây tranh cãi; nếu nhỏ hơn -0.1, đáp án sai quá tách biệt khiến thí sinh dễ dàng đoán đúng mà không cần đọc hiểu.

Kích thước 1.664 câu hỏi có đủ để huấn luyện mô hình học sâu BERT không?

Nhờ phương pháp học chuyển giao từ mô hình BERT đã được tiền huấn luyện trên 11.038 cuốn sách, tập dữ liệu 1.664 câu hỏi hoàn toàn đủ khả năng tinh chỉnh hiệu quả khi kết hợp với 2 lớp Dense và kỹ thuật Dropout chống hiện tượng quá khớp.

Hệ thống xử lý thế nào khi phát hiện lỗi chính tả hoặc ngữ pháp trong câu hỏi?

Hệ thống tích hợp thư viện phân tích ngôn ngữ tự nhiên để kiểm tra văn bản đầu vào. Khi phát hiện lỗi sai, giao diện sẽ hiển thị cảnh báo trực quan kèm theo mô tả chi tiết và đề xuất phương án chỉnh sửa cụ thể cho giáo viên trước khi phân loại cấp độ.

Kết luận

• Xây dựng thành công hệ thống tự động hóa đánh giá và phân loại câu hỏi đọc hiểu tiếng Anh theo 5 cấp độ chuẩn TOEFL.
• Ứng dụng đột phá mô hình ngôn ngữ BERT kết hợp công thức Flesch Reading Ease và độ đo tương đồng Cosine.
• Đạt độ chính xác 60.0% trên tập dữ liệu thực nghiệm 1.664 câu hỏi trong điều kiện ranh giới phân loại đa lớp phức tạp.
• Giúp các tổ chức giáo dục cắt giảm hơn 50% thời gian và chi phí vận hành thẩm định đề thi của hội đồng giáo viên.
• Mở ra hướng tiếp cận mới trong việc ứng dụng trí tuệ nhân tạo và học sâu vào công tác khảo thí ngôn ngữ tại Việt Nam.

Lộ trình phát triển trong 12 tháng tới sẽ tập trung mở rộng quy mô dữ liệu và nâng cấp mô hình lên kiến trúc DeBERTa. Các đơn vị giáo dục hãy chủ động nghiên cứu và ứng dụng giải pháp này để chuẩn hóa công tác khảo thí ngay hôm nay!

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI 1. Lý do chọn đề tài Công việc của phòng ban học thuật tại một trung tâm giảng dạy Anh ngữ ở Việt Nam gồm ba công việc chính: 1. Chọn lựa, điều chỉnh giáo trình phù hợp môi trường Việt Nam và định hướng của tổ chức. Tuyển dụng, đào tạo, quản lý giáo viên và tổ chức giảng dạy 3.

Đánh giá kết quả học tập và định hướng lộ trình học tập Đánh giá kết quả học tập được thực hiện trong suốt quá trình giảng dạy thông qua các bài tập trên lớp, bài tập ở nhà và các bài kiểm tra kiểm tra định kỳ. Bên cạnh việc sử dụng các nguồn bên ngoài, các trung tâm Anh ngữ còn thực hiện biên soạn bài tập, câu hỏi thi, bài thi để phù hợp với đặc trưng và định hướng phát triển riêng của tổ chức. Một trung tâm Anh ngữ xác định thế mạnh là mảng học thuật (du học) sẽ ưu tiên phát triển giáo trình, bài tập, câu hỏi thi, bài thi chuyên về học thuật. Điều này diễn ra tương tự đối với một trung tâm Anh ngữ xác định thế mạnh là mảng giao tiếp.

Một bài thi bao gồm nhiều câu hỏi thi, các câu hỏi thi thường được chia thành hai loại. Loại thứ nhất dùng để kiểm tra, đánh giá mức độ tiếp nhận, áp dụng kiến thức đã học. Loại thứ hai dùng để thử thách khả năng của học viên. Một bài thi tốt giúp đánh giá chính xác học viên và phản ánh mức độ tiến bộ của học viên.

Ngân hàng câu hỏi thi được xây dựng từ các nguồn bên ngoài cũng như nội bộ tự biên soạn. Đánh giá cấp độ câu hỏi thi để xây dựng một đề thi Anh ngữ là một công việc phức tạp đòi hỏi nhiều công sức, chi phí và thời gian. Công việc này đang được thực hiện thủ công và chất lượng công việc phụ thuộc vào kỹ năng, trình độ,… của hội đồng giáo viên. Các bước thực hiện đánh giá và phân loại cấp độ câu hỏi thi gồm 1.

Giáo viên thứ nhất và thứ hai thực hiện độc lập các bước: • Đánh giá mức độ dễ đọc của ngữ cảnh câu hỏi thi (đoạn văn) • Đánh giá từ vựng phù hợp cho cấp độ học viên. • Mức độ gây phân tâm giữa câu trả lời đúng và các câu trả lời sai (Ý nghĩa gần giống được đánh giá có mức độ phân tâm cao) Trang 2 • Đưa ra kết quả cấp độ phù hợp. Giáo viên thứ ba kiểm tra và đối chiếu kết quả của giáo viên thứ nhất và thứ hai. Khi không đồng thuận kết quả, câu hỏi thi được chuyển 03 trợ giảng (tutor) ở 3 cấp độ thực hiện nhận xét cấp độ của bài thi 3.

Giáo viên thứ ba tổng hợp thông tin và ra quyết định cuối cùng. Với mục tiêu giảm chi phí, thời gian và chất lượng công việc, đề tài luận văn này nghiên cứu, áp dụng phương pháp xử lý ngôn ngữ tự nhiên BERT và mạng nơ-ron nhân tạo, để xây dựng hệ thống đánh giá và xác định cấp độ của bài thi. Quy định phải có của một câu hỏi thi được lồng ghép trong hệ thống để đảm bảo tính tuân thủ. Hệ thống này giúp tăng tốc quá trình đánh giá, giảm bớt công việc cho hội đồng giáo viên.

Dựa trên kết quả đánh giá của hệ thống, hội đồng giáo viên lựa chọn sử dụng, kiểm tra, điều chỉnh bài thi nếu có cho phù hợp với mục tiêu xây dựng đề thi ban đầu. Mục tiêu nghiên cứu Đ tài s t p trung vào nghiên c u các ph ng pháp nhúng từ (word-embedding), phương pháp BERT, phương pháp phân loại văn bản (text-classification), phương pháp tính mức độ dễ đọc của văn bản và phương pháp tính mức độ tương đồng về mặt ngữ nghĩa. T đó, tác giả đ xu t m t cách ti p c n và ph ng h ng gi i quy t cho bài toán đánh giá và xác định cấp độ của bài thi. C th đ tài s nghiên c u vào ba v n đ sau: 1.

Phương pháp nhúng từ (word-embedding) và các biến thể để biểu diễn từ ngữ, câu văn và đoạn văn thành véc-tơ số thực trong khi vẫn giữ phần lớn ngữ nghĩa. Phương pháp đánh giá mức độ tương đồng về mặt ngữ nghĩa giữa hai đoạn văn bản (cụ thể là mức độ tương đồng ngữ nghĩa giữa ba câu trả lời sai với câu trả lời đúng) 3. Phương pháp phân loại sử dụng kỹ thuật học sâu. Các đ i t ng nghiên c u chính bao g m: 1.

Dữ liệu đầu vào gồm 1664 câu hỏi thi đã được hội đồng giáo viên phân chia cấp độ trong giai đoạn xây dựng hệ thống. Ki n th c chuyên môn c a ng i dùng, trong tr ng h p này là c a giáo viên và hội đồng giáo viên trong việc đánh giá kết quả của hệ thống. Phương pháp nhúng từ (word-embedding) 3. Ý nghĩa khoa học và thực tiễn Về mặt nghiên cứu khoa học, đề tài này có ý nghĩa phát triển và thúc đẩy các nghiên cứu, ứng dụng các kỹ thuật xử lý ngôn ngữ tự nhiên trong việc cải thiện chất lượng đào tạo Anh ngữ.

Bên c nh đó, đề tài c ng thúc đ y các nghiên c u k t h p gi a các l nh v c khác nhau nh xử lý ngôn ngữ tự nhiên, mạng nơ-ron và Anh ngữ học trong vi c gi i quy t các bài toán v chất lượng đào tạo, mà đó các h th ng t đ ng còn m t s h n ch nh t đ nh và phần lớn dựa vào hoạt động thủ công của con người. Về mặt thực tiễn, khi ứng dụng đề tài nghiên cứu này giúp tăng tốc quá trình đánh giá, giảm bớt công việc thủ công của con người và đưa ra đánh giá công bằng dựa trên các chỉ tiêu cụ thể. Đ i v i tác gi , đ tài này s giúp b n thân nghiên c u sâu h n v l nh v c xử lý ngôn ngữ tự nhiên, các công trình nghiên c u đã và đang đ c phát tri n, c ng nh xem xét các h n ch hi n có đ tìm ra cách ti p c n và h ng gi i quy t cho các bài toán đánh giá và xác định cấp độ của bài thi. Gi i h n đ tài Do ngu n l c có h n, nên ph m vi nghiên c u c a đ tài tr c m t t p trung vào vi c đ xu t và hi n th c m t hệ thống đánh giá phân loại câu hỏi thi thực hiện tự động thao tác đánh giá phân loại thủ công của giáo viên bằng cách dựa trên việc điều chỉnh một mô hình ngôn ngữ đã được đào tạo sẵn, kết hợp đào tạo bổ sung trên t p d li u của Yola.

C u trúc báo cáo N i dung c a lu n v n th c s này đ c chia làm 5 ch ng: • Ch ng 1: Gi i thi u đ tài, trình bày v nhu c u, khó kh n và thách th c c a vi c đánh giá xác định cấp độ của câu hỏi thi Anh ngữ, m c đích và ý ngh a c a vi c nghiên c u, gi i h n đ tài và c u trúc bài báo cáo. • Ch ng 2: C s lý thuy t, trình bày t ng quan v phương pháp đo lường mức độ dễ đọc của văn bản (text readability formula), phương pháp biểu diễn văn bản thành véc-tơ số thực (text vectorization), mô hình ngôn ngữ BERT, phương pháp phân loại văn bản (text classification), và phương pháp tính mức độ tương đồng về mặt ngữ nghĩa (semantic similarity). • Chương 3: Trình bày các nghiên cứu liên quan • Ch ng 4: Đ xu t thi t k và hi n th c nguyên m u, trình bày đ c t d li u đ u vào, thành ph n h th ng, thi t k giao di n. ự ậ ố ộ ấ ữ ệ ệ ệ ớ ư ư ư ộ ơ ơ ơ ữ ớ ề ạ ồ ệ ĩ ấ ủ ề ự ệ ơ ề ứ ầ ạ ả ớ ộ ự ở ậ ả ấ ệ ề ệ ố ớ ế ạ ệ ă ố ạ ế ệ ạ ự ế ề ế ạ ế ế ề ộ ẽ ĩ ế ạ ể ạ ư ấ ế ệ ị ư ấ ợ ả ự ổ ề ệ ề ứ ế ứ ũ ậ ề ầ ủ ẫ ư ứ ề ơ ư ẩ ớ ụ ư ă ợ ư ớ ơ ả ặ ở ề ắ ả ĩ ế ể ậ ữ ứ ứ ự ệ ũ ĩ ệ ế ủ ủ ầ ố ợ ư Trang 4 • Ch ng 5: Thí nghi m và k t qu , trình bày v thu th p d li u, thi t l p th c nghi m, đánh giá k t qu.

• Ch ng 6: K t lu n, trình bày k t qu các đóng góp c a đ tài, h n ch c a đ tài, h ng phát tri n trong t ng lai. ư ớ ư ư ơ ơ ệ ế ể ậ ế ệ ư ả ơ ế ế ả ả ề ủ ậ ề ữ ệ ạ ế ế ủ ậ ề ự Trang 5 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 1. Phương pháp đánh giá khả năng đọc của văn bản (Readability formula) Người đọc (khán giả) luôn là tâm điểm chú ý của người viết tài liệu, văn bản (tác giả). Để có thành công trong công việc, các tác giả phải đảm bảo rằng văn bản do họ viết phải dễ hiểu, dễ đọc và hấp dẫn đối với đối tượng người đọc mục tiêu.

Chúng ta có thể coi tính dễ đọc là thước đo khả năng tiếp cận của văn bản hoặc bố cục trang liên quan, cho biết văn bản sẽ tiếp cận với đối tượng người đọc nào hiệu quả. Trong bài báo “The Principles of Readability”, William H. Dubay (2004) [1] nhấn mạnh những phát hiện của các nghiên cứu về khả năng đọc viết cho thấy một số lượng lớn người sử dụng tài liệu kỹ thuật gặp khó khăn về khả năng đọc viết và phần lớn có mức đọc hiểu ở trình độ văn hóa thấp và trung bình. Điều này có nghĩa là các tài liệu kỹ thuật được viết cho đối tượng có trình độ hiểu biết trên mức thấp và trung bình sẽ không đạt được một lượng lớn người đọc.

Tác giả có thể đánh giá tính dễ đọc của văn bản bằng cách áp dụng lý thuyết và công thức dễ đọc. Những công thức này cung cấp điểm số cho biết một người cần bao nhiêu năm học để có thể hiểu được một văn bản viết.