Luận văn thạc sĩ về ứng dụng học sâu trong chấm điểm tự động bài luận tiếng Anh

• Tác giả: Nguyễn Gia Thịnh
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại Học Quốc Gia Tp.Hcm
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Ứng Dụng Học Sâu Vào Bài Toán Chấm Điểm Tự Động Bài Luận Tiếng Anh
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Tp. Hồ Chí Minh

• LỜI CÁM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT OF DISSERTATION
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu đề tài
• 1.2. Mô tả bài toán chấm điểm bài luận tiếng Anh tự động
• 1.3. Mục tiêu và nhiệm vụ của luận văn
• 1.4. Giới hạn đề tài
• 1.5. Đóng góp của luận văn
• 1.6. Tóm tắt nội dung
• 2. CHƯƠNG 2: CƠ SỞ KIẾN THỨC
• 2.1. Bộ nhúng từ (Word Embedding)
• 2.2. Cơ chế Attention và mô hình Transformer
• 2.3. Mô hình Transformer
• 2.4. Các mô hình ngôn ngữ sử dụng Transformer
• 2.5. Kĩ thuật tinh chỉnh prompt (Prompt-tuning)
• 3. CHƯƠNG 3: CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 3.1. Tổng quan các hệ thống AES
• 3.2. Các hướng tiếp cận của bài toán
• 3.3. Hướng tiếp cận prompt-specific
• 3.4. Hướng tiếp cận cross-prompt
• 3.5. Tóm tắt công trình nghiên cứu liên quan
• 4. CHƯƠNG 4: MÔ HÌNH ĐỀ XUẤT
• 4.1. Phương pháp đánh giá
• 4.2. Tập dữ liệu đánh giá
• 4.3. Đề xuất 1: Kết hợp mô hình ngôn ngữ BERT và mô hình tham khảo
• 4.3.1. Động lực và ý tưởng
• 4.3.2. Mô tả mô hình
• 4.3.3. Tham số cấu hình của mô hình
• 4.3.4. Kết quả thực nghiệm
• 4.4. Đề xuất 2: Xây dựng mô hình mới sử dụng mô hình ngôn ngữ BERT và kĩ thuật Prompt-tuning
• 4.4.1. Động lực và ý tưởng
• 4.4.2. Mô tả mô hình
• 4.4.3. Tham số cấu hình của mô hình
• 4.4.4. Kết quả thực nghiệm
• 5. CHƯƠNG 5: KẾT LUẬN
• Tài liệu tham khảo

I. Giới thiệu đề tài

Trong bối cảnh hiện đại, học sâu đã trở thành một trong những công nghệ tiên tiến nhất trong lĩnh vực giáo dục, đặc biệt là trong việc chấm điểm tự động cho bài luận tiếng Anh. Nhu cầu đánh giá trình độ tiếng Anh đang tăng cao, nhất là trong các kỳ thi quốc tế như IELTS và TOEFL. Việc chấm điểm tự động giúp tiết kiệm thời gian và nguồn lực cho giáo viên, đồng thời cung cấp phản hồi nhanh chóng cho học sinh. Bài toán này không chỉ đơn thuần là đưa ra một điểm số tổng quát mà còn cần phải phân tích các thành phần khác nhau của bài viết như nội dung, ngôn từ và cấu trúc. Các phương pháp truyền thống thường gặp khó khăn trong việc đánh giá chính xác các yếu tố này, do đó, việc ứng dụng trí tuệ nhân tạo và machine learning là rất cần thiết.

1.1 Mô tả bài toán chấm điểm bài luận tiếng Anh tự động

Bài toán chấm điểm tự động cho bài luận tiếng Anh có thể được mô tả qua một mô hình tổng quát, trong đó đầu vào là một đoạn văn và đầu ra là điểm số cho bài luận. Mô hình cần phải xử lý nhiều yếu tố như độ dài từ, số lượng từ đặc biệt và tỷ lệ từ dừng. Việc sử dụng các mô hình học sâu như BERT cho phép mô hình hiểu ngữ nghĩa và ngữ cảnh của văn bản một cách sâu sắc hơn. Điều này giúp cải thiện độ chính xác trong việc đánh giá, từ đó mang lại kết quả đáng tin cậy hơn cho người dùng. Các nghiên cứu trước đây đã chỉ ra rằng việc kết hợp các đặc trưng trích xuất thủ công với mô hình ngôn ngữ hiện đại có thể nâng cao hiệu quả của hệ thống chấm điểm tự động.

II. Cơ sở kiến thức

Chương này trình bày các kiến thức cơ bản về học sâu và các mô hình ngôn ngữ hiện đại. Bộ nhúng từ (Word Embedding) và cơ chế Attention là những thành phần quan trọng trong việc xây dựng mô hình. Mô hình Transformer đã cách mạng hóa lĩnh vực xử lý ngôn ngữ tự nhiên, cho phép xử lý dữ liệu lớn và phức tạp một cách hiệu quả. Việc hiểu rõ về các kiến thức này là rất cần thiết để phát triển các mô hình chấm điểm tự động. Các kĩ thuật tinh chỉnh như Prompt tuning cũng được đề cập, cho phép tối ưu hóa các mô hình ngôn ngữ hiện có để đạt được kết quả tốt hơn trong các tác vụ cụ thể.

2.1 Các mô hình ngôn ngữ sử dụng Transformer

Các mô hình ngôn ngữ như BERT đã chứng minh được hiệu quả vượt trội trong nhiều tác vụ xử lý ngôn ngữ tự nhiên. BERT sử dụng kiến trúc Transformer để hiểu ngữ nghĩa của từ trong ngữ cảnh, từ đó cải thiện độ chính xác trong việc đánh giá bài viết. Việc áp dụng các mô hình này vào chấm điểm tự động không chỉ giúp đánh giá chính xác hơn mà còn có thể phân tích sâu sắc các thành phần khác nhau của bài luận. Các nghiên cứu gần đây đã chỉ ra rằng việc kết hợp các đặc trưng trích xuất từ mô hình BERT với thông tin từ các mô hình tham khảo có thể mang lại kết quả tốt hơn cho bài toán này.

III. Các công trình nghiên cứu liên quan

Chương này tổng hợp các công trình nghiên cứu trước đây liên quan đến chấm điểm tự động cho bài luận tiếng Anh. Các hướng tiếp cận khác nhau đã được đề xuất, từ các phương pháp truyền thống đến hiện đại, với sự hỗ trợ của học sâu. Những nghiên cứu này không chỉ cung cấp cái nhìn tổng quan về các phương pháp đã được áp dụng mà còn chỉ ra những hạn chế và thách thức mà các hệ thống hiện tại gặp phải. Việc hiểu rõ các công trình này giúp tạo nền tảng vững chắc cho việc phát triển các mô hình mới, từ đó cải thiện độ chính xác và hiệu quả của hệ thống chấm điểm tự động.

3.1 Hướng tiếp cận prompt specific

Hướng tiếp cận prompt-specific tập trung vào việc xây dựng các mô hình chấm điểm tự động dựa trên các câu hỏi hoặc chủ đề cụ thể. Điều này giúp mô hình có thể điều chỉnh và tối ưu hóa cho từng loại bài luận, từ đó cải thiện độ chính xác trong việc đánh giá. Các nghiên cứu đã chỉ ra rằng việc kết hợp các phương pháp truyền thống với các mô hình học sâu có thể mang lại kết quả tốt hơn. Hướng tiếp cận này không chỉ giúp cải thiện độ chính xác mà còn mở ra cơ hội cho việc phát triển các ứng dụng mới trong lĩnh vực giáo dục.

IV. Các mô hình đề xuất

Chương này mô tả cụ thể các mô hình đề xuất cho bài toán chấm điểm tự động. Hai đề xuất chính bao gồm việc tích hợp mô hình ngôn ngữ BERT với các đặc trưng trích xuất thủ công và xây dựng một mô hình mới sử dụng kỹ thuật Prompt tuning. Các kết quả thực nghiệm cho thấy rằng cả hai phương pháp đều có thể cải thiện độ chính xác của mô hình tham khảo. Việc sử dụng các mô hình học sâu không chỉ giúp cải thiện kết quả mà còn mang lại những hiểu biết mới về cách mà các yếu tố khác nhau trong bài viết ảnh hưởng đến điểm số.

4.1 Đề xuất 1 Kết hợp mô hình ngôn ngữ BERT

Đề xuất đầu tiên là kết hợp mô hình ngôn ngữ BERT với các đặc trưng trích xuất thủ công. Việc này cho phép mô hình không chỉ dựa vào thông tin ngữ nghĩa mà còn xem xét các yếu tố khác như độ dài từ và số lượng từ đặc biệt. Kết quả thực nghiệm cho thấy rằng mô hình này có thể cải thiện đáng kể độ chính xác so với các mô hình trước đó. Điều này chứng tỏ rằng việc kết hợp nhiều nguồn thông tin có thể mang lại kết quả tốt hơn trong việc chấm điểm tự động.

V. Kết luận

Luận văn này đã chỉ ra rằng việc ứng dụng học sâu vào bài toán chấm điểm tự động cho bài luận tiếng Anh không chỉ khả thi mà còn cần thiết trong bối cảnh hiện đại. Những đề xuất cải tiến đã được thực hiện cho thấy tiềm năng của các mô hình học sâu trong việc nâng cao độ chính xác và hiệu quả của hệ thống chấm điểm. Các kết quả thực nghiệm đã cung cấp những cái nhìn sâu sắc về cách mà các yếu tố khác nhau ảnh hưởng đến điểm số của bài viết. Tương lai của nghiên cứu này có thể mở rộng ra nhiều lĩnh vực khác trong giáo dục, từ việc phát triển các công cụ hỗ trợ học tập đến việc cải thiện quy trình đánh giá trong các kỳ thi quốc tế.

Tổng quan nghiên cứu

Chấm điểm tự động bài luận tiếng Anh là một bài toán quan trọng trong lĩnh vực giáo dục và xử lý ngôn ngữ tự nhiên (NLP). Theo ước tính, nhu cầu đánh giá kỹ năng viết tiếng Anh ngày càng tăng do vai trò của tiếng Anh như ngôn ngữ quốc tế phổ biến nhất, phục vụ học thuật và công việc. Việc chấm điểm thủ công đòi hỏi nhiều thời gian và công sức từ giảng viên, đặc biệt khi số lượng học viên lớn. Do đó, phát triển các hệ thống chấm điểm tự động (Automated Essay Scoring - AES) giúp rút ngắn thời gian đánh giá, cung cấp phản hồi nhanh chóng và hỗ trợ người học cải thiện kỹ năng viết.

Luận văn tập trung nghiên cứu bài toán chấm điểm tự động bài luận tiếng Anh theo hướng chấm điểm chéo chủ đề (cross-prompt) và đa thành phần (multiple traits), nhằm nâng cao tính linh hoạt và độ chính xác của hệ thống. Mục tiêu cụ thể là ứng dụng các mô hình học sâu, đặc biệt là mô hình ngôn ngữ BERT và kỹ thuật tinh chỉnh prompt (prompt tuning), để cải thiện hiệu quả chấm điểm so với các mô hình tham khảo hiện có. Nghiên cứu sử dụng tập dữ liệu phổ biến ASAP-AES, với thang điểm chi tiết cho từng thành phần bài luận, thực hiện trong khoảng thời gian từ tháng 2 đến tháng 6 năm 2023 tại Trường Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh.

Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao độ chính xác của hệ thống AES, giúp giảm tải công việc chấm điểm thủ công, đồng thời cung cấp các điểm thành phần chi tiết hỗ trợ người học và giảng viên trong quá trình đánh giá và cải thiện kỹ năng viết tiếng Anh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình học sâu trong xử lý ngôn ngữ tự nhiên, bao gồm:

• Mô hình ngôn ngữ BERT (Bidirectional Encoder Representations from Transformers): Sử dụng kiến trúc Transformer với cơ chế self-attention, BERT cho phép mã hóa ngữ cảnh hai chiều của từ trong câu, giúp biểu diễn ngữ nghĩa và cú pháp chính xác hơn. BERT được huấn luyện qua hai giai đoạn: pre-training trên tập dữ liệu lớn và fine-tuning cho các tác vụ cụ thể.

• Kỹ thuật tinh chỉnh prompt (Prompt tuning): Là phương pháp tinh chỉnh nhẹ (lightweight fine-tuning) mô hình ngôn ngữ lớn bằng cách học các embedding cho prompt liên tục (continuous prompt), giúp tận dụng tri thức của mô hình đã được tiền huấn luyện mà không cần điều chỉnh toàn bộ tham số. Các kỹ thuật con như P-tuning và Prefix Tuning được áp dụng để tối ưu hóa hiệu quả và giảm chi phí tính toán.

• Các khái niệm chính:

  • Cross-prompt scoring: Chấm điểm bài luận thuộc các chủ đề khác nhau so với dữ liệu huấn luyện, tăng tính linh hoạt của mô hình.
  • Multiple trait scoring: Đánh giá bài luận theo nhiều điểm thành phần như nội dung, ngôn từ, tường thuật, thay vì chỉ điểm tổng thể.
  • Word embedding: Biểu diễn từ dưới dạng vector số, bao gồm các kỹ thuật như Word2Vec, GloVe, giúp mô hình học sâu hiểu được ngữ nghĩa và ngữ cảnh của từ.

Phương pháp nghiên cứu

Nghiên cứu sử dụng tập dữ liệu ASAP-AES, một bộ dữ liệu chuẩn trong bài toán chấm điểm tự động bài luận tiếng Anh, bao gồm nhiều chủ đề (prompt) và điểm thành phần với thang điểm từ 0 đến 4. Cỡ mẫu dữ liệu đủ lớn để huấn luyện và đánh giá mô hình.

Phương pháp phân tích gồm:

• Xây dựng mô hình tham khảo (baseline): Sử dụng mô hình CTS (Cross-prompt Trait Scoring) hiện có, kết hợp các đặc trưng thủ công và học sâu.

• Đề xuất 1: Kết hợp mô hình ngôn ngữ BERT với các đặc trưng thủ công và thông tin gán nhãn phân loại từ loại (part-of-speech) để dự đoán điểm thành phần chi tiết.

• Đề xuất 2: Xây dựng mô hình mới sử dụng kỹ thuật Prompt tuning để tinh chỉnh BERT, tận dụng sức mạnh của mô hình ngôn ngữ lớn nhằm cải thiện hiệu quả chấm điểm chéo chủ đề.

Quá trình nghiên cứu được thực hiện trong khoảng 4 tháng, từ tháng 2 đến tháng 6 năm 2023, với các bước: thu thập và xử lý dữ liệu, xây dựng mô hình, huấn luyện, đánh giá và so sánh kết quả dựa trên chỉ số QWK (Quadratic Weighted Kappa) – một thước đo độ tương đồng giữa điểm dự đoán và điểm thực tế.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Mô hình CTS-BERT cải thiện độ chính xác so với mô hình tham khảo CTS:
   Kết quả thực nghiệm cho thấy mô hình CTS-BERT đạt QWK trung bình cao hơn khoảng 5-7% trên 8 prompt so với mô hình CTS, chứng tỏ việc kết hợp BERT với đặc trưng thủ công giúp mô hình hiểu sâu hơn về ngữ cảnh và cấu trúc bài luận.

2. Mô hình CTS-Prompt sử dụng kỹ thuật Prompt tuning vượt trội trong chấm điểm chéo chủ đề:
   Mô hình này đạt QWK trung bình cao hơn khoảng 8-10% so với mô hình tham khảo CTS, đặc biệt hiệu quả với các prompt chưa xuất hiện trong dữ liệu huấn luyện, thể hiện khả năng tổng quát hóa tốt hơn.

3. Đánh giá đa thành phần giúp cung cấp thông tin chi tiết hơn:
   Các điểm thành phần như nội dung, ngôn từ, tường thuật được dự đoán với độ chính xác cao, QWK trung bình đạt trên 0.7, trong khi điểm tổng thể cũng được cải thiện đáng kể. Điều này hỗ trợ việc phản hồi chi tiết cho người học.

4. So sánh với các nghiên cứu trước:
   Kết quả phù hợp với xu hướng ứng dụng mô hình ngôn ngữ lớn và kỹ thuật tinh chỉnh prompt trong NLP, đồng thời vượt trội hơn các phương pháp truyền thống chỉ dựa vào đặc trưng thủ công hoặc mô hình học sâu đơn thuần.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện là do mô hình BERT có khả năng mã hóa ngữ cảnh hai chiều, giúp hiểu sâu sắc hơn về cấu trúc và ý nghĩa của bài luận. Việc kết hợp các đặc trưng thủ công như độ dài từ, tỉ lệ từ dừng và thông tin POS-tagging bổ sung thêm các tín hiệu quan trọng cho mô hình.

Kỹ thuật Prompt tuning giúp mô hình thích ứng nhanh với các chủ đề mới mà không cần huấn luyện lại toàn bộ mô hình, giảm chi phí tính toán và tăng khả năng mở rộng. Các biểu đồ so sánh QWK giữa các mô hình trên từng prompt thể hiện rõ sự vượt trội của các đề xuất, đồng thời bảng kết quả chi tiết cho từng điểm thành phần minh chứng tính hiệu quả của phương pháp.

Kết quả nghiên cứu có ý nghĩa thực tiễn lớn trong việc phát triển các hệ thống AES linh hoạt, chính xác và có khả năng cung cấp phản hồi chi tiết, hỗ trợ người học và giảng viên trong quá trình đánh giá kỹ năng viết tiếng Anh.

Đề xuất và khuyến nghị

1. Triển khai mô hình CTS-Prompt trong các hệ thống chấm điểm tự động:
   Áp dụng kỹ thuật Prompt tuning để tinh chỉnh mô hình BERT, nhằm nâng cao độ chính xác chấm điểm chéo chủ đề, đặc biệt trong các trung tâm giáo dục có đa dạng chủ đề bài luận. Thời gian triển khai dự kiến 3-6 tháng, do bộ phận phát triển AI thực hiện.

2. Phát triển giao diện phản hồi chi tiết dựa trên điểm thành phần:
   Cung cấp cho người học và giảng viên các báo cáo chi tiết về nội dung, ngôn từ, tường thuật giúp cải thiện kỹ năng viết. Giải pháp này giúp tăng tính minh bạch và hỗ trợ học tập hiệu quả, thực hiện trong vòng 4 tháng bởi nhóm phát triển phần mềm giáo dục.

3. Mở rộng tập dữ liệu huấn luyện với đa dạng chủ đề và phong cách viết:
   Thu thập thêm dữ liệu bài luận từ nhiều nguồn khác nhau để tăng khả năng tổng quát hóa của mô hình, giảm thiểu sai số khi áp dụng thực tế. Dự kiến thực hiện trong 6-12 tháng, phối hợp với các trường học và tổ chức giáo dục.

4. Đào tạo và nâng cao nhận thức cho giảng viên về công nghệ AES:
   Tổ chức các khóa đào tạo giúp giảng viên hiểu và sử dụng hiệu quả các hệ thống chấm điểm tự động, đồng thời phối hợp đánh giá và cải tiến mô hình. Thời gian đào tạo 1-2 tháng, do phòng đào tạo và phát triển nhân sự đảm nhiệm.

Đối tượng nên tham khảo luận văn

1. Giảng viên và nhà quản lý giáo dục:
   Hỗ trợ trong việc áp dụng công nghệ chấm điểm tự động, giảm tải công việc chấm điểm thủ công, nâng cao hiệu quả đánh giá và phản hồi học sinh.

2. Nhà nghiên cứu và phát triển AI trong giáo dục:
   Cung cấp cơ sở lý thuyết và phương pháp ứng dụng học sâu, kỹ thuật prompt tuning trong bài toán AES, làm nền tảng cho các nghiên cứu tiếp theo.

3. Các trung tâm luyện thi tiếng Anh:
   Giúp xây dựng hệ thống chấm điểm tự động đa chủ đề, cung cấp phản hồi chi tiết cho học viên, nâng cao chất lượng đào tạo và trải nghiệm học tập.

4. Nhà phát triển phần mềm giáo dục:
   Tham khảo kiến trúc mô hình và kỹ thuật tinh chỉnh để phát triển các sản phẩm chấm điểm tự động chính xác, linh hoạt và dễ mở rộng.

Câu hỏi thường gặp

1. Chấm điểm tự động bài luận tiếng Anh có chính xác không?
   Các mô hình học sâu hiện đại như BERT kết hợp kỹ thuật prompt tuning đã cải thiện đáng kể độ chính xác, với chỉ số QWK trung bình trên 0.7, gần tương đương với điểm chấm của giảng viên có kinh nghiệm.

2. Mô hình có thể áp dụng cho các chủ đề bài luận khác nhau không?
   Kỹ thuật cross-prompt scoring giúp mô hình chấm điểm hiệu quả trên nhiều chủ đề khác nhau, đặc biệt khi sử dụng prompt tuning để tinh chỉnh mô hình cho các chủ đề mới.

3. Điểm thành phần trong bài luận được đánh giá như thế nào?
   Mô hình dự đoán các điểm thành phần như nội dung, ngôn từ, tường thuật dựa trên dữ liệu huấn luyện có thang điểm chi tiết, giúp cung cấp phản hồi cụ thể hơn so với chỉ điểm tổng thể.

4. Prompt tuning có ưu điểm gì so với fine-tuning truyền thống?
   Prompt tuning chỉ tinh chỉnh một phần nhỏ tham số liên quan đến prompt, giảm chi phí tính toán, giữ nguyên tri thức đã học của mô hình, và cải thiện hiệu quả trên tập dữ liệu nhỏ hoặc chủ đề mới.

5. Làm thế nào để triển khai mô hình này trong thực tế?
   Cần chuẩn bị dữ liệu bài luận đa dạng, xây dựng pipeline huấn luyện và tinh chỉnh mô hình, đồng thời phát triển giao diện người dùng để cung cấp điểm số và phản hồi chi tiết cho học viên và giảng viên.

Kết luận

• Luận văn đã nghiên cứu và ứng dụng thành công mô hình ngôn ngữ BERT kết hợp kỹ thuật prompt tuning vào bài toán chấm điểm tự động bài luận tiếng Anh, nâng cao độ chính xác và tính linh hoạt của hệ thống.

• Hai đề xuất chính gồm tích hợp BERT với đặc trưng thủ công và xây dựng mô hình mới sử dụng prompt tuning đều cho kết quả vượt trội so với mô hình tham khảo.

• Nghiên cứu tập trung vào chấm điểm chéo chủ đề và đa thành phần, giúp cung cấp phản hồi chi tiết và phù hợp với thực tế đa dạng của bài luận tiếng Anh.

• Kết quả thực nghiệm dựa trên tập dữ liệu ASAP-AES với chỉ số QWK cải thiện từ 5-10%, minh chứng hiệu quả của phương pháp.

• Các bước tiếp theo bao gồm triển khai mô hình trong môi trường thực tế, mở rộng dữ liệu huấn luyện và phát triển giao diện phản hồi chi tiết nhằm hỗ trợ người học và giảng viên. Đề nghị các tổ chức giáo dục và nhà phát triển phần mềm quan tâm ứng dụng nghiên cứu này để nâng cao chất lượng đánh giá kỹ năng viết tiếng Anh.