Luận văn thạc sĩ về hệ thống thông tin quản lý đánh giá kỹ năng đọc tiếng Anh

Luận văn thạc sĩ trình bày hệ thống đánh giá và phân loại bài thi anh ngữ kỹ năng đọc sử dụng phương pháp nhúng từ và mạng lưới thần kinh nhân tạo.

• Tác giả: Đỗ Thiếc Nha
• Người hướng dẫn: PGS. TS Đặng Trần Khánh
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Hệ thống thông tin quản lý
• Đề tài: Hệ Thống Đánh Giá Bài Thi Anh Ngữ Kỹ Năng Đọc Bằng Mạng Lưới Thần Kinh
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Tp. Hồ Chí Minh

Tóm tắt

I. Giới thiệu đề tài

Đề tài nghiên cứu này tập trung vào việc xây dựng hệ thống đánh giá và phân loại bài thi tiếng Anh kỹ năng đọc. Việc đánh giá bài thi hiện tại thường được thực hiện thủ công, phụ thuộc vào kỹ năng và trình độ của giáo viên. Để cải thiện quy trình này, tác giả đề xuất áp dụng công nghệ giáo dục hiện đại thông qua việc sử dụng mạng lưới thần kinh và phương pháp nhúng từ. Mục tiêu là giảm thời gian và công sức trong việc đánh giá, đồng thời nâng cao tính chính xác trong việc xác định cấp độ của câu hỏi thi. Hệ thống này không chỉ giúp giáo viên tiết kiệm thời gian mà còn đảm bảo tính công bằng trong đánh giá.

1.1. Lý do chọn đề tài

Việc đánh giá kết quả học tập trong một trung tâm giảng dạy tiếng Anh tại Việt Nam thường gặp nhiều khó khăn. Các giáo viên phải thực hiện nhiều bước để đánh giá và phân loại câu hỏi thi, từ việc đánh giá mức độ dễ đọc của ngữ cảnh cho đến việc kiểm tra tính chính xác của câu trả lời. Hệ thống đánh giá tự động sẽ giúp giảm bớt áp lực cho giáo viên và đảm bảo rằng mọi câu hỏi đều được đánh giá một cách công bằng và chính xác. Việc áp dụng công nghệ mới sẽ mang lại lợi ích lớn cho cả giáo viên và học viên.

II. Cơ sở lý thuyết

Phần này sẽ trình bày về các phương pháp cơ bản trong việc đánh giá khả năng đọc của văn bản, bao gồm phương pháp đánh giá khả năng đọc (Readability formula) và phương pháp biểu diễn văn bản thành véc-tơ số (Text vectorization). Mô hình BERT (Bidirectional Encoder Representations from Transformers) được giới thiệu như một công cụ mạnh mẽ trong việc xử lý ngôn ngữ tự nhiên, giúp đánh giá mức độ tương đồng về mặt ngữ nghĩa giữa các đoạn văn bản. Việc áp dụng các phương pháp này sẽ tạo nền tảng vững chắc cho việc phát triển hệ thống đánh giá tự động.

2.1. Phương pháp nhúng từ

Phương pháp nhúng từ là một kỹ thuật quan trọng trong việc chuyển đổi từ ngữ thành các véc-tơ số thực, giúp giữ lại ý nghĩa ngữ nghĩa của từ. Bằng cách sử dụng các mô hình như Word2Vec hoặc GloVe, hệ thống có thể hiểu được mối quan hệ giữa các từ và ngữ cảnh của chúng. Việc áp dụng phương pháp này trong hệ thống đánh giá sẽ cho phép phân tích sâu hơn về ý nghĩa của các câu hỏi thi và giúp xác định mức độ khó dễ của chúng một cách chính xác hơn.

III. Các nghiên cứu liên quan

Nghiên cứu trong lĩnh vực phân loại văn bản đã được thực hiện rộng rãi với nhiều phương pháp khác nhau như Machine Learning và Deep Learning. Các nghiên cứu này cung cấp cái nhìn sâu sắc về cách thức mà các mô hình có thể được huấn luyện để phân loại văn bản dựa trên các đặc trưng ngữ nghĩa. Việc áp dụng các kỹ thuật này trong hệ thống đánh giá bài thi sẽ giúp cải thiện độ chính xác của việc phân loại và đánh giá các câu hỏi thi. Một số nghiên cứu cũng đã chỉ ra rằng việc sử dụng mạng nơ-ron có thể mang lại kết quả tốt hơn so với các phương pháp truyền thống.

3.1. Phân loại văn bản dựa trên học sâu

Phân loại văn bản dựa trên học sâu sử dụng các mô hình như CNN, RNN và LSTM để phân tích dữ liệu văn bản. Những mô hình này có khả năng học từ các đặc trưng phức tạp trong dữ liệu và có thể cải thiện độ chính xác của việc phân loại. Việc áp dụng các mô hình này trong hệ thống đánh giá bài thi sẽ giúp tự động hóa quá trình phân loại và giảm bớt công việc cho giáo viên, đồng thời đảm bảo tính chính xác và công bằng trong việc đánh giá.

IV. Đề xuất và hiện thực nguyên mẫu

Trong phần này, tác giả sẽ trình bày về việc thiết kế và xây dựng hệ thống đánh giá và phân loại bài thi. Hệ thống sẽ được xây dựng dựa trên các phương pháp đã được nghiên cứu, bao gồm việc xác định dữ liệu đầu vào, các thành phần của hệ thống và phương pháp xây dựng mô hình ngôn ngữ. Việc thiết kế giao diện người dùng cũng sẽ được đề cập để đảm bảo rằng giáo viên có thể dễ dàng tương tác với hệ thống. Mục tiêu là tạo ra một công cụ hữu ích, giúp giáo viên trong việc đánh giá và phân loại bài thi một cách nhanh chóng và hiệu quả.

4.1. Đặc tả dữ liệu đầu vào

Dữ liệu đầu vào của hệ thống sẽ bao gồm các câu hỏi thi đã được phân loại bởi giáo viên. Mỗi câu hỏi sẽ được đánh giá về mức độ khó dễ, từ vựng phù hợp và tính chính xác của câu trả lời. Việc thu thập và xử lý dữ liệu đầu vào sẽ là bước quan trọng để đảm bảo rằng hệ thống có thể hoạt động hiệu quả và chính xác. Hệ thống sẽ sử dụng các thuật toán học máy để phân tích và đánh giá dữ liệu, từ đó đưa ra các kết quả đánh giá chính xác.

V. Thực nghiệm và kết quả

Phần này sẽ trình bày về quy trình thực nghiệm và kết quả thu được từ việc áp dụng hệ thống đánh giá. Các dữ liệu sẽ được thu thập từ các bài thi thực tế và được đánh giá bởi giáo viên để so sánh với kết quả của hệ thống. Việc phân tích kết quả sẽ giúp xác định độ chính xác của hệ thống và đưa ra các khuyến nghị cho việc cải tiến trong tương lai. Hệ thống sẽ được đánh giá dựa trên các tiêu chí như độ chính xác, tốc độ xử lý và tính thân thiện với người dùng.

5.1. Kết quả và thảo luận

Kết quả thu được từ thực nghiệm sẽ được phân tích để đánh giá hiệu quả của hệ thống. So sánh giữa kết quả đánh giá của hệ thống và đánh giá của giáo viên sẽ cho thấy mức độ chính xác của hệ thống. Những điểm mạnh và hạn chế của hệ thống cũng sẽ được thảo luận để tìm ra hướng cải tiến cho các phiên bản sau. Việc thu thập phản hồi từ giáo viên sẽ là một phần quan trọng trong quá trình hoàn thiện hệ thống.

VI. Kết luận

Luận văn này đã trình bày về việc xây dựng hệ thống đánh giá và phân loại bài thi tiếng Anh kỹ năng đọc dựa trên phương pháp nhúng từ và mạng lưới thần kinh nhân tạo. Hệ thống này không chỉ giúp cải thiện quy trình đánh giá mà còn nâng cao độ chính xác và công bằng trong việc phân loại các câu hỏi thi. Các kết quả nghiên cứu và thực nghiệm đã chỉ ra rằng việc áp dụng công nghệ mới trong giáo dục là một hướng đi đúng đắn. Tác giả cũng đưa ra các khuyến nghị cho việc phát triển hệ thống trong tương lai, nhằm đáp ứng tốt hơn nhu cầu của giáo viên và học viên.

6.1. Hạn chế và hướng phát triển trong tương lai

Mặc dù hệ thống đã đạt được những kết quả khả quan, vẫn còn nhiều hạn chế cần khắc phục. Việc mở rộng dữ liệu đầu vào và cải thiện thuật toán sẽ là những hướng đi quan trọng trong tương lai. Hệ thống cần được cập nhật thường xuyên để đảm bảo tính chính xác và hiệu quả trong việc đánh giá. Ngoài ra, việc nghiên cứu thêm về các phương pháp mới trong xử lý ngôn ngữ tự nhiên cũng sẽ giúp nâng cao chất lượng hệ thống.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI 1. Lý do chọn đề tài Công việc của phòng ban học thuật tại một trung tâm giảng dạy Anh ngữ ở Việt Nam gồm ba công việc chính: 1. Chọn lựa, điều chỉnh giáo trình phù hợp môi trường Việt Nam và định hướng của tổ chức. Tuyển dụng, đào tạo, quản lý giáo viên và tổ chức giảng dạy 3.

Đánh giá kết quả học tập và định hướng lộ trình học tập Đánh giá kết quả học tập được thực hiện trong suốt quá trình giảng dạy thông qua các bài tập trên lớp, bài tập ở nhà và các bài kiểm tra kiểm tra định kỳ. Bên cạnh việc sử dụng các nguồn bên ngoài, các trung tâm Anh ngữ còn thực hiện biên soạn bài tập, câu hỏi thi, bài thi để phù hợp với đặc trưng và định hướng phát triển riêng của tổ chức. Một trung tâm Anh ngữ xác định thế mạnh là mảng học thuật (du học) sẽ ưu tiên phát triển giáo trình, bài tập, câu hỏi thi, bài thi chuyên về học thuật. Điều này diễn ra tương tự đối với một trung tâm Anh ngữ xác định thế mạnh là mảng giao tiếp.

Một bài thi bao gồm nhiều câu hỏi thi, các câu hỏi thi thường được chia thành hai loại. Loại thứ nhất dùng để kiểm tra, đánh giá mức độ tiếp nhận, áp dụng kiến thức đã học. Loại thứ hai dùng để thử thách khả năng của học viên. Một bài thi tốt giúp đánh giá chính xác học viên và phản ánh mức độ tiến bộ của học viên.

Ngân hàng câu hỏi thi được xây dựng từ các nguồn bên ngoài cũng như nội bộ tự biên soạn. Đánh giá cấp độ câu hỏi thi để xây dựng một đề thi Anh ngữ là một công việc phức tạp đòi hỏi nhiều công sức, chi phí và thời gian. Công việc này đang được thực hiện thủ công và chất lượng công việc phụ thuộc vào kỹ năng, trình độ,… của hội đồng giáo viên. Các bước thực hiện đánh giá và phân loại cấp độ câu hỏi thi gồm 1.

Giáo viên thứ nhất và thứ hai thực hiện độc lập các bước: • Đánh giá mức độ dễ đọc của ngữ cảnh câu hỏi thi (đoạn văn) • Đánh giá từ vựng phù hợp cho cấp độ học viên. • Mức độ gây phân tâm giữa câu trả lời đúng và các câu trả lời sai (Ý nghĩa gần giống được đánh giá có mức độ phân tâm cao) Trang 2 • Đưa ra kết quả cấp độ phù hợp. Giáo viên thứ ba kiểm tra và đối chiếu kết quả của giáo viên thứ nhất và thứ hai. Khi không đồng thuận kết quả, câu hỏi thi được chuyển 03 trợ giảng (tutor) ở 3 cấp độ thực hiện nhận xét cấp độ của bài thi 3.

Giáo viên thứ ba tổng hợp thông tin và ra quyết định cuối cùng. Với mục tiêu giảm chi phí, thời gian và chất lượng công việc, đề tài luận văn này nghiên cứu, áp dụng phương pháp xử lý ngôn ngữ tự nhiên BERT và mạng nơ-ron nhân tạo, để xây dựng hệ thống đánh giá và xác định cấp độ của bài thi. Quy định phải có của một câu hỏi thi được lồng ghép trong hệ thống để đảm bảo tính tuân thủ. Hệ thống này giúp tăng tốc quá trình đánh giá, giảm bớt công việc cho hội đồng giáo viên.

Dựa trên kết quả đánh giá của hệ thống, hội đồng giáo viên lựa chọn sử dụng, kiểm tra, điều chỉnh bài thi nếu có cho phù hợp với mục tiêu xây dựng đề thi ban đầu. Mục tiêu nghiên cứu Đ tài s t p trung vào nghiên c u các ph ng pháp nhúng từ (word-embedding), phương pháp BERT, phương pháp phân loại văn bản (text-classification), phương pháp tính mức độ dễ đọc của văn bản và phương pháp tính mức độ tương đồng về mặt ngữ nghĩa. T đó, tác giả đ xu t m t cách ti p c n và ph ng h ng gi i quy t cho bài toán đánh giá và xác định cấp độ của bài thi. C th đ tài s nghiên c u vào ba v n đ sau: 1.

Phương pháp nhúng từ (word-embedding) và các biến thể để biểu diễn từ ngữ, câu văn và đoạn văn thành véc-tơ số thực trong khi vẫn giữ phần lớn ngữ nghĩa. Phương pháp đánh giá mức độ tương đồng về mặt ngữ nghĩa giữa hai đoạn văn bản (cụ thể là mức độ tương đồng ngữ nghĩa giữa ba câu trả lời sai với câu trả lời đúng) 3. Phương pháp phân loại sử dụng kỹ thuật học sâu. Các đ i t ng nghiên c u chính bao g m: 1.

Dữ liệu đầu vào gồm 1664 câu hỏi thi đã được hội đồng giáo viên phân chia cấp độ trong giai đoạn xây dựng hệ thống. Ki n th c chuyên môn c a ng i dùng, trong tr ng h p này là c a giáo viên và hội đồng giáo viên trong việc đánh giá kết quả của hệ thống. Phương pháp nhúng từ (word-embedding) 3. Ý nghĩa khoa học và thực tiễn Về mặt nghiên cứu khoa học, đề tài này có ý nghĩa phát triển và thúc đẩy các nghiên cứu, ứng dụng các kỹ thuật xử lý ngôn ngữ tự nhiên trong việc cải thiện chất lượng đào tạo Anh ngữ.

Bên c nh đó, đề tài c ng thúc đ y các nghiên c u k t h p gi a các l nh v c khác nhau nh xử lý ngôn ngữ tự nhiên, mạng nơ-ron và Anh ngữ học trong vi c gi i quy t các bài toán v chất lượng đào tạo, mà đó các h th ng t đ ng còn m t s h n ch nh t đ nh và phần lớn dựa vào hoạt động thủ công của con người. Về mặt thực tiễn, khi ứng dụng đề tài nghiên cứu này giúp tăng tốc quá trình đánh giá, giảm bớt công việc thủ công của con người và đưa ra đánh giá công bằng dựa trên các chỉ tiêu cụ thể. Đ i v i tác gi , đ tài này s giúp b n thân nghiên c u sâu h n v l nh v c xử lý ngôn ngữ tự nhiên, các công trình nghiên c u đã và đang đ c phát tri n, c ng nh xem xét các h n ch hi n có đ tìm ra cách ti p c n và h ng gi i quy t cho các bài toán đánh giá và xác định cấp độ của bài thi. Gi i h n đ tài Do ngu n l c có h n, nên ph m vi nghiên c u c a đ tài tr c m t t p trung vào vi c đ xu t và hi n th c m t hệ thống đánh giá phân loại câu hỏi thi thực hiện tự động thao tác đánh giá phân loại thủ công của giáo viên bằng cách dựa trên việc điều chỉnh một mô hình ngôn ngữ đã được đào tạo sẵn, kết hợp đào tạo bổ sung trên t p d li u của Yola.

C u trúc báo cáo N i dung c a lu n v n th c s này đ c chia làm 5 ch ng: • Ch ng 1: Gi i thi u đ tài, trình bày v nhu c u, khó kh n và thách th c c a vi c đánh giá xác định cấp độ của câu hỏi thi Anh ngữ, m c đích và ý ngh a c a vi c nghiên c u, gi i h n đ tài và c u trúc bài báo cáo. • Ch ng 2: C s lý thuy t, trình bày t ng quan v phương pháp đo lường mức độ dễ đọc của văn bản (text readability formula), phương pháp biểu diễn văn bản thành véc-tơ số thực (text vectorization), mô hình ngôn ngữ BERT, phương pháp phân loại văn bản (text classification), và phương pháp tính mức độ tương đồng về mặt ngữ nghĩa (semantic similarity). • Chương 3: Trình bày các nghiên cứu liên quan • Ch ng 4: Đ xu t thi t k và hi n th c nguyên m u, trình bày đ c t d li u đ u vào, thành ph n h th ng, thi t k giao di n. ự ậ ố ộ ấ ữ ệ ệ ệ ớ ư ư ư ộ ơ ơ ơ ữ ớ ề ạ ồ ệ ĩ ấ ủ ề ự ệ ơ ề ứ ầ ạ ả ớ ộ ự ở ậ ả ấ ệ ề ệ ố ớ ế ạ ệ ă ố ạ ế ệ ạ ự ế ề ế ạ ế ế ề ộ ẽ ĩ ế ạ ể ạ ư ấ ế ệ ị ư ấ ợ ả ự ổ ề ệ ề ứ ế ứ ũ ậ ề ầ ủ ẫ ư ứ ề ơ ư ẩ ớ ụ ư ă ợ ư ớ ơ ả ặ ở ề ắ ả ĩ ế ể ậ ữ ứ ứ ự ệ ũ ĩ ệ ế ủ ủ ầ ố ợ ư Trang 4 • Ch ng 5: Thí nghi m và k t qu , trình bày v thu th p d li u, thi t l p th c nghi m, đánh giá k t qu.

• Ch ng 6: K t lu n, trình bày k t qu các đóng góp c a đ tài, h n ch c a đ tài, h ng phát tri n trong t ng lai. ư ớ ư ư ơ ơ ệ ế ể ậ ế ệ ư ả ơ ế ế ả ả ề ủ ậ ề ữ ệ ạ ế ế ủ ậ ề ự Trang 5 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 1. Phương pháp đánh giá khả năng đọc của văn bản (Readability formula) Người đọc (khán giả) luôn là tâm điểm chú ý của người viết tài liệu, văn bản (tác giả). Để có thành công trong công việc, các tác giả phải đảm bảo rằng văn bản do họ viết phải dễ hiểu, dễ đọc và hấp dẫn đối với đối tượng người đọc mục tiêu.

Chúng ta có thể coi tính dễ đọc là thước đo khả năng tiếp cận của văn bản hoặc bố cục trang liên quan, cho biết văn bản sẽ tiếp cận với đối tượng người đọc nào hiệu quả. Trong bài báo “The Principles of Readability”, William H. Dubay (2004) [1] nhấn mạnh những phát hiện của các nghiên cứu về khả năng đọc viết cho thấy một số lượng lớn người sử dụng tài liệu kỹ thuật gặp khó khăn về khả năng đọc viết và phần lớn có mức đọc hiểu ở trình độ văn hóa thấp và trung bình. Điều này có nghĩa là các tài liệu kỹ thuật được viết cho đối tượng có trình độ hiểu biết trên mức thấp và trung bình sẽ không đạt được một lượng lớn người đọc.

Tác giả có thể đánh giá tính dễ đọc của văn bản bằng cách áp dụng lý thuyết và công thức dễ đọc. Những công thức này cung cấp điểm số cho biết một người cần bao nhiêu năm học để có thể hiểu được một văn bản viết.