I. Tổng Quan Ứng Dụng LLM Tạo Ngân Hàng Câu Hỏi HVNH
Việc nâng cao chất lượng giáo dục là mục tiêu hàng đầu. Các cơ sở giáo dục không ngừng tìm kiếm phương pháp tiên tiến. Một trong số đó là sử dụng mô hình ngôn ngữ lớn (LLM), một kỹ thuật tiên tiến của Xử lý ngôn ngữ tự nhiên (NLP). Các mô hình như GPT, Llama, Gemini và ChatGPT giúp giảm thiểu công sức và thời gian cho giảng viên, sinh viên. Nghiên cứu trước đây tập trung vào khai thác khả năng của LLM trong việc biên soạn bài giảng, tổng hợp thông tin, hay hỗ trợ sinh viên làm bài tập. Tuy nhiên, chưa có nhiều nghiên cứu áp dụng LLM trong công tác kiểm tra đánh giá người học. Theo Sơn (2024), "đa số người dùng chưa hiểu về mô hình ngôn ngữ lớn, các loại mô hình ngôn ngữ lớn và cách sử dụng các mô hình ngôn ngữ lớn để cho kết quả tối ưu". Việc hiểu rõ và tối ưu hóa các Prompt là một kỹ năng cần thiết. Vì vậy, nghiên cứu về ứng dụng LLM trong tạo ngân hàng câu hỏi tại Học viện Ngân hàng Hà Nội là cần thiết.
1.1. Lý Do Nghiên Cứu Ứng Dụng LLM Tại Học Viện Ngân Hàng
Nghiên cứu này tập trung vào phát triển và tinh chỉnh các mẫu câu lệnh (Prompt) để tạo ra các câu hỏi kiểm tra chất lượng cao. Điều này giúp giảm gánh nặng cho giáo viên trong việc soạn đề kiểm tra. Thay vì dành nhiều giờ để tạo ra các câu hỏi, giáo viên có thể sử dụng thời gian này cho các hoạt động giảng dạy và tương tác với học sinh. LLMs cũng có khả năng tạo ra các đề kiểm tra đa dạng, phong phú và phù hợp với từng học sinh và từng chủ đề, giúp đánh giá học sinh một cách khách quan, chính xác và hiệu quả hơn. Nghiên cứu này hướng đến mục tiêu chung là ứng dụng mô hình các ngôn ngữ lớn (LLMs) và các kỹ thuật Prompt tiến hành xây dựng ứng dụng để tạo câu hỏi tự động tại Học viện Ngân hàng.
1.2. Mục Tiêu Nghiên Cứu Ứng Dụng LLM Cụ Thể Tại HVNH
Nghiên cứu này đề ra 4 mục tiêu cụ thể. Thứ nhất, đưa ra các cơ sở lý thuyết về các mô hình ngôn ngữ lớn (LLMs) và đánh giá khả năng hỗ trợ của chúng trong việc tạo câu hỏi kiểm tra. Thứ hai, nghiên cứu và phát triển các kỹ thuật sử dụng Prompt để LLMs có thể tạo ra các câu hỏi kiểm tra chất lượng cao, tập trung vào môn Tài chính doanh nghiệp I. Thứ ba, đề xuất các phương án đánh giá mức độ hiệu quả của LLM trong tạo ngân hàng câu hỏi. Thứ tư, ứng dụng các công cụ mã nguồn mở: LangChain, Streamlit, OpenAI API để thiết kế và phát triển một ứng dụng tạo câu hỏi tự động tại Học viện Ngân hàng.
II. Thách Thức Khai Thác Hiệu Quả LLMs Cho Ngân Hàng Câu Hỏi
Việc sử dụng mô hình ngôn ngữ lớn (LLMs) một cách hiệu quả đòi hỏi người dùng phải hiểu rõ cả ưu và nhược điểm của chúng. Việc xác định mô hình ngôn ngữ nào phù hợp trong thời kỳ các mô hình liên tục phát triển cũng gây ra không ít trở ngại. Sau khi lựa chọn được mô hình ngôn ngữ, cần đánh giá xem có thể sử dụng ngay hay cần tinh chỉnh tham số, huấn luyện bổ sung hay cung cấp cơ sở tri thức cho mô hình. Hơn nữa, việc phân tích và đánh giá kết quả trả về của mô hình, cũng như biết cách sửa lỗi khi đầu ra không mong muốn là rất quan trọng. Điều này đòi hỏi người dùng phải biết các công thức tạo câu lệnh (Prompt) và cung cấp đầu vào đúng chuẩn, làm cơ sở để thay đổi chất lượng đầu ra.
2.1. Khoảng Trống Nghiên Cứu Về Ứng Dụng LLM Trong Giáo Dục
Trong cộng đồng học thuật về Trí tuệ nhân tạo và Xử lý ngôn ngữ tự nhiên, các nghiên cứu mới chủ yếu đánh giá LLM ở các mức độ “Nhớ”, “Hiểu” và “Áp dụng” chứ chưa có nhiều nghiên cứu đánh giá LLM ở mức “Đánh giá”. Đây là động lực chính để nghiên cứu về LLM và áp dụng trong khâu kiểm tra đánh giá người học. Mô hình ngôn ngữ lớn được đào tạo trên một lượng lớn dữ liệu văn bản khổng lồ, giúp nó có thể thực hiện các nhiệm vụ như: hiểu nghĩa của từ và cụm từ trong ngữ cảnh; tạo văn bản mới, bao gồm các bài báo, truyện, thơ, kịch bản, v.; dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác; trả lời câu hỏi một cách chính xác và đầy đủ thông tin; tóm tắt thông tin từ các nguồn khác nhau.
2.2. Vấn Đề Hiểu Biết Về LLMs Và Kỹ Năng Prompt Engineering
Đa số người dùng chưa hiểu về mô hình ngôn ngữ lớn, các loại mô hình ngôn ngữ lớn và cách sử dụng các mô hình ngôn ngữ lớn để cho kết quả tối ưu. Mọi người chỉ nhập các lệnh cơ bản theo bản năng mà ít cụ thể, chi tiết. Kết quả là, đầu ra của LLMs thường không đáp ứng đúng mong muốn của họ. Việc hiểu rõ và tối ưu hóa các Prompt là một kỹ năng cần thiết nhưng không phải lúc nào cũng dễ dàng nắm bắt, đặc biệt đối với những người không có nền tảng kỹ thuật sâu về AI.
III. Phương Pháp Lựa Chọn Tối Ưu Prompt Cho LLMs Tạo Câu Hỏi
Để giải quyết vấn đề, nhóm nghiên cứu tập trung vào phát triển và tinh chỉnh các mẫu câu lệnh (Prompt) để tạo ra các câu hỏi kiểm tra chất lượng cao. Nghiên cứu này giúp giảm gánh nặng cho giáo viên trong việc soạn đề kiểm tra. Thay vì dành ra nhiều giờ, giáo viên có thể sử dụng thời gian này cho các hoạt động giảng dạy và tương tác với học sinh. LLMs cũng có khả năng tạo ra các đề kiểm tra đa dạng, phong phú và phù hợp với từng học sinh và từng chủ đề, giúp đánh giá học sinh một cách khách quan, chính xác và hiệu quả hơn.
3.1. Nghiên Cứu Chuyên Sâu Các Ứng Dụng LLM Trong Giáo Dục
Nhóm nghiên cứu chuyên sâu về các công trình khoa học trước đây liên quan đến ứng dụng LLM trong lĩnh vực giáo dục, đặc biệt là trong việc tạo câu hỏi thi. Đầu tiên, thu thập và phân tích một lượng lớn tài liệu khoa học uy tín, bao gồm bài báo, báo cáo nghiên cứu, tạp chí trong ngành. Sau đó, đánh giá ưu nhược điểm của từng loại LLM trong việc tạo câu hỏi, so sánh hiệu quả và tính phù hợp với mục tiêu nghiên cứu. Cuối cùng dựa trên kết quả đánh giá và so sánh, nhóm lựa chọn mô hình ngôn ngữ tối ưu nhất cho mục tiêu nghiên cứu, đảm bảo khả năng tạo câu hỏi chất lượng cao, phù hợp với yêu cầu của môn học Tài chính doanh nghiệp I.
3.2. Khảo Sát Và Phân Tích Mẫu Câu Lệnh Tạo Câu Hỏi Trên LLM
Nhóm thực hiện khảo sát và phân tích các mẫu câu lệnh tạo câu hỏi trên LLM. Thử nghiệm các mẫu câu lệnh mà nhóm sưu tập được. Sau khi khảo sát và phân tích kết quả đầu ra của các mẫu câu lệnh, nhóm lựa chọn mẫu câu lệnh phù hợp nhất để tạo ngân hàng câu hỏi cho môn học Tài chính doanh nghiệp I. Nhóm nghiên cứu sử dụng mẫu câu lệnh đã lựa chọn để tạo ra ngân hàng câu hỏi gồm 100 câu hỏi theo 3 loại câu hỏi khác nhau: trắc nghiệm, lựa chọn đúng/sai và bài tập tính toán cho môn Tài chính doanh nghiệp I.
IV. Giải Pháp Xây Dựng Ứng Dụng Tạo Ngân Hàng Câu Hỏi Tự Động
Để thực hiện bài nghiên cứu, nhóm nghiên cứu sử dụng kết hợp các phương pháp nghiên cứu sau: Nhóm nghiên cứu tiến hành nghiên cứu lý thuyết về các công cụ và nền tảng công nghệ phù hợp để triển khai nhanh một sản phẩm demo trên nền web. Sản phẩm demo được thiết kế với mục tiêu đơn giản hóa quy trình tạo câu hỏi bằng LLM, giúp giảng viên dễ dàng sử dụng và tạo ra ngân hàng câu hỏi chất lượng cao một cách nhanh chóng, hiệu quả.
4.1. Công Cụ Và Nền Tảng Sử Dụng Trong Xây Dựng Ứng Dụng
Nhóm nghiên cứu tiến hành nghiên cứu lý thuyết về các công cụ và nền tảng công nghệ phù hợp để triển khai nhanh một sản phẩm demo trên nền web. Sản phẩm demo được thiết kế với mục tiêu đơn giản hóa quy trình tạo câu hỏi bằng LLM, giúp giảng viên dễ dàng sử dụng và tạo ra ngân hàng câu hỏi chất lượng cao một cách nhanh chóng, hiệu quả. Các công cụ và nền tảng bao gồm: LangChain, Streamlit, OpenAI API.
4.2. Xây Dựng Ứng Dụng Demo Tạo Câu Hỏi Tự Động
Ứng dụng cho phép người dùng nhập nội dung và nhận lại các câu hỏi kiểm tra một cách nhanh chóng và linh hoạt, đồng thời cung cấp các tính năng tùy chỉnh để đáp ứng các nhu cầu cụ thể của họ. Sản phẩm demo được thiết kế với mục tiêu đơn giản hóa quy trình tạo câu hỏi bằng LLM, giúp giảng viên dễ dàng sử dụng và tạo ra ngân hàng câu hỏi chất lượng cao một cách nhanh chóng, hiệu quả. Kết quả của cuộc khảo sát khá là khả quan
V. Kết Quả Ứng Dụng LLMs Tối Ưu Tạo Ngân Hàng Câu Hỏi
Nghiên cứu đã lựa chọn mô hình ngôn ngữ lớn phù hợp sau khi so sánh các mô hình phổ biến như ChatGPT 3.5, Gemini, Bard, Bing, ChatGPT Plus dựa trên các tiêu chí về chi phí, tính năng, đầu ra. Nhóm đã chọn ChatGPT 3.5 là mô hình ngôn ngữ lớn phù hợp nhất. Phát triển và tối ưu hóa các mẫu Prompt trong việc tạo câu hỏi cho đề kiểm tra tại Học viện Ngân hàng: Nhóm thành công trong việc phát triển và tối ưu hóa các mẫu Prompt để tạo câu hỏi kiểm tra tự động. Qua việc phân tích và điều chỉnh, chúng tôi đã tạo ra các mẫu Prompt hiệu quả, giúp cải thiện chất lượng và đa dạng của các câu hỏi được tạo ra.
5.1. Phát Triển Và Tối Ưu Hóa Mẫu Prompt Cho Đề Kiểm Tra
Nhóm đã phát triển và tối ưu hóa các mẫu Prompt để tạo câu hỏi kiểm tra tự động. Qua việc phân tích và điều chỉnh, chúng tôi đã tạo ra các mẫu Prompt hiệu quả, giúp cải thiện chất lượng và đa dạng của các câu hỏi được tạo ra. Một nghiên cứu liên quan đến nhóm, “Ứng dụng kỹ thuật prompt để tối ưu kết quả đầu ra của mô hình ngôn ngữ lớn hỗ trợ việc học tập của sinh viên đại học” đã được đăng tại kỷ yếu Hội thảo: “Sinh viên trong thời kỳ chuyển đổi số, đổi mới sáng tạo và khởi nghiệp” tổ chức tại Học viện Ngân hàng tháng 5/2024.
5.2. Đánh Giá Khách Quan Chất Lượng Câu Hỏi Từ ChatGPT 3.5
Nhóm đã sử dụng “Bài kiểm tra mù” để khảo sát xem người tham gia có phân biệt được giữa câu hỏi mà ChatGPT 3.5 tạo ra và con người tạo ra hay không. Kết quả của cuộc khảo sát khá là khả quan. Nhóm đã xây dựng sản phẩm demo ứng dụng tạo câu hỏi tự động hỗ trợ giảng viên tại Học viện Ngân hàng: Nhóm đã phát triển một ứng dụng sử dụng mã nguồn mở, công nghệ LangChain và công cụ xây dựng Streamlit với mục đích hỗ trợ tạo câu hỏi tự động cho kiểm tra.
VI. Triển Vọng Ứng Dụng LLMs Nâng Cao Chất Lượng Đào Tạo
Việc tích hợp AI và LLM trong giáo dục mang đến cơ hội duy nhất để nâng cao trải nghiệm học tập và hợp lý hóa quy trình giảng dạy. Học viện Ngân hàng, giống như nhiều cơ sở giáo dục, có thể đối mặt với những thách thức trong việc đánh giá sinh viên một cách hiệu quả do tính chất tốn nhiều thời gian của việc tạo và chấm điểm. Bằng cách tận dụng khả năng của LLM để tự động hóa việc tạo ngân hàng câu hỏi kiểm tra, nghiên cứu này nhằm mục đích giảm khối lượng công việc cho giảng viên trong khi duy trì hoặc cải thiện chất lượng đánh giá.
6.1. Tiềm Năng To Lớn Của LLMs Trong Lĩnh Vực Giáo Dục
Tiềm năng sử dụng LLM trong giáo dục là cực kỳ cao. Những mô hình này có thể cách mạng hóa không chỉ việc tạo câu hỏi kiểm tra mà còn toàn bộ quá trình giáo dục, bao gồm việc phát triển tài liệu giảng dạy toàn diện, thiết kế giáo án tương tác và cung cấp dịch vụ dạy kèm cá nhân hóa cho học sinh. Việc tích hợp LLM có thể nâng cao khả năng tiếp cận và tính toàn diện của giáo dục.
6.2. Tạo Niềm Tin Vào Các Ứng Dụng Rộng Hơn Của LLMs
Nhóm tin rằng việc thừa nhận khả năng tạo ra các câu hỏi kiểm tra chất lượng cao của LLM là bước quan trọng đầu tiên để đạt được sự chấp nhận và chú ý rộng rãi hơn. Việc tạo tự động các ngân hàng câu hỏi kiểm tra có thể đóng vai trò là minh chứng hữu hình và ngay lập tức về lợi ích thiết thực của LLM. Ứng dụng cụ thể này không chỉ giải quyết được điểm khó khăn đáng kể của các nhà giáo dục - giúp tiết kiệm thời gian và công sức - mà còn thể hiện tính chính xác và độ tin cậy của LLM trong việc tạo ra nội dung giáo dục đáp ứng các tiêu chuẩn học thuật.
