Augmenting the computational and reasoning proficiencies of large language models for tackling vietnamese high school ma

Các mô hình ngôn ngữ lớn (LLM) đã chứng minh khả năng vượt trội trong xử lý và tạo… 64 trang · Vietnam National University, Hanoi International School · 2024.

• Tác giả: Nguyễn Thảo Vi
• Người hướng dẫn: Dr. Nguyễn Đoàn Đông
• Trường học: Vietnam National University, Hanoi International School
• Chuyên ngành: Management Information Systems
• Đề tài: Nâng Cao Khả Năng Tính Toán Và Lý Luận Của Mô Hình Ngôn Ngữ Lớn Trong Giải Quyết Bài Toán Toán Học Cấp 3 Việt Nam
• Loại tài liệu: graduation project
• Năm xuất bản: 2024
• Địa điểm: Hanoi

Mục lục chi tiết

• ACKNOWLEDGEMENTS
• DECLARATION
• List of acronyms
• List of tables
• List of figures
• 1. CHAPTER 1: INTRODUCTION
• 2. CHAPTER 2: LITERATURE REVIEW
• 2.1. Overview of large language models
• 2.2. LLMs performance assessment on math
• 4. CHAPTER 4: EXPERIMENT ANALYSIS
• 4.1. Implementation of the study
• 4.2. Limitations and Future directions
• ABSTRACT

Tóm tắt

I. Tổng quan LLM giải Toán cấp 3 Việt Nam Tiềm năng

Các mô hình ngôn ngữ lớn (LLM) đã chứng minh khả năng vượt trội trong xử lý và tạo văn bản, mở ra những hướng đi đầy hứa hẹn trong việc ứng dụng để giải bài toán toán học cấp 3. Các nghiên cứu gần đây đã khám phá tiềm năng của LLM trong việc giải quyết các nhiệm vụ toán học khác nhau, bao gồm giải các bài toán số học và hình học cơ bản, tạo ra các chứng minh cho các định lý đơn giản và thậm chí chuyển đổi các mô tả ngôn ngữ tự nhiên thành các biểu thức tượng trưng. Tuy nhiên, hiệu suất của LLM trong việc giải quyết các bài toán toán học phức tạp, đặc biệt là những bài toán gặp phải trong các môi trường giáo dục cấp cao hơn, vẫn còn bị cản trở đáng kể bởi một số yếu tố. Một thách thức quan trọng là sự phức tạp vốn có của chính môn toán. Toán học cấp 3 ở Việt Nam bao gồm một loạt các chủ đề đa dạng, bao gồm Số học, Đại số, Lượng giác, Thống kê và Xác suất, Giải tích và Hình học, với các mức độ khó khác nhau. Sự đa dạng này đặt ra một thách thức đáng kể cho LLM, vì chúng đòi hỏi sự hiểu biết sâu sắc về từng chủ đề và khả năng áp dụng kiến thức liên quan vào các bài toán cụ thể.

1.1. Ứng dụng LLM Từ bài toán cơ bản đến chứng minh định lý

Các mô hình ngôn ngữ lớn (LLM) đang dần khẳng định vị thế của mình trong lĩnh vực giải toán, vượt xa khả năng xử lý ngôn ngữ đơn thuần. Từ việc giải các bài toán số học đơn giản đến việc tạo ra các chứng minh định lý, LLM cho thấy tiềm năng to lớn trong việc hỗ trợ học sinh và giáo viên. "LLMs have demonstrated remarkable capabilities in text processing and generation, opening exciting avenues for their application in solving mathematical problems", trích dẫn từ [39, 68] trong tài liệu gốc, nhấn mạnh sự trỗi dậy của LLM trong bối cảnh giáo dục hiện đại.

1.2. Thách thức Độ phức tạp của Toán cấp 3 Việt Nam với LLM

Toán học cấp 3 Việt Nam đặt ra nhiều thách thức cho LLM do sự đa dạng của chủ đề và mức độ phức tạp của các bài toán. LLM cần hiểu sâu sắc từng chủ đề và áp dụng kiến thức phù hợp. Nhiều bài toán yêu cầu các bước giải phức tạp và cần giải thích rõ ràng, điều này gây khó khăn cho LLM trong việc tạo ra các giải pháp chính xác và có hệ thống. Sự đa dạng này đòi hỏi LLM cần một kiến thức nền tảng vững chắc và khả năng suy luận, phân tích, điều mà các mô hình hiện tại vẫn đang hoàn thiện.

II. Vấn đề Giới hạn của LLM trong giải Toán cấp 3 Phân tích

Nghiên cứu trước đây đã chỉ ra những hạn chế trong khả năng áp dụng các phương pháp LLM hiện có cho các bài toán toán học cấp 3 Việt Nam. Một nghiên cứu so sánh hiệu suất của một số LLM trong việc giải các bài toán từ Kỳ thi Tốt nghiệp Trung học Phổ thông Quốc gia Việt Nam. Mặc dù kết quả cho thấy một số hứa hẹn, nhưng độ chính xác tổng thể và khả năng giải thích các giải pháp LLM vẫn chưa đạt yêu cầu. Điều này làm nổi bật sự cần thiết của các phương pháp tiếp cận mới, đặc biệt giải quyết những thách thức của việc áp dụng LLM vào bối cảnh sắc thái của toán học cấp 3 Việt Nam. Do đó, mục tiêu chính của nghiên cứu này là phát triển các phương pháp giúp nâng cao khả năng tính toán và suy luận của LLM trong việc giải quyết hiệu quả các bài toán toán học cấp 3 Việt Nam.

2.1. Nghiên cứu trước đây Độ chính xác của LLM còn hạn chế

Các nghiên cứu đã chỉ ra rằng hiệu suất của LLM trong việc giải bài toán toán học cấp 3 Việt Nam vẫn còn hạn chế. Độ chính xác và khả năng giải thích của LLM chưa đạt yêu cầu, đặc biệt là trong các bài toán phức tạp đòi hỏi nhiều bước suy luận. Điều này cho thấy cần có những phương pháp tiếp cận mới để nâng cao khả năng của LLM trong lĩnh vực này. "While the results demonstrated some promise, the overall accuracy and explainability of LLM solutions remained suboptimal", trích dẫn từ [65] trong tài liệu gốc, nhấn mạnh nhu cầu cải thiện hiệu suất của LLM.

2.2. Yêu cầu cấp thiết Phát triển phương pháp nâng cao LLM

Việc phát triển các phương pháp giúp nâng cao khả năng tính toán và suy luận của LLM trong việc giải quyết hiệu quả các bài toán toán học cấp 3 Việt Nam là vô cùng cần thiết. Điều này đòi hỏi sự kết hợp giữa các kỹ thuật xử lý ngôn ngữ tự nhiên và các phương pháp toán học truyền thống để tạo ra một hệ thống có khả năng hiểu và giải quyết các bài toán một cách chính xác và hiệu quả. Mục tiêu chính của nghiên cứu này là đáp ứng nhu cầu cấp thiết này.

III. Giải pháp Cách kết hợp Phân loại chủ đề và In context Learning

Nghiên cứu này đề xuất một phương pháp tiếp cận bao gồm việc sử dụng các kỹ thuật phân loại chủ đề để xác định chính xác lĩnh vực toán học của một câu hỏi nhất định, truy xuất bài toán phù hợp nhất từ một kho ngữ liệu, trích xuất câu trả lời tương ứng và sử dụng in-context learning để tinh chỉnh hiệu suất của mô hình. Ngoài ra, nghiên cứu tìm cách kết hợp các kỹ thuật tạo mã để tạo điều kiện thuận lợi cho việc giải quyết vấn đề tính toán chính xác và hiệu quả, đồng thời cung cấp các giải thích toàn diện cho các kết quả thu được. Động lực cho nghiên cứu này xuất phát từ việc nhận ra tiềm năng của LLM để cho phép trải nghiệm học tập được cá nhân hóa, tương tác và năng động cho học sinh, đồng thời tự động hóa việc tạo ra các giải pháp và giải thích toàn diện cho các vấn đề phức tạp.

3.1. Phân loại chủ đề Xác định lĩnh vực Toán học hiệu quả

Kỹ thuật phân loại chủ đề đóng vai trò quan trọng trong việc xác định chính xác lĩnh vực toán học của một câu hỏi, từ đó giúp LLM tập trung vào kiến thức và kỹ năng phù hợp để giải quyết bài toán. Việc phân loại chủ đề hiệu quả sẽ cải thiện đáng kể độ chính xác và hiệu quả của LLM trong việc giải toán. Chẳng hạn, việc phân loại một bài toán vào chủ đề "Hình học không gian" sẽ giúp LLM truy xuất các công thức và định lý liên quan đến hình học không gian.

3.2. In context Learning Tinh chỉnh hiệu suất của mô hình LLM

In-context learning cho phép LLM học hỏi từ các ví dụ được cung cấp trong quá trình giải toán, giúp cải thiện khả năng suy luận và giải quyết các bài toán tương tự. Kỹ thuật này đặc biệt hữu ích trong việc giải các bài toán phức tạp đòi hỏi nhiều bước suy luận và tính toán. Việc cung cấp các ví dụ với các bước giải chi tiết sẽ giúp LLM hiểu rõ hơn về quy trình giải toán và áp dụng nó vào các bài toán khác.

IV. Ứng dụng Code Generation hỗ trợ giải Toán cấp 3 chính xác

Bằng cách kết hợp LLM vào quy trình giáo dục, các hệ thống gia sư thông minh có thể được phát triển để thích ứng với nhu cầu riêng của học sinh, cung cấp cho họ hướng dẫn từng bước và các giải thích phù hợp. Cách tiếp cận cá nhân hóa này giúp tăng cường sự tham gia và hiểu biết của học sinh, đồng thời tiết kiệm thời gian quý báu cho các nhà giáo dục và nâng cao chất lượng giảng dạy tổng thể. Nghiên cứu này sẽ tập trung vào toán học cấp 3 Việt Nam cho các lớp 10, 11 và 12, bao gồm nhiều chủ đề khác nhau được đề cập trong chương trình trung học Việt Nam. Một tập dữ liệu được tuyển chọn các bài toán toán học cấp 3 Việt Nam và các giải pháp sẽ được sử dụng để đào tạo và đánh giá hệ thống được đề xuất.

4.1. Code Generation Tự động sinh mã giải toán

Kỹ thuật code generation cho phép LLM tự động tạo ra các đoạn mã để giải quyết các bài toán tính toán, giúp cải thiện độ chính xác và hiệu quả của quá trình giải toán. Việc sử dụng mã giúp LLM tránh được các lỗi tính toán thủ công và có thể xử lý các bài toán phức tạp một cách nhanh chóng. Ví dụ, LLM có thể tạo ra mã Python để giải một hệ phương trình tuyến tính.

4.2. Hệ thống gia sư thông minh Cá nhân hóa trải nghiệm học tập

Việc tích hợp LLM vào các hệ thống gia sư thông minh giúp cá nhân hóa trải nghiệm học tập cho học sinh, cung cấp cho họ hướng dẫn và giải thích phù hợp với nhu cầu và trình độ của từng cá nhân. Hệ thống có thể theo dõi tiến độ học tập của học sinh và điều chỉnh độ khó của các bài toán để đảm bảo rằng học sinh luôn được thử thách và có động lực học tập. "By incorporating LLMs into the educational process, intelligent tutoring systems can be developed that adapt to the unique needs of students, providing them with step-by-step guidance and tailored explanations", nhấn mạnh tiềm năng của LLM trong việc tạo ra các hệ thống giáo dục cá nhân hóa.

V. Kết quả Đánh giá hiệu quả của LLM nâng cao Thử nghiệm

Nghiên cứu này giới thiệu một đóng góp đáng kể bằng cách kết hợp các kỹ thuật nâng cao lý luận với khả năng truy xuất trường hợp và nâng cao sức mạnh tính toán dựa trên mã. Trong các nghiên cứu trước đây, các phương pháp tương tự đã được khám phá, chẳng hạn như Meta-CoT [74] để nâng cao lý luận và Mathprompter [21] để nâng cao sức mạnh tính toán. Tuy nhiên, việc tích hợp cả hai phương pháp chưa được thử nghiệm trước đây trong bối cảnh toán học cấp 3 Việt Nam. Hơn nữa, giải pháp đầu tiên được thiết kế riêng cho toán học cấp 3 Việt Nam đã được phát triển như một phần của nghiên cứu này. Dữ liệu cần thiết cho nghiên cứu đã được thu thập và các phương pháp được đề xuất đã được thử nghiệm bằng dữ liệu này.

5.1. Tích hợp kỹ thuật Lý luận truy xuất và tính toán

Nghiên cứu kết hợp các kỹ thuật nâng cao lý luận, truy xuất trường hợp và tính toán dựa trên mã để tạo ra một hệ thống LLM mạnh mẽ và hiệu quả trong việc giải bài toán toán học cấp 3 Việt Nam. Việc tích hợp này giúp LLM tận dụng tối đa các nguồn lực và kỹ năng khác nhau để giải quyết các bài toán phức tạp một cách chính xác và hiệu quả.

5.2. Phát triển giải pháp Thích ứng với Toán cấp 3 Việt Nam

Giải pháp được phát triển trong nghiên cứu này được thiết kế riêng cho toán học cấp 3 Việt Nam, đáp ứng các yêu cầu và đặc điểm cụ thể của chương trình và bài toán. Điều này giúp LLM hiểu rõ hơn về các bài toán và áp dụng các kiến thức và kỹ năng phù hợp để giải quyết chúng. Việc thu thập và thử nghiệm dữ liệu cũng được thực hiện một cách cẩn thận để đảm bảo tính chính xác và độ tin cậy của kết quả.

VI. Tương lai Hướng phát triển và ứng dụng của LLM trong Toán học

Để đào tạo và đánh giá hệ thống được đề xuất, một tập dữ liệu được tuyển chọn cẩn thận các bài toán toán học cấp 3 Việt Nam và các giải pháp đã được sử dụng, đóng vai trò là nền tảng vững chắc cho nghiên cứu. Tập dữ liệu này không chỉ đóng vai trò là một nguồn tài nguyên có giá trị cho các nghiên cứu trong tương lai trong lĩnh vực này mà còn thiết lập một tiêu chuẩn để đánh giá hiệu suất của các mô hình ngôn ngữ lớn trong bối cảnh toán học cấp 3 Việt Nam. Nhìn chung, nghiên cứu này giải quyết hiệu quả những hạn chế và thách thức mà các mô hình ngôn ngữ lớn phải đối mặt trong việc giải quyết các bài toán toán học phức tạp. Việc tích hợp các kỹ thuật nâng cao lý luận và nâng cao sức mạnh tính toán dựa trên mã đại diện cho những đóng góp đáng chú ý, cũng như việc phát triển một giải pháp phù hợp cho toán học cấp 3 Việt Nam.

6.1. Tập dữ liệu chất lượng Nền tảng cho nghiên cứu LLM

Việc xây dựng một tập dữ liệu chất lượng cao các bài toán toán học cấp 3 Việt Nam và các giải pháp đóng vai trò quan trọng trong việc đào tạo và đánh giá hiệu quả của các LLM. Tập dữ liệu này cần bao gồm nhiều loại bài toán khác nhau, đại diện cho các chủ đề và mức độ khó khác nhau trong chương trình toán học cấp 3 Việt Nam. "To train and evaluate the proposed system, a carefully curated dataset of Vietnamese high school math problems and solutions was utilized, serving as a solid foundation for the research", nhấn mạnh tầm quan trọng của tập dữ liệu trong nghiên cứu.

6.2. Phát triển LLM Giải pháp toàn diện cho Toán học Việt Nam

Nghiên cứu này mở ra một hướng đi mới trong việc phát triển các LLM có khả năng giải quyết các bài toán toán học phức tạp, đặc biệt là trong bối cảnh toán học Việt Nam. Việc kết hợp các kỹ thuật khác nhau và thiết kế một giải pháp phù hợp cho toán học cấp 3 Việt Nam cho thấy tiềm năng to lớn của LLM trong việc hỗ trợ học sinh và giáo viên trong quá trình dạy và học toán học.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên, các mô hình ngôn ngữ lớn (Large Language Models - LLM) như GPT-4, GPT-3.5, Bard hay LLaMA đã đạt được nhiều tiến bộ trong các tác vụ tạo văn bản, tóm tắt và suy luận ngôn ngữ. Tuy nhiên, khi ứng dụng vào việc giải quyết các bài toán học thuật phức tạp, đặc biệt là chương trình toán học bậc trung học phổ thông (THPT), các mô hình này bộc lộ nhiều hạn chế về khả năng tính toán số học chính xác, nhận diện ký hiệu toán học (như biểu thức LaTeX, căn thức, tích phân) và suy luận logic đa bước.

Tại Việt Nam, chương trình Toán THPT bao gồm nhiều chủ đề phức tạp như Đại số, Lượng giác, Hình học không gian, Giải tích và Xác suất thống kê, đòi hỏi tư duy trừu tượng và các bước suy luận liên kết chặt chẽ. Các nghiên cứu trước đây đánh giá mô hình ngôn ngữ trên đề thi tốt nghiệp THPT quốc gia cho thấy độ chính xác và khả năng giải thích chi tiết của LLM vẫn chưa đáp ứng được yêu cầu thực tế.

Để giải quyết các rào cản trên, khóa luận tốt nghiệp ngành Hệ thống thông tin quản lý của sinh viên Nguyễn Thảo Vi (Trường Quốc tế, Đại học Quốc gia Hà Nội) tập trung vào các mục tiêu và nhiệm vụ nghiên cứu sau:

1. Nghiên cứu và xây dựng bộ dữ liệu câu hỏi - lời giải môn Toán THPT Việt Nam (lớp 10, 11, 12) chuẩn hóa theo từng chủ đề dựa trên chương trình của Bộ Giáo dục và Đào tạo.
2. Xây dựng mô hình phân loại chủ đề bài toán bằng kỹ thuật học máy truyền thống kết hợp xử lý tiếng Việt nhằm thu hẹp không gian tìm kiếm.
3. Phát triển cơ chế truy vấn bài toán tương tự (Similar Problem Retrieval) dựa trên độ tương đồng Cosine để trích xuất bài mẫu và lời giải làm ngữ cảnh cho phương pháp học theo ngữ cảnh (In-context Learning - ICL).
4. Thiết lập quy trình sinh mã nguồn Python thông qua kỹ thuật chuỗi tư duy (Chain-of-Thought - CoT) và thực thi mã trong môi trường cô lập để đảm bảo độ chính xác tính toán.
5. Tích hợp giải pháp hoàn chỉnh vào một ứng dụng web giải toán tương tác, hỗ trợ hiển thị lời giải và giải thích chi tiết từng bước.

Đối tượng nghiên cứu là các dạng bài toán trắc nghiệm và tự luận trong chương trình Toán THPT Việt Nam thuộc ba khối lớp 10, 11 và 12. Phạm vi thực nghiệm tập trung kiểm thử trên hai mô hình nền tảng là GPT-3.5-turbo và GPT-4 với các đề thi học kỳ chuẩn hóa tại Việt Nam.

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp giữa lý thuyết mô hình ngôn ngữ lớn, các kỹ thuật kỹ nghệ câu lệnh (prompt engineering) và các thuật toán học máy truyền thống:

• Khung lý thuyết:

  • Mô hình ngôn ngữ lớn kiến trúc Transformer dựa trên cơ chế tự chú ý (Self-Attention).
  • Phương pháp học trong ngữ cảnh (In-context Learning - ICL) và chuỗi tư duy (Chain-of-Thought - CoT).
  • Phương pháp sử dụng công cụ ngoài (Tool-Employing / Tool-based methods) để thực thi tính toán chính xác, hạn chế hiện tượng ảo giác (hallucination) của LLM.

• Phương pháp xử lý văn bản tiếng Việt và phân loại chủ đề:

  • Tiền xử lý văn bản: Tách từ tiếng Việt bằng thư viện ViTokenizer (thuộc bộ công cụ pyvi) sử dụng mô hình Trường ngẫu nhiên có điều kiện (Conditional Random Field - CRF).
  • Trích xuất đặc trưng: Biến đổi văn bản thành vector số học thông qua TfidfVectorizer (scikit-learn).
  • Huấn luyện và đánh giá 6 mô hình phân loại: Linear Support Vector Classifier (Linear SVC), Random Forest Classifier, Gradient Boosting Classifier, Multinomial Naive Bayes, K-Nearest Neighbors (KNN) và Multi-layer Perceptron (MLP).
  • Lưu trữ và tái sử dụng mô hình: Đóng gói vectorizer và mô hình phân loại đã huấn luyện bằng thư viện tuần tự hóa Pickle.

• Phương pháp truy vấn bài toán tương tự:

  • Áp dụng độ đo tương đồng Cosine (Cosine Similarity) giữa vector TF-IDF của câu hỏi đầu vào và tập vector câu hỏi mẫu trong cùng chủ đề nhằm chọn ra một bài toán tương đồng nhất (Top-1 sample).

• Phương pháp tính toán thực nghiệm:

  • Xây dựng mẫu câu lệnh hướng dẫn LLM sinh mã Python tương ứng với bài toán.
  • Sử dụng giao diện lập trình ứng dụng (API) kết nối đến môi trường thực thi mã cô lập trong Docker container chạy Python 3.9, tích hợp các thư viện chuyên dụng cho tính toán khoa học và biểu tượng như SymPy, NumPy, SciPy và Pandas.
  • LLM tổng hợp kết quả thực thi mã để tạo văn bản giải thích lời giải hoàn chỉnh.

• Nguồn dữ liệu:

  • Dữ liệu câu hỏi và đáp án mẫu được thu thập từ trang web giáo dục timdapan.com, bám sát sách giáo khoa của Bộ Giáo dục và Đào tạo.
  • Dữ liệu đánh giá gồm 3 bộ đề thi học kỳ trắc nghiệm (mỗi khối lớp 10, 11, 12 gồm 50 câu hỏi đa dạng chủ đề).

Thiết kế và triển khai

Hệ thống được thiết kế theo kiến trúc đường ống tích hợp nhiều thành phần từ giao diện người dùng đến các dịch vụ xử lý nền tảng:

[Người dùng nhập câu hỏi & Khối lớp]
[Tiền xử lý văn bản: ViTokenizer & TF-IDF]
[Phân loại chủ đề bằng mô hình ML (Linear SVC / Random Forest)]
[Truy vấn bài toán & lời giải tương tự qua Cosine Similarity]
[Tạo Prompt tích hợp ICL + CoT gửi đến LLM (GPT-3.5-turbo / GPT-4)]
[LLM sinh mã nguồn Python giải toán]
[API gửi chuỗi mã đến Docker Container (Python 3.9, SymPy, NumPy...)]
[Nhận kết quả thực thi mã & LLM sinh lời giải thích chi tiết]
[Hiển thị kết quả so sánh trên Giao diện Web Flask]

• Môi trường thực thi mã ngoài: Mã nguồn Python được đưa vào container Docker độc lập đặt trên máy chủ từ xa, đảm bảo cách ly hoàn toàn với hệ thống chính, tránh lỗi thực thi và rủi ro bảo mật, đồng thời cung cấp khả năng mở rộng khi chịu tải nhiều yêu cầu đồng thời.
• Ứng dụng Web (Math Solver Web App):
  • Backend được xây dựng trên nền tảng Flask (Python).
  • Frontend phát triển bằng HTML, CSS và JavaScript.
  • Chức năng: Cho phép người dùng nhập bài toán, chọn khối lớp (10, 11, 12), chọn mô hình (GPT-4 hoặc GPT-3.5-turbo), thiết lập ngưỡng tương đồng (similarity threshold).
  • Cơ chế dự phòng (Fallback): Trường hợp độ tương đồng không đạt ngưỡng hoặc mã sinh ra gặp lỗi thực thi, hệ thống tự động chuyển sang cấu hình GPT-4 kết hợp câu lệnh CoT tiêu chuẩn.
  • Giao diện đầu ra hiển thị song song hai luồng kết quả: Phương pháp đề xuất (Combined Approach) kèm chủ đề dự đoán, câu hỏi mẫu tham chiếu, mã nguồn sinh ra, kết quả thực thi và phương pháp đối chứng thông thường (Zero-shot).

Nội dung chính theo từng chương

Chương 1 - Introduction

Chương này giới thiệu tổng quan về sự phát triển của LLM và tiềm năng ứng dụng trong giáo dục. Tác giả phân tích các thách thức cốt lõi khi áp dụng LLM cho môn Toán THPT Việt Nam: tính trừu tượng cao, yêu cầu suy luận đa bước và độ phức tạp của ngôn ngữ tiếng Việt. Chương 1 xác định rõ mục tiêu nghiên cứu, phạm vi dữ liệu (lớp 10, 11, 12) và khẳng định tính mới của đề tài khi là nghiên cứu đầu tiên tích hợp đồng thời kỹ thuật truy vấn bài mẫu (Reasoning Enhancement) và cơ chế sinh mã thực thi ngoài (Computational Enhancement) cho toán THPT Việt Nam.

Chương 2 - Literature Review

Chương 2 tổng hợp cơ sở lý thuyết về LLM, cơ chế Transformer và kiến trúc Self-Attention. Tác giả phân tích các công trình nghiên cứu đánh giá năng lực giải toán của GPT-4, GPT-3.5-turbo trên các tập dữ liệu quốc tế (GSM8K, MATH, MATH 401, CMATH). Đánh giá các hướng tiếp cận hiện nay gồm: huấn luyện trước (Pre-training như MathBERT, LLEMMA), tinh chỉnh mô hình (Fine-tuning như MetaMath, Goat), kỹ nghệ câu lệnh (ICL, CoT như Meta-CoT) và phương pháp sử dụng công cụ (Tool-based như Mathprompter, PoT). Tác giả chỉ ra rằng việc kết hợp ICL, CoT và công cụ ngoài có ưu thế vượt trội so với Fine-tuning vì không tốn kém tài nguyên huấn luyện lại và tránh được hiện tượng quên kiến thức cũ (catastrophic forgetting).

Chương 3 - Methodology

Chương 3 trình bày chi tiết quy trình thực hiện gồm 4 giai đoạn:

1. Chuẩn bị dữ liệu: Thu thập 3 tập dữ liệu từ timdapan.com tương ứng 3 khối lớp.

Tên tập dữ liệu	Kích thước (Số dòng, Số cột)	Số lượng chủ đề
Grade10_QA	(2355, 3)	9
Grade11_QA	(1952, 3)	8
Grade12_QA	(1354, 3)	7

2. Tiền xử lý và huấn luyện phân loại chủ đề: Ứng dụng ViTokenizer và TfidfVectorizer. Đánh giá hiệu năng các thuật toán phân loại trên tập dữ liệu từng khối lớp.
3. Truy vấn bài toán tương tự: Tính toán độ tương đồng Cosine trên vector đặc trưng để trích xuất 1 bài toán mẫu kèm lời giải.
4. Tăng cường tính toán: Thiết lập mẫu câu lệnh OpenAI kết hợp bài mẫu để LLM sinh mã Python, chuyển mã qua API để chạy trong Docker container (Python 3.9) và nhận diện kết quả tính toán số học.

Chương 4 – Experiment Analysis

Chương 4 thiết lập môi trường thử nghiệm trên Google Colab có GPU, tiến hành thực nghiệm trên 150 câu hỏi thi học kỳ của ba khối lớp. Tác giả so sánh 4 kịch bản trên cả GPT-3.5-turbo và GPT-4:

• Kịch bản Zero-shot: Mô hình xử lý trực tiếp không có ngữ cảnh bổ trợ.
• Kịch bản tập trung tính toán (Computation-focused): Sử dụng công cụ thực thi mã ngoài.
• Kịch bản tập trung lập luận (Reasoning-focused): Sử dụng phân loại chủ đề và truy vấn bài toán tương tự.
• Kịch bản kết hợp (Combined): Tích hợp cả truy vấn bài toán mẫu và thực thi mã tính toán.

Bên cạnh độ chính xác, chương này phân tích các chỉ số vận hành gồm thời gian phản hồi (running time), chi phí token và khả năng xử lý bài toán hình học/đồ thị.

Chương 5 - Implementation of the study

Chương này mô tả chi tiết quá trình đóng gói và phát triển ứng dụng Math Solver Web App bằng Flask, HTML, CSS và JavaScript. Tác giả trình bày kiến trúc luồng dữ liệu, giao diện nhập liệu câu hỏi, giao diện hiển thị kết quả so sánh trực quan giữa phương pháp kết hợp và phương pháp Zero-shot, cũng như cơ chế bẫy lỗi và chuyển đổi dự phòng sang GPT-4 CoT khi gặp sự cố thực thi mã.

Chương 6 - Limitations and Future directions

Chương này phân tích các hạn chế thực tế của công trình: sự phân bố dữ liệu chưa đồng đều giữa các chủ đề trong tập tham chiếu, quy mô tập dữ liệu kiểm thử còn giới hạn (50 câu/lớp), và rào cản nội tại của mô hình xử lý văn bản khi giải quyết các bài toán hình học không gian hoặc bài toán yêu cầu đọc đồ thị hàm số.

Kết quả và đóng góp

Kết quả phân loại chủ đề bài toán

Kết quả thực nghiệm trên các mô hình phân loại học máy cho thấy độ chính xác khác nhau giữa các thuật toán và khối lớp:

Tên mô hình	Grade10_QA	Grade11_QA	Grade12_QA
Linear SVC	0.904	0.926	-
Random Forest Classifier	-	-	0.937
Gradient Boosting Classifier	-	-	0.926

Ghi chú: Linear SVC đạt hiệu quả cao nhất ở Lớp 10 và Lớp 11 (lần lượt 90.4% và 92.6%), trong khi Random Forest đạt độ chính xác cao nhất ở Lớp 12 (93.7%).

Báo cáo phân loại chi tiết ghi nhận một số lớp đạt chỉ số F1-score tuyệt đối hoặc rất cao:

• Lớp 10: "Phương trình, hệ phương trình" đạt Precision 1.00, Recall 0.93, F1-score 0.96; "Bất đẳng thức, bất phương trình" đạt Precision 0.95, Recall 0.95, F1-score 0.95.
• Lớp 11: "Giới hạn" đạt Precision 1.00, Recall 0.93, F1-score 0.96; "Tổ hợp xác suất" đạt Precision 0.96, Recall 0.97, F1-score 0.96.
• Lớp 12: "Nguyên hàm, tích phân và ứng dụng" đạt Precision 1.00, Recall 0.97, F1-score 0.98; "Phương pháp tọa độ trong không gian" đạt Precision 1.00, Recall 0.97, F1-score 0.99; "Số phức" đạt Precision 1.00, Recall 0.95, F1-score 0.97.

Kết quả thực nghiệm giải toán

Mô hình	Phương pháp	Lớp 10	Lớp 11	Lớp 12
GPT-3.5-turbo	Zero-shot	44%	52%	48%
	Computation-focused	54%	58%	56%
	Reasoning-focused	48%	54%	50%
	Combined	60%	62%	64%
GPT-4	Zero-shot	52%	78%	64%
	Computation-focused	74%	84%	76%
	Reasoning-focused	66%	82%	68%
	Combined	80%	88%	82%

Đánh giá vận hành

• Thời gian xử lý: GPT-3.5-turbo ở chế độ Zero-shot có thời gian phản hồi trung bình nhanh nhất là 7.03 giây, so với 11.47 giây của GPT-4 Zero-shot. Khi áp dụng phương pháp kết hợp trên GPT-4, thời gian xử lý tăng gấp 3 đến 4 lần do phải trải qua nhiều bước (phân loại, truy vấn, sinh mã, gọi API thực thi và sinh giải thích).
• Chi phí Token: Việc bổ sung bài toán mẫu và câu lệnh CoT làm tăng số lượng token đầu vào/đầu ra từ 2 đến 3 lần so với cách tiếp cận Zero-shot.

Đóng góp chính của đề tài

• Xây dựng thành công bộ dữ liệu chuẩn hóa gồm 5,661 bài toán có phân loại chủ đề chi tiết cho ba khối lớp 10, 11, 12 môn Toán THPT Việt Nam.
• Đề xuất và chứng minh tính hiệu quả của phương pháp lai ghép giữa truy vấn lập luận tương đồng (Reasoning Retrieval) và thực thi mã ngoài (Code Execution Engine), giúp nâng độ chính xác của GPT-4 lên mức cao nhất là 88% (đối với lớp 11).
• Hiện thực hóa phương pháp thành một ứng dụng web giải toán hoàn chỉnh có khả năng giải thích từng bước và so sánh đối chứng trực quan.

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế được tác giả chỉ ra:

  • Mất cân bằng dữ liệu chủ đề: Phân bố số lượng bài toán giữa các chủ đề trong bộ ngữ cảnh chưa đồng đều (ví dụ: ở lớp 10, chủ đề "Bất đẳng thức, bất phương trình" chiếm số lượng lớn trong khi chủ đề "Thống kê" có rất ít dữ liệu; ở lớp 12, chủ đề "Hàm số lũy thừa..." nhiều gấp đôi chủ đề "Khối đa diện").
  • Quy mô tập đánh giá: Số lượng câu hỏi kiểm thử dừng lại ở mức 50 câu/lớp (tổng cộng 150 câu) do rào cản chi phí API.
  • Hạn chế về xử lý thị giác/hình học: Mô hình dựa hoàn toàn trên văn bản nên gặp khó khăn lớn khi xử lý các bài toán hình học không gian, đọc đồ thị hoặc biểu đồ yêu cầu suy luận không gian và biểu diễn trực quan.
  • Tăng độ trễ và chi phí: Quá trình suy luận qua nhiều bước làm tăng độ trễ phản hồi và chi phí tiêu thụ token.

• Hướng nghiên cứu tiếp theo:

  • Mở rộng quy mô và cân bằng dữ liệu cho tất cả các chủ đề toán học.
  • Thử nghiệm mô hình học vài lượt (Few-shot learning) với nhiều hơn một bài toán mẫu nếu giới hạn ngữ cảnh cho phép.
  • Tích hợp các mô hình ngôn ngữ thị giác đa phương thức (Multimodal LLMs) để tiếp nhận và phân tích hình ảnh hình học, đồ thị hàm số.

Giá trị tham khảo

Tài liệu khóa luận này mang lại giá trị tham khảo thiết thực cho các nhóm đối tượng sau:

• Sinh viên các ngành Hệ thống thông tin quản lý, Khoa học dữ liệu, Công nghệ thông tin: Tham khảo phương pháp kết hợp giữa các mô hình học máy truyền thống (CRF, TF-IDF, SVM, Random Forest) với các mô hình ngôn ngữ lớn (LLM API) để giải quyết bài toán chuyên biệt theo miền (domain-specific).
• Nghiên cứu viên và kỹ sư trong lĩnh vực Công nghệ giáo dục (EdTech): Cung cấp tài liệu tham khảo chi tiết về thiết kế hệ thống gia sư thông minh (Intelligent Tutoring System), cách xây dựng đường ống prompt CoT sinh mã Python và cơ chế thực thi mã an toàn trong môi trường Docker.
• Người làm đề tài xử lý ngôn ngữ tự nhiên tiếng Việt: Tham khảo phương pháp tiền xử lý văn bản tiếng Việt chứa công thức toán học và biểu thức LaTeX bằng ViTokenizer.

Câu hỏi thường gặp

1. Quy mô và cấu trúc của bộ dữ liệu toán học được sử dụng trong nghiên cứu này như thế nào?

Bộ dữ liệu gồm 5,661 bản ghi được thu thập từ timdapan.com dựa theo sách giáo khoa Bộ Giáo dục và Đào tạo, chia thành ba tập: Grade10_QA (2,355 bản ghi, 9 chủ đề), Grade11_QA (1,952 bản ghi, 8 chủ đề) và Grade12_QA (1,354 bản ghi, 7 chủ đề). Mỗi bản ghi gồm 3 trường thông tin: Chủ đề (Topic), Câu hỏi (Question) và Lời giải (Answer).

2. Thuật toán học máy nào cho kết quả phân loại chủ đề tốt nhất cho từng khối lớp?

Thuật toán Linear Support Vector Classifier (Linear SVC) đạt độ chính xác cao nhất cho khối lớp 10 (90.4%) và khối lớp 11 (92.6%). Thuật toán Random Forest Classifier đạt độ chính xác cao nhất cho khối lớp 12 (93.7%).

3. Mức độ cải thiện độ chính xác của phương pháp kết hợp (Combined Approach) so với Zero-shot trên mô hình GPT-4 là bao nhiêu?

Trên mô hình GPT-4, phương pháp kết hợp giúp tăng độ chính xác từ 52% lên 80% đối với lớp 10 (tăng 28%), từ 78% lên 88% đối với lớp 11 (tăng 10%), và từ 64% lên 82% đối với lớp 12 (tăng 18%).

4. Môi trường thực thi mã ngoài được triển khai bằng công nghệ gì và bao gồm những thư viện nào?

Hệ thống sử dụng một container Docker chạy môi trường Python 3.9 đặt trên máy chủ từ xa, được kết nối qua API. Môi trường này tích hợp sẵn các thư viện toán học gồm NumPy, Pandas, SciPy và SymPy nhằm đảm bảo tính toán chính xác và cô lập an toàn với hệ thống máy chủ chính.

5. Sự khác biệt về thời gian phản hồi giữa GPT-3.5-turbo và GPT-4 trong nghiên cứu được ghi nhận ra sao?

Ở chế độ Zero-shot, GPT-3.5-turbo có thời gian chạy trung bình là 7.03 giây, nhanh hơn đáng kể so với mức 11.47 giây của GPT-4. Tuy nhiên, khi áp dụng phương pháp kết hợp trên GPT-4, thời gian phản hồi kéo dài hơn từ 3 đến 4 lần so với chế độ Zero-shot do phải xử lý qua nhiều chặng trung gian.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Thảo Vi đã đề xuất và triển khai thành công giải pháp kết hợp giữa phân loại chủ đề, truy vấn bài toán tương tự và thực thi mã ngoài để nâng cao năng lực giải toán THPT Việt Nam của các mô hình ngôn ngữ lớn. Kết quả thực nghiệm chứng minh phương pháp đề xuất giúp GPT-4 đạt độ chính xác từ 80% đến 88% trên các đề thi trắc nghiệm, vượt trội rõ rệt so với phương pháp Zero-shot truyền thống. Công trình không chỉ cung cấp một bộ dữ liệu toán học THPT tiếng Việt có giá trị mà còn hoàn thiện một ứng dụng web thực tế, đóng góp giải pháp kỹ thuật hữu ích cho sự phát triển của các hệ thống gia sư thông minh trong giáo dục số.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY, HANOI INTERNATIONAL SCHOOL GRADUATION PROJECT PROJECT NAME AUGMENTING THE COMPUTATIONAL AND REASONING PROFICIENCIES OF LARGE LANGUAGE MODELS FOR TACKLING VIETNAMESE HIGH SCHOOL MATHEMATICAL PROBLEMS Nguyễn Thảo Vi Hanoi - Year 2024 VIETNAM NATIONAL UNIVERSITY, HANOI INTERNATIONAL SCHOOL GRADUATION PROJECT AUGMENTING THE COMPUTATIONAL AND REASONING PROFICIENCIES OF LARGE LANGUAGE MODELS FOR TACKLING VIETNAMESE HIGH SCHOOL MATHEMATICAL PROBLEMS SUPERVISOR: Dr. Nguyen Doan Dong STUDENT: Nguyen Thao Vi STUDENT ID: 20070011 COHORT: QH2020 SUBJECT CODE: INS401101 MAJOR: Management Information Systems Hanoi - Year 2024 2 ACKNOWLEDGEMENTS I would like to extend my sincere appreciation to my thesis supervisor, Dr. Nguyen Doan Dong, for his unwavering support, invaluable guidance, and genuine enthusiasm throughout this thesis research. His dedicated mentorship has been instrumental in shaping the direction and quality of this work, enabling me to acquire valuable knowledge and develop a profound sense of self-assurance in my chosen field of study.

I am deeply grateful to the Faculty of Applied Science for providing the necessary resources and fostering a conducive learning environment that has facilitated the successful completion of this research. The faculty members, particularly those within the International School, have imparted invaluable knowledge and skills, enriching my academic journey. Furthermore, I would like to express my heartfelt thanks to my family and friends for their steadfast support and encouragement during this challenging endeavor. Their belief in my abilities and constant encouragement has been a constant source of strength and motivation.

Completing a graduation thesis is a demanding undertaking, and I acknowledge that I could not have reached this academic milestone without the companionship, support, and guidance of all those mentioned above. I am sincerely grateful to each and every one of you for being an integral part of this remarkable journey. 3 DECLARATION I, Nguyen Thao Vi, hereby declare that the thesis entitled "Augmenting the Computational and Reasoning Proficiencies of Large Language Models for Tackling Vietnamese High School Mathematical Problems", presented as a partial fulfillment of the requirements for the degree of Management Information Systems at International School, Vietnam National University, Hanoi, is entirely my original work. The ideas, data, and information presented in this thesis have been appropriately sourced and referenced.

The plagiarism rate in this thesis is 16%, as determined through thorough evaluation and verification by my supervising professor, satisfying the requirement set by the Judgement Board of less than 20%,. This thesis reflects my independent thinking and comprehensive understanding of the subject matter, without any falsification, fabrication, or manipulation of data or results. All images, figures, tables, and other materials utilized in this thesis have either been created by myself or have been sourced from the public domain, with proper permissions and acknowledgments from the original creators. I am fully aware that any violation of the aforementioned declarations may lead to consequences in accordance with the academic policies and integrity guidelines of International School, Vietnam National University, Hanoi.

Nguyen Thao Vi 2024 4 List of acronyms Acronym Meaning LLM Large Language Model ICL In-context Learning SR Samples Retrieval CoT Chain-of-thought Q Question A Answer G Grade T Topic SP Sample Problem SA Sample Answer CS Code String CR Code Result CRF Conditional Random Field TF-IDF Term Frequency-Inverse Document Frequency KNN K-Nearest Neighbors MLP Multi-layer Perceptron ACC Accuracy TP True Positives TN True Negatives FP False Positives FN False Negatives API Application Programming Interface 5 List of tables Table no. Table name Table 3-1 Math QA datasets overview Table 3-2 Model Performance Summary on three datasets Table 3-3 Math Topic Grade 10 Classification Report Table 3-4 Math Topic Grade 11 Classification Report Table 3-5 Math Topic Grade 12 Classification Report Table 4-1 Experiment Result Summary List of figures Figure no. Figure name Figure 3-1 Zero-shot GPT-4 Method (Returns incorrect answer) Figure 3-2 The Proposed Method (Returns correct answer) Figure 3-3 Topic Distribution for Grade10_QA Figure 3-4 Topic Distribution for Grade11_QA Figure 3-5 Topic Distribution for Grade12_QA Figure 3-6 Prompt template for code generation Figure 3-7 Code Execution Process via API Figure 5-1 The Architecture of my Math Solver Web App Figure 5-2 Web App Interface for Question Input Figure 5-3 Web App Interface for Answer Output 6 TABLE OF CONTENTS CHAPTER 1 - INTRODUCTION .