Ứng Dụng Học Sâu Trong Giải Quyết Vấn Đề Từ Ở Việt Nam

Khóa luận tốt nghiệp nghiên cứu ứng dụng học sâu trong việc giải quyết bài toán từ vựng toán học bằng tiếng Việt, mang lại giải pháp hiệu quả.

• Tác giả: Ho Hoang Tuc An
• Người hướng dẫn: Associate Professor Do Phuc
• Trường học: Vietnam National University - Ho Chi Minh City University of Information Technology
• Chuyên ngành: Bachelor of Engineering in Information Systems
• Đề tài: Applying Deep Learning In Solving Arithmetic Word Problem In Vietnamese
• Loại tài liệu: Graduate Thesis
• Năm xuất bản: 2020
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• ACKNOWLEDGMENTS
• 1. CHƯƠNG 1: INTRODUCTION
• 1.1. Context of arithmetic word problem
• 1.2. The problem and its significance in real life
• 1.3. ARIS
• 1.4. DILTON
• 1.5. Wolfram
• 1.6. AdditionSolver
• 1.7. Virtual assistant
• 1.8. Our motivation
• 1.9. Our contribution
• 1.10. Structure of the thesis
• 1.11. Chapter Summary
• 2. CHƯƠNG 2: BACKGROUND AND THEORY
• 2.1. Overview
• 2.2. Natural Language Processing
• 2.3. Part-of-speech tagging
• 2.4. Frequency-based embedding
• 2.5. Prediction Based Embedding
• 2.6. Deep Learning model
• 2.7. Recurrent Neural Network
• 3. CHƯƠNG 3: SYSTEM DESIGN AND IMPLEMENTATION
• 3.1. Constructing and pre-processing data
• 3.2. Identifying domain and generating related data
• 3.3. Vietnamese tokenization
• 3.4. Solving problems with built-in functions
• 3.5. Deploy the model using the Flask framework
• 4. CHƯƠNG 4: SYSTEM EVALUATION AND INSTALLATION
• 4.1. Overview of the system evaluation
• 4.2. Component of system evaluation
• 5. CHƯƠNG 5: CONCLUSION AND RECOMMENDATION
• 5.1. The achieved results
• 5.2. Limitations and future works
• APPENDIX A: Additional image of Chapter
• APPENDIX B: Some problems in experimental dataset
• APPENDIX C: Some examples types of question to test
• REFERENCES

Tóm tắt

I. Tổng Quan Về Ứng Dụng Học Sâu Trong Giải Quyết Vấn Đề Từ

Trong bối cảnh phát triển công nghệ thông tin, học sâu đã trở thành một công cụ mạnh mẽ trong việc giải quyết các vấn đề phức tạp, đặc biệt là trong lĩnh vực giáo dục. Ứng dụng trí tuệ nhân tạo (AI) và machine learning trong việc xử lý ngôn ngữ tự nhiên đã mở ra nhiều cơ hội mới cho việc giải quyết các bài toán từ, đặc biệt là trong môi trường học tập tại Việt Nam. Việc áp dụng các mô hình học sâu giúp máy tính có khả năng hiểu và phân tích ngôn ngữ tự nhiên, từ đó đưa ra các giải pháp chính xác hơn cho người dùng.

1.1. Khái Niệm Về Học Sâu Và Ứng Dụng Của Nó

Học sâu là một nhánh của machine learning sử dụng các mạng nơ-ron để học từ dữ liệu lớn. Các ứng dụng của nó trong việc giải quyết bài toán từ bao gồm phân tích ngữ nghĩa, nhận diện mẫu và phân loại thông tin.

1.2. Tầm Quan Trọng Của Giải Quyết Vấn Đề Từ Trong Giáo Dục

Giải quyết các bài toán từ không chỉ giúp học sinh nâng cao khả năng tư duy logic mà còn giúp họ phát triển kỹ năng giải quyết vấn đề trong thực tế. Điều này đặc biệt quan trọng trong bối cảnh giáo dục hiện đại.

II. Những Thách Thức Trong Giải Quyết Vấn Đề Từ Tại Việt Nam

Mặc dù có nhiều tiến bộ trong công nghệ, việc giải quyết các bài toán từ vẫn gặp phải nhiều thách thức. Đầu tiên, ngôn ngữ tự nhiên rất phức tạp và có nhiều cách diễn đạt khác nhau. Thứ hai, việc thiếu dữ liệu lớn và chất lượng cao để huấn luyện các mô hình học sâu cũng là một rào cản lớn. Cuối cùng, sự thiếu hụt các công cụ hỗ trợ và ứng dụng cụ thể cho ngôn ngữ Việt Nam làm cho việc phát triển các giải pháp trở nên khó khăn hơn.

2.1. Đặc Điểm Ngôn Ngữ Việt Nam Và Những Khó Khăn

Ngôn ngữ Việt Nam có nhiều từ đồng âm và ngữ nghĩa phong phú, điều này gây khó khăn cho việc máy tính hiểu chính xác ý nghĩa của câu. Việc này đòi hỏi các mô hình học sâu phải được tối ưu hóa cho ngôn ngữ này.

2.2. Thiếu Dữ Liệu Để Huấn Luyện Mô Hình

Việc thiếu hụt dữ liệu lớn và chất lượng cao để huấn luyện các mô hình học sâu là một thách thức lớn. Điều này ảnh hưởng đến độ chính xác và hiệu quả của các giải pháp được phát triển.

III. Phương Pháp Giải Quyết Vấn Đề Từ Bằng Học Sâu

Để giải quyết các bài toán từ, có thể áp dụng nhiều phương pháp khác nhau. Một trong những phương pháp hiệu quả nhất là sử dụng các mô hình học sâu như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi tiếp (RNN). Những mô hình này có khả năng học từ dữ liệu lớn và nhận diện các mẫu phức tạp trong ngôn ngữ tự nhiên.

3.1. Sử Dụng Mạng Nơ Ron Hồi Tiếp RNN

Mạng nơ-ron hồi tiếp (RNN) rất hiệu quả trong việc xử lý chuỗi dữ liệu, giúp máy tính hiểu được ngữ cảnh của các bài toán từ. RNN có khả năng ghi nhớ thông tin từ các bước trước đó, từ đó cải thiện độ chính xác trong việc giải quyết vấn đề.

3.2. Ứng Dụng Mạng Nơ Ron Tích Chập CNN

Mạng nơ-ron tích chập (CNN) thường được sử dụng trong nhận diện hình ảnh, nhưng cũng có thể áp dụng cho văn bản. CNN giúp phát hiện các đặc trưng quan trọng trong bài toán từ, từ đó cải thiện khả năng phân loại và giải quyết vấn đề.

IV. Ứng Dụng Thực Tiễn Của Học Sâu Trong Giải Quyết Vấn Đề Từ

Nhiều ứng dụng đã được phát triển để giải quyết các bài toán từ trong giáo dục. Một trong số đó là các ứng dụng chatbot, giúp học sinh tương tác và giải quyết bài toán một cách dễ dàng hơn. Các ứng dụng này không chỉ giúp học sinh nâng cao kỹ năng mà còn tạo ra môi trường học tập thú vị và hấp dẫn.

4.1. Chatbot Hỗ Trợ Giải Quyết Bài Toán Từ

Chatbot được phát triển để hỗ trợ học sinh trong việc giải quyết các bài toán từ. Chúng có khả năng tương tác và cung cấp phản hồi ngay lập tức, giúp học sinh hiểu rõ hơn về vấn đề.

4.2. Các Ứng Dụng Học Tập Khác

Ngoài chatbot, còn có nhiều ứng dụng học tập khác sử dụng học sâu để giúp học sinh giải quyết bài toán từ. Những ứng dụng này thường tích hợp các công nghệ mới nhất để cải thiện trải nghiệm học tập.

V. Kết Luận Và Tương Lai Của Ứng Dụng Học Sâu

Tương lai của việc ứng dụng học sâu trong giải quyết vấn đề từ tại Việt Nam rất hứa hẹn. Với sự phát triển không ngừng của công nghệ, các giải pháp sẽ ngày càng trở nên hiệu quả và chính xác hơn. Việc đầu tư vào nghiên cứu và phát triển trong lĩnh vực này sẽ giúp nâng cao chất lượng giáo dục và hỗ trợ học sinh tốt hơn trong việc học tập.

5.1. Triển Vọng Phát Triển Công Nghệ

Công nghệ học sâu sẽ tiếp tục phát triển và mở rộng ứng dụng trong nhiều lĩnh vực khác nhau, bao gồm giáo dục. Điều này sẽ tạo ra nhiều cơ hội mới cho học sinh và giáo viên.

5.2. Khuyến Khích Nghiên Cứu Và Đổi Mới

Cần khuyến khích nghiên cứu và đổi mới trong lĩnh vực học sâu để phát triển các giải pháp phù hợp với ngôn ngữ và văn hóa Việt Nam. Điều này sẽ giúp nâng cao hiệu quả giáo dục và hỗ trợ học sinh tốt hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự bùng nổ của cuộc Cách mạng Công nghiệp 4.0 đã thúc đẩy sự phát triển mạnh mẽ của Trí tuệ nhân tạo (Artificial Intelligence - AI), Học máy (Machine Learning - ML) và Học sâu (Deep Learning - DL), tạo ra nhiều chuyển biến tích cực trong nhiều lĩnh vực như y tế, văn hóa, tài chính và giáo dục. Trong môi trường sư phạm, việc tích cực ứng dụng công nghệ thông tin đã mang lại nhiều góc nhìn mới mẻ và mở rộng khả năng tiếp cận tri thức cho người học. Tuy nhiên, việc áp dụng công nghệ vào các môn học đòi hỏi tính suy luận logic như môn Toán cấp tiểu học vẫn còn nhiều rào cản; học sinh thường xuyên phụ thuộc vào sự hướng dẫn trực tiếp từ giáo viên để hiểu và giải quyết bài toán.

Tại Việt Nam, với quy mô gần 9 triệu học sinh tiểu học, phần lớn các em chưa đủ khả năng đọc hiểu tiếng Anh để sử dụng các phần mềm học tập quốc tế, trong khi hầu hết các công cụ giải toán tự động hiện nay chỉ hỗ trợ ngôn ngữ tiếng Anh. Bài toán số học có lời văn (Arithmetic Word Problems) được diễn đạt bằng ngôn ngữ tự nhiên tiếng Việt đặt ra hai thách thức nghiên cứu chính:

1. Khả năng hiểu và phân tích ngôn ngữ tự nhiên của máy tính: Ngôn ngữ tự nhiên có tính đa nghĩa, không có nhiều quy tắc cứng nhắc và phụ thuộc vào ngữ cảnh. Hệ thống không cần hiểu từng từ riêng lẻ theo cách của con người mà cần nhận diện được khuôn mẫu cú pháp và ngữ nghĩa của bài toán.
2. Khả năng nhận dạng và phân loại dạng toán: Các bài toán số học có lời văn có nhiều dạng khác nhau với cấu trúc dữ liệu đa dạng. Nhiệm vụ đặt ra là trích xuất từ khóa, thực thể và sự kiện để phân loại chính xác dạng toán, từ đó áp dụng các công thức tính toán phù hợp.

Khóa luận "Applying Deep Learning in Solving Arithmetic Word Problem in Vietnamese" (Ứng dụng học sâu trong giải quyết bài toán có lời văn bằng tiếng Việt) được thực hiện bởi hai sinh viên Hồ Hoàng Túc An (MSSV: 16520003) và Hoàng Minh Khiêm (MSSV: 16520588) thuộc Chương trình Tiên tiến, Khoa Hệ thống Thông tin, Trường Đại học Công nghệ Thông tin - Đại học Quốc gia TP.HCM, dưới sự hướng dẫn của PGS. TS. Đỗ Phúc vào năm 2020. Mục tiêu trọng tâm của đề tài là xây dựng một đường ống (pipeline) hoàn chỉnh ứng dụng các mô hình học sâu để tự động tiếp nhận, xử lý ngôn ngữ tự nhiên, phân loại và giải các bài toán số học tiểu học bằng tiếng Việt, đồng thời tích hợp giao diện Chatbot tương tác trên nền tảng web.

---

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết toàn diện bao gồm các kỹ thuật Xử lý Ngôn ngữ Tự nhiên (NLP) và các kiến trúc Mạng nơ-ron hồi quy trong Học sâu:

1. Tổng quan các nghiên cứu liên quan

Tác giả đã khảo sát và phân tích ưu, nhược điểm của các hệ thống giải toán có lời văn tiêu biểu trên thế giới:

• ARIS (Mohammad Javad Hosseini et al.): Phân loại văn bản thành 5 biểu diễn (thực thể, vật chứa, thuộc tính, số lượng, quan hệ) và gán vào 7 nhóm quan hệ (Quan sát, Tích cực, Tiêu cực, Chuyển giao tích cực, Chuyển giao tiêu cực, Tạo mới, Phá hủy). Hệ thống đạt độ chính xác khoảng 80% nhưng không xử lý được các bài toán chứa yếu tố so sánh.
• DILTON (Purvanshi Mehta et al.): Sử dụng mạng GRU và LSTM để chia bài toán thành 2 phần: WorldState (mô tả số lượng và sự chuyển giao giữa các vật chứa) và Query (câu hỏi tìm đại lượng). DILTON giải được cả 4 phép tính (+, -, *, /) với độ chính xác đạt tới 88%, song hạn chế ở các bài toán có nhiều hơn 2 đại lượng hoặc có so sánh.
• WolframAlpha (2009): Công cụ tính toán tri thức giải được 4 phép toán cơ bản kèm giải thích từng bước, nhưng hiệu năng xử lý văn bản tự nhiên chưa tối ưu so với các mô hình chuyên biệt.
• AdditionSolver (Sowmya S Sundaram & Deepak Khemani, 2015): Cải tiến từ ARIS bằng cách bổ sung khả năng tìm từ khóa xác định quan hệ giữa các thực thể (ví dụ: "nhiều hơn", "ít hơn"), giúp tăng 4% độ chính xác so với ARIS.
• Trợ lý ảo thương mại: Siri (ra mắt năm 2011 trên iPhone 4S), Google Assistant, Cortana, Bixby có khả năng giao tiếp tốt nhưng chưa hỗ trợ giải bài toán số học có lời văn chuyên sâu bằng tiếng Việt.

2. Xử lý ngôn ngữ tự nhiên tiếng Việt

• Các thành phần trong NLU (Natural Language Understanding): Phân tích hình thái (Morphological Analysis), phân tích cú pháp (Syntactic Analysis/Parsing), phân tích ngữ nghĩa (Semantic Analysis) và phân tích diễn ngôn (Discourse Analysis).
• Phân đoạn từ (Word Segmentation): Xử lý đặc thù tiếng Việt khi khoảng trắng dùng để phân tách âm tiết thay vì ranh giới từ. Tác giả tập trung giải quyết 2 loại nhập nhằng chính:
  • Nhập nhằng chồng lấn (Overlapping ambiguity): Cụm 3 âm tiết $x\ y\ z$ có thể phân tách thành $[x\ y]\ [z]$ hoặc $[x]\ [y\ z]$ (ví dụ: "đội bóng bàn").
  • Nhập nhằng kết hợp (Combination ambiguity): Từ 2 âm tiết có nghĩa khác nhau tùy ngữ cảnh (ví dụ: "bọ cạp").
• Gán nhãn từ loại (Part-of-speech Tagging - POST): Sử dụng bộ 21 nhãn từ loại theo chuẩn Hội thảo Xử lý Ngôn ngữ và Tiếng nói tiếng Việt (VLSP 2013) tích hợp trong công cụ VnCoreNLP.

Mã nhãn	Tên nhãn từ loại	Ví dụ minh họa trong văn bản
N	Danh từ (Noun)	cây_cối, thủ_đô, chương_trình
Np	Danh từ riêng (Proper noun)	Hồ_Chí_Minh, Việt_Nam
Nc	Danh từ chỉ loại (Classifier noun)	cái, chiếc, trái, cục
Nu	Danh từ đơn vị (Unit noun)	mét, lít, kí
Ni	Danh từ viết tắt (Abbreviated noun)	A0, A1, AAA
V	Động từ (Verb)	cho, lấy, mượn, ăn
A	Tính từ (Adjective)	tiên_tiến, cao, thấp
P	Đại từ (Pronoun)	tôi, chúng_tôi, nó
L	Định từ (Determiner)	mọi, các, những
M	Số từ / Lượng từ (Numeral/Quantity)	một, mười, 15, 5
R	Phó từ (Adverb)	vừa, đã, sẽ, đang
E	Giới từ (Preposition)	trên, dưới, trong, của
C	Liên từ phụ thuộc (Subordinating conjunction)	nhưng, tuy_nhiên
Cc	Liên từ kết hợp (Coordinating conjunction)	và, cùng, với
I	Thán từ (Interjection/Exclamation)	ôi, ôi chao
T	Trợ từ / Tình thái từ (Particle/Modal)	à, ạ, chắc, chăng
B	Từ mượn tiếng nước ngoài (Borrowed noun)	Internet, chat, video
Y	Từ viết tắt (Abbreviation)	WHO, HTTT, CTTT
X	Chưa định nghĩa / Loại khác	-
Z	Ngữ tố liên kết (Bound morpheme)	bất, bộ, phi
CH	Dấu câu và ký hiệu (Punctuation)	., ,, ?, !

3. Biểu diễn từ (Word Embedding)

• Phương pháp dựa trên tần suất (Frequency-based): Count Vector, ma trận đồng xuất hiện (Co-occurrence Matrix kết hợp giảm chiều dữ liệu SVD, PCA) và TF-IDF ($TF(t,d) = \frac{f(t,d)}{\sum_{t' \in d} f(t',d)}$; $IDF(t,D) = \log\frac{|D|}{|{d \in D : t \in d}|}$).
• Phương pháp dựa trên dự đoán (Prediction-based): Word2Vec gồm hai kiến trúc Skip-gram (dự đoán từ ngữ cảnh dựa trên từ trung tâm bằng hàm Softmax) và CBOW (dự đoán từ trung tâm từ các từ ngữ cảnh); FastText của Facebook sử dụng kỹ thuật tách từ thành các $n$-gram ký tự để biểu diễn các từ hiếm hoặc từ nằm ngoài từ điển (OOV).

4. Các mô hình học sâu chuỗi (Sequential Models)

• Mạng nơ-ron hồi quy cơ bản (RNN): Xử lý dữ liệu chuỗi nhờ trạng thái ẩn $h_t = f(U x_t + W h_{t-1} + b)$ và đầu ra $o_t = V h_t + c$. Tuy nhiên, RNN gặp hiện tượng triệt tiêu đạo hàm (Vanishing Gradient) khi xử lý chuỗi dài.
• Mạng Long Short-Term Memory (LSTM): Giải quyết sự phụ thuộc xa thông qua trạng thái ô nhớ ($C_t$) và 3 cổng điều khiển:
  • Cổng quên (Forget gate): $f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$ quyết định mức độ loại bỏ thông tin cũ.
  • Cổng vào (Input gate): $i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$ và trạng thái ứng viên $\tilde{C}t = \tanh(W_c \cdot [h{t-1}, x_t] + b_c)$. Trạng thái ô nhớ mới: $C_t = f_t * C_{t-1} + i_t * \tilde{C}_t$.
  • Cổng ra (Output gate): $o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$ và tính toán trạng thái ẩn: $h_t = o_t * \tanh(C_t)$.
• Mạng Gated Recurrent Unit (GRU): Cải tiến tinh gọn hơn LSTM khi không sử dụng trạng thái ô nhớ riêng biệt mà chỉ dùng 2 cổng: Cổng cập nhật (Update gate) và Cổng đặt lại (Reset gate), giúp giảm tham số và tăng tốc độ tính toán.

---

Thiết kế và triển khai

Hệ thống được thiết kế theo một quy trình khép kín gồm 3 giai đoạn chính:

1. Xây dựng và tiền xử lý dữ liệu:

   • Thu thập và chuẩn hóa ngữ liệu bài toán số học tiểu học tiếng Việt, xử lý sự sai khác giữa chuẩn mã hóa Unicode tổ hợp (combinational Unicode) và Unicode dựng sẵn (built-in Unicode).
   • Tách từ tiếng Việt bằng công cụ VnCoreNLP.
   • Gán nhãn từ loại (POST) để xác định các danh từ chỉ đối tượng, đại lượng, động từ chỉ hành động thêm/bớt/chuyển giao và số từ.
   • Mã hóa nhãn mục tiêu bằng LabelEncoder() và chuyển đổi văn bản sang vector đặc trưng bằng TF-IDF.

2. Xây dựng mô hình phân loại học sâu:

   • Thiết kế và huấn luyện hai mô hình phân loại văn bản: LSTM và GRU.
   • Kiến trúc tích hợp các hàm kích hoạt phi tuyến bao gồm ReLU (Rectified Linear Unit) ở các tầng ẩn và Softmax ở tầng đầu ra để phân loại xác suất các dạng toán.

3. Engine giải toán tự động và triển khai hệ thống:

   • Định vị từ ngữ và trích xuất các tham số số học trong câu văn bản.
   • Xây dựng hệ thống các hàm mẫu định sẵn (built-in functions/templates); sau khi mô hình học sâu dự đoán chính xác dạng toán, các tham số trích xuất sẽ được truyền vào hàm tương ứng để tính toán kết quả số học cuối cùng.
   • Đóng gói và triển khai mô hình lên môi trường web thông qua framework Flask (Python), cung cấp giao diện người dùng trực quan kết hợp Chatbot hỏi đáp tự động hỗ trợ học sinh tương tác trực tiếp.

---

Nội dung chính theo từng chương

Chapter 1: Introduction (Giới thiệu)

Chương 1 trình bày bối cảnh chuyển đổi số trong giáo dục, chỉ ra thực trạng thiếu hụt các công cụ giải toán số học có lời văn dành riêng cho học sinh tiểu học tại Việt Nam. Tác giả phân tích tính cấp thiết của đề tài, tổng quan các công trình nghiên cứu liên quan trên thế giới (ARIS, DILTON, WolframAlpha, AdditionSolver, các trợ lý ảo), xác định động lực nghiên cứu, 4 đóng góp chính của khóa luận và phác thảo cấu trúc 5 chương của tài liệu.

Chapter 2: Background and theory (Cơ sở lý thuyết và nền tảng)

Chương 2 cung cấp nền tảng khoa học chi tiết phục vụ cho đề tài. Nội dung bao gồm tổng quan về NLP và hai nhánh NLU/NLG; phân tích chuyên sâu về bài toán tách từ tiếng Việt và các dạng nhập nhằng; bộ 21 nhãn từ loại của VnCoreNLP; các kỹ thuật biểu diễn từ (Count Vector, TF-IDF, Co-occurrence Matrix, Word2Vec với Skip-gram/CBOW, FastText); cấu trúc mạng ANN, hạn chế của RNN truyền thống và nguyên lý toán học chi tiết của các cổng điều khiển trong kiến trúc LSTM và GRU.

Chapter 3: System design and implementation (Thiết kế và hiện thực hệ thống)

Chương 3 mô tả chi tiết kiến trúc và quy trình hiện thực hóa hệ thống. Tác giả trình bày các giai đoạn:

• Thu thập dữ liệu bài toán số học tiểu học và chuẩn hóa mã ký tự tiếng Việt.
• Sử dụng VnCoreNLP để phân đoạn từ và gán nhãn từ loại (POST).
• Vector hóa dữ liệu bằng TF-IDF và mã hóa nhãn bằng LabelEncoder().
• Xây dựng mô hình phân loại chuỗi sử dụng LSTM và GRU với các hàm kích hoạt ReLU và Softmax.
• Thiết kế đường ống giải toán tự động với các hàm định sẵn (built-in functions pipeline).
• Triển khai ứng dụng hoàn chỉnh trên môi trường web bằng framework Flask và tích hợp module Chatbot.

Chapter 4: System evaluation and installation (Đánh giá hệ thống và cài đặt)

Chương 4 tập trung vào quy trình thực nghiệm và kiểm thử hệ thống. Tác giả trình bày chi tiết:

• Quy trình đánh giá hệ thống (System evaluation pipeline).
• Đo lường độ chính xác (Training accuracy) và hàm mất mát (Training loss) của hai mô hình LSTM và GRU qua các epoch huấn luyện.
• Bảng so sánh hiệu năng giữa mô hình LSTM và khả năng giải toán của con người (Comparison between human and LSTM model).
• Phân tích các trường hợp giới hạn của hệ thống (Limitation A, Limitation B) đối với các dạng câu hỏi phức tạp hoặc câu hỏi nhiều bước tính.
• Trình bày giao diện thực tế của ứng dụng web và các kịch bản tương tác của Chatbot tiếng Việt.

Chapter 5: Conclusion and recommendation (Kết luận và đề xuất)

Chương 5 tổng kết toàn bộ các kết quả đạt được của khóa luận, bao gồm việc xây dựng thành công pipeline phân loại và giải toán tự động bằng tiếng Việt kèm giao diện Chatbot. Đồng thời, tác giả thẳng thắn chỉ rõ các mặt hạn chế còn tồn đọng trong quá trình xử lý câu hỏi phức tạp và đề xuất các hướng phát triển, mở rộng mô hình trong tương lai.

---

Kết quả và đóng góp

1. Kết quả thực nghiệm chính

• Xây dựng thành công quy trình xử lý ngôn ngữ tự nhiên dành riêng cho bài toán số học tiếng Việt cấp tiểu học, tích hợp đầy đủ các bước chuẩn hóa Unicode, tách từ, gán nhãn từ loại và vector hóa đặc trưng.
• Huấn luyện và đánh giá chi tiết độ chính xác (Accuracy) cũng như hàm mất mát (Loss) của hai mô hình học sâu LSTM và GRU trong bài toán phân loại dạng toán.
• Thiết lập thành công engine trích xuất số liệu, phân tích thực thể - quan hệ và tự động ánh xạ vào các hàm tính toán định sẵn để cho ra đáp án chính xác.
• Xây dựng hoàn chỉnh ứng dụng web dựa trên Flask framework tích hợp giao diện Chatbot tương tác giải toán bằng tiếng Việt có tính thẩm mỹ và ứng dụng thực tế.
• Khóa luận được Hội đồng đánh giá và Giảng viên hướng dẫn - PGS. TS. Đỗ Phúc chấm điểm 9.5/10, đạt xếp loại Xuất sắc (Excellent).

2. Đóng góp khoa học và thực tiễn của tác giả

1. Ứng dụng công cụ xử lý ngôn ngữ tự nhiên tiếng Việt chuyên sâu: Áp dụng hiệu quả các thuật toán và bộ công cụ (VnCoreNLP) để phân tích cú pháp, gán nhãn từ loại và xác định mối tương quan giữa các đối tượng xuất hiện trong đề bài toán.
2. Khai thác mạng nơ-ron hồi quy trong phân loại toán học: Ứng dụng thành công mô hình RNN (LSTM/GRU) vào việc tự động nhận dạng các dạng bài toán số học, tối ưu hóa thời gian xử lý và tận dụng khả năng tự học của máy tính.
3. Phát triển giao diện Chatbot tương tác: Xây dựng module Chatbot tiếng Việt giúp học sinh tiểu học dễ dàng đặt câu hỏi, tiếp cận lời giải và tăng cường hứng thú trong học tập môn Toán.
4. Tiên phong xử lý bài toán số học tiếng Việt: Khóa luận là một trong những công trình ứng dụng đầu tiên kết hợp NLP và Deep Learning để giải quyết trọn vẹn bài toán số học có lời văn bằng ngôn ngữ tự nhiên tiếng Việt.

---

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung đánh giá tại Chương 4 và Chương 5 của tài liệu:

• Hạn chế:
  • Hệ thống vẫn gặp khó khăn đối với các bài toán có cấu trúc câu quá phức tạp, câu văn chứa nhiều mệnh đề so sánh lồng nhau hoặc bài toán đòi hỏi nhiều bước suy luận trung gian (được minh chứng qua các trường hợp giới hạn và phân phối câu trả lời cho câu hỏi phức tạp).
  • Khả năng giải toán phụ thuộc vào số lượng và độ bao phủ của các hàm mẫu tính toán định sẵn (built-in templates); nếu bài toán thuộc dạng hoàn toàn mới chưa được định nghĩa hàm giải thì hệ thống chưa thể suy luận ra công thức mới.
• Hướng nghiên cứu tiếp:
  • Mở rộng quy mô tập dữ liệu huấn luyện với đa dạng các dạng toán tiểu học và nâng cao hơn.
  • Cải tiến kiến trúc mô hình học sâu để tăng cường khả năng tự động sinh công thức toán học thay vì phụ thuộc hoàn toàn vào các template cố định.
  • Nâng cấp khả năng xử lý hội thoại của Chatbot, bổ sung tính năng giải thích chi tiết từng bước giải (step-by-step reasoning) bằng tiếng Việt cho học sinh.

---

Giá trị tham khảo

Tài liệu khóa luận mang lại giá trị tham khảo thiết thực cho các đối tượng:

• Sinh viên và học viên ngành Hệ thống Thông tin, Khoa học Máy tính, Trí tuệ Nhân tạo: Là tài liệu tham khảo chuẩn mực về phương pháp xây dựng một dự án ứng dụng NLP và Học sâu từ khâu thu thập dữ liệu, tiền xử lý ngôn ngữ tiếng Việt đặc thù, huấn luyện mô hình cho đến đóng gói sản phẩm web.
• Nghiên cứu sinh, kỹ sư phát triển hệ sinh thái EdTech: Cung cấp giải pháp kỹ thuật cụ thể về việc kết hợp mô hình phân loại học sâu với engine suy diễn dựa trên luật/mẫu (rule-based templates) để giải quyết các bài toán giáo dục tự động.
• Phần đáng tham khảo nhất:
  • Phần tổng hợp lý thuyết toán học và biểu đồ kiến trúc chi tiết của LSTM và GRU (Chương 2).
  • Bảng đối chiếu 21 nhãn từ loại tiếng Việt theo chuẩn VLSP 2013 và kỹ thuật xử lý nhập nhằng tách từ (Chương 2).
  • Quy trình tích hợp mô hình học sâu với framework Flask và Chatbot tương tác thực tế (Chương 3 và Chương 4).

---

Câu hỏi thường gặp

1. Khóa luận sử dụng các mô hình học sâu nào để phân loại bài toán số học?
Tác giả đã nghiên cứu, hiện thực và so sánh hai kiến trúc mạng nơ-ron hồi quy tiên tiến là Long Short-Term Memory (LSTM) và Gated Recurrent Unit (GRU), kết hợp với các hàm kích hoạt ReLU ở tầng ẩn và Softmax ở tầng phân loại đầu ra.

2. Công cụ nào được sử dụng để xử lý ngôn ngữ tự nhiên tiếng Việt trong hệ thống?
Khóa luận sử dụng bộ công cụ VnCoreNLP để thực hiện các tác vụ tiền xử lý cốt lõi, bao gồm tách từ tiếng Việt (Vietnamese word tokenization) và gán nhãn từ loại (Part-of-speech tagging) dựa trên bộ 21 nhãn từ loại chuẩn VLSP 2013.

3. Engine giải toán thực hiện tính toán kết quả cuối cùng như thế nào sau khi phân loại?
Sau khi mô hình học sâu phân loại chính xác dạng bài toán, hệ thống sẽ trích xuất các thực thể và số liệu từ văn bản đã được gán nhãn từ loại (POST), sau đó ánh xạ và truyền các tham số này vào các hàm tính toán mẫu định sẵn (built-in functions/templates) tương ứng với dạng toán đó để tính ra kết quả.

4. Ứng dụng của đề tài được triển khai trên nền tảng nào?
Toàn bộ hệ thống được đóng gói và triển khai dưới dạng một ứng dụng web hoàn chỉnh sử dụng framework Flask (ngôn ngữ Python), tích hợp module Chatbot tiếng Việt cho phép người dùng nhập đề bài toán và nhận phản hồi trực tiếp.

5. Kết quả đánh giá của Giảng viên hướng dẫn đối với khóa luận này như thế nào?
Giảng viên hướng dẫn - PGS. TS. Đỗ Phúc đánh giá khóa luận đạt kết quả toàn diện từ cấu trúc báo cáo 5 chương chuẩn mực khoa học, khả năng nghiên cứu lý thuyết NLP/Deep Learning đến việc xây dựng thành công ứng dụng web/chatbot có tính thẩm mỹ và ứng dụng cao. Khóa luận được chấm điểm 9.5/10 với xếp loại Xuất sắc (Excellent).

---

Kết luận

Khóa luận tốt nghiệp của sinh viên Hồ Hoàng Túc An và Hoàng Minh Khiêm đã giải quyết thành công bài toán tự động hóa quá trình tiếp nhận, phân loại và giải các bài toán số học có lời văn bằng tiếng Việt cấp tiểu học thông qua việc kết hợp các kỹ thuật xử lý ngôn ngữ tự nhiên và mô hình học sâu LSTM/GRU. Hệ thống không chỉ dừng lại ở mô hình lý thuyết thực nghiệm mà đã được đóng gói hoàn chỉnh thành một ứng dụng web tương tác qua Chatbot bằng framework Flask. Với phương pháp nghiên cứu chặt chẽ và kết quả triển khai mang tính ứng dụng cao, đề tài đã được Hội đồng đánh giá xếp loại Xuất sắc (9.5/10) và là tài liệu tham khảo giá trị cho các nghiên cứu tiếp theo về ứng dụng AI trong giáo dục tại Việt Nam.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY FACULTY OF INFORMATION SYSTEMS HO HOANG TUC AN HOANG MINH KHIEM GRADUATE THESIS BACHELOR OF ENGINEERING IN INFORMATION SYSTEMS HO CHI MINH CITY, 2020 VIETNAM NATIONAL UNIVERSITY - HO CHI MINH CITY UNIVERSITY OF INFORMATION TECHNOLOGY FACULTY OF INFORMATION SYSTEMS HO HOANG TUC AN - 16520003 HOANG MINH KHIEM - 16520588 GRADUATE THESIS BACHELOR OF ENGINEERING IN INFORMATION SYSTEMS THESIS ADVISOR Associate Professor - Doctor DO PHUC HO CHI MINH CITY, 2020 UNIVERSITY OF INFORMATION TECHNOLOGY ADVANCED PROGRAM AEF Advanced Education Program IN INFORMATION SYSTEMS COMMENTS OF THESI SS REVI EWER/ ADVI SOR Thesis title: APPLYING DEEP LEARNING IN SOLVING ARITHMETIC WORD PROBLEM IN VIETNAMESE Student 1: Advisor: HO HOÀNG TÚC AN_ - 16520003 Associate Professor Do Phuc Student 2: HOANG MINH KHIEM — 16520588 Comments 1. Report format: Students have complied with graduation thesis format requirements. Students write reports in accordance with scientific format. Research content is appropriately distributed in 5 chapters, fully covers the work that students have done.

Research content: Students can explore, research and present content related to the thesis topic which is applying deep learning to process natural language of arithmetic word problems in Vietnamese. In addition, students have also applied deep learning models into the classification system of different problems. Application Students can deploy applications on the web. Students have built a complete application related to the graduated thesis on basic text classification, arithmetic word problem solving and Chatbot questioning, which is highly practical and aesthetic.

Attitude Students work seriously, carefully, thoughtfully and have a high sense of responsibility to complete their dissertation on time. Overall assessment: Excellent Mark: Student 1: 9.5/10 Ho Chi Minh city,. Reviewer Assoc Prof. DO PHÚC ASSESSMENT COMMITTEE The Assessment Committee is established under the Decision.

by Rector of the University of Information Technology. II eccccceeseseeesssseessseeeeenes - Chairman. - Secretary — - Member ACKNOWLEDGMENTS We would like to express our special appreciation and thanks to Associate Professor Do Phuc for being a great advisor to all of us. With his patience, motivation, enthusiasm, and rich knowledge, Mr.

Phuc has helped us a lot in the process of researching and writing this thesis. Without his valuable guidances, we would not be able to complete this project successfully, fully, and on time. Next, I would like to thank all the teachers in the faculty and the school for their enthusiastic guidance so that I have the opportunity to do this graduation thesis. Besides, we would like to thank Mr.

Hung Le and the rest of our classmates for their supports, encouragement, and insightful comments during the process of making this thesis. And finally, we would like to extend our deepest gratitude to our parents, brothers, and sisters for their love, caring, and sacrificing for educating and preparing us for this day. Sincerely, Ho Chi Minh City,. Student 1 Student 2 TABLE OF CONTENTS caso ACKNOWLEDGMENT .ccssssssssssssscscssssessessccssssssscsessesessasscssesessecsessssersassessesessesses i TABLE OF CONTENTS .scscssssssssssssccssssssesscssrsessscsessssessesssssssessccsessesessassssessesscsses ii LIST OF EFIGUREES.

HH 0006008090 Y LIST OF TAB.-c << G0 00600800004000410008040060000 vii LIST OF ABBREYVTA TIONS. (TH HH 100 000048068080060406880 056 viii ABSTTRACCTT. 00008 008040489008060081000004000800000048059004001880 ix Chapter 1 Infr0UCfÏOIT.1 Context of arithmetic word probl€rm.2 _ The problem and its significance in real lIÍe. ieee ee ceeceesecseseeecseseesesceesscseesesseessesesscsssessenesaseesaseeeenaeees 2 3 he.2 BH TONSSS sọ ĐÔ ——Í ĐỀ Tà TH Tà Hà Tà ki HU2 I0 cm .-- «<1 thà HT TH TH HH HH3 1.

Ăn HH HH HH HH4 1.4 OUP mOtIVA(IOH.-- ST TH TH HH HH4 IS) ) ái nh cố. -ó- + 1h91 HT nh HH nh nh ngàn6 Chapter 2 Background and theory .2 Natural Language PTOC€SSITE.- - -- + 1v vn 1g ghe 8 ii 2. 9 24 Part-of-speech fagø1ng.---- 5 tk HH ng TH HH nh ghghnưh 11 2.-- -- - - - + 5 k9 21 v1 11v ng ng ngư 14 2.1 Frequency-based embeddIng.2 Prediction Based Embedding.6 Deep Learning model. --- 6+ x19 12v 2 ng gu ng re 23 2.

Ăn HH HH TH ngư 23 2.2 Recurrent Neural NefWOTK.- Sàn HH HH gi, 27 2. SN cố hh.- ---¿- +5 *S* SE kh HT HH HH rệt 34 Chapter 3 System design and implemennfafÏOTA. s- << <5 5< s5< s=< se sssssese 35 E9 cà 9ê.2 Constructing and pre-processing (Ìafa.1 Identifying domain and generating related data.3 Vietnamese tOk€n1ZafIOI.--- 6 + tt HH ng gi 42 3.4 Solving problems with built-in fUNCtiONS.5 Deploy the model using the Flask framewWOTK.----- ++s se £sx+exsesese 55 3. 56 Chapter 4 System evaluation and insfaÌÏafÏOI.1 Overview of the system €VaÏUafÏOTI.1 Component of system evaluation.

«hà TH TH HT HH nghiệt 58 co nh.-- S55 Sàn HH HH ri 58 CV AM ác.-- s5 xxx ngư 64 ` su ri on. 71 Chapter 5 Conclusion and recommenafÏOTA.1 The achieved r€SuÏ(S.2 Limitations and future WOTKS. ¿+ 5c SE St SE +EEEEE+EskekErkrkrerrkekrrrrerxre 75 REFERENCES GP, on TEI .cc cÍso<e << na n2 Á4880801004664088480868408400846086 6866 77 APPENDIX A: Additional image of ChaafOÉ.o 05555 55s S59 55 89558955896 79 APPENDIX B: Some problems in experimental dataset .-- <5 5 «55s «sess 81 APPENDIX C: Some examples types of question to teSt .s--<s=es sesssesss 82 iv LIST OF FIGURES caso Figure 2.1: Visualize the count of the first iteration in D3 and D4.2 The Skip-gram model architeCfure.3: The Continuous Bag of Words model architecture .4 The word “gastroenteritis” slide into many n-grams in fastText.5 FastText’s result of finding words similar to “øastroenferIfIs”.6: An Artificial Neural Network archIt€CfUT€-.- 555cc s+xssssxsex 24 Figure 2.7: A basic unfolded RNN .----- nàn HH HH ngư 25 Figure 2.8: Types of RNN models .9: The repeating module of LSTM .10: The cell state of a memory CeÌÌ_.-- ¿+ ++s£+x+k£sxex+ersxeerseeeree 29 Figure 2.11: The gate of the memory Cell .- -¿- 6+ 5+ +++£+*£+*£+E£eE+eE+eEeeEeereereesseeee 29 Figure 2.12: The processes the forget ØAf€.13: The processes in the input Øaf©.-- ¿5< + 5+ + £sx++eEseerseeeree 31 Figure 2.14: The processes in the cell Staf€.15: The processes in the output gate oo. cece eeeseeeeseeeeeseeeeseseeseseeeenees 32 Figure 2.16: Basic architecture of GRU's celÏ.1: The pipeline of the SÿSf€TT.2: Data construction DID€Ï1T€.3: The comparison of combinational Unicode and built-in Unicode.4: The pipeline architecture of VnCoreNLP .5: Result of the Vietnamese word token1ZafIOI.6: Results of LabelEncoder() fUNCtion .7: Result Of TF-IDF ã21.8: Top Python Libraries for Deep Learning, Natural Language Processing & Computer ViSIOT.

G5 1x9 ng nh HH ng ng gu rà 47 Figure 3.9: Structure of LS TM model .- - ó5 11x 91 11 9 1 111111 1 vn ng ri 48 Figure 3.10: Graph of the ReLU ÍunCfION. - - 6-6 +S+S+ SE *k*#ersrsrerrkrkrkrere 49 Figure 3.11: Example softmax activation funCfIOH.---- +5 + + ssx+tsexseserseeerseeeeee 50 Figure 3.12: Structure of GRU model .13: Result of POSÏT,. - -- «5 s11 1919311111 11121 HH TH HH TT ghi 53 Figure 3.14: Results of locating words in Sentences .15: Problem-solving with built-in functions pipeline.17: Web application 1TI{TÍiAC€.1: System evaluation pID€Ï1TI€.- -- c5 2S 2xx 9 9k2 kg vn ren 58 Figure 4.2: Training accuracy of LSTM model.- - - - «+ 5+ + ‡xesk+rersrerereeeees 59 Figure 4.3: Training loss of LSTM mOeÌL.4: Training accuracy of GRU mmoel.5: Training loss of GRU model .- 6 6< 5+ + £**E*EeE+eEseeeeeereereseserse 62 Figure 4.6: Comparison of LSTM and GRRỦ.7: Insight of experimental DFOC€SS.-- ¿5-56 + St Sssrerseerseevree 65 Figure 4.8: Limitation of system - A.- 5s th HH ng HH ng hp 66 Figure 4.9: Limitation of system —. --- ¿64 kh HT TH HH HH TH HH rêp 67 Figure 4.10: Distribute the number of answers to complex quesfIon.11: Interface of Chatbot - A.

s65 1211121 1911 19121 101g ng ren 70 Figure 4.12: Interface of Chatbot — B,. -- St 3 121 1911119121 101g ngư 71 vi LIST OF TABLES caso Table 2.1: Texts representation in Vietnamese and English. HH HH HH ng HH HT TT HH TH TT HH ghi 12 Table 2.3: Count vector Of D1 and ]D22. - 5 5 tk 2%1 1 E1 91132311 9v vu ren 15 Table 2.4: Co-occurrence matrix of D3 and ID4.1: Old and new way for accent marks the DOSIfIOTI.1: Training accuracy Of LS TM model .2: Training loss bo08 0/0001.3: Training accuracy of GRU model .4: Training loss of GRU model .5: Comparison between human and LSTM model .-- 5 + «5s ++s<++ 65 Vii LIST OF ABBREVIATIONS caso Al Artificial Intelligence ML Machine Learning DL Deep Learning RNN Recurrent Neural Network CS Computer Science NLP Natural Language Processing POS Part of speech LSTM Long Short-term Memory GRU Gated Recurrent Unit NLU Natural Language Understanding NLG Natural Language Generation POST Part of speech tagging CREs Conditional Random Fields HMMs Hidden Markov Models TF - IDF Term Frequency — Inverse document Frequency SVD Singular Value Decomposition PCA Principal Component Analysis ANN Artificial Neural Network Vili ABSTRACT Today, more and more applications are using Deep Learning’s abilities to support teaching and learning for students, especially in the field of mathematics.

Among them, arithmetic word problems are always a big challenge when computers are very difficult to understand and solve a problem entirely in natural language. In this graduate thesis, we present a complete pipeline to help a computer automatically understand and solve a whole arithmetic word problem. This system will allow the computer to analyze and extract information from arithmetic word problems in natural language, classify them and return the most accurate results for the user. Our knowledge topics focus on simple elementary school level arithmetic word problems.

A Vietnamese Chatbot is built on our system to increase user engagement. ix Chapter | Introduction 1.1 Context of arithmetic word problem The advent and development of Industry 4.0 have led to the development of all aspects of information technology. Artificial Intelligence (AJ) technology and related fields of study like Machine Learning (ML) or Deep Learning (DL) have grown rapidly and strongly, changing in many aspects of life such as health, culture, finance, and education. In recent years, there have been many positive changes in education to improve the quality of teaching and learning for both teachers and students.

Such changes include increased outdoor activities, increased interaction between individuals and groups, etc. Also, applying information technology to teaching has helped students have more new perspectives, increase their ability to access larger and more diverse knowledge sources. However, the effectiveness of applying information technology is not thorough, especially with some logical subjects such as Mathematics, Physics. With inference subjects like Math, students always need interaction and support from teachers and instructors, this leads to a lot of shortcomings.

Therefore, in this project, we want to build software applying DL to be able to solve basic arithmetic word problems. From here, students can use this application to increase their ability to understand the problem and improve the quality of learning.2 The problem and its significance in real life Arithmetic word problems are written in natural language. Natural language may be easy for human, but it is difficult for a computer. Computers not just need to “understand” word problems, they also need to solve them.

Therefore, there are two difficulties we are facing. The first problem is helping the computers to understand and analyze the natural language; it is hard because natural language is ambiguous. In this case, we do not need the computer to “understand” each word in the problems, instead, we will use some algorithms to help the computer recognize the template of those arithmetic word problems. The second problem is to identify the type of problem.

With arithmetic word problems, there are many different types that students need to solve, and each of these types will have several structures. Our task is to find out the keywords and facts contained in the problem to identify the math format. To do this, we will use DL abilities to automatically identify existing problems, as well as recognize new types of math. From there, the computer can know which formula to apply to get the most accurate results.