Chương 1 trình bày khái quát về mục tiêu, nhiệm vụ, giới hạn, đối tượng, phạm vi, phương pháp nghiên cứu và bố cục của đề tài từ đó giúp người đọc dễ dàng nắm bắt được nội dung của nhóm truyền tải đồng thời tiếp cận được với kiến thức có trong đề tài dễ dàng hơn. Chương 2 trình bày kiến thức về bố cục của phần đọc hiểu TOEIC, sự phát triển xử lý ngôn ngữ, kiến thức về mô hình ngôn ngữ lớn, một số mô hình ngôn ngữ lớn phổ biến hiện nay, kiến thức về các kỹ thuật Prompting, kiến thức về cơ chế của Transformer, kiến thức về Multi-Agent, kiến thức về khoảng cách Cosin và độ tương đồng Cosin, cuối cùng là kiến thức về RAG. Chương 3 trình bày những nghiên cứu phân tích sơ đồ khối, phân tích lựa chọn mô hình sinh văn bản, thiết kế Prompt, thiết kế Multi-Agent, thiết kế khối truy vấn, khối tiền xử lý, thiết kế giao diện và chức năng ứng dụng. Chương 4 trình bày các thành tựu đạt được bởi hệ thống và giới thiệu kết quả thực nghiệm trên dữ liệu thực tế.
Phần này cung cấp cơ sở để rút ra những kết luận, đánh giá và đề xuất hướng phát triển tiếp theo. Chương 5 tổng hợp các kết luận và đề xuất hướng phát triển dựa trên các thông tin đã trình bày ở Chương 4. Những phân tích này sẽ cung cấp cơ sở cho các nghiên cứu tiếp theo để áp dụng và cải tiến các giải pháp, từ đó đóng góp vào sự phát triển và tiến bộ của lĩnh vực này. 16 CHƯƠNG 2 : CƠ SỞ LÝ THUYẾT Chương 2 sẽ tìm hiểu về bố cục của phần đọc hiểu TOEIC, sự phát triển xử lý ngôn ngữ, tìm hiểu về mô hình ngôn ngữ lớn, một số mô hình ngôn ngữ lớn phổ biến hiện nay, tìm hiểu về các kỹ thuật Prompting, tìm hiểu cơ chế của Transformer, tìm hiểu Multi-Agent, tìm hiểu bài khoảng cách Cosin và độ tương đồng Cosin, cuối cùng là RAG.1 Giới thiệu về bố cục của phần đọc hiểu TOEIC Phần đọc hiểu: gồm 3 phần (từ phần 5 đến phần 7) với 100 câu với tổng thời gian làm bài là 75 phút.
Đầu tiên đối với phần 5 của bài thi TOEIC, thường được gọi là phần "điền từ vào chỗ trống", là phần đầu tiên mà thí sinh sẽ đối diện trong phần Reading của kỳ thi TOEIC. Trong phần này, mỗi câu hỏi sẽ bị thiếu một từ hoặc cụm từ và thí sinh cần chọn từ bốn đáp án A, B, C, và D để điền vào chỗ trống đó , như các câu hỏi ở hình 2. Nhiệm vụ của thí sinh là xác định đáp án đúng nhất để hoàn thiện câu.1: Ví dụ về định dạng phần 5 Phần 5 này sẽ gồm 30 câu hỏi. Mỗi câu là một câu chưa hoàn chỉnh, và nhiệm vụ của thí sinh là chọn đáp án đúng để hoàn chỉnh câu đó.
Các câu hỏi này yêu cầu thí sinh 17 chọn từ hoặc cụm từ đúng về mặt ngữ pháp để điền vào chỗ trống và ngữ pháp ở phần 5 này sẽ có 14 ngữ pháp chính đó là: các thì, mạo từ, giới từ, liên từ, đại từ, to verb, phân từ, chia số ít hoặc nhiều, danh động từ, danh từ, tính từ, trạng từ, câu bị động, động từ nguyên mẫu). Mục tiêu của phần này là đánh giá khả năng sử dụng tiếng Anh trong các tình huống giao tiếp hàng ngày và trong môi trường công việc bên cạnh đó còn kiểm tra hiểu biết về ngữ pháp tiếng Anh và khả năng suy luận và chọn từ phù hợp dựa trên ngữ cảnh của câu. Phần 6 là dạng hoàn thành đoạn văn, trong đó sẽ một đoạn văn cho sẵn, trong đoạn văn này sẽ có chỗ trống, nhiệm vụ là chọn đáp án để điền vào chỗ trống phù hợp nhất ví dụ như hình 2. Tổng số lượng câu hỏi của phần 6 này là 16 câu.2: Ví dụ về định dạng câu hỏi ở phần 6 Phần 7 của kỳ thi TOEIC, được biết đến như phần "Đọc hiểu nhiều đoạn văn", là phần cuối cùng trong bài thi Reading.
Trong phần này, thí sinh sẽ phải đọc và trả lời các câu hỏi dựa trên nhiều loại văn bản khác nhau như email, bài báo, thông báo, và các đoạn văn khác, như ví dụ ở hình 2. Các câu hỏi có thể yêu cầu thí sinh tìm thông tin cụ thể, hiểu ý chính của đoạn văn, hoặc suy luận từ ngữ cảnh. Mục tiêu chính của phần 18 này là đánh giá khả năng đọc hiểu và phân tích thông tin của thí sinh trong các tình huống thực tế.3: Ví dụ về định dạng phần 7 2.2 Lịch sử phát triển của xử lý ngôn ngữ tự nhiên (NLP) Lịch sử của NLP được thể hiện trong hình 2.4 qua các giai đoạn khác nhau. Đầu tiên là vào những năm 1950, với những nỗ lực đầu tiên để tự động dịch giữa tiếng Nga và tiếng Anh.
Tuy nhiên, sự tiến bộ bị hạn chế do thiếu sức mạnh tính toán và sự phức tạp của ngôn ngữ con người. Những năm 1960 chứng kiến sự phát triển của các ứng dụng NLP đầu tiên, chẳng hạn như ELIZA và SHRDLU, có thể thực hiện các tác vụ xử lý ngôn ngữ đơn giản. Những năm 1970 và 1980 đánh dấu kỷ nguyên của NLP dựa trên quy tắc, nơi các hệ thống được lập trình với các quy tắc ngôn ngữ và từ vựng. Tuy nhiên, chính những năm 1990 đã chứng kiến một sự thay đổi đáng kể đối với NLP thống kê, sử dụng các thuật toán học máy để phân tích và hiểu dữ liệu ngôn ngữ.
Những năm 2000 đánh dấu 19 sự ra đời của NLP dựa trên dữ liệu quy mô lớn, với sự xuất hiện của dữ liệu quy mô Web và tài nguyên tính toán mạnh mẽ hơn. Vào những năm 2010, NLP thực sự đi đầu với sự ra đời của các kỹ thuật học sâu. Những kỹ thuật này, cùng với sự bùng nổ của dữ liệu, đã dẫn đến những tiến bộ đáng kể trong lĩnh vực NLP. Mạng nơ-ron hồi quy (RNN), được giới thiệu vào đầu những năm 2010, đã đóng một vai trò quan trọng trong việc cho phép máy móc hiểu ngữ cảnh trong một chuỗi các từ hoặc câu.
Thông qua khả năng ghi nhớ các đầu vào trước đó trong bộ nhớ, RNN đã mang lại một mức độ tinh vi mới trong các nhiệm vụ như mô hình hóa và dịch thuật ngôn ngữ. Tuy nhiên, nó không phải không có những hạn chế. Nó đã gặp phải vấn đề liên quan tới độ dài của câu do các vấn đề như gradient biến mất (vanishing gradients). Giữa những năm 2010 chứng kiến sự gia tăng của Mạng nơ-ron tích chập (CNN) trong NLP.
CNN, chủ yếu được biết đến với thành công trong các nhiệm vụ xử lý hình ảnh, đã được điều chỉnh để xử lý các tác vụ NLP với hiệu quả đáng ngạc nhiên. Sau đó, vào tháng 6 năm 2017, các nhà nghiên cứu tại Google đã công bố bài báo “Attention is All You Need”, giới thiệu về “Transformers. Không giống như các mô hình RNNs và LSTMs phụ thuộc vào cấu trúc tuần tự để xử lý thông tin, Transformer có khả năng xử lý các từ trong một câu song song, nhờ vào cơ chế Attention. Điều này không chỉ giúp tăng tốc độ xử lý mà còn cải thiện hiệu quả trong việc nắm bắt các mối quan hệ xa trong chuỗi dữ liệu.
Chúng đã được sử dụng rộng rãi trong các ứng dụng NLP hiện đại, nổi bật nhất là hai mô hình BERT (Bidirectional Encoder Representations from Transformers) của Google và GPT (Generative Pretrained Transformer) của OpenAI. Năm 2023 đánh dấu sự trưởng thành của NLP, nơi nó làm lu mờ tất cả các lĩnh vực khác của AI. Chúng ta đã chứng kiến sự bùng nổ của các ứng dụng dựa trên LLM tạo ra, cùng với việc áp dụng hàng loạt trong năm nay. NLP đã đi một chặng đường dài từ nguồn gốc của nó, chuyển đổi từ mô hình dựa trên quy tắc sang mô hình học máy tiên tiến, với các khả năng như phân tích tình cảm, dịch máy và tạo văn bản giống như con người.4: Lịch sử phát triển của NLP 2.3 Mô hình ngôn ngữ lớn (Large language Model – LLM) 2.1 Giới thiệu về mô hình ngôn ngữ lớn Một trong những thành tựu nổi bật nhất của lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) [1] vào những năm gần đây là sự ra đời của các mô hình ngôn ngữ lớn.
Chúng cải thiện chất lượng của các tác vụ xử lý ngôn ngữ một cách đáng kể, với khả năng nhận diện ngữ nghĩa và tạo sinh văn bản gần như giống với con người. Mô hình ngôn ngữ lớn là những mô hình ngôn ngữ được trải qua quá trình huấn luyện trước với một lượng dữ liệu khổng lồ. Lượng dữ liệu này không nhất thiết phải liên quan đến một chủ đề nhất định. Điều này khiến chúng trở thành những mô hình ngôn ngữ đa mục đích và có thể được ứng dụng trong nhiều hệ thống ở nhiều lĩnh vực khác nhau.
Việc tính toán tương quan xác suất giữa các từ, câu và ngữ cảnh trong một lượng dữ liệu văn bản lớn như vậy khiến chúng có khả năng nhận biết ngữ cảnh ưu việt hơn hẳn các mô hình ngôn ngữ trước đây. Các hệ thống chatbot trí tuệ nhân tạo như Chat GPT (Open AI)[28] chính là một ví dụ điển hình về sức mạnh của LLM trong tạo sinh văn bản và phân tích ngữ nghĩa của ngôn ngữ tự nhiên .2 Cách hoạt động của mô hình lớn Mô hình ngôn ngữ lớn (LLM) hoạt động dựa trên nguyên tắc học sâu, tận dụng kiến trúc mạng neural network để xử lý và hiểu ngôn ngữ của con người. Những mô hình này được đào tạo trên các tập dữ liệu khổng lồ bằng cách sử dụng các kỹ thuật học tự giám sát (Self-supervised). Cốt lõi chức năng của chúng nằm ở các khuôn mẫu và mối quan hệ phức tạp mà chúng học được từ dữ liệu ngôn ngữ đa dạng trong quá trình huấn luyện.3 Cách mô hình ngôn ngữ lớn được xây dựng [5] Kể từ khi ChatGPT ra mắt vào tháng 11 năm 2022, các mô hình ngôn ngữ lớn đã nhanh chóng thu hút sự chú ý nhờ hiệu suất vượt trội trong hàng loạt nhiệm vụ xử lý ngôn ngữ tự nhiên.
Với khả năng hiểu và tạo ra văn bản gần đạt đến mức độ con người, các mô hình này đã mở ra những tiềm năng ứng dụng to lớn trong nhiều lĩnh vực. Để hiểu rõ hơn về cách các mô hình này được xây dựng và vận hành, hãy cùng xem xét hình 2.5, nơi trình bày chi tiết quy trình phát triển của những hệ thống AI đột phá này.5: Trình bày các thành phần khác của LLM a) Làm sạch dữ liệu (Data Cleaning) Chất lượng dữ liệu rất quan trọng đối với hiệu suất của các mô hình ngôn ngữ.