Chương 1 giới thiệu về lý thuyết của mô hình ngôn ngữ lớn và mô hình chatbot. Cũng như những vấn đề và thách thức trong hỗ trợ sức khỏe tâm thần. Mô hình ngôn ngữ lớn Mô hình ngôn ngữ lớn (Large Language Model: LLM) là một mô hình xác suất có khả năng hiểu và sinh ngôn ngữ tự nhiên dựa trên kiến thức được thu thập từ các tập dữ liệu cực lớn. Đại diện cho một trong những ứng dụng thành công nhất của các mô hình transformer, LLM đã được ứng dụng và đưa đến nhiều thành công vượt trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), cụ thể như dịch thuật tự động, tóm tắt văn bản, sinh văn bản, hỗ trợ đào tạo và giáo dục, hỗ trợ sức khỏe y tế.
Mô hình ngôn ngữ lớn (LLM) là một mô hình ngôn ngữ với khả năng tổng quát trong việc tạo ngôn ngữ và các tác vụ xử lý ngôn ngữ tự nhiên khác. LLM có được khả năng này bằng cách học các mối quan hệ thống kê từ các văn bản trong quá trình huấn luyện tự giám sát và bán giám sát có độ phức tạp tính toán cao. Các mô hình này được đào tạo trên tập dữ liệu văn bản khổng lồ để tìm hiểu các mẫu, cấu trúc và ngữ cảnh trong ngôn ngữ, cho phép nó có khả năng tạo văn bản tương tự như con người và thực hiện nhiều tác vụ xử lý ngôn ngữ tự nhiên khác nhau. Mô hình ngôn ngữ lớn thực sự là những tiến bộ tiên tiến trong lĩnh vực học sâu (deep learning) được thiết kế để xử lý và hiểu ngôn ngữ của con người.
Các mô hình lớn nhất và có khả năng mạnh mẽ nhất, tính đến tháng 3 năm 2024, được xây dựng với kiến trúc dựa trên transformer chỉ bao gồm bộ giải mã (decoder). Các mô hình ngôn ngữ khác 3 nhau có thể có độ phức tạp khác nhau. Thuật ngữ mô hình ngôn ngữ lớn thường dùng để chỉ các mô hình sử dụng kỹ thuật học sâu và có số lượng tham số lớn, có thể từ vài tỷ đến hàng nghìn tỷ. Những mô hình này có khả năng phát hiện các quy luật phức tạp trong ngôn ngữ và tạo ra các văn bản giống với con người.
Sự phát triển của mô hình ngôn ngữ lớn dẫn đến nhiều loại mô hình khác nhau được sinh ra, mỗi loại có những đặc điểm riêng biệt, phục vụ cho các loại tác vụ riêng biệt của nó. Một số mô hình ngôn ngữ lớn nổi bật bao gồm: - Mô hình dựa trên bộ mã hóa tự động (AutoEncoder-Based): Dựa trên bộ mã hóa tự động như BERT mã hóa văn bản đầu vào thành một biểu diễn rút gọn, sau đó tạo ra văn bản mới từ biểu diễn này. Loại mô hình này thực hiện tốt trong việc tóm tắt nội dung và tạo ra văn bản một cách hiệu quả. - Mô hình chuỗi sang chuỗi (Sequence-to-Sequence): Mô hình tiếp nhận một chuỗi đầu vào và tạo ra chuỗi đầu ra tương ứng.
Được ứng dụng tốt trong tác vụ dịch văn bản sang nhiều ngôn ngữ khác nhau hoặc rút gọn thông tin cho việc tóm tắt. - Mô hình dựa trên Transformer (Transformer-Based Frameworks): Tận dụng kiến trúc nơron có khả năng giải mã các mối quan hệ ngữ cảnh phức tạp trên các đoạn văn dài. Dựa vào tính linh hoạt tốt mô hình ứng dụng cho các nhiệm vụ tạo văn bản, dịch ngôn ngữ và trả lời câu hỏi - Mô hình mạng nơ-ron đề quy (Recursive Neural Network): Mô hình này được tùy chỉnh cho dữ liệu có cấu trúc. Nổi bật với các nhiệm vụ đánh giá tâm trạng và suy luận ý nghĩa trong ngôn ngữ tự nhiên.
- Mô hình cấu trúc phân cấp (Hierarchical Structures): Mô hình này được thiết kế để hiểu văn bản ở cấp độ chi tiết, có thể là câu, đoạn văn hoặc toàn bộ tài liệu. Phục vụ cho các tác vụ phân loại tài liệu và trích xuất. Kiến trúc của mô hình ngôn ngữ lớn Các thành phần chính của mô hình ngôn ngữ lớn Các mô hình ngôn ngữ lớn là các kiến trúc mạng nơron phức tạp đã cách mạng hóa các nhiệm vụ xử lý ngôn ngữ tự nhiên. Các mô hình này bao một một số thành phần chính 4 hoạt động cùng nhau để giúp chúng hiểu, tạo ra và điều chỉnh ngôn ngữ con người một cách mạnh mẽ và chính xác.1 Các thành phần chính của mô hình ngôn ngữ lớn Bảng 1.1: Các thành phần chính của mô hình ngôn ngữ lớn Là quá trình chia một đoạn văn bản thành các phần nhỏ hơn Tokenization gọi là “token”.
Mỗi token thường là một từ hoặc một phần của từ. Tokenization đánh dấu bước nền tảng trong quá trình phát triển của các mô hình ngôn ngữ lớn, trong đó các chuỗi văn bản trải qua quá trình phân chia thành các đơn vị hoặc các token nhỏ hơn. Trong bối cảnh của các mô hình nâng cao, quá trình phát triển bao gồm việc tận dụng các thuật toán phân tách từ một cách khéo léo, đáp ứng hiệu quả khả năng của mô hình nhằm đáp ứng vốn từ vựng đa dạng cho mô hình, đồng thời đảm bảo hiệu quả hoạt động. Là các biểu diễn vectơ của từng token trong một mô hình ngôn ngữ lớn.
Các nhúng là không thể thiếu đối với hoạt 5 động quy mô lớn của mô hình ngôn ngữ lớn. Đây là các Các nhúng biểu diễn vectơ liên tục của các token để nắm bắt thông tin (Embeddings ngữ nghĩa. Do quy mô khổng lồ của các mô hình này, các ) nhúng được học thông qua quá trình đào tạo mở rộng. Các vectơ có số chiều cao mã hóa các mối quan hệ phức tạp giữa các token, làm cho mô hình có thể hiểu được những sắc thái ngữ cảnh tinh tế.
Là cơ chế cho phép mô hình tập trung vào các phần quan trọng của đầu vào trong quá trình xử lý. Đặc biệt là sự tự chú ý (self-attention) trong kiến trúc transformer, đóng vai trò quan trọng trong khả năng xử lý kích thước lớn của các Cơ chế Attention mô hình ngôn ngữ lớn. Cơ chế tự chú ý phân tích mối quan hệ giữa tất cả các token trong một chuỗi, hỗ trợ việc bắt kịp các phụ thuộc tầm xa. Trong các mô hình ngôn ngữ lớn, cơ chế attention có tính song song hóa cao, cho phép xử lý các chuỗi rất dài.
Là quá trình tiền huấn luyện ban đầu mà mô hình trải qua. Kích thước khổng lồ của mô hình ngôn ngữ lớn được khai Tiến huấn thác thông qua đào tạo trên các bộ dữ liệu lớn. Trong quá luyện (Pre- trình đào tạo, mô hình học các mẫu ngôn ngữ chung, kiến training) thức về từ và hiểu biết theo ngữ cảnh. Các mô hình được đào tạo trở thành kho lưu trữ kiến thức chuyên môn về ngôn ngữ, sau đó có thể được tinh chỉnh cho các tác vụ cụ thể bằng cách sử dụng các bộ dữ liệu nhỏ hơn.
Là một kỹ thuật trong đó kiến thức từ một nhiệm vụ có thể được chuyển giao và áp dụng cho một nhiệm vụ khác. Thay vì bắt đầu quá trình huấn luyện mô hình từ đầu cho mỗi nhiệm vụ cụ thể. kích thước lớn của mô hình đã được tiền Học chuyển huấn luyện tạo điều kiện cho khả năng học chuyển giao giao đáng kinh ngạc. Việc điều chỉnh một mô hình đã hấp thụ (Transfer learning) một lượng lớn kiến thức ngôn ngữ cho phép nó vượt trội 6 trong các nhiệm vụ khác nhau.
Phương pháp chuyển giao học tận dụng quy mô lớn của mô hình tiền huấn luyện để thích ứng với các nhiệm vụ mới mà không cần phải huấn luyện lại từ đầu. Là khả năng tạo ra văn bản tự nhiên. Sự phong phú về mặt tham số và kiến thức đã học giúp chúng có khả năng tạo văn bản to lớn. Các mô hinh có thể tạo ra văn bản mạch lạc và phù hợp với ngữ cảnh trên nhiều lĩnh vực khác nhau.
Việc tiếp xúc rộng rãi trong quá trình đào tạo cho phép Khả năng tạo chúng bắt chước cách sử dụng ngôn ngữ giống con người, sinh biến chúng thành công cụ linh hoạt cho các nhiệm vụ như (Generation tạo nội dung, dịch thuật, tóm tắt, v. Các thành phần này là ability) các khía cạnh quan trọng của mô hình ngôn ngữ lớn. Dựa vào việc phác thảo các chức năng và thuộc tính cho phép các mô hình này thường được sử dụng trong xây dựng chatbot, hiểu và tạo ra văn bản giống con người trên một loạt các tác vụ xử lý ngôn ngữ tự nhiên hiệu quả. Kiến trúc của mô hình ngôn ngữ lớn Kiến trúc của các mô hình ngôn ngữ lớn hiện nay đều bắt nguồn từ khung Transformer, được các nhà nghiên cứu tại Google phát triển vào năm 2017.
Khung này về cơ bản đã định hình lại bối cảnh xử lý và hiểu ngôn ngữ tự nhiên. Transformer bao gồm hai thành phần chính: Bộ mã hóa (encoder) và bộ giải mã (decoder). Mô hình phức tạp này dựa trên việc chia nhỏ dữ liệu đầu vào thành các token, sau đó thực hiện các phép toán nhằm khám phá các mối quan hệ phức tạp giữa các token. Quá trình này trích xuất và nhận dạng các mẫu theo cách tương tự như khả năng hiểu của con người.
Kiến trúc của mô hình Transformer không sử dụng sự lặp lại như các mô hình truyền thống khác như Mạng thần kinh hồi quy (RNNs) hoặc Mạng bộ nhớ dài-ngắn hạn (LSTMs). Thay vào đó , Transformer sử dụng cơ chế tự chú ý (self-attention) để tạo ra các phụ thuộc chung giữa đầu vào và đầu ra. Transformer cho phép song song hóa đáng kể hơn và là mô hình chuyển đổi đầu tiên dựa hoàn toàn vào cơ chế tự chú ý để tính toán 7 biểu diễn của đầu vào và đầu ra mà không sử dụng các mạng nơron nối tiếp được sắp xếp theo chuỗi hoặc tích chập [3].2 Kiến trúc của Transformer Trong hình 2.2 ta có thể quan sát thấy có một mô hình bộ mã hóa ở bên trái và bộ giải mã ở bên phải. Cả hai đều chứa phần cốt lõi là cơ chế tập trung đa đầu (Multi-Head Attention) và mạng truyền xuôi theo vị trí (Feed-Forward Network) được lặp lại N lần.
Sức mạnh của Transformer nằm ở cơ chế tự chú ý. Cơ chế này góp phần đẩy nhanh quá trình học tập và mang lại cho mô hình Transformer khả năng vượt trội để xem xét kỹ lưỡng một cách tỉ mỉ các phân đoạn riêng biệt của một trình tự nhất định hoặc thậm chí bao gồm toàn bộ ngữ cảnh này cho phép mô hình đưa ra các dự đoán với mức độ chính 8 xác và phù hợp cao hơn. Đầu tiên, mỗi từ hoặc phần tử trong chuỗi đầu vào được ánh xạ sang ba loại vectơ: vectơ Truy vấn (vectơ Query), vectơ Khóa (vectơ Key) và vectơ Giá trị (vectơ Value).