MỞ ĐẦU Mạng neuron nhân tạo (ANN) là một mô hình toán học được thiết kế để mô phỏng cách thức hoạt động của hệ thống thần kinh sinh học. Nó bao gồm một tập hợp các nơ-ron nhân tạo được kết nối với nhau để xử lý và truyền tải thông tin. Thông qua việc bắt bước cách thức hoạt động từ não bộ con người. Nói cách khác, mạng nơ ron nhân tạo được xem là hệ thống của các tế bào thần kinh nhân tạo.
Đây thường có thể là hữu cơ hoặc nhân tạo về bản chất. Với khả năng học hỏi và tự cải thiện, mạng neuron nhân tạo đã trở thành một công cụ mạnh mẽ trong lĩnh vực trí tuệ nhân tạo, cho phép chúng ta xây dựng các mô hình phức tạp để xử lý và phân tích dữ liệu. Từ việc nhận dạng và phân loại ảnh, video, đến phân tích và hiểu ngôn ngữ tự nhiên, mạng neuron nhân tạo đã được ứng dụng trong nhiều lĩnh vực của cuộc sống. Tuy nhiên, để hiểu rõ về mạng neuron nhân tạo, chúng ta cần phải tìm hiểu về lịch sử phát triển của nó, cấu trúc và nguyên tắc hoạt động của nó, cũng như các ứng dụng của nó trong thực tế.
Trong phần tiếp theo, chúng ta sẽ khám phá những khía cạnh này và tìm hiểu cách mạng neuron nhân tạo có thể giúp chúng ta giải quyết các vấn đề phức tạp trong nhiều lĩnh vực. Điều chỉnh trọng số (Backpropagation): Nếu đầu ra không đạt yêu cầu, thuật toán lan truyền ngược (backpropagation) sẽ được sử dụng để điều chỉnh các trọng số, giảm thiểu sai số giữa đầu ra dự đoán và đầu ra thực tế. PHẦN II : PHÂN LOẠI MẠNG NEURON NHÂN TẠO 2.1 Mạng thần kinh truyền thẳng(Feedforward Neural Networks – FNNs) Mạng thần kinh truyền thẳng (hay còn được gọi là mạng nơ-ron truyền thẳng) là một mạng thần kinh nhân tạo trong đó kết nối giữa các nút không hình thành chu kì.Theo cách đó, FNN khác với hậu duệ của nó là cá mạng thần kinh hồi quy. Mạng thần kinh truyền thẳng là loại thần kinh nhân tạo đầu tiên và đơn giản nhất được phát minh ra.
Trong mạng này,thông tin di chuyển chỉ một chiều hướng đến từ các nút vào, thông qua các nút ẩn(nếu có) và đi đến các nit đầu ra không có chu trình(chu kỳ) hoặc vòng lặp trong mảng. Hình 2 : Mô tả mạng thần kinh truyền thẳng Trong một mạng truyền thẳng, thông tin luôn luôn di chuyển theo một hướng và không bao giờ theo hướng ngược lại. Trong hình là một mạng thần kinh truyền thẳng đơn giản, thông tin từ các nút đầu vào truyền thẳng theo hướng tới các nút đầu ra xuyên qua các nút ẩn. Kết quả là, định nghĩa của chúng tôi về một nút kết thúc bằng việc giới thiệu một số lượng ký hiệu khá lớn: Nói một cách chính xác, một nút trong lớp hiện tại phụ thuộc vào mọi nút trong lớp trước và hình dung sau đây có thể giúp chúng ta thấy điều đó rõ ràng hơn: Hình 3 : Một nút trong lớp hiện tại.
Hơn nữa, một nút trong lớp trước ảnh hưởng đến mọi nút trong lớp hiện tại và với sự thay đổi trong tô sáng, chúng ta cũng sẽ có thể thấy điều đó rõ ràng hơn: Trong tương lai, chúng ta có thể muốn viết một triển khai từ đầu, ví dụ: Python. Để tận dụng các phiên bản được tối ưu hóa mạnh mẽ của các hoạt động vector và ma trận đi kèm với các thư viện như NumPy, chúng ta cần vector hóa (1) và (2). Để bắt đầu,chúng ta vector hóa các nút: mà chúng ta có thể viết là: Tiếp theo, là vector hóa các ví dụ đào tạo: 2.2 Mạng neuron hồi quy(Recurrent Neural Networks - RNNs) Mạng nơ-ron hồi quy (RNN) là một mô hình học sâu được đào tạo để xử lý và chuyển đổi đầu vào dữ liệu tuần tự thành đầu ra dữ liệu tuần tự cụ thể. Dữ liệu tuần tự là dữ liệu, chẳng hạn như từ, câu hoặc dữ liệu chuỗi thời gian, trong đó các thành phần tuần tự tương quan với nhau dựa trên ngữ nghĩa phức tạp và quy tắc cú pháp.
RNN là một hệ thống phần mềm gồm nhiều thành phần được kết nối với nhau theo cách con người thực hiện chuyển đổi dữ liệu tuần tự, chẳng hạn như dịch văn bản từ ngôn ngữ này sang ngôn ngữ khác. Phần lớn RNN đang được thay thế bằng trí tuệ nhân tạo (AI) dựa trên công cụ biến đổi và các mô hình ngôn ngữ lớn (LLM), hiệu quả hơn nhiều trong việc xử lý dữ liệu tuần tự. Hình 4: Mô tả mạng neuron hồi quy RNN được tạo thành từ các nơ-ron: các nút xử lý dữ liệu kết hợp cùng nhau để thực hiện các tác vụ phức tạp. Các nơ-ron được tổ chức dưới dạng lớp đầu vào, đầu ra và ẩn.
Lớp đầu vào nhận thông tin để xử lý và lớp đầu ra cung cấp kết quả. Quá trình xử lý dữ liệu, phân tích và dự đoán diễn ra trong lớp ẩn. RNN thường có đặc trưng là kiến trúc một-một: một chuỗi đầu vào được liên kết với một đầu ra. Tuy nhiên, bạn có thể điều chỉnh linh hoạt thành các cấu hình khác nhau cho các mục đích cụ thể.
Sau đây là một số loại RNN phổ biến. Một-nhiều: Loại RNN này dẫn một đầu vào đến một số đầu ra. Loại này tạo điều kiện cho các ứng dụng ngôn ngữ như chú thích hình ảnh bằng cách tạo một câu từ một từ khóa duy nhất. Nhiều-nhiều:Mô hình sử dụng nhiều đầu vào để dự đoán nhiều đầu ra.
Ví dụ: bạn có thể tạo một công cụ dịch ngôn ngữ bằng RNN, với khả năng phân tích câu và cấu trúc chính xác các từ trong một ngôn ngữ khác. Nhiều-một:Một số đầu vào được ánh xạ đến một đầu ra. Loại này rất hữu ích trong các ứng dụng như phân tích cảm xúc, trong đó mô hình dự đoán cảm xúc của khách hàng như tích cực, tiêu cực và trung lập từ lời chứng thực đầu vào. Lớp ẩn:RNN hoạt động bằng cách lần lượt truyền dữ liệu tuần tự nhận được đến các lớp ẩn.
Tuy nhiên, RNN cũng có quy trình làm việc tự lặp lại hay hồi quy: lớp ẩn có thể ghi nhớ và sử dụng các đầu vào trước đó cho các dự đoán trong tương lai trong một thành phần bộ nhớ ngắn hạn. Quy trình này sử dụng đầu vào hiện tại và bộ nhớ đã lưu trữ để dự đoán chuỗi tiếp theo. Ví dụ: hãy xem xét chuỗi: Apple is red (Táo màu đỏ). Bạn muốn RNN dự đoán red (màu đỏ) khi nhận được chuỗi đầu vào Apple is (Táo màu).
Khi xử lý từ Apple (Táo), lớp ẩn sẽ lưu trữ một bản sao trong bộ nhớ. Tiếp theo, khi thấy từ is (màu), lớp ẩn gọi lại Apple (Táo) từ bộ nhớ của mình và hiểu toàn bộ chuỗi: Apple is (Táo màu) là ngữ cảnh. Sau đó, lớp ẩn có thể dự đoán red (màu đỏ) để cải thiện độ chính xác. Do đó, RNN trở nên hữu ích trong nhận dạng giọng nói, dịch máy và các tác vụ lập mô hình ngôn ngữ khác.
SO SÁNH MẠNG NEURON HỒI QUY SO VỚI MẠNG NEURON KHÁC Mạng nơ-ron hồi quy so với mạng nơ-ron truyền thẳng Giống như RNN, mạng nơ-ron truyền thẳng là mạng nơ-ron nhân tạo truyền thông tin từ đầu này sang đầu kia của kiến trúc. Mạng nơ-ron truyền thẳng có thể thực hiện các nhiệm vụ phân loại, hồi quy hoặc nhận dạng đơn giản nhưng không thể nhớ đầu vào trước đó đã được mạng xử lý. Ví dụ: mạng này quên Apple (Táo) vào thời điểm nơ-ron của mạng xử lý từ is (là). RNN khắc phục được hạn chế bộ nhớ này bằng cách đưa trạng thái bộ nhớ ẩn vào nơ-ron.
Mạng nơ-ron hồi quy so với mạng nơ-ron tích chập Mạng nơ-ron tích chập là mạng nơ-ron nhân tạo được thiết kế để xử lý dữ liệu chuỗi thời gian. Bạn có thể sử dụng mạng nơ-ron tích chập để trích xuất thông tin không gian từ video và hình ảnh bằng cách truyền thông tin đó qua một loạt các lớp tích chập và tổng hợp trong mạng nơ-ron. RNN được thiết kế để ghi lại các phần phụ thuộc lâu dài trong dữ liệu tuần tự Mạng neuron Hồi quy có những hạn chế nào ? Kể từ khi RNN được đưa vào sử dụng, các kỹ sư ML đã đạt được tiến bộ đáng kể trong các ứng dụng xử lý ngôn ngữ tự nhiên (NLP) bằng RNN cùng các biến thể. Tuy nhiên, bộ mô hình RNN có một số hạn chế.
Độ dốc cực lớn RNN có thể dự đoán sai đầu ra trong khóa đào tạo ban đầu. Bạn cần lặp lại nhiều lần để điều chỉnh các thông số của mô hình nhằm giảm tỷ lệ lỗi. Bạn có thể mô tả độ nhạy của tỷ lệ lỗi tương ứng với thông số của mô hình dưới dạng độ dốc. Bạn có thể hình dung độ dốc như một đường dốc mà bạn đi xuống từ một ngọn đồi.
Độ dốc lớn hơn cho phép mô hình học nhanh hơn và độ dốc nhỏ làm giảm tốc độ học tập. Độ dốc cực lớn xuất hiện khi độ dốc tăng theo cấp số nhân cho đến khi RNN trở nên không ổn định. Khi độ dốc trở nên lớn vô hạn, RNN hoạt động thất thường, dẫn đến các vấn đề về hiệu năng như quá khớp. Quá khớp là hiện tượng mô hình có thể dự đoán chính xác với dữ liệu đào tạo nhưng không thể dự đoán chính xác với dữ liệu thực tế.
Độ dốc biến mất Bài toán độ dốc biến mất là một điều kiện, trong đó độ dốc của mô hình đạt đến 0 trong quá trình đào tạo. Khi độ dốc biến mất, RNN không học hiệu quả từ dữ liệu đào tạo, dẫn đến chưa khớp. Mô hình chưa khớp không thể hoạt động tốt trong các ứng dụng thực tế vì các trọng số chưa được điều chỉnh thích hợp. RNN sẽ có rủi ro gặp phải vấn đề độ dốc cực lớn và biến mất khi xử lý các chuỗi dữ liệu dài.
Thời gian đào tạo chậm RNN xử lý dữ liệu tuần tự, do đó hạn chế khả năng xử lý khối lượng lớn văn bản một cách hiệu quả. Ví dụ: mô hình RNN có thể phân tích cảm xúc của người mua từ một vài câu. Tuy nhiên, mô hình này yêu cầu phải có năng lực điện toán cực lớn, không gian bộ nhớ và thời gian để tóm tắt một trang của một bài luận.3 Mạng neuron tính chập(Convolutional Neural Networks - CNNs) Mạng neural tích chập (Convolutional neural networks), còn được biết đến với tên CNNs, là một dạng mạng neural được cấu thành bởi các tầng sau: Tầng tích chập và tầng pooling có thể được hiệu chỉnh theo các siêu tham số (hyperparameters) được mô tả ở những phần tiếp theo.