CHƯƠNG 1: MÔ HÌNH NEURAL NETWORK TRONG DỰ BÁO TÀI CHÍNH 1. GIỚI THIỆU SƠ LƯỢC VỀ MÔ HÌNH NEURAL NETWORK Neural Network trong một vài năm trở lại đây đã được nhiều người quan tâm và đã áp dụng thành công trong nhiều lĩnh vực khác nhau, như tài chính, y tế, địa chất và vật lý. Thật vậy, bất cứ ở đâu có vấn đề về dự báo, phân loại và điều khiển, Neural Network đều có thể ứng dụng được. Sự thành công nhanh chóng của mạng Neural Network có thể là do một số nhân tố chính sau: Năng lực : Neural Network là những kỹ thuật mô phỏng rất tinh vi, có khả năng mô phỏng các hàm cực kỳ phức tạp.
Đặc biệt, Neural Network hoạt động phi tuyến. Trong nhiều năm, mô hình tuyến tính là kỹ thuật được sử dụng rộng rãi trong hầu hết các lĩnh vực, vì thế mô hình tuyến tính có tính chiến lược tối ưu hóa được biết nhiều nhất. Dễ sử dụng : Neural Network có tính học theo các ví dụ. Người sử dụng Neural Network thu thập các dữ liệu đặc trưng, và sau đó gọi các thuật toán huấn luyện để có thể tự học cấu trúc của dữ liệu.
Mặc dù người sử dụng làm tất cả những điều cần thiết để có thể chọn và chuẩn bị dữ liệu, sử dụng loại mạng phù hợp và có thể hiểu được các kết quả, nhưng mức độ người sử dụng biết cách áp dụng thành công Neural Network vẫn thấp hơn nhiều những người sử dụng các phương pháp thống kê truyền thống… 1. NỀN TẢNG CỦA MÔ HÌNH NEURAL NETWORK Neural Network phát triển từ nghiên cứu về trí tuệ nhân tạo; đặc biệt cố gắng bắt chước bộ não có cấu trúc cấp thấp về khả năng học và chấp nhận sai của hệ thống neuron sinh học. Bộ não con người gồm một số rất lớn neuron (khoảng 10.000 neuron) kết nối với nhau (trung bình mỗi neuron kết nối với hàng chục ngàn neuron khác). Mỗi neuron là một tế bào đặc biệt, có thể truyền các tín hiệu điện.
Neuron có cấu trúc rễ ngõ vào, thân tế bào và cấu trúc rễ ngõ ra (sợi LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com thần kinh). Các sợi thần kinh của một tế bào kết nối với các tế bào khác thông qua synapse. Khi một neuron kích hoạt, nó tạo ra xung điện hóa học dọc theo sợi thần kinh. Tín hiệu này đi qua các synapse đến các neuron khác, và tiếp tục bị kích hoạt.
Neuron hoạt động chỉ khi tất cả các tín hiệu nhận được ở thân tế bào thông qua rễ ngõ vào vượt quá một mức nào đó (ngưỡng hoạt động). Cường độ tín hiệu thu được của neuron phụ thuộc vào độ nhạy của synapse. Chỉ có việc học làm thay đổi cường độ kết nối synapse. Do đó, từ một số rất lớn các đơn vị xử lý rất đơn giản này (mỗi đơn vị thực hiện tổng trọng số các ngõ vào sau đó kích hoạt một tín hiệu nhị phân nếu tổng ngõ vào vượt quá ngưỡng), bộ não điều khiển để hoạt động những công việc cực kì phức tạp.
Dĩ nhiên, sự phức tạp trong hoạt động của bộ não không thể trình bày hết, nhưng dù sao mạng trí tuệ nhân tạo có thể đạt được một vài kết quả đáng chú ý với mô hình không phức tạp hơn bộ não. HOẠT ĐỘNG CỦA MỘT NEURAL NETWORK Mỗi neuron nhận một số các ngõ vào (từ dữ liệu gốc, hay từ ngõ ra các neuron khác trong mạng). Mỗi kết nối đến ngõ vào có một cường độ (hay trọng số), những trọng số này tương ứng với tác dụng synapse trong neuron sinh học. Mỗi neuron cũng có một giá trị ngưỡng.
Tín hiệu được truyền qua hàm kích hoạt (hay còn gọi là hàm truyền) tạo giá trị ngõ ra neuron. Nếu sử dụng hàm truyền nấc (nghĩa là ngõ ra neuron là 0 nếu ngõ vào nhỏ hơn 0, và là 1 nếu ngõ vào lớn hơn hay bằng 0) thì neuron hoạt động giống như neuron sinh học. Thực tế, hàm nấc ít khi sử dụng trong mạng trí tuệ nhân tạo. Lưu ý rằng trọng số có thể âm, nghĩa là synapse có tác dụng kiềm chế hơn là kích hoạt neuron, các neuron kiềm chế có thể tìm thấy trong bộ não.
Trên đây là mô tả về các neuron đơn lẻ. Trong thực tế các neuron được kết nối với nhau. Khi mạng hoạt động, chúng phải có ngõ vào (mang giá trị hoặc biến của thế giới thực) và ngõ ra (dùng để dự báo hoặc điều khiển). Ngõ vào và ngõ ra tương ứng với các neuron giác quan và vận động, như tín hiệu đưa vào mắt và điều khiển LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com cánh tay.
Tuy nhiên chúng còn có các neuron ẩn đóng vai trò ẩn trong mạng. Ngõ vào, neuron ẩn và ngõ ra cần được kết nối với nhau. Ta có mạng Neural Network tiến (feed-forward) cho như hình dưới. Các neuron được sắp xếp theo cấu trúc liên kết lớp riêng biệt.
Lớp ngõ vào không phải là neuron thực: các neuron này hoạt động đơn giản là giới thiệu các giá trị của các biến vào. Các neuron lớp ẩn và lớp ngõ ra được kết nối với tất cả các neuron lớp trước đó. Cũng như vậy chúng ta có thể định nghĩa mạng có các kết nối một phần với một vài neuron trong lớp trước đó; tuy nhiên, trong hầu hết các ứng dụng mạng có kết nối đầy đủ vẫn tốt hơn. Cấu trúc Neural Network Khi mạng hoạt động, các giá trị biến ngõ vào được đặt vào các neuron ngõ vào, và sau đó các neuron lớp ẩn và lớp ngõ ra lần lượt được kích hoạt.
Mỗi neuron tính giá trị kích hoạt của chúng bằng cách lấy tổng các trọng số ngõ ra của các neuron lớp trước đó, và trừ cho ngưỡng. Giá trị kích hoạt truyền qua hàm kích hoạt tạo ra giá trị ngõ ra của neuron. Khi toàn bộ mạng đã hoạt động, các ngõ ra của lớp ngõ ra hoạt động như ngõ ra của toàn mạng. CÁC MÔ HÌNH MẠNG NEURAL NETWORK CƠ BẢN Mô hình mạng Neural tổng quát có dạng theo hình 1.
Mô hình mạng Neural tổng quát LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ngày nay, mạng Neural Network có thể giải quyết nhiều vấn đề phức tạp đối với con người, áp dụng trong nhiều lĩnh vực như nhận dạng, định dạng, phân loại, xử lý tín hiệu, hình ảnh v. Các dạng mô hình Neuron Mô hình cấu trúc một Neuron Ngõ vào một neuron có thể là đại lượng vô hướng hoặc có hướng, đại lượng này được nhân với trọng số tương ứng để đưa vào neuron, hoặc có thể cộng thêm ngưỡng (bias), thường bằng 1.3 là mô hình một neuron với ngõ vào vô hướng p không có ngưỡng b và có ngưỡng b. Ngõ vào vô hướng p được nhân với trọng số vô hướng w tạo thành wp, đối số wp qua hàm truyền f cho kết quả đầu ra là vô hướng a = f(wp). Hình bên phải là neuron có ngưỡng b, giá trị b được cộng với wp rồi qua hàm truyền f cho kết quả đầu ra là vô hướng a = f(wp+b).
Có thể điều chỉnh những thông số của neuron như trọng số và ngưỡng (w và b) để đạt được yêu cầu mong muốn nghĩa là “huấn luyện” mạng. Mô hình cấu trúc một Neuron LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mô hình Neuron với vector nhập Một neuron được cho trên hình 1.4 với vector nhập p = [p 1, p2, ……pR ], trọng số W = w1,1, w1,2,……w1,R, ngưỡng b và hàm truyền f. Tổng đối số và ngưỡng tạo ở ngõ ra n là: n = w1,1p1 + w1,2,p2 + ……w1,R pR + b hay n = W*p + b Nếu có nhiều neuron thì cách biểu diễn trên không hiệu quả, do đó có thể định nghĩa một lớp gồm nhiều neuron theo như hình 1.5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Mô hình Neuron với vector nhập Hình 1.
Một lớp gồm nhiều neuron 1. Các dạng mạng mô hình Mô hình mạng một lớp Neuron Trong hình dưới mô tả một lớp neuron với : R : số phần tử của vectơ đầu vào S : số neuron trong lớp a : vector ngõ ra của lớp neuron LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Mô hình mạng một lớp Neuron Ma trận trọng số W : w w. w S ,2 w S ,1 S ,R Một lớp mạng được vẽ gọn theo hình 1.
Mô hình mạng một lớp được vẽ gọn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mô hình mạng nhiều lớp Neuron Hình 1.8: Mô hình mạng nhiều lớp Neuron Mạng có nhiều lớp, mỗi lớp có một ma trận W, một ngưỡng b và một vectơ ngõ ra a. Thông thường giá trị ra của một lớp là giá trị vào của lớp tiếp theo. Mỗi lớp trong mạng đảm nhiệm vai trò khác nhau, lớp cho kết quả ở đầu ra của mạng được gọi là lớp ngõ ra _ output layer, tất cả các lớp còn lại được gọi là lớp ẩn _ hidden layers. Mạng đa lớp có khả năng xử lý rất lớn.
Chẳng hạn như một mạng có hai lớp, lớp thứ nhất là sigmoid, lớp thứ hai là linear có thể được huấn luyện đến một hàm gần đúng với một số kết nối cố định. MÔ HÌNH BACKPROPAGATION NETWORK 1.1 Hoạt động của mạng Backpropagation Mô hình Neural Network bao gồm nhiều dạng mạng khác nhau như Perception, Radial bias, hồi tiếp, Backpropagation v. Backpropagation Neural Network bao gồm một tập hợp các thông số đầu vào (inputs) và các đơn vị xử lý được biết đến như neurons, neurodes, hay nodes. Các neuron trên mỗi layer thì có quan hệ kết nối hoàn toàn bởi sức mạnh kết nối được gọi trọng số, cái đi kèm với cấu trúc hệ thống, lưu trữ kíên thức của hệ thống đào tạo.
Thêm vào các neuron xử lý, có một bias neuron được kết nối đến từng đơn vị xử lý trong các lớp đầu ra và ẩn. Bias neuron có một giá trị của một đại lượng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com dương và cung cấp một mục đích tương tự như là hệ số chặn trong các mô hình hồi quy. Các neuron và bias được sắp xếp trong các lớp, một lớp đầu vào, một hay nhiều các lớp ẩn và một lớp đầu ra. Số lượng lớp ẩn và neuron nằm trong từng lớp có thể thay đổi phụ thuộc vào kích thước và bản chất của từng bộ dữ liệu.
Neural Network thì tương tự như mô hình hồi quy bình phương bé nhất tuyến tính và phi tuyến và được xem như là cách tiếp cận thống kê thay thế để giải quyết vấn đề bình phương bé nhất. Cả Neural Network và phân tích hồi quy truyền thống đều nỗ lực để tối thiểu hoá tổng bình phương các sai số. Thuật ngữ bias tương tự như hệ số chặn trong phương trình hồi quy.