đặt vấn đề cấp thiết về bài toán dự báo giá trên sàn giao dịch hàng hóa tƣơng lai. 16 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chƣơng 2. CƠ SỞ LÝ THUYẾT VỀ MẠNG NƠ RON 2. Lịch sử phát triển của mạng nơ ron Mạng nơ ron đƣợc phát triển vào những năm 1940 với công trình đầu tiên của Warren McCulloch và Walter Pitts (1943).
Công trình đã chỉ ra khả năng liên kết mà một số liên kết cơ bản của mạng nơ ron nhân tạo, mạng có thể tính toán nhƣ một hàm số học hay logic. Ứng dụng thực nghiệm đầu tiên của các nơ ron nhân tạo có đƣợc vào cuối những năm 50 cùng với phát minh của mạng Perceptron (Perceptron network) và luật học tƣơng ứng bởi Frank Rosenblatt (1958). Mạng có khả năng nhận dạng các mẫu. Năm 1969, Minsky và Papert đã phân tích sự đứng đắn của mạng Perceptron, họ đã chứng minh các tính chất và chỉ rõ giới hạn của một số mô hình.
Năm 1976, Grossberg dựa vào tính chất sinh học đã đƣa ra một số cấu trúc của hệ động học phi tuyến và các tính chất mới của nó. Năm 1982, Hoppfield đã đƣa ra mạng học phi tuyến. Năm 1982, Rumelhart đƣa ra mô hình song song (Parallel Distributer Processing-PDS) và một số kết quả và thuật toán. Năm 1986, nhóm tác giả Rummelhart, Hinton, Williams đã đề xuất luyện mạng nhiều lớp, với thuật toán lan truyền ngƣợc (Back Propagation learning rule).
Những năm gần đây nhiều tác giả đã đề xuất nhiều mô hình mạng mới theo từng bài toán cụ thể. Theo đó mạng nơ ron đƣợc ứng dụng rộng rãi trong nhiều lĩnh vực kinh tế, kỹ thuật, khoa học. Cơ sở sinh học Mạng nơ ron đƣợc mô phỏng theo cách thức hoạt động của các nơ ron thần kinh trong bộ não con ngƣời. Đây là cơ sở để xây dựng mạng nơ ron trong máy tính.
Bộ não con ngƣời có chứa khoảng 100 tỉ nơ ron thần kinh các phần tử liên kết chặt chẽ với nhau (khoảng 104 liên kết đối với mỗi phần tử) gọi là các nơ ron. Nơ ron sinh học có nhiều loại, chúng khác nhau về kích thức và khả năng xử lý tín hiệu. Tuy nhiên các nơ ron này có cấu trúc và nguyên lý hoạt động nhƣ nhau. Mỗi nơ ron sinh học gồm có 3 thành phần: Thân nơ ron có nhân ở bên trong (soma), đầu dây thần kinh ra (axon) và một hệ thống phân nhánh hình cây (Dendrite) để nhận các thông tin vào.
Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủ một diện tích rất lớn (0,25mm2). Đầu dây thần kinh ra đƣợc rẽ nhánh nhằm chuyển giao tín hiệu từ thân nơ ron này tới nơ ron khác. Các nhánh của đầu dây thần kinh đƣợc nối với các khớp thần kinh (synapse). Các khớp thần kinh này đƣợc nối với đƣợc liên kết và là đầu vào của nơ ron khác.
Các nơ ron có thể sửa đổi tiến hiệu tại các khớp. 17 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1: Cấu tạo 1 nơ ron sinh học Hoạt động của nơ ron sinh học nhƣ sau: Thông tin đƣợc tiếp nhận từ các giác quan và chuyển tới bộ não để xử lý. Các nơ ron thần kinh nhận đƣợc các tín hiệu từ các tế bào thần kinh. Các tín hiệu vào đƣợc tích hợp và kiểm tra với một ngƣỡng, nếu vƣợt ngƣỡng này nơ ron sẽ sinh ra một tín hiệu mới và gửi tới một nơ ron khác thông qua dây thần kinh.
Các nơ ron trong não đƣợc liên kết với nhau thành mạng lƣới các nơ ron. Sự liên kết giữa các nơ ron có độ bền vững xác định gọi là trọng số liên kết. Cấu tạo nơ ron nhân tạo 2. Cấu tạo một nơ ron nhân tạo.
Dựa vào cấu tạo và cách thức hoạt động của một nơ ron để xây dựng một nơ ron nhận tạo gần giống với một nơ ron sinh học. Năm 1943, các tác giả McCulloch và Pitts đã đề xuất một mô hình toán cho một nơ ron. Một nơ ron nhân tạo là đơn vị xử lý nhỏ nhất trong mô hình mạng nơ ron nhân tạo. Nhƣ một nơ ron sinh học, nơ ron nhân tạo có chức năng nhận dữ liệu đầu vào, xử lý và đƣa dữ liệu đã đƣợc xử lý ra ở đầu ra.
Cấu tạo một nơ ron nhân tạo đƣợc mô tả nhƣ Hình 2.2: 18 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hệ số ngƣỡng bias 𝑏𝑘 𝑥1 𝑤𝑘1 Hàm kích hoạt 𝑥2 u𝑘 Đầu ra y𝑘 Tín hiệu 𝑤𝑘2 𝜑(𝑥) đầu vào. 𝑥𝑚 𝑤𝑘𝑚 Trọng số Bộ tổng hợp liên kết tuyến tính Hình 2.2: Cấu tạo một nơ ron trong mạng Trong mỗi nơ ron nhân tạo có 3 thành phần chính nhƣ đầu vào, ra, bộ tổng hợp tuyến tính đóng vai trò nhân xử lý, hàm kích hoạt đóng vai trò nhƣ các khớp thần kinh (synapse). Chi tiết thành phần của một nơ ron nhƣ sau: o 𝑥1 , 𝑥2 , … 𝑥𝑚 : Là các tín hiệu đầu vào. Các tín hiệu này có thể là đầu ra của các nơ ron trƣớc đó hoặc đầu vào ban đầu của mạng.
o 𝑤𝑘1 , 𝑤𝑘2 , … 𝑤𝑘𝑚 : Các trọng số liên kết, Mỗi tín hiệu đầu vào sẽ đƣợc liên kết với nơ ron qua trọng số wkj. Với mỗi đầu vào 𝑥𝑚 sẽ có trọng số 𝑤𝑘𝑚 tƣơng ứng. Trong số 𝑤𝑘𝑚 thể hiện mức độ liên kết của đầu vào 𝑥𝑚 với nơ ron xử lý. o Bộ xử lý tuyến tính: Bộ xử lý tuyến tính thực hiện xử lý các tín hiệu đầu vào bằng cách tính tổng các tín hiệu đầu vào đã đƣợc nhân với trọng số liên kết tƣơng ứng.
o Hệ số ngƣỡng bias 𝑏𝑘 : Là giá trị ngƣỡng của nơ ron k, là một hằng số nhận giá trị dƣơng hoặc ân, giá trị sẽ làm cho bộ công ∑ tăng hoặc giảm đi giá trị của ngƣỡng. o 𝑢𝑘 : Giá trị thu đƣợc sau khi xử lý qua bộ xử lý tuyến tính. Ta có công thức cho 𝑢𝑘 theo công thức (2.1) 𝑗 =1 Với 𝑥0 = 1 và 𝑤0 = 𝑏𝑘 thì ta có công thức mới 19 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2) 𝑗 =0 o Hàm kích hoạt φ𝑘 (activation function) hay còn gọi là hàm truyền: Giá trị đầu ra của nơ ron đƣợc giới hạn theo hàm kích hoạt, sau khi qua hàm kích hoạt giạ trị thông thƣờng sẽ đƣợc chuyển về các đoạn [0,1] hoặc [- 1,1]. Hàm kích hoạt có tính chất quyết định đến kết quả của mạng nơ ron.
o Đầu ra 𝑦𝑘 : Kết quả của quá trình xử lý trong nơ ron k. Giá trị này chính là giá trị của hàm kích hoạt φk, ta có công thức tính của 𝑦𝑘 nhƣ sau: 𝑦𝑘 = 𝜑(𝑢𝑘 ) 2. Hàm truyền Hàm truyền quyết định giá trị đầu ra của một nơ ron, có nhiều loại hàm truyền đƣợc sử dụng. Sau đây là một số hàm cơ bản.
Hàm ngƣỡng: Hàm ngƣỡng đƣợc định nghĩa dƣới dạng công thức (2.3) 0, 𝑣 < 0 Khi đó giá trị đầu ra yk nhận giá trị sau: 1, φ𝑣 ≥ 0 y𝑘 = 0, φ𝑣 < 0 Đồ thị của hàm đƣợc vẽ nhƣ sau: Hình 2.3: Đồ thị hàm ngưỡng Hàm vùng tuyến tính: Hàm đƣợc định nghĩa dƣới dạng công thức (2.4) sau: 20 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.4) 2 2 1 0 , 𝑣 ≤ − 2 Khi đó giá trị đầu ra 𝑦𝑘 nhận giá trị sau: 1 1, φ𝑣 ≥ 2 1 1 y𝑘 = φ𝑣 , > φ𝑣 > − 2 2 1 0 , φ𝑣 ≤ − 2 Đồ thị hàm số của hàm kích hoạt trên nhƣ sau: Hình 2.4: Đồ thị hàm vùng tuyến tính Hàm Sigmoid: Hàm đƣợc định nghĩa dƣới dạng công thức: 1 φ𝑣 = (2.5) 1 + 𝑒 −𝑎𝑣 Khi đó giá trị đầu ra yk nhận giá trị sau: 1 y𝑘 = 1 + 𝑒 −𝑎φ 𝑣 Trong công thức trên 𝛼 là hằng số. Bằng việc thay đổi giá trị của 𝛼, chúng ta sẽ thu đƣợc những hàm truyền khác nhau với độ dốc khác nhau. Ta có đồ thị hàm số của Sigmoid có các dạng nhƣ Hình 2. Độ dốc trên đồ thị tăng dần theo hằng số 𝛼.
21 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.5: Đồ thị hàm Sigmoid với hệ số 𝑎 tăng dần 2. Mô hình của mạng nơ ron Giống nhƣ các nơ ron thần kinh sinh học, Các nơ ron nhân tạo kết nối với nhau tạo thành một mạng nơ ron. Các mô hình mạng đƣợc Nelson và Illingworth đƣa ra vào năm (1991). Theo tính chất hƣớng chuyền mạng nơ ron đƣợc chia làm hai mô hình là mạng truyền thẳng (feed forward network) và mạng hồi quy (recurrent network).
Mạng truyền thẳng Mạng truyền thẳng là mạng mà trong nó có cấu trúc truyền thẳng từ đầu vào tới đấu ra.Tín hiệu từ đầu vào tới đầu ra đƣợc xử lý qua một hoặc nhiều lớp mạng, trong mỗi lớp mạng có thể chứ một hoặc nhiều nơ ron xử lý. Mạng xử lý tín hiệu đầu vào và trả ra kết quả luôn ở đầu ra gọi là mạng nơ ron một lớn.6: Mô hình mạng nơ ron một lớp truyền thẳng Với mỗi giá trị đầu vào 𝑥 = [𝑥1 , 𝑥2 , … 𝑥𝑛 ]𝑡 qua quá trình xử lí của mạng sẽ thu đƣợc một bộ đầu ra tƣơng ứng 𝑦 = [𝑦1 , 𝑦2 , … 𝑦𝑛 ]𝑡. Mạng xử lý qua nhiều nơ ron bên trong mạng đƣợc gọi là mạng nhiều lớp. Lớp nhận tín hiệu ban đầu gọi là lớp đầu vào.
Lớp trả kết quả đầu ra gọi là lớp đầu ra. Các lớp bên trong xử lý mạng gọi là lớp ẩn. Lớp ẩn có thể có một hoặc nhiều lớp ẩn. Số nơ 22 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ron trong mỗi lớp ẩn là khác nhau, mỗi lớp ẩn có thể chứa một hoặc nhiều nơ ron.
Sau đây là mô hình đầy đủ của mạng nơ ron truyền thẳng nhiều lớp: 𝑥1 𝑦1 𝑥2 𝑦2. 𝑥𝑛 𝑦𝑛 Lớp vào Lớp ẩn Lớp ẩn Lớp ra Hình 2.7: Mô hình mạng nơ ron truyền thẳng nhiều lớp 2. Mạng hồi quy Mạng hồi quy là mạng truyền thẳng mà ở kết quả đầu ra của một nốt mạng là đầu vào của một nốt mạng trƣớc đó hoặc của chính nó. Chính vì điều này làm cho kết quả đầu vào của nốt mạng có thuộc tính hồi quy là động và có sự thay đổi trong quá trình thực hiện của mạng, và làm cho mạng có khả năng thích nghi cao.
Mô hình mạng đƣợc biểu diễn nhƣ Hình 2.8: Ví dụ về mô hình mạng hồi quy truyền thắng 2. Huấn luyện mạng Một mạng rơ ron hiệu quả đƣợc quyết định bởi hai nhân tố chính một là mô hình mạng: Là số lớp ẩn, đầu vào, đầu ra, các nốt mạng trong lớp, liên kết giữa các nốt mạng. Hai là các trọng số liên kết giữa các nốt mạng. Các trọng số liên kết này đƣợc quyết định qua thuật toán huấn luyện.