chương 1 Giới thiệu mạng nơron nhân tạo 1. Giới thiệu mạng nơron nhân tạo Mạng nơron nhân tạo được xây dựng trên cơ sở thừa kế mạng nơron sinh học bao gồm cấu trúc và sự hoạt động, sau đây chúng ta sẽ xem xét tổng quan về cấu trúc và sự hoạt động của mạng nơron sinh học. Giới thiệu nơron sinh học Chúng ta đ• biết bộ n•o người chứa đựng khoảng 1011 các nơron liên kết với nhau ở mức cao, khoảng 104 liên kết tới một nơron. Mỗi nơron có ba thành phần chính gồm: dendrites (vòi thu nhận tín hiệu), cell body (nhân nơron), axon (trục chuyển tín hiệu).
Vòi nhận tín hiệu có hình cây để nhận các tín hiệu đưa vào trong nhân của nơron. Nhân có nhiệm vụ tổng hợp các tín hiệu được thu nhận từ các vòi và kích hoạt nó, nếu vượt một ngưỡng nào đó thì tín hiệu sẽ được chuyển tới axon và truyền đến các nơron khác. Khớp nối giữa axon của một nơron với vòi của nơron khác gọi là synapse. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1- Sơ đồ mạng nơron sinh học Khi mới sinh ra bộ n•o người có cấu trúc đơn giản, và ngày càng được hoàn thiện bởi việc học của con người.
Đó là việc thiết lập các liên giữa các nơron lại với nhau để biểu diễn tri thức của con người có được, từ đó xử lý các thông tin khác. Mạng nơron nhân tạo không tiếp cận theo cách liên kết phức tạp của n•o người. Tuy nhiên có 2 điểm chính tương tự nhau đó là: xây dựng các khối đều là những phần tính toán đơn giản được kết nối với nhau ở mức cao; liên kết giữa các nơron xác định chức năng của mạng. Mô hình nơron một đầu vào Nơron có một đầu vào được biểu diễn như hình 1.2, đầu vào p sẽ nhân với trọng số liên kết w đưa vào bộ tổng, thêm một đầu vào bằng 1 nhân với độ lệch b đưa vào bộ tổng.
Kết quả đầu ra là z sẽ qua hàm kích hoạt f để cho đầu ra của nơron đó là a.2- Nơron một đầu vào Trong đó: p - tín hiệu đầu vào của nơron w - trọng số liên kết giữa đầu vào p tới nơron b - độ hiệu chỉnh (độ lệch) đóng vai trò ngưỡng trong nơron sinh học LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com z - tổng tín hiệu đầu vào cùng với độ lệch b f - hàm kích hoạt của nơron a - tín hiệu ra của nơron Kết quả đầu ra của nơron được tính như sau: (1.3) Ví dụ: trọng số liên kết là w=3, đầu vào p=2 và độ lệch b=-1.4) Kết quả đầu ra sẽ phụ thuộc vào việc lựa chọn hàm kích hoạt f. Độ lệch b xem như một trọng số liên kết với đầu vào luôn là 1, tuy nhiên nếu không cần thiết thì chúng ta có thể bỏ đi. Trọng số w và độ lệch b là những tham số có thể điều chỉnh trong quá trình học của nơron, việc thay đổi này sẽ được giới thiệu qua một số phương pháp học của mạng nơron ở chương sau. Hàm kích hoạt có thể là tuyến tính hoặc phi tuyến, hàm được chọn sao cho thoả m•n một số tiêu chuẩn của vấn đề mà nơron cần giải quyết.
Một số hàm kích hoạt thường dùng thể hiện trong bảng sau. Tên hàm Diễn giải: a=f(z) Ký hiệu Hard Limit hardlim Symmetrical Hard Limit hardlims Linear a=f(z)=z purelin Saturating Linear sarlin Symmetric Sarturating Linear sarlins Log-Sigmoid logsig LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hyperbolic Tangent Sigmoid tansig Positive Linear poslin Competitive compet 1. Mô hình nơron nhiều đầu vào Một nơron thực chất sẽ có nhiều đầu vào qua các liên kết, với một nơron có R đầu vào p1, p2,. , pR, mỗi đầu vào sẽ qua một liên kết có trọng số là w1,1, w1,2, ., w1,R của ma trận trọng số W.5- Nơron nhiều đầu vào Nơron có độ lệch b do đó tổng đầu vào (net) của nó sẽ là z: (1.6) Hay viết dưới dạng ma trận ta có: (1.7) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Trong đó ma trận trọng số W cho một nơron nên nó chỉ có một dòng.
Kết quả đầu ra của mạng được tính là: (1.8) Chúng ta đánh chỉ số liên kết của ma trận trọng số theo cách thông thường, chỉ số đầu là liên kết đích, chỉ số sau là liên kết nguồn. Ví dụ ta viết w1,3 có nghĩa là trọng số liên kết tới nơron thứ 1 từ nơron thứ 3. Chúng ta có thể minh hoạ nơron nhiều đầu vào bằng hình vẽ sau: Hình 1.9- Nơron nhiều đầu vào 1.2- Kiến trúc mạng nơron nhân tạo Mạng nơron sinh học có kiến trúc rất phức tạp, các liến kết giữa các nơron rất nhiều (mỗi nơron có khoảng 104 liến kết tới các nơron khác). Đối với mạng nơron nhân tạo ta chỉ xét loại mạng truyền thẳng là chủ yếu, tức là các nơron được chia thành lớp và xếp theo thứ tự mỗi lớp, các nơron ở lớp trước kết nối trực tiếp tới các nơron ở lớp kề sau.
Mô hình một lớp nơron (Layer) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Một lớp có S nơron được biểu diễn như hình 1.10, mỗi nơron sẽ liên kết đầy đủ với các đầu vào pi vì thế ma trận trọng số liên kết sẽ có kích thước S x R.10- Một lớp S nơron Một lớp nơron sẽ gồm có một ma trận trọng số W, các bộ tổng, véctơ độ lệch b, hàm kích hoạt và véctơ đầu ra a. Các đầu vào của lớp nơron này cũng có thể là các đầu ra của một lớp nơron khác (lớp kề trước). Số nơron trong lớp sẽ khác (độc lập với) số đầu vào (R?S). Hàm kích hoạt của các nơron trong lớp người ta thường dùng chung một hàm, tuy nhiên ta có thể xây dựng lớp mà các nơron có hàm kích hoạt khác nhau.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ma trận trọng số liên kết của một lớp nơron được biểu diễn như sau: (1.11) Một lớp có S nơron và R đầu vào có thể được minh hoạ bởi hình sau: Hình 1.12- Một lớp S nơron 1. Mô hình nhiều lớp nơron (Multiple Layer) Bằng cách liên kết nhiều lớp nơron lại với nhau để tạo thành một mạng nơron nhân tạo. Lớp đầu tiên ta gọi là lớp vào - Input layer, lớp cuối cùng gọi là lớp ra - Output layer, các lớp trong gọi là lớp ẩn - Hidden layer. Các nơron ở lớp sau sẽ liên liên kết với các nơron ở lớp kề trước, trừ lớp vào.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.13- Mạng nơron truyền thẳng nhiều lớp Kết quả đầu ra chi tiết như sau : (1.14) Ta gọi mạng trên là mạng nơron truyền thẳng nhiều lớp (Feedforward Neuron Network), các nơron ở lớp trước kết nối tới các nơron ở lớp sau, không có nơron ở lớp sau nối ngược sang lớp trước.) có số nơron trong lớp là si và ma trận liên kết với lớp trước là Wi có kích thước Si x Si-1. Mạng nơron nhiều lớp mạnh hơn mạng một lớp. Ví dụ mạng nơron hai lớp có lớp đầu là sigmoid và lớp sau là linear có thể huấn luyện để xấp xỉ các hàm tuz ý rất tốt. Mạng một lớp không làm được điều này.
Quá sớm để nói đến việc lựa chọn cấu trúc cho mạng nơron. Số nút vào, số nút ra được lựa chọn dựa vào cấn đề cần thực hiện. Ví thế nếu số biến vào là 3 thì số nút vào của mạng là 3, nếu số biến ra là 7 thì số nút ra của mạng phải là 7. Cuối cùng các đặc trưng mong muốn ở đầu ra giúp chúng ta lựa chọn hàm kích hoạt cho kết quả ra.
Nếu đầu ra là -1 hoặc 1 thì sử dụng hàm symmetrical hard limit. Vì vậy kiến trúc của mạng một lớp xác định hoàn toàn đặc tả vấn đề, bao gồm số nút vào, số nút ra và các đặc trưng đầu ra. Đối với mạng nhiều hơn 2 lớp chúng ta sẽ không xác định được trực tiếp số nơron cần trong lớp ẩn từ vấn đề. Thực tế có 3 vấn đề có thể dự đoán số nơron ẩn thích hợp cần trong lớp ẩn.
Đây là một mảng được nghiên cứu rất sôi động hiện nay. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Cũng như vấn đề số lớp, hầu hết các mạng được sử dụng chỉ có 3 lớp. Từ 4 lớp trở lên ít khi được sử dụng. Chúng ta có thể chọn mạng có độ lệch (bias) hoặc không.
Độ lệch đưa lại cho mạng nhiều biến đổi và chúng ta sẽ thấy mạng có độ lệch sẽ hoạt động mạnh và hiệu quả hơn. Ví dụ một nơron không có độ lệch khi một đầu vào p là 0 thì tổng tín hiệu của nơron sẽ là 0. Điều này không mong muốn và có thể tránh được bằng việc sử dụng độ lệch. Mô hình mạng nơron có phản hồi (reccurent networks) Trước hết chúng ta xét một số khối đơn giản.
Khối thứ nhất là bộ trễ được giới thiệu trong hình sau.15- Bộ trễ Đầu ra của bộ trễ a(t) được tính từ đầu vào u(t) theo công thức a(t)=u(t-1). Vì vậy đầu ra sẽ bị trễ một bước, ở thời điểm t=0 có đầu ra ban đầu là a(0). Thứ 2 xét bộ tích hợp được sử dụng trong mạng hồi quy thời gian liên tục như hình vẽ sau. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.16- Bộ tích hợp Một mạng hồi quy là mạng có tín hiệu phản hồi, một số nút ra được nối tới nút vào.
Đây là sự khác biệt đáng kể mà chúng ta phải xem xét so với mạng hoàn toàn truyền tới, không có liên kết ngược. Một mạng hồi quy với thời gian rời rạc sẽ được biểu diễn như hình sau.17- Mạng nơron hồi quy Trong mạng này véctơ p cung cấp điều kiện khởi tạo (a(0) = p). Sau đó đầu ra của mạng được tính từ đầu ra trước đó. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.
Mạng nơron hồi quy có tiềm năng mạnh hơn mạng truyền tới và có thể đưa ra các ứng xử thời gian.3- ứng dụng của mạng nơron nhân tạo Mạng nơron nhân tạo đ• được ứng dụng thành công và rộng r•i trong nhiều lĩnh vực như điều khiển, viễn thông, chẩn đoán y học, thăm dò dầu khí, tài chính và một số lĩnh vực khác. Các ứng dụng này có thể chia thành các nhóm chính sau: thứ nhất là các bài toán phân lớp (classification) trong đó đầu vào được ấn định tới một trong các lớp hoặc nhóm phân biệt, thứ hai là các vấn đề xấp xỉ và hồi quy (regression) trong đó có một ánh xạ liên tục từ các đầu vào tới một hoặc nhiều đầu ra; thứ ba là các bài toán tối ưu hóa; thứ tư là các bài toán đối sánh mẫu; và cuối cùng là bộ nhớ liên hợp.