Chương 1: Giới thiệu. − Chương 2: Cơ sở lý thuyết. − Chương 3: Ứng dụng mạng nơ ron để định vị sự cố trên lưới điện phân phối. − Chương 4: Mô hình hoá và mô phỏng.
− Chương 5: Kết luận và hướng phát triển. 18 Luan van CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Tổng quan về mạng nơ ron nhân tạo.1 Giới thiệu về mạng nơ ron. Theo các nhà nghiên cứu sinh học về bộ não, hệ thống thần kinh của con nguời bao gồm khoảng 100 tỷ tế bào thần kinh, thuờng gọi là các nơ ron. Mỗi tế bào no ron gồm ba phần: − Thân nơ ron với nhân bên trong (gọi là soma) là nơi tiếp nhận hay phát ra các xung động thần kinh.
− Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) để đưa tín hiệu tới nhân nơ ron. Các dây thần kinh vào tạo thành một lưới dày đặc xung quanh thân nơ ron, chiếm diện tích khoảng 0,25 mm2. − Ðầu dây thần kinh ra (gọi là sợi trục axon) phân nhánh dạng hình cây, có thể dài từ một cm đến hàng mét. Chúng nối với các dây thần kinh vào hoặc trực tiếp với nhân tế bào của các nơ ron khác thông qua các khớp nối (gọi là synapse).
Thông thường mỗi nơ ron có thể có từ vài chục cho tới hàng trăm ngàn khớp nối để nối với các nơ ron khác. Có hai loại khớp nối, khớp nối kích thích (excitatory) sẽ cho tín hiệu qua nó để tới nơ ron, còn khớp nối ức chế (inhibitory) có tác dụng làm cản tín hiệu tới nơ ron. Người ta ước tính mỗi nơ ron trong bộ não của con nguời có khoảng 10.000 khớp nối (hình 2. Chức năng cơ bản của các tế bào nơ ron là liên kết với nhau để tạo nên hệ thống thần kinh điều khiển hoạt động của cơ thể sống.
Các tế bào nơ ron truyền tín hiệu cho nhau thông qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện và được tạo ra từ các quá trình phản ứng hoá học phức tạp. Tại nhân tế bào, khi điện thế của tín hiệu vào đạt tới một ngưỡng nào đó thì nó sẽ tạo ra một xung diện dẫn tới trục dây thần kinh ra. Xung này truyền theo trục ra tới các nhánh rẽ và tiếp tục truyền tới các nơ ron khác. 19 Luan van Hình 2.1 Cấu tạo của tế bào nơ ron sinh học Với mục đích tạo ra một mô hình tính toán phỏng theo cách làm việc của nơ ron trong bộ não con nguời, vào năm 1943 các tác giả McCulloch và Pitts [1] đã đề xuất một mô hình toán cho một nơ ron như sau: Hình 2.2 Mô hình nơ ron nhân tạo Trong mô hình này, một nơ rôn thứ i sẽ nhận các tín hiệu vào x j với các trọng số tương ứng là wij, tổng các thông tin vào có trọng số là: m w x j =1 ij j (0.1) Thông tin đầu ra ở thời diểm t+1 được tính từ các thông tin đầu vào như sau: out ( t + 1) = g ( wij x j (t ) − i ) (0.2) 20 Luan van Trong đó g là hàm kích hoạt (còn gọi là hàm chuyển) có dạng là hàm bước nhảy, nó đóng vai trò biến đổi từ thông tin đầu vào thành tín hiệu đầu ra 1 if f 0 g( f ) = (0.3) 0 if f 0 Như vậy, out = 1 (ứng với việc nơ ron tạo tín hiệu đầu ra) khi tổng các tín hiệu vào lớn hơn nguỡng 𝜃𝑖 , còn out = 0 (nơ ron không tạo tín hiệu ở đầu ra) khi tổng các tín hiệu vào nhỏ hơn nguỡng 𝜃𝑖 Trong mô hình nơ ron của McCulloch và Pitts, các trọng số 𝑤𝑖𝑗 thể hiện ảnh hưởng của khớp nối trong liên kết giữa nơ ron j (nơ ron gửi tín hiệu) và nơ ron i (nơ ron nhận tín hiệu).
Trọng số 𝑤𝑖𝑗 tương ứng với khớp nối kích thích, trọng số âm ứng với khớp nối ức chế còn 𝑤𝑖𝑗 bằng 0 khi không có liên kết giữa hai nơ ron. Hàm chuyển g ngoài dạng hàm bước nhảy còn có thể chọn nhiều dạng khác nhau và sẽ đuợc đề cập ở các phần sau. Thông qua cách mô hình hoá đơn giản một nơ ron sinh học như trên, McCulloch và Pitts đã đưa ra một mô hình nơ ron nhân tạo có tiềm năng tính toán quan trọng. Nó có thể thực hiện các phép toán lô-gíc cơ bản như AND, OR và NOT khi các trọng số và ngưỡng được chọn phù hợp.
Sự liên kết giữa các nơ ron nhân tạo với các cách thức khác nhau sẽ tạo nên các loại mạng nơ ron nhân tạo (Artificial Neural Network - ANN) với những tính chất và khả năng làm việc khác nhau.2 Định nghĩa Mạng nơ ron. Mạng nơ ron là một hệ thống liên kết nhiều phần tử hoạt động song song nhau. Những phần tử này được mô phỏng theo hệ thống thần kinh sinh học con người. Chức năng của mạng được xác định bởi sự kết nối giữa các phần tử.
Mạng có thể được huấn luyện bằng cách hiệu chỉnh các giá trị kết nối (gọi là các trọng số) giữa các phần tử trong mạng để thực hiện một chức năng nào đó. Các phần tử của mạng hoạt động giống như các tế bào thần kinh của con người, được gọi là các nơ ron. 21 Luan van Hình 2.3 Cấu trúc một phần tử của mạng nơ ron Trong đó: X=(xo, x1, …, xn) biểu diễn cho tập hợp các ngả vào của phần tử xử lý. W=(w1,w2,…,wn) biểu diễn cho vectơ trọng số ứng với vectơ vào X.
Mỗi ngả vào có một trọng số wi đặc trưng cho cường độ kết nối. Các ngả vào có trọng số được lấy tổng tại phần tử xử lý theo công thức I=SUM(wi*xi)=W*X Sau đó hàm tổng được đưa qua một hàm truyền Y và tạo kết quả tại ngả ra của phần tử xử lý. Các trọng số được thay đổi trực tiếp qua các luật học của mạng.4 Cấu trúc mạng nơ ron 22 Luan van 2.3 Hoạt động của mạng nơ ron. Mạng nơ ron được hiệu chỉnh, còn gọi là huấn luyện, sao cho ứng với một ngả vào sẽ có một ngả ra riêng biệt.
Mạng được hiệu chỉnh dựa vào kết quả so sánh giữa ngả ra và giá trị mẫu, cho đến khi ngả ra phù hợp với mẫu. Một mạng nơ ron được tạo ra bằng cách kết hợp nhiều lớp nơ ron với nhau. Dạng tổng quát như Hình 2. 5 Kết nối các lớp của mạng nơ ron Trong mạng này một số nơ ron sẽ giao tiếp với thế giới thực để nhận dữ liệu vào.
Một số nơ ron khác sẽ xuất kết quả ở ngả ra. Các nơ ron còn lại tồn tại ở dạng ẩn trong mạng. Thông thường một mạng nơ ron sẽ có 3 lớp: Lớp vào, lớp ẩn và lớp ra. Mỗi nơ ron trong lớp ẩn sẽ nhận tín hiệu từ tất cả các nơ ron phía trước nó, với mạng có 3 lớp thì lớp trước lớp ẩn là lớp vào, sau khi xử lý nó sẽ chuyển ngả ra tới các nơ ron phía sau, với mạng có 3 lớp thì lớp sau lớp ẩn là lớp ra.
Một cách kết nối khác là hồi tiếp (feedback), như Hình 2., trong đó ngả ra của nơ ron sau sẽ nối ngược lại nơ ron phía trước. Cách các nơ ron kết nối nhau có ảnh hưởng đáng kể đến hoạt động của mạng. 23 Luan van Hình 2.6 Mạng nơ ron có hồi tiếp 2.4 Các thành phần chính của mạng nơ ron. Một mạng nơ ron gồm có 7 thành phần chính: 2.
Một nơ ron sẽ nhận cùng lúc nhiều dữ liệu vào, mỗi ngả vào sẽ có trọng số kết nối riêng tạo ra ảnh hưởng lên ngả vào và nó cần có hàm tổng của phần tử xử lý. Một số ngả vào được làm cho quan trọng hơn các ngả vào khác để chúng có ảnh hưởng lớn hơn lên phần tử xử lý khi chúng kết hợp với nhau để tạo ra một đáp ứng của nơ ron. Các trọng số là những hệ số thích nghi dùng để xác định mật độ của tín hiệu vào. Chúng là phép đo cường độ kết nối của một ngả vào.
Cường độ này có thể được thay đổi đáp ứng cho nhiều tập huấn luyện khác nhau và theo một cấu trúc riêng của mạng hoặc qua các tập huấn luyện khác nhau. Bước đầu tiên trong hoạt động của phần tử xử lý là tính tổng có trọng số của tất cả các ngả vào. Về mặt toán học, các ngả vào và trọng số của chúng đều là các vectơ, gọi là vectơ (i1, i2, …, in) và vectơ (w1, w2, …, wn). Tổng ngả vào là tích số của 2 vec tơ này, 24 Luan van là một điểm.
Hàm tổng được tìm bằng cách nhân mỗi phần tử của vectơ i với phần tử tương ứng của vectơ w, rồi lấy tích các tổng này.6) Chú ý kết quả đạt được là một số, không phải là một vectơ. Về mặt hình học, tích bên trong của các vectơ được xem xét như độ tương đồng giữa chúng. Nếu các vectơ cùng hướng thì tích này sẽ cực đại, các vectơ ngược hướng thì tích cực tiểu. Các hệ số vào và trọng số có thể kết hợp theo nhiều cách khác nhau trước khi đưa tới hàm truyền.
Bằng cách chọn mô hình và cấu trúc mạng sẽ xác định được thuật toán riêng cho sự kết hợp các ngả vào. Một số hàm tổng có thêm quá trình xử lý kết quả trước khi chuyển nó tới hàm truyền. Quá trình này gọi là hàm kích hoạt. Mục đích của việc sử dụng hàm kích hoạt là cho phép ngả ra của hàm tổng thay đổi theo thời gian.
Kết quả của hàm tổng được biến đổi thành ngả ra bằng một thuật toán xử lý gọi là hàm truyền. Trong hàm truyền, tổng số hàm tổng được so sánh với một ngưỡng để xác định ngả ra của nơ ron. Nếu tổng lớn hơn giá trị ngưỡng thì phần tử xử lý tạo ra một tín hiệu. Nếu tổng nhỏ hơn ngưỡng thì không tạo tín hiệu ra.
Ngưỡng này, hay hàm truyền, là phi tuyến. Hàm tuyến tính sẽ bị loại trừ vì làm cho ngả ra tỉ lệ với ngả vào. Mạng có thể tạo ra giá trị zero và 1, hoặc 1 và -1, hoặc +1 và -1. Hàm truyền có thể là một ‘giới hạn cứng’ hay là một hàm bước.4 Lấy tỉ lệ và định giới hạn.
25 Luan van Sau hàm truyền của phần tử xử lý, kết quả có thể qua các quá trình phụ đó là lấy tỉ lệ và giới hạn. Việc lấy tỉ lệ chỉ là nhân hệ số tỉ lệ với một giá trị truyền, rồi thêm vào một hệ số bù. Việc định giới hạn để bảo đảm rằng kết quả lấy tỉ lệ không vượt quá một biên trên và biên dưới.5 Hàm ngả ra.