CHƯƠNG 1 TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO Chương này, tác giả trình bày nghiên cứu tổng quan mạng nơron tế bào (CNN), gồm bốn nội dung chính: i) Tổng quan về mạng nơron nhân tạo; ii) Mạng nơron tế bào; iii) Tình hình nghiên cứu CNN tại Việt Nam và thế giới; iv) phát biểu bài toán nghiên cứu trong luận án.1 Tổng quan về mạng nơron nhân tạo CNN là một trong hàng trăm cấu trúc đi kèm với luật học khác nhau của mạng nơron nhân tạo. Nó có những đặc điểm chung và riêng so với các cấu trúc, luật học và có tính kế thừa từ mạng nơron khác. Do vậy, tác giả điểm qua các cấu trúc và luật học của mạng nơron.1 Mô hình cấu trúc mạng nơron nhân tạo 1.1 Mô hình một nơron của Mc.Culloch Pitts's Năm 1943, McCulloch-Pitts đề xuất mô hình một nơron nhân tạo (Hình 1.1) [60] và sau này tên của tác giả được sử dụng đặt tên cho nơron. Nơron McCulloch- Pitts còn được gọi là đơn vị (phần tử) xử lý (Processing Element: PE), một nút (Node) hay một tế bào (tên được dùng trong mạng CNN) là mô hình đánh dấu mốc khởi đầu cho sự phát triển của các thế hệ mạng nơron nhân tạo.1) nơron j nhận nhiều tín hiệu vào u jk (với k=1.n) từ các nơron khác hoặc từ phía phản hồi tới nơron j và xử lý chúng để thu được tín hiệu ra v j.
Như vậy, một nơron có thể coi là một hệ thống nhiều đầu vào (Multi-Input), một đầu ra (Single Output). xj yj vj u jk w jk H(vj) g(x j ). u jn w jn Hình 1.1 Mô hình nơron McCulloch-Pitts LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 6 Trạng thái x j và đầu ra y j của nơron McCulloch-Pitts có thể mô tả toán học như sau: ( ) n v j = w jk u jk + I j ; x j = H (v j ); yj = g xj (1.1) k =1 trong đó: u jk : đầu vào thứ k tới nơron j; k=1.n; n là số lượng các đầu vào; w jk : các trọng số tương ứng với các đầu vào thứ k tới nơron j; I j : ngưỡng (Threshold) hay độ lệch (Bias) của nơron j; y j : đầu ra của nơron j; v j : tổng hợp các đầu vào của nơron j; x j : đầu ra tương tự hay trạng thái của nơron j; g ( x j ) : hàm truyền đạt (Transfer Function) hay hàm kích hoạt (Activation Function) hay hàm chặn (Squashing Function) của nơron j. Đầu ra thường được mô phỏng bởi một hàm chặn dạng bước nhảy hoặc hàm chặn Sigmoid.
Điều này phỏng theo cơ chế hoạt động của nơron sinh học là: i) nếu xung thần kinh (nơron) vượt quá ngưỡng trên nào đó thì con người biểu hiện dạng quá khích bất thường (bị quá khích); ii) Nếu xung thần kinh vượt quá ngưỡng dưới thì con người biểu hiện trầm cảm. Trong thực tế, việc mô phỏng nơron có một số trường hợp không nhất thiết hàm đầu ra g ( x j ) là bị chặn. Xét một số dạng hàm g ( x j ) sau: - Hàm tuyến tính (Hình 1.2) hay hàm đồng nhất g ( x j ) = x j (1.2) 1 x xj 0 Ij xj 3 Hình 1.2 Hàm tuyến tính Hình 1.3 Hàm bước nhảy đơn cực LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 7 - Hàm bước nhảy đơn cực: Đầu ra của hàm này được mô tả như sau: 1 nếu ( x j − I j ) 0 hay x j I j (1.3) g(xj -Ij) = 0 nếu ( x j − I j ) 0 hay x j I j Ngưỡng chặn trên và dưới ứng với hai ngưỡng: 0 và 1 như (Hình 1.3) - Hàm dấu (Sign Function) 1 nếux j I j ( ) ( g x j − I j = sgn x j − I j = ) −1 nếu x j I j (1.4) Trong phần mềm mô phỏng Matlab, hàm bước nhảy đơn cực (Hình 1.3) được gọi là hàm giới hạn cứng (Hard Limit Function), "hàm ngưỡng" (Threshold Function) hay hàm bậc thang (Heaviside Function)[24]. g(xj ) g(xj ) 1 -6 -4 -2 0 2 4 6 xj -6 -4 -2 0 2 4 6 xj Hình 1.4 Hàm Sigmoid đơn cực Hình 1.5 Hàm Sigmoid lưỡng cực - Hàm dạng chữ S (Sigmoid) đơn cực (Hình 1.
Hàm Sigmoid là hàm liên tục, khả vi, đơn điệu không giảm và xác định trong khoảng [0, 1].5) 1+ e - Hàm Sigmoid lưỡng cực (hình 1.6) 1+ e là hàm liên tục, khả vi, đơn điệu không giảm, xác định trong khoảng [-1, 1]. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Phân loại mạng nơron nhân tạo Nhiều nơron kết nối với nhau theo một cách nào đó gọi là mạng nơron. Về tổng thể, các cấu trúc mạng nơron được chia thành hai loại chính (Hình 1.6): - Dựa vào cách kết nối, mạng được phân thành mạng một lớp hoặc mạng nhiều lớp (Layer). Cấu trúc của mạng khi đó được xác định bằng số lớp và số phần tử nơron trong mỗi lớp.
- Dựa vào hướng truyền tín hiệu, mạng có thể được phân thành mạng truyền thẳng và mạng hồi quy (hay phản hồi). MẠNG NƠRON NHÂN TẠO Mạng Truyền thẳng Mạng Hồi quy Perceptron (1958) Một Adaline (1960) lớp Brain State (1966) Hopfield (1982, 1984) Madaline (1970) Cohen-Grossberg (1985) Back Propagation (1986) Nhiều BAM (1988) MLP (1986) lớp RBF (1988) Mạng nơron tế bào CNN (1988) SOM (1982) ART (1987) Boltzmann (1986) Học sâu Deep Belief (2009) Autoencoder (1991) Mạng CNN bậc cao Deep CNN (đa tương tác) Hình 1.6 Phân loại cấu trúc mạng nơron nhân tạo LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 9 Trong mạng truyền thẳng hoặc hồi quy có thể có nhiều lớp. Nhóm mạng truyền thẳng được chia thành ba nhóm chính, đó là nhóm mạng một lớp [21, 73], nhóm mạng nhiều lớp [4, 33, 57], và nhóm mạng học sâu [35]. Trong mỗi nhóm có nhiều loại mạng khác nhau.
Nhóm mạng hồi quy có bốn loại thường gặp: mạng Hopfield [14, 24], mạng Cohen-Grossberg, mạng BAM [32, 41, 46] và CNN [17, 18, 22, 25]. Nhóm mạng này đều có nguồn gốc từ mạng Hopfield, vì thế còn được gọi là lớp mạng Hopfield: a) Mạng Hopfield rời rạc Tư tưởng xây dựng mạng hồi quy đầu tiên được Kohonen, Anderson và Nakano đề ra năm 1972 [87]. Mười năm sau (năm 1982), Hopfield đã hiệu chỉnh ( ) mạng đó thành mạng Hopfield rời rạc hoàn chỉnh. Đầu ra g xi ( t ) của các nơron này được phản hồi về làm đầu vào cho mạng nơron.
Hàm tương tác đầu ra của nơron Hopfield là hàm bước nhảy đơn cực (1.3) hoặc hàm dấu (1. Cấu trúc của mạng được mô tả [24]: n xi (t ) = wij y j (t ) − Ii i =1.9) 0 nếu xi (t) < 0 h (2 y p,i − 1)(2 y pj − 1) nếu i j wij = p=1 (1.11) 2 j=i ij trong đó: p là phần tử đang được tính, p = 1,…, h. Ở đây h là số lượng mẫu được cất giữ. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 10 Để ổn định mạng, Hopfield đề xuất hàm năng lượng cho mạng (hay hàm thế năng): 1 n n n E ( y) = − wij yi y j + Ii yi (1.12) 2 i=1 j =1 i=1 Với điều kiện ràng buộc trọng số (tham số) wij = 0 và wij = w ji (tính đối xứng của ma trận W) nên mỗi một thay đổi không đồng bộ của y p thì năng lượng của mạng sẽ giảm thể hiện bằng tốc độ âm (đạo hàm nhận giá trị âm của E), chứng tỏ mạng ổn định [24] dE n = − y p (t + 1) − y p (t ) w pj y j − w p , p=1.13) dt j =1 b) Mạng Hopfield liên tục Năm 1984, trên cơ sở mô hình rời rạc, Hopfield đã nêu mô hình nơron liên tục được mô tả bằng tập các phương trình sau [24]: dE x n Ci = − i + wij y j − Ii (1.14) dt Ri j =1 yi = g j ( xi ); và xi = g j −1( yi ) (1.15) trong đó: Ci , Ri là các tụ điện, điện trở của nơron thứ i, I i là ngưỡng của nơron thứ i; i = 1.
wij là trọng số liên kết từ nơron thứ j tới nơron thứ i xi là trạng thái thứ i của mạng.) là hàm Sigmoid, khả vi, bị chặn và đơn điệu tăng, với hàm ngược của nó là xi = g j −1 ( yi ) cũng bị chặn và đơn điệu tăng. Hopfield đã đề xuất hàm Lyapunov xác định dương [24] 1 n n n 1 yi -1 n E=- w y y + 2 i=1 j=1 ij i j i=1 Ri 0 i ( ) g (ς)d ς - Ii yi (1.16) i=1 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 11 dE dE dyi và đã chứng minh rằng 0 , khi = 0 dẫn đến = 0 lúc này yi = const với dt dt dt mỗi i đảm bảo đảm bảo mạng nơron Hopfield liên tục phi tuyến ổn định theo tiêu chuẩn Lyapunov. Như vậy, sau một thời gian t 0 , xi (t ) chuyển động trong không gian trạng dE thái, sẽ tìm được cực tiểu trong một miền xác định và dừng ở điểm đó, với =0 , dt dyi = 0 tức yi (t ) = constant với mỗi i. Với hệ này, tồn tại nhiều điểm cân bằng ứng dt với mức năng lượng cực tiểu (hay là đáy năng lượng) trên một siêu phẳng năng lượng của siêu diện n chiều.
Giả sử các mẫu vào (Input Patterns) tuỳ ý được đưa vào mạng nơron như trạng thái ban đầu, hệ sẽ đạt đến điểm cân bằng gần nhất ứng với điểm ổn định [24]. E(x) Cực tiểu địa phương E(x0) Cực tiểu toàn cục x 0 x1 x2 x3 x4 x x Hình 1.7 Năng lượng mạng E(x) Hình 1.7, phác họa về năng lượng E trong không gian một chiều để minh họa Nếu E là một hàm vô hướng của x với các cực tiểu địa phương, thì các điểm cực tiểu địa phương được gắn vào mạng làm các đặc trưng xử lý thông tin. Nếu hệ thống xuất phát ở trạng thái ban đầu x(0) (Hình 1.7), thì theo thời gian hệ trượt xuống đáy năng lượng của điểm cực tiểu gần nhất. Với đặc trưng như vậy, mạng Hopfield có khả năng dùng làm bộ nhớ các mẫu, để có thể gọi lại.
Dựa trên nguyên lý đó, mạng Hopfield LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 12 có thể dùng trong hệ nhận dạng các tham số, làm các bộ suy diễn và giải nhiều bài toán tối ưu.