phần mở đầu, mục lục, kết luận, tài liệu tham khảo cũng đƣợc viết ở phần đầu và cuối của luận án. Nội dung của từng chƣơng đƣợc trình bày nhƣ sau: Chƣơng 1 trình bày các kiến thức quan trọng về ANN gồm nơ-ron sinh học, mô hình nơ-ron nhân tạo, mạng nơ-ron, các luật học, ƣu-nhƣợc điểm, và ứng dụng. Các kiến thức này giúp hiểu chủ đề nghiên cứu của luận án. Chƣơng 2 cung cấp các kiến thức cơ bản về các khái niệm, thao tác của logic mờ và toán học hình thái.
Tiếp theo, mô hình và hoạt động của BAM, FAM, và Fuzzy ART đƣợc trình bày chi tiết hơn giúp phân biệt điểm mới trong các đề xuất cải tiến đối với từng mô hình. Chƣơng 3 đề xuất một thuật toán xác định trọng số thích hợp cho mỗi cặp mẫu huấn luyện của BAM học nhiều lần. BAM cải tiến đƣợc thử nghiệm với ứng dụng nhận dạng mẫu. Kết quả thực nghiệm cho thấy có khả năng nhớ lại đƣợc cải thiện hơn các BAM khác.
Thuật toán học cải tiến giúp BAM học nhanh và linh động hơn nhƣng vẫn đảm bảo về khả năng phục hồi mẫu. Chƣơng 4 thể hiện hai luật học và một thủ tục tìm giá trị thích hợp cho tham số tốc độ học của Fuzzy ART. Các thực nghiệm phân cụm trên 14 bộ dữ liệu chuẩn cho thấy Fuzzy ART với các luật học đề xuất nhớ lại các cụm tốt hơn. Trong chƣơng, cả luật học và tham số mô hình đều đƣợc cải tiến để nâng cao chất lƣợng phân cụm Fuzzy ART.
Chƣơng 5 trình bày luật học cho FAM. Các thử nghiệm với nhiệm vụ nhận dạng mẫu cho thấy FAM với luật học cải tiến nhớ lại tốt hơn các FAM khác. Luật học đề xuất đã giúp nâng cao khả năng phục hồi mẫu từ các mẫu vào có dạng nhiễu phức tạp. MẠNG NƠ-RON NHÂN TẠO Trong chƣơng này, tác giả trình bày các kiến thức cơ bản về mạng nơ-ron nhân tạo.1 Nơ-ron sinh học Một nơ-ron sinh học [26] là một tế bào xử lý và truyền thông tin bằng các tín hiệu hóa học qua một khớp thần kinh tới các tế bào khác.
Mỗi nơ-ron kết nối với nơ-ron khác hình thành các mạng nơ-ron. Khớp nối dây thần kinh Trục Nhân Hình cây Tế bào Hình 1.1: Cấu tạo nơ-ron sinh học. Một nơ-ron có một thân tế bào, các hình cây và một sợi trục nhƣ trong Hình 1. Các hình mọc ra từ thân tế bào và chia thành nhiều nhánh.
Một sợi trục đƣợc sinh ra từ thân tế bào. Các tín hiệu đƣợc truyền đi từ một sợi trục của một nơ-ron tới một hình cây của nơ-ron khác.2 Nơ-ron nhân tạo McCulloch và Pitts [16] đã đề xuất một mô hình tính toán cho một nơ-ron sinh học nhƣ trong Hình 1.2: Mô hình một nơ-ron nhân tạo Trong đó: - y là tín hiệu ra - x1, x2, ., xn là các tín hiệu vào - w1, w2, …, wn là các trọng số tƣơng ứng với các tín hiệu vào Hoạt động của nơ-ron gồm hai bƣớc: tổng hợp các tín hiệu vào và tạo ra một tín hiệu ra dựa vào các tín hiệu vào. Tổng hợp các thông tin vào Cho các thông tin vào x1, x2, ., xn với các trọng số tƣơng ứng w1, w2, …, wn đƣợc thực hiện theo một trong các công thức sau: Dạng tuyến tính 𝑛 𝑖𝑛𝑝𝑢𝑡 = 𝑤𝑗 𝑥𝑗 (1.1) 𝑗 =1 Dạng toàn phương 𝑛 𝑖𝑛𝑝𝑢𝑡 = 𝑤𝑗 𝑥𝑗2 (1.2) 𝑗 =1 18 z Dạng mặt cầu 𝑛 1 𝑖𝑛𝑝𝑢𝑡 = 2 (𝑤𝑗 − 𝑥𝑗 )2 (1.3) 𝜌 𝑗 =1 với ρ là bán kính của mặt cầu Tạo ra tín hiệu ra ANN dùng một hàm kích hoạt để xác định tín hiệu ra. Dƣới đây là một số dạng hàm thƣờng đƣợc dùng.
Hàm McCuloch-Pitts: 1 𝑛ế𝑢 𝑖𝑛𝑝𝑢𝑡 ≥ 𝜃 𝑜𝑢𝑡 = 𝑓 𝑖𝑛𝑝𝑢𝑡 = (1.4) 0 𝑛ế𝑢 𝑖𝑛𝑝𝑢𝑡 < 𝜃 với θ là ngƣỡng. Hàm McCuloch-Pitts trễ: 1 𝑖𝑓 𝑖𝑛𝑝𝑢𝑡 ≥ 𝑈𝑇𝑃 𝑜𝑢𝑡 = 𝑓 𝑖𝑛𝑝𝑢𝑡 = 0 𝑖𝑓 𝑖𝑛𝑝𝑢𝑡 < 𝐿𝑇𝑃 (1.5) 𝑓 𝑖𝑛𝑝𝑢𝑡 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 với UTP>LTP và UTP là ngƣỡng trên, còn LTP là ngƣỡng dƣới Hàm signmoid 1 𝑜𝑢𝑡 = 𝑓 𝑖𝑛𝑝𝑢𝑡 = (1.𝑖𝑛𝑝𝑢𝑡 với λ là độ nghiêng của hàm 1.3 Mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo [60] là một cấu trúc đƣợc hình thành do các nơ-ron nhân tạo liên kết với nhau. Mỗi nơ-ron có các tín hiệu vào, tín hiệu ra và thực hiện một chức năng tính toán cục bộ. Các đặc điểm nổi bật của ANN gồm: - Là mô hình toán học dựa trên bản chất hoạt động của nơ-ron sinh học 19 z - Cấu tạo từ một số các nơ-ron có liên kết với nhau - Có khả năng học và tổng quát hóa tập dữ liệu thông qua việc gán và hiệu chỉnh trọng số liên kết giữa các nơ-ron - Xử lý song song các thông tin phân tán nên có khả năng tính toán lớn Các ANN có thể chia theo nhiều cách dựa vào cấu trúc (một tầng và nhiều tầng), cách truyền tín hiệu (truyền thẳng và lan truyền ngƣợc), và bản chất của việc học (học giám sát, học không giám sát, học lai giữa 2 cách) Phân loại theo cách truyền tín hiệu Mạng truyền thẳng: gồm các mạng perceptron một lớp, mạng perceptron nhiều tầng và mạng RBF.4 thể hiện một mạng truyền thẳng một lớp và nhiều lớp.3: Một mạng truyền thẳng một lớp Hình 1.4: Một mạng truyền thẳng nhiều lớp 20 z Mạng lan truyền ngược: gồm các mạng cạnh tranh, mạng SOM của Kohonen, mạng Hopfield và mô hình ART.5 mô tả các loại mạng này.
(a) Mạng cạnh tranh (b) Mạng SOM của Kohonen (c) Mạng Hopfield (d) Mạng ART Hình 1.5: Các mạng lan truyền ngược Phân loại theo cách học dữ liệu Mạng học giám sát: mạng đƣợc cung cấp tín hiệu ra đúng của mỗi tín hiệu vào. Các trọng số liên kết đƣợc xác định để tạo ra tín hiệu ra giống nhất với tín hiệu 21 z ra đúng. Học tăng cƣờng là trƣờng hợp đặc biệt của học có giám sát, do mạng chỉ đƣợc cung cấp điều kiện về tín hiệu ra đúng. Mạng học không giám sát: Tìm ra các cấu trúc ẩn của dữ liệu, sự tƣơng quan giữa các mẫu, và tổ chức các mẫu thành các nhóm dựa vào sự tƣơng quan.
Học lai là một phần trọng số thu đƣợc nhờ học giám sát và phần còn lại thu đƣợc nhờ học không giám sát.4 Các luật học của ANN Các luật học đóng vai trò quan trọng trong việc xác định một ANN. Quá trình học của ANN [1] là cập nhật ma trận trọng số, các tham số mô hình dựa vào các mẫu huấn luyện. Theo nghĩa rộng thì học có thể chia làm hai loại: Học tham số và học cấu trúc. Học tham số: Các thủ tục học này tìm kiếm ma trận trọng số sao cho mạng có khả năng đƣa ra các dự báo sát với thực tế.
Dạng chung của luật học tham số cho nơ-ron i đƣợc mô tả nhƣ sau: ∆𝑊𝑖𝑗 = 𝜂𝑟𝑥𝑗 , với j = 1.7) Trong đó: - ∆𝑊𝑖𝑗 là sự thay trọng số liên kết của nơ-ron thứ i do nơ-ron j tạo ra - 𝑥𝑗 là tín hiệu vào nơ-ron j. - 𝜂 là tốc độ học, nằm trong khoảng (0,1). - 𝑟 là hằng số học. Có thể chia thủ tục học tham số ra thành hai lớp nhỏ hơn gồm học có chỉ đạo và học không chỉ đạo.
Việc xác định r phụ thuộc vào từng kiểu học. + Học có tín hiệu chỉ đạo: dựa vào sai số của tín hiệu ra thực và tín hiệu ra mong muốn để hiệu chỉnh trọng số. Sai số này chính là hằng số học r. Luật điển hình của nhóm là luật học Delta dựa trên nguyên tắc giảm gradient.
Tiếp đến là luật học perceptron, luật học OJA, và luật lan truyền ngƣợc cho mạng nhiều lớp. 22 z + Học không có tín hiệu chỉ đạo: sử dụng tín hiệu ra của mạng làm cơ sở để hiệu chỉnh các trọng số liên kết. Điển hình là luật Hebb thƣờng dùng cho các mạng tự liên kết, luật LVQ (Learning Vector Quantization) dùng cho mạng tự tổ chức một lớp thuộc lớp mạng ánh xạ đặc trƣng của Kohonen. Luật học Hebb dựa trên hiện tƣợng sinh học sau: Giữa hai nơ-ron có quan hệ và có thay đổi thế năng màng thì giữa chúng có sự thay đổi trọng số liên kết.
Nói cách khác, trọng số đƣợc điều chỉnh theo mối tƣơng quan giữa tín hiệu vào và tín hiệu ra.8) Trong đó: - ∆𝑊𝑖𝑗 là sự thay đổi trọng số liên kết của nơ-ron i do các nơ-ron j tạo ra - 𝑥𝑗 là tín hiệu vào nơ-ron j. - 𝑦𝑖 là tín hiệu ra của nơ-ron i. - 𝜂 là tốc độ học, nằm trong khoảng (0,1). Luật Hebb giải thích việc điều chỉnh trọng số trong phạm vi cục bộ của mạng khi không cần tín hiệu chỉ đạo từ bên ngoài.
Hopfield cũng cải tiến luật Hebb cho các mạng tự liên kết thành 16 dạng khác nhau của luật Hebb, luật đối Hebb, luật Hopfield. Đối với mạng lan truyền ngƣợc thƣờng sử dụng luật Hebb và các luật cải tiến của luật Hebb để điều chỉnh trọng số. + Học tăng cường: Trong một số trƣờng hợp, thông tin phản hồi chỉ là tín hiệu bao gồm hai trạng thái cho biết tín hiệu đầu ra của mạng là đúng hay sai. Quá trình học dựa trên các thông tin hƣớng dẫn nhƣ vậy đƣợc gọi là học có củng cố (học tăng cƣờng) và tín hiệu mang thông tin phản hồi đƣợc gọi là tín hiệu củng cố cho quá trình học.
Đây là một dạng của học có tín hiệu chỉ đạo. Học cấu trúc: Tìm kiếm các tham số về cấu trúc để có đƣợc một mạng hoạt động tốt nhất. Trong thực tế, việc học cấu trúc là tìm ra số lớp ẩn và tìm ra số nơ-ron trên mỗi lớp đó. Giải thuật di truyền thƣờng đƣợc sử dụng trong các cấu trúc 23 z nhƣng thƣờng chạy rất lâu.
Ngoài ra, kỹ thuật gọt tỉa mạng hay mạng tăng dần cũng đƣợc áp dụng trong việc học cấu trúc của mạng có kích thƣớc nhỏ.5 Ƣu và nhƣợc điểm của ANN Ưu điểm – Xử lý song song. – Thiết kế hệ thống thích nghi. – Không đòi hỏi các đặc trƣng mở rộng của bài toán (chủ yếu dựa trên tập mẫu học). Nhược điểm – Không có các quy tắc và các hƣớng dẫn thiết kế một cách rõ ràng đối với một ứng dụng nhất định.
– Không có cách tổng quát để đánh giá hoạt động bên trong mạng. – Việc học đối với mạng có thể khó (hoặc không thể) thực hiện. – Khó có thể dự đoán trƣớc đƣợc hiệu quả của mạng trong tƣơng lai (khả năng tổng quát hoá).6 Ứng dụng của ANN Mạng nơ-ron đƣợc coi nhƣ là hộp đen biến đổi véc-tơ đầu vào m biến thành véc-tơ đầu ra n biến. Tín hiệu ra có thể là các số thực, (tốt nhất nằm trong khoảng [0,1], hoặc [-1,1]), số nhị phân 0,1, hay số lƣỡng cực -1;+1.