CHƯƠNG 1 TỔNG QUAN VỀ CÁC MÔ HÌNH MẠNG NƠRON TỰ TỔ CHỨC Chương này trình bày nghiên cứu tổng quan của luận án, gồm bốn nội dung chính: Thứ nhất, nghiên cứu tổng quan về mạng nơron nhân tạo: kiến trúc, thuật học và xu hướng phát triển. Thứ hai, nghiên cứu tổng quan về mạng nơron tự tổ chức: cấu trúc, thuật toán huấn luyện, phân tích các hạn chế của mạng nơron tự tổ chức và biện pháp khắc phục các hạn chế. Thứ ba, tổng hợp các nghiên cứu trong và ngoài nước về cải tiến cấu trúc, thuật toán học của mạng nơron tự tổ chức. Cuối cùng, phân tích đặc điểm chung của các phương thức cải tiến mạng nơron tự tổ chức.
Tổng quan về mạng nơron nhân tạo 1. Khái niệm mạng nơron nhân tạo Mạng nơron nhân tạo (ANN) là một mô hình tính toán dựa trên sự kết hợp các nơron trong một kiến trúc thống nhất, trong đó các nơron cùng hoạt động song song. ANN là một ánh xạ F: X → Y, trong đó X là không gian trạng thái đầu vào và Y là không gian trạng thái đầu ra. Mạng có nhiệm vụ ánh xạ các vector đầu vào x ∈ X sang các vector đầu ra y ∈ Y thông qua “bộ lọc” (filter) (còn được gọi là hệ cơ sở tri thức), tức là y=F(x)=s(W, x), trong đó W là ma trận trọng số liên kết, s là hàm tương tác đầu ra.
Dựa theo mạng nơron sinh học, ANN được tạo ra từ một lượng lớn các phần tử xử lý (gọi là nơron1) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó. 1 Mô hình tính toán cho một nơron nhân tạo được đưa ra bởi McCulloch và Pitts (1943). Các kiến trúc căn bản của mạng nơron nhân tạo Có nhiều quan điểm khác nhau trong việc phân loại kiến trúc mạng nơron (Wilamowski, 2003). Tuy nhiên xét về mặt tổng quát, người ta chia ra làm hai loại kiến trúc mạng chính: - Tự kết hợp (Autoassociative): là mạng có các nơron đầu vào cũng là các nơron đầu ra.
Các mạng Hopfield, BAM là thuộc kiểu mạng tự kết hợp. 1 Minh họa kiến trúc mạng tự kết hợp - Kết hợp khác kiểu (Heteroassociative): là mạng có tập nơron đầu vào và đầu ra riêng biệt. Các mạng Perceptron, Kohonen,… thuộc loại này. 2 Minh họa kiến trúc mạng kết hợp khác kiểu Căn cứ vào việc có hay không các kết kết nối ngược trong mạng, có thể chia ra làm hai loại kiến trúc mạng chính là (Jain, 1996): kiến trúc truyền thẳng và kiến trúc phản hồi.
- Kiến trúc truyền thẳng (Feedforward): tín hiệu di chuyển theo một đường duy nhất từ đầu vào tới đầu ra và không có các kết nối ngược trở lại từ các nơron đầu ra về các nơron đầu vào. Mạng không lưu lại các giá trị output trước và các trạng thái kích hoạt của nơron. Đầu ra của một tầng bất kì sẽ không ảnh hưởng tới tầng đó. Mạng truyền thẳng 1 lớp b.
Mạng truyền thẳng nhiều lớp Hình 1. 3 Minh họa kiến trúc mạng truyền thẳng - Kiến trúc phản hồi (Feedback): có các kết nối từ nơron đầu ra tới nơron đầu vào, tức là đầu ra của một nơron có thể trở thành đầu vào của nơron trên cùng một lớp hoặc của lớp trước đó. Mạng lưu lại các trạng thái trước đó và trạng thái tiếp theo không chỉ phụ thuộc vào các tín hiệu đầu vào mà còn phụ thuộc vào các trạng thái trước đó của mạng. Trong trường hợp mạng Feedback có chu trình khép kín còn gọi là mạng hồi quy (Recurrent).
4 Minh họa kiến trúc mạng hồi quy 1 lớp 1. Các phương pháp học Đối với mạng nơron nhân tạo, quá trình học nhằm 2 mục tiêu chính đó là học tham số (Parameter Learning) và học cấu trúc (Structure Learning). Học tham số là thay đổi trọng số của các liên kết giữa các nơron. Học cấu trúc là điều chỉnh cấu trúc của mạng, gồm thay đổi số lớp, số nơron trong mỗi lớp và cách liên kết giữa chúng.
Cả hai mục tiêu này có thể được thực hiện đồng thời hoặc tách biệt. 22 Có ba phương pháp học tham số phổ biến của mạng nơron gồm: học có giám sát (Supervised Learning), học không giám sát (Unsupervised Learning) và học bán giám sát (Semi-Supervised Learning). - Học có giám sát: phương pháp học này còn được gọi là học có “thầy”. Mạng được huấn luyện bằng các cặp mẫu đầu vào và các đầu ra mong muốn.
Tập mẫu huấn luyện được cho dưới dạng V x, d | x R n , d R k , trong đó x là vector đầu vào, d là vector đầu ra mong muốn hoặc nhãn của dữ liệu. Quá trình học của mạng nhằm xấp xỉ hàm d=f(x), biểu diễn mỗi quan hệ trên tập mẫu huấn luyện (x,d) (Hình 1. Một dạng mở rộng của học có giám sát là học tăng cường hay học củng cố (Reinforcement Learning). Mạng vẫn nhận một số tín hiệu phản hồi (củng cố) từ bên ngoài, nhưng các tín hiệu này chỉ mang tính chất đánh giá mức độ tốt hay xấu của đầu ra thực tế hơn là tính chất chỉ dẫn.
Những tín hiệu củng cố sau đó được xử lý để tạo ra tín hiệu đánh giá, dùng để điều chỉnh các trọng số nhằm đạt được tín hiệu đánh giá tốt hơn. Học củng cố đôi khi còn gọi là học thưởng-phạt (Reward- Penalty Learning), tức là nếu kết quả đầu ra được cho là “tốt” mạng sẽ được thưởng theo nghĩa tăng trọng số kết nối, ngược lại, mạng sẽ bị phạt theo nghĩa các trọng số kết nối không thích hợp sẽ được giảm xuống. 5 Mô hình học có giám sát - Học không giám sát: phương pháp học này còn gọi là học không có “thầy”, tức là mỗi mẫu dữ liệu huấn luyện đầu vào, không có mẫu đầu ra d mong muốn. Trong trường hợp này, mạng tự khám phá các đặc trưng, các mối tương quan,.
của dữ liệu vào một cách tự động, từ đó điều chỉnh các tham số của mạng. Quá trình này được gọi là tự tổ chức. Ví dụ điển hình của học không giám sát là dựa vào tiêu 23 chuẩn đánh giá độ tương tự giữa các mẫu để hình thành một số lượng chưa biết trước các lớp (nhóm) khác nhau. - Học bán giám sát: phương pháp học này là sự kết hợp của cả hai phương pháp học có học giám sát và học không giám sát.
Mạng được huấn luyện với cả hai loại mẫu dữ liệu gồm: mẫu dữ liệu đã kèm theo đầu ra mong muốn d (hay dữ liệu đã được gán nhãn) và mẫu dữ liệu không kèm theo đầu ra mong muốn d (hay dữ liệu chưa được gán nhãn). Thông thường số lượng các mẫu huấn luyện đã kèm đầu ra mong muốn sẽ ít hơn số lượng các mẫu dữ liệu không kèm theo đầu ra mong muốn. Lịch sử và xu hướng phát triển mạng nơron nhân tạo Các nguyên tắc căn bản của mạng nơron nhân tạo được đưa ra lần đầu tiên bởi McCulloch và Pitts từ năm 1943. Cho tới những năm 1980s, quá trình phát triển của ANN đã trải qua nhiều giai đoạn thăng trầm, nguyên nhân chủ yếu là do các hạn chế về công nghệ máy tính.
Mặc dù vậy, các phát kiến đánh dấu những bước thay đổi quan trọng của ANN phải kể đến bao gồm: mạng Perceptron 1 lớp vào và 1 lớp ra (Rosenblatt, 1958), mạng Perceptron đa lớp (Minsky, 1969), bản đồ tự tổ chức SOM (Self-Organizing Map) (Kohonen, 1980), mạng phản hồi Hopfield (Hopfield, 1982) và mạng truyền thẳng thuật toán lan truyền ngược Back Propagation (Hinton, 1986). Đặc điểm chung của các loại mạng này được chỉ ra trong Bảng 1. 1 So sánh một số mạng nơron ra đời trước năm 1990 Multi-Layer Back Perceptron SOM Hopfield Perceptron Propagation Tác giả, F. Papert, 1980 Hopfield, Rumelhart và xuất 1958 1969 1982 R.
Williams, 1986 Phân Truyền Truyền Truyền Phản hồi Truyền thẳng loại thẳng thẳng thẳng, Phản hồi Số lớp 1 lớp vào 1 lớp vào 1 lớp 1 lớp 1 lớp vào 1 lớp ra 1 hoặc nhiều 1 hoặc nhiều lớp ẩn lớp ẩn 1 lớp ra 1 lớp ra 24 Hàm Hard Hard Sigmoid Signum Sigmoid chuyển Limiter Limiter Hard Sigmoid Limiter Phương Có giám sát Có giám sát Không giám Không Có giám sát pháp sát giám sát học Thuật “Hebb “Delta “Self “Delta “Back toán học Learning Learning Organizatio Learning Propagation” Rule” Rule” n” Rule” “Back “Simulated Propagation Annealing” ” Ứng Các phép Các phép Phân loại Liên kết Các phép toán dụng toán logic toán logic mẫu; Bài mẫu; Bài logic phức tạp; chủ yếu đơn giản; phức tạp; toán tối ưu; toán tối ưu Phân lớp mẫu; Phân lớp Phân lớp Trực quan Phân tích tiếng mẫu mẫu dữ liệu nói Trong các mạng nơron trên, SOM được coi là mạng hữu ích cho mô phỏng quá trình học của não người. Không giống các mạng nơron khác chỉ quan tâm đến giá trị và dấu hiệu của thông tin đầu vào, nó có khả năng khai thác các mối liên hệ có tính cấu trúc trong không gian dữ liệu thông qua một bản đồ đặc trưng. Bản đồ đặc trưng gồm các nơron tự tổ chức theo các giá trị đầu vào nhất định; do đó nó có thể được huấn luyện để tìm ra các quy luật và sự tương quan giữa các giá trị đầu vào, từ đó dự đoán các kết quả tiếp theo. Trong giai đoạn này, các nhà nghiên cứu cho rằng, nếu một hệ thống mô phỏng quá trình học của não người được thực hiện thì bản đồ đặc trưng của SOM sẽ đóng vai trò như là trái tim của hệ thống.
Từ những năm 1990 đến khoảng 2009, cùng với sự phát triển của phần cứng máy tính, các nghiên cứu về mạng nơron đã hồi sinh sau một giai đoạn chìm lắng, điển hình là sự phát triển mạng nơron tự tổ chức SOM, với các cấu trúc tăng trưởng nhiều tầng nhằm tối ưu tính toán (Astudillo, 2014). Giai đoạn này giống như sự chuẩn bị cho sự phát triển bùng nổ của công nghệ học sâu. Học sâu được gọi là công nghệ vì bản chất của các mô hình tính toán không mới mà phát triển các mô hình đã có để thực hiện trên các hệ thống máy tính có cấu hình mạnh. Điển hình của giai đoạn này là mạng huấn luyện trước, không giám sát được đề xuất bởi Geoffrey Hilton đã giành chiến thắng trong cuộc thi quốc tế về nhận dạng ký tự viết tay năm 2009.
25 ANN đã thực sự trở lại thời kỳ hoàng kim từ năm 2012 đến nay, với sự góp mặt của hãng Google và nhiều nhà nghiên cứu. Mạng nơron với cấu trúc truyền thẳng nhiều lớp phức tạp sử dụng phương pháp học sâu “Deep Learning” (Schulz, 2012) đã ra đời, được gọi là mạng nơron học sâu.