CHƯƠNG I: TỔNG QUAN VỀ MẠNG TỰ ĐỘNG TỔ CHỨC (Self- Organizing Map) 1.1 Định nghĩa về một hệ thống mạng tự tổ chức SOM (Self-Organizing Map) bản đồ tự tổ chức, còn được biết đến như là bản đồ đặc trưng tự tổ chức SOFM (Self-Organizing Feature Map) là kỹ thuật trực quan hóa dữ liệu (data visualation). Giải thuật được xây dựng bởi giáo sư Teuvo Kohonen dựa trên kiến trúc mạng Kohonen. Điểm nổi bật của thuật giải SOM là nó sẽ chuyển các dạng quan hệ phức tạp, thống kê rời rạc giữa các đối tượng dữ liệu đa chiều (n chiều) về các quan hệ hình học trực quan đơn giản với số chiều được rút gọn đi nhiều lần – thường là một hoặc hai chiều. Về bản chất thuật giải được biết đến như là kỹ thuật nén dữ liệu dựa trên véc-tơ trọng số (véc-tơ quantisation).
SOM (Self Organizing Map) thuật giải xây dựng mạng Kohonen để lưu trữ thông tin như là cách duy trì của các quan hệ hình học bên trong tập huấn luyện. Mô hình mạng Kohonen Mạng Kohonen dựa trên luật học cạnh tranh không giám sát. Với phương pháp học này, cho trước số lượng các lớp đầu ra. Luật học sẽ tự động phân nhóm dữ liệu đầu vào để nhóm các đối tượng gần giống nhau vào cùng một lớp và phân tách các đối tượng khác biệt vào những lớp khác.
Thuật giải xây dựng mạng Kohonen để lưu trữ thông tin và là cách duy trì của các quan hệ hình học bên trong tập huấn luyện. Một trong những khía cạnh thú vị nhất của thuật toán là phân loại dữ liệu huấn luyện mà không cần bất cứ sự giám sát bên ngoài nào so với các giải thuật “học có sự giám sát” truyền thống. Do đó, SOM còn được xem là một giải thuật học không giám sát.2 Quá trình hình thành của mạng tự tổ chức Bản đồ tự tổ chức, giống như hầu hết các mạng nơ-ron nhân tạo, hoạt động ở hai chế độ: đào tạo và lập bản đồ. Đầu tiên, đào tạo sử dụng một tập dữ liệu đầu vào ("không gian đầu vào") để tạo ra biểu diễn theo chiều thấp hơn của dữ liệu đầu vào ("không gian bản đồ").
Thứ hai, ánh xạ phân loại dữ liệu đầu vào bổ sung bằng cách sử dụng bản đồ đã tạo. Trong hầu hết các trường hợp, mục tiêu của đào tạo là biểu diễn một không gian đầu vào với kích thước p như một không gian bản đồ có hai chiều. Cụ thể, một không gian đầu vào với p biến được cho là có kích thước p. Một không gian bản đồ bao gồm các thành phần được gọi là "nút" hoặc "nơ-ron", được sắp xếp như một lưới hình lục giác hoặc hình chữ nhật với hai chiều.
Số lượng các nút và cách sắp xếp của chúng được xác định trước dựa trên các mục tiêu lớn hơn của việc phân tích và thăm dò dữ liệu. 6 Mỗi nút trong không gian bản đồ được liên kết với một vectơ "trọng số", là vị trí của nút trong không gian đầu vào. Trong khi các nút trong không gian bản đồ vẫn cố định, việc huấn luyện bao gồm việc di chuyển các vectơ trọng số về phía dữ liệu đầu vào (giảm số liệu khoảng cách chẳng hạn như khoảng cách Euclide ) mà không làm hỏng cấu trúc liên kết được tạo ra từ không gian bản đồ. Sau khi đào tạo, bản đồ có thể được sử dụng để phân loại các quan sát bổ sung cho không gian đầu vào bằng cách tìm nút có vectơ trọng số gần nhất (chỉ số khoảng cách nhỏ nhất) với vectơ không gian đầu vào.
CHƯƠNG II: NHỮNG THÀNH PHẦN, YẾU TỐ CƠ BẢN CỦA NỀN TẢNG VÀ DỊCH VỤ CỦA MẠNG TỰ TỔ CHỨC 2.1 Mô hình cấu trúc của mạng noron Kohonen Mạng neural SOM có cấu trúc đơn lớp, bao gồm: các tín hiệu vào và lớp ra Kohonen Hình 2. Cấu trúc mạng SOM với lớp Kohonen 2 chiều trong đó tất cả các đầu vào được kết nối đầy đủ với mọi neural trên lớp ra Kohonen. Kiến trúc mạng của SOM thuộc đồng thời cả hai nhóm mạng truyền thẳng và mạng phản hồi, do dữ liệu được truyền từ đầu vào tới đầu ra và có sự ảnh hưởng giữa các neural trong lớp Kohonen. Lớp Kohonen thường được tổ chức dưới dạng một ma trận 2 chiều các neural theo dạng lưới hình chữ nhật hoặc hình lục giác.
Mỗi đơn vị i (neural) trong lớp Kohonen được gắn một vector trọng số wi= [wi1, wi2, …, win], 7 với n là kích thước (số chiều) vector đầu vào; wi,j là trọng số của neural i ứng với đầu vào j. Các neural của lớp ra được sắp xếp trên một mảng 2 chiều. Mảng này được gọi là lớp ra Kohonen. Lớp đầu ra này rất khác với lớp đầu ra của mạng neural truyền thẳng.
Đối với mạng truyền thẳng, nếu chúng ta có một mạng neural với 5 neural đầu ra, chúng sẽ có thể cho kết quả bao gồm 5 giá trị. Còn trong mạng neural Kohonen chỉ có một neural đầu ra cho ra một giá trị. Giá trị duy nhất này có thể là đúng hoặc sai. Dữ liệu đầu ra từ mạng neural Kohonen thường là các chỉ số của neural.
Trong trường hợp lưới hai chiều, các neural nằm trên bản đồ có thể tồn tại hai loại cấu trúc liên kết là hình lục giác hoặc hình chữ nhật. Tuy nhiên, cấu trúc liên kết hình lục giác đều thì tốt hơn trong tác vụ trực quan hoá vì mỗi neural có 6 neural lân cận trong khi với cấu trúc hình chữ nhật thì chỉ là 4.2: Cấu trúc hình lục giác đều và cấu trúc hình chữ nhật. Trong đó: Lớp vào (Input Layer): dùng để đưa dữ liệu huấn luyện vào mạng Kohonen. Kích thước lớp vào tương ứng với kích thước của mỗi mẫu học.
Lớp ra (Output Layer): các neural của lớp ra được sắp xếp trên mảng hai chiều. Mảng này gọi là lớp ra Kohonen. 8 Tất cả các noron của lớp vào đều được nối với các neural trên lớp ra. Mỗi liên kết giữa đầu vào và đầu ra của mạng Kohonen tương ứng với một trọng số.
Kích thước của mỗi véc tơ trọng số bằng kích thước của lớp vào. Nói cách khác, mỗi neural của lớp Kohonen sẽ có thêm một vector trọng số n chiều (với n là số đầu vào).2 Học ganh đua SOM là một kỹ thuật mạng neural truyền thẳng sử dụng thuật toán học không giám sát (học ganh đua) và qua quá trình “tự tổ chức”, sắp xếp đầu ra cho một thể hiện hình học của dữ liệu ban đầu. Học không giám sát liên quan đến việc dùng các phương pháp quy nạp để phát hiện tính quy chuẩn được thể hiện trong tập dữ liệu. Mặc dù có rất nhiều thuật toán mạng neural cho học không giám sát, trong đó có thuật toán học ganh đua (Conpetitive Learning, Rumelhart & Zipser, 1985).
Học ganh đua có thể coi là thuật toán học mạng neural không giám sát thích hợp nhất trong khai phá dữ liệu, và nó cũng minh họa cho sự phù hợp của các phương pháp học mạng neural một lớp. Nhiệm vụ học xác định bởi học ganh đua là sự phân chia một ví dụ huấn luyện cho trước vào trong một tập các cụm dữ liệu. Các cụm dữ liệu sẽ thể hiện các luật biểu diễn trong tập dữ liệu như các minh hoạ giống nhau được ánh xạ vào các lớp giống nhau. Biến thể của học ganh đua mà chúng ta xét ở đây đôi khi được gọi là học ganh đua đơn điệu, liên quan đến việc học trong mạng neural một lớp.
Các đơn vị đầu vào trong mạng có các giá trị liên quan đến lĩnh vực đang xét, và k đơn vị đầu ra thể hiện k lớp ví dụ đầu vào được phân cụm.3: Đơn vị (neural) xử lý ganh đua 9 Giá trị đầu vào cho mỗi đầu ra trong phương pháp này là một tổ hợp tuyến tính của các đầu vào: Trong đó: Gọi S(netj ) là hàm chuyển tín hiệu (hàm tương tác hay hàm xi là đầu vào thứ i; i = 1,2,…,n. wji là trọng số liên kết đầu vào thứ i với đầu ra thứ j, j = 1,2, …,m. kích hoạt đầu ra), có thể là hàm đơn điệu không giảm liên tục như hàm Sigmoid hoặc hàm bước nhẩy đơn vị sau: Đơn vị đầu ra có giá trị đầu vào lớn nhất được coi là chiến thắng, và kích hoạt đó được coi bằng 1 (thắng cuộc), còn các kích hoạt khác của các đầu ra còn lại được cho bằng 0 (thua cuộc). Quá trình như vậy được gọi là ganh đua.
Quá trình huấn luyện cho học ganh đua liên quan đến hàm chi phí: Trong đó: aj là kích hoạt của đầu ra thứ j. xi là đầu vào thứ i. wji là trọng số từ đầu vào thứ i với đầu ra thứ j. Luật cập nhật các trọng số là: 10 với α là hằng số, chỉ tốc độ học.
Ý tưởng chính của học ganh đua là đối với mỗi đầu ra là lấy ra “độ tin cậy” cho tập con các ví dụ huấn luyện. Chỉ một đầu ra là chiến thắng trong số ví dụ đưa ra, và vectơ trọng số cho đơn vị chiến thắng được di chuyển về phía vectơ đầu vào. Giống như quá trình huấn luyện, vectơ trọng số của mỗi đầu ra di chuyển về phía trung tâm của các ví dụ. Huấn luyện xong, mỗi đầu ra đại diện cho một nhóm các ví dụ, và vectơ trọng số cho các đơn vị phù hợp với trọng tâm của các nhóm.
Học ganh đua có liên quan mật thiết với phương pháp thống kê nổi tiếng như là phương pháp phân cụm K thành phần chính. Khác nhau cơ bản giữa hai phương pháp là học ganh đua là phương pháp trực tuyến, nghĩa là trong suốt quá trình học nó cập nhập trọng số mạng sau mỗi ví dụ được đưa ra, thay vì sau tất cả các ví dụ được đưa ra như được làm trong phương pháp phân cụm K thành phần chính. Học ganh đua phù hợp với các tập dữ liệu lớn, vì các thuật toán trực tuyến thường có giải pháp nhanh hơn trong mọi trường hợp.3 Thuật toán SOM Về bản chất, SOM được biết đến như một kỹ thuật nén dữ liệu dựa trên vecto trọng số (trực quan hóa dữ liệu).4: Không gian ban đầu và không gian sau khi thực hiện thuật toán SOM Input: Dữ liệu huấn luyện gồm tập n vectơ: V={V1, V2, …, Vi, …, Vn}, mỗi vectơ ứng với một neural (nút) đầu vào; Trong đó, mỗi vecto Vi gồm p chiều: Vi={v1, v2, …, vp}.