Ứng Dụng Mạng Reservoir Trong Nhận Dạng Và Điều Khiển

Khám phá luận văn thạc sĩ về ứng dụng mạng reservoir trong nhận dạng và điều khiển, cung cấp kiến thức và giải pháp công nghệ tiên tiến.

• Tác giả: Trịnh Thị Minh Nguyệt
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Kỹ thuật
• Đề tài: Ứng Dụng Mạng Reservoir Trong Nhận Dạng Và Điều Khiển
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU MẠNG RESERVOIR
• 1.1. Cấu trúc mạng nơ-ron
• 1.1.1. Cấu trúc mạng 1 nơ - ron 1 đầu vào
• 1.1.2. Cấu trúc mạng 1 nơron nhiều đầu vào
• 1.1.3. Cấu trúc 1 lớp nơ-ron
• 1.1.4. Mạng nhiều lớp
• 1.1.5. Mạng một nơ ron hồi quy
• 1.2. Mạng Reservoir
• 1.3. Phương pháp huấn luyện mạng
• 1.3.1. Các phương pháp học
• 1.3.2. Học có giám sát trong các mạng nơron
• 1.3.3. Phương pháp lan truyền ngược
• 1.4. Ứng dụng mạng Reservoir trong nhận dạng
• 2. CHƯƠNG 2: TÌM HIỂU CÔNG CỤ MẠNG NƠ RON TRONG MATLAB
• 3. CHƯƠNG 3: ỨNG DỤNG MẠNG RESERVOIR TRONG NHẬN DẠNG HỆ THỐNG
• 4. CHƯƠNG 4: ĐIỀU KHIỂN CÁNH TAY MÁY 1 BẬC TỰ DO TRONG PHÒNG THÍ NGHIỆM
• KẾT QUẢ VÀ KIẾN NGHỊ

Tóm tắt

I. Tổng quan về Ứng Dụng Mạng Reservoir Trong Nhận Dạng Hệ Thống

Mạng Reservoir là một khái niệm mới trong lĩnh vực mạng nơ-ron, được sử dụng để giải quyết các bài toán nhận dạng và điều khiển hệ thống. Mạng này có khả năng xử lý thông tin phi tuyến và thích nghi nhanh với các thay đổi trong môi trường. Việc ứng dụng mạng Reservoir trong nhận dạng hệ thống hứa hẹn mang lại nhiều lợi ích, đặc biệt trong việc tối ưu hóa quá trình huấn luyện và cải thiện hiệu suất của hệ thống.

1.1. Khái niệm về Mạng Reservoir và Cấu trúc của nó

Mạng Reservoir có cấu trúc tương tự như các mạng nơ-ron truyền thống nhưng khác biệt ở phương pháp huấn luyện. Cấu trúc này bao gồm các nơ-ron kết nối với nhau, cho phép lưu trữ và xử lý thông tin một cách hiệu quả.

1.2. Lợi ích của Mạng Reservoir trong Nhận Dạng Hệ Thống

Mạng Reservoir giúp giảm thiểu thời gian huấn luyện và cải thiện khả năng nhận dạng của hệ thống. Điều này đặc biệt quan trọng trong các ứng dụng yêu cầu phản hồi nhanh và chính xác.

II. Thách Thức Trong Ứng Dụng Mạng Reservoir

Mặc dù mạng Reservoir có nhiều ưu điểm, nhưng vẫn tồn tại một số thách thức trong việc ứng dụng vào thực tiễn. Các vấn đề như tìm nghiệm tối ưu toàn cục, tốc độ học và khả năng đáp ứng tính năng thời gian thực của hệ thống cần được giải quyết.

2.1. Vấn đề Tối Ưu Hóa Trong Mạng Reservoir

Tìm kiếm nghiệm tối ưu cho mạng Reservoir là một thách thức lớn. Việc lựa chọn các tham số khởi tạo và phương pháp huấn luyện phù hợp là rất quan trọng để đạt được hiệu suất tốt nhất.

2.2. Khả Năng Đáp Ứng Thời Gian Thực

Khả năng đáp ứng thời gian thực của mạng Reservoir cần được cải thiện để có thể ứng dụng trong các hệ thống yêu cầu phản hồi nhanh, như trong điều khiển tự động.

III. Phương Pháp Huấn Luyện Mạng Reservoir Hiệu Quả

Để nâng cao hiệu quả của mạng Reservoir, cần áp dụng các phương pháp huấn luyện tiên tiến. Việc sử dụng các công cụ như Matlab và Neural Network Toolbox sẽ giúp tối ưu hóa quá trình này.

3.1. Các Phương Pháp Huấn Luyện Chính

Có ba phương pháp huấn luyện chính cho mạng Reservoir: học có giám sát, học không giám sát và học tăng cường. Mỗi phương pháp có những ưu điểm và nhược điểm riêng.

3.2. Tối Ưu Hóa Tham Số Huấn Luyện

Việc tối ưu hóa các tham số huấn luyện như tốc độ học và cấu trúc mạng là rất quan trọng để đạt được kết quả tốt nhất trong quá trình huấn luyện.

IV. Ứng Dụng Thực Tiễn Của Mạng Reservoir Trong Điều Khiển Hệ Thống

Mạng Reservoir đã được ứng dụng thành công trong nhiều lĩnh vực, từ điều khiển tự động đến nhận dạng hình ảnh. Các ứng dụng này cho thấy tiềm năng lớn của mạng Reservoir trong việc cải thiện hiệu suất của hệ thống.

4.1. Ứng Dụng Trong Điều Khiển Tự Động

Mạng Reservoir có thể được sử dụng để điều khiển các hệ thống tự động, như cánh tay robot, với độ chính xác cao và khả năng phản hồi nhanh.

4.2. Ứng Dụng Trong Nhận Dạng Hình Ảnh

Mạng Reservoir cũng đã được áp dụng trong nhận dạng hình ảnh, cho phép phát hiện và phân loại các đối tượng một cách hiệu quả.

V. Kết Luận và Tương Lai Của Mạng Reservoir

Mạng Reservoir là một công nghệ hứa hẹn trong lĩnh vực nhận dạng và điều khiển hệ thống. Tương lai của mạng này sẽ phụ thuộc vào việc giải quyết các thách thức hiện tại và phát triển các phương pháp huấn luyện mới.

5.1. Tương Lai Của Nghiên Cứu Mạng Reservoir

Nghiên cứu về mạng Reservoir sẽ tiếp tục phát triển, với nhiều ứng dụng mới trong các lĩnh vực khác nhau, từ công nghiệp đến y tế.

5.2. Đề Xuất Hướng Nghiên Cứu Mới

Cần nghiên cứu thêm về các phương pháp huấn luyện và tối ưu hóa mạng Reservoir để nâng cao hiệu suất và khả năng ứng dụng của nó trong thực tiễn.

Nội dung chính

Tổng quan nghiên cứu

Ứng dụng mạng nơ-ron nhân tạo trong kỹ thuật nhận dạng và điều khiển tự động thường gặp rào cản lớn về tốc độ huấn luyện và khả năng đáp ứng thời gian thực khi thuật toán lan truyền ngược truyền thống tiêu tốn hơn 70% thời gian xử lý vào việc tối ưu hóa toàn bộ các lớp trọng số. Nhằm giải quyết triệt để vấn đề này, luận văn thạc sĩ kỹ thuật của tác giả Trịnh Thị Minh Nguyệt tại Đại học Kỹ thuật Công nghiệp – Đại học Thái Nguyên (năm 2014) đã tập trung nghiên cứu mạng tính toán hồ chứa (Reservoir Computing Networks – RCN, hay Echo State Networks – ESN).

Mục tiêu cốt lõi của đề tài là cải tiến phương pháp huấn luyện mạng Reservoir, giải quyết bài toán hội tụ của hệ thống phi tuyến có động học phức tạp và ứng dụng trực tiếp vào việc nhận dạng, thiết kế bộ điều khiển cho mô hình cánh tay máy một bậc tự do trong phòng thí nghiệm. Phạm vi nghiên cứu kết hợp giữa mô phỏng số học trên phần mềm Matlab 2013a và thực nghiệm trên phần cứng vi điều khiển ATmega328 hoạt động ở tần số 16 MHz.

Kết quả nghiên cứu mang lại ý nghĩa thực tiễn cao khi giảm thiểu sai số bình phương trung bình (MSE) trong nhận dạng mô hình toán phi tuyến xuống mức 0,000303 với 60 nơ-ron lớp ẩn, đồng thời đạt sai số 0,00176 trên hệ thống thực nghiệm cánh tay máy. Giải pháp này giúp rút ngắn đáng kể thời gian tính toán và mở ra hướng tiếp cận mới trong điều khiển thích nghi thời gian thực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết tính toán hồ chứa (Reservoir Computing), kết hợp cùng lý thuyết mạng nơ-ron hồi quy và lý thuyết điều khiển tự động kinh điển. Cấu trúc mạng Reservoir gồm ba thành phần chính: lớp nơ-ron đầu vào, khối hồ chứa trung gian (reservoir) với các liên kết ngẫu nhiên cố định, và lớp nơ-ron đầu ra tuyến tính có trọng số được hiệu chỉnh linh hoạt. Động học trạng thái của mạng được xác định qua biểu thức vector trạng thái x(k+1) phụ thuộc vào tín hiệu đầu vào u(k), trạng thái nội tại và tín hiệu phản hồi đầu ra y(k).

Khái niệm ổn định trong đường tròn đơn vị đóng vai trò then chốt: bán kính phổ của ma trận trọng số nội tại phải thỏa mãn điều kiện r nhỏ hơn hoặc bằng 1, trong đó r là căn bậc hai của tổng bình phương các trọng số. Điều này đảm bảo mạng duy trì đặc tính trạng thái tiếng vang (Echo State Property) mà không bị phân kỳ. Bên cạnh đó, luận văn áp dụng lý thuyết điều khiển phản hồi PID với các phương pháp chỉnh định thông số chuẩn mực như Ziegler-Nichols, Chien-Hrones-Reswick, phương pháp hằng số thời gian tổng của Kuhn, phương pháp tối ưu Modul và tối ưu đối xứng.

Phương pháp nghiên cứu

Nghiên cứu kết hợp chặt chẽ giữa mô phỏng lý thuyết và thử nghiệm thực chứng với quy trình thực hiện kéo dài qua 4 giai đoạn chính trong năm 2014. Nguồn dữ liệu thứ nhất là chuỗi tín hiệu thời gian phi tuyến bậc 1 được tạo từ mô hình toán học chuẩn gồm 100 mẫu điểm rời rạc. Nguồn dữ liệu thứ hai được thu thập trực tiếp từ mô hình cánh tay máy vật lý kích thước 250 x 25 x 0,2 mm thông qua đĩa Encoder quang học 334 xung kết nối với vi điều khiển ATmega328.

Cỡ mẫu phân tích bao gồm 100 mẫu tín hiệu thời gian thực cho mỗi chu kỳ khảo sát. Phương pháp chọn mẫu là lấy mẫu chuỗi thời gian liên tục với tần số quét đồng bộ qua cổng giao tiếp máy tính và khối hàm S-function trong môi trường Matlab/Simulink. Lý do lựa chọn phương pháp phân tích này là nhằm đánh giá chính xác khả năng bám bắt động học quá độ và động học xác lập của hệ thống cơ điện phi tuyến. Quá trình xử lý dữ liệu sử dụng giải thuật huấn luyện hai giai đoạn: chuyển đổi từ mô hình mạng hở sang mạng kín với chuỗi dữ liệu tăng dần từ 3 mẫu đến N mẫu bằng lệnh chuẩn bị dữ liệu chuyên dụng trong Neural Network Toolbox.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã mang lại 4 phát hiện quan trọng về cấu trúc và hiệu quả của mạng Reservoir:

• Thứ nhất, quy mô lớp ẩn tác động trực tiếp và có tính quyết định đến độ chính xác nhận dạng. Khi tăng số lượng nơ-ron lớp 1 từ 20 lên 60, sai số MSE giảm mạnh từ 1,77 xuống còn 0,000303 (tương đương mức giảm sai số hơn 99,98%). Dữ liệu ghi nhận cụ thể: 20 nơ-ron đạt MSE = 1,77; 30 nơ-ron đạt MSE = 0,588; 40 nơ-ron đạt MSE = 0,225; 50 nơ-ron đạt MSE = 0,164; và 60 nơ-ron đạt MSE = 0,000303.
• Thứ hai, phương pháp huấn luyện kín trực tiếp (huấn luyện mạng tắt) hoàn toàn thất bại với biên độ sai số lệch lớn từ -4 đến 4. Ngược lại, chiến lược huấn luyện hai bước (huấn luyện mạng hở trước để định hình không gian trạng thái, sau đó mới huấn luyện mạng kín) đạt kết quả xuất sắc với MSE chỉ 0,0084 trên đối tượng mô phỏng.
• Thứ ba, khi nhận dạng đối tượng thực nghiệm là cánh tay máy một bậc tự do, cấu trúc mạng chỉ cần 6 nơ-ron lớp 1 đã đạt sai số MSE ở mức 0,00176 trong chế độ mạng kín, cho phép bám sát hoàn toàn vị trí góc thực tế tính bằng radian.
• Thứ tư, hệ thống điều khiển PID thực nghiệm được xây dựng thành công với bộ thông số chuẩn định: hệ số khuếch đại tỷ lệ Kp = 9 chia pi (xấp xỉ 2,865), hệ số tích phân Ki = 4, và hệ số vi phân Kd = 0,1, điều khiển động cơ DC qua mạch công suất IC L298N với nguồn nuôi 12V ổn định.

Thảo luận kết quả

Nguyên nhân chính giúp phương pháp huấn luyện mới thành công là việc cố định ma trận trọng số hồi quy và các liên kết nội, chỉ cập nhật ma trận trọng số lớp ra. Cơ chế này loại bỏ hoàn toàn hiện tượng suy giảm hoặc bùng nổ gradient, đồng thời triệt tiêu sai số tích lũy do hồi quy phi tuyến bậc cao gây ra. So với các giải thuật lan truyền ngược truyền thống vốn đòi hỏi hàng trăm chu kỳ học lặp đi lặp lại và dễ rơi vào nghiệm cực tiểu địa phương, mạng Reservoir cải tiến giúp tiết kiệm hơn 75% chi phí tính toán.

Dữ liệu nhận dạng có thể được minh họa trực quan qua bảng tổng hợp sai số theo số lượng nơ-ron và biểu đồ đáp ứng thời gian gồm ba đường tín hiệu: đường tín hiệu đặt chuẩn (Target), đường đáp ứng ngõ ra của mạng (Network Output) và đường sai lệch (Error). Trên đồ thị 100 mẫu thời gian, đường đáp ứng của mạng nơ-ron gần như trùng khít hoàn toàn với tín hiệu thực tế của cánh tay máy, biên độ sai số tiệm cận trục không, chứng minh tính khả thi vượt trội khi triển khai trên các hệ thống điều khiển nhúng.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 giải pháp trọng tâm nhằm hoàn thiện và mở rộng ứng dụng:

• Mở rộng bậc trễ động học của mạng Reservoir: Thiết kế và tích hợp thêm các khâu trễ đa nhịp vào cấu trúc mạng nơ-ron nhằm nâng cao khả năng nhận dạng cho các đối tượng có bậc động học từ bậc 2 trở lên, hướng tới mục tiêu giảm sai số MSE xuống dưới 0,0001 trong vòng 6 tháng, do các nhóm nghiên cứu điều khiển tự động đảm nhiệm.
• Phát triển thuật toán thích nghi trực tuyến thời gian thực: Ứng dụng giải thuật bình phương tối thiểu đệ quy để cập nhật ma trận trọng số ngõ ra trực tiếp trên chip xử lý với chu kỳ trễ dưới 2 mili-giây, triển khai trong lộ trình 12 tháng bởi các kỹ sư lập trình nhúng.
• Xây dựng cấu trúc điều khiển nơ-ron lai thích nghi: Kết hợp mạng Reservoir nhận dạng với bộ điều khiển PID kinh điển nhằm tự động chỉnh định 3 thông số Kp, Ki, Kd theo thời gian thực, mục tiêu triệt tiêu độ quá điều chỉnh xuống dưới 5%, thực hiện trong thời gian 9 tháng tại các phòng thí nghiệm kỹ thuật điều khiển.
• Chuẩn hóa module phần cứng công nghiệp: Nâng cấp nền tảng xử lý từ ATmega328 8-bit lên vi xử lý 32-bit ARM Cortex hoặc chip xử lý tín hiệu số DSP, kết hợp bộ mã hóa Encoder độ phân giải 1024 xung để nâng độ chính xác điều khiển góc quay đạt 0,05 độ, hoàn thiện trong 18 tháng bởi các trung tâm nghiên cứu và phát triển cơ điện tử.

Đối tượng nên tham khảo luận văn

Tài liệu luận văn mang lại giá trị chuyên môn cao cho 4 nhóm đối tượng chính:

• Kỹ sư phát triển Robot và Tự động hóa: Cung cấp giải thuật tính toán nhẹ, dễ dàng nhúng vào các bộ điều khiển cánh tay máy công nghiệp, robot tự hành hoặc cơ cấu chấp hành phi tuyến để cải thiện tốc độ đáp ứng.
• Học viên cao học và Nghiên cứu sinh chuyên ngành Điều khiển: Cung cấp tài liệu tham khảo chi tiết về toán học của mạng nơ-ron hồi quy, kỹ thuật chọn tham số ban đầu trong đường tròn đơn vị và mã nguồn thiết lập mạng trên Matlab.
• Kỹ sư lập trình hệ thống nhúng: Hướng dẫn chi tiết phương thức ghép nối phần cứng vi điều khiển với máy tính qua cổng nối tiếp, kỹ thuật điều chế độ rộng xung PWM và đọc phản hồi từ bộ mã hóa quang học 2 kênh lệch pha 90 độ.
• Giảng viên và Nhà nghiên cứu Trí tuệ Nhân tạo ứng dụng: Sử dụng làm học liệu giảng dạy thực hành các chuyên đề về tính toán hồ chứa, nhận dạng hệ thống phi tuyến và điều khiển thông minh trong các trường đại học kỹ thuật.

Câu hỏi thường gặp

Mạng Reservoir khác biệt như thế nào so với mạng nơ-ron hồi quy truyền thống? Mạng Reservoir cố định toàn bộ trọng số đầu vào và trọng số ẩn ngẫu nhiên trong đường tròn đơn vị, chỉ cập nhật ma trận trọng số ở lớp ra. Điều này giúp loại bỏ thuật toán lan truyền ngược phức tạp, rút ngắn thời gian huấn luyện hơn 75% và tránh bẫy cực tiểu địa phương.

Tại sao phải bắt buộc huấn luyện mạng hở trước khi chuyển sang mạng kín? Huấn luyện mạng hở bằng cách cắt đường hồi tiếp giúp mạng học không gian trạng thái ổn định từ dữ liệu mẫu chuẩn mà không bị tích lũy sai số phản hồi. Nếu huấn luyện kín ngay từ đầu, sai số tích lũy sẽ làm mạng bị lệch pha nghiêm trọng với sai số biên độ lên tới 4 đơn vị.

Quy tắc khởi tạo trọng số trong đường tròn đơn vị có vai trò gì? Quy tắc này đảm bảo bán kính phổ của mạng nhỏ hơn hoặc bằng 1, giữ cho hệ thống luôn ổn định tiệm cận và thỏa mãn đặc tính trạng thái tiếng vang. Nếu bán kính vượt quá 1, tín hiệu nội tại sẽ tự khuếch đại không giới hạn dẫn đến mất ổn định.

Phần cứng Arduino ATmega328 có đáp ứng tốt cho bài toán điều khiển thời gian thực không? Với xung nhịp 16 MHz, bộ nhớ Flash 32 KB và 6 kênh cấp xung PWM, vi điều khiển ATmega328 hoàn toàn đáp ứng tốt việc thu thập tín hiệu từ Encoder 334 xung và điều khiển công suất qua IC L298N cho các mô hình cơ điện 1 bậc tự do.

Làm thế nào để giảm sai số nhận dạng trên các mô hình thực tế? Người thiết kế có thể tăng số lượng nơ-ron lớp ẩn (từ 20 lên 60 nơ-ron giúp giảm MSE từ 1,77 xuống 0,000303) hoặc mở rộng số lượng nhịp trễ trong ma trận đầu vào để bao quát toàn bộ đặc tính động học của đối tượng.

Kết luận

• Luận văn đã làm chủ và phát triển thành công phương pháp huấn luyện cải tiến hai giai đoạn cho mạng Reservoir trên nền tảng phần mềm Matlab 2013a.
• Đề xuất quy tắc chuẩn hóa trọng số khởi tạo trong đường tròn đơn vị, đảm bảo tính ổn định vững chắc cho mạng nơ-ron hồi quy.
• Nhận dạng chính xác mô hình toán phi tuyến với sai số MSE tối ưu đạt 0,000303 khi sử dụng 60 nơ-ron lớp ẩn.
• Chế tạo thành công mô hình vật lý cánh tay máy một bậc tự do, đạt kết quả nhận dạng thực nghiệm với MSE chỉ 0,00176 và xác lập bộ điều khiển PID bám góc hiệu quả.
• Mở ra tiềm năng ứng dụng to lớn của mạng nơ-ron hồ chứa trong việc điều khiển các hệ thống cơ điện tử phức tạp với thời gian thực thi siêu nhanh.

Trong giai đoạn tiếp theo, các nhà nghiên cứu và kỹ sư tự động hóa nên tiếp tục mở rộng giải thuật này cho các hệ thống nhiều bậc tự do (MIMO) và nhúng trực tiếp vào chip vi xử lý chuyên dụng. Hãy tham khảo và áp dụng ngay các giải pháp kỹ thuật từ công trình này để nâng cao hiệu suất điều khiển cho các dự án robot và tự động hóa công nghiệp.

Trích đoạn nội dung tài liệu

Chương I: Giới thiệu về mạng Reservoir Chương II: Tìm hiểu công cụ mạng nơ ron trong Matlab Chương III: Ứng dụng mạng Reservoir trong nhận dạng hệ thống Chương IV: Điều khiển cánh tay máy 1 bậc tự do trong phòng thí nghiệm Kết quả và kiến nghị Số hóa bởi Trung tâm Học liệu http://www.vn/ Chƣơng 1 GIỚI THIỆU MẠNG RESERVOIR Mạng Reservoir là một khái niệm mới trong lĩnh vực mạng nơ-ron. Về cơ bản cấu trúc mạng reservoir không có gì khác biệt so với các mạng nơ-ron khác, nhưng về phương pháp huấn luyện mạng thì có sự khác biệt trong quá trình học. Trong chương này tôi sẽ giới thiệu cấu trúc mạng nơ-ron từ cơ bản tới phức tạp, các ký hiệu và khái niệm cơ bản. Trên cơ sở đó tôi sẽ trình bày cấu trúc và phương pháp huấn luyện mạng reservoir.1 Cấu trúc mạng nơ-ron Trong phần này tôi sẽ giới thiệu cấu trúc, khái niệm của một nơ-ron, một lớp nơ-ron, nhiều lớp nơ-ron và mạng hồi qui.

Đồng thời để đơn giản cho việc theo dõi và mô tả về sau, tôi cũng đưa ra một số qui ước chung. Tôi sẽ sử dụng công cụ Neural Networks trong Matlab để mô tả và huấn luyện mạng. Do đó các ký hiệu, khái niệm và cấu trúc sẽ theo như định nghĩa của Matlab/Neural Network Toolbox.1 Cấu trúc mạng 1 nơ - ron 1 đầu vào Một nơ ron với một đầu vào có sơ đồ cấu trúc như hình 1. Cấu trúc cơ bản của một nơ - ron (1 đầu vào) Cấu trúc cơ bản của một nơ ron gồm: đầu vào p, và đầu ra a, w là trọng số, ∑ là bộ tổng, b là ngưỡng, f là hàm truyền.

Quan hệ vào ra của 1 nơ ron là: a f wp b (1.1) Số hóa bởi Trung tâm Học liệu http://www.2 Cấu trúc mạng 1 nơron nhiều đầu vào P1 w1,1 P2 ∑ n ƒ a P3 b w1,R 1 PR a = f (wp + b) Hình 1. Cấu trúc cơ bản của một nơ - ron nhiều đầu vào Hình 1.2 là sơ sồ cấu trúc của 1 nơ-ron có nhiều đầu vào. Nơ ron có R tín hiệu đầu vào biểu diễn dưới dạng rút gọn được thể hiện như trên hình 1. Trong đó: b là bias; n là tổng trọng, f là hàm truyền, a là đầu ra của nơ ron; p = [p1 p2.

pR] là véc tơ đầu vào, W = [w1,1 w1,2. w1,R] là véc tơ trọng số đầu vào.3) Mô hình thu gọn của nơ ron: P W Rx1 n + ƒ 1x1 1x1 1 b R 1x1 Hình 1. Mô hình nơ ron thu gọn (nhiều đầu vào) Số hóa bởi Trung tâm Học liệu http://www.3 Cấu trúc 1 lớp nơ-ron Mô hình một lớp có S nơ ron với R đầu vào như hình vẽ 1. P1 w1,1 ∑ n1 ƒ a1 P2 b1 1 ∑ n2 ƒ a2 P3 B2 1 ∑ ns ƒ as PR wS,R bs 1 a = f (wp + b) Hình 1.4: Mô hình 1 lớp nơ ron Trong đó mỗi phần tử của véc tơ đầu vào p được nối với mỗi nơ ron tương ứng qua ma trận trọng số W; f là hàm truyền; p là véc tơ đầu vào có dạng véc tơ cột (Rx1); a là đầu ra của lớp nơ ron có dạng véc tơ cột (Sx1) và ma trận trọng số có dạng: P W Rx1 SxR n ƒ a + sx1 sx1 1 b R sx1 Hình 1.5: Mô hình một lớp nơ ron Số hóa bởi Trung tâm Học liệu http://www.w S , R Các thành phần cơ bản của một nơron nhân tạo bao gồm: ♦ Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này thường được đưa vào dưới dạng một vector N chiều.

♦ Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số liên kết – Synaptic weight). Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được kí hiệu là w. Thông thường, các trọng số này được khởi kj tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình huấn luyện mạng (epoch). ♦ Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó.

♦ Ngƣỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào như một thành phần của hàm truyền. ♦ Hàm truyền (Transfer function) : Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến.

Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của người thiết kế mạng. Một số hàm truyền thường sử dụng trong các mô hình mạng nơron được đưa ra trong bảng 1. ♦ Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra. Xét về mặt toán học, cấu trúc của một nơron k, được mô tả bằng cặp biểu thức sau: Số hóa bởi Trung tâm Học liệu http://www., x : là các tín hiệu vào; (w , w w ) là các trọng số 1 2 p k1 k2, ., kp liên kết của nơron thứ k; u là hàm tổng; b là một ngưỡng; f là hàm truyền và y k k k là tín hiệu đầu ra của nơron.

Gọi ma trận trọng số liên kết với lớp vào là ma trận trọng số đầu vào IW. Gọi ma trận trọng số liên kết giữa 2 lớp LW. Quy ước ký hiệu chỉ số lớp nguồn là chỉ số thứ hai và chỉ số lớp đích thực là chỉ số thứ nhất. Ví dụ: LWi,j là ma trận trọng số liên kết từ lớp nguồn j đến lớp đích i.

P IW1,1 Rx1 s1xR n1 a1 + ƒ s1x1 sx1 1 b1 R 1 s x1 Hình 1.6: Mạng 1 lớp rút gọn Đầu ra của nơ ron được tính như sau: a1 = f (IW1,1 p + b1) 1.4 Mạng nhiều lớp Hình 1.7 mô tả mô hình của mạng nơ ron truyền thẳng 3 lớp. Mỗi lớp có ma trận trọng số IW, LW, véc tơ bias b và véc tơ tín hiệu đầu ra a. Tín hiệu đầu ra mỗi lớp ai, p là véc tơ tín hiệu vào, fi là hàm truyền (i= 1,2,3). Từ đó có được tín hiệu ra là a3 có dạng: a3 = f3 (LW3,2f2 (LW2,1f1(IW1,1p+b1)+ b2)+ b3) Số hóa bởi Trung tâm Học liệu http://www.vn/ IW1,1 n1 n2 a21 LW3,2 P1 a11 LW2,1 n3 a31 ∑ 1 f 1 ∑ 1 f 2 ∑ 1 f 3 P2 1 b 1 1 b2 b3 a2 1 1 3 1 1 1 2 a22 n a32 n1 f 1 n f 2 ∑ 2 f3 P3 ∑ 2 ∑ 2 b1 b2 1 b 3 1 2 2 1 2 a2s n3s1 a3s ns 1 1 11 as n2s1 2 3 3 ∑ f 1 ∑ f 2 ∑ f PR IW1,1 LW3,2s3, s2 S,R b 1 LW2,1s2, s1 b2 b3 1 s1 1 s2 1 s3 2 2 a3 = f3 (LW3,2a3+ b3) a1 = f1 (IW1,1p+ b1) a2 = f2 (LW2,1a + b ) Hình 1.7: Mô hình của mạng nơ ron truyền thẳng ba lớp Mô hình rút gọn như hình 1.

P 1,1 a1 a2 LW3,2 a3 IW LW 2,1 R n1 1 1 s x1 n2 s2 x1 n3 s3 x1 1 s xR + 1 f s2xs1 + f2 s3xs2 + f3 x1 s x1 s2x1 s3x1 1 b1 b2 b3 1 1 R 1 s x1 s1 s2 x1 s2 s3 x1 s3 1 3,2 3 a1 = f1 (IW1,1p+ b ) 2 a2 = f2 (LW2,1a + b ) 2 a3 = f3 (LW a3+ b ) Hình 1.8: Mô hình của mạng nơ ron truyền thẳng ba lớp thu gọn 1.5 Mạng một nơ ron hồi quy IW1,1 n(t) a(t) p(t) ∑ LW1,1 D a(t) = IWp(t)+LW a(t-1) Hình 1.9: Mô hình 1 nơ ron hồi quy Số hóa bởi Trung tâm Học liệu http://www.vn/ T D LW1,1 a1(t) L T a2(t) 3,1 a3(t) 1,1 n1(t) LW 2,1 2 LW R1x1 IW 1 D n (t) 2 n3(t) s3 x1 s1xR + f1 s x1 L s xs2 1 + f2 s x1 3 s xs 2 + f3 1 1 2 s2x1 s3x1 1 b s x1 b b 3 1 1 1 1 R s x1 s x12 s2 s3 x1 s1 s3 T T D LW1,3 D LW2,3 L L Hình 1.10: Mô hình mạng hồi quy nhiều lớp Trong đó khối TDL là khâu trễ 1.2 Mạng Reservoir Mạng Reservoir có quan hệ vào ra như sau: x k 1 f Winu k Wu k Wback y k (1.6) Về cơ bản mạng Reservour có cấu trúc giống như mạng nơ ron thông thường, nhưng không có bias. W Z-1 u f g y u Z-1 Win + Wf Wback Z-1 Hình 1.11: Mạng Reservoir Số hóa bởi Trung tâm Học liệu http://www.vn/ Trong quá trình huấn luyện mạng trọng số được giữ cố định, chỉ trừ trọng số W f. Các trọng số ban đầu được chọn phải nằm trong được tròn đơn vị. Chính vì lý do này đã làm cho quá trình huấn luyện mạng reservoir đơn giản hơn so với các mạng thông thường.

Nhìn vào công thức (1.6) ta thấy mạng này chỉ có một trễ, tức là động học của hệ là bậc 1. Như vậy trong nhận dạng khi các đối tượng có bậc lớn hơn 1 thì mạng reservoir rất khó có thể huấn luyện được. Do đó tôi sẽ tiến hành làm thí nghiệm và cải tiến phương pháp huấn luyện mạng cho mạng reservoir để mạng này có thể sử dụng để nhận dạng được các đối tượng có bậc lớn hơn hoặc bằng 2.3 Phƣơng pháp huấn luyện mạng 1.1 Các phƣơng pháp học Một mạng nơron được huyấn luyện sao cho với một tập các vector đầu vào X, mạng có khả năng tạo ra tập các vector đầu ra mong muốn Y của nó. Tập X và Y được sử dụng cho huấn luyện mạng được gọi là tập huấn luyện (training set).

Các phần tử x thuộc X được gọi là các mẫu huấn luyện (training example). Quá trình huấn luyện bản chất là sự thay đổi các trọng số liên kết của mạng. Trong quá trình này, các trọng số của mạng sẽ hội tụ dần tới các giá trị tối ưu sao cho với mỗi vector đầu vào x từ tập huấn luyện, mạng sẽ cho ra vector đầu ra y như mong muốn. Có ba phương pháp học phổ biến là học có giám sát (supervised learning), học không giám sát (unsupervised learning) và học tăng cường (Reinforcement learning): ♦ Học có giám sát: Là quá trình học có sự tham gia giám sát của một “thầy giáo”.

Cũng giống như việc ta dạy một em nhỏ các chữ cái. Ta đưa ra một chữ “a” và bảo với em đó rằng đây là chữ “a”. Việc này được thực hiện trên tất Số hóa bởi Trung tâm Học liệu http://www.vn/ cả các mẫu chữ cái.