So Sánh Hiệu Quả Một Số Giải Thuật Metaheuristic Để Huấn Luyện Mạng Thần Kinh Nhân Tạo

Luận văn thạc sĩ nghiên cứu máy tính so sánh hiệu quả một số giải thuật metaheuristic để huấn luyện mạng thần kinh nhân tạo cho, đánh giá hiện trạng, phân tích vấn đề, đề xuất

• Tác giả: Nguyễn Phương Nhung
• Người hướng dẫn: PGS. Dương Tuấn Anh
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: So Sánh Hiệu Quả Các Giải Thuật Metaheuristic Trong Huấn Luyện Mạng Thần Kinh Nhân Tạo
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2017
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan các giải thuật Metaheuristic và Mạng ANN

Trong bối cảnh hiện đại, việc dự báo dữ liệu chuỗi thời gian ngày càng trở nên quan trọng, đặc biệt trong các lĩnh vực như tài chính, khí tượng thủy văn. Mạng thần kinh nhân tạo (ANN) đã chứng minh được khả năng mạnh mẽ trong việc xử lý các bài toán dự báo phức tạp. Tuy nhiên, quá trình huấn luyện mạng thần kinh thường gặp phải những thách thức, trong đó nổi bật là nguy cơ mắc kẹt tại các điểm tối ưu cục bộ. Để khắc phục hạn chế này, các giải thuật metaheuristic đã được nghiên cứu và ứng dụng rộng rãi. Các giải thuật tối ưu này cung cấp khả năng tìm kiếm hiệu quả trong không gian giải pháp rộng lớn, giúp mạng ANN đạt được hiệu suất dự báo cao hơn. Luận văn của Nguyễn Phương Nhung (2017) đã tập trung vào việc so sánh hiệu quả của một số giải thuật metaheuristic trong huấn luyện mạng ANN cho bài toán dự báo dòng chảy, mở ra hướng tiếp cận đầy tiềm năng cho lĩnh vực này.

1.1. Giới thiệu về mạng thần kinh nhân tạo ANN

Mạng thần kinh nhân tạo (ANN) là mô hình tính toán lấy cảm hứng từ cấu trúc và chức năng của bộ não con người. ANN bao gồm các đơn vị xử lý (neuron) kết nối với nhau thông qua các liên kết (synapse) với trọng số tương ứng. Các neuron nhận tín hiệu đầu vào, xử lý và truyền tín hiệu đầu ra đến các neuron khác. Quá trình huấn luyện mạng thần kinh là điều chỉnh các trọng số này để mạng ANN có thể học hỏi và thực hiện các tác vụ cụ thể, chẳng hạn như dự báo. Theo Nguyễn Phương Nhung, mạng ANN đã được áp dụng thành công trong nhiều lĩnh vực, bao gồm cả dự báo chuỗi thời gian trong ngành thủy văn.

1.2. Tổng quan về các giải thuật Metaheuristic

Giải thuật metaheuristic là các phương pháp tối ưu hóa tổng quát, được thiết kế để tìm kiếm giải pháp gần tối ưu cho các bài toán phức tạp. Các giải thuật này thường dựa trên các nguyên tắc tự nhiên, chẳng hạn như tiến hóa (ví dụ: giải thuật di truyền GA), hành vi bầy đàn (ví dụ: Thuật toán Particle Swarm Optimization PSO, Thuật toán Ant Colony Optimization ACO) hoặc quá trình làm nguội (ví dụ: Simulated Annealing). Ưu điểm của giải thuật metaheuristic là khả năng thoát khỏi các điểm tối ưu cục bộ và khám phá không gian giải pháp một cách hiệu quả hơn so với các phương pháp truyền thống như Gradient Descent.

1.3. Ứng dụng Metaheuristic trong huấn luyện mạng ANN

Việc sử dụng giải thuật metaheuristic để huấn luyện mạng thần kinh là một hướng tiếp cận đầy hứa hẹn. Thay vì sử dụng các phương pháp dựa trên gradient như lan truyền ngược, giải thuật metaheuristic có thể tìm kiếm trực tiếp các trọng số tối ưu cho mạng ANN. Điều này đặc biệt hữu ích trong các bài toán mà hàm mục tiêu (ví dụ: sai số dự báo) có nhiều cực trị cục bộ, khiến cho các phương pháp dựa trên gradient dễ bị mắc kẹt. Nghiên cứu của Nguyễn Phương Nhung tập trung vào việc so sánh các giải thuật metaheuristic như tìm kiếm Tabu và thuật toán Memetic trong việc huấn luyện mạng ANN cho bài toán dự báo dòng chảy.

II. Thách thức trong huấn luyện mạng thần kinh nhân tạo

Quá trình huấn luyện mạng thần kinh nhân tạo đối mặt với nhiều thách thức đáng kể. Một trong số đó là hiện tượng quá khớp (overfitting), khi mạng ANN học quá kỹ dữ liệu huấn luyện, dẫn đến hiệu suất kém trên dữ liệu mới. Việc lựa chọn kiến trúc mạng ANN phù hợp (số lượng lớp, số lượng neuron) và các tham số huấn luyện mạng thần kinh (tốc độ học, hệ số momentum) cũng đòi hỏi nhiều thử nghiệm và kinh nghiệm. Ngoài ra, đối với các bài toán phức tạp, không gian tìm kiếm có thể rất lớn, khiến cho việc tìm ra các trọng số tối ưu trở nên khó khăn. Luận văn của Nguyễn Phương Nhung đã chỉ ra những hạn chế của giải thuật lan truyền ngược, một phương pháp huấn luyện mạng thần kinh phổ biến, trong việc giải quyết các vấn đề này.

2.1. Vấn đề hội tụ cục bộ của Gradient Descent

Gradient Descent là một thuật toán tối ưu hóa dựa trên gradient, thường được sử dụng để huấn luyện mạng ANN. Tuy nhiên, Gradient Descent có thể bị mắc kẹt tại các điểm tối ưu cục bộ, đặc biệt trong các bài toán mà hàm mục tiêu có nhiều cực trị cục bộ. Điều này có nghĩa là thuật toán có thể tìm ra một giải pháp tốt, nhưng không phải là giải pháp tốt nhất. Các giải thuật metaheuristic có khả năng thoát khỏi các điểm tối ưu cục bộ tốt hơn Gradient Descent.

2.2. Điều chỉnh tham số và lựa chọn kiến trúc mạng

Việc điều chỉnh tham số và lựa chọn kiến trúc mạng ANN phù hợp là một quá trình phức tạp và tốn thời gian. Cần phải thử nghiệm nhiều cấu hình khác nhau để tìm ra cấu hình tốt nhất cho một bài toán cụ thể. Các tham số quan trọng cần điều chỉnh bao gồm tốc độ học, hệ số momentum và số lượng neuron trong mỗi lớp. Việc lựa chọn kiến trúc mạng ANN cũng cần cân nhắc đến độ phức tạp của bài toán và kích thước của tập dữ liệu huấn luyện.

2.3. Quá khớp và khả năng khái quát hóa kém

Quá khớp xảy ra khi mạng ANN học quá kỹ dữ liệu huấn luyện, dẫn đến hiệu suất kém trên dữ liệu mới. Điều này thường xảy ra khi mạng ANN quá phức tạp so với độ phức tạp của bài toán. Để tránh quá khớp, cần sử dụng các kỹ thuật như regularization, dropout và early stopping. Khả năng khái quát hóa là khả năng của mạng ANN để hoạt động tốt trên dữ liệu mới, chưa từng thấy trước đây. Mục tiêu của quá trình huấn luyện mạng thần kinh là đạt được khả năng khái quát hóa tốt.

III. Ứng dụng giải thuật tìm kiếm Tabu huấn luyện mạng ANN

Giải thuật tìm kiếm Tabu (Tabu Search) là một giải thuật metaheuristic mạnh mẽ, được sử dụng rộng rãi trong nhiều bài toán tối ưu hóa. Trong bối cảnh huấn luyện mạng ANN, Tabu Search có thể được sử dụng để tìm kiếm các trọng số tối ưu cho mạng. Ưu điểm của Tabu Search là khả năng tránh các điểm tối ưu cục bộ bằng cách duy trì một danh sách cấm (Tabu list) các giải pháp đã được khám phá gần đây. Danh sách này ngăn chặn thuật toán quay trở lại các giải pháp đã biết, khuyến khích việc khám phá không gian tìm kiếm rộng lớn hơn. Luận văn của Nguyễn Phương Nhung đã sử dụng Tabu Search để huấn luyện mạng ANN cho bài toán dự báo dòng chảy và so sánh kết quả với các phương pháp khác.

3.1. Nguyên lý hoạt động của giải thuật tìm kiếm Tabu

Tabu Search bắt đầu bằng một giải pháp ban đầu ngẫu nhiên. Sau đó, thuật toán lặp lại quá trình tìm kiếm các giải pháp lân cận (neighboring solutions) và chọn giải pháp tốt nhất trong số đó. Giải pháp tốt nhất này được thêm vào danh sách cấm, ngăn chặn thuật toán quay trở lại giải pháp này trong một số lượng bước nhất định. Thuật toán tiếp tục lặp lại quá trình này cho đến khi đạt được một tiêu chí dừng, chẳng hạn như số lượng bước tối đa hoặc đạt được một ngưỡng hiệu suất nhất định. Danh sách Tabu thường được cập nhật liên tục, loại bỏ các giải pháp cũ và thêm vào các giải pháp mới.

3.2. Cải tiến giải thuật tìm kiếm Tabu cho mạng ANN

Để áp dụng Tabu Search hiệu quả cho huấn luyện mạng ANN, cần thực hiện một số cải tiến. Ví dụ, có thể sử dụng các chiến lược lân cận (neighborhood strategies) khác nhau để khám phá không gian tìm kiếm hiệu quả hơn. Cũng có thể điều chỉnh tham số của Tabu Search, chẳng hạn như kích thước của danh sách cấm, để tối ưu hóa hiệu suất của thuật toán. Một số nghiên cứu đã đề xuất sử dụng các phương pháp lai (hybrid methods), kết hợp Tabu Search với các thuật toán khác, chẳng hạn như Gradient Descent, để cải thiện độ chính xác và tốc độ hội tụ.

3.3. Ưu điểm và nhược điểm của Tabu Search trong ANN

Ưu điểm chính của Tabu Search trong huấn luyện mạng ANN là khả năng tránh các điểm tối ưu cục bộ. Tuy nhiên, Tabu Search cũng có một số nhược điểm. Một trong số đó là độ phức tạp tính toán cao, đặc biệt đối với các bài toán lớn. Ngoài ra, hiệu suất của Tabu Search có thể phụ thuộc nhiều vào việc lựa chọn các tham số phù hợp. Cần phải cân nhắc kỹ lưỡng các ưu điểm và nhược điểm của Tabu Search trước khi quyết định sử dụng nó để huấn luyện mạng ANN.

IV. Giải thuật Memetic Tối ưu hóa lai cho huấn luyện ANN

Giải thuật Memetic là một lớp các giải thuật metaheuristic kết hợp các kỹ thuật tìm kiếm toàn cục (global search) với các kỹ thuật tìm kiếm cục bộ (local search). Trong bối cảnh huấn luyện mạng ANN, giải thuật Memetic có thể sử dụng giải thuật di truyền (GA) để khám phá không gian tìm kiếm một cách toàn cục và sử dụng Gradient Descent hoặc Tabu Search để tinh chỉnh các giải pháp một cách cục bộ. Sự kết hợp này giúp giải thuật Memetic đạt được sự cân bằng giữa khám phá và khai thác, dẫn đến hiệu suất tốt hơn so với các phương pháp đơn lẻ. Luận văn của Nguyễn Phương Nhung đã sử dụng giải thuật Memetic để huấn luyện mạng ANN cho bài toán dự báo dòng chảy và so sánh kết quả với các phương pháp khác.

4.1. Kết hợp tìm kiếm toàn cục và tìm kiếm cục bộ

Giải thuật Memetic tận dụng sức mạnh của cả tìm kiếm toàn cục và tìm kiếm cục bộ. Tìm kiếm toàn cục (ví dụ: giải thuật di truyền GA) giúp khám phá không gian tìm kiếm rộng lớn và xác định các vùng tiềm năng chứa các giải pháp tốt. Tìm kiếm cục bộ (ví dụ: Gradient Descent, Tabu Search) giúp tinh chỉnh các giải pháp trong các vùng này để đạt được hiệu suất tối ưu. Sự kết hợp này giúp giải thuật Memetic tìm ra các giải pháp tốt hơn so với các phương pháp chỉ sử dụng một loại tìm kiếm.

4.2. Các biến thể của giải thuật Memetic trong ANN

Có nhiều biến thể khác nhau của giải thuật Memetic có thể được sử dụng để huấn luyện mạng ANN. Một biến thể phổ biến là sử dụng giải thuật di truyền (GA) để tạo ra các quần thể (population) các mạng ANN và sử dụng Gradient Descent để tinh chỉnh các trọng số của mỗi mạng ANN. Một biến thể khác là sử dụng Tabu Search thay vì Gradient Descent để tìm kiếm cục bộ. Việc lựa chọn biến thể phù hợp phụ thuộc vào đặc điểm của bài toán cụ thể.

4.3. So sánh với các giải thuật Metaheuristic khác

Giải thuật Memetic thường có hiệu suất tốt hơn so với các giải thuật metaheuristic khác, chẳng hạn như Tabu Search hoặc giải thuật di truyền (GA), khi được sử dụng để huấn luyện mạng ANN. Điều này là do giải thuật Memetic kết hợp sức mạnh của cả tìm kiếm toàn cục và tìm kiếm cục bộ. Tuy nhiên, giải thuật Memetic cũng có độ phức tạp tính toán cao hơn so với các phương pháp đơn lẻ. Cần phải cân nhắc kỹ lưỡng các ưu điểm và nhược điểm của giải thuật Memetic trước khi quyết định sử dụng nó.

V. Kết quả và đánh giá thực nghiệm các giải thuật Metaheuristic

Luận văn của Nguyễn Phương Nhung đã tiến hành các thực nghiệm trên nhiều bộ dữ liệu khác nhau để so sánh hiệu quả của các giải thuật metaheuristic (tìm kiếm Tabu, thuật toán Memetic) và giải thuật lan truyền ngược trong việc huấn luyện mạng ANN cho bài toán dự báo dòng chảy. Kết quả cho thấy các giải thuật metaheuristic thường cho hiệu suất tốt hơn so với giải thuật lan truyền ngược, đặc biệt trong các trường hợp mà hàm mục tiêu có nhiều cực trị cục bộ. Tuy nhiên, hiệu suất của các giải thuật metaheuristic có thể phụ thuộc vào việc lựa chọn các tham số phù hợp và kiến trúc mạng ANN.

5.1. Bộ dữ liệu và phương pháp đánh giá hiệu quả

Trong nghiên cứu của mình, Nguyễn Phương Nhung đã sử dụng tám bộ dữ liệu khác nhau, bao gồm bảy bộ dữ liệu về dòng chảy và một bộ dữ liệu về mực nước, để đánh giá hiệu quả của các giải thuật huấn luyện mạng thần kinh. Các bộ dữ liệu này đại diện cho các dòng sông khác nhau ở Việt Nam. Hiệu quả của các giải thuật được đánh giá dựa trên các chỉ số như sai số trung bình tuyệt đối (MAE), sai số bình phương gốc trung bình (RMSE) và hệ số xác định (R2).

5.2. So sánh độ chính xác và thời gian huấn luyện

Kết quả thực nghiệm cho thấy rằng các giải thuật metaheuristic, đặc biệt là giải thuật Memetic, thường có độ chính xác dự báo cao hơn so với giải thuật lan truyền ngược. Tuy nhiên, các giải thuật metaheuristic cũng có thời gian huấn luyện lâu hơn so với giải thuật lan truyền ngược. Sự đánh đổi giữa độ chính xác và thời gian huấn luyện cần được cân nhắc khi lựa chọn giải thuật phù hợp cho một bài toán cụ thể.

5.3. Nhận xét về khả năng khái quát hóa của mô hình

Một trong những mục tiêu quan trọng của quá trình huấn luyện mạng thần kinh là đạt được khả năng khái quát hóa tốt. Kết quả thực nghiệm cho thấy rằng các giải thuật metaheuristic có thể giúp cải thiện khả năng khái quát hóa của mạng ANN so với giải thuật lan truyền ngược. Điều này là do các giải thuật metaheuristic có khả năng tránh các điểm tối ưu cục bộ và tìm kiếm các giải pháp tốt hơn trong không gian tìm kiếm rộng lớn.

VI. Kết luận và hướng phát triển trong tương lai

Nghiên cứu của Nguyễn Phương Nhung đã chứng minh tiềm năng của các giải thuật metaheuristic trong việc huấn luyện mạng ANN cho bài toán dự báo dòng chảy. Các giải thuật metaheuristic có thể giúp cải thiện độ chính xác, khả năng khái quát hóa và tránh các điểm tối ưu cục bộ so với giải thuật lan truyền ngược. Tuy nhiên, việc lựa chọn giải thuật phù hợp và điều chỉnh tham số vẫn là một thách thức. Trong tương lai, cần tiếp tục nghiên cứu và phát triển các giải thuật metaheuristic mới, cũng như các phương pháp lai (hybrid methods) kết hợp các ưu điểm của nhiều giải thuật khác nhau. Việc áp dụng các giải thuật metaheuristic cho các bài toán khác trong lĩnh vực thủy văn và quản lý nguồn nước cũng là một hướng đi đầy tiềm năng.

6.1. Tổng kết những đóng góp chính của nghiên cứu

Nghiên cứu của Nguyễn Phương Nhung đã đóng góp vào lĩnh vực huấn luyện mạng thần kinh bằng cách so sánh hiệu quả của các giải thuật metaheuristic khác nhau trong bài toán dự báo dòng chảy. Nghiên cứu này cung cấp cái nhìn sâu sắc về các ưu điểm và nhược điểm của từng giải thuật, cũng như các yếu tố ảnh hưởng đến hiệu suất của chúng. Kết quả của nghiên cứu có thể được sử dụng để lựa chọn giải thuật phù hợp cho các bài toán tương tự.

6.2. Hướng nghiên cứu và ứng dụng tiềm năng

Trong tương lai, có nhiều hướng nghiên cứu và ứng dụng tiềm năng liên quan đến việc sử dụng các giải thuật metaheuristic để huấn luyện mạng ANN. Một hướng đi là phát triển các giải thuật metaheuristic mới, được thiết kế đặc biệt cho huấn luyện mạng ANN. Một hướng khác là nghiên cứu các phương pháp lai (hybrid methods) kết hợp các ưu điểm của nhiều giải thuật khác nhau. Ngoài ra, cần tiếp tục khám phá các ứng dụng của các giải thuật metaheuristic trong các lĩnh vực khác nhau, chẳng hạn như tài chính, y tế và kỹ thuật.

6.3. Đề xuất cải tiến và mở rộng phạm vi nghiên cứu

Để cải thiện và mở rộng phạm vi nghiên cứu, có thể xem xét các yếu tố sau: (1) Sử dụng các bộ dữ liệu lớn hơn và phức tạp hơn để đánh giá hiệu quả của các giải thuật huấn luyện mạng thần kinh. (2) Nghiên cứu ảnh hưởng của các tham số khác nhau đến hiệu suất của các giải thuật metaheuristic. (3) Phát triển các phương pháp tự động điều chỉnh tham số cho các giải thuật metaheuristic. (4) Khám phá các kiến trúc mạng ANN khác nhau và đánh giá ảnh hưởng của chúng đến hiệu suất dự báo.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu về bài toán, nhiệm vụ đề tài và sơ lược về những kết quả đã đạt được trong luận văn này. Chương 2: Giới thiệu về cấu trúc, nguyên tắc hoạt động của mạng neural nhân tạo, cách huấn luyện mạng, giải thuật lan truyền ngược, giải thuật tìm kiếm Tabu, giải thuật Memetic. Chương 3: Các công trình liên quan đến dùng giải thuật tìm kiếm Tabu và giải thuật Memetic để huấn luyện mạng neural cho việc dự báo dữ liệu chuỗi thời gian Chương 4: Trình bày cách đánh giá kết quả huấn luyện, kết quả thực nghiệm trên bảy bộ dữ liệu khác nhau và đánh giá kết quả. Chương 5: Kết luận về quá trình đúc kết lý luận, đánh giá kết quả và đề cập tới hướng phát triển trong tương lai.

Thư mục tham khảo 2 So sánh hiệu quả một số giải thuật metaheuristic để huấn luyện mạng thần kinh nhân tạo Chương 2 CƠ SỞ LÝ THUYẾT Trong quá trình thực hiện đề tài này, một số nền tảng lý thuyết cần phải được hiểu rõ. Những nền tảng lý thuyết này rất quan trọng, chúng là tiền đề để chúng ta hiểu được việc chúng ta đang làm, từ đó đem lại sự hiệu quả và chính xác trong quá trình giải quyết vấn đề sau này. SƠ LƯỢC VỀ MẠNG NEURAL NHÂN TẠO Mạng neural nhân tạo (Artificial Neural Network) là một mô hình toán học định nghĩa một hàm số từ một tập đầu vào đến một tập đầu ra [1]. Mạng neural nhân tạo được mô phỏng theo mạng neural sinh học trong bộ não người.

Mạng neural nhân tạo là một mạng gồm một tập các đơn vị (unit) được kết nối với nhau bằng các cạnh có trọng số. Một đơn vị (Hình 2.1) thực hiện một công việc rất đơn giản: nó nhận tín hiệu vào từ các đơn vị phía trước hay một nguồn bên ngoài và sử dụng chúng để tính tín hiệu ra. Mỗi đơn vị có thể có nhiều tín hiệu đầu vào nhưng chỉ có một tín hiệu đầu ra duy nhất. Đôi khi các đơn vị còn có một giá trị gọi là độ lệch (bias) được gộp vào các tính hiệu đầu vào để tính tín hiệu ra.

Để đơn giản ký hiệu, độ lệch của một đơn vị được xem như là trọng số nối từ một đơn vị giả có giá trị xuất luôn là 1 đến đơn vị đó.1: Đơn vị mạng neural 3 So sánh hiệu quả một số giải thuật metaheuristic để huấn luyện mạng thần kinh nhân tạo Trong một mạng neural có ba kiểu đơn vị:  Các đơn vị đầu vào, nhận tín hiệu từ bên ngoài.  Các đơn vị đầu ra, gửi dữ liệu ra bên ngoài.  Các đơn vị ẩn, tín hiệu vào của nó được truyền từ các đơn vị trước nó và tín hiệu ra được truyền đến các đơn vị sau nó trong mạng. Khi nhận được các tín hiệu đầu vào, một đơn vị sẽ nhân mỗi tín hiệu với trọng số tương ứng rồi lấy tổng các giá trị vừa nhận được.

Kết quả sẽ được đưa vào một hàm số gọi là hàm kích hoạt (Activation function) để tính ra tín hiệu đầu ra. Các đơn vị khác nhau có thể có các hàm kích hoạt khác nhau. Có 4 loại hàm kích hoạt thường dùng:  Hàm đồng nhất:  Hàm ngưỡng:  Hàm sigmoid:  Hàm sigmoid lưỡng cực Các đơn vị liên kết với nhau qua các cạnh có trong số tạo thành mạng neural nhân tạo. Tùy theo số lượng các đơn vị và cách thức liên kết của chúng mà tạo thành các mạng neural khác nhau có khả năng khác nhau.

Có hai loại hình dạng mạng neural nhân tạo cơ bản là mạng truyền thẳng (Hình 2.2) và mạng hồi quy (Hình 2.3): 4 So sánh hiệu quả một số giải thuật metaheuristic để huấn luyện mạng thần kinh nhân tạo  Mạng truyền thẳng (Feed-forward neural network): Một đơn vị ở tầng đứng trước sẽ kết nối với tất cả các đơn vị ở tầng đứng sau. Tín hiệu chỉ được truyền theo một hướng từ tầng đầu vào qua các tầng ẩn (nếu có) và đến tầng đầu ra. Nghĩa là tín hiệu ra của một đơn vị không được phép truyền cho các đơn vị trong cùng tầng hay ở tầng trước. Đây là loại mạng rất phổ biến và được dung nhiều trong việc dự báo dữ liệu chuỗi thời gian.

Bài báo cáo này chỉ tập trung vào mô hình mạng này.2: Mạng neural truyền thẳng  Mạng hồi quy (Recurrent neural network): Khác với mạng truyền thẳng, mạng hồi quy có chứa các liên kết ngược từ một đơn vị đến các đơn vị ở tầng trước nó.3: Mạng neural hồi quy 5 So sánh hiệu quả một số giải thuật metaheuristic để huấn luyện mạng thần kinh nhân tạo Chức năng của một mạng neural được quyết định bởi các nhân tố như: hình dạng mạng (số tầng, số đơn vị trên mỗi tầng, cách mà các tầng được liên kết với nhau) và các trọng số của các liên kết bên trong mạng. Hình dạng của mạng thường là cố định, và các trọng số được quyết định bởi một thuật toán huấn luyện (training algorithm). Tiến trình điều chỉnh các trọng số để mạng “nhận biết” được quan hệ giữa đầu vào và đầu ra mong muốn được gọi là học (learning) hay huấn luyện (training). Rất nhiều thuật toán huấn luyện đã được phát minh để tìm ra tập trọng số tối ưu làm lời giải cho các bài toán.

Các thuật toán đó có thể chia làm hai nhóm chính: Học có giám sát (Supervised learning) (Hình 2.4) và Học không có giám sát (Unsupervised Learning) [8].  Học có giám sát: Mạng được huấn luyện bằng cách cung cấp cho nó các cặp mẫu đầu vào và các đầu ra mong muốn (target values). Các cặp này có sẵn trong quá trình thu nhập dữ liệu. Sự khác biệt giữa các đầu ra theo tính toán trên mạng so với các đầu ra mong muốn được thuật toán sử dụng để thích ứng các trọng số trong mạng.

Điều này thường được đưa ra như một bài toán xấp xỉ hàm số - cho dữ liệu huấn luyện bao gồm các cặp mẫu đầu vào x, và một đích tương ứng t, mục đích là tìm ra hàm f(x) thoả mãn tất cả các mẫu học đầu vào [8]. Đây là mô hình học rất phổ biến trong việc áp dụng mạng neural vào bài toán dự báo dữ liệu chuỗi thời gian.4: Mô hình học có giám sát  Học không có giám sát: với cách học không có giám sát, không có phản hồi từ môi trường để chỉ ra rằng đầu ra của mạng là đúng. Mạng sẽ phải khám phá các đặc trưng, các điều chỉnh, các mối tương quan, hay các tầng trong dữ liệu vào một cách tự động. Trong thực tế, đối với phần lớn các biến thể của học không có giám sát, các đích trùng 6 So sánh hiệu quả một số giải thuật metaheuristic để huấn luyện mạng thần kinh nhân tạo với đầu vào.

Nói một cách khác, học không có giám sát luôn thực hiện một công việc tương tự như một mạng tự liên hợp, cô đọng thông tin từ dữ liệu vào [8]. NGUYÊN TẮC HOẠT ĐỘNG CỦA MẠNG NEURAL NHÂN TẠO Để hiểu rõ về nguyên tắc hoạt động và cách huấn luyện các mạng Neural nhân tạo trước hết ta khảo sát một mô hình mạng Neural đơn giản được xây dựng trên một đơn vị gọi là perceptron. Một perceptron nhận một vector các giá trị thực, tính tổ hợp tuyến tính của chúng và xuất ra 1 nếu kết quả lớn hơn một ngưỡng nào đó và xuất ra -1 trong các trường hợp còn lại.5: Đơn vị mạng Neural Một cách hình thức, khi nhận một vector đầu vào n chiều gồm các giá trị x1 đến xn, giá trị xuất sẽ được tính như sau: 1 if w o  w1 x1  w 2 x2   w n xn  0  ( x1 , , xn )   -1 otherwise Ở đây các số thực wi là các trọng số biểu diễn mức độ đóng góp của giá trị nhập xi vào giá trị xuất của perceptron. Đại lượng (-w0 ) là ngưỡng mà tổ hợp tuyến các giá trị nhập phải vượt qua để kết quả xuất là 1.

Đặt x0 = 1, ta viết lại phương trình trên dưới dạng vector như sau   x  sgn( w  x) Ở đây x và w là các vector có n + 1 chiều. Hàm sgn(y) được định nghĩa như sau: 7 So sánh hiệu quả một số giải thuật metaheuristic để huấn luyện mạng thần kinh nhân tạo 1 if y > 0 sgn( y )   -1 otherwise Nếu xem các vector nhập (x0, x1,…, xn) là các điểm trên không gian n +1 chiều (x0 luôn là 1) thì perceptron biểu diễn một mặt quyết định (decision surface) xem một điểm có nằm trên một siêu phẳng (hyperplane) có phương trình là w. Perceptron sẽ xuất ra giá trị 1 cho các điểm nằm trên siêu phẳng này và xuất ra -1 cho các điểm còn lại. Trong thực tế, ta thường có sẵn một bộ dữ liệu mẫu gồm một tập các điểm được gán nhãn dương và âm.

Bài toán huấn luyện perceptron là bài toán xác định vector w sao cho siêu phẳng w.x  0 phân chia các điểm trong tập mẫu một cách chính xác theo các nhãn của nó. Thực tế có một số bộ dữ liệu mà không thể tìm thấy bất kỳ siêu phẳng nào có thể phân chia đúng các điểm của nó, các bộ dữ liệu đó được gọi là tập dữ liệu không khả phân tuyến tính (not linearly separable). Ngược lại nếu một bộ dữ liệu có thể được phân chia đúng bởi một siêu phẳng nào đó thì gọi là khả phân tuyến tính (linearly separable).6: Mặt quyết định biểu diễn bởi perceptron hai đầu nhập Hình 2.6 (a) là một tập mẫu khả phân tuyến tính có thể được phân ra bởi một mặt quyết định của perceptron.6 (b) là một tập mẫu không khả phân tuyến tính. Quá trình huấn luyện một perceptron là một quá trình tìm kiếm một vector w trên một không gian thực n + 1 chiều sao cho nó có khả năng phân xuất ra các giá trị +1, -1 một cách đúng đắn cho một tập dữ liệu nào đó.

Có hai giải thuật huấn luyện cơ bản là luật huấn luyện perceptron (perceptron training rule) và luật delta (delta rule). 8 So sánh hiệu quả một số giải thuật metaheuristic để huấn luyện mạng thần kinh nhân tạo a) Luật huấn luyện perceptron: Để tìm một vector w thích hợp, trước hết ta áp dụng một perceptron với trọng số w ngẫu nhiên qua từng mẫu của tập dữ liệu huấn luyện và hiệu chỉnh các trọng số này khi có sự phân loại sai tập mẫu. Quá trình này được lặp đi lặp lại cho đến khi perceptron đã phân loại đúng tất cả các mẫu của tập huấn luyện.