I. Tổng Quan Về Mạng Nơ Ron Ghi Nhớ Khái Niệm và Ứng Dụng
Mạng nơ-ron nhân tạo (ANN) là tập hợp các đơn vị xử lý thông tin mô phỏng dựa trên hoạt động của hệ thống nơ-ron sinh học. Mỗi ANN có hai quá trình chính gồm quá trình học và quá trình xử lý. Trong quá trình học, ANN thực hiện học và lưu trữ thông tin các dữ liệu mẫu. Trong quá trình xử lý, ANN dùng thông tin học được từ quá trình học để đưa ra tín hiệu ra từ các tín hiệu vào mới. Do đó, chất lượng của quá trình học ảnh hưởng lớn đến chất lượng của quá trình xử lý. Nói cách khác, kết quả ra của quá trình học ảnh hưởng đến hiệu quả xử lý thông tin của mạng. Vì vậy, việc nâng cao chất lượng của quá trình học là hết sức cần thiết để đáp ứng được các yêu cầu xử lý ngày càng phức tạp của các ứng dụng thực. ANN thường lưu trữ các thông tin học được trong các trọng số kết nối giữa các nơ-ron. Do đó, quá trình học thực hiện cập nhật trọng số kết nối theo một quy tắc được gọi là luật học. Một số luật học điển hình gồm luật lỗi-sửa lỗi, luật Boltzmann, luật Hebb, và luật cạnh tranh. Do kết quả của quá trình học đóng vai trò quyết định đến chất lượng xử lý của ANN nên việc nâng cao chất lượng của quá trình học sẽ làm tăng khả năng xử lý của ANN. Các ANN có thể chia thành hai nhóm dựa vào mục đích: các ANN phục hồi các mẫu hoàn chỉnh từ các mẫu bị hỏng hóc, và các ANN thực hiện phân loại. Lớp con các ANN thực hiện ghi nhớ các mẫu hoàn chỉnh để có thể nhớ lại các mẫu này từ các mẫu vào hỏng hóc được gọi là ANN ghi nhớ.
1.1. Nơ ron Sinh Học và Mô Hình Nơ ron Nhân Tạo
Nơ-ron sinh học là tế bào xử lý và truyền thông tin bằng các tín hiệu hóa học qua một khớp thần kinh tới các tế bào khác. Mỗi nơ-ron kết nối với nơ-ron khác hình thành các mạng nơ-ron. McCulloch và Pitts đã đề xuất một mô hình tính toán cho một nơ-ron sinh học. Mô hình này bao gồm các tín hiệu vào (x1, x2, ..., xn), các trọng số tương ứng (w1, w2, ..., wn), và tín hiệu ra (y). Hoạt động của nơ-ron gồm hai bước: tổng hợp các tín hiệu vào và tạo ra một tín hiệu ra dựa vào các tín hiệu vào. Việc tổng hợp có thể thực hiện theo dạng tuyến tính, toàn phương, hoặc mặt cầu.
1.2. Các Luật Học Cơ Bản trong Mạng Nơ ron
Các luật học đóng vai trò quan trọng trong việc xác định một ANN. Quá trình học của ANN là cập nhật ma trận trọng số, các tham số mô hình dựa vào các mẫu huấn luyện. Theo nghĩa rộng thì học có thể chia làm hai loại: Học tham số và học cấu trúc. Học tham số tìm kiếm ma trận trọng số sao cho mạng có khả năng đưa ra các dự báo sát với thực tế. Dạng chung của luật học tham số cho nơ-ron i được mô tả như sau: là sự thay trọng số liên kết của nơ-ron thứ i do nơ-ron j tạo ra. Có thể chia thủ tục học tham số ra thành hai lớp nhỏ hơn gồm học có chỉ đạo và học không chỉ đạo.
II. Thách Thức Trong Huấn Luyện Mạng Nơ Ron Ghi Nhớ Hiện Tại
Với mong muốn nâng cao hiệu quả xử lý của các ANN ghi nhớ, tác giả đã chọn đề tài luận án với tiêu đề: ―Cải tiến quá trình học của một số mạng nơ-ron ghi nhớ‖. Tác giả đã nghiên cứu ba mô hình lý thuyết điển hình và mới nhất trong số các ANN ghi nhớ gồm (i) Bộ nhớ liên kết hai chiều (BAM), (ii) Bộ nhớ liên kết mờ (FAM), và (iii) Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART). Mục tiêu nghiên cứu của luận án là thực hiện cải tiến quá trình học để nâng cao chất lượng xử lý của ba mô hình trên. Các nghiên cứu về BAM, FAM, Fuzzy ART đã được tác giả nghiên cứu sâu đặc biệt là quá trình học của mỗi mô hình. Tác giả nhận thấy ba mô hình này đã được phát triển với một số ưu điểm và được áp dụng cho hàng nghìn ứng dụng thực. Tuy nhiên, nếu thực hiện cải tiến thêm quá trình học thì sẽ nâng cao chất lượng xử lý của mỗi mô hình.
2.1. Hạn Chế Về Gắn Trọng Số Cho Các Mẫu Huấn Luyện
Việc gắn trọng số cho các mẫu trong tập huấn luyện còn chưa hiệu quả. Với BAM học nhiều lần, có hai cách thể hiện gồm gắn trọng số cho các cặp mẫu hoặc học lặp đi lặp lại các cặp mẫu. Tuy nhiên, việc xác định trọng số cho mỗi cặp mẫu còn chưa cụ thể hoặc phải tốn nhiều thời gian điều chỉnh trọng số kết nối. Đối với Fuzzy ART, véc tơ trọng số của các cụm được học để gần giống với các mẫu vào. Tuy nhiên, một số mẫu huấn luyện có thể không được lưu lại trong khi các mẫu này có thể chứa các thông tin quan trọng.
2.2. Luật Học Chưa Hiệu Quả Với Mẫu Huấn Luyện Phức Tạp
Luật học chưa học hiệu quả các mẫu huấn luyện. Do một số FAM dùng tỷ lệ giá trị tương ứng của mẫu vào và mẫu ra để lưu trữ nên nội dung của các mẫu chưa được quan tâm. Ngược lại, một số FAM chỉ lưu mẫu vào hay mẫu ra nên việc lưu sự liên kết của cặp mẫu lại giảm. Kết quả là mỗi mô hình chỉ thích hợp với một số tập mẫu nhất định nên khó thích hợp với một ứng dụng phải xử lý với các mẫu phức tạp.
III. Thuật Toán Học Cải Tiến Cho Bộ Nhớ Liên Kết Hai Chiều
Chương 3 đề xuất một thuật toán xác định trọng số thích hợp cho mỗi cặp mẫu huấn luyện của BAM học nhiều lần. BAM cải tiến được thử nghiệm với ứng dụng nhận dạng mẫu. Kết quả thực nghiệm cho thấy có khả năng nhớ lại được cải thiện hơn các BAM khác. Thuật toán học cải tiến giúp BAM học nhanh và linh động hơn nhưng vẫn đảm bảo về khả năng phục hồi mẫu. Theo tài liệu gốc, thuật toán học nhanh và linh động cho BAM được đề xuất để cải thiện khả năng nhớ lại và tốc độ học.
3.1. Xác Định Trọng Số Thích Hợp Cho Cặp Mẫu Huấn Luyện
Thuật toán đề xuất tập trung vào việc xác định giá trị thích hợp cho trọng số của các cặp mẫu huấn luyện của BAM. Việc này giúp BAM học hiệu quả hơn và cải thiện khả năng phục hồi mẫu. Phương pháp này khác biệt so với các phương pháp truyền thống, vốn thường gặp khó khăn trong việc xác định trọng số phù hợp cho mỗi cặp mẫu.
3.2. Thử Nghiệm Nhận Dạng Mẫu Với BAM Cải Tiến
Để đánh giá hiệu quả của thuật toán, BAM cải tiến được thử nghiệm với ứng dụng nhận dạng mẫu. Kết quả cho thấy khả năng nhớ lại được cải thiện đáng kể so với các BAM khác. Điều này chứng minh rằng thuật toán học cải tiến có thể giúp BAM học nhanh và linh động hơn, đồng thời vẫn đảm bảo khả năng phục hồi mẫu.
IV. Luật Học Cải Tiến Cho Lý Thuyết Cộng Hưởng Thích Nghi Mờ
Chương 4 thể hiện hai luật học và một thủ tục tìm giá trị thích hợp cho tham số tốc độ học của Fuzzy ART. Các thực nghiệm phân cụm trên 14 bộ dữ liệu chuẩn cho thấy Fuzzy ART với các luật học đề xuất nhớ lại các cụm tốt hơn. Trong chương, cả luật học và tham số mô hình đều được cải tiến để nâng cao chất lượng phân cụm Fuzzy ART. Theo tài liệu, các thực nghiệm phân cụm cho thấy Fuzzy ART với các luật học đề xuất có khả năng nhớ lại các cụm tốt hơn so với các phương pháp khác.
4.1. Hai Luật Học Mới Cho Fuzzy ART Nội Dung và Ưu Điểm
Hai luật học mới được đề xuất cho Fuzzy ART nhằm cải thiện khả năng phân cụm. Các luật học này tập trung vào việc học và lưu trữ hiệu quả các mẫu huấn luyện. Ưu điểm của hai luật học này là giúp Fuzzy ART nhớ lại các cụm tốt hơn và cải thiện chất lượng phân cụm.
4.2. Thực Nghiệm Phân Cụm Với Fuzzy ART Cải Tiến
Để đánh giá hiệu quả của hai luật học mới, Fuzzy ART cải tiến được thử nghiệm với các thực nghiệm phân cụm trên 14 bộ dữ liệu chuẩn. Kết quả cho thấy Fuzzy ART với các luật học đề xuất có khả năng nhớ lại các cụm tốt hơn so với các phương pháp khác. Điều này chứng minh rằng các luật học mới có thể cải thiện đáng kể khả năng phân cụm của Fuzzy ART.
V. Luật Học Cải Tiến Cho Bộ Nhớ Liên Kết Mờ FAM Hiệu Quả
Chương 5 trình bày luật học cho FAM. Các thử nghiệm với nhiệm vụ nhận dạng mẫu cho thấy FAM với luật học cải tiến nhớ lại tốt hơn các FAM khác. Luật học đề xuất đã giúp nâng cao khả năng phục hồi mẫu từ các mẫu vào có dạng nhiễu phức tạp. Theo tài liệu, các thử nghiệm với nhiệm vụ nhận dạng mẫu cho thấy FAM với luật học cải tiến có khả năng nhớ lại tốt hơn các FAM khác.
5.1. FAM Với Luật Học Cải Tiến Khả Năng Nhận Dạng Mẫu
Luật học cải tiến cho FAM tập trung vào việc nâng cao khả năng nhận dạng mẫu. Các thử nghiệm cho thấy FAM với luật học cải tiến có khả năng nhớ lại tốt hơn các FAM khác. Điều này chứng minh rằng luật học mới có thể cải thiện đáng kể khả năng nhận dạng mẫu của FAM.
5.2. Phục Hồi Mẫu Từ Nhiễu Phức Tạp Với FAM Cải Tiến
Luật học đề xuất đã giúp nâng cao khả năng phục hồi mẫu từ các mẫu vào có dạng nhiễu phức tạp. Điều này cho thấy FAM với luật học cải tiến có thể xử lý tốt các mẫu có nhiễu và phục hồi lại mẫu gốc một cách hiệu quả.
VI. Kết Luận và Hướng Phát Triển Mạng Nơ Ron Ghi Nhớ Tương Lai
Luận án đã tập trung vào việc cải tiến quá trình học của ba mô hình mạng nơ-ron ghi nhớ: BAM, FAM, và Fuzzy ART. Các kết quả nghiên cứu đã cho thấy các cải tiến đề xuất có thể nâng cao chất lượng xử lý của các mô hình này. Trong tương lai, có thể tiếp tục nghiên cứu và phát triển các phương pháp học mới cho mạng nơ-ron ghi nhớ để đáp ứng các yêu cầu xử lý ngày càng phức tạp của các ứng dụng thực tế. Các hướng nghiên cứu tiềm năng bao gồm việc kết hợp các mô hình mạng nơ-ron ghi nhớ với các kỹ thuật học sâu khác, và việc phát triển các mô hình mạng nơ-ron ghi nhớ có khả năng tự học và thích nghi với môi trường thay đổi.
6.1. Tổng Kết Các Kết Quả Nghiên Cứu Đạt Được
Luận án đã đạt được các kết quả quan trọng trong việc cải tiến quá trình học của BAM, FAM, và Fuzzy ART. Các thuật toán và luật học mới được đề xuất đã giúp nâng cao khả năng nhớ lại, phân cụm, và nhận dạng mẫu của các mô hình này. Các kết quả này đã được công bố trên các tạp chí và hội nghị khoa học uy tín.
6.2. Hướng Nghiên Cứu Tiềm Năng Cho Mạng Nơ Ron Ghi Nhớ
Trong tương lai, có nhiều hướng nghiên cứu tiềm năng cho mạng nơ-ron ghi nhớ. Một trong số đó là việc kết hợp các mô hình mạng nơ-ron ghi nhớ với các kỹ thuật học sâu khác. Một hướng khác là việc phát triển các mô hình mạng nơ-ron ghi nhớ có khả năng tự học và thích nghi với môi trường thay đổi. Các hướng nghiên cứu này có thể giúp mạng nơ-ron ghi nhớ trở nên mạnh mẽ và linh hoạt hơn, và có thể được ứng dụng trong nhiều lĩnh vực khác nhau.
