I. Tổng Quan Về Mạng Nơ ron Tế Bào Bậc Hai CNN UM
Thời đại số đang chứng kiến sự trỗi dậy của trí tuệ nhân tạo, với mạng nơ-ron đóng vai trò then chốt. Mạng nơ-ron mô phỏng não người, chia thành hai loại chính: truyền thẳng và phản hồi. Mạng nơ-ron học sâu nhiều lớp kế thừa mạng truyền thẳng, trong khi mạng nơ-ron hồi quy mở ra hướng phát triển mới. Một đại diện tiêu biểu của mạng nơ-ron hồi quy là mạng nơ-ron tế bào (CeNNs), được L. Chua giới thiệu. Nhiều cấu trúc và ứng dụng đã được công bố, đặc biệt trong lĩnh vực xử lý ảnh tốc độ cao và nhận dạng. Năm 2022, tại Việt Nam, mạng nơ-ron tế bào bậc cao đã được phát triển, tuy nhiên, phương pháp học ma trận trọng số điều khiển đầu vào B và trọng số ngưỡng I vẫn chưa được nghiên cứu. Luận án này tập trung vào việc phát triển luật học đó, lấy mạng nơ-ron tế bào bậc hai làm đại diện.
1.1. Cấu trúc và Luật Học Mạng Nơ ron Tổng Quan
Mạng nơ-ron, dựa trên cách thức liên kết, chia thành hai loại cơ bản: mạng nơ-ron truyền thẳng và mạng nơ-ron phản hồi (hay mạng nơ-ron hồi quy). Mạng nơ-ron học sâu nhiều lớp cơ bản kế thừa mạng nơ-ron truyền thẳng truyền thống (trong một số trường hợp có lai với một số lớp có tín hiệu truy hồi) ghép các chức năng mong muốn bằng hàng trăm, hàng ngàn lớp mạng nối tiếp và đã trở thành các sản phẩm phần mềm thương mại. Các nghiên cứu về mạng nơ-ron tế bào và luật học ngày càng được quan tâm.
1.2. Mạng Nơ ron Tế Bào Bậc Hai Giới Thiệu Chi Tiết
Mạng nơ-ron tế bào thuộc lớp cấu trúc mạng nơ-ron hồi quy, được L. Chua giới thiệu. Những năm tiếp theo, nhiều cấu trúc mới, và ứng dụng như xử lý ảnh tốc độ cao, nhận dạng đã được công bố. Trung bình, hai năm một lần, Hội nghị Quốc tế về Mạng nơ-ron tế bào kích thước nano (CNNA) được tổ chức để đưa ra những kết quả nghiên cứu mới đạt được liên quan đến CeNNs.
1.3. Các Nghiên Cứu Về Mạng Nơ ron Tế Bào Tại Việt Nam
Năm 2022, tại Việt Nam, mạng nơ-ron tế bào bậc cao đã được nhóm nghiên cứu của PGS. Nguyễn Quang Hoan cùng các cộng sự công bố, phát triển về mặt cấu trúc cũng như thử nghiệm làm bộ nhớ liên kết bằng việc tính trọng số phản hồi của mạng nơ-ron tế bào bậc cao theo luật học Hebb. Tuy nhiên, nhóm nghiên cứu chưa đưa ra phương pháp học ma trận trọng số điều khiển đầu vào B và trọng số ngưỡng I.
II. Tại Sao Cần Phát Triển Học Trọng Số Cho CNN UM
Luận án tập trung vào việc phát triển các phương pháp học trọng số áp dụng cho mạng nơ-ron tế bào bậc hai, dựa trên kiến trúc mạng nơ-ron tế bào bậc cao và luật học Perceptron hồi quy. NCS tóm tắt những ưu điểm đáng chú ý của mạng nơ-ron tế bào (CeNNs), như xử lý song song, tính toán tương tự, liên kết cục bộ, khả năng chống nhiễu và nhận dạng mẫu hiệu quả. Các ưu điểm này phù hợp với hướng nghiên cứu và phát triển của Viện nghiên cứu Điện tử, Tin học, Tự động hóa và chuyên môn của NCS. NCS chọn mạng nơ-ron tế bào bậc hai làm hướng nghiên cứu cho luận án, tập trung vào phát triển các phương pháp học để xác định đầy đủ bộ trọng số, chứng minh tính hội tụ của các thuật toán và đưa ra một vài ứng dụng minh họa.
2.1. Ưu Điểm Của Mạng Nơ ron Tế Bào CeNNs
Mạng nơ-ron tế bào (CeNNs) có nhiều ưu điểm như xử lý song song: Mỗi tế bào (nơ ron) trong mạng CeNNs xử lý đầu vào của nó một cách độc lập và đồng thời với các tế bào khác có tính song song cao. Tính toán tương tự (Analog): Không giống như các mạng nơ ron truyền thống hoạt động với giá trị rời rạc, CeNNs thường được triển khai bằng các thành phần Analog, do đó có thể cung cấp các giải pháp tiết kiệm năng lượng. Liên kết cục bộ: CeNNs nhấn mạnh việc kết nối cục bộ giữa các tế bào lân cận. Mỗi tế bào được kết nối với các tế bào lân cận của nó thông qua các trọng số, cho phép mạng thu thập mối quan hệ không gian và mẫu một cách hiệu quả.
2.2. Tính Cấp Thiết Của Nghiên Cứu Học Trọng Số
Gukzelis công bố luật học Perceptron hồi quy để tính toán đầy đủ bộ trọng số cho mạng nơ-ron tế bào chuẩn (bậc nhất). Luận án này sẽ dựa trên hai sở cứ xuất phát: i) kiến trúc mạng nơ-ron tế bào bậc cao; ii) luật học Perceptron hồi quy tính bộ trọng số cho mạng nơ-ron tế bào bậc nhất để xây dựng một số phương pháp tính bộ trọng số áp dụng cho mạng nơ-ron tế bào bậc hai.
2.3. Mục Tiêu Nghiên Cứu Luận Án Hướng Đến Tối Ưu
Mục tiêu chính của luận án là phát triển các luật học để xác định các bộ trọng số cho mạng nơ-ron tế bào bậc hai, cụ thể: Phát triển luật học Perceptron hồi quy cho mạng nơ-ron tế bào bậc hai (SOCeNNs) và chứng minh sự hội tụ của luật học đề xuất. Xây dựng thuật toán kết hợp giữa GA và thuật toán hạ gradient để cải thiện chất lượng học cho mạng nơ-ron tế bào bậc hai.
III. Cách Phát Triển Thuật Toán Perceptron Hồi Quy SORPLA
Luận án tập trung phát triển luật học Perceptron hồi quy cho mạng nơ-ron tế bào bậc hai (SOCeNNs). Nghiên cứu này chứng minh sự hội tụ của luật học đề xuất. Thuật toán học có giám sát cho SOCeNNs - Luật học SORPLA. Tính hội tụ của thuật toán Perceptron hồi quy mạng nơ-ron tế bào bậc hai. NCS cũng xây dựng thuật toán kết hợp giữa GA và thuật toán hạ gradient để cải thiện chất lượng học. Cấu trúc và luật học mạng Perceptron 1 lớp nhiều vào, ra.
3.1. Mô Hình Toán Học Nơ ron Tế Bào Bậc Hai
Mạng nơ-ron tế bào bậc hai. Mô hình toán học nơ-ron tế bào bậc hai. Mô tả các thành phần của SOCeNNs. Phân tích tính ổn định của mạng nơ-ron tế bào bậc hai. Phát triển luật học trong mạng nơ-ron tế bào bậc hai.
3.2. Luật Học SORPLA Chi Tiết Thuật Toán
Thuật toán học có giám sát cho SOCeNNs - Luật học SORPLA. Tính hội tụ của thuật toán Perceptron hồi quy mạng nơ-ron tế bào bậc hai. Thử nghiệm thuật toán SORPLA cho bài toán xử lý ảnh. Đánh giá các bộ trọng số của thuật toán SORPLA.
3.3. Ứng Dụng SORPLA Trong Xử Lý Ảnh
Xử lý ảnh dùng mạng nơ-ron tế bào. Thuật toán PySOCeNNs xác định biên ảnh. Kết quả thử nghiệm. Kết luận chương 2. Quá trình quá độ x(t) tại tế bào vị trí C(5,3) và C(5,4) trong SOCeNNs.
IV. Giải Thuật Di Truyền GA Tối Ưu Cho Mạng Nơ ron
Luận án xây dựng giải thuật di truyền để xác định bộ trọng số SOCeNNs, phương pháp học kết hợp giữa GA và SORPLA để giảm thiểu các trường hợp tối ưu cục bộ của phương pháp SORPLA. Giải thuật di truyền cho mạng nơ-ron tế bào. Giải thuật di truyền tính trọng số cho mạng nơ-ron tế bào chuẩn. Giải thuật di truyền tính trọng số cho mạng nơ-ron tế bào bậc hai.
4.1. Giải Thuật Di Truyền Cho Mạng Nơ ron Tế Bào
Giải thuật di truyền. Giải thuật di truyền cho mạng nơ-ron tế bào. Giải thuật di truyền tính trọng số cho mạng nơ-ron tế bào chuẩn. Giải thuật di truyền tính trọng số cho mạng nơ-ron tế bào bậc hai.
4.2. Thuật Toán Lai GA Với Perceptron Hồi Quy
Thuật toán lai giải thuật di truyền với thuật toán Perceptron hồi quy. Thuật toán lai giải thuật di truyền với thuật toán Perceptron hồi quy cho mạng nơ-ron tế bào chuẩn. Thuật toán lai giải thuật di truyền với thuật toán Perceptron hồi quy cho mạng nơ-ron tế bào bậc hai.
4.3. Đánh Giá Và So Sánh Các Thuật Toán Đề Xuất
Đánh giá và so sánh các thuật toán đề xuất. Cơ sở đánh giá thuật toán. Các phương pháp đánh giá. Kết luận chương 3. Bảng giá trị hàm mục tiêu E(w) của CeNNs. Bảng kết quả lai tạo SOCeNNs.
V. Ứng Dụng Mạng Nơ ron Tế Bào Bậc Hai Trong Xử Lý Ảnh
Thử nghiệm cho bài toán xác định biên ảnh sử dụng kết quả các thuật toán đã phát triển trong luận án chỉ để chứng tỏ các bộ trọng số tìm được là đúng, đề xuất khả năng ứng dụng thực tế sau này. Trong nội dung nghiên cứu tại luân án, NCS không đi sâu vào đánh giá chất lượng xử lý ảnh so với các phương pháp khác; đây là một hướng nghiên cứu mà NCS sẽ định hướng vào giai đoạn tiếp theo.
5.1. Ứng Dụng Thực Tế Xác Định Biên Ảnh
Luận án thử nghiệm cho bài toán xác định biên ảnh sử dụng kết quả các thuật toán đã phát triển. Bảng thống kê số lượng ảnh có vùng đen còn lại. Bảng thống kê thời gian tách biên ảnh.
5.2. So Sánh Kết Quả Tách Biên Ảnh Giữa Các Thuật Toán
So sánh kết quả tách biên giữa hai bộ trọng số của SOCeNNs. So sánh kết quả tách biên giữa 02 cấu trúc CeNNs và SOCeNNs.
VI. Kết Luận Tương Lai Của Mạng Nơ ron Tế Bào
Việc nghiên cứu về mạng nơ-ron tế bào bậc cao, phát triển các thuật học, chứng minh tính hội tụ của các thuật toán là một vấn đề cấp thiết. Luận án đã phát triển luật học Perceptron hồi quy cho mạng nơ-ron tế bào bậc hai (SOCeNNs). Đề xuất thuật toán GA cho mạng nơ-ron tế bào bậc hai, và hai thuật toán lai giữa GA với thuật toán RPLA.
6.1. Tóm Tắt Đóng Góp Của Luận Án
Luận án đặt ra hai vấn đề cần giải quyết: Phát triển luật học Perceptron hồi quy cho mạng nơ-ron tế bào bậc hai (SOCeNNs) và chứng minh sự hội tụ của luật học đề xuất. Đề xuất thuật toán GA cho mạng nơ-ron tế bào bậc hai, và hai thuật toán lai giữa GA với thuật toán RPLA...
6.2. Hướng Nghiên Cứu Tiếp Theo Cho Mạng Nơ ron Tế Bào
Trong nội dung nghiên cứu tại luân án, NCS không đi sâu vào đánh giá chất lượng xử lý ảnh so với các phương pháp khác; đây là một hướng nghiên cứu mà NCS sẽ định hướng vào giai đoạn tiếp theo.
