Tổng quan luận án

Luận án tiến sĩ kỹ thuật với đề tài "Phát triển một số phương pháp học trọng số cho mạng nơ ron tế bào bậc hai", chuyên ngành Kỹ thuật Điện tử (mã số: 9520203), được nghiên cứu sinh Dương Đức Anh thực hiện tại Viện Nghiên cứu Điện tử, Tin học, Tự động hóa (VIELINA) thuộc Bộ Công Thương, dưới sự hướng dẫn khoa học của PGS. Nguyễn Quang Hoan và PGS. Nguyễn Hồng Vũ, bảo vệ năm 2024 tại Hà Nội.

Tính cấp thiết và khoảng trống nghiên cứu

Mạng nơ ron tế bào (Cellular Neural Networks - CeNNs) là một lớp kiến trúc mạng nơ ron hồi quy xử lý tín hiệu tương tự (analog) song song với các liên kết cục bộ giữa các phần tử láng giềng. CeNNs có nhiều ưu điểm kỹ thuật: khả năng tính toán song song ở tốc độ cao, khả năng triển khai trên phần cứng vi mạch tương tự giúp giảm thiểu các khâu biến đổi A/D và D/A, tính năng kháng nhiễu và độ phức tạp tính toán thấp hơn so với các mạng nơ ron tích chập (CNNs) nhiều lớp trong học sâu.

Tuy nhiên, các mạng nơ ron tế bào chuẩn (bậc nhất) có khả năng phân lớp tuyến tính bị giới hạn trong không gian trạng thái cục bộ. Để mở rộng khả năng xử lý các bài toán phi tuyến phức tạp mà không cần tăng số lượng lớp mạng, việc phát triển mạng nơ ron tế bào bậc hai (Second Order Cellular Neural Networks - SOCeNNs) là một hướng đi cần thiết. Các công bố trước đây ở trong nước mới dừng lại ở việc thiết lập cấu trúc và tính toán ma trận phản hồi đầu ra $A$ theo luật học Hebb không giám sát cho mạng bậc cao làm bộ nhớ liên kết, chưa đưa ra giải pháp xác định đồng thời và đầy đủ ma trận điều khiển đầu vào $B$ và véc-tơ ngưỡng $I$. Mặt khác, các thuật toán học dựa trên phương pháp hạ gradient truyền thống thường dễ rơi vào các điểm tối ưu cục bộ. Do đó, yêu cầu nghiên cứu phát triển các luật học tham số đầy đủ, chứng minh tính hội tụ toán học và xây dựng giải thuật lai tối ưu toàn cục cho mạng SOCeNNs là vấn đề khoa học có tính cấp thiết cao.

Mục tiêu nghiên cứu

Mục tiêu chính của luận án là phát triển các luật học để xác định các bộ trọng số cho mạng nơ ron tế bào bậc hai, cụ thể gồm hai mục tiêu:

  1. Phát triển luật học Perceptron hồi quy cho mạng nơ ron tế bào bậc hai (SOCeNNs) và chứng minh sự hội tụ của luật học đề xuất.
  2. Xây dựng thuật toán kết hợp giữa giải thuật di truyền (GA) và thuật toán hạ gradient để cải thiện chất lượng học cho mạng nơ ron tế bào bậc hai.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các luật học để xác định các bộ trọng số cho mạng nơ ron tế bào bậc hai với cấu trúc đã chọn trước.
  • Phạm vi nghiên cứu:
    • Giới hạn nghiên cứu các thuật toán hồi quy và phát triển thành thuật toán dạng Perceptron (theo kiểu truyền thẳng) phù hợp cho mạng nơ ron tế bào bậc hai.
    • Xây dựng giải thuật di truyền để xác định bộ trọng số SOCeNNs, phát triển phương pháp học kết hợp giữa GA và SORPLA để giảm thiểu các trường hợp rơi vào tối ưu cục bộ của phương pháp SORPLA.
    • Thử nghiệm thuật toán trên bài toán xác định biên ảnh để kiểm chứng tính đúng đắn của các bộ trọng số tìm được, không đi sâu vào việc so sánh đánh giá toàn diện chất lượng xử lý ảnh với mọi thuật toán xử lý ảnh chuyên dụng khác.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước đây

Tác giả đã hệ thống hóa các mốc phát triển lý thuyết mạng nơ ron và các công trình liên quan đến CeNNs:

  • Lý thuyết nền tảng: F. Rosenblatt (1960) đề xuất mô hình Perceptron một lớp với luật học thử - sai - chỉnh; B. Widrow và M. E. Hoff (1962) phát triển mạng Adaline và luật học hạ gradient sai số bình phương tối thiểu (LMS); J. J. Hopfield (1982, 1984) xây dựng mô hình mạng Hopfield rời rạc và liên tục cùng hàm năng lượng Lyapunov để thiết lập tiêu chuẩn ổn định.
  • Mạng nơ ron tế bào chuẩn: L. O. Chua và L. Yang (1988) công bố mô hình mạng CeNNs chuẩn dựa trên nguyên lý mạch điện tương tự và tích hợp cục bộ; L. O. Chua cùng các cộng sự (1993) phát triển máy tính nơ ron tế bào vạn năng (CeNN-UM); C. Gukzelis đề xuất thuật toán Perceptron hồi quy (RPLA) để tính toán bộ trọng số đầy đủ cho CeNNs chuẩn.
  • Phát triển cấu trúc và tính ổn định quốc tế: Các công trình về CeNNs nhiều lớp (tài liệu của các nhóm nghiên cứu quốc tế từ 2000 đến nay); CeNNs có trễ của Xuemei Li (2009), Zhenguo Bai và Tianhui Yang (2022); mạng nơ ron tế bào bậc cao và bậc cao có độ trễ thời gian của Haibo Gu và cộng sự (2011), Xiaojin Guo và cộng sự (2022), Chuangxia Huang, Shuping Xu và cộng sự (2015), Ankit Kumar (2021).
  • Phương pháp học và phần cứng quốc tế: Thuật toán lan truyền ngược cho CeNNs; phương pháp học không đồng bộ phân tán (DAL) của Venayagamoorthy; phương pháp học trung tâm hỗn độn của B. Mirzai và cộng sự (1998); các bộ xử lý tương tự phần cứng của công ty AnaFocus (chip ACE 20x20, 48x48, 128x128, CASE nhiều lớp) được chuyển giao cho Teledyne e2v; các bo mạch PCI-X chứa vi xử lý ACE 4K kết hợp DSP Texas Instruments 320C6202 của Analogic (2000, 2003); máy ảnh Bi-I và thiết bị kính mắt Bionic của T. Roska và cộng sự (2006).
  • Nghiên cứu tại Việt Nam: PGS. Phạm Thượng Cát (1996) khởi xướng nghiên cứu CeNNs với đề tài cấp nhà nước về xử lý ảnh nhanh; TS. Phạm Đức Long phát triển các thuật toán CeNNs ứng dụng nhận dạng hạt thuốc, khuyết tật đường ray và khôi phục ảnh; TS. Vũ Đức Thái ứng dụng CeNNs giải phương trình vi phân đạo hàm riêng và phương trình thủy lực trên FPGA; PGS. Nguyễn Quang Hoan nghiên cứu mạng Hopfield bậc cao (1996), mạng BAM bậc cao (cùng TS. Phạm Hữu Đức Dục, 1999) và mạng CeNNs bậc cao làm bộ nhớ liên kết theo luật Hebb (cùng TS. Nguyễn Tài Tuyên, 2022).

Khoảng trống luận án lựa chọn giải quyết

Mặc dù mạng nơ ron tế bào bậc cao đã được nhóm nghiên cứu trong nước đề xuất về mặt cấu trúc, các nghiên cứu này mới chỉ dừng ở việc tính ma trận phản hồi $A$ bằng luật Hebb (học không giám sát). Chưa có công trình nào giải quyết trọn vẹn việc xác định đồng thời toàn bộ các thành phần trọng số phản hồi bậc hai $A_2$, trọng số điều khiển đầu vào bậc hai $B_2$ và ngưỡng $I$ cho mạng SOCeNNs bằng luật học có giám sát Perceptron hồi quy, cũng như chưa có giải pháp lai ghép giữa giải thuật di truyền (GA) và Perceptron hồi quy để khắc phục triệt để hiện tượng hội tụ về cực tiểu cục bộ cho mạng nơ ron tế bào bậc hai.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và mô hình toán học

Luận án vận dụng các cơ sở lý thuyết toán học và kỹ thuật mạng nơ ron:

  • Mô hình toán học nơ ron tế bào bậc hai (SOCeNNs): Mở rộng từ nơ ron bậc nhất bằng việc bổ sung các thành phần tương tác phi tuyến bậc hai dạng đa thức đối với tín hiệu đầu vào và tín hiệu phản hồi đầu ra giữa các tế bào lân cận trong bán kính lân cận $r=1$ (gồm 9 tế bào lân cận).
  • Hàm tương tác đầu ra: Sử dụng hàm bão hòa tuyến tính từng đoạn (Piecewise Linear Saturation Function): $$y_{i,j}(t) = \frac{1}{2}\big(|x_{i,j}(t) + 1| - |x_{i,j}(t) - 1|\big)$$
  • Tiêu chuẩn ổn định Lyapunov và ổn định đầy đủ (Complete Stability): Áp dụng định lý ổn định với hàm thế năng thế $V(t)$ bị chặn ($\max |V(t)| \le V_{\max}$) và đạo hàm theo thời gian không dương ($\frac{dV(t)}{dt} \le 0$) để đảm bảo mọi quỹ đạo trạng thái của SOCeNNs đều hội tụ về các điểm cân bằng ổn định.
  • Quy đổi mạng hồi quy sang mạng truyền thẳng: Tại trạng thái cân bằng ($\frac{dx_{i,j}}{dt} = 0$), mạng hồi quy CeNNs được quy đổi tương đương về cấu trúc mạng truyền thẳng Perceptron để thiết lập hàm mục tiêu sai số bình phương tối thiểu $E(w)$ và cập nhật trọng số.
+-----------------------------------------------------------------------------+
|                            DANH MỤC THUẬT NGỮ VÀ KÝ HIỆU                    |
+-------------------+---------------------------------------------------------+
| Ký hiệu / Viết tắt| Diễn giải nội dung                                      |
+-------------------+---------------------------------------------------------+
| CeNNs             | Cellular Neural Networks (Mạng nơ ron tế bào chuẩn)     |
| SOCeNNs           | Second Order Cellular Neural Networks (Mạng bậc hai)    |
| RPLA              | Recurrent Perceptron Learning Algorithm                 |
| SORPLA            | Second Order Recurrent Perceptron Learning Algorithm    |
| GA / GACeNNs      | Giải thuật di truyền / GA cho CeNNs chuẩn               |
| GASOCeNNs         | Giải thuật di truyền cho mạng nơ ron tế bào bậc hai     |
| GASORPLA          | Thuật toán lai giữa GA và Perceptron hồi quy bậc hai    |
| PySOCeNNs         | Chương trình Python mô phỏng SOCeNNs xác định biên ảnh  |
| $N_r(i,j)$        | Tập lân cận của tế bào $C(i,j)$ với bán kính $r=1$      |
| $A_1, A_2$        | Ma trận trọng số phản hồi bậc nhất, bậc hai              |
| $B_1, B_2$        | Ma trận trọng số điều khiển đầu vào bậc nhất, bậc hai   |
| $I$               | Ngưỡng kích thích                                       |
+-------------------+---------------------------------------------------------+

Phương pháp nghiên cứu

  • Phương pháp nghiên cứu lý thuyết: Sử dụng các công cụ giải tích toán học, lý thuyết hệ động học phi tuyến, đại số ma trận và phương pháp tối ưu phi tuyến để xây dựng mô hình SOCeNNs, thiết lập luật học SORPLA và chứng minh sự hội tụ của thuật toán Perceptron hồi quy bậc hai.
  • Phương pháp mô phỏng và thực nghiệm: Xây dựng các script tính toán trên phần mềm MATLAB để mô phỏng động học hệ phi tuyến; lập trình xây dựng công cụ PyCeNNs và PySOCeNNs bằng ngôn ngữ Python để thực hiện quá trình huấn luyện tìm bộ trọng số và xử lý tách biên ảnh.
  • Nguồn dữ liệu và tư liệu thử nghiệm: Dữ liệu ảnh thực nghiệm gồm các tập ảnh chuẩn đa dạng: bộ dữ liệu chuẩn Berkeley Segmentation Dataset 500 (BSDS500), ảnh chuẩn quốc tế BIPED; các ảnh thử nghiệm mẫu chuẩn gồm ảnh Lena ($128 \times 128$), ảnh đen trắng ($256 \times 256$), ảnh Núi Phú Sỹ, ảnh chim thiên nga, ảnh ghế ngồi, ảnh thành phố Barcelona, và các ảnh phong cảnh độ phân giải cao ($2160 \times 3840$ và $6144 \times 8192$).

Nội dung chính theo từng chương

Chương 1. Tổng quan về cấu trúc và luật học mạng nơ ron

Chương 1 tổng thuật các kiến thức cơ bản về phân loại học trong mạng nơ ron (học cấu trúc, học tham số: có giám sát, không giám sát, học tăng cường), cấu trúc và luật học của mạng truyền thẳng một lớp (Perceptron của Rosenblatt với luật học thử - sai - chỉnh; Adaline của Widrow-Hoff với luật học LMS hạ gradient). Chương này phân tích chi tiết mô hình mạng hồi quy bậc nhất Hopfield rời rạc và liên tục, chứng minh điều kiện ổn định thông qua hàm năng lượng Lyapunov (yêu cầu ma trận trọng số có đường chéo bằng không $w_{ii} = 0$ và đối xứng $w_{ij} = w_{ji}$).

Tiếp đó, chương 1 trình bày chi tiết mạng nơ ron tế bào chuẩn (CeNNs) của L. Chua và L. Yang (1988), bao gồm mô hình mạch điện tương đương với 4 thành phần kết nối của một tế bào $C(i,j)$:

  1. Các láng giềng điều khiển đầu vào thông qua ma trận $B_1$ ($2r+1)^2 = 9$ phần tử khi $r=1$;
  2. Các láng giềng phản hồi đầu ra thông qua ma trận $A_1$ ($9$ phần tử khi $r=1$);
  3. Phản hồi trạng thái nội tại $-1/R_x$;
  4. Nguồn phân cực ngưỡng $I$.
+-----------------------------------------------------------------------------+
|               BẢNG TỔNG KẾT THÀNH PHẦN KẾT NỐI TẾ BÀO C(i,j) (r=1)          |
+-------------------------+--------------------+------------------------------+
| Thành phần kết nối      | Ký hiệu toán học   | Số lượng tham số tương ứng   |
+-------------------------+--------------------+------------------------------+
| Phản hồi đầu ra ngoài   | Ma trận $A_1$      | 9 phần tử ($a_{11}..a_{33}$) |
| Điều khiển đầu vào ngoài| Ma trận $B_1$      | 9 phần tử ($b_{11}..b_{33}$) |
| Phản hồi trạng thái     | $-1/R_x$           | 1 phần tử                    |
| Phân cực ngưỡng         | $I$                | 1 phần tử                    |
| Tổng số liên kết nơ ron | --                 | 20 phần tử                   |
+-------------------------+--------------------+------------------------------+

Tác giả phân tích thuật toán Perceptron hồi quy (RPLA) của C. Gukzelis áp dụng cho CeNNs chuẩn bằng cách gom véc-tơ trọng số tổng $W = [A_1^T, B_1^T, I]^T$ và đưa về bài toán mạng truyền thẳng khi hệ đạt trạng thái cân bằng. Đặc biệt, chương 1 phân tích ý nghĩa hình học của nơ ron bậc hai dạng đa thức: nếu mạng nơ ron bậc nhất chỉ tạo ra các siêu phẳng phân lớp tuyến tính (đòi hỏi tối thiểu 3 lớp truyền thẳng Perceptron để bao bọc một miền nhận dạng), thì nơ ron bậc hai có thể tạo ra quỹ đạo trạng thái dạng elip khép kín, cho phép nhận dạng phi tuyến chỉ với một lớp mạng duy nhất. Cuối chương là tổng quan các công bố quốc tế, trong nước và xác định bài toán nghiên cứu của luận án.

Chương 2. Thuật toán Perceptron hồi quy cho mạng nơ ron tế bào bậc hai

Chương 2 trình bày nội dung cốt lõi thứ nhất của luận án: thiết lập mô hình toán học và luật học Perceptron hồi quy cho mạng nơ ron tế bào bậc hai (SOCeNNs).

  • Mô hình toán học của SOCeNNs: Phương trình trạng thái vi phân của tế bào $C(i,j)$ được bổ sung các tích bậc hai của tín hiệu đầu vào và tín hiệu đầu ra phản hồi từ các tế bào lân cận $N_r(i,j)$ với bán kính $r=1$. Tác giả thiết lập hệ thống phương trình trạng thái, phương trình đầu vào, phương trình đầu ra bão hòa và các điều kiện ràng buộc đối xứng.
  • Tính ổn định của SOCeNNs: Luận án chứng minh tính ổn định đầy đủ của SOCeNNs bằng việc xây dựng hàm Lyapunov $V(t)$ mở rộng, chứng minh $V(t)$ bị chặn bởi giá trị $V_{\max}$ và có đạo hàm $\frac{dV(t)}{dt} \le 0$, đảm bảo hệ thống không bị tự kích dao động và luôn ổn định tại các trạng thái cân bằng có độ lớn $|x_{i,j}(t)| \ge 1$ và $|y_{i,j}(t)| = 1$.
  • Phát triển luật học SORPLA (Second Order Recurrent Perceptron Learning Algorithm): Tại trạng thái cân bằng, SOCeNNs được chuyển đổi tương đương sang mô hình mạng Perceptron bậc hai. Ma trận trọng số tổng hợp $W$ chứa toàn bộ các tham số bậc nhất và bậc hai ($A_1, A_2, B_1, B_2, I$). Luận án xây dựng quy tắc cập nhật trọng số dựa trên sai lệch giữa đầu ra thực tế và đầu ra mong muốn với tốc độ học $\alpha$: $$W(k+1) = W(k) + \Delta W(k)$$ $$\Delta W(k) = \alpha \sum_{s} (d_{i,j}^s - y_{i,j}^s(\infty)) Y^s$$
  • Chứng minh tính hội tụ: Tác giả chứng minh chặt chẽ về mặt toán học rằng sau một số hữu hạn bước lặp $k$, tổng sai số $E(w)$ của thuật toán SORPLA sẽ nhỏ hơn ngưỡng sai số cho phép $\varepsilon_{\min}$, đảm bảo thuật toán luôn hội tụ nếu tập mẫu học phân tách được.
  • Thực nghiệm và phần mềm PySOCeNNs: Tác giả xây dựng chương trình PySOCeNNs bằng Python, thiết lập tập mẫu học huấn luyện và khảo sát quá trình quá độ trạng thái $x(t)$ tại các tế bào (ví dụ tại tọa độ $C(5,3)$ và $C(5,4)$). Kết quả thử nghiệm trên bài toán xác định biên ảnh cho thấy bộ trọng số tìm được từ SORPLA thực hiện tách biên chính xác, xác nhận tính đúng đắn của mô hình lý thuyết.

Chương 3. Giải thuật di truyền cho mạng nơ ron tế bào

Chương 3 tập trung giải quyết bài toán tối ưu hóa toàn cục khi xác định trọng số cho mạng nơ ron tế bào.

  • Giải thuật di truyền cho CeNNs và SOCeNNs (GACeNNs, GASOCeNNs): Xây dựng cấu trúc nhiễm sắc thể mã hóa các bộ trọng số, thiết lập hàm thích nghi dựa trên nghịch đảo của hàm mục tiêu sai số $E(w)$, áp dụng các toán tử chọn lọc, lai ghép và đột biến để tìm kiếm bộ trọng số tối ưu.
  • Thuật toán lai GASORPLA: Phân tích hạn chế của thuật toán SORPLA là phụ thuộc vào điểm khởi tạo ban đầu và có thể bị mắc kẹt tại cực tiểu địa phương do bản chất của phương pháp hạ gradient. Tác giả đề xuất thuật toán lai GASORPLA (kết hợp giữa GA và SORPLA): GA đảm nhiệm vai trò tìm kiếm toàn cục để xác định vùng không gian trọng số tiềm năng, sau đó thuật toán Perceptron hồi quy SORPLA thực hiện tinh chỉnh cục bộ để tăng tốc độ hội tụ và đạt độ chính xác cao.
  • Đánh giá và so sánh thực nghiệm: Tác giả tiến hành so sánh đối chuẩn giữa các thuật toán: CeNNs chuẩn, SOCeNNs, GACeNNs, GASOCeNNs và GASORPLA thông qua các chỉ tiêu định lượng: giá trị hàm mục tiêu sai số $E(w)$, kết quả lai tạo, thời gian tách biên ảnh và số lượng vùng đen còn lại trên biên đối tượng khi kiểm thử với bộ dữ liệu chuẩn BSDS500 và các ảnh thực tế độ phân giải cao.
+-----------------------------------------------------------------------------+
|          BẢNG SO SÁNH ĐẶC TÍNH CÁC PHƯƠNG PHÁP HỌC TRONG LUẬN ÁN             |
+--------------------+------------------------+-------------------------------+
| Phương pháp / Luật | Cấu trúc mạng áp dụng  | Đặc tính tối ưu và hội tụ     |
+--------------------+------------------------+-------------------------------+
| RPLA               | CeNNs chuẩn (bậc nhất) | Cục bộ, phụ thuộc khởi tạo    |
| SORPLA             | SOCeNNs (bậc hai)      | Cục bộ, hội tụ nhanh bậc hai  |
| GACeNNs            | CeNNs chuẩn (bậc nhất) | Toàn cục, tốc độ hội tụ chậm  |
| GASOCeNNs          | SOCeNNs (bậc hai)      | Toàn cục, không gian tìm rộng |
| GASORPLA (Đề xuất) | SOCeNNs (bậc hai)      | Tối ưu toàn cục kết hợp cục bộ|
+--------------------+------------------------+-------------------------------+

Kết quả và những đóng góp mới

Luận án đã đạt được các kết quả và đóng góp mới cụ thể sau:

  1. Đóng góp về mặt lý thuyết và mô hình:
    • Phát triển hoàn chỉnh mô hình toán học cho mạng nơ ron tế bào bậc hai (SOCeNNs), mở rộng từ mạng tế bào chuẩn với các thành phần phi tuyến bậc hai cho cả tín hiệu đầu vào và tín hiệu phản hồi đầu ra.
    • Chứng minh thành công tính ổn định đầy đủ của mô hình SOCeNNs dựa trên hàm thế năng Lyapunov mở rộng, xác lập điều kiện đảm bảo trạng thái mạng luôn hội tụ về các điểm cân bằng ổn định.
  2. Đóng góp về mặt thuật toán:
    • Đề xuất và xây dựng thành công thuật toán Perceptron hồi quy bậc hai (SORPLA) để tính toán đầy đủ bộ trọng số ($A_2, B_2, I$) cho SOCeNNs, đồng thời chứng minh chặt chẽ tính hội tụ toán học của thuật toán.
    • Đề xuất giải thuật di truyền cho mạng nơ ron tế bào bậc hai (GASOCeNNs) và xây dựng thuật toán lai GASORPLA kết hợp giữa GA và SORPLA, giải quyết triệt để nhược điểm rơi vào cực tiểu cục bộ của các thuật toán hạ gradient truyền thống.
  3. Đóng góp về mặt thực nghiệm và ứng dụng:
    • Xây dựng bộ công cụ phần mềm mô phỏng PyCeNNs và PySOCeNNs trên nền tảng ngôn ngữ Python.
    • Kiểm chứng thành công các bộ trọng số tìm được thông qua bài toán tách biên ảnh trên các tập ảnh thực tế và tập dữ liệu chuẩn quốc tế BSDS500, chứng minh tính đúng đắn và khả năng ứng dụng thực tiễn của các phương pháp đề xuất.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

  • Các thử nghiệm xử lý ảnh trong luận án chủ yếu tập trung vào bài toán tách biên ảnh nhằm mục đích minh chứng tính đúng đắn của các bộ trọng số thu được từ thuật toán SORPLA và GASORPLA; luận án chưa đi sâu vào việc so sánh toàn diện chất lượng xử lý ảnh trên nhiều tác vụ thị giác máy tính khác nhau so với các kiến trúc mạng học sâu hiện đại.
  • Nghiên cứu mới dừng lại ở mức độ mô phỏng thuật toán trên máy tính thông qua phần mềm MATLAB và Python, chưa tiến hành chế tạo thử nghiệm vi mạch bán dẫn tương tự (analog ASIC) hoặc lập trình trên chip chuyên dụng FPGA để đo kiểm các chỉ số phần cứng thời gian thực.

Hướng nghiên cứu tiếp theo

  • Mở rộng đánh giá chất lượng và hiệu năng của mạng nơ ron tế bào bậc hai trên các bài toán xử lý ảnh phức tạp hơn như phân đoạn ảnh, lọc nhiễu thích nghi, khôi phục ảnh và nhận dạng mẫu thời gian thực.
  • Nghiên cứu thiết kế, hiện thực hóa các thuật toán đề xuất trên các nền tảng phần cứng số và phần cứng nhúng (như vi xử lý DSP, FPGA, hoặc chip ASIC tương tự) nhằm phát huy ưu thế xử lý tốc độ cao và tiết kiệm năng lượng của kiến trúc CeNNs trong các thiết bị IoT và hệ thống hỗ trợ lái xe nâng cao (ADAS).

Giá trị tham khảo

Luận án là tài liệu tham khảo có giá trị chuyên môn cao đối với các đối tượng:

  • Nghiên cứu sinh, học viên cao học và giảng viên: Thuộc các chuyên ngành Kỹ thuật Điện tử, Tự động hóa, Khoa học Máy tính và Trí tuệ nhân tạo. Luận án cung cấp hệ thống cơ sở toán học chặt chẽ về mạng nơ ron động phi tuyến, các chứng minh ổn định Lyapunov và kỹ thuật lai ghép giải thuật di truyền với luật học Perceptron.
  • Kỹ sư nghiên cứu và phát triển (R&D): Các kỹ sư thiết kế hệ thống xử lý tín hiệu số, hệ thống nhúng thời gian thực và phần cứng AI chuyên dụng, có thể tham khảo cấu trúc SOCeNNs và mã nguồn thuật toán PySOCeNNs để tối ưu hóa các bộ tiền xử lý ảnh cục bộ trên phần cứng bị giới hạn tài nguyên tính toán.

Câu hỏi thường gặp

1. Mạng nơ ron tế bào bậc hai (SOCeNNs) có ưu điểm gì vượt trội so với mạng nơ ron tế bào chuẩn (CeNNs bậc nhất)?
Trả lời: Mạng nơ ron tế bào chuẩn chỉ chứa các tương tác tuyến tính bậc nhất, tạo ra các siêu phẳng phân lớp thẳng, đòi hỏi cấu trúc nhiều lớp nếu muốn bao bọc các vùng nhận dạng phức tạp. SOCeNNs bổ sung các số hạng tương tác bậc hai dạng đa thức cho tín hiệu đầu vào và phản hồi, cho phép một lớp mạng duy nhất có thể tạo ra đường phân cách phi tuyến dạng elip, nâng cao năng lực phân lớp và xử lý song song mà không cần tăng số tầng của mạng.

2. Tại sao luận án phải xây dựng thuật toán lai GASORPLA thay vì chỉ dùng riêng thuật toán SORPLA?
Trả lời: Thuật toán SORPLA dựa trên nguyên lý hạ gradient sai số, do đó tốc độ và chất lượng hội tụ phụ thuộc nhiều vào giá trị khởi tạo trọng số ban đầu và dễ bị rơi vào điểm cực tiểu cục bộ. Thuật toán lai GASORPLA sử dụng GA để tìm kiếm vùng tối ưu toàn cục trước, sau đó dùng SORPLA để tinh chỉnh cục bộ nhanh chóng, giúp đảm bảo tìm được bộ trọng số tối ưu toàn cục chính xác.

3. Tiêu chuẩn ổn định đầy đủ (Complete Stability) của mạng SOCeNNs trong luận án được chứng minh như thế nào?
Trả lời: Luận án xây dựng hàm năng lượng Lyapunov mở rộng $V(t)$ cho hệ động học SOCeNNs và chứng minh hàm này thỏa mãn hai điều kiện: (1) giá trị $|V(t)|$ luôn bị chặn trên bởi hằng số $V_{\max}$, và (2) đạo hàm theo thời gian $\frac{dV(t)}{dt} \le 0$. Khi đó, mọi biến trạng thái của mạng đều hội tụ về các điểm cân bằng ổn định.

4. Tác giả đã sử dụng những công cụ phần mềm và tập dữ liệu nào để kiểm chứng thuật toán?
Trả lời: Tác giả đã sử dụng phần mềm MATLAB để mô phỏng động học hệ phi tuyến, ngôn ngữ Python để phát triển chương trình PyCeNNs và PySOCeNNs. Dữ liệu thử nghiệm gồm bộ dữ liệu chuẩn quốc tế Berkeley BSDS500, tập ảnh BIPED cùng nhiều ảnh thực nghiệm đa dạng về kích thước và đối tượng (ảnh Lena, Núi Phú Sỹ, ảnh phong cảnh độ phân giải lên tới $6144 \times 8192$).

Kết luận

Luận án tiến sĩ của tác giả Dương Đức Anh đã giải quyết thành công bài toán phát triển các phương pháp học xác định đầy đủ bộ trọng số cho mạng nơ ron tế bào bậc hai (SOCeNNs). Tác giả đã chứng minh toán học chặt chẽ tính ổn định Lyapunov và tính hội tụ của luật học Perceptron hồi quy bậc hai (SORPLA), đồng thời đề xuất giải thuật lai GASORPLA kết hợp GA để tối ưu hóa toàn cục. Các kết quả thực nghiệm trên phần mềm PySOCeNNs và dữ liệu ảnh chuẩn đã khẳng định tính đúng đắn của các đóng góp lý thuyết và mở ra tiềm năng ứng dụng mạng nơ ron tế bào bậc hai trên các hệ thống phần cứng xử lý ảnh tốc độ cao.