Tổng quan luận án

Luận án tiến sĩ "Cải tiến quá trình học của một số mạng nơ-ron ghi nhớ" được tác giả Nông Thị Hoa thực hiện tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, dưới sự hướng dẫn khoa học của PGS. Bùi Thế Duy, chuyên ngành Khoa học máy tính, mã số 62.01 (năm 2015).

Quá trình học của mạng nơ-ron nhân tạo (ANN - Artificial Neural Network) đóng vai trò quyết định đến chất lượng xử lý thông tin thông qua việc cập nhật ma trận trọng số kết nối theo các luật học. Trong các lớp mạng nơ-ron nhân tạo, nhóm mạng nơ-ron ghi nhớ đảm nhiệm chức năng lưu trữ và phục hồi các mẫu hoàn chỉnh từ các mẫu đầu vào bị hỏng hóc hoặc chứa nhiễu. Ba mô hình lý thuyết được tác giả nghiên cứu gồm: Bộ nhớ liên kết hai chiều (BAM – Bidirectional Associative Memory), Bộ nhớ liên kết mờ (FAM – Fuzzy Associative Memory), và Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART – Fuzzy Adaptive Resonance Theory).

Theo trình bày của tác giả, quá trình học của các mô hình trên tồn tại hai khoảng trống nghiên cứu chính:

  1. Việc gắn trọng số cho các mẫu trong tập huấn luyện chưa đạt hiệu quả tối ưu: Đối với BAM học nhiều lần, hai cách thể hiện gồm gắn trọng số cho các cặp mẫu hoặc học lặp đi lặp lại còn thiếu công thức xác định cụ thể hoặc tốn nhiều thời gian điều chỉnh trọng số kết nối. Đối với Fuzzy ART, véc-tơ trọng số của các cụm được học để tiệm cận các mẫu vào, song một số mẫu huấn luyện chứa thông tin quan trọng có thể bị bỏ qua, không được lưu trữ lại.
  2. Luật học chưa học hiệu quả các mẫu huấn luyện: Một số mô hình FAM sử dụng tỷ lệ giá trị tương ứng của mẫu vào và mẫu ra để lưu trữ nên chưa quan tâm đúng mức đến nội dung của các mẫu; ngược lại, một số FAM khác chỉ lưu mẫu vào hoặc mẫu ra khiến việc lưu giữ sự liên kết của cặp mẫu bị suy giảm, dẫn đến khả năng xử lý kém khi gặp các mẫu phức tạp.

Mục tiêu nghiên cứu của luận án được cụ thể hóa thành ba nhiệm vụ:

  • Mục tiêu 1: Đề xuất cách xác định giá trị thích hợp cho trọng số của các cặp mẫu huấn luyện trong mô hình BAM.
  • Mục tiêu 2: Cải tiến luật học và tìm giá trị thích hợp cho tham số học (tốc độ học) của mô hình Fuzzy ART.
  • Mục tiêu 3: Cải tiến luật học để mô hình FAM học và lưu trữ hiệu quả đồng thời cả nội dung và sự liên kết giữa các cặp mẫu.

Đối tượng nghiên cứu là các thuật toán và luật học trong ba mô hình mạng nơ-ron ghi nhớ: BAM, Fuzzy ART và FAM. Phạm vi nghiên cứu tập trung vào việc cải tiến quá trình học tham số, kiểm chứng thực nghiệm thông qua các bài toán nhận dạng mẫu, phân lớp dữ liệu và phục hồi mẫu từ dữ liệu nhiễu trên các tập dữ liệu thực tế và chuẩn quốc tế.

Tổng quan tài liệu và vị trí của luận án

Trong luận án, tác giả đã hệ thống hóa các hướng nghiên cứu liên quan đến mạng nơ-ron ghi nhớ, cụ thể:

Đối với Bộ nhớ liên kết (AM) và Bộ nhớ liên kết hai chiều (BAM):

  • Mô hình bộ nhớ liên kết AM được Kohonen (1987) phát triển dưới dạng cấu trúc nội dung - địa chỉ.
  • Mạng Hopfield do Hopfield (1982) đề xuất là nền tảng cho mạng hồi quy một lớp, chứng minh sự hội tụ thông qua hàm năng lượng Lyapunov.
  • Kosko (1988) mở rộng mạng Hopfield thành BAM, cho phép liên kết và nhớ lại hai chiều giữa hai trường dữ liệu.
  • Nhóm mô hình BAM học một lần: Leung (1994), Zhuang và đồng nghiệp (1992), Xu và He (1994), Eom và đồng nghiệp (2002, 2004) điều chỉnh khoảng cách Hamming; Acevedo-Mosqueda và đồng nghiệp (2006) đề xuất Alpha-Beta BAM; Vázquez và đồng nghiệp (2010) mở rộng mô hình liên kết động. Các mô hình này có tốc độ học nhanh nhưng khả năng chịu nhiễu thấp và chủ yếu áp dụng cho cặp mẫu trực giao.
  • Nhóm mô hình BAM học nhiều lần: Y.F. Wang, Cruz và Mulligan (1990, 1991) đưa ra điều kiện cho ma trận tương quan và số lần tối thiểu cần huấn luyện một cặp mẫu (MNTP - The Minimum Number of Times for training pairs of Patterns); T. Wang và Zhuang (1993) đề xuất thuật toán học có trọng số dựa trên cực tiểu cục bộ; Shi và đồng nghiệp (1998) dùng hàm hỗ trợ; Shen và Cruz (2005) dùng giải thuật di truyền tối ưu hóa tập chịu nhiễu cực đại; Chartier và Boukadoum (2006, 2011) giới thiệu BAM học theo thời gian tránh hiện tượng học quá (overlearning). Nhóm này có khả năng chịu nhiễu tốt nhưng độ phức tạp tính toán cao.

Đối với Lý thuyết cộng hưởng thích nghi (ART) và Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART):

  • Grossberg (1976), Carpenter và Grossberg (1987, 1991) phát triển họ mô hình ART (ART 1, ART 2, ART 3, ARTMAP) nhằm giải quyết bài toán ổn định - thay đổi (stability-plasticity dilemma).
  • Carpenter và đồng nghiệp (1991) mở rộng ART 1 thành Fuzzy ART, xử lý được cả tín hiệu tương tự lẫn nhị phân thông qua phép giao mờ.
  • Moore (1989) đề xuất kỹ thuật mã hóa đầy đủ (complement coding) nhằm chuẩn hóa dữ liệu vào và hạn chế hiện tượng sinh cụm mới mất kiểm soát.
  • Các nghiên cứu của Huang et al., He et al. tiếp tục khảo sát tham số chọn, tham số ngón/ngưỡng cảnh giác và tốc độ học của Fuzzy ART.

Đối với Bộ nhớ liên kết mờ (FAM):

  • Kosko (1992) đề xuất Max-min FAM và Max-product FAM.
  • Pedrycz (1992) hệ thống hóa các dạng nơ-ron mờ tổng quát: nơ-ron Max-C, nơ-ron Min-I, và nơ-ron Min-D.
  • Chung và Lee (1994) mở rộng thành mô hình FAM tổng quát dựa trên t-norm.
  • Các biến thể khác được khảo sát gồm mô hình của Junbo, Xiao, Sussner và Valle, IFAM (Implicative Fuzzy Associative Memory) và MAM (Morphological Associative Memories).

Vị trí của luận án: Luận án chọn giải quyết khoảng trống dung hòa giữa tốc độ tính toán và khả năng chịu nhiễu của BAM khi xử lý các cặp mẫu không trực giao; khắc phục tình trạng bỏ sót thông tin mẫu của Fuzzy ART thông qua cải tiến luật học và tối ưu tốc độ học; đồng thời giải quyết mâu thuẫn giữa việc lưu trữ nội dung mẫu và lưu trữ sự liên kết cặp mẫu trong FAM.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án sử dụng các nền tảng lý thuyết và công cụ phân tích toán học sau:

  • Mô hình tính toán nơ-ron: Mô hình nơ-ron McCulloch và Pitts (1943); các hàm tổng hợp thông tin vào (dạng tuyến tính, dạng toàn phương, dạng mặt cầu); các hàm kích hoạt (hàm McCulloch-Pitts, hàm McCulloch-Pitts trễ, hàm Sigmoid); các luật học tham số (luật Hebb, luật Delta giảm gradient, luật Boltzmann, luật cạnh tranh, luật học Perceptron của Rosenblatt).
  • Logic mờ (Fuzzy Logic): Định nghĩa tập mờ theo Zadeh (1965); các chuẩn tam giác t-norm ($C_M$ - phép min, $C_P$ - tích đại số, $C_L$ - Lukasiewicz); các đối chuẩn tam giác s-norm ($S_M$ - phép max, $S_P$ - tổng xác suất, $S_L$ - tổng giới hạn Lukasiewicz); các phép suy diễn/gợi ý mờ.
  • Toán học hình thái (Morphological Mathematics): Lý thuyết toán học hình thái trên cấu trúc lưới đầy đủ (complete lattice) theo Serra (1982); các thao tác cơ bản gồm phép co rút (erosion) và phép giãn nở (dilation).
  • Lý thuyết ổn định Lyapunov: Áp dụng cho mạng Hopfield và mô hình BAM để chứng minh tính hội tụ không điều kiện và xác định trạng thái cực tiểu cục bộ của hàm năng lượng.

Phương pháp nghiên cứu thực tế:

  • Phương pháp mô hình hóa toán học và tối ưu thuật toán: Xây dựng các công thức cập nhật trọng số mới, phân tích mối quan hệ giữa hàm năng lượng và các tham số mô hình, thiết lập các định lý và hệ quả toán học về khả năng phục hồi hoàn hảo của bộ nhớ.
  • Phương pháp thực nghiệm mô phỏng trên máy tính:
    • Thiết kế thuật toán học nhanh FFBAM (Fast Flexible BAM) dựa trên MNTP.
    • Thiết kế mô hình EFART với hai luật học cải tiến và thuật toán tìm tham số tốc độ học $\beta$.
    • Thiết kế mô hình ACAM (Association-Content Associative Memory) kết hợp lưu trữ nội dung và sự liên kết.
  • Nguồn tư liệu và dữ liệu thực nghiệm:
    • Dữ liệu nhận dạng mẫu cho BAM: Ảnh vân tay, ảnh chữ viết tay, biển hiệu giao thông, đồng tiền xu của Mỹ, phương tiện giao thông.
    • Dữ liệu chuẩn quốc tế (benchmark) cho Fuzzy ART: 14 bộ dữ liệu gồm Iris, Spiral, Flame, Balance-Scale, R15, Glass, Wine, Jain, Aggregation, WDBC, D31, Wine-White, Monk, Wine-Red.
    • Dữ liệu cho FAM: Tập dữ liệu các chữ số và tập ảnh màu chuẩn Corel chịu tác động của nhiễu muối tiêu (salt and pepper noise).
  • Thước đo chất lượng phân cụm và phục hồi: Chỉ số Davies–Bouldin index (giá trị càng nhỏ chất lượng càng cao), chỉ số Dunn index (giá trị càng lớn chất lượng càng cao), tỷ lệ phân lớp đúng (phần trăm), và sai số phục hồi mẫu.

Nội dung chính theo từng chương

Chương 1: Mạng nơ-ron nhân tạo

Chương này tổng kết cơ sở lý thuyết về mạng nơ-ron nhân tạo (ANN), bao gồm cấu tạo nơ-ron sinh học (thân tế bào, khớp thần kinh, hình cây, sợi trục) và mô hình nơ-ron nhân tạo của McCulloch - Pitts.

Tác giả trình bày các công thức tổng hợp thông tin đầu vào:

  • Tuyến tính: $I = \sum_{i=1}^{n} w_i x_i$
  • Toàn phương: $I = \sum_{i=1}^{n} w_i x_i^2$
  • Mặt cầu: $I = \rho^2 - \sum_{i=1}^{n} (x_i - w_i)^2$ (với $\rho$ là bán kính)

Các hàm kích hoạt gồm: hàm McCulloch-Pitts ngưỡng $\theta$, hàm McCulloch-Pitts trễ với hai ngưỡng UTP và LTP, hàm Sigmoid với tham số độ nghiêng $\lambda$.

Về kiến trúc mạng, chương 1 phân loại theo truyền tín hiệu (mạng truyền thẳng một lớp, nhiều lớp; mạng lan truyền ngược gồm mạng cạnh tranh, SOM của Kohonen, mạng Hopfield, mạng ART) và theo phương thức học (học có giám sát, học không giám sát, học lai, học tăng cường). Chương phân tích các luật học cơ bản: học tham số (dạng chung $\Delta w_{ij} = r \cdot \eta \cdot x_j$, luật Delta, Hebb, LVQ) và học cấu trúc (giải thuật di truyền, kỹ thuật gọt tỉa mạng). Cuối cùng, chương tổng hợp 4 lớp bài toán ứng dụng của ANN: phân lớp, mô hình hóa, biến đổi không gian dữ liệu, liên kết và kỹ thuật dịch chuyển cửa sổ.

Chương 2: Một số mạng nơ-ron ghi nhớ

Chương 2 trình bày chi tiết các công cụ toán học và cấu trúc của các mô hình mạng nơ-ron ghi nhớ làm nền tảng cho các đề xuất cải tiến:

  1. Logic mờ và toán học hình thái: Trình bày định nghĩa hàm thuộc $\mu_A(x)$, các toán tử t-norm ($C_M, C_P, C_L$), s-norm ($S_M, S_P, S_L$), các phép gợi ý mờ; cấu trúc lưới đầy đủ và hai phép toán co rút, giãn nở.
  2. Mô hình AM và BAM: AM là bộ nhớ nội dung - địa chỉ ánh xạ mẫu vào sang mẫu ra, gồm hai dạng: tự liên kết và liên kết khác loại. Phân tích mạng Hopfield rời rạc và liên tục, chứng minh năng lượng $E$ không tăng theo thời gian khi ma trận đối xứng $W_{ij} = W_{ji}$ và $W_{ii} = 0$. Trình bày mô hình BAM của Kosko gồm hai trường nơ-ron $A$ và $B$, tính toán ma trận trọng số $W_k = A_k^T B_k$ và ma trận chung $W = \sum W_k$, quá trình nhớ lại lặp hai chiều giữa hai trường $A$ và $B$ đến khi hội tụ tại cặp trạng thái $(X_f, Y_f)$, cùng chiến lược học nhiều lần qua thông số MNTP $q_k$.
  3. Mô hình FAM: Phân tích ba loại nơ-ron mờ của Pedrycz: nơ-ron Max-C ($y = \bigvee_{i=1}^n C(x_i, w_i)$), nơ-ron Min-I ($y = \bigwedge_{i=1}^n I(w_i, x_i)$), và nơ-ron Min-D ($y = \bigwedge_{i=1}^n D(x_i, w_i)$); các mô hình Max-min FAM, Max-product FAM của Kosko và FAM tổng quát của Chung - Lee.
  4. Mô hình ART và Fuzzy ART: Cấu trúc mạng ART hai tầng ($F_1, F_2$) chịu sự điều khiển của hệ thống chú ý và hệ thống định hướng; ba bước hoạt động: chọn cụm chiến thắng qua hàm chọn $T_j$, kiểm tra điều kiện cộng hưởng qua tham số cảnh giác $\rho$, và cập nhật trọng số. Fuzzy ART thay thế toán tử logic AND bằng phép giao mờ $\wedge$, bổ sung tham số tốc độ học $\beta \in [0, 1]$. Kỹ thuật mã hóa đầy đủ biểu diễn mẫu đầu vào dưới dạng $I = (a, a^c)$ với $a^c = 1 - a$ để giữ độ dài $|I| = M$, tránh phân rã cụm. Giới thiệu hai chỉ số đánh giá phân cụm: Davies-Bouldin index và Dunn index.

Chương 3: Thuật toán học cải tiến cho bộ nhớ liên kết hai chiều

Chương 3 tập trung giải quyết bài toán cân bằng giữa tốc độ học và khả năng chịu nhiễu của mô hình BAM khi lưu trữ các cặp mẫu không trực giao.

Các nghiên cứu liên quan được phân tích:

  • Mô hình của Y.F. Wang, Cruz và Mulligan tính trọng số theo MNTP: $$W = \sum_{i=1}^p q_i A_i^T B_i \quad \text{với } q_i = \max(q_i^a, q_i^b)$$ trong đó $q_i^a, q_i^b$ phụ thuộc vào độ lệch năng lượng lớn nhất giữa cặp mẫu $i$ và các cặp mẫu khác trong vùng $A$ và vùng $B$.
  • Mô hình của T. Wang và Zhuang thực hiện cập nhật ma trận trọng số lặp: $$W(t+1) = W(t) + \Delta W(t)$$ với số gia trọng số tính từ sự sai lệch giữa trạng thái thực và trạng thái mong muốn qua nhiều chu kỳ lặp.
  • Mô hình của Zhuang, Huang và Chen cập nhật trọng số theo điều kiện ổn định Hamming của các vùng hấp dẫn.

Lý do đề xuất và nội dung thuật toán FFBAM: Các mô hình học nhiều lần trước đây đạt khả năng nhớ lại cao nhưng tốn thời gian lặp lớn và chủ yếu tối ưu cho các cặp véc-tơ trực giao. Tác giả đề xuất mô hình FFBAM (Fast Flexible Bidirectional Associative Memory) kết hợp chiến lược xác định giá trị tối thiểu MNTP thích hợp để vừa rút ngắn số lần lặp, vừa đảm bảo tính ổn định tại cực tiểu cục bộ của hàm năng lượng cho các cặp mẫu không trực giao.

Kết quả thực nghiệm của Chương 3: Tác giả thử nghiệm mô hình trên 5 bài toán nhận dạng mẫu: nhận dạng vân tay (Fingerprint), chữ viết tay (Handwritten), biển hiệu giao thông, tiền xu Mỹ và phương tiện giao thông. Kết quả đối sánh thời gian học và tỷ lệ nhớ lại chính xác giữa FFBAM và các mô hình BAM khác được tổng hợp trong các Bảng 3.1 đến Bảng 3.5 của luận án:

Bảng dữ liệu Bài toán thử nghiệm Nội dung đối sánh thực nghiệm
Bảng 3.1 Nhận dạng vân tay So sánh thời gian học và kết quả nhớ lại các mẫu vân tay
Bảng 3.2 Nhận dạng chữ viết tay So sánh thời gian học và tỷ lệ phục hồi các mẫu chữ viết tay
Bảng 3.3 Biển hiệu giao thông Đánh giá khả năng nhớ lại từ ảnh biển hiệu giao thông bị nhiễu
Bảng 3.4 Tiền xu của Mỹ Đánh giá khả năng phân biệt và nhớ lại các đồng tiền xu
Bảng 3.5 Phương tiện giao thông Đánh giá khả năng nhớ lại các mẫu phương tiện giao thông

Kết quả thực nghiệm cho thấy FFBAM giảm đáng kể thời gian học so với các mô hình BAM học nhiều lần truyền thống nhưng vẫn bảo toàn khả năng phục hồi mẫu từ đầu vào có độ nhiễu cao.

Chương 4: Hai luật học cải tiến cho lý thuyết cộng hưởng thích nghi mờ

Chương 4 đề xuất các giải pháp nâng cao hiệu quả phân cụm của mạng Fuzzy ART, giải quyết hiện tượng véc-tơ trọng số cụm bị biến dạng và việc bỏ qua các mẫu huấn luyện quan trọng.

Nội dung cải tiến:

  • Đề xuất hai luật học mới cho mô hình EFART (Fuzzy ART cải tiến). Luật học mới điều chỉnh sự dịch chuyển của véc-tơ trọng số cụm $W_J$ để duy trì kích thước hộp siêu không gian đại diện cho cụm, hạn chế tình trạng thu nhỏ cụm quá mức khi tiếp nhận các mẫu biên.
  • Xây dựng Thuật toán 4.1: Thủ tục tự động tìm kiếm giá trị thích hợp cho tham số tốc độ học $\beta$ của Fuzzy ART dựa trên sự phân bố của tập dữ liệu vào, loại bỏ việc lựa chọn tham số mang tính thử nghiệm cảm tính.

Kết quả thực nghiệm của Chương 4: Được tiến hành qua hai đợt thử nghiệm lớn trên 14 tập dữ liệu chuẩn:

  • Thử nghiệm 1 (Sử dụng luật học thứ nhất): Thử nghiệm trên 9 bộ dữ liệu gồm Iris, Spiral, Flame, Balance-Scale, R15, Glass, Wine, Jain, Aggregation (đặc trưng dữ liệu tại Bảng 4.1). Kết quả phân lớp đúng được chi tiết hóa từ Bảng 4.2 đến Bảng 4.10. Bảng 4.11 tổng hợp mức độ cải thiện khả năng phân lớp của EFART so với mô hình tốt thứ hai trên các bộ dữ liệu này.
  • Thử nghiệm 2 (Sử dụng luật học thứ hai và tối ưu tham số $\beta$): Thử nghiệm trên 7 bộ dữ liệu gồm WDBC, D31, Wine-White, Balance-Scale, R15, Monk, Wine-Red (đặc trưng dữ liệu tại Bảng 4.12). Kết quả phân lớp đúng được chi tiết hóa từ Bảng 4.13 đến Bảng 4.19. Bảng 4.20 tổng hợp sự cải thiện độ chính xác phân lớp của EFART so với mô hình xếp thứ hai.

Các bảng tổng hợp cho thấy mô hình EFART với luật học cải tiến và tham số $\beta$ tối ưu đạt chỉ số phân lớp đúng cao hơn và chỉ số Davies-Bouldin thấp hơn rõ rệt so với Fuzzy ART gốc.

Chương 5: Luật học cải tiến cho bộ nhớ liên kết mờ

Chương 5 giải quyết hạn chế của các mạng FAM truyền thống: việc chỉ tối ưu tỷ lệ giá trị giữa mẫu vào - ra hoặc chỉ tối ưu lưu trữ đơn lẻ từng mẫu khiến khả năng nhớ lại các mẫu phức tạp bị suy giảm.

Nội dung cải tiến:

  • Tác giả đề xuất mô hình ACAM (Association-Content Associative Memory). Luật học cải tiến của ACAM đồng thời ghi nhớ cấu trúc nội dung của từng mẫu thành phần và mối quan hệ liên kết tương quan giữa cặp mẫu $(A_k, B_k)$.
  • Thiết lập và chứng minh Định lý 5.1 cùng các hệ quả toán học, xác lập các điều kiện đủ để mô hình ACAM đảm bảo khả năng nhớ lại hoàn hảo (perfect recall) các cặp mẫu đã học.

Kết quả thực nghiệm của Chương 5: Thực nghiệm kiểm chứng năng lực phục hồi mẫu của ACAM ở cả hai chế độ: bộ nhớ tự liên kết (autoassociative) và bộ nhớ liên kết khác loại (heteroassociative), đối sánh trực tiếp với 4 mô hình: Kosko FAM, Junbo et al., Xiao et al., Sussner và Valle.

Bảng thực nghiệm Tập dữ liệu Chế độ bộ nhớ Đối tượng và điều kiện thử nghiệm
Bảng 5.1 Tập dữ liệu con số Tự liên kết Mẫu vào bị biến đổi nhiễu; phục hồi về số gốc
Bảng 5.2 Tập dữ liệu con số Liên kết khác loại Mẫu vào bị nhiễu; ánh xạ sang nhãn/mẫu ra tương ứng
Bảng 5.3 Tập dữ liệu Corel Tự liên kết Ảnh tự nhiên bị tác động bởi nhiễu muối tiêu
Bảng 5.4 Tập dữ liệu Corel Liên kết khác loại Phục hồi ảnh cặp tương ứng dưới tác động nhiễu muối tiêu

Hình 5.1 đến Hình 5.5 trong luận án minh họa trực quan kết quả phục hồi: mô hình ACAM loại bỏ hiệu quả các điểm nhiễu muối tiêu phức tạp, tái tạo rõ nét cấu trúc ảnh và vượt trội hơn các mô hình của Kosko, Junbo, Xiao, Sussner và Valle về độ nguyên vẹn của ảnh phục hồi.

Kết quả và những đóng góp mới

Luận án tự xác định các đóng góp mới về lý luận và thực tiễn:

  1. Về mặt lý luận:

    • Đề xuất thuật toán xác định trọng số cho các cặp mẫu trong mô hình BAM học nhiều lần thông qua giá trị MNTP, hình thành mô hình FFBAM có khả năng xử lý các mẫu không trực giao.
    • Xây dựng hai luật học mới cho mô hình Fuzzy ART (hình thành mô hình EFART) và thiết lập thuật toán tìm kiếm tham số tốc độ học $\beta$ tự động.
    • Đề xuất luật học mới cho bộ nhớ liên kết mờ, xây dựng mô hình ACAM tích hợp lưu trữ cả nội dung và liên kết; chứng minh Định lý 5.1 về điều kiện nhớ lại hoàn hảo.

  2. Về mặt thực tiễn:

    • Giảm thiểu thời gian tính toán của quá trình học trong BAM, đáp ứng tốt hơn yêu cầu của các hệ thống xử lý thời gian thực.
    • Nâng cao độ chính xác phân cụm và phân lớp trên 14 bộ dữ liệu chuẩn quốc tế đối với Fuzzy ART.
    • Tăng cường khả năng phục hồi dữ liệu hình ảnh bị suy giảm chất lượng hoặc chứa nhiễu muối tiêu phức tạp đối với FAM.

  3. Công bố khoa học liên quan đến luận án: Các kết quả nghiên cứu đã được công bố trong 11 công trình khoa học gồm:

    • 02 bài báo trên các tạp chí quốc tế thuộc danh mục ISI (các tài liệu [18, 27]).
    • 07 báo cáo khoa học trong kỷ yếu hội nghị quốc tế có phản biện, trong đó có 06 báo cáo do IEEE và Springer xuất bản (các tài liệu [4, 5, 28, 29, 30, 31, 33]).
    • 02 bài báo đăng trên các tạp chí khoa học chuyên ngành trong nước (các tài liệu [32, 34]).

Kiến nghị và giải pháp đề xuất: Tác giả đề xuất ứng dụng các thuật toán FFBAM, EFART và ACAM vào các bài toán nhận dạng sinh trắc học (vân tay), nhận dạng ký tự viết tay, phân loại tài liệu đa thuộc tính và tiền xử lý phục hồi tín hiệu ảnh số bị nhiễu trong thị giác máy tính.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ vào nội dung và phạm vi nghiên cứu được tác giả trình bày trong luận án:

  • Hạn chế:
    • Các cải tiến mới chỉ tập trung vào 3 mô hình bộ nhớ liên kết cụ thể là BAM, Fuzzy ART và FAM, chưa mở rộng sang các kiến trúc mạng hồi quy sâu hoặc mạng nơ-ron tích chập.
    • Các thử nghiệm thực tế đối với BAM và FAM chủ yếu thực hiện trên dữ liệu ảnh nhị phân và ảnh đa mức xám/ảnh màu có kích thước cố định; các dạng nhiễu được kiểm tra tập trung vào nhiễu biến đổi bit và nhiễu muối tiêu.
    • Tham số của một số luật học vẫn đòi hỏi việc tiền xử lý dữ liệu chuẩn hóa về khoảng $[0, 1]$ hoặc mã hóa lưỡng cực $[-1, 1]$.
  • Hướng nghiên cứu tiếp:
    • Nghiên cứu mở rộng cơ chế xác định MNTP tự động cho các lớp mạng bộ nhớ liên kết nhiều chiều hơn.
    • Tích hợp mô hình EFART vào các kiến trúc mạng học sâu đóng vai trò tầng phân cụm tự tổ chức.
    • Nghiên cứu ứng dụng mô hình ACAM cho các dạng dữ liệu chuỗi thời gian và dữ liệu phi cấu trúc phức tạp.

Giá trị tham khảo

Nội dung luận án có giá trị tham khảo chuyên môn đối với các nhóm đối tượng:

  • Nghiên cứu sinh và học viên cao học ngành Khoa học máy tính, Công nghệ thông tin: Tham khảo phương pháp tiếp cận toán học trong chứng minh tính hội tụ của mạng nơ-ron (chứng minh Lyapunov trong mạng Hopfield, BAM ở Chương 2 và chứng minh Định lý 5.1 ở Chương 5).
  • Giảng viên giảng dạy các học phần Mạng nơ-ron, Trí tuệ nhân tạo và Tính toán mềm: Sử dụng Chương 1 và Chương 2 như tài liệu hệ thống hóa toàn diện về cơ sở toán học của logic mờ, toán học hình thái, các luật học tham số và cấu trúc họ mạng ART/Fuzzy ART.
  • Kỹ sư phát triển hệ thống thị giác máy tính và nhận dạng mẫu: Tham khảo thuật toán FFBAM (Chương 3) để tối ưu thời gian huấn luyện nhận dạng mẫu sinh trắc học, và mô hình ACAM (Chương 5) cho các giải pháp lọc nhiễu, phục hồi ảnh bị suy giảm chất lượng.

Câu hỏi thường gặp

1. Khái niệm MNTP trong mô hình BAM có ý nghĩa gì và đóng vai trò như thế nào?
MNTP (The Minimum Number of Times for training pairs of Patterns - $q_k$) là số lần tối thiểu cần sử dụng cặp mẫu $(A_k, B_k)$ trong quá trình huấn luyện để đảm bảo mô hình BAM ghi nhớ và nhớ lại chính xác cặp mẫu đó. MNTP được tính toán dựa trên mức độ chênh lệch năng lượng lớn nhất giữa cặp mẫu khảo sát với các cặp mẫu còn lại trong bộ nhớ, giúp hàm năng lượng đạt cực tiểu cục bộ tại trạng thái tương ứng với cặp mẫu.

2. Mô hình FFBAM ở Chương 3 đã khắc phục hạn chế nào của các mô hình BAM trước đó?
Các mô hình BAM học nhiều lần trước đây (như của Wang - Cruz - Mulligan, Wang - Zhuang, Zhuang - Huang - Chen) có độ phức tạp tính toán rất cao do phải lặp lại việc chỉnh trọng số nhiều lần và chỉ hoạt động tốt với các cặp mẫu trực giao. FFBAM (Fast Flexible BAM) sử dụng thuật toán xác định MNTP tối ưu, giúp rút ngắn thời gian học nhưng vẫn đảm bảo khả năng nhớ lại chính xác các cặp mẫu được biểu diễn bằng véc-tơ không trực giao.

3. Vì sao mô hình Fuzzy ART truyền thống cần kỹ thuật mã hóa đầy đủ (complement coding)?
Kỹ thuật mã hóa đầy đủ chuẩn hóa mẫu đầu vào $a$ thành $I = (a, a^c)$ với $a^c = 1 - a$. Kỹ thuật này giúp cố định chuẩn của véc-tơ đầu vào $|I| = M$ (với $M$ là số chiều), từ đó tránh được hiện tượng "sinh cụm mới mất kiểm soát" (cluster proliferation) xảy ra khi biên độ của các véc-tơ đầu vào có sự chênh lệch lớn.

4. Mô hình EFART ở Chương 4 có những cải tiến kỹ thuật cụ thể nào?
EFART đưa ra hai luật học mới giúp kiểm soát kích thước hình học của cụm trong không gian mờ, ngăn chặn sự thu hẹp quá mức của véc-tơ trọng số cụm khi tiếp nhận các mẫu biên. Đồng thời, mô hình tích hợp Thuật toán 4.1 để tự động xác định tham số tốc độ học $\beta$ tối ưu theo phân bố dữ liệu, loại bỏ việc gán giá trị thực nghiệm thủ công.

5. Điểm khác biệt cốt lõi giữa luật học của ACAM (Chương 5) so với các mô hình FAM trước đây là gì?
Các FAM trước đây của Kosko hoặc Chung - Lee thường chỉ lưu giữ tỷ lệ giá trị tương ứng giữa mẫu vào và mẫu ra (bỏ qua nội dung chi tiết của mẫu) hoặc chỉ tập trung lưu trữ mẫu đơn lẻ (làm giảm liên kết giữa cặp mẫu). ACAM (Association-Content Associative Memory) đề xuất luật học lưu trữ đồng thời cả nội dung cấu trúc của từng mẫu và mối quan hệ liên kết của cặp mẫu, đảm bảo khả năng phục hồi hoàn hảo theo Định lý 5.1 ngay cả khi mẫu vào bị nhiễu muối tiêu nghiêm trọng.

Kết luận

Luận án "Cải tiến quá trình học của một số mạng nơ-ron ghi nhớ" của tác giả Nông Thị Hoa đã giải quyết các hạn chế tồn tại trong quá trình huấn luyện của ba mô hình mạng nơ-ron ghi nhớ tiêu biểu gồm BAM, Fuzzy ART và FAM. Bằng việc xây dựng các mô hình cải tiến FFBAM, EFART và ACAM, công trình đã tối ưu hóa thời gian tính toán, nâng cao độ chính xác phân cụm và tăng cường khả năng chịu nhiễu đối với các cặp mẫu phức tạp. Các kết quả nghiên cứu được chứng minh chặt chẽ qua các định lý toán học và kiểm chứng thực nghiệm trên 14 bộ dữ liệu chuẩn cùng nhiều tập dữ liệu nhận dạng ảnh thực tế.