Tổng quan luận án
Luận án tiến sĩ chuyên ngành Khoa học máy tính (mã số 62.01) của nghiên cứu sinh Nông Thị Hoa, với đề tài "Cải tiến quá trình học của một số mạng nơ-ron ghi nhớ", được thực hiện tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội dưới sự hướng dẫn khoa học của PGS. Bùi Thế Duy (năm 2015). Công trình tập trung giải quyết các hạn chế cốt lõi trong cơ chế huấn luyện của ba mô hình mạng nơ-ron nhân tạo (ANN) thuộc nhóm bộ nhớ liên kết: Bộ nhớ liên kết hai chiều (BAM), Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART) và Bộ nhớ liên kết mờ (FAM).
Tính cấp thiết và khoảng trống nghiên cứu
Mạng nơ-ron nhân tạo (Artificial Neural Network – ANN) gồm hai quá trình chính: quá trình học (huấn luyện và lưu trữ thông tin mẫu) và quá trình xử lý (sử dụng thông tin đã học để tạo tín hiệu ra từ tín hiệu vào mới). Thông tin học được lưu trữ trong ma trận trọng số kết nối giữa các nơ-ron thông qua các luật học. Trong nhóm các mạng ANN thực hiện chức năng ghi nhớ (nhớ lại các mẫu hoàn chỉnh từ các mẫu vào bị hỏng hóc hoặc chứa nhiễu), ba mô hình điển hình là BAM, Fuzzy ART và FAM đóng vai trò quan trọng trong các bài toán nhận dạng và phân lớp.
Tuy nhiên, quá trình học của các mô hình này bộc lộ những khoảng trống nghiên cứu cụ thể:
- Đối với BAM học nhiều lần: Việc xác định trọng số cho các cặp mẫu huấn luyện chưa được cụ thể hóa, hoặc phải tốn nhiều thời gian lặp đi lặp lại để điều chỉnh trọng số kết nối. Khả năng nhớ lại đối với các cặp mẫu biểu diễn bằng véc-tơ không trực giao còn hạn chế.
- Đối với Fuzzy ART: Véc-tơ trọng số của các cụm được cập nhật để gần với mẫu vào, nhưng cơ chế học hiện thời có thể bỏ sót một số mẫu huấn luyện quan trọng chứa thông tin đặc trưng, đồng thời việc lựa chọn tham số tốc độ học $\beta$ chưa có quy trình tối ưu.
- Đối với FAM: Các luật học hiện hành chưa tối ưu hóa việc lưu trữ đồng thời nội dung và sự liên kết. Một số mô hình chỉ dựa vào tỷ lệ giá trị tương ứng giữa mẫu vào và mẫu ra nên bỏ qua nội dung mẫu; ngược lại, một số mô hình chỉ lưu nội dung mẫu vào hoặc mẫu ra đơn lẻ làm suy giảm tính liên kết của cặp mẫu.
Mục tiêu và nhiệm vụ nghiên cứu
Mục tiêu tổng quát của luận án là cải tiến quá trình học nhằm nâng cao chất lượng xử lý, rút ngắn thời gian tính toán và tăng cường khả năng phục hồi mẫu từ dữ liệu nhiễu của ba mô hình BAM, Fuzzy ART và FAM.
Luận án tập trung thực hiện ba nhiệm vụ nghiên cứu chính (được đánh số theo văn bản):
- Đề xuất cách xác định giá trị thích hợp cho trọng số của các cặp mẫu huấn luyện của BAM (thông qua số lần tối thiểu cần huấn luyện một cặp mẫu – MNTP).
- Cải tiến luật học và xây dựng thủ tục tìm giá trị thích hợp cho tham số tốc độ học của Fuzzy ART.
- Cải tiến luật học để FAM học và lưu trữ hiệu quả đồng thời cả nội dung và sự liên kết giữa các cặp mẫu.
Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu: Các mô hình mạng nơ-ron ghi nhớ, cụ thể là Bộ nhớ liên kết hai chiều (BAM), Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART), Bộ nhớ liên kết mờ (FAM), cùng các cơ chế cập nhật trọng số và hàm năng lượng liên quan.
- Phạm vi nghiên cứu:
- Phạm vi nội dung: Cải tiến thuật toán học, luật học và tham số mô hình; không thay đổi cấu trúc phần cứng nơ-ron cơ bản.
- Phạm vi thực nghiệm: Đánh giá hiệu năng thông qua các bài toán nhận dạng mẫu (ảnh vân tay, chữ viết tay, biển hiệu giao thông, tiền xu Mỹ, phương tiện giao thông, tập số, tập ảnh Corel) và bài toán phân cụm/phân lớp trên 14 tập dữ liệu thực nghiệm chuẩn quốc tế.
Tổng quan tài liệu và vị trí của luận án
Tác giả đã hệ thống hóa các công trình nghiên cứu trong nước và quốc tế liên quan đến ba nhánh mô hình:
[Tổng quan tài liệu]
Các hướng nghiên cứu trước đây
-
Nghiên cứu về Bộ nhớ liên kết hai chiều (BAM):
- Kosko [45] đề xuất mô hình BAM cơ bản dựa trên mạng Hopfield, chứng minh mạng hội tụ không điều kiện khi hàm năng lượng đạt cực tiểu cục bộ.
- Y.F. Wang, Cruz và Mulligan [68, 69, 70] đưa ra điều kiện về trọng số của ma trận tương quan tổng quát và đề xuất khái niệm số lần lặp tối thiểu để học một cặp mẫu (MNTP – The Minimum Number of Times for training pairs of Patterns).
- Zhuang, Huang và Chen [76] phát triển luật học dựa trên ba điều kiện tối ưu về sự ổn định của vùng hấp dẫn, đưa ra khái niệm ổn định Hamming và áp dụng luật học Perceptron của Rosenblatt [53].
- Xu và He [72] thiết kế BAM với các kết nối không đối xứng bên trong, hỗ trợ lưu trữ các cặp mẫu không trực giao.
- T. Wang và Zhuang [66, 67] xây dựng thuật toán học có trọng số dựa trên giá trị trung bình của các cực tiểu cục bộ nhằm tối ưu hóa vùng hấp dẫn.
- Leung [46] đề xuất luật học mới cải thiện khả năng lưu trữ và sửa lỗi so với mô hình của Kosko.
- Shi và đồng nghiệp [57] đưa ra mô hình sử dụng hàm hỗ trợ đo mức độ tương tác giữa các trạng thái mà không cần trọng số kết nối bên trong.
- Eom và đồng nghiệp [19, 20] điều chỉnh khoảng cách Hamming trong quá trình nhớ lại của BAM không đối xứng.
- Shen và Cruz [54] áp dụng giải thuật di truyền để tối ưu hóa hàm năng lượng và xác định tập chịu nhiễu cực đại.
- Acevedo-Mosqueda và đồng nghiệp [2] phát triển Alpha-Beta BAM ứng dụng trong dịch thuật Anh – Tây Ban Nha.
- Vázquez và đồng nghiệp [64] phát triển BAM dựa trên mô hình liên kết động, chỉ lưu liên kết theo chiều xuôi nhưng cho phép nhớ lại hai chiều.
- Chartier và Boukadoum [10, 11] xây dựng luật học theo thời gian kết hợp hàm đầu ra phi tuyến tính, cho phép học trực tuyến mà không bị hiện tượng học quá (overlearning).
-
Nghiên cứu về ART và Fuzzy ART:
- Grossberg [24, 25] phát triển Lý thuyết cộng hưởng thích nghi (ART) với các biến thể ART 1, ART 2, ART 3 và ARTMAP nhằm giải quyết vấn đề ổn định – thay đổi (stability-plasticity dilemma).
- Carpenter, Grossberg và đồng nghiệp [8, 9, 38, 41, 61, 73] phát triển Fuzzy ART kết hợp các phép toán logic mờ (phép giao $\wedge$), sử dụng ba tham số: tham số chọn $\alpha$, tham số tốc độ học $\beta$ và tham số ngưỡng cảnh giác $\rho$.
- Moore [49] đề xuất kỹ thuật mã hóa đầy đủ (complement coding) biểu diễn thông tin thực và thông tin bù ($a^c = 1 - a$) để ngăn chặn sự suy giảm kích thước cụm và tránh bùng nổ số lượng cụm mới.
-
Nghiên cứu về Bộ nhớ liên kết mờ (FAM):
- Kosko [43, 44] đề xuất hai mô hình FAM đầu tiên: Max-min FAM (sử dụng nơ-ron Max-CM) và Max-product FAM (sử dụng nơ-ron Max-CP).
- Chung và Lee [12] phát triển mô hình FAM tổng quát dựa trên nơ-ron Max-C với các phép nối mờ tổng quát.
- Pedrycz [50] chuẩn hóa các lớp nơ-ron mờ tổng quát gồm Max-C, Min-I và Min-D.
- Các công trình của Junbo, Xiao, Sussner và Valle [14, 40, 58, 65, 71] nghiên cứu các biến thể như IFAM (Implicative FAM), MAM (Morphological Associative Memories).
Khoảng trống luận án lựa chọn giải quyết
Luận án định vị trọng tâm vào việc khắc phục sự đánh đổi giữa thời gian huấn luyện và độ chính xác phục hồi mẫu:
- Đối với BAM: Xây dựng thuật toán xác định MNTP trực tiếp để đạt tốc độ học nhanh của chiến lược học một lần nhưng vẫn duy trì khả năng chịu nhiễu cao của chiến lược học nhiều lần, đồng thời xử lý tốt các cặp mẫu không trực giao.
- Đối với Fuzzy ART: Khắc phục việc mất mát mẫu học và lựa chọn tham số tốc độ học $\beta$ tùy tiện bằng cách đề xuất 2 luật học mới và thuật toán tối ưu hóa $\beta$.
- Đối với FAM: Khắc phục sự mất cân đối giữa lưu trữ nội dung và lưu trữ quan hệ liên kết bằng mô hình liên kết nội dung – liên kết (ACAM).
Cơ sở lý thuyết và phương pháp nghiên cứu
Cơ sở lý thuyết và các khái niệm sử dụng
-
Mô hình nơ-ron và mạng nơ-ron nhân tạo:
- Cấu trúc nơ-ron sinh học (thân, sợi nhánh/hình cây, sợi trục, khớp thần kinh).
- Mô hình nơ-ron McCulloch-Pitts với các dạng tổng hợp thông tin vào: dạng tuyến tính $input = \sum_{j=1}^n w_j x_j$, dạng toàn phương $input = \sum_{j=1}^n w_j x_j^2$, dạng mặt cầu $input = \frac{1}{\rho^2} \sum_{j=1}^n (w_j - x_j)^2$.
- Các hàm kích hoạt: McCulloch-Pitts ngưỡng $\theta$, hàm trễ (với ngưỡng trên UTP, ngưỡng dưới LTP), hàm Sigmoid $f(input) = \frac{1}{1 + e^{-\lambda \cdot input}}$.
- Phân loại mạng: mạng truyền thẳng (Perceptron một lớp/nhiều lớp, RBF) và mạng lan truyền ngược (mạng cạnh tranh, SOM Kohonen, Hopfield, ART).
- Các luật học tham số: luật Delta giảm gradient, luật Hebb ($\Delta W_{ij} = \eta y_i x_j$), luật Perceptron, luật LVQ, và học cấu trúc.
-
Mạng Hopfield và hàm năng lượng:
- Mạng Hopfield rời rạc hoạt động không đồng bộ với hàm năng lượng Lyapunov:
$$E = -\frac{1}{2}\sum_{i=1}^n \sum_{j=1}^n w_{ij}y_i y_j - \sum_{i=1}^n I_i y_i$$
- Chứng minh năng lượng không tăng ($\Delta E \le 0$) đảm bảo mạng luôn hội tụ về cực tiểu cục bộ. Mạng Hopfield liên tục mô tả bởi hệ phương trình vi phân động học.
-
Logic mờ và Toán học hình thái:
- Tập mờ $A$ xác định bởi hàm thuộc $\mu_A: X \rightarrow [0, 1]$.
- Các phép nối mờ (t-norm): $C_M(x, y) = \min(x, y)$, $C_P(x, y) = x \cdot y$, $C_L(x, y) = \max(0, x + y - 1)$.
- Các phân tách mờ (s-norm/t-conorm): $D_M(x, y) = \max(x, y)$, $D_P(x, y) = x + y - xy$, $D_L(x, y) = \min(1, x + y)$.
- Phép gợi ý mờ (Fuzzy Implication): $I_M(x, y) = 1$ nếu $x \le y$ và $y$ nếu $x > y$.
- Toán học hình thái trên lưới đầy đủ $\mathbb{L}$: phép co rút $\varepsilon$ và phép giãn nở $\delta$.
-
Kiến trúc các bộ nhớ liên kết:
- Bộ nhớ liên kết (AM): dạng tự liên kết $(A_k, A_k)$ và liên kết khác loại $(A_k, B_k)$.
- Bộ nhớ liên kết hai chiều (BAM): ma trận trọng số $W_k = A_k^T B_k$, ma trận tổng quát $W = \sum_{k=1}^p W_k$. Quá trình nhớ lại lặp hai chiều giữa trường $A$ và trường $B$ qua hàm dấu.
- Lý thuyết cộng hưởng thích nghi mờ (Fuzzy ART): hệ thống chú ý và định hướng, chuẩn hóa vector vào qua mã hóa đầy đủ $I = (a, a^c) = (a, 1-a)$, hàm chọn $T_j(I) = \frac{|I \wedge W_j|}{\alpha + |W_j|}$, điều kiện cộng hưởng $\frac{|I \wedge W_J|}{|I|} \ge \rho$, cập nhật trọng số $W_J^{new} = \beta (I \wedge W_J^{old}) + (1 - \beta) W_J^{old}$.
Phương pháp nghiên cứu và kỹ thuật thực nghiệm
- Phương pháp tiếp cận: Luận án sử dụng phương pháp nghiên cứu định lượng kết hợp phân tích toán học giải tích và mô phỏng thực nghiệm trên máy tính.
- Kỹ thuật phân tích:
- Chứng minh toán học: Thiết lập các định lý và hệ quả về tính hội tụ, điều kiện cực tiểu hàm năng lượng và khả năng nhớ lại hoàn hảo.
- Thiết kế giải thuật: Xây dựng thuật toán học nhanh FFBAM, thủ tục xác định tốc độ học cho Fuzzy ART, và luật học kết hợp nội dung - liên kết cho FAM.
- Thước đo chất lượng phân cụm:
- Chỉ số Davies–Bouldin (DB):
$$DB = \frac{1}{n} \sum_{i=1}^n \max_{i \ne j} \left( \frac{\sigma_i + \sigma_j}{d(c_i, c_j)} \right)$$
(Giá trị DB càng nhỏ, chất lượng phân cụm càng cao).
- Chỉ số Dunn (D):
$$D = \min_{1 \le i \le n} \left( \min_{1 \le j \le n, i \ne j} \frac{d(i, j)}{\max_{1 \le k \le n} d'(k)} \right)$$
(Giá trị Dunn càng lớn, chất lượng phân cụm càng cao).
Nguồn tư liệu và dữ liệu thực nghiệm
- Dữ liệu bài toán nhận dạng mẫu:
- Tập ảnh mẫu vân tay.
- Tập ảnh mẫu chữ viết tay.
- Tập ảnh mẫu biển hiệu giao thông, tiền xu của Mỹ, phương tiện giao thông.
- Tập ảnh các chữ số nhị phân và tập ảnh chuẩn từ cơ sở dữ liệu ảnh Corel chịu các mức độ nhiễu muối tiêu khác nhau.
- 14 tập dữ liệu chuẩn quốc tế cho bài toán phân lớp/phân cụm:
- Thử nghiệm 1: Iris, Spiral, Flame, Balance-Scale, R15, Glass, Wine, Jain, Aggregation.
- Thử nghiệm 2: WDBC, D31, Wine-White, Balance-Scale, R15, Monk, Wine-Red.
Nội dung chính theo từng chương
Chương 1: Mạng nơ-ron nhân tạo
Chương 1 thiết lập nền tảng lý thuyết tổng quan về mạng nơ-ron nhân tạo (ANN). Nội dung chi tiết bao gồm:
- Cấu tạo sinh học của nơ-ron và nguyên lý mô phỏng toán học qua mô hình McCulloch-Pitts (các dạng hàm tổng hợp tuyến tính, toàn phương, mặt cầu; các hàm kích hoạt ngưỡng, trễ, Sigmoid).
- Phân loại kiến trúc ANN theo cấu trúc (một tầng, nhiều tầng), theo phương thức truyền tín hiệu (mạng truyền thẳng, mạng lan truyền ngược) và theo phương thức học (học có giám sát, không giám sát, học tăng cường, học lai).
- Phân tích bản chất các luật học: học tham số (luật Delta, luật Hebb, luật LVQ, luật Perceptron) và học cấu trúc (giải thuật di truyền, kỹ thuật gọt tỉa mạng).
- Hệ thống hóa các ưu điểm (xử lý song song, thích nghi), nhược điểm (khó giải thích hoạt động bên trong, khó dự đoán khả năng tổng quát hóa) và bốn nhóm bài toán ứng dụng cơ bản của ANN: phân lớp, mô hình hóa, biến đổi không gian (nén chiều dữ liệu), liên kết và kỹ thuật dịch chuyển cửa sổ cho dữ liệu chuỗi thời gian.
Chương 2: Một số mạng nơ-ron ghi nhớ
Chương 2 trình bày cơ sở toán học chuyên sâu và cấu trúc hoạt động của các mạng nơ-ron ghi nhớ được nghiên cứu trong luận án:
- Logic mờ: Định nghĩa tập mờ, các toán tử t-norm ($C_M, C_P, C_L$), s-norm ($D_M, D_P, D_L$) và phép gợi ý mờ ($I_M$).
- Toán học hình thái: Cấu trúc lưới đầy đủ $\mathbb{L}$, phép co rút $\varepsilon(Y) = \bigwedge_{y \in Y} \varepsilon(y)$ và phép giãn nở $\delta(Y) = \bigvee_{y \in Y} \delta(y)$.
- Mô hình AM: Khái niệm bộ nhớ nội dung – địa chỉ, cơ chế tự liên kết và liên kết khác loại, điều kiện trực giao của các cặp véc-tơ mẫu.
- Mô hình BAM và mạng Hopfield: Cơ chế lan truyền tín hiệu hai chiều, chứng minh tính hội tụ của mạng Hopfield rời rạc và liên tục qua hàm năng lượng Lyapunov, mô hình BAM của Kosko và chiến lược học nhiều lần dựa trên số lần lặp tối thiểu (MNTP) của Y.F. Wang.
- Mô hình FAM: Cấu trúc các nơ-ron mờ tổng quát của Pedrycz (Max-C, Min-I, Min-D), các mô hình FAM của Kosko (Max-min FAM, Max-product FAM) và FAM tổng quát của Chung – Lee.
- Mô hình ART và Fuzzy ART: Cấu trúc hai tầng F1, F2; hệ thống chú ý và định hướng; quy trình 4 bước hoạt động của Fuzzy ART; kỹ thuật mã hóa đầy đủ của Moore; các chỉ số đánh giá phân cụm Davies–Bouldin và Dunn.
Chương 3: Thuật toán học cải tiến cho bộ nhớ liên kết hai chiều
Chương 3 giải quyết bài toán tối ưu hóa quá trình học của mô hình BAM:
- Phân tích mối quan hệ giữa số lần lặp tối thiểu (MNTP), ma trận trọng số và hàm năng lượng của BAM.
- Đề xuất mô hình FFBAM (Fast Flexible Bidirectional Associative Memory) tích hợp Thuật toán 3.1 (Thuật toán học nhanh và linh động cho BAM):
| Tiêu chí so sánh |
BAM học 1 lần truyền thống |
BAM học nhiều lần truyền thống |
FFBAM (Đề xuất) |
| Số lần lặp huấn luyện |
Duy nhất 1 lần |
Nhiều chu kỳ lặp lại |
Tính toán trực tiếp qua MNTP |
| Độ phức tạp tính toán |
Thấp |
Rất cao |
Thấp / Tối ưu |
| Khả năng chịu nhiễu |
Kém |
Tốt |
Tốt (tương đương hoặc cao hơn) |
| Xử lý mẫu không trực giao |
Kém |
Hạn chế |
Nâng cao rõ rệt |
- Kết quả thực nghiệm nhận dạng mẫu được tổng hợp trong các Bảng 3.1 đến 3.5:
- Thử nghiệm nhận dạng vân tay (Bảng 3.1): FFBAM giảm đáng kể thời gian học so với các mô hình học lặp, phục hồi chính xác mẫu từ ảnh vân tay bị mất nét.
- Thử nghiệm nhận dạng chữ viết tay (Bảng 3.2): Đảm bảo khả năng nhớ lại mẫu đúng khi véc-tơ đầu vào có độ biến dạng hình học.
- Thử nghiệm nhận dạng khác (Bảng 3.3, 3.4, 3.5): Đánh giá trên tập ảnh biển hiệu giao thông, tiền xu Mỹ và phương tiện giao thông, chứng minh FFBAM hội tụ nhanh và duy trì độ chính xác nhớ lại cao.
Chương 4: Hai luật học cải tiến cho lý thuyết cộng hưởng thích nghi mờ
Chương 4 tập trung nâng cao chất lượng phân cụm và phân lớp của mạng Fuzzy ART:
- Đề xuất hai luật học cải tiến cho Fuzzy ART nhằm khắc phục tình trạng mất mát thông tin của các mẫu huấn luyện đặc trưng khi cập nhật véc-tơ trọng số cụm.
- Đề xuất Thuật toán 4.1: Quy trình tự động tìm giá trị thích hợp cho tham số tốc độ học $\beta$ của Fuzzy ART, thay thế việc gán giá trị cố định thực nghiệm.
- Xây dựng mô hình cải tiến EFART (Enhanced Fuzzy ART).
- Kết quả thực nghiệm phân lớp trên 14 bộ dữ liệu chuẩn (Bảng 4.1 đến 4.20):
- Thử nghiệm 1 (Sử dụng luật học thứ nhất trên 9 bộ dữ liệu: Iris, Spiral, Flame, Balance-Scale, R15, Glass, Wine, Jain, Aggregation): EFART đạt tỷ lệ phân lớp đúng cao hơn và cải thiện chỉ số phân cụm so với mô hình xếp thứ hai (Bảng 4.11).
- Thử nghiệm 2 (Sử dụng luật học thứ hai trên 7 bộ dữ liệu: WDBC, D31, Wine-White, Balance-Scale, R15, Monk, Wine-Red): EFART tiếp tục thể hiện sự vượt trội về độ chính xác phân lớp và độ ổn định cụm (Bảng 4.20).
Chương 5: Luật học cải tiến cho bộ nhớ liên kết mờ
Chương 5 nghiên cứu nâng cao hiệu quả lưu trữ và phục hồi mẫu của mạng FAM:
- Phân tích hạn chế của các mô hình FAM tiền nhiệm (Junbo, Kosko, Xiao, Sussner và Valle) khi xử lý mẫu có độ phức tạp cao hoặc nhiễu ngẫu nhiên.
- Đề xuất mô hình ACAM (Association-Content Associative Memory) với luật học cải tiến cho phép lưu trữ đồng thời cả nội dung biểu diễn của từng mẫu và cấu trúc liên kết giữa các cặp mẫu.
- Thiết lập và chứng minh Định lý 5.1 cùng các hệ quả toán học, khẳng định khả năng nhớ lại hoàn hảo của mô hình FAM cải tiến dưới các điều kiện biên xác định.
- Kết quả thực nghiệm (Bảng 5.1 đến 5.4 và Hình 5.1 đến 5.5):
- Thử nghiệm trên tập dữ liệu chữ số: ACAM phục hồi hoàn chỉnh ảnh số từ các mẫu đầu vào bị biến đổi và nhiễu nặng ở cả chế độ tự liên kết (Bảng 5.1) và liên kết khác loại (Bảng 5.2).
- Thử nghiệm trên tập dữ liệu ảnh Corel: ACAM phục hồi ảnh từ nhiễu muối tiêu với độ trung thực hình ảnh cao hơn rõ rệt so với các mô hình của Junbo, Kosko, Xiao, Sussner và Valle (Bảng 5.3, 5.4; Hình 5.4, 5.5).
Kết quả và những đóng góp mới
Các đóng góp mới về mặt lý luận và thực tiễn của luận án bao gồm:
[Các đóng góp chính của luận án]
-
Về mặt lý thuyết và giải thuật:
- Cho mô hình BAM: Đề xuất giải thuật tính toán trọng số thích hợp dựa trên MNTP, hình thành mô hình FFBAM giúp giảm độ phức tạp tính toán của quá trình học nhiều lần, đồng thời tăng cường khả năng lưu trữ và nhớ lại các cặp mẫu không trực giao.
- Cho mô hình Fuzzy ART: Xây dựng hai luật học mới bảo toàn thông tin mẫu huấn luyện và phát triển Thuật toán 4.1 tự động xác định tham số tốc độ học $\beta$, tạo nên mô hình EFART có chất lượng phân cụm tối ưu.
- Cho mô hình FAM: Phát triển luật học mới kết hợp đồng thời nội dung và liên kết mẫu (mô hình ACAM); xây dựng và chứng minh Định lý 5.1 về điều kiện đảm bảo khả năng nhớ lại hoàn hảo.
-
Về mặt thực nghiệm và ứng dụng:
- Đã kiểm chứng các mô hình đề xuất trên nhiều tập dữ liệu đa dạng: 5 bài toán nhận dạng mẫu thực tế (vân tay, chữ viết tay, biển báo, tiền xu, phương tiện), 14 bộ dữ liệu chuẩn quốc tế (Iris, Wine, WDBC, Monk, D31, Spiral...) và tập ảnh chuẩn Corel.
- Các kết quả nghiên cứu trong luận án đã được công bố qua 2 bài báo trên tạp chí quốc tế thuộc danh mục ISI [18, 27] và 7 báo cáo khoa học trong kỷ yếu hội nghị quốc tế có phản biện.
-
Kiến nghị và định hướng ứng dụng:
- Đề xuất tích hợp các thuật toán học cải tiến FFBAM, EFART và ACAM vào các hệ thống xử lý ảnh, nhận dạng sinh trắc học và hệ thống khai phá dữ liệu/phân cụm tự động trong các môi trường tính toán thời gian thực có tài nguyên giới hạn.
Hạn chế và hướng nghiên cứu tiếp
Dựa trên phạm vi và nội dung được tác giả trình bày trong luận án:
- Hạn chế:
- Nghiên cứu tập trung vào cải tiến thuật toán học và luật cập nhật trọng số cho ba mô hình cụ thể (BAM, Fuzzy ART, FAM), chưa mở rộng khảo sát trên toàn bộ các biến thể khác của mạng nơ-ron hồi quy hoặc mạng nơ-ron mờ sâu.
- Các thử nghiệm nhận dạng chủ yếu thực hiện trên dữ liệu ảnh tĩnh (2D) ở dạng nhị phân hoặc mức xám/chuẩn hóa mờ, chưa đánh giá trên các dòng dữ liệu đa phương tiện thời gian thực có tốc độ biến đổi cao.
- Hướng nghiên cứu tiếp:
- Tiếp tục nghiên cứu tối ưu hóa cấu trúc mạng động (học cấu trúc) kết hợp với các luật học tham số đã đề xuất.
- Mở rộng ứng dụng các mô hình FFBAM, EFART và ACAM cho các bài toán nhận dạng mẫu phức tạp hơn trong thị giác máy tính và phân loại dữ liệu lớn.
Giá trị tham khảo
Luận án là tài liệu tham khảo chuyên khảo trong lĩnh vực Mạng nơ-ron nhân tạo và Trí tuệ tính toán:
- Đối với nghiên cứu sinh, học viên cao học và nhà nghiên cứu ngành Khoa học máy tính, Công nghệ thông tin:
- Chương 2 cung cấp hệ thống toán học hoàn chỉnh về Logic mờ, Toán học hình thái và cơ chế hoạt động của các mạng nơ-ron ghi nhớ.
- Chương 3, 4, 5 cung cấp chi tiết các bước thiết lập thuật toán, các chứng minh định lý toán học và phương pháp thiết kế thực nghiệm đối chuẩn.
- Đối với giảng viên: Tài liệu tham khảo hữu ích cho các học phần chuyên đề về Mạng nơ-ron nhân tạo, Hệ mờ và tính toán mềm, Nhận dạng mẫu và xử lý ảnh.
- Đối với kỹ sư phát triển ứng dụng: Cung cấp các thuật toán cụ thể (Thuật toán 3.1, Thuật toán 4.1) có thể cài đặt trực tiếp để xây dựng các mô-đun phân loại dữ liệu, lọc nhiễu ảnh và nhận dạng mẫu.
Câu hỏi thường gặp
1. Luận án giải quyết vấn đề gì của mô hình BAM học nhiều lần truyền thống?
BAM học nhiều lần truyền thống đòi hỏi quá trình lặp đi lặp lại nhiều chu kỳ để điều chỉnh ma trận trọng số, dẫn đến chi phí tính toán cao và khó áp dụng cho các bài toán thời gian thực. Luận án đề xuất mô hình FFBAM và Thuật toán 3.1, sử dụng đại lượng MNTP (số lần tối thiểu cần huấn luyện một cặp mẫu) để xác định trực tiếp trọng số phù hợp, giúp rút ngắn thời gian học mà vẫn đảm bảo khả năng nhớ lại mẫu và xử lý tốt các cặp mẫu không trực giao.
2. Hai luật học cải tiến và Thuật toán 4.1 trong Chương 4 mang lại ưu điểm gì cho Fuzzy ART?
Trong Fuzzy ART truyền thống, quá trình cập nhật trọng số cụm có thể làm mất thông tin của một số mẫu huấn luyện quan trọng và việc chọn tham số tốc độ học $\beta$ thường mang tính cảm tính. Luận án đề xuất hai luật học mới giúp bảo toàn thông tin mẫu đặc trưng, kết hợp Thuật toán 4.1 tự động xác định giá trị $\beta$ tối ưu, giúp mô hình EFART nâng cao đáng kể độ chính xác phân lớp và cải thiện các chỉ số phân cụm Davies–Bouldin và Dunn trên 14 bộ dữ liệu chuẩn.
3. Mô hình ACAM trong Chương 5 khắc phục nhược điểm nào của các mạng FAM trước đó?
Các mô hình FAM trước đây thường rơi vào một trong hai hạn chế: hoặc chỉ dựa vào tỷ lệ giá trị vào/ra mà bỏ qua nội dung mẫu, hoặc chỉ lưu trữ nội dung một phía dẫn đến suy giảm liên kết giữa các cặp mẫu. Mô hình ACAM (Association-Content Associative Memory) sử dụng luật học cải tiến để học và lưu trữ đồng thời cả nội dung biểu diễn và mối quan hệ liên kết của các cặp mẫu, nâng cao khả năng phục hồi mẫu từ các tín hiệu bị nhiễu muối tiêu phức tạp.
4. Định lý 5.1 trong luận án chứng minh điều gì?
Định lý 5.1 cùng các hệ quả toán học trong Chương 5 thiết lập điều kiện lý thuyết chứng minh rằng mô hình FAM cải tiến (ACAM) có khả năng đạt được sự nhớ lại hoàn hảo (perfect recall) đối với các mẫu đã lưu trữ khi được kích hoạt bởi các mẫu đầu vào, kể cả khi mẫu đầu vào chứa các dạng nhiễu trong ngưỡng cho phép.
5. Luận án đã sử dụng những thước đo nào để đánh giá chất lượng phân cụm?
Luận án sử dụng hai thước đo chuẩn trong phân cụm dữ liệu:
- Chỉ số Davies–Bouldin ($DB$): đo lường tỷ lệ giữa độ phân tán nội cụm và khoảng cách giữa các tâm cụm (thuật toán tốt hơn khi giá trị $DB$ nhỏ hơn).
- Chỉ số Dunn ($D$): đo lường tỷ lệ giữa khoảng cách nhỏ nhất giữa hai cụm và đường kính lớn nhất của các cụm (thuật toán tốt hơn khi giá trị $D$ lớn hơn).
Kết luận
Luận án tiến sĩ của tác giả Nông Thị Hoa đã hoàn thành toàn diện các mục tiêu nghiên cứu đề ra thông qua việc cải tiến thành công quá trình học của ba mô hình mạng nơ-ron ghi nhớ gồm BAM, Fuzzy ART và FAM. Bằng cách kết hợp phân tích toán học giải tích, thiết lập định lý hội tụ và thực nghiệm trên các tập dữ liệu nhận dạng cũng như 14 bộ dữ liệu chuẩn quốc tế, công trình đã chứng minh tính hiệu quả của các giải thuật FFBAM, EFART và ACAM trong việc giảm thời gian tính toán và nâng cao chất lượng phục hồi mẫu từ dữ liệu nhiễu. Các kết quả nghiên cứu đã được công bố trên 2 bài báo ISI và 7 kỷ yếu hội nghị quốc tế, khẳng định giá trị khoa học và đóng góp thực tiễn của luận án cho chuyên ngành Khoa học máy tính.
