Tổng quan luận án

Luận án tiến sĩ toán học của tác giả Lê Bích Phượng với đề tài "Áp dụng các phương pháp giải tích và tối ưu toán học vào phân lớp nhị phân và phân đoạn hình ảnh trong học máy" được bảo vệ năm 2023 tại Đại học Bách khoa Hà Nội, thuộc chuyên ngành Toán học (Mã số: 9460101), dưới sự hướng dẫn khoa học của PGS. Nguyễn Xuân Thảo và GS. Nguyễn Tiến Dũng.

Tính cấp thiết và khoảng trống nghiên cứu

Trong lĩnh vực trí tuệ nhân tạo và học máy, phân lớp nhị phân và phân đoạn hình ảnh là hai bài toán nền tảng, xuất hiện trong nhiều ứng dụng thực tiễn như nhận dạng khuôn mặt, phát hiện thư rác, chẩn đoán y tế, xe tự lái và xử lý ảnh địa chấn. Tuy nhiên, phần lớn các nghiên cứu đương đại tập trung vào việc chứng minh tính hiệu quả thông qua thực nghiệm mô phỏng, còn thiếu các lập luận và chứng minh lý thuyết toán học chặt chẽ. Cụ thể:

  • Trong bài toán phân lớp nhị phân, các nghiên cứu trước đây đã đề xuất nhiều thước đo độ chính xác khác nhau (như AUC ROC, MBA, MWA, điểm số F) nhưng chỉ khảo sát từng thước đo một cách độc lập mà chưa làm rõ mối quan hệ toán học giữa chúng, chưa chứng minh tường minh tính tối ưu của máy xác suất thực và tính lồi của đường cong đặc trưng hoạt động của máy thu (ROC).
  • Đối với hàm mất mát, các mô hình học máy vi phân thường sử dụng các hàm truyền thống như hàm bình phương hay binary cross-entropy dựa trên kinh nghiệm mà thiếu khung lý thuyết tổng quát giải thích tại sao chúng mang lại hiệu quả tối ưu, cũng như chưa xác định rõ các rủi ro toán học khi sử dụng các hàm mất mát không lồi dẫn đến việc mô hình rơi vào các điểm dừng không mong muốn (bẫy ngẫu nhiên).
  • Trong bài toán phân đoạn hình ảnh, các phương pháp biểu quyết tổ hợp (ensemble voting) truyền thống chủ yếu dựa trên biểu quyết số học (biểu quyết cứng hoặc biểu quyết mềm theo từng điểm ảnh riêng lẻ), hoàn toàn bỏ qua cấu trúc hình học, tính liên tục không gian và tính chất tô-pô của đối tượng ảnh.

Mục tiêu nghiên cứu

Mục đích nghiên cứu của luận án là ứng dụng các công cụ giải tích (cực tiểu hóa, phương pháp biến phân, tích phân) và tối ưu toán học (tối ưu hóa dựa trên gradient) vào phân lớp nhị phân và phân đoạn hình ảnh, nhằm làm rõ các tính chất toán học của mô hình học máy và nâng cao hiệu quả phân loại, phân đoạn. Luận án đặt ra ba nhóm mục tiêu nghiên cứu cụ thể:

  1. Mục tiêu 1: Phân tích toán học các thước đo độ chính xác trong phân lớp nhị phân; thiết lập mối quan hệ định lượng giữa diện tích dưới đường cong ROC (AUC), độ chính xác cân bằng cao nhất (MBA) và độ chính xác có trọng cao nhất (MWA); chứng minh tính tối ưu của máy xác suất thực và tính lồi của đường cong ROC; xác định giới hạn lý thuyết của phương pháp biểu quyết đối với máy phân loại nhị phân.
  2. Mục tiêu 2: Xây dựng mô hình toán học tổng quát cho học máy vi phân; thiết lập nguyên tắc xây dựng hàm mất mát; chứng minh rằng các máy cực tiểu hóa hàm mất mát bình phương, hàm cross-entropy và các hàm siêu-lồi chính là các máy xác suất thực (máy tối ưu); phân tích hiện tượng "bẫy ngẫu nhiên" khi sử dụng hàm mất mát không lồi và đề xuất giải pháp xử lý mất cân bằng dữ liệu thông qua hàm mất mát bất đối xứng.
  3. Mục tiêu 3: Đề xuất phương pháp biểu quyết tô-pô (dạng đơn giản, dạng địa phương và dạng kết hợp tô-pô - số học) để tối ưu hóa bài toán phân đoạn hình ảnh; chứng minh tính hợp lý và ưu việt của biểu quyết tô-pô trên mô hình toán học 1 chiều và 2 chiều; kiểm chứng thực nghiệm trên các tập dữ liệu ảnh thực tế.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các mô hình phân lớp nhị phân mềm và cứng, các thước đo độ chính xác (TP, TN, FP, FN, PR, WA, BA, F-score, AUC ROC, MBA, MWA), các hàm mất mát trong học máy vi phân (hàm hồi quy, phân loại, phân đoạn, hàm lồi, siêu-lồi và không lồi), các bộ phân đoạn hình ảnh và các phương pháp biểu quyết hợp nhất phân đoạn.
  • Phạm vi nghiên cứu: Luận án giới hạn trong phạm vi học máy có giám sát (supervised machine learning), tập trung vào hai lớp bài toán cụ thể: phân lớp nhị phân và phân đoạn hình ảnh kỹ thuật số (ảnh địa chấn, ảnh khuôn mặt người và ảnh mạch máu võng mạc).

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước

  • Lịch sử trí tuệ nhân tạo và học máy: Thuật ngữ Trí tuệ nhân tạo (AI) được John McCarthy đề xuất năm 1955; thuật ngữ Học máy (Machine Learning) được Arthur Samuel đưa ra năm 1959. Nền tảng toán học của việc ra quyết định tối ưu có gốc rễ từ Lý thuyết trò chơi của John von Neumann và Oskar Morgenstern (1944). Trước giai đoạn phát triển của học sâu (Deep Learning), các thuật toán như Máy vec-tơ hỗ trợ (SVM) dựa trên kỹ thuật trích xuất đặc trưng thủ công (feature engineering). Một ví dụ điển hình về xử lý ảnh giải tích cổ điển là công trình của Massimo Fornasier (giai đoạn 2000–2006) sử dụng phương pháp "phân tách điều hòa vòng quanh" (circular harmonic decomposition) để phục hồi 88.000 mảnh vỡ tranh fresco của Mantegna tại nhà thờ Eremitani.
  • Nghiên cứu về thước đo độ chính xác và đường cong ROC: Các công trình nghiên cứu về các chỉ số phân lớp nhị phân và đường cong ROC được công bố bởi nhiều nhóm tác giả trong các tài liệu trích dẫn của luận án (như các tài liệu số [1, 2, 3, 4], [5, 24, 25, 26, 27, 28, 29, 30, 31, 32]). Trong đó, Định lý 3 của bài báo trích dẫn [5] đã chứng minh tính lồi của đường cong ROC dưới các điều kiện lý tính (rationality conditions). Tuy nhiên, các công trình này chủ yếu khảo sát từng thước đo một cách riêng biệt hoặc tiếp cận dưới góc độ thống kê thuần túy.
  • Nghiên cứu về hàm mất mát: Lịch sử phát triển các hàm mất mát ghi nhận hàm cross-entropy dựa trên độ phân kỳ Kullback-Leibler (năm 1951), hệ số tương đồng Sorensen-Dice (những năm 1940), hàm focal loss của Lin, Goyal và cộng sự, cũng như hàm mất mát Lovasz. Phần lớn các công trình tập trung vào việc đánh giá hiệu năng thực nghiệm mà thiếu giải thích giải tích về việc tại sao các hàm mất mát lồi lại hội tụ về nghiệm tối ưu và cách hàm mất mát bị bóp méo khi dữ liệu mất cân bằng.
  • Nghiên cứu về phân đoạn hình ảnh và biểu quyết: Phân đoạn hình ảnh được tiếp cận qua nhiều kỹ thuật: dựa trên ngưỡng, cạnh, khu vực, phân cụm hoặc mạng nơ-ron nhân tạo. Để nâng cao độ chính xác, kỹ thuật biểu quyết giữa nhiều bộ phân đoạn (segmentor) thường áp dụng biểu quyết số học cứng (hard voting) hoặc biểu quyết số học mềm (soft voting) (trích dẫn [20, 21, 22, 23]).

Khoảng trống luận án lựa chọn giải quyết

Luận án định vị nghiên cứu vào việc lấp đầy các khoảng trống lý thuyết và giải thuật sau:

  1. Thiết lập mối quan hệ giải tích - tô-pô giữa các thước đo độ chính xác AUC, MBA và MWA dưới dạng hệ bất đẳng thức tương đương, đồng thời cung cấp chứng minh ngắn gọn, trực tiếp cho tính lồi của đường cong ROC của máy xác suất thực.
  2. Xây dựng cơ sở toán học cho học máy vi phân chứng minh mối quan hệ tất yếu giữa điểm cực tiểu của hàm mất mát (bao gồm hàm bình phương, cross-entropy và hàm siêu-lồi) với máy xác suất thực; làm sáng tỏ cơ chế hình thành các "bẫy ngẫu nhiên" khi dùng hàm mất mát không lồi.
  3. Khắc phục nhược điểm của các phương pháp biểu quyết số học điểm ảnh độc lập bằng cách thiết lập phương pháp biểu quyết tô-pô, tích hợp cấu trúc hình học và liên kết không gian vào quá trình hợp nhất các bộ phân đoạn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Lý thuyết, khái niệm và khung phân tích

  • Mô hình học máy tổng quát: Mô hình học máy được biểu diễn dưới dạng ánh xạ toán học: $$M: \Theta \times \Omega \longrightarrow R$$ Trong đó $\Omega$ là không gian dữ liệu đầu vào, $R$ là không gian đầu ra, và $\Theta$ là không gian các tham số có thể học (learnable parameters). Quá trình huấn luyện là việc cập nhật dãy tham số $\theta_0 \mapsto \theta_1 \mapsto \dots \mapsto \theta_n$ nhằm cực tiểu hóa hàm mất mát. Mô hình còn được phân rã thành ánh xạ hợp: $$M = \Sigma \circ \phi$$ Với $\phi: \Omega \to \Phi$ là ánh xạ đặc trưng (trích xuất thông tin cô đọng vào không gian đặc trưng $\Phi$) và $\Sigma: \Phi \to R$ là ánh xạ đầu ra.
  • Lý thuyết tối ưu hóa vi phân và trượt Gradient: Thuật toán tối ưu trượt gradient theo hướng dốc nhất (steepest gradient descent) điều chỉnh tham số theo quy tắc: $$x' = x - \varepsilon \nabla_x f(x)$$ Với $\varepsilon > 0$ là tốc độ học (learning rate), $\nabla_x f(x)$ là gradient chứa các đạo hàm riêng $\frac{\partial f(x)}{\partial x_i}$. Thuật toán lan truyền ngược (backpropagation) tính toán đạo hàm của hàm hợp trên toàn bộ các tầng tham số.
  • Mạng nơ-ron tích chập (CNN): Xây dựng trên phép tích chập liên tục: $$s(t) = (x * \omega)(t) = \int_{-\infty}^{+\infty} x(a) \omega(t - a) da$$ Và phép tích chập hai chiều rời rạc trên ma trận ảnh $I$ với nhân tích chập (kernel) $K$: $$S(i, j) = (I * K)(i, j) = \sum_{m} \sum_{n} I(m, n) K(i - m, j - n)$$ Mạng CNN khai thác ba cơ chế toán học then chốt: tương tác thưa (sparse connectivity), dùng chung tham số (parameter sharing) và biểu diễn đẳng biến với phép tịnh tiến (equivariant representation).
  • Hệ thống thước đo phân loại nhị phân: Dựa trên việc phân hoạch tập dữ liệu $\Omega$ thành 4 tập hợp con rời nhau: dương tính thật ($\Omega_{TP}$), âm tính thật ($\Omega_{TN}$), dương tính giả ($\Omega_{FP}$), và âm tính giả ($\Omega_{FN}$).
Thước đo Ký hiệu Công thức xác định
Độ nhạy / Tỷ lệ dương thật $TP$ (Sensitivity / Recall) $TP = \frac{|\Omega_{TP}|}{|\Omega_P|} = \frac{|\Omega_{TP}|}{|\Omega_{TP}| + |\Omega_{FN}|}$
Tỷ lệ âm giả $FN$ (False Negative rate) $FN = 1 - TP = \frac{|\Omega_{FN}|}{|\Omega_P|}$
Độ đặc trưng / Tỷ lệ âm thật $TN$ (Specificity) $TN = \frac{|\Omega_{TN}|}{|\Omega_N|} = \frac{|\Omega_{TN}|}{|\Omega_{TN}| + |\Omega_{FP}|}$
Tỷ lệ dương giả $FP$ (False Positive rate) $FP = 1 - TN = \frac{|\Omega_{FP}|}{|\Omega_N|}$
Tỷ lệ gọi đúng $PR$ (Precision Rate) $PR = \frac{|\Omega_{TP}|}{|\Omega_{TP}| + |\Omega_{FP}|}$
Độ chính xác có trọng số $WA_\mu$ $WA_\mu = \mu \cdot TP + (1 - \mu) \cdot TN, \quad \mu \in [0, 1]$
Độ chính xác cân bằng $BA$ $BA = \frac{TP + TN}{2}$
Điểm số $F_1$ $F_1$ $F_1 = \frac{2 \cdot TP \cdot PR}{TP + PR}$
Điểm số $F_b$ tổng quát $F_b$ ($b > 0$) $F_b = \frac{(1 + b^2) \cdot TP \cdot PR}{TP + b^2 \cdot PR}$
Độ chính xác có trọng tối đa $MWA$ $MWA = \max_{\sigma \in [0, 1]} WA(\sigma)$
Độ chính xác cân bằng tối đa $MBA$ $MBA = \max_{\sigma \in [0, 1]} BA(\sigma)$
Diện tích dưới đường ROC $AUC$ $AUC = \int_0^1 TP(\sigma) d(FP(\sigma))$

Phương pháp nghiên cứu

  • Phương pháp toán học lý thuyết: Sử dụng giải tích hàm, lý thuyết xác suất và quá trình ngẫu nhiên, biến đổi tích phân trên không gian xác suất, định lý giới hạn trung tâm, giải tích biến phân, bất đẳng thức giải tích và các khái niệm tô-pô học.
  • Phương pháp thực nghiệm mô phỏng: Thiết kế các mô hình học sâu (kiến trúc CNN như VGG16) sử dụng thư viện TensorFlow; áp dụng kỹ thuật kiểm định chéo $k$-fold cross validation ($k = 5, 10, 15$) nhằm đảm bảo tính khách quan trong việc đánh giá và tránh hiện tượng quá khớp (overfitting); kiểm thử độ đo trên các tập dữ liệu chuẩn.

Nguồn tư liệu và dữ liệu thực nghiệm

  1. Tập dữ liệu CIFAR-10: Sử dụng trong Chương 3 để kiểm chứng thực nghiệm các bài toán phân loại nhị phân (phân loại máy bay - không phải máy bay, chó - không phải chó, mèo - không phải mèo) và khảo sát hiện tượng rơi vào bẫy ngẫu nhiên của các hàm mất mát không lồi.
  2. Tập dữ liệu hình ảnh địa chấn (TGS Salt Dataset): Dữ liệu phân đoạn muối địa chấn, đánh giá qua 5 fold và 10 fold.
  3. Tập dữ liệu ảnh khuôn mặt người kỹ thuật số: Đánh giá thuật toán phân đoạn qua 10 fold.
  4. Tập dữ liệu DRIVE (Digital Retinal Images for Vessel Extraction): Dữ liệu ảnh y tế phân đoạn hệ mạch máu võng mạc, đánh giá qua 15 fold.

Nội dung chính theo từng chương

Chương 1: Kiến thức chuẩn bị

Chương 1 hệ thống hóa toàn bộ cơ sở lý thuyết toán học và học máy phục vụ cho các chứng minh và phát triển thuật toán ở các chương sau:

  • Trình bày mô hình học máy tổng quát, cơ chế tham số hóa $\Theta$ và quá trình tối ưu hóa tham số. So sánh sự khác biệt giữa học máy truyền thống (dựa vào kỹ thuật trích xuất đặc trưng thủ công - feature engineering) và học sâu (deep learning - mô hình tự động tối ưu hóa cả không gian biểu diễn đặc trưng $\Phi$ và ánh xạ quyết định $\Sigma$).
  • Phân tích các thuộc tính và thách thức của dữ liệu lớn trong học máy: hiện tượng dữ liệu bị "thủng lỗ" (thiếu tính trù mật trong không gian dữ liệu), dữ liệu bị gán nhãn sai (nhiễu nhãn), dữ liệu bị thiên lệch (imbalance/bias). Trình bày các giải pháp toán học để khắc phục: nội suy/ngoại suy không gian, tăng cường dữ liệu (data augmentation), tạo dữ liệu tổng hợp (synthetic data), và tự tạo dữ liệu học thông qua luật chơi/cắt ghép hình ngẫu nhiên.
  • Thiết lập quy trình đánh giá mô hình: phân chia tập huấn luyện (training set), tập kiểm định (validation set), tập kiểm tra độc lập (test set); phân tích cơ chế nhận diện hiện tượng học tủ/quá khớp (overfitting) khi độ chính xác kiểm định phân kỳ so với độ chính xác huấn luyện. Trình bày chi tiết thuật toán kiểm định chéo $k$-fold cross validation.
  • Trình bày giải tích tối ưu hóa dựa trên gradient: phân loại các điểm tới hạn (cực tiểu địa phương, cực đại địa phương, điểm yên ngựa), thuật toán trượt gradient đa biến theo hướng dốc nhất, vai trò của tốc độ học $\varepsilon$.
  • Thiết lập cơ sở toán học của phép tích chập liên tục và rời rạc hai chiều, cấu trúc toán học của mạng nơ-ron tích chập (CNN) và ba đặc tính: kết nối thưa, chia sẻ tham số và tính đẳng biến tịnh tiến.

Chương 2: Độ chính xác của máy phân loại nhị phân

Chương 2 tập trung phân tích cấu trúc toán học của các thước đo độ chính xác, đường cong ROC và các đặc tính tối ưu:

  • Thiết lập định nghĩa toán học cho máy phân loại nhị phân mềm $M: \Omega \to [0, 1]$ và máy phân loại nhị phân cứng $Y_\sigma(x)$ tương ứng với ngưỡng cắt $\sigma \in (0, 1)$ ($Y_\sigma(x) = 1$ nếu $M(x) \ge \sigma$ và $0$ nếu $M(x) < \sigma$).
  • Khảo sát đường cong ROC như một quỹ đạo tham số hóa trong hình vuông đơn vị $[0, 1]^2$: $$ROC = {ROC(\sigma) = (1 - TN(\sigma), TP(\sigma)) = (FP(\sigma), TP(\sigma)), \quad \sigma \in (0, 1)}$$ Đường cong đi từ điểm $(1, 1)$ khi $\sigma=0$ về điểm $(0, 0)$ khi $\sigma=1$.
  • Kết quả 1 - Mối quan hệ tương đương tô-pô giữa các thước đo: Luận án thiết lập và chứng minh các bất đẳng thức liên hệ giữa ba thước đo chính: diện tích dưới đường cong ROC (AUC), độ chính xác cân bằng tối đa (MBA) và độ chính xác có trọng tối đa (MWA). Các bất đẳng thức này chỉ ra rằng ba thước đo trên tương đương về mặt tô-pô: khi một trong ba chỉ số tiến tiệm cận tới $1$, hai chỉ số còn lại cũng bắt buộc phải tiến tới $1$. Do đó, trong thực tế đánh giá thuật toán, các thước đo này có thể thay thế cho nhau.
  • Kết quả 2 - Tính tối ưu và tính lồi của máy xác suất thực: Định nghĩa khái niệm máy xác suất thực đối với không gian thông tin đặc trưng $\phi$: $$M_{optimal}(x) = P(Y(x) = 1 \mid \phi(x) = \varphi)$$ Luận án chứng minh rằng máy xác suất thực là máy tối ưu tuyệt đối (đạt độ chính xác cực đại trong toàn bộ lớp các máy có cùng không gian trích xuất đặc trưng). Đồng thời, luận án đưa ra chứng minh giải tích đơn giản, trực tiếp khẳng định đường cong ROC của máy xác suất thực luôn luôn là một đường lồi. Điều này giải thích tại sao trong các mô hình thực nghiệm đạt hiệu quả cao, đường cong ROC luôn có xu hướng tiệm cận dạng hình học lồi.
  • Kết quả 3 - Giới hạn lý thuyết của phương pháp biểu quyết: Luận án thiết lập công thức toán học xác định chặn trên cho sự gia tăng độ chính xác của phương pháp biểu quyết phân loại nhị phân. Kết quả chứng minh rằng mặc dù biểu quyết giúp cải thiện độ chính xác so với từng máy thành phần, nhưng khi số lượng máy tham gia biểu quyết tiến tới vô cùng ($n \to \infty$), độ chính xác tổng hợp vẫn bị chặn trên bởi một giới hạn xác định nhỏ hơn 100%.

Chương 3: Ảnh hưởng của hàm mất mát đến các bài toán phân loại nhị phân

Chương 3 phân tích cơ sở giải tích hàm của các hàm mất mát trong quá trình tối ưu hóa mô hình học máy:

  • Phân loại và khảo sát toán học các hàm mất mát phổ biến:
    • Hàm mất mát hồi quy: Sai số tuyệt đối trung bình (MAE), sai số bình phương trung bình (MSE), sai số thiên lệch trung bình (MBE).
    • Hàm mất mát phân loại: Binary cross-entropy (được điều chỉnh với số dương $\epsilon$ rất nhỏ để tránh kỳ dị $\ln 0$), square loss, hinge loss.
    • Hàm mất mát phân đoạn: Sorensen-Dice loss, Lovasz loss, Focal loss.
  • Khẳng định tính tối ưu của hàm mất mát bình phương và cross-entropy: Luận án chứng minh chặt chẽ rằng trong bài toán phân loại nhị phân có giám sát, các máy tối thiểu hóa hàm mất mát bình phương và hàm binary cross-entropy đều hội tụ chính xác về máy xác suất thực.
  • Mở rộng sang lớp hàm mất mát siêu-lồi (super-convex loss functions): Luận án chứng minh rằng mọi hàm mất mát thuộc lớp siêu-lồi (chẳng hạn hàm đa thức bậc 4 lồi) đều có các điểm cực tiểu tương ứng với các máy tối ưu về độ chính xác (các máy này là biến đổi tham số đồng phôi của máy xác suất thực). Kết quả này mở ra nguyên tắc toán học cho phép thiết kế các hàm mất mát bậc cao mới thay thế các hàm truyền thống.
  • Phân tích hiện tượng bẫy ngẫu nhiên (random traps) của hàm không lồi: Luận án chỉ ra rằng tính lồi là điều kiện tiên quyết khi thiết kế hàm mất mát. Nếu hàm mất mát không lồi (non-convex, broken loss functions), quá trình tối ưu gradient descent rất dễ bị rơi vào các "bẫy ngẫu nhiên" (các điểm dừng cục bộ mà tại đó máy đưa ra dự đoán tầm thường, ví dụ đoán tất cả mẫu về cùng một nhãn âm tính hoặc dương tính). Thực nghiệm trên CIFAR-10 với mạng VGG16 (các hàm brokenloss1, brokenloss3 với các tham số $c=1, r=9$ hoặc $c=2, r=9$) minh chứng rõ các trạng thái mô hình bị kẹt hoàn toàn trong bẫy không thể thoát ra, hoặc mất nhiều chu kỳ học mới thoát bẫy.
  • Giải pháp cho dữ liệu mất cân bằng: Đề xuất nguyên tắc thiết kế các hàm mất mát bất đối xứng (asymmetric loss), tăng trọng số phạt đối với các sai số trên nhóm dữ liệu thiểu số (ví dụ phạt nặng hơn khi phân loại nhầm ca có bệnh thành không bệnh).

Chương 4: Tối ưu hóa phân đoạn hình ảnh bằng biểu quyết tô-pô

Chương 4 trình bày đóng góp về mặt giải thuật mới trong bài toán phân vùng/phân đoạn hình ảnh:

  • Hạn chế của biểu quyết số học: Phân đoạn hình ảnh thực chất là bài toán gán nhãn cho từng pixel dựa trên việc tối ưu khoảng cách Jaccard / hệ số giao trên hợp (IOU - Intersection Over Union). Biểu quyết số học cứng (hard arithmetical voting) và mềm (soft voting) chỉ xét tần suất xuất hiện của nhãn tại từng tọa độ điểm ảnh độc lập, dẫn đến hiện tượng biên phân đoạn bị vỡ, xuất hiện các đốm nhiễu cô lập và phá vỡ tính liên thông hình học của đối tượng.
  • Đề xuất ba dạng phương pháp biểu quyết tô-pô:
    1. Biểu quyết tô-pô dạng đơn giản nhất: Sử dụng độ đo khoảng cách tô-pô toàn cục giữa các mặt nạ phân đoạn do các máy thành phần tạo ra để lựa chọn hoặc gán trọng số cho phân đoạn có tính đại diện cấu trúc cao nhất.
    2. Biểu quyết tô-pô địa phương (Local topological voting): Xem xét cấu trúc hình học trong lân cận bán kính $s$ ($s \ge 1$) xung quanh mỗi điểm ảnh để đưa ra quyết định nhãn dựa trên tính liên thông cục bộ.
    3. Biểu quyết kết hợp / Biểu quyết lai (Hybrid voting): Quy trình hai vòng: Vòng 1 sử dụng khoảng cách tô-pô để phát hiện và loại bỏ các bộ phân đoạn dị biệt (outlier segmentators nằm cách xa cụm phân đoạn chính); Vòng 2 áp dụng biểu quyết số học (cứng hoặc mềm) trên tập các bộ phân đoạn hợp thức còn lại.
  • Chứng minh tính hợp lý trên mô hình toán học: Luận án thiết lập mô hình giải tích và chứng minh tính ưu việt của biểu quyết tô-pô so với biểu quyết số học trong:
    • Trường hợp không gian 1 chiều: Xét dãy phân đoạn ${S_i}_{i=1}^n$ độc lập tuân theo phân phối chuẩn $N(0, 1)$ và phân phối đều $U(0, 1)$.
    • Trường hợp không gian 2 chiều: Xét các phân phối điểm ảnh $x_i \sim U(-1, 1)$ với các hàm biên đối xứng và phi tuyến $f(x) = x^3$, $f(x) = x^2$ dưới các mức độ không chắc chắn khác nhau của dữ liệu gán nhãn.
  • Kết quả thực nghiệm trên các tập dữ liệu chuẩn:
Bảng số liệu thực nghiệm Tập dữ liệu kiểm thử Cấu hình kiểm định chéo Phương pháp so sánh Chỉ số đánh giá chính
Bảng 4.1 & 4.2 Phân đoạn muối địa chấn (TGS Salt) 5-fold và 10-fold cross validation Biểu quyết số học vs Biểu quyết tô-pô Chỉ số IOU / Jaccard score
Bảng 4.3 Phân đoạn muối địa chấn (TGS Salt) 10-fold cross validation Biểu quyết số học vs Biểu quyết tô-pô Độ chính xác nhị phân (Binary accuracy)
Bảng 4.4 Phân đoạn khuôn mặt người 10-fold cross validation Biểu quyết số học cứng, mềm vs Biểu quyết tô-pô Điểm IOU trung bình qua các fold
Bảng 4.5 Phân đoạn mạch máu võng mạc (DRIVE) 15-fold cross validation Biểu quyết số học vs Biểu quyết tô-pô (các dạng) Độ chính xác phân đoạn hệ mạch

Các kết quả thực nghiệm trong toàn bộ các bảng trên đều khẳng định: phương pháp biểu quyết tô-pô và biểu quyết kết hợp cho kết quả nhất quán vượt trội hơn so với các phương pháp biểu quyết số học truyền thống, đặc biệt đối với các đối tượng có tính chất biên phức tạp và hình học đặc thù.

Kết quả và những đóng góp mới

Những đóng góp mới về mặt lý luận

  1. Thiết lập hệ bất đẳng thức tương đương tô-pô giữa các thước đo độ chính xác: Chứng minh rằng ba thước đo phổ biến nhất trong phân lớp nhị phân là AUC ROC, MBA và MWA có mối liên hệ giải tích chặt chẽ và tương đương tô-pô, khẳng định tính khả thi của việc sử dụng thay thế lẫn nhau trong việc đánh giá và tối ưu mô hình học máy.
  2. Chứng minh tính tối ưu và tính lồi của máy xác suất thực: Đưa ra chứng minh toán học giải tích mới, ngắn gọn khẳng định máy xác suất thực đạt độ chính xác tối ưu trong không gian thông tin cho trước và đường cong ROC của máy xác suất thực luôn là đường lồi.
  3. Xác lập công thức giới hạn lý thuyết cho phương pháp biểu quyết: Chỉ ra chặn trên của độ chính xác khi tăng số lượng máy phân lớp tham gia biểu quyết lên vô hạn.
  4. Xây dựng lý thuyết hàm mất mát tối ưu và phân tích bẫy ngẫu nhiên: Chứng minh các hàm mất mát bình phương, cross-entropy và lớp hàm siêu-lồi đều có điểm cực tiểu hội tụ về máy xác suất thực; giải thích toán học về cơ chế gây ra bẫy ngẫu nhiên của các hàm mất mát không lồi trong quá trình tối ưu trượt gradient.
  5. Đề xuất khung lý thuyết biểu quyết tô-pô trong phân đoạn hình ảnh: Xây dựng phương pháp biểu quyết tô-pô (3 biến thể: đơn giản, địa phương, kết hợp) và chứng minh toán học tính hợp lý trên không gian 1 chiều và 2 chiều.

Những đóng góp mới về mặt thực tiễn và giải pháp đề xuất

  1. Nguyên tắc thiết kế hàm mất mát cho dữ liệu mất cân bằng: Đề xuất quy chuẩn xây dựng các hàm mất mát lồi/siêu-lồi kết hợp tham số phạt bất đối xứng để triệt tiêu hiện tượng mô hình đoán lệch về nhóm nhãn đa số trong các bài toán thực tế có độ chênh lệch mẫu lớn.
  2. Quy trình biểu quyết nâng cao chất lượng xử lý ảnh: Cung cấp giải pháp hậu xử lý (post-processing ensemble) thông qua biểu quyết tô-pô và biểu quyết lai, cho phép tăng độ chính xác phân đoạn hình ảnh mà không đòi hỏi tái cấu trúc hay huấn luyện lại toàn bộ mạng nơ-ron nền tảng.
  3. Hiệu quả thực nghiệm trên các bài toán thị giác máy tính và phân tích dữ liệu: Chứng minh tính ứng dụng thành công của biểu quyết tô-pô trên 3 bài toán lớn: phân đoạn cấu trúc muối địa chấn trong thăm dò địa chất, nhận diện khuôn mặt người trong ảnh kỹ thuật số, và phân đoạn hệ thống vi mạch máu võng mạc hỗ trợ chẩn đoán y tế tự động (tập dữ liệu DRIVE).

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu

  • Phạm vi học máy: Luận án mới chỉ tập trung giải quyết lớp bài toán học máy có giám sát (supervised learning) cho phân lớp nhị phân và phân đoạn ảnh 2D, chưa mở rộng sang học không giám sát (unsupervised learning) hoặc học tự giám sát (self-supervised learning).
  • Giới hạn không gian chứng minh lý thuyết: Các chứng minh giải tích toán học về tính ưu việt của biểu quyết tô-pô trong Chương 4 mới được hoàn thiện trọn vẹn trên mô hình không gian 1 chiều và 2 chiều; chứng minh tổng quát cho không gian dữ liệu $n$ chiều ($n \ge 3$) có độ phức tạp giải tích rất lớn nên chưa được trình bày đầy đủ trong phạm vi bản luận án.

Hướng nghiên cứu tiếp

  • Mở rộng xây dựng chứng minh toán học tổng quát cho phương pháp biểu quyết tô-pô trên không gian $n$ chiều bất kỳ.
  • Phát triển và ứng dụng phương pháp biểu quyết tô-pô vào phân đoạn dữ liệu không gian 3 chiều và chuỗi thời gian 4 chiều (như ảnh chụp cắt lớp vi tính CT, ảnh cộng hưởng từ MRI đa chiều trong y tế).
  • Nghiên cứu cơ chế hàm mất mát siêu-lồi và biểu quyết tô-pô cho các mô hình học không giám sát và các bài toán phân lớp đa nhãn (multi-class / multi-label classification).

Giá trị tham khảo

Luận án mang lại giá trị tham khảo học thuật và ứng dụng chuyên sâu cho các nhóm đối tượng:

  • Nghiên cứu sinh và học viên cao học ngành Toán ứng dụng, Khoa học dữ liệu và Trí tuệ nhân tạo: Có thể sử dụng Chương 1, Chương 2 và Chương 3 như tài liệu tham khảo chuẩn mực về giải tích toán học trong học máy, đặc biệt là phương pháp tiếp cận giải tích hàm và lý thuyết xác suất để chứng minh các tính chất tối ưu của mô hình học sâu.
  • Giảng viên và các nhà nghiên cứu lý thuyết AI: Tham khảo các kỹ thuật chứng minh tính lồi của đường cong ROC, hệ bất đẳng thức tương đương tô-pô giữa AUC - MBA - MWA, và các phân tích giải tích về hàm mất mát siêu-lồi.
  • Kỹ sư thị giác máy tính và chuyên gia phát triển phần mềm AI: Tham khảo trực tiếp thuật toán biểu quyết tô-pô và biểu quyết kết hợp tại Chương 4 để áp dụng vào các hệ thống phân đoạn ảnh thực tế, giúp nâng cao chỉ số IOU/Jaccard mà không làm tăng chi phí tính toán huấn luyện mô hình.
  • Các nhà nghiên cứu ứng dụng trong Y tế và Địa chất: Tham khảo quy trình phân đoạn ảnh cấu trúc địa chấn và phân đoạn vi mạch máu võng mạc (tập DRIVE) để ứng dụng vào công tác xử lý ảnh y sinh và thăm dò địa vật lý.

Câu hỏi thường gặp

1. Tại sao ba thước đo độ chính xác AUC, MBA và MWA có thể dùng thay thế cho nhau khi đánh giá mô hình phân lớp nhị phân?

Luận án chứng minh rằng diện tích dưới đường cong ROC (AUC), độ chính xác cân bằng tối đa (MBA) và độ chính xác có trọng tối đa (MWA) có mối liên hệ giải tích thông qua một hệ bất đẳng thức xác định. Các bất đẳng thức này chứng minh tính tương đương về mặt tô-pô: khi một trong ba thước đo tiệm cận đến giá trị cực đại ($1$), hai thước đo còn lại cũng hội tụ về $1$. Do đó, việc tối ưu hóa theo bất kỳ chỉ số nào trong số ba chỉ số này đều dẫn đến sự cải thiện đồng biến của các chỉ số còn lại.

2. Máy xác suất thực trong phân lớp nhị phân được định nghĩa như thế nào và có tính chất gì đối với đường cong ROC?

Máy xác suất thực đối với không gian đặc trưng $\phi$ được định nghĩa là hàm xác suất có điều kiện: $$M(x) = P(Y(x) = 1 \mid \phi(x) = \varphi)$$ Luận án chứng minh rằng máy xác suất thực là máy tối ưu tuyệt đối (cho độ chính xác phân loại cao nhất trong toàn bộ lớp các máy xây dựng trên cùng không gian đặc trưng) và đường cong ROC của máy xác suất thực luôn là một đường lồi trên mặt phẳng toạ độ đơn vị.

3. Nguyên nhân toán học nào khiến mô hình học máy vi phân rơi vào "bẫy ngẫu nhiên" khi huấn luyện?

Hiện tượng "bẫy ngẫu nhiên" xuất hiện khi mô hình sử dụng các hàm mất mát không lồi (non-convex loss function). Trong quá trình tối ưu trượt gradient (gradient descent), các hàm không lồi tạo ra các điểm dừng, cực tiểu địa phương hoặc điểm yên ngựa không mong muốn. Tại các vị trí này, gradient bị triệt tiêu hoặc dẫn hướng sai lệch, khiến mô hình đưa ra dự đoán tầm thường (ví dụ gán tất cả mẫu về cùng một nhãn) và thuật toán bị kẹt lại mà không thể tiếp tục tối ưu hóa độ chính xác.

4. Phương pháp biểu quyết tô-pô khác biệt căn bản như thế nào so với biểu quyết số học truyền thống trong phân đoạn hình ảnh?

Biểu quyết số học truyền thống (cứng hoặc mềm) chỉ thực hiện phép đếm phiếu hoặc tính trung bình xác suất độc lập tại từng điểm ảnh (pixel), hoàn toàn bỏ qua ngữ cảnh không gian. Ngược lại, phương pháp biểu quyết tô-pô tích hợp cấu trúc hình học, hình dạng toàn cục và tính liên thông không gian của đối tượng ảnh (thông qua khoảng cách tô-pô hoặc phân tích lân cận địa phương bán kính $s$), giúp loại bỏ các nhiễu biên và duy trì tính liên tục của vùng phân đoạn.

5. Quy trình thực hiện phương pháp biểu quyết kết hợp (hybrid voting) giữa tô-pô và số học diễn ra như thế nào?

Biểu quyết kết hợp được thực hiện qua hai vòng tuần tự:

  • Vòng 1 (Sàng lọc tô-pô): Đánh giá khoảng cách tô-pô giữa tất cả các bộ phân đoạn tham gia. Các bộ phân đoạn có hình thái dị biệt lớn, nằm cách xa cụm phân đoạn chính (outliers) sẽ bị loại bỏ khỏi danh sách.
  • Vòng 2 (Biểu quyết số học): Áp dụng biểu quyết số học (cứng hoặc mềm) trên tập hợp các bộ phân đoạn hợp thức còn lại sau Vòng 1 để đưa ra mặt nạ phân đoạn cuối cùng.

Kết luận

Luận án tiến sĩ của tác giả Lê Bích Phượng đã giải quyết thành công các bài toán cốt lõi trong phân lớp nhị phân và phân đoạn hình ảnh bằng công cụ giải tích và tối ưu toán học. Tác giả đã chứng minh chặt chẽ tính tương đương tô-pô giữa các thước đo độ chính xác AUC, MBA, MWA, tính tối ưu và tính lồi đường cong ROC của máy xác suất thực, đồng thời xác lập cơ sở toán học cho việc thiết kế hàm mất mát lồi/siêu-lồi. Bên cạnh đó, việc đề xuất và kiểm chứng thành công phương pháp biểu quyết tô-pô trên các tập dữ liệu địa chấn, khuôn mặt người và mạch máu võng mạc đã mang lại giải pháp kỹ thuật hiệu quả cho bài toán phân đoạn hình ảnh trong thị giác máy tính.