Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực khoa học dữ liệu và công nghệ thông tin, sự gia tăng nhanh chóng về quy mô và độ phức tạp của các tập dữ liệu đa chiều đặt ra thách thức lớn đối với công tác lưu trữ, xử lý và trích xuất thông tin. Khi số chiều dữ liệu tăng cao, chi phí tính toán tăng theo cấp số nhân và xuất hiện hiện tượng dư thừa thông tin hoặc nhiễu. Để giải quyết vấn đề này, các kỹ thuật phân tích ma trận trong đại số tuyến tính như phân rã giá trị kì dị (Singular Value Decomposition - SVD) và phân tích thành phần chính (Principal Component Analysis - PCA) trở thành những công cụ toán học nền tảng nhằm giảm số chiều dữ liệu mà vẫn bảo toàn tối đa lượng thông tin cốt lõi.

Khóa luận tốt nghiệp đại học ngành Toán ứng dụng (chuyên ngành Khoa học dữ liệu) của tác giả Nguyễn Nhật Nam tại Trường Đại học Quy Nhơn tập trung nghiên cứu lý thuyết và ứng dụng của hai phương pháp trên. Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định cụ thể như sau:

  1. Hệ thống hóa các kiến thức cơ sở về đại số tuyến tính, giải tích ma trận và lý thuyết xác suất thống kê nhiều chiều làm nền tảng phân tích.
  2. Trình bày chi tiết bản chất toán học, định lý tồn tại, thuật toán tính toán và các tính chất cấu trúc của phân tích giá trị kì dị (SVD).
  3. Phân tích mô hình toán học của phép phân tích thành phần chính (PCA), chứng minh tính không duy nhất nghiệm và thiết lập mối liên hệ bản chất giữa bài toán PCA với phân rã SVD.
  4. Nghiên cứu và thực nghiệm các ứng dụng thực tế của SVD và PCA trong bài toán xấp xỉ ma trận hạng thấp tốt nhất, kỹ thuật nén dữ liệu ảnh số và nhận dạng khuôn mặt thông qua phương pháp Eigenface kết hợp mô hình phân loại học máy.

Đối tượng nghiên cứu của khóa luận là phương pháp phân rã giá trị kì dị (SVD) và phân tích thành phần chính (PCA). Phạm vi nghiên cứu về mặt không gian tập trung vào cấu trúc không gian vector thực $\mathbb{R}^n$, không gian ma trận thực cấp $m \times n$ ($\mathbb{R}^{m \times n}$), cùng các tập dữ liệu thực nghiệm gồm ma trận ảnh số xám kích thước $130 \times 130$ điểm ảnh và bộ dữ liệu ảnh khuôn mặt LFW (Labeled Faces in the Wild). Phạm vi thời gian nghiên cứu và hoàn thành khóa luận là năm 2023.

Cơ sở lý thuyết và phương pháp

Khóa luận được xây dựng dựa trên hệ thống cơ sở lý thuyết đại số tuyến tính và thống kê đa biến, bao gồm các khái niệm và công cụ giải tích toán học chuẩn xác:

  • Đại số tuyến tính: Ma trận thực cấp $m \times n$, ma trận trực giao ($A^T A = A A^T = I$), ma trận đối xứng, ma trận nghịch đảo ($A^{-1}$), ma trận giả nghịch đảo ($A^+$), định thức và hạng của ma trận ($\text{rank}(A)$).
  • Chuẩn ma trận: Chuẩn Frobenius $|A|F = \sqrt{\sum{i=1}^m \sum_{j=1}^n a_{ij}^2}$ và chuẩn phổ (chuẩn 2) $|A|2 = \max{x \ne 0} \frac{|Ax|_2}{|x|2} = \max{x^T x = 1} \sqrt{x^T A^T A x}$.
  • Lý thuyết phổ: Giá trị riêng và vector riêng thông qua đa thức đặc trưng $\det(A - \lambda I) = 0$; Định lý phổ của ma trận đối xứng thực xác lập sự tồn tại của phân tích giá trị riêng (Eigenvalue Decomposition - EVD): $A = U D U^T$ với $U$ là ma trận trực giao và $D$ là ma trận đường chéo chứa các giá trị riêng thực.
  • Xác suất thống kê: Vector kỳ vọng $\bar{x}$, phương sai $\sigma^2$ (đo lường mức độ phân tán thông tin) và ma trận hiệp phương sai $C = \frac{1}{N} \hat{X} \hat{X}^T$ (trong đó $\hat{X}$ là dữ liệu đã trừ kỳ vọng mẫu).
  • Định lý Eckart-Young: Định lý nền tảng khẳng định ma trận SVD chặt cụt cấp $k$ chính là ma trận xấp xỉ hạng thấp tốt nhất theo cả chuẩn Frobenius và chuẩn 2.
  • Học máy phân loại: Mô hình máy vector hỗ trợ (Support Vector Machine - SVM).

Về phương pháp nghiên cứu, tác giả kết hợp chặt chẽ giữa hai phương pháp:

  • Phương pháp suy diễn toán học và chứng minh giải tích: Sử dụng phương pháp quy nạp toán học kết hợp phép trực giao hóa Gram-Schmidt để chứng minh Định lý phổ; sử dụng biến đổi tối ưu hóa có ràng buộc (nhân tử Lagrange và đổi biến trực giao) để tìm nghiệm các thành phần chính; sử dụng phương pháp phản chứng không gian con để chứng minh Định lý Eckart-Young cho chuẩn 2.
  • Phương pháp thực nghiệm tính toán trên máy tính: Cài đặt các thuật toán SVD và PCA bằng ngôn ngữ lập trình Python 3; thực hiện tính toán trên các ma trận số học cụ thể, xử lý dữ liệu ma trận điểm ảnh số và huấn luyện mô hình phân loại SVM trên tập dữ liệu thực tế.

Nguồn dữ liệu sử dụng trong nghiên cứu bao gồm:

  • Dữ liệu ma trận số học thực nghiệm trong các ví dụ tính toán bước giải thuật.
  • Ma trận ảnh số kích thước $130 \times 130$ điểm ảnh (ở cả định dạng ảnh màu 3 kênh và ảnh xám 1 kênh).
  • Bộ dữ liệu hình ảnh khuôn mặt thực tế LFW (Labeled Faces in the Wild) gồm 1.288 ảnh thuộc 7 cá nhân nổi tiếng, mỗi ảnh có độ phân giải $50 \times 37$ điểm ảnh.

Nội dung chính theo từng chương

Chương 1: Một số kiến thức chuẩn bị

Chương này hệ thống hóa các định nghĩa và bổ đề cơ bản cần thiết cho việc phát triển các chương tiếp theo:

  • Khái niệm ma trận và các dạng đặc biệt: Trình bày cấu trúc ma trận thực cấp $m \times n$, ma trận đơn vị $I_n$, ma trận đường chéo, ma trận nghịch đảo, ma trận chuyển vị $A^T$, ma trận đối xứng và ma trận trực giao. Khẳng định tính chất ma trận trực giao có ma trận chuyển vị trùng với ma trận nghịch đảo ($A^T = A^{-1}$) và các vector cột/hàng lập thành hệ trực chuẩn.
  • Định thức, hạng và chuẩn ma trận: Trình bày cách tính định thức qua phần bù đại số, định nghĩa hạng ma trận qua cấp của định thức con cơ sở khác 0. Thiết lập các tính chất của chuẩn Frobenius $|A|_F$ và chuẩn 2 $|A|_2$.
  • Giá trị riêng và Định lý phổ của ma trận đối xứng: Định nghĩa đa thức đặc trưng, giá trị riêng và vector riêng. Tác giả chứng minh chi tiết Định lý phổ bằng phương pháp quy nạp toán học kết hợp thuật toán trực giao hóa Gram-Schmidt, chỉ ra rằng với mọi ma trận đối xứng thực $A$ cấp $n$, luôn tồn tại ma trận trực giao $U$ và ma trận đường chéo $D$ sao cho $A = UDU^T$.
  • Cơ sở xác suất thống kê: Định nghĩa kỳ vọng toán học $E[x]$, tính chất tuyến tính của kỳ vọng, khái niệm phương sai và độ lệch chuẩn $\sigma$. Trình bày công thức ma trận hiệp phương sai cho $N$ điểm dữ liệu: $$\bar{x} = \frac{1}{N}\sum_{n=1}^N x_n, \quad \hat{x}_n = x_n - \bar{x}$$ Chỉ ra các tính chất quan trọng: ma trận hiệp phương sai luôn đối xứng, các phần tử trên đường chéo chính là phương sai của từng chiều dữ liệu (không âm), và các phần tử ngoài đường chéo thể hiện mức độ tương quan tuyến tính giữa các biến.

Chương 2: PHÂN TÍCH GIÁ TRỊ KÌ DỊ

Chương này đi sâu vào bản chất toán học của phân tích SVD cho ma trận chữ nhật thực:

  • Lược sử phát triển: Điểm lại các mốc phát triển của SVD từ Eugenio Beltrami và Camille Jordan (1873-1874) với dạng song tuyến tính, James Joseph Sylvester (1889) với ma trận vuông, Léon Autonne (1915) với phân tích cực, đến Carl Eckart và Gale Young (1936) với chứng minh tổng quát cho ma trận chữ nhật thực và ma trận vuông phức.
  • Định lý tồn tại SVD: Chứng minh mọi giá trị riêng của ma trận đối xứng $A^T A$ đều không âm. Định nghĩa giá trị kì dị $\sigma_i = \sqrt{\lambda_i(A^T A)}$. Phát biểu và chứng minh định lý mọi ma trận $A \in \mathbb{R}^{m \times n}$ đều tồn tại biểu diễn: $$A = U D V^T$$ trong đó $U \in \mathbb{R}^{m \times m}$ và $V \in \mathbb{R}^{n \times n}$ là các ma trận trực giao, $D \in \mathbb{R}^{m \times n}$ là ma trận đường chéo chứa các giá trị kì dị $\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$.
  • Dạng khai triển và SVD chặt cụt: Thiết lập dạng khai triển thành tổng các ma trận hạng 1: $$A = \sum_{i=1}^r \sigma_i u_i v_i^T$$ với $u_i$ là các vector kì dị trái và $v_i$ là các vector kì dị phải. Dạng SVD chặt cụt biểu diễn qua $A = U_r D_r V_r^T$ khi $\text{rank}(A) = r < \min(m, n)$.
  • Thuật toán tìm SVD: Xây dựng quy trình 3 bước tính toán (tìm giá trị riêng và vector riêng của $A^T A$, suy ra $V$ và $D$, tính các vector kì dị trái $u_i = \frac{1}{\sigma_i}Av_i$ và bổ sung cơ sở trực chuẩn để tạo $U$). Minh họa bằng ví dụ tính toán trên ma trận $3 \times 2$: $$A = \begin{bmatrix} 1 & 0 \ 1 & 0 \ 0 & 1 \end{bmatrix} \implies A^T A = \begin{bmatrix} 2 & 0 \ 0 & 1 \end{bmatrix} \implies \sigma_1 = \sqrt{2}, \sigma_2 = 1$$
  • Tính chất liên quan đến SVD: Chứng minh rằng hạng của ma trận $A$ đúng bằng số lượng các giá trị kì dị dương ($\text{rank}(A) = r$); ma trận tổng riêng phần $A_k = \sum_{i=1}^k \sigma_i u_i v_i^T$ có hạng chính xác bằng $k$ ($k < r$); và chuẩn Frobenius của ma trận liên hệ trực tiếp với các giá trị kì dị qua hệ thức $|A|_F = \sqrt{\sigma_1^2 + \dots + \sigma_r^2}$.

Chương 3: Phân tích thành phần chính

Chương này trình bày phương pháp PCA dưới góc độ đại số ma trận và tối ưu hóa thống kê:

  • Cơ sở ý tưởng: Giới thiệu phương pháp do Karl Pearson đề xuất năm 1901. Ý tưởng cốt lõi là chuyển dữ liệu từ không gian nhiều chiều sang không gian ít chiều hơn bằng cách tìm hệ trục tọa độ mới sao cho phương sai của dữ liệu trên các trục mới là lớn nhất (bảo toàn tối đa lượng thông tin) và các biến mới không tương quan với nhau.
  • Mô hình toán học của PCA: Cho ma trận dữ liệu đã chuẩn hóa trung bình $X \in \mathbb{R}^{m \times n}$, bài toán PCA với $r$ thành phần chính là tìm ma trận trực giao $A \in \mathbb{R}^{m \times r}$ và ma trận tải $B \in \mathbb{R}^{n \times r}$ để tối thiểu hóa sai số tái tạo $|E|_2 = |X - A B^T|_2$.
  • Mối liên hệ giữa PCA và SVD: Chứng minh nghiệm tối ưu của mô hình PCA chính là phân rã SVD chặt cụt của ma trận dữ liệu $X = U_r D_r V_r^T$, trong đó $A = U_r$ và $B^T = D_r V_r^T$. Tổng phương sai giải thích được tính bởi: $$\text{Tr}(B B^T) = \text{Tr}(D_r^2) = \sum_{i=1}^r \sigma_i^2$$
  • Giải bài toán tối ưu thành phần chính: Thiết lập bài toán cực đại hóa phương sai dạng $\max_{|w|=1} w^T C w$ với $C$ là ma trận hiệp phương sai. Chuyển đổi bài toán tối ưu qua định lý phổ để chứng minh các vector thành phần chính lần lượt là các vector riêng của $C$ ứng với các giá trị riêng xếp theo thứ tự giảm dần.
  • Tính không duy nhất nghiệm của PCA: Chứng minh Định lý 3.1: Nếu $(A, B)$ là một nghiệm của mô hình PCA thì với mọi ma trận trực giao $Q$ cấp $r$, cặp $(AQ, BQ)$ cũng là một nghiệm hợp lệ của mô hình (phép quay trực giao).
  • Thuật toán và công thức chiếu: Trình bày thuật toán PCA 4 bước chuẩn hóa và tái tạo dữ liệu: $$X \approx A_r B_r^T + \bar{x}$$ Điểm dữ liệu mới $v \in \mathbb{R}^D$ được giảm chiều về $w \in \mathbb{R}^K$ theo công thức chiếu: $$w = A_r^T (v - \bar{x})$$

Chương 4: Một số ứng dụng SVD và PCA

Chương này dành cho việc chứng minh các định lý ứng dụng và triển khai thực nghiệm:

  • Ứng dụng của SVD trong bài toán xấp xỉ hạng thấp tốt nhất: Phát biểu và chứng minh hoàn chỉnh Định lý Eckart-Young:
    • Với chuẩn Frobenius: Chứng minh bổ đề đánh giá chặn trên và thiết lập bất đẳng thức $|A - B|F^2 \ge |A|F^2 - \sum{i=1}^k \sigma_i^2 = \sum{i=k+1}^r \sigma_i^2$. Đẳng thức xảy ra khi và chỉ khi $B = A_k = \sum_{i=1}^k \sigma_i u_i v_i^T$.
    • Với chuẩn 2: Sử dụng phương pháp phản chứng trên không gian con giao nhau $U \cap W$ có số chiều $\dim(U+W) = r+1 > r$ để chứng minh rằng với mọi ma trận $B$ có $\text{rank}(B) \le k$, ta luôn có $|A - B|2 \ge \sigma{k+1}$, và dấu bằng đạt được tại $B = A_k$ với sai số đúng bằng $|A - A_k|2 = \sigma{k+1}$.
    • Xác lập công thức định lượng sai số xấp xỉ: $$\frac{|A - A_k|F^2}{|A|F^2} = \frac{\sum{i=k+1}^r \sigma_i^2}{\sum{i=1}^r \sigma_i^2}$$
  • Phân tích SVD trong xử lý ảnh số:
    • Phân tích lý thuyết lưu trữ: Một ảnh màu kích thước $130 \times 130$ điểm ảnh gồm 3 ma trận màu (R, G, B) yêu cầu lưu trữ $3 \times 130 \times 130 = 50.700$ giá trị. Khi sử dụng SVD xấp xỉ tại hạng $k=16$, mỗi ma trận chỉ cần lưu 16 giá trị kì dị, 16 vector $u_i$ và 16 vector $v_i$, tương đương $16 \times (1 + 130 + 130) = 4.176$ số. Tổng 3 ma trận cần $12.528$ số, giảm tải hơn $75%$ dung lượng.
    • Thực nghiệm trên ảnh xám $130 \times 130 \times 1$: Khảo sát các mức giảm chiều $k \in {4, 16, 32, 64}$. Kết quả cho thấy tại $k=32$, dung lượng lưu trữ giảm khoảng 50% nhưng chất lượng hình ảnh vẫn giữ được các chi tiết nhận diện quan trọng.
  • Eigenface và ứng dụng PCA trong nhận dạng khuôn mặt:
    • Quy trình Eigenface: Làm phẳng mỗi ảnh $50 \times 37$ thành vector 1.850 chiều. Tập dữ liệu LFW gồm 1.288 ảnh được tổ chức thành ma trận $(1850 \times 1288)$ chia làm 7 phân lớp cá nhân.
    • Phân chia dữ liệu: Tập huấn luyện gồm 966 mẫu (ma trận $1850 \times 966$) và tập kiểm thử gồm 322 mẫu (ma trận $1850 \times 322$), tương ứng tỷ lệ phân chia xấp xỉ 75:25.
    • Giảm chiều và phân loại: Áp dụng PCA trích xuất $k=150$ thành phần chính (Eigenfaces), giảm số chiều từ 1.850 xuống 150. Chiếu dữ liệu kiểm thử lên không gian 150 chiều này và huấn luyện bộ phân loại SVM. Kết quả thực nghiệm cho thấy mô hình đạt độ chính xác trung bình (accuracy) 80% trên tập kiểm thử 322 mẫu.
  • Nghiên cứu về ứng dụng SVD trong kiến trúc Transformer: Mục 4.4 của văn bản đặt vấn đề nghiên cứu mở rộng về tiềm năng ứng dụng phân tích ma trận SVD trong việc nén và tối ưu hóa ma trận trọng số của mô hình Transformer.

Kết quả và đóng góp

Khóa luận đã tổng hợp và thực nghiệm các kết quả định lượng cụ thể, được tóm tắt trong các bảng số liệu sau:

Bảng 1: So sánh hiệu quả nén ảnh số bằng SVD đối với ảnh màu $130 \times 130$

Phương pháp biểu diễn Cấp xấp xỉ ($k$) Số tham số cần lưu trữ trên 1 kênh Tổng tham số lưu trữ (3 kênh) Tỉ lệ dung lượng so với gốc
Ma trận ảnh gốc đầy đủ $r = 130$ 16.900 50.700 100%
Xấp xỉ SVD hạng thấp $k = 16$ 4.176 12.528 24,71%

Bảng 2: Thông số thực nghiệm bài toán nhận dạng khuôn mặt Eigenface trên bộ dữ liệu LFW

Thông số / Chỉ tiêu thực nghiệm Giá trị trong thực nghiệm
Số lượng cá nhân (phân lớp) 7 người nổi tiếng
Kích thước ảnh gốc $50 \times 37$ pixels (1.850 chiều)
Tổng số lượng ảnh mẫu 1.288 ảnh
Kích thước ma trận tập huấn luyện $1.850 \times 966$ (966 mẫu)
Kích thước ma trận tập kiểm thử $1.850 \times 322$ (322 mẫu)
Số lượng thành phần chính được chọn ($k$) 150 Eigenfaces
Tỉ lệ giảm số chiều dữ liệu Từ 1.850 xuống 150 chiều (giảm 91,89%)
Thuật toán phân loại Support Vector Machine (SVM)
Độ chính xác tổng thể (Accuracy) 80% trên tập kiểm thử

Đóng góp chính của khóa luận

  1. Về mặt lý thuyết: Cung cấp hệ thống chứng minh toán học đầy đủ, liền mạch cho Định lý phổ của ma trận đối xứng, Định lý phân rã SVD và Định lý xấp xỉ hạng thấp Eckart-Young theo cả hai chuẩn Frobenius và chuẩn 2. Làm rõ bản chất toán học của PCA như một trường hợp riêng của SVD chặt cụt trên ma trận hiệp phương sai.
  2. Về mặt giải thuật: Xây dựng quy trình thuật toán tường minh trên Python 3 cho cả SVD và PCA, cung cấp các ví dụ tính toán số học cụ thể từng bước giúp kiểm chứng tính đúng đắn của lý thuyết.
  3. Về mặt thực nghiệm: Minh chứng rõ ràng hiệu quả của SVD trong việc nén dung lượng ảnh (tại $k=32$ giảm 50% dung lượng trên ảnh xám; tại $k=16$ giảm gần 75% số tham số trên ảnh màu) và hiệu quả của PCA/Eigenface khi giảm hơn 91% số chiều dữ liệu mà vẫn đảm bảo độ chính xác phân loại 80% với bộ phân loại SVM.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung được trình bày trong khóa luận, các hạn chế và hướng mở rộng được xác định như sau:

  • Hạn chế:
    • Phạm vi khảo sát lý thuyết tập trung hoàn toàn vào ma trận thực hữu hạn chiều, chưa mở rộng sang không gian vô hạn chiều hoặc các ma trận phức phức tạp.
    • Các phương pháp SVD và PCA cổ điển là các phép biến đổi tuyến tính; do đó khóa luận chưa giải quyết được bài toán giảm chiều đối với các cấu trúc dữ liệu có tính chất phi tuyến phức tạp (chưa đề cập đến Kernel PCA).
    • Thực nghiệm nhận dạng khuôn mặt mới dừng lại ở tập con 7 phân lớp của bộ dữ liệu LFW và sử dụng bộ phân loại SVM cơ bản; các tham số đo lường chi tiết của báo cáo phân loại (precision, recall, f1-score từng lớp) chưa được phân tích sâu nguyên nhân sai số giữa các lớp.
    • Nội dung ứng dụng SVD trong kiến trúc Transformer ở mục 4.4 mới dừng ở mức giới thiệu định hướng lý thuyết, chưa có dữ liệu thực nghiệm kiểm chứng cụ thể như hai bài toán nén ảnh và Eigenface.
  • Hướng nghiên cứu tiếp:
    • Mở rộng phân tích sang các cấu trúc ma trận đa chiều (Tensor Decomposition hoặc Higher-Order SVD).
    • Triển khai thực nghiệm định lượng việc ứng dụng SVD để nén các ma trận trọng số lớn (Weight Factorization/Low-rank Adaptation) trong kiến trúc học sâu Transformer nhằm tối ưu hóa bộ nhớ và tăng tốc độ suy luận.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo phù hợp cho:

  • Sinh viên và học viên: Ngành Toán ứng dụng, Khoa học dữ liệu, Trí tuệ nhân tạo và Công nghệ thông tin cần nắm vững nền tảng đại số tuyến tính tính toán và cơ sở giải tích của các thuật toán giảm chiều.
  • Người nghiên cứu đề tài liên quan: Những người thực hiện đề tài về xử lý tín hiệu số, xử lý ảnh số, nén dữ liệu và thị giác máy tính cổ điển.
  • Nội dung đáng tham khảo nhất:
    • Phần chứng minh giải tích chặt chẽ của Định lý phổ và Định lý Eckart-Young (Chương 1, Chương 2 và Chương 4).
    • Khung quy đổi toán học chuẩn xác giữa bài toán tối ưu ma trận hiệp phương sai của PCA và thuật toán SVD chặt cụt (Chương 3).
    • Quy trình tiền xử lý, cấu trúc hóa ma trận và thiết lập thực nghiệm Eigenface kết hợp SVM trên bộ dữ liệu ảnh LFW (Chương 4).

Câu hỏi thường gặp

1. Phân tích giá trị kì dị (SVD) và phân tích thành phần chính (PCA) có mối liên hệ toán học trực tiếp như thế nào?

Theo Chương 3 của khóa luận, nghiệm của bài toán PCA trên ma trận dữ liệu đã chuẩn hóa trung bình $X \in \mathbb{R}^{m \times n}$ với $r$ thành phần chính tương ứng chính xác với phân rã SVD chặt cụt của $X$. Cụ thể, nếu $X = U_r D_r V_r^T$ là SVD chặt cụt của $X$, thì ma trận thành phần chính là $A = U_r$ và ma trận tải chuyển vị là $B^T = D_r V_r^T$. Hơn nữa, tổng phương sai được giải thích bởi $r$ thành phần chính đúng bằng tổng bình phương của $r$ giá trị kì dị lớn nhất: $\text{Tr}(D_r^2) = \sum_{i=1}^r \sigma_i^2$.

2. Định lý Eckart-Young khẳng định điều gì về ma trận xấp xỉ hạng thấp $A_k$?

Định lý Eckart-Young (trình bày tại Mục 4.1) khẳng định rằng đối với ma trận thực $A$ bất kỳ có hạng $r$, ma trận $A_k = \sum_{i=1}^k \sigma_i u_i v_i^T$ ($k < r$) thu được từ phân rã SVD chính là ma trận xấp xỉ hạng $k$ tốt nhất của $A$ theo cả hai chuẩn:

  • Theo chuẩn Frobenius: Sai số xấp xỉ đạt cực tiểu và bằng $|A - A_k|F = \sqrt{\sum{i=k+1}^r \sigma_i^2}$.
  • Theo chuẩn 2: Sai số xấp xỉ đạt cực tiểu và bằng đúng giá trị kì dị thứ $k+1$, tức $|A - A_k|2 = \sigma{k+1}$.

3. Trong thực nghiệm nén ảnh số, việc giảm số lượng giá trị kì dị ảnh hưởng như thế nào đến dung lượng và chất lượng ảnh?

Tại Mục 4.2, đối với ảnh màu $130 \times 130$, việc lưu trữ ma trận đầy đủ cần $50.700$ số; khi áp dụng SVD với $k=16$, số lượng giá trị cần lưu giảm xuống còn $12.528$ số. Đối với ảnh xám $130 \times 130 \times 1$, thực nghiệm với $k \in {4, 16, 32, 64}$ chỉ ra rằng tại ngưỡng $k=32$, dung lượng lưu trữ giảm được khoảng $50%$ trong khi vẫn bảo toàn được hầu hết thông tin cấu trúc và độ rõ nét của hình ảnh gốc.

4. Vì sao nghiệm của mô hình PCA không duy nhất?

Theo Định lý 3.1 trong Chương 3, nếu cặp ma trận $(A, B)$ là một nghiệm của mô hình PCA ($X = AB^T + E$), thì với mọi ma trận trực giao $Q$ cấp $r$ (thỏa mãn $QQ^T = Q^T Q = I_r$), cặp ma trận $(AQ, BQ)$ cũng là một nghiệm hợp lệ vì $(AQ)(BQ)^T = A(QQ^T)B^T = AB^T$ và chuẩn sai số $|X - (AQ)(BQ)^T|_2 = |X - AB^T|_2$ không đổi. Phép biến đổi $Q$ này được gọi là phép quay trực giao, thường được dùng để đơn giản hóa cấu trúc ma trận tải nhằm dễ diễn giải các nhân tố.

5. Dữ liệu khuôn mặt trong bộ dữ liệu LFW được chuẩn hóa và phân chia ra sao trong thực nghiệm nhận dạng bằng Eigenface?

Tại Mục 4.3, mỗi ảnh khuôn mặt trong bộ dữ liệu LFW có kích thước ban đầu là $50 \times 37$ pixels và được làm phẳng thành một vector cột 1.850 chiều. Tập dữ liệu gồm 1.288 ảnh thuộc 7 cá nhân nổi tiếng được ghép thành ma trận kích thước $(1850 \times 1288)$. Ma trận này được phân chia thành tập huấn luyện gồm 966 ảnh (kích thước $1850 \times 966$) và tập kiểm thử gồm 322 ảnh (kích thước $1850 \times 322$), trước khi được áp dụng PCA để rút gọn xuống 150 chiều đưa vào bộ phân loại SVM.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Nhật Nam đã hệ thống hóa toàn diện cơ sở toán học của phân tích giá trị kì dị (SVD) và phân tích thành phần chính (PCA), từ các định lý tồn tại đến thuật toán triển khai trên Python 3. Nghiên cứu đã chứng minh tính tối ưu của xấp xỉ ma trận hạng thấp và thiết lập mối liên hệ trực tiếp giữa SVD chặt cụt và mô hình PCA. Thông qua các thực nghiệm cụ thể trong nén ảnh số và nhận dạng khuôn mặt bằng Eigenface trên tập dữ liệu LFW đạt độ chính xác 80%, công trình khẳng định vai trò thiết thực của giải tích ma trận trong xử lý dữ liệu và học máy.