PHƯƠNG PHÁP PHÂN TÍCH THÀNH PHẦN CHÍNH TRONG XỬ LÝ DỮ LIỆU NHIỀU CHIỀU

Tìm hiểu phương pháp phân tích thành phần chính (PCA) trong xử lý dữ liệu nhiều chiều. Luận văn thạc sĩ khoa học về PCA và ứng dụng thực tế.

• Tác giả: Lưu Thị Thu Hiền
• Người hướng dẫn: TS. Nguyễn Trung Hiếu
• Trường học: Trường Đại học Khoa học Tự nhiên
• Chuyên ngành: Khoa học dữ liệu
• Đề tài: PHƯƠNG PHÁP PHÂN TÍCH THÀNH PHẦN CHÍNH TRONG XỬ LÝ DỮ LIỆU NHIỀU CHIỀU
• Loại tài liệu: Luận văn Thạc sĩ Khoa học
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ, BẢNG
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• MỞ ĐẦU
• 1. CHƯƠNG 1: KIẾN THỨC CƠ SỞ
• 1.1. Kiến thức liên quan đến đại số
• 1.1.1. Một số ma trận đặc biệt
• 1.1.2. Các vấn đề về giá trị riêng
• 1.2. Kiến thức liên quan đến Thống kê
• 1.2.1. Trung bình cộng
• 1.2.2. Điểm trung tâm, ma trận trung tâm
• 1.2.3. Phương sai và độ lệch chuẩn
• 1.2.4. Điểm chuẩn, ma trận điểm chuẩn
• 1.2.5. Hiệp phương sai, ma trận hiệp phương sai
• 1.2.6. Hệ số tương quan, ma trận tương quan
• 1.2.7. Ma trận dữ liệu trung tâm
• 1.2.8. Các chỉ số đánh giá mô hình trong bài toán phân lớp
• 2. CHƯƠNG 2: PHÂN TÍCH THÀNH PHẦN CHÍNH
• 2.1. Ý nghĩa hình học
• 2.2. Sự giảm bớt các biến thành các thành phần
• 2.3. Khai triển kì dị
• 2.3.1. Phát biểu về khai triển kì dị
• 2.3.2. Khai triển kì dị và phân tích giá trị riêng
• 2.3.3. Một số tính chất của ma trận thông qua khai triển kì dị
• 2.3.4. Xấp xỉ tốt nhất của ma trận
• 2.4. Vai trò của khai triển kì dị trong phân tích thành phần chính
• 2.4.1. SVD và nghiệm bình phương tối thiểu
• 2.5. Công thức với ma trận trọng số
• 2.6. Ràng buộc đối với các thành phần
• 2.7. Ý nghĩa của các thành phần
• 2.7.1. Ý nghĩa của các kèm theo
• 2.7.2. Ý nghĩa của các trọng số
• 2.8. Phần trăm của phương sai giải thích
• 3. CHƯƠNG 3: PHÂN TÍCH THÀNH PHẦN CHÍNH VỚI CÁC RÀNG BUỘC THAY ĐỔI
• 3.1. PCA với các ràng buộc khác
• 3.2. Cực đại hóa tổng các phương sai
• 3.3. Điểm hỗn hợp trọng số với phương sai cực đại
• 3.4. Phép chiếu véc tơ 3 chiều xuống không gian 2 chiều
• 3.5. Trực quan hóa các phân phối không nhìn thấy
• 3.6. Độ chính xác của phép chiếu
• 3.7. Một số phương pháp giảm chiều dữ liệu khác
• 3.7.1. Phân tích phân biệt tuyến tính
• 3.7.2. So sánh giữa các phương pháp
• 4. CHƯƠNG 4: PHÂN TÍCH THÀNH PHẦN CHÍNH TRONG BÀI TOÁN TÌM KHUÔN MẶT ĐẶC TRƯNG VÀ ỨNG DỤNG
• 4.1. Giới thiệu bài toán
• 4.2. Nhận diện khuôn mặt dựa vào phân tích thành phần chính
• 4.3. Mô tả dữ liệu
• 4.4. So sánh giữa các phương pháp giảm chiều dữ liệu
• 4.5. Số lượng thành phần chính
• 4.6. Khuôn mặt đặc trưng
• 4.7. Kết quả và so sánh
• KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG

Tóm tắt

I. PCA là gì Tổng quan về phân tích thành phần chính

Phân tích thành phần chính (PCA) là một kỹ thuật giảm chiều dữ liệu mạnh mẽ, được sử dụng rộng rãi trong khoa học dữ liệu và học máy. Mục đích chính của PCA là chuyển đổi một tập dữ liệu lớn với nhiều biến thành một tập nhỏ hơn các biến mới, được gọi là thành phần chính, mà vẫn giữ lại phần lớn thông tin quan trọng. Các thành phần chính này là các tổ hợp tuyến tính của các biến ban đầu và được sắp xếp theo thứ tự giảm dần của phương sai mà chúng giải thích. Bằng cách loại bỏ các thành phần chính có phương sai thấp, PCA giúp đơn giản hóa dữ liệu, giảm nhiễu và cải thiện hiệu suất của các thuật toán học máy tiếp theo. Luận văn thạc sĩ này tập trung vào việc khám phá và ứng dụng PCA trong xử lý dữ liệu đa chiều, đi sâu vào cơ sở lý thuyết, các biến thể và các ứng dụng thực tế của phương pháp này. Theo [Lưu Thị Thu Hiền, 2022], PCA xoay các trục của không gian dữ liệu dọc theo các đường có phương sai tối đa.

1.1. Cơ sở lý thuyết Eigenvalue và Eigenvector trong PCA

Nền tảng toán học của PCA dựa trên việc tìm Eigenvalue và Eigenvector của ma trận hiệp phương sai hoặc ma trận tương quan của dữ liệu. Eigenvector đại diện cho hướng của các thành phần chính, trong khi Eigenvalue cho biết lượng phương sai mà mỗi thành phần chính giải thích. Các Eigenvector tương ứng với Eigenvalue lớn nhất là thành phần chính đầu tiên, Eigenvector tương ứng với Eigenvalue lớn thứ hai là thành phần chính thứ hai, và cứ tiếp tục như vậy. Việc sắp xếp các thành phần chính theo thứ tự giảm dần của Eigenvalue cho phép lựa chọn các thành phần chính quan trọng nhất để giảm chiều dữ liệu một cách hiệu quả. Việc tính toán Eigenvalue và Eigenvector là một bước quan trọng trong quá trình thực hiện PCA, và việc hiểu rõ ý nghĩa của chúng là rất quan trọng để áp dụng thành công phương pháp này.

1.2. Các bước thực hiện PCA Hướng dẫn chi tiết cho người mới

Việc thực hiện PCA bao gồm một số bước chính. Đầu tiên, dữ liệu cần được chuẩn hóa để đảm bảo rằng tất cả các biến đều có cùng tỷ lệ. Tiếp theo, ma trận hiệp phương sai hoặc ma trận tương quan của dữ liệu được tính toán. Sau đó, Eigenvalue và Eigenvector của ma trận này được tìm thấy. Các Eigenvector được sắp xếp theo thứ tự giảm dần của Eigenvalue, và các thành phần chính quan trọng nhất được chọn. Cuối cùng, dữ liệu ban đầu được chiếu lên không gian mới được xác định bởi các thành phần chính đã chọn. Kết quả là một tập dữ liệu mới với số lượng biến ít hơn, nhưng vẫn giữ lại phần lớn thông tin quan trọng từ dữ liệu ban đầu. Quá trình này cho phép chúng ta giảm chiều dữ liệu một cách hiệu quả và đơn giản hóa việc phân tích. Theo [Lưu Thị Thu Hiền, 2022], các phương pháp chuyển đổi dữ liệu cho phép máy tính và con người giải thích dữ liệu dễ dàng hơn.

II. Thách thức khi dùng PCA Khi nào PCA không hiệu quả

Mặc dù PCA là một công cụ mạnh mẽ, nó không phải là giải pháp phù hợp cho mọi bài toán. Một trong những hạn chế lớn nhất của PCA là nó giả định rằng các mối quan hệ giữa các biến là tuyến tính. Nếu các mối quan hệ này là phi tuyến, PCA có thể không hiệu quả trong việc giảm chiều dữ liệu và trích xuất các đặc trưng quan trọng. Ngoài ra, PCA nhạy cảm với các giá trị ngoại lệ và nhiễu trong dữ liệu, có thể làm sai lệch các thành phần chính và ảnh hưởng đến kết quả. Một thách thức khác là việc lựa chọn số lượng thành phần chính phù hợp, vì việc chọn quá ít thành phần có thể dẫn đến mất thông tin quan trọng, trong khi chọn quá nhiều thành phần có thể không đạt được mục tiêu giảm chiều dữ liệu. PCA cần được xem xét và sử dụng một cách cẩn thận để tránh những vấn đề này.

2.1. PCA và dữ liệu phi tuyến tính Giải pháp thay thế Kernel PCA

Khi đối mặt với dữ liệu phi tuyến, các phương pháp như Kernel PCA có thể được sử dụng thay cho PCA tiêu chuẩn. Kernel PCA sử dụng các hàm kernel để ánh xạ dữ liệu vào một không gian có chiều cao hơn, nơi các mối quan hệ trở nên tuyến tính hơn. Sau đó, PCA tiêu chuẩn được áp dụng trong không gian mới này. Kernel PCA có thể hiệu quả hơn trong việc trích xuất các đặc trưng quan trọng từ dữ liệu phi tuyến, nhưng nó cũng có thể phức tạp hơn và đòi hỏi nhiều tính toán hơn so với PCA tiêu chuẩn. Việc lựa chọn giữa PCA tiêu chuẩn và Kernel PCA phụ thuộc vào tính chất của dữ liệu và mục tiêu của bài toán.

2.2. Xử lý nhiễu và ngoại lệ Các phương pháp tiền xử lý dữ liệu

Để giảm thiểu ảnh hưởng của nhiễu và ngoại lệ, các phương pháp tiền xử lý dữ liệu có thể được áp dụng trước khi thực hiện PCA. Các phương pháp này có thể bao gồm việc loại bỏ các giá trị ngoại lệ, làm mịn dữ liệu, hoặc sử dụng các kỹ thuật thống kê mạnh mẽ để ước lượng các tham số của mô hình. Việc lựa chọn phương pháp tiền xử lý phù hợp phụ thuộc vào loại nhiễu và ngoại lệ trong dữ liệu, cũng như mục tiêu của bài toán. Việc kết hợp tiền xử lý dữ liệu với PCA có thể cải thiện đáng kể hiệu suất của phương pháp và cho phép trích xuất các đặc trưng quan trọng một cách chính xác hơn.

III. Phương pháp giảm chiều dữ liệu bằng PCA Hướng dẫn chi tiết

PCA hoạt động bằng cách tìm các thành phần chính của dữ liệu, là các hướng trong không gian dữ liệu mà phương sai của dữ liệu được tối đa hóa. Các thành phần chính này được sắp xếp theo thứ tự giảm dần của phương sai mà chúng giải thích, cho phép lựa chọn các thành phần quan trọng nhất để giảm chiều dữ liệu. Quá trình này bao gồm việc tính toán ma trận hiệp phương sai hoặc ma trận tương quan của dữ liệu, tìm Eigenvalue và Eigenvector của ma trận này, và sau đó chiếu dữ liệu lên không gian mới được xác định bởi các thành phần chính đã chọn. Bằng cách chỉ giữ lại một số lượng nhỏ các thành phần chính, PCA có thể giảm đáng kể số lượng biến trong dữ liệu, đồng thời vẫn giữ lại phần lớn thông tin quan trọng.

3.1. Tính toán ma trận hiệp phương sai và ma trận tương quan

Bước đầu tiên trong PCA là tính toán ma trận hiệp phương sai hoặc ma trận tương quan của dữ liệu. Ma trận hiệp phương sai đo lường mức độ biến thiên của mỗi biến, cũng như mức độ biến thiên chung giữa các cặp biến. Ma trận tương quan là một phiên bản chuẩn hóa của ma trận hiệp phương sai, trong đó các biến đã được chia cho độ lệch chuẩn của chúng. Việc lựa chọn giữa ma trận hiệp phương sai và ma trận tương quan phụ thuộc vào tỷ lệ của các biến trong dữ liệu. Nếu các biến có tỷ lệ khác nhau đáng kể, ma trận tương quan thường được ưu tiên hơn, vì nó loại bỏ ảnh hưởng của tỷ lệ và cho phép so sánh các biến một cách công bằng hơn. Theo [Lưu Thị Thu Hiền, 2022], ma trận hiệp phương sai chứa hiệp phương sai giữa các biến trong một ma trận dữ liệu X.

3.2. Chiếu dữ liệu lên không gian thành phần chính Giải thích cặn kẽ

Sau khi các thành phần chính đã được xác định, dữ liệu ban đầu được chiếu lên không gian mới được xác định bởi các thành phần này. Quá trình này bao gồm việc nhân dữ liệu ban đầu với ma trận chứa các Eigenvector tương ứng với các thành phần chính đã chọn. Kết quả là một tập dữ liệu mới với số lượng biến ít hơn, nhưng vẫn giữ lại phần lớn thông tin quan trọng từ dữ liệu ban đầu. Việc chiếu dữ liệu lên không gian thành phần chính giúp đơn giản hóa dữ liệu và cải thiện hiệu suất của các thuật toán học máy tiếp theo.

IV. Ứng dụng PCA trong nhận diện khuôn mặt Nghiên cứu điển hình

Một trong những ứng dụng phổ biến nhất của PCA là trong bài toán nhận diện khuôn mặt. Trong bài toán này, mỗi khuôn mặt được biểu diễn bằng một vector có chiều cao, với mỗi chiều tương ứng với một pixel trong ảnh. PCA có thể được sử dụng để giảm chiều dữ liệu và trích xuất các đặc trưng quan trọng từ các ảnh khuôn mặt, chẳng hạn như hình dạng của mắt, mũi và miệng. Các đặc trưng này có thể được sử dụng để phân loại và nhận diện khuôn mặt một cách chính xác. PCA đã được chứng minh là một phương pháp hiệu quả để nhận diện khuôn mặt, và nó được sử dụng rộng rãi trong các ứng dụng như hệ thống an ninh, xác thực sinh trắc học và mạng xã hội.

4.1. Trích xuất khuôn mặt đặc trưng Bí quyết tạo ra eigenfaces

Trong bài toán nhận diện khuôn mặt, các thành phần chính được gọi là "eigenfaces". Eigenfaces là các mẫu khuôn mặt đặc trưng, đại diện cho các biến thể phổ biến nhất trong tập dữ liệu khuôn mặt. Bằng cách kết hợp các eigenfaces khác nhau với các trọng số khác nhau, có thể tái tạo lại bất kỳ khuôn mặt nào trong tập dữ liệu. Các eigenfaces có thể được sử dụng để giảm chiều dữ liệu và trích xuất các đặc trưng quan trọng từ các ảnh khuôn mặt, cho phép nhận diện khuôn mặt một cách hiệu quả.

4.2. So sánh PCA với LDA Đâu là lựa chọn tốt hơn cho nhận diện

Một phương pháp khác thường được sử dụng trong bài toán nhận diện khuôn mặt là Phân tích phân biệt tuyến tính (LDA). Trong khi PCA tìm kiếm các hướng trong không gian dữ liệu mà phương sai của dữ liệu được tối đa hóa, LDA tìm kiếm các hướng mà sự phân tách giữa các lớp được tối đa hóa. Trong bài toán nhận diện khuôn mặt, các lớp tương ứng với các cá nhân khác nhau. LDA có thể hiệu quả hơn PCA trong việc nhận diện khuôn mặt khi có một số lượng lớn các cá nhân trong tập dữ liệu, vì nó tập trung vào việc phân biệt giữa các cá nhân hơn là việc nắm bắt sự biến thiên tổng thể trong dữ liệu. Theo [Lưu Thị Thu Hiền, 2022], luận văn trình bày những kết quả áp dụng phương pháp phân tích thành phần chính PCA vào bài toán tìm khuôn mặt đặc trưng trong bộ dữ liệu ảnh khuôn mặt người.

V. Đánh giá và so sánh PCA Phương pháp tối ưu giảm chiều

Việc đánh giá hiệu quả của PCA là rất quan trọng để đảm bảo rằng phương pháp này đang hoạt động tốt và đáp ứng được các mục tiêu của bài toán. Có một số phương pháp khác nhau để đánh giá PCA, bao gồm việc xem xét phương sai được giải thích bởi các thành phần chính, sử dụng các kỹ thuật trực quan hóa để kiểm tra cấu trúc của dữ liệu trong không gian thành phần chính, và so sánh hiệu suất của các thuật toán học máy khi sử dụng dữ liệu gốc và dữ liệu đã được giảm chiều bằng PCA. Việc lựa chọn phương pháp đánh giá phù hợp phụ thuộc vào mục tiêu cụ thể của bài toán và tính chất của dữ liệu.

5.1. Phương sai được giải thích Tiêu chí quan trọng đánh giá PCA

Một trong những tiêu chí quan trọng nhất để đánh giá PCA là phương sai được giải thích bởi các thành phần chính. Phương sai được giải thích cho biết tỷ lệ phương sai trong dữ liệu ban đầu được giữ lại bởi các thành phần chính đã chọn. Một PCA tốt sẽ giải thích một tỷ lệ lớn của phương sai, cho thấy rằng các thành phần chính đã nắm bắt được phần lớn thông tin quan trọng từ dữ liệu ban đầu. Tuy nhiên, việc tối đa hóa phương sai được giải thích không phải lúc nào cũng là mục tiêu duy nhất, vì đôi khi có thể hữu ích khi loại bỏ một số nhiễu và biến thể không liên quan để cải thiện hiệu suất của các thuật toán học máy tiếp theo.

5.2. Scree plot Trực quan hóa việc lựa chọn số lượng thành phần chính

Scree plot là một công cụ trực quan hóa hữu ích để lựa chọn số lượng thành phần chính phù hợp. Scree plot hiển thị phương sai được giải thích bởi mỗi thành phần chính, theo thứ tự giảm dần. Thông thường, scree plot có hình dạng khuỷu tay, với một phần dốc ở phía bên trái và một phần bằng phẳng ở phía bên phải. Điểm khuỷu tay thường được sử dụng làm điểm cắt để lựa chọn số lượng thành phần chính, vì các thành phần ở phía bên trái của khuỷu tay thường giải thích một tỷ lệ lớn của phương sai, trong khi các thành phần ở phía bên phải của khuỷu tay thường chỉ giải thích một tỷ lệ nhỏ của phương sai và có thể là nhiễu.

VI. Kết luận và hướng phát triển Tương lai của PCA trong Data Science

Phân tích thành phần chính (PCA) là một công cụ mạnh mẽ và linh hoạt để giảm chiều dữ liệu và trích xuất các đặc trưng quan trọng từ dữ liệu đa chiều. PCA đã được sử dụng thành công trong nhiều ứng dụng khác nhau, từ nhận diện khuôn mặt đến phân tích gen và xử lý ảnh. Mặc dù PCA có một số hạn chế, chẳng hạn như giả định về tính tuyến tính và nhạy cảm với nhiễu, các biến thể của PCA và các phương pháp tiền xử lý dữ liệu có thể được sử dụng để khắc phục những hạn chế này. Trong tương lai, PCA có thể sẽ tiếp tục đóng một vai trò quan trọng trong khoa học dữ liệu và học máy, đặc biệt là trong các ứng dụng liên quan đến dữ liệu lớn và phức tạp.

6.1. Các biến thể của PCA Kernel PCA Sparse PCA và hơn thế nữa

Ngoài PCA tiêu chuẩn, có nhiều biến thể khác nhau của PCA được thiết kế để giải quyết các vấn đề cụ thể. Kernel PCA có thể được sử dụng để xử lý dữ liệu phi tuyến. Sparse PCA có thể được sử dụng để tìm các thành phần chính mà chỉ liên quan đến một số lượng nhỏ các biến ban đầu. Robust PCA có thể được sử dụng để giảm thiểu ảnh hưởng của các giá trị ngoại lệ và nhiễu. Việc lựa chọn biến thể PCA phù hợp phụ thuộc vào tính chất của dữ liệu và mục tiêu của bài toán.

6.2. Hướng nghiên cứu tiếp theo Ứng dụng PCA trong Deep Learning

Một hướng nghiên cứu thú vị trong tương lai là việc ứng dụng PCA trong Deep Learning. PCA có thể được sử dụng để tiền xử lý dữ liệu trước khi đưa vào các mô hình Deep Learning, giúp giảm chiều dữ liệu, giảm nhiễu và cải thiện hiệu suất của mô hình. Ngoài ra, PCA có thể được sử dụng để khởi tạo các tham số của mô hình Deep Learning, giúp tăng tốc quá trình huấn luyện và cải thiện khả năng hội tụ. Việc kết hợp PCA với Deep Learning có thể mở ra nhiều cơ hội mới trong việc giải quyết các bài toán phức tạp trong nhiều lĩnh vực khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Phân tích thành phần chính (PCA) là một kỹ thuật quan trọng trong khoa học dữ liệu, được ứng dụng rộng rãi trong giảm chiều dữ liệu, nén dữ liệu và trích xuất đặc trưng. Theo ước tính, trong các bộ dữ liệu thực tế, số chiều dữ liệu có thể lên đến hàng trăm hoặc hàng nghìn, gây khó khăn trong lưu trữ và xử lý. PCA giúp chuyển đổi dữ liệu từ không gian chiều cao sang không gian có kích thước thấp hơn, giữ lại phần lớn thông tin hữu ích đồng thời giảm thiểu nhiễu và yếu tố không mong muốn. Mục tiêu nghiên cứu của luận văn là phát triển và ứng dụng phương pháp phân tích thành phần chính trong xử lý dữ liệu nhiều chiều, đặc biệt trong bài toán nhận diện khuôn mặt đặc trưng.

Nghiên cứu được thực hiện trong phạm vi dữ liệu ảnh khuôn mặt người, với bộ dữ liệu gồm 40 cá thể khác nhau và số lượng mẫu huấn luyện đa dạng cho mỗi đối tượng. Thời gian nghiên cứu tập trung vào năm 2022 tại Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội. Ý nghĩa của nghiên cứu thể hiện qua việc cải thiện độ chính xác phân loại, giảm thiểu sai số trong xử lý dữ liệu lớn, đồng thời cung cấp cơ sở lý thuyết và thực nghiệm cho các ứng dụng học máy không giám sát trong lĩnh vực nhận dạng mẫu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: đại số tuyến tính và thống kê, làm nền tảng cho phân tích thành phần chính. Đại số tuyến tính cung cấp các công cụ như khai triển kì dị (Singular Value Decomposition - SVD), phân tích giá trị riêng, ma trận trực giao và ma trận Hermit. SVD được sử dụng để phân tích ma trận dữ liệu, giúp tìm ra các thành phần chính thông qua các giá trị kì dị và véc tơ kì dị trái, phải. Thống kê cung cấp các khái niệm về trung bình cộng, phương sai, hiệp phương sai, hệ số tương quan và ma trận tương quan, giúp đánh giá sự phân tán và mối quan hệ giữa các biến trong dữ liệu.

Ba khái niệm chính trong nghiên cứu gồm:

• Phân tích thành phần chính (PCA): Phép chiếu dữ liệu lên không gian con có chiều thấp hơn sao cho phương sai của dữ liệu chiếu là cực đại.
• Khai triển kì dị (SVD): Phân tích ma trận thành tích của ba ma trận, giúp tìm nghiệm tối ưu cho bài toán giảm chiều.
• Ma trận trọng số và ma trận kèm theo: Đại diện cho các điểm thành phần chính và các hệ số hồi quy tương ứng, giúp biểu diễn dữ liệu trong không gian mới.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ ảnh khuôn mặt gồm 40 cá thể, với số lượng mẫu huấn luyện khác nhau cho từng đối tượng. Dữ liệu được chuẩn hóa và trung tâm hóa trước khi áp dụng PCA. Phương pháp phân tích sử dụng khai triển kì dị để tìm ma trận trọng số và ma trận kèm theo, từ đó xây dựng mô hình giảm chiều dữ liệu.

Phân tích được thực hiện theo các bước:

1. Chuẩn hóa và trung tâm hóa dữ liệu.
2. Áp dụng khai triển kì dị để phân tích ma trận dữ liệu.
3. Xác định số lượng thành phần chính cần giữ lại dựa trên phần trăm phương sai giải thích (PEV).
4. So sánh hiệu quả của PCA với các phương pháp giảm chiều khác như phân tích phân biệt tuyến tính (LDA).
5. Đánh giá mô hình qua các chỉ số như độ chính xác phân loại, độ chuẩn xác, độ nhạy và độ đo F1.

Cỡ mẫu nghiên cứu là toàn bộ bộ dữ liệu ảnh khuôn mặt với 40 cá thể, sử dụng phương pháp chọn mẫu toàn bộ (census). Phân tích dữ liệu được thực hiện trong khoảng thời gian nghiên cứu từ đầu năm đến cuối năm 2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả giảm chiều dữ liệu: PCA cho phép giảm số chiều dữ liệu từ hàng trăm xuống còn khoảng 10-20 thành phần chính, giữ lại trên 90% phương sai của dữ liệu. Cụ thể, phần trăm phương sai giải thích (PEV) đạt 92% khi giữ lại 15 thành phần chính, giúp giảm đáng kể kích thước dữ liệu mà vẫn bảo toàn thông tin quan trọng.

2. Độ chính xác phân loại: Khi áp dụng PCA trong bài toán nhận diện khuôn mặt, độ chính xác phân loại đạt khoảng 85%, cao hơn so với các phương pháp giảm chiều khác như LDA (khoảng 78%). Độ chính xác thẩm định chéo LOO (Leave-One-Out) cũng đạt trên 80%, chứng tỏ tính ổn định của mô hình.

3. So sánh các thuật toán phân loại: Kết quả phân loại sử dụng PCA kết hợp với các thuật toán như SVM, KNN, và Logistic Regression cho thấy SVM đạt độ chính xác cao nhất với 87%, trong khi KNN và Logistic Regression lần lượt đạt 83% và 80%.

4. Nhận diện khuôn mặt đặc trưng: PCA giúp trích xuất được 39 khuôn mặt đặc trưng từ bộ dữ liệu, thể hiện rõ các đặc điểm nổi bật của từng cá thể. Một số khuôn mặt bị nhận diện sai hoặc không nhận diện được chiếm tỷ lệ dưới 5%, chủ yếu do ảnh bị nhiễu hoặc góc chụp không thuận lợi.

Thảo luận kết quả

Nguyên nhân của hiệu quả cao của PCA là do khả năng giữ lại phần lớn phương sai dữ liệu trong không gian con có chiều thấp hơn, giúp giảm nhiễu và tăng tính phân biệt giữa các cá thể. So với các nghiên cứu trước đây, kết quả này phù hợp với báo cáo của ngành về ứng dụng PCA trong nhận dạng khuôn mặt, đồng thời cải thiện độ chính xác nhờ việc lựa chọn số lượng thành phần chính tối ưu.

Biểu đồ nhiệt thể hiện độ chính xác phân loại giữa các thuật toán cho thấy sự vượt trội của SVM khi kết hợp với PCA. Bảng so sánh độ chính xác giữa các phương pháp giảm chiều cũng minh họa rõ ràng ưu điểm của PCA trong việc cân bằng giữa giảm chiều và bảo toàn thông tin.

Ý nghĩa của kết quả là PCA không chỉ giúp giảm thiểu chi phí tính toán và bộ nhớ mà còn nâng cao hiệu quả phân loại trong các bài toán học máy không giám sát, đặc biệt trong lĩnh vực nhận diện mẫu và xử lý ảnh.

Đề xuất và khuyến nghị

1. Áp dụng PCA trong tiền xử lý dữ liệu: Khuyến nghị các nhà nghiên cứu và kỹ sư dữ liệu sử dụng PCA để giảm chiều dữ liệu trước khi áp dụng các thuật toán học máy, nhằm tăng hiệu quả tính toán và cải thiện độ chính xác mô hình. Thời gian thực hiện có thể trong giai đoạn tiền xử lý dữ liệu.

2. Tối ưu số lượng thành phần chính: Đề xuất xác định số lượng thành phần chính dựa trên phần trăm phương sai giải thích, ưu tiên giữ lại từ 90% đến 95% phương sai để cân bằng giữa giảm chiều và bảo toàn thông tin. Chủ thể thực hiện là nhóm phát triển mô hình học máy.

3. Kết hợp PCA với các thuật toán phân loại mạnh: Khuyến nghị phối hợp PCA với các thuật toán như SVM để nâng cao độ chính xác phân loại trong các bài toán nhận dạng khuôn mặt hoặc phân loại dữ liệu phức tạp. Thời gian áp dụng trong giai đoạn xây dựng mô hình.

4. Phát triển giao diện trực quan hóa dữ liệu: Đề xuất xây dựng công cụ trực quan hóa phân phối dữ liệu sau khi giảm chiều bằng PCA, giúp người dùng hiểu rõ cấu trúc dữ liệu và các phân phối vô hình trong không gian chiều thấp. Chủ thể thực hiện là các nhà phát triển phần mềm và nhà nghiên cứu dữ liệu.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu khoa học dữ liệu: Luận văn cung cấp cơ sở lý thuyết và thực nghiệm về PCA, giúp họ hiểu sâu về phương pháp giảm chiều và ứng dụng trong xử lý dữ liệu lớn.

2. Kỹ sư học máy và phát triển AI: Các kỹ sư có thể áp dụng các kết quả nghiên cứu để cải thiện hiệu quả mô hình phân loại, đặc biệt trong lĩnh vực nhận dạng khuôn mặt và xử lý ảnh.

3. Giảng viên và sinh viên ngành khoa học máy tính, thống kê: Tài liệu chi tiết về đại số tuyến tính, thống kê và PCA giúp hỗ trợ giảng dạy và học tập chuyên sâu về các phương pháp phân tích dữ liệu.

4. Doanh nghiệp phát triển công nghệ nhận dạng và an ninh: Các công ty có thể ứng dụng kết quả nghiên cứu để nâng cao độ chính xác và hiệu quả của hệ thống nhận diện khuôn mặt, góp phần cải thiện sản phẩm và dịch vụ.

Câu hỏi thường gặp

1. PCA là gì và tại sao cần giảm chiều dữ liệu?
   PCA là kỹ thuật chuyển đổi dữ liệu sang không gian có chiều thấp hơn nhằm giữ lại phần lớn thông tin. Giảm chiều giúp giảm chi phí tính toán, loại bỏ nhiễu và tăng hiệu quả mô hình.

2. Làm thế nào để xác định số lượng thành phần chính cần giữ lại?
   Số lượng thành phần chính được chọn dựa trên phần trăm phương sai giải thích (PEV), thường giữ lại từ 90% đến 95% để đảm bảo cân bằng giữa giảm chiều và bảo toàn thông tin.

3. PCA có thể áp dụng cho dữ liệu không phải ảnh không?
   Có, PCA là phương pháp tổng quát áp dụng cho mọi loại dữ liệu đa chiều, bao gồm dữ liệu văn bản, âm thanh, sinh học, và nhiều lĩnh vực khác.

4. So sánh PCA với các phương pháp giảm chiều khác như LDA?
   PCA là phương pháp không giám sát, tập trung vào phương sai dữ liệu, trong khi LDA là phương pháp có giám sát, tối đa hóa sự phân biệt giữa các lớp. PCA thường được dùng khi nhãn dữ liệu không có sẵn.

5. Làm thế nào để đánh giá hiệu quả của PCA trong bài toán nhận diện khuôn mặt?
   Hiệu quả được đánh giá qua các chỉ số như độ chính xác phân loại, độ chuẩn xác, độ nhạy và độ đo F1 trên tập kiểm nghiệm, cũng như phần trăm phương sai giải thích của các thành phần chính.

Kết luận

• Phân tích thành phần chính (PCA) là công cụ hiệu quả trong giảm chiều dữ liệu nhiều chiều, giữ lại trên 90% phương sai với số lượng thành phần chính tối ưu.
• Ứng dụng PCA trong nhận diện khuôn mặt giúp nâng cao độ chính xác phân loại lên đến 85-87%, vượt trội so với các phương pháp truyền thống.
• Khai triển kì dị (SVD) là nền tảng toán học vững chắc cho PCA, cung cấp nghiệm tối ưu cho bài toán giảm chiều.
• Kết quả nghiên cứu hỗ trợ phát triển các mô hình học máy không giám sát, giảm chi phí tính toán và tăng hiệu quả xử lý dữ liệu lớn.
• Đề xuất tiếp theo là mở rộng ứng dụng PCA trong các lĩnh vực khác và phát triển công cụ trực quan hóa dữ liệu để nâng cao khả năng phân tích và hiểu dữ liệu.

Luận văn khuyến khích các nhà nghiên cứu và kỹ sư dữ liệu áp dụng PCA trong các dự án xử lý dữ liệu lớn, đồng thời tiếp tục nghiên cứu các phương pháp giảm chiều mới nhằm nâng cao hiệu quả và độ chính xác của mô hình học máy.

Trích đoạn nội dung tài liệu

Chương 1 giới thiệu một số kiến thức về đại số tuyến tính và kiến thức về thống kê sử dụng trong quá trình nghiên cứu với sự tham khảo trong [1], [8], [10], .1 Kiến thức liên quan đến đại số 1.1 Tích trong Tích trong của hai véc tơ cột x, y ∈ Cm là tích của liên hợp của x và y: X m ′ xy= xi yi. i=1 Tích trong là một dạng song tuyến tính, tức: 1.2 Chuẩn Các khái niệm cơ bản về kích thước và khoảng cách trong một không gian véc tơ được thể hiện qua chuẩn. 11 Chuẩn véc tơ Chuẩn là một ánh xạ: ∥. Với mọi véc tơ x, y ∈ Cm và đại lượng vô hướng α ∈ C, chuẩn phải thỏa mãn ba điều kiện sau: 1.

Lớp chuẩn quan trọng nhất trong chuẩn véc tơ - chuẩn ∥.∥p được định nghĩa như sau: !1/p X m ∥x∥p = |xi |p (x ∈ Cm , 1 ≤ p < ∞). i=1 Các chuẩn thường gặp nhất là chuẩn ∥.∥∞ : X m ∥x∥1 = |xi |, i=1 !1/2 X m √ ∥x∥2 = |xi |2 = x′ x, i=1 ∥x∥∞ = max |xi |. 1≤i≤m  ′  ′ Xét hai véc tơ a = a1 ,. Khoảng cách giữa hai véc tơ tính theo chuẩn ∥.∥1 được gọi là khoảng cách Manhattan, tính theo chuẩn ∥.∥2 được gọi là khoảng cách Euclide.2) i=1 12 Chuẩn ma trận tương thích với chuẩn véc tơ Một ma trận cỡ (m × n) có thể được xem xét như một véc tơ trong không gian mn chiều.

Xét các chuẩn véc tơ ∥. ∥Ax∥(m) Nói cách khác, ∥A∥(m,n) là cận trên đúng của tỉ số với mọi véc tơ x ∈ Cn .∥(m,n) là chuẩn ma trận cảm sinh bởi ∥. x∈Cn ∥x∥(n) x∈Cn x̸=0 ∥x∥(n) =1 Chuẩn ma trận tổng quát Chuẩn ma trận không nhất thiết phải được cảm sinh từ chuẩn véc tơ. Tổng quát thì chuẩn ma trận phải thỏa mãn ba điều kiện của chuẩn véc tơ áp dụng trong không gian véc tơ mn chiều của các ma trận: 1.

Chuẩn ma trận quan trọng nhất mà không cảm sinh từ chuẩn véc tơ là chuẩn Frobenius, được xác định như sau: !1/2 m X X n ∥A∥F = |aij |2 .3) i=1 j=1 13 Ta thấy nó chính là chuẩn ∥.∥2 khi xem ma trận như một véc tơ mn chiều. Công thức cho chuẩn Frobenius có thể được viết lại dưới dạng chỉ có các hàng hoặc các cột. Giả sử aj là cột thứ j của ma trận A ta có: !1/2 X n ∥A ∥F = ∥aj ∥22. j=1 Ngoài ra ta có: p p ∥A∥F = tr(A′ A) = tr(AA′ ), với tr(B) biểu thị cho vết của ma trận B, được tính bằng tổng của các phần tử trên đường chéo.3 Một số ma trận đặc biệt Ma trận Unita (Ma trận trực giao) Hai véc tơ x và y được gọi là trực giao nếu x′ y = 0.

Một hệ S các véc tơ khác 0 là trực giao nếu mọi phần tử của nó là đôi một trực giao, tức nếu x, y ∈ S, x ̸= y ⇒ x′ y = 0. Hệ các véc tơ được gọi là trực chuẩn nếu nó là trực giao và với mọi x ∈ S, ∥x∥ = 1. Nếu hệ các véc tơ trực giao S ⊆ Cm chứa m véc tơ thì S là một cơ sở cho Cm. Một ma trận vuông U ∈ Cm×m được gọi là ma trận Unita (trong trường hợp ma trận thực ta gọi là ma trận trực giao) nếu U′ = U−1 , tức U′ U = I, hay các cột của ma trận Unita U tạo thành một cơ sở trực chuẩn của Cm.

Ma trận Hermit (Ma trận đối xứng) Ma trận vuông A có A = A′ được gọi là ma trận Hermit (trong trường hợp ma trận thực ta gọi là ma trận đối xứng). 14 Ma trận chéo Ma trận chéo là một ma trận có các phần tử nằm ngoài đường chéo chính bằng 0. Các phần tử nằm trên đường chéo chính có thể bằng 0 hoặc khác 0. Ma trận chéo hóa được Ma trận A được gọi là chéo hóa được nếu tồn tại một ma trận khả nghịch P sao cho P−1 AP là ma trận chéo.

Ma trận trực giao chéo hóa được Ma trận vuông A được gọi là ma trận trực giao chéo hóa được nếu tồn tại một ma trận trực giao P (với P−1 = P′ và P có các cột trực chuẩn) và ma trận chéo D sao cho A = PDP′ = PDP−1 .4 Các vấn đề về giá trị riêng Giá trị riêng và véc tơ riêng Cho ma trận vuông A ∈ Cm×m. Một véc tơ u khác 0 thuộc Cm là một véc tơ riêng của A, và λ ∈ C là giá trị riêng tương ứng, nếu: Au = λu. Không gian con S của Cm chứa các véc tơ riêng được gọi là không gian riêng, véc tơ u bất kỳ thuộc S là một véc tơ riêng. Tập hợp chứa các giá trị riêng của A được gọi là phổ của A, kí hiệu là Λ(A).

15 Đa thức đặc trưng Đa thức đặc trưng của A ∈ Cm×m được kí hiệu là pA là đa thức bậc m được xác định như sau: pA (z) = det(z I − A). λ là một giá trị riêng của A khi và chỉ khi pA (λ) = 0. Từ định nghĩa của giá trị riêng ta được: λ là giá trị riêng ⇔ tồn tại véc tơ u khác 0 sao cho λu − Au = 0 ⇔ λI − A là suy biến ⇔ det(λI − A) = 0.1 có một hệ quả quan trọng đó là ngay cả khi một ma trận là thực thì nó vẫn có thể có giá trị riêng là phức. Tức là, nếu đầu vào của bài toán tìm giá trị riêng của một ma trận đều là giá trị thực thì đầu ra (các giá trị riêng) vẫn có thể là giá trị phức.

Số bội hình học Tập hợp các véc tơ riêng tương ứng với các giá trị riêng cùng với véc tơ 0 lập thành một không gian con trong Cm , gọi là không gian riêng. Nếu λ là một giá trị riêng của A, ta đặt Eλ là không gian con tương ứng. Eλ là một không gian con bất biến của A do AEλ ⊆ Eλ. Số chiều của Eλ có thể được hiểu như số véc tơ độc lập tuyến tính tối đa có thể được tìm thấy với cùng giá trị riêng λ và được gọi là số bội hình học của λ.

Số bội đại số Do định lý cơ bản của đại số, ta có thể viết lại pA dưới dạng: pA (z) = (z − λ1 )(z − λ2 ) .1, mỗi λj là một giá trị riêng của A và tất cả các giá trị riêng của A đều có ở trong tập nghiệm và có thể có những giá trị riêng xuất hiện nhiều hơn 1 lần. Số bội đại số của một giá trị riêng λ của ma trận A là số bội của nghiệm đó của pA. Giá trị riêng là đơn nếu số bội đại số của nó là 1. Nếu X là ma trận không suy biến thì A và X−1 AX có cùng đa thức đặc trưng, giá trị riêng, số bội hình học và số bội đại số.

Vì chúng đã có cùng đa thức đặc trưng nên sẽ có cùng giá trị riêng và số bội đại số. Lại có Eλ là một không gian riêng cho A nên X−1 Eλ là một không gian riêng cho X−1 AX, tức có cùng số bội hình học.2 Kiến thức liên quan đến Thống kê 1.1 Trung bình cộng Xét ma trận X biểu diễn bộ dữ liệu của n - cá thể × p - biến:    x11. xnp 17 với cột j là xj = [x1j ,. , xnj ]′ đại diện cho biến thứ j.

Trung bình cộng của biến j (tức cột thứ j trong ma trận X) được xác định như sau: 1X n 1 xj = (x1j + · · · + xnj ) = xij .2 Điểm trung tâm, ma trận trung tâm Điểm trung tâm được tính bằng điểm dữ liệu trừ đi trung bình cộng. véc tơ điểm trung tâm của biến j được kí hiệu là yj = [y1j ,.            y1j   x1j − xj   x1j  xj   xj                                yj =  .                               ynj xnj − xj xnj xj xj      x1j − xj   xj                1 1 .  = In xj − n 1n 1n xj = In − n 1n 1n xj = Jxj.

            xnj − xj xj 1 với J = In − 1n 1′n được gọi là ma trận trung tâm với các tính chất như sau: n 1. J là ma trận đối xứng. J là ma trận lũy đẳng (tức J2 = JJ = J). Tính chất thứ 2 và thứ 3 của J dẫn đến những hệ quả quan trọng sau: Một ma trận sJA với A là ma trận cỡ (n × p) và s là đại lượng vô hướng sẽ thỏa mãn 1′n (sJA) = s1′n JA = 0′p , J(sJA) = sJJA = sJA.

18 Khi đó ta thấy tổng và trung bình cộng của điểm trung tâm luôn bằng 0: 1 ′ 1′n yj = 1 yj = 0. n n Đồng thời nếu véc tơ điểm trung tâm nhân với ma trận trung tâm thì nó sẽ không đổi: Jyj = yj .3 Phương sai và độ lệch chuẩn Phương sai bằng tổng bình phương khoảng cách giữa điểm và trung bình cộng chia cho số lượng điểm: 1
1X n vjj = (x1j − xj )2 + · · · + (xnj − xj )2 = (xij − xj )2. n n i=1 1 1 1 1 vjj = (Jxj )′ Jxj = x′j J′ Jxj = y′j yj = ∥yj ∥2. n n n n Độ lệch chuẩn là căn bậc hai của phương sai, thường được dùng để xét đến độ phân tán của dữ liệu: r √ 1 ′ 1 1 vjj = xj Jxj = √ ∥Jxj ∥ = √ ∥yj ∥.4 Điểm chuẩn, ma trận điểm chuẩn Điểm chuẩn được tính bằng điểm trung tâm chia cho độ lệch chuẩn.

Giả sử véc tơ điểm chuẩn của biến j là zj = [z1j ,. , znj ]′ , zj được biểu diễn như sau:     1j −xj )  (x√   x1j − xj   vjj          1   zj =  .