Nghiên Cứu Phương Pháp Gom Nhóm Dữ Liệu Khuôn Mặt

Khóa luận tốt nghiệp nghiên cứu phương pháp gom nhóm khuôn mặt sử dụng mạng tích chập đồ thị, ứng dụng trong nhận diện và phân tích hình ảnh.

• Tác giả: Nguyễn Thanh Tú
• Người hướng dẫn: TS. Mai Tiến Dũng
• Trường học: Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Phương Pháp Gom Nhóm Dữ Liệu Khuôn Mặt: Ứng Dụng và Hiệu Quả
• Loại tài liệu: luận văn tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Sự cần thiết
• 1.2. Đối tượng nghiên cứu
• 1.3. Mục tiêu
• 1.4. Phạm vi
• 1.5. Bố cục
• 2. CHƯƠNG 2: HƯỚNG GIẢI QUYẾT
• 2.1. Giới thiệu
• 2.2. Các giải thuật gom nhóm truyền thống
• 2.2.1. Thuật toán K-Means
• 2.2.2. Phân nhóm phổ
• 2.2.3. Phân nhóm dựa trên mật độ DBSCAN
• 2.3. Hướng tiếp cận mới, phân nhóm dựa trên liên kết
• 2.4. Kết luận
• 3. CHƯƠNG 3: NGHIÊN CỨU MÔ HÌNH, THUẬT TOÁN
• 3.1. Định nghĩa vấn đề bài toán
• 3.2. Lợi ích của việc áp dụng phương pháp
• 3.3. Tóm tắt các bước thực hiện
• 3.4. Nội dung chi tiết mô hình
• 3.4.1. Trích xuất đặc trưng
• 3.4.2. Xây dựng đồ thị con
• 3.4.3. Áp dụng phép tích chập trên đồ thị
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Dataset: Tập dữ liệu sử dụng cho bài toán
• 4.1.1. Dữ liệu huấn luyện
• 4.1.2. Đánh giá phương pháp đề xuất
• 4.1.3. Cấu hình thực nghiệm
• 4.2. Tiền xử lý dữ liệu
• 4.3. Xét sự ảnh hưởng của các tham số k, fy
• 4.4. Đánh giá thực nghiệm
• 4.4.1. So với các phương pháp khác
• 4.4.2. Nhược điểm
• 5. CHƯƠNG 5: XÂY DỰNG ỨNG DỤNG
• 5.1. Thiết kế tổng thể
• 5.2. Phần Giao Diện Người Dùng
• 5.2.1. Xây dựng Backend
• 5.2.2. Phát triển Giao Diện Người Dùng
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết luận
• 6.2. Hướng phát triển
• PHỤ LỤC
• A.1. Thuật toán gom nhóm truyền thống: K-Means, spectral clustering, DBSCAN
• A.2. Tìm kiếm láng giềng gần nhất: giải thuật Brute Force, K-D Tree
• A.3. Độ đo NMI, BCube-F
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Phương Pháp Gom Nhóm Dữ Liệu Khuôn Mặt

Nghiên cứu về gom nhóm dữ liệu khuôn mặt đang trở thành một lĩnh vực quan trọng trong thời đại số hóa. Sự gia tăng nhanh chóng của dữ liệu hình ảnh từ các nguồn khác nhau đã tạo ra nhu cầu cấp thiết cho các phương pháp phân tích và quản lý hiệu quả. Gom nhóm dữ liệu không chỉ giúp tổ chức thông tin mà còn tối ưu hóa quy trình tìm kiếm và nhận diện khuôn mặt. Các ứng dụng của nó rất đa dạng, từ nhận diện khuôn mặt trong an ninh đến phân tích hành vi người dùng trong thương mại điện tử.

1.1. Định Nghĩa và Ý Nghĩa Của Gom Nhóm Dữ Liệu Khuôn Mặt

Gom nhóm dữ liệu khuôn mặt là quá trình phân loại các hình ảnh khuôn mặt thành các nhóm dựa trên sự tương đồng. Điều này giúp nhận diện và quản lý các khuôn mặt một cách hiệu quả hơn, đặc biệt trong các ứng dụng như bảo mật và quản lý dữ liệu cá nhân.

1.2. Các Ứng Dụng Thực Tiễn Của Gom Nhóm Dữ Liệu Khuôn Mặt

Các ứng dụng của gom nhóm dữ liệu khuôn mặt rất phong phú, bao gồm nhận diện khuôn mặt trong an ninh, tổ chức album ảnh, và phân tích hành vi người dùng. Những ứng dụng này không chỉ giúp cải thiện trải nghiệm người dùng mà còn tối ưu hóa quy trình làm việc trong nhiều lĩnh vực.

II. Những Thách Thức Trong Nghiên Cứu Gom Nhóm Dữ Liệu Khuôn Mặt

Mặc dù gom nhóm dữ liệu khuôn mặt mang lại nhiều lợi ích, nhưng vẫn tồn tại nhiều thách thức trong quá trình thực hiện. Các vấn đề như độ sáng, góc chụp, và biểu cảm khuôn mặt có thể ảnh hưởng đến độ chính xác của các phương pháp gom nhóm. Việc xử lý những yếu tố này là rất quan trọng để đạt được kết quả tốt nhất.

2.1. Các Yếu Tố Ảnh Hưởng Đến Độ Chính Xác

Độ sáng và góc chụp là hai yếu tố chính ảnh hưởng đến độ chính xác của nhận diện khuôn mặt. Những hình ảnh bị che khuất hoặc có độ sáng không đồng đều có thể dẫn đến việc phân nhóm sai lệch.

2.2. Giải Quyết Các Vấn Đề Về Dữ Liệu

Việc xử lý dữ liệu không đồng nhất và thiếu nhãn là một thách thức lớn. Các phương pháp gom nhóm cần phải được điều chỉnh để có thể hoạt động hiệu quả trên các tập dữ liệu lớn và phức tạp.

III. Phương Pháp Gom Nhóm Dữ Liệu Khuôn Mặt Hiện Nay

Có nhiều phương pháp gom nhóm dữ liệu khuôn mặt đã được nghiên cứu và áp dụng. Các phương pháp này bao gồm K-Means, DBSCAN, và các phương pháp dựa trên liên kết. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, phù hợp với từng loại dữ liệu và yêu cầu cụ thể.

3.1. Thuật Toán K Means Trong Gom Nhóm Khuôn Mặt

K-Means là một trong những thuật toán phổ biến nhất trong gom nhóm dữ liệu. Nó hoạt động bằng cách phân chia dữ liệu thành K nhóm dựa trên sự tương đồng, nhưng có thể gặp khó khăn với dữ liệu có hình dạng phức tạp.

3.2. Phân Nhóm Dựa Trên Mật Độ DBSCAN

DBSCAN là một phương pháp gom nhóm dựa trên mật độ, cho phép phát hiện các nhóm có hình dạng và kích thước khác nhau mà không cần chỉ định số lượng nhóm trước. Điều này giúp cải thiện độ chính xác trong việc phân nhóm khuôn mặt.

3.3. Phương Pháp Gom Nhóm Dựa Trên Liên Kết

Các phương pháp gom nhóm dựa trên liên kết không đặt giả định về phân bố dữ liệu, giúp đạt được độ chính xác cao hơn. Chúng sử dụng các mô hình đồ thị để dự đoán khả năng liên kết giữa các khuôn mặt.

IV. Ứng Dụng Thực Tiễn Của Phương Pháp Gom Nhóm Dữ Liệu Khuôn Mặt

Việc áp dụng các phương pháp gom nhóm dữ liệu khuôn mặt vào thực tiễn đã mang lại nhiều kết quả khả quan. Các ứng dụng này không chỉ giúp cải thiện hiệu suất trong nhận diện khuôn mặt mà còn tối ưu hóa quy trình quản lý dữ liệu.

4.1. Ứng Dụng Trong An Ninh

Trong lĩnh vực an ninh, gom nhóm dữ liệu khuôn mặt giúp nhận diện và theo dõi các đối tượng một cách hiệu quả. Điều này đặc biệt quan trọng trong việc bảo vệ an toàn công cộng.

4.2. Ứng Dụng Trong Thương Mại Điện Tử

Trong thương mại điện tử, việc phân nhóm khách hàng dựa trên hành vi và sở thích giúp doanh nghiệp tối ưu hóa chiến lược marketing và nâng cao trải nghiệm người dùng.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Nghiên cứu về gom nhóm dữ liệu khuôn mặt đã mở ra nhiều cơ hội mới trong việc ứng dụng công nghệ AI vào thực tiễn. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều tiến bộ với sự phát triển của các phương pháp mới và công nghệ tiên tiến.

5.1. Tiềm Năng Phát Triển Của Công Nghệ Nhận Diện Khuôn Mặt

Công nghệ nhận diện khuôn mặt đang ngày càng trở nên phổ biến và có tiềm năng phát triển mạnh mẽ trong tương lai. Các nghiên cứu mới sẽ tiếp tục cải thiện độ chính xác và hiệu suất của các phương pháp gom nhóm.

5.2. Hướng Nghiên Cứu Mới Trong Gom Nhóm Dữ Liệu

Các hướng nghiên cứu mới sẽ tập trung vào việc phát triển các thuật toán gom nhóm hiệu quả hơn, có khả năng xử lý tốt hơn với dữ liệu lớn và phức tạp, đồng thời giảm thiểu các vấn đề về độ chính xác.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa với hơn 3,5 tỷ gigabyte dữ liệu hình ảnh được tạo ra mỗi ngày trên toàn cầu, việc quản lý và trích xuất giá trị từ các kho dữ liệu đa phương tiện phi cấu trúc đang là thách thức công nghệ hàng đầu. Gom nhóm dữ liệu khuôn mặt không ràng buộc (unconstrained face clustering) đóng vai trò then chốt trong các hệ thống giám sát an ninh, nền tảng mạng xã hội và giải pháp quản lý tài sản số doanh nghiệp. Tuy nhiên, bài toán này gặp trở ngại nghiêm trọng do sự biến thiên phức tạp về góc chụp, điều kiện ánh sáng, biểu cảm khuôn mặt và độ tuổi của cùng một cá nhân qua thời gian.

Luận văn thạc sĩ chuyên ngành Khoa học Máy tính tại Trường Đại học Công nghệ Thông tin – Đại học Quốc gia Thành phố Hồ Chí Minh, hoàn thành vào tháng 12 năm 2023, tập trung giải quyết triệt để bài toán phân cụm khuôn mặt quy mô lớn. Mục tiêu cốt lõi của nghiên cứu bao gồm: khảo sát và đánh giá giới hạn của các thuật toán phân nhóm cổ điển, đề xuất mô hình gom nhóm dựa trên liên kết sử dụng Mạng Tích chập Đồ thị (Graph Convolutional Networks - GCN), và hiện thực hóa một ứng dụng web hoàn chỉnh có khả năng tự động tổ chức, phân loại và truy vấn album ảnh nhân vật.

Phạm vi thực nghiệm của đề tài được triển khai trên các bộ dữ liệu quy chuẩn quốc tế với quy mô từ 18.171 ảnh đến hơn 200.000 ảnh khuôn mặt. Đóng góp nổi bật của luận văn là nâng cao độ chính xác gom nhóm với chỉ số BCube F-score đạt 85,73% (0,8573) và chỉ số thông tin tương hỗ chuẩn hóa NMI đạt 92,7% (0,927), đồng thời tối ưu hóa thuật toán lập chỉ mục không gian KD-Tree giúp giảm độ phức tạp tìm kiếm láng giềng từ mức bậc hai $O(M \times N)$ xuống mức logarit $O(\log M)$.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết phân cụm dữ liệu phi cấu trúc và học sâu trên miền đồ thị (Graph Deep Learning), kết hợp ba trụ cột lý thuyết chính:

1. Lý thuyết gom nhóm dữ liệu truyền thống: Phân tích nguyên lý và giới hạn của thuật toán K-Means (tối ưu hóa tổng bình phương khoảng cách Euclid nhưng bị giới hạn bởi giả định cụm hình cầu), Phân nhóm phổ Spectral Clustering (dựa trên phân tích trị riêng của ma trận Laplacian nhưng độ phức tạp tính toán rất cao), và thuật toán DBSCAN (gom nhóm theo mật độ với bán kính Epsilon và ngưỡng điểm lân cận MinPts, có khả năng lọc nhiễu nhưng kém hiệu quả khi mật độ cụm không đồng nhất).
2. Lý thuyết Mạng Tích chập Đồ thị (GCN) và Đồ thị con Điểm tựa (Instance Pivot Subgraph - IPS): Khắc phục nhược điểm của các thuật toán toàn cục thông qua việc biểu diễn mối quan hệ cục bộ giữa một phần tử chuẩn (pivot node) và các nút láng giềng đa tầng (h-hop neighbors). Cơ chế truyền thông điệp (message passing) kết hợp hàm lan truyền chuẩn hóa bậc ma trận kề $D^{-1}AXW$ giúp mô hình tự động học biểu diễn cấu trúc không gian phức tạp.
3. Lý thuyết trích xuất đặc trưng khuôn mặt không gian sâu (Deep Metric Learning): Ứng dụng mô hình ArcFace với hàm mất mát Additive Angular Margin Loss, tạo ra các vector đặc trưng chuẩn hóa 512 chiều có khoảng cách góc cực tiểu giữa các ảnh cùng danh tính và tối đa hóa khoảng cách giữa các danh tính khác nhau.

Các khái niệm cốt lõi bao gồm: Nút điểm tựa (Pivot Node), Đồ thị láng giềng k-NN, Ma trận kề chuẩn hóa, Độ đo BCube F-score và Độ đo Normalized Mutual Information (NMI).

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp chọn mẫu phân tầng có chủ đích (stratified purposive sampling) trên các tập dữ liệu benchmark chuẩn hóa quốc tế để bảo đảm tính khách quan và khả năng khái quát hóa trong bối cảnh học quy nạp (inductive learning):

• Nguồn dữ liệu huấn luyện: Tập dữ liệu CASIA gồm 200.000 vector đặc trưng khuôn mặt của 5.000 danh tính khác nhau, được huấn luyện qua 4 epoch để hội tụ trọng số mạng GCN 4 lớp tích chập với hàm kích hoạt ReLU và hàm mất mát Cross-Entropy.
• Nguồn dữ liệu kiểm thử: Bộ dữ liệu chuẩn IJB-B với ba tập con quy mô tăng dần nhằm kiểm tra độ bền vững: tập thứ nhất gồm 18.171 ảnh của 512 người; tập thứ hai gồm 36.575 ảnh của 1.024 người; tập thứ ba gồm 68.195 ảnh của 1.845 người.
• Nguồn dữ liệu ứng dụng thực tế: Tập dữ liệu 129 ảnh cầu thủ World Cup 2018 chưa gán nhãn và tập dữ liệu 118 ảnh của 5 nhân vật nổi tiếng.

Lý do lựa chọn phương pháp phân tích: Luận văn lựa chọn cấu trúc cây KD-Tree để xây dựng đồ thị k-NN vì giảm thiểu thời gian xử lý xuống $O(M \log^2 M)$ khi tạo cây và $O(\log M)$ khi truy vấn láng giềng. Tiếp đó, phương pháp GCN được chọn vì cho phép phân loại liên kết dương/âm dựa trên ngữ cảnh cấu trúc cục bộ thay vì chỉ so khớp khoảng cách hình học đơn thuần, kết hợp thuật toán cắt ngưỡng động có kiểm soát kích thước nhóm tối đa (maxsize) nhằm loại bỏ liên kết yếu một cách linh hoạt. Toàn bộ quy trình nghiên cứu, tối ưu mô hình và đóng gói ứng dụng được thực hiện xuyên suốt từ tháng 1 đến tháng 12 năm 2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đa tầng đã đem lại 4 phát hiện khoa học quan trọng:

1. Ưu thế vượt trội của GCN so với mạng nơ-ron đa tầng truyền thống: Khi thực nghiệm phân loại nút trên bộ dữ liệu mạng trích dẫn Cora gồm 2.708 bài báo và 1.433 đặc trưng từ vựng, mô hình GCN đạt độ chính xác 89,1%, cao hơn 16,0% so với mô hình Multilayer Perceptron (MLP) chỉ đạt 73,1%. Điều này chứng minh việc khai thác cấu trúc đồ thị liên kết mang lại giá trị phân loại cao hơn hẳn việc chỉ dùng vector đặc trưng độc lập.
2. Hiệu năng gom nhóm vượt bậc so với các phương pháp cổ điển: Trên tập dữ liệu IJB-B-512 (18.171 ảnh), phương pháp đề xuất đạt chỉ số BCube F-score 85,73% (0,8573) và NMI 92,7% (0,927), vượt xa thuật toán K-Means (F-score 61,22%, NMI 85,8%) với mức chênh lệch F-score lên đến 24,51%.
3. Tác động của cấu hình tham số đồ thị con IPS: Thực nghiệm phân tích độ nhạy cho thấy cấu hình số hop $h=2$, số láng giềng cấp một $k_1=40$, số láng giềng cấp hai $k_2=5$ và tham số liên kết $u=5$ mang lại điểm cân bằng tối ưu. Khi tăng $h \ge 3$, độ đo F-score chỉ tăng thêm dưới 0,4% nhưng chi phí bộ nhớ và thời gian tính toán tăng hơn 120%.
4. Khả năng hoạt động ổn định trên ứng dụng thực tế: Khi triển khai trên tập kiểm thử 118 ảnh của 5 danh tính nổi tiếng và 129 ảnh cầu thủ bóng đá, hệ thống tự động nhận diện và gom nhóm chính xác 100% các cụm thực tế mà không cần chỉ định trước số lượng cụm K, đạt độ trễ xử lý dưới 0,8 giây cho mỗi tác vụ truy vấn.

Thảo luận kết quả

Nguyên nhân dẫn đến sự vượt trội của phương pháp đề xuất xuất phát từ cơ chế trích xuất ngữ cảnh liên kết cục bộ. Các thuật toán như K-Means hay Spectral Clustering bị suy giảm hiệu năng nghiêm trọng do áp đặt giả định cứng nhắc về hình dạng cụm hình cầu hoặc mật độ đồng nhất. Trong khi đó, mô hình IPS kết hợp GCN 4 lớp thực hiện chuẩn hóa trừ vector đặc trưng nút pivot và lan truyền thông điệp qua ma trận kề $D^{-1}A$, giúp đẩy các nút âm tính (khác danh tính) ra xa và kéo các nút dương tính (cùng danh tính) lại gần nhau trong không gian biểu diễn.

Khi so sánh với các nghiên cứu phân cấp hiện đại như Agglomerative Hierarchical Clustering (AHC) và Approximate Rank-Order (ARO), mô hình GCN vẫn duy trì mức F-score cao hơn từ 3,5% đến 8,2% trên cả ba tập kiểm thử của IJB-B. Trong luận văn, toàn bộ dữ liệu so sánh được tổng hợp trực quan qua Bảng thống kê hiệu năng đa chỉ số và Biểu đồ đường phân tích độ nhạy tham số $k_1, k_2, u$. Biểu đồ minh họa rõ nét đường cong F-score tăng mạnh khi $k_1$ tăng từ 10 lên 40, sau đó tiệm cận trạng thái bão hòa khi $k_1$ vượt qua ngưỡng 80, cung cấp bằng chứng thực nghiệm vững chắc cho việc thiết lập tham số hệ thống.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đưa ra 4 khuyến nghị hành động cụ thể nhằm triển khai và tối ưu hóa hệ thống gom nhóm khuôn mặt trong thực tế:

• Chuẩn hóa đường ống trích xuất đặc trưng: Doanh nghiệp công nghệ cần áp dụng mô hình ArcFace với không gian vector 512 chiều để trích xuất đặc trưng khuôn mặt đầu vào, hướng tới mục tiêu duy trì tỷ lệ biểu diễn chính xác đạt trên 95% trong vòng 3 tháng đầu triển khai, do Đội ngũ Kỹ sư Thị giác Máy tính (Computer Vision Engineers) trực tiếp phụ trách.
• Tối ưu hóa hạ tầng chỉ mục không gian: Nhóm Kỹ sư Backend cần tích hợp cấu trúc KD-Tree hoặc thư viện tìm kiếm láng giềng xấp xỉ FAISS vào lõi xử lý, nhằm giảm thời gian truy vấn láng giềng k-NN xuống dưới 50 mili-giây trên quy mô kho dữ liệu 1.000.000 ảnh, hoàn thành trong thời hạn 6 tháng.
• Nâng cấp kiến trúc mạng đồ thị thông minh: Nhóm Nghiên cứu Trí tuệ Nhân tạo (AI Researchers) nên nghiên cứu thay thế cơ chế tổng hợp trung bình bằng cơ chế chú ý đồ thị (Graph Attention Networks - GAT), hướng đến việc tăng thêm từ 3% đến 5% chỉ số BCube F-score trên các tập dữ liệu có độ nhiễu cao, triển khai thử nghiệm vào quý 3 năm 2024.
• Hoàn thiện ứng dụng quản lý album đa nền tảng: Bộ phận Phát triển Phần mềm cần xây dựng giao diện web phân quyền người dùng, hỗ trợ thông lượng xử lý đạt tối thiểu 500 ảnh mỗi giây và tuân thủ các quy định bảo mật dữ liệu sinh trắc học cá nhân trong lộ trình 9 tháng.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng thực tiễn cao, đặc biệt hữu ích cho 4 nhóm đối tượng:

• Kỹ sư Khoa học Dữ liệu và Thị giác Máy tính: Nắm bắt phương pháp luận chi tiết về việc kết hợp mô hình trích xuất đặc trưng ArcFace với mạng nơ-ron đồ thị GCN để xử lý các bài toán phân cụm không gian phức tạp.
• Lập trình viên Hệ thống và Kỹ sư Fullstack: Tham khảo kiến trúc phân tầng Frontend - Backend trong việc tích hợp mô hình AI vào ứng dụng web quản lý hình ảnh thực tế, bảo đảm độ trễ thấp và khả năng mở rộng linh hoạt.
• Học viên Cao học và Nghiên cứu sinh ngành Công nghệ Thông tin: Sử dụng luận văn như tài liệu tổng quan toàn diện về các độ đo đánh giá Purity, NMI, BCube F-score cũng như kỹ thuật tiền xử lý dữ liệu đồ thị dạng ma trận npy.
• Giám đốc Công nghệ (CTO) và Quản lý Sản phẩm Quản trị Tài sản Số: Tìm kiếm giải pháp công nghệ tự động hóa khâu phân loại kho ảnh nhân vật quy mô từ 50.000 đến hàng triệu bức ảnh, giúp cắt giảm 70% thời gian vận hành thủ công.

Câu hỏi thường gặp

Tại sao nghiên cứu lựa chọn mạng GCN thay vì K-Means hay DBSCAN?

Các phương pháp truyền thống như K-Means đặt giả định cụm dạng hình cầu và yêu cầu biết trước số cụm K, dẫn đến điểm F-score chỉ đạt 61,22% trên tập 18.171 ảnh IJB-B. Trong khi đó, GCN dự đoán liên kết dựa trên ngữ cảnh đồ thị con cục bộ, không áp đặt phân phối hình học và đạt F-score lên đến 85,73%.

Cấu trúc đồ thị con IPS (Instance Pivot Subgraph) giải quyết vấn đề gì?

IPS mã hóa quan hệ giữa nút điểm tựa (pivot) và các láng giềng đa tầng thông qua phép trừ vector đặc trưng. Cơ chế này giúp giới hạn không gian tính toán ở phạm vi cục bộ với cấu hình $k_1=40, k_2=5$, tránh việc phải so khớp toàn bộ đồ thị gây bùng nổ chi phí tính toán $O(N^2)$.

Việc lựa chọn số hop $h=2$ có ý nghĩa như thế nào trong thực nghiệm?

Kết quả kiểm thử cho thấy $h=2$ cung cấp đầy đủ ngữ cảnh láng giềng bậc cao để mạng GCN phân biệt liên kết dương và âm. Việc tăng lên $h \ge 3$ chỉ làm tăng độ đo F-score thêm dưới 0,4% nhưng làm tăng kích thước đồ thị con và thời gian huấn luyện lên hơn 2 lần.

Mô hình ArcFace đóng vai trò gì trong toàn bộ kiến trúc?

ArcFace đóng vai trò trích xuất đặc trưng tiền xử lý, ánh xạ mỗi khuôn mặt thành vector 512 chiều trên siêu cầu. Được huấn luyện trên hàng triệu ảnh từ MS-Celeb-1M và VGGFace2, ArcFace bảo đảm các vector đặc trưng có tính phân tách danh tính rất cao trước khi đưa vào đồ thị.

Ứng dụng web xây dựng trong luận văn có thể mở rộng cho dữ liệu lớn không?

Có. Nhờ việc sử dụng thuật toán KD-Tree với độ phức tạp truy vấn láng giềng $O(\log M)$ và kiến trúc module hóa API Backend, hệ thống đã chạy thử nghiệm mượt mà trên 129 ảnh cầu thủ và 118 ảnh người nổi tiếng, đồng thời sẵn sàng mở rộng cho các kho lưu trữ hàng trăm nghìn ảnh.

Kết luận

• Luận văn đã giải quyết thành công bài toán gom nhóm khuôn mặt quy mô lớn bằng hướng tiếp cận dự đoán liên kết dựa trên Mạng Tích chập Đồ thị (GCN) 4 lớp.
• Chỉ số thực nghiệm trên bộ dữ liệu chuẩn IJB-B-512 đạt BCube F-score 85,73% và NMI 92,7%, vượt trội hơn 24,51% so với các giải thuật gom nhóm truyền thống.
• Cấu trúc chỉ mục không gian KD-Tree được tối ưu hóa hiệu quả, đưa độ phức tạp tìm kiếm láng giềng về mức $O(\log M)$, bảo đảm khả năng mở rộng hệ thống.
• Ứng dụng web quản lý album ảnh nhân vật được hiện thực hóa hoàn chỉnh, đáp ứng khả năng phân nhóm tự động không cần gán nhãn với độ trễ phản hồi dưới 0,8 giây.
• Kế hoạch phát triển tiếp theo tập trung vào việc tích hợp cơ chế chú ý đồ thị GAT và tối ưu hóa bộ nhớ GPU trong vòng 4 quý tới nhằm tăng thêm 20% thông lượng xử lý.

Các nhà nghiên cứu và doanh nghiệp quan tâm đến việc ứng dụng mô hình phân cụm đồ thị nâng cao vào quản trị dữ liệu thị giác máy tính có thể tham khảo toàn văn công trình nghiên cứu tại thư viện Trường Đại học Công nghệ Thông tin – ĐHQG TP.HCM để triển khai thực tế.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu Chương 2: Hướng giải quyết Chương 3: Mô hình, thuật toán Chương 4: Thực nghiệm Chương 5: Xây dựng ứng dụng Chương 6: Kết luận, hướng phát triển Tài liệu tham khảo Phụ lục: Thuật toán gom nhóm truyền thống: K-Means, spectral clustering, DBSCAN Tìm kiếm láng giềng gần nhất: giải thuật Brute Force, K-D Tree Độ do NMI, BCube-F CHƯƠNG 2. HƯỚNG GIẢI QUYẾT 2.1 Giới thiệu Bài toán gom nhóm dữ liệu khuôn mặt đối mặt một số thách thức, như trong trường hợp ảnh được chụp ở nhiều góc độ khác nhau, thay đổi độ sáng, bị che khuất, sự phân bố phức tạp của các biểu diễn khuôn mặt khiến cho việc áp dụng các phương phương pháp truyền thống như K-Means [1], Spectral Clustering [2], gặp khó khăn vì các phương pháp này thường đưa ra các giả định cứng nhắc về phân bố dữ liệu. Một số công trình nghiên cứu sau đó được phát triển có thé đạt hiệu quả tốt trên dir liệu có phân bố phức tạp như gom nhóm dữ liệu phân cấp Agglomerative Hierarchical Clustering (AHC) [3, 4, 5], phương pháp này mang lại hiệu suất tốt trên gom nhóm khuôn mặt, nhưng độ phức tạp tính toán của nó là một van dé, hạn chế khi ứng dụng trong gom nhóm quy mô lớn. Trong khi đó, các phương pháp gom nhóm dựa trên liên kết không đặt ra bat kỳ giả định nào về phân phối dữ liệu va đạt được độ chính xác cao hơn.

Luận văn sẽ trình bay một số phương pháp đặc trưng của các hướng tiếp cận gồm K-means, DBSCAN, phương pháp gom nhóm dựa trên liên kết. Từ đó, ta có cái nhìn tổng quan về các hướng tiếp cận hiện nay trong bài toán gom nhóm khuôn mặt.2 Các giải thuật gom nhóm truyền thống 2.1 Thuật toán K-Means Là một thuật toán gom nhóm phổ biến trong machine learning và data mining. Thuật toán này thường được sử dung để phân nhóm các điểm dữ liệu vào các nhóm dựa trên sự tương đồng giữa chúng. Thuật toán K-Means hoạt động như sau: - Bước 1: Chọn số lượng nhóm (K) cần tạo.

- Bước 2: Chọn ngẫu nhiên K điểm làm các điểm tâm ban đầu của các nhóm. - Bước 3: Gán từng điểm dữ liệu vào nhóm gần nhất bằng cách tính toán khoảng cách giữa điểm dữ liệu và các điểm tâm của các nhóm. 8 - Bước 4: Cập nhật lại vi trí của các điểm tâm bằng cách tính toán trung bình của các điểm dữ liệu thuộc cùng một nhóm. - Bước 5: Lặp lại bước 3 và 4 cho đến khi các điểm tâm không thay đổi hoặc đạt đến điều kiện đừng được xác định trước (ví dụ: số lần lặp tối đa).

Kết quả cuối cùng của thuật toán K-Means là các nhóm dữ liệu, mỗi nhóm được đại điện bởi một điểm tâm. Thuật toán K-Means tìm cách tối thiểu hóa tổng bình phương khoảng cách giữa mỗi điểm dữ liệu và điểm tâm của nhóm mà nó thuộc về. Tuy K-Means là một thuật toán gom nhóm đơn giản và hiệu quả, nhưng nó có nhược điểm là dựa trên giả định về hình dang nhóm là hình cầu và không thé xử lý tốt với các dạng nhóm phi tuyến. Điều này làm cho K-Means không phù hợp với các dữ liệu có phân phối phức tạp.2 Phân nhóm phố Phân nhóm phổ (Spectral clustering) là một phương pháp phân nhóm dựa trên phân tích phổ của ma trận liên kết (affinity matrix).

Phương pháp này thường được sử dụng để phân nhóm dữ liệu có độ phức tạp cao. Các bước thực hiện gồm: - Chuan bị dữ liệu: cần xây dựng ma trận liên kết (affinity matrix) từ dữ liệu ban đầu. Ma trận này thường được xây dựng bằng cách tính độ tương đồng hoặc độ tương tự giữa các điểm dữ liệu trong không gian đặc trưng. - Xây dựng ma trận Laplacian: từ ma trận liên kết, ta xây dựng ma trận Laplacian.

Ma tran Laplacian được tính bằng cách lấy ma trận liên kết trừ ma trận bậc (degree matrix). - Phan tích phổ: thực hiện phân tích phổ trên ma tran Laplacian dé thu được các vector riêng và giá trị riêng của nó. Các vector riêng tương ứng với giá trị riêng nhỏ nhất thường chứa thông tin về phân nhóm. - Phan nhóm: sử dung các vector riêng dé phân nhóm dữ liệu.

Một phương pháp đơn giản là sử dung giá trị ngưỡng (thresholding) trên các giá trị riêng dé phan tách các nhóm. Phương pháp phân nhóm phô thường hiệu quả cho việc phân nhóm các dữ liệu có cấu trúc phức tạp, không phụ thuộc vào hình dạng và kích thước của nhóm, được áp dụng rộng rãi trong nhiều lĩnh vực, bao gồm phân nhóm hình ảnh, phân tích dữ liệu xã hội, nhận dạng nhóm từ vựng trong xử lý ngôn ngữ tự nhiên và nhiều lĩnh vực khác. Phương pháp phân nhóm phé thường cho kết quả tốt trong việc xử lý các bài toán phân nhóm có tính chất phi tuyến. Tuy nhiên, nhược điểm của phương pháp này là yêu cầu tính toán ma trận Laplacian và giải bài toán trị riêng, đòi hỏi tài nguyên tính toán cao và có thể không thích hợp cho các tập dữ liệu lớn.3 Phân nhóm dựa trên mật độ DBSCAN Thuật toán phân nhóm dựa trên mật độ (Density-Based Spatial Clustering of Applications with Noise) được sử dụng để nhóm các điểm dữ liệu trong một tập dữ liệu dựa trên mật độ và khoảng cách giữa chúng.

Đây là một thuật toán phân nhóm không cần chỉ định số lượng nhóm trước và có khả năng phát hiện các nhóm có hình dạng và kích thước đa dạng. Các bước chính của thuật toán DBSCAN là: - Xác định các điểm hàng xóm: cho một điểm cho trước, các điểm trong tập dữ liệu, có khoảng cách nhỏ hơn epsilon từ điểm cho trước, được coi là hàng xóm của điểm đó. -_ Xác định điểm cốt lõi (core points): Nếu số lượng điểm hàng xóm của một điểm vượt qua một ngưỡng nhất định (MinPts), điểm đó được xem là điểm cốt lõi. - Xác định các nhóm: Nếu một điểm là điểm cốt lõi, tất cả các điểm hàng xóm của nó (và hàng xóm của hàng xóm) thuộc cùng một nhóm.

Tiếp tục quá trình này cho tới khi không còn điểm cốt lõi nào được tìm thấy. 10 - _ Xử lý điểm biên (border points): Các điểm không phải là điểm cốt lõi nhưng vẫn có hàng xóm thuộc cùng một nhóm được coi là điểm biên. Chúng được gán vào nhóm tương ứng. - _ Xử lý điểm nhiễu (noise points): Các điểm không thuộc vào bat kỳ nhóm nao được xem là điểm nhiễu hoặc ngoại lệ.

Các tham số quan trọng trong DBSCAN bao gồm: Epsilon (e): là bán kính xung quanh mỗi điểm, được sử dụng dé xác định xem một điểm có được coi là láng giềng của một điểm khác hay không MinPts: Đây là số lượng tối thiểu của các điểm láng giềng cần thiết để một điểm được xem là một điểm cốt lõi. So với K-Means, DBSCAN có những ưu điểm : Khả năng xử lý các nhóm có hình dạng và kích thước không đồng nhất: DBSCAN có khả năng xác định các nhóm có hình dạng phức tạp và không yêu cầu các nhóm có kích thước tương đồng. Trong khi đó, K-means tạo ra các nhóm có hình dạng hình cầu và có kích thước tương đồng. Khả năng xử lý nhiễu và ngoại lệ: DBSCAN có khả năng xử lý nhiễu và ngoại lệ.

Nó có thé xác định các điểm nhiễu và không gan chúng vào bất kỳ nhóm nao. Trong khi đó, K-means không có cơ chế xử lý nhiễu và ngoại lệ, nó phân nhóm tat cả các điểm dit liệu, kê cả nhiêu và ngoại lệ. Không yêu cầu số lượng nhóm được xác định trước: DBSCAN không đòi hỏi người dùng chỉ định số lượng nhóm trước. Nó tự động xác định số lượng nhóm dựa trên dữ liệu và tham số của thuật toán.

Trong khi đó, K-means yêu cầu số lượng nhóm cần phân chia được xác định trước. Khả năng xác định các vùng dày đặc dựa trên mật độ: DBSCAN phân nhóm dựa trên mật độ và tìm các vùng dày đặc của điểm dữ liệu. Điều này giúp DBSCAN phát hiện các nhóm dữ liệu có mật độ cao và có thê làm việc tôt trên các tập dữ liệu có mật II độ đồng nhất. Trong khi đó, K-means chỉ tập trung vào việc tối thiểu hóa tông bình phương khoảng cách giữa các điểm và điểm tâm (centroid) tương ứng.

Tuy nhiên thuật toán này cũng ton tại một số nhược điềm: Thuật toán này cần đặt các tham số như epsilon va MinPts một cách hợp lý dé đạt được kết quả tốt. Không hiệu quả với các tập dữ liệu có mật độ không đồng nhất. Không thê xác định các nhóm có hình dạng phức tạp.3 Hướng tiếp cận mới, phân nhóm dựa trên liên kết Các phương pháp phân nhóm dựa trên liên kết (linkage-based) không đặt giả thiết về phân bé dữ liệu và đạt độ chính xác cao hơn. Phương pháp đơn giản nhất dé dự đoán liên kết là tính độ đo khoảng cách L, từng cặp điểm, nếu L; nhỏ hơn hoặc băng một ngưỡng xác định T, ta dự đoán rằng các điểm có khả năng liên kết; ngược lại, chúng không liên kết.

Khi mật độ của các nhóm biến đổi, việc sử dụng một ngưỡng cé định có thé không phù hợp. Trong thực tế, dữ liệu có phân bố tương đối phức tạp, các phần tử dữ liệu có liên kết với nhiều phần tử khác theo một mối quan hệ chồng chéo, phức tạp. Người ta thường biểu diễn dit liệu dạng đồ thị, các phan tử là các đỉnh, các mối quan hệ giữa chúng là các cạnh của đồ thị. Để ước lượng khả năng kết liên kết của 02 phần tử, nhiều công trình nghiên cứu trước đây như PageRank [6] SimRank [7], phân tích toàn bộ đồ thị.

Năm 2017, 2018 Zhang và Chen [8, 9] chứng minh rằng việc dự đoán liên kết chỉ cần xét đến hàng xóm của cặp nút là đủ. Qua tìm hiểu bai báo [10] tác giả dé xuất sử dụng Weisfeiler- Lehman Neural Machine [8], mạng neural đồ thị [9], dé học các đặc trưng tông quát về cấu trúc đồ thị từ các đồ thị con, việc dự đoán liên kết giữa 02 phần tử đạt hiệu suất, và tính ôn định cao.4 Kết luận Chính những ưu điểm của hướng tiếp cận phân nhóm dựa trên liên kết so với các giải pháp truyền thống, đồng thời việc ứng dụng phương pháp này vào thực tế là khả thi. Vì vậy luận văn tập trung nghiên cứu phương pháp phân nhóm dựa vào liên kết bằng cach sử dụng mạng tích chập đồ thị trong việc dự đoán liên kết. Chi tiết mô hình và thuật toán sẽ được giới thiệu chi tiết trong chương 03.

NGHIÊN CỨU MÔ HÌNH, THUẬT TOÁN 3.1 Định nghĩa vấn đề bài toán Cho tập ảnh khuôn mặt, sau khi trích xuất đặc trưng, ta có một tập dữ liệu tập các đặc trưng ảnh khuôn mặt X = [x¡,.,xy]” € R**?