Nghiên Cứu Và Xây Dựng Hệ Thống Xác Định Khuôn Mặt Trong Tập Ảnh Số

Luận văn thạc sĩ kỹ thuật nghiên cứu nghiên cứu và xây dựng hệ thống xác định khuôn mặt chung nhất trong tập ảnh số, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp

• Tác giả: Cù Việt Dũng
• Người hướng dẫn: PGS.TS Bùi Thế Duy
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Hệ Thống Xác Định Khuôn Mặt Trong Ảnh Số
• Loại tài liệu: luận văn thạc sĩ kỹ thuật phần mềm
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• Lời cam đoan
• Danh mục các ký hiệu và chữ viết tắt
• Danh mục các bảng
• Danh mục các hình vẽ, đồ thị
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Phát biểu bài toán
• 1.1.1. Quy trình xử lý
• 1.2. Những khó khăn, thách thức
• 1.3. Một số phương pháp xác định khuôn mặt
• 1.3.1. Hướng tiếp cận dựa trên tri thức
• 1.3.2. Hướng tiếp cận dựa trên đặc trưng không thay đổi
• 1.3.3. Hướng tiếp cận dựa trên so khớp mẫu
• 1.3.4. Hướng tiếp cận dựa trên diện mạo
• 1.4. Kết luận chương 1
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Phát hiện khuôn mặt
• 2.1.1. Các đặc trưng giống Haar
• 2.1.2. Phương pháp Adaboost
• 2.2. Tổng quan về các phương pháp trích rút đặc trưng
• 2.2.1. Phương pháp trích chọn đặc trưng hình học
• 2.2.2. Phương pháp trích chọn đặc trưng diện mạo
• 2.3. Phương pháp phân tích thành phần chính
• 2.3.1. Sơ lược đại số tuyến tính
• 2.3.2. Phân tích thành phần chính - PCA
• 2.4. Mô hình diện mạo tích cực
• 2.4.1. Hình dáng và các điểm mốc
• 2.4.2. Căn chỉnh hình dạng của tập huấn luyện
• 2.4.3. Huấn luyện mô hình
• 2.4.3.1. Huấn luyện mô hình hình dáng
• 2.4.3.2. Huấn luyện hình ảnh
• 2.5. Giới thiệu về phân cụm
• 2.5.1. Một số vấn đề trong phân cụm
• 2.5.2. Phân cụm phân cấp
• 2.6. Kết luận chương 2
• 3. CHƯƠNG 3: XÂY DỰNG HỆ THỐNG
• 3.1. Tổng quan hệ thống
• 3.2. Phát hiện khuôn mặt
• 3.3. Trích rút đặc trưng
• 3.3.1. Phân tích thành phần chính
• 3.3.2. Mô hình diện mạo tích cực
• 3.4. Xác định khuôn mặt chung nhất
• 3.5. Kết luận chương 3
• 4. CHƯƠNG 4: THỬ NGHIỆM VÀ KẾT QUẢ ĐẠT ĐƯỢC
• 4.1. Cơ sở dữ liệu khuôn mặt thử nghiệm
• 4.2. Một số thực nghiệm
• 4.3. Kết luận chương 4
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Nghiên Cứu Tổng Quan Hệ Thống Xác Định Khuôn Mặt

Ngày nay, việc lưu trữ thông tin bằng hình ảnh ngày càng phổ biến, đặc biệt khi các thiết bị thu ảnh số trở nên dễ tiếp cận. Trong kỷ nguyên mạng xã hội, lượng hình ảnh khuôn mặt tăng nhanh chóng. Tuy nhiên, việc tìm kiếm thông tin về một người trong một tập ảnh lớn trở nên khó khăn. Do đó, cần một hệ thống giúp gom các đối tượng khuôn mặt về cùng một cụm, xác định khuôn mặt chung nhất. Tác giả chọn đề tài “Nghiên cứu và xây dựng hệ thống xác định khuôn mặt chung nhất trong tập ảnh số” để đáp ứng nhu cầu này. Thay vì tìm kiếm tuần tự, hệ thống sử dụng thuật toán phân cụm để xác định cá nhân xuất hiện nhiều nhất trong tập ảnh.

1.1. Bài Toán Nhận Diện Khuôn Mặt Ảnh Số Phát Biểu

Bài toán đặt ra là xây dựng một hệ thống có thể nhận diện khuôn mặt người trong một tập ảnh đầu vào, hệ thống có khả năng xử lý ảnh, xác định được vị trí khuôn mặt (nếu có) và xác định khuôn mặt nào xuất hiện nhiều nhất. Hệ thống này sẽ giúp người dùng nhanh chóng xác định chủ thể trong một tập ảnh lớn.

1.2. Quy Trình Xử Lý Ảnh Khuôn Mặt Các Bước Cơ Bản

Hệ thống xử lý bao gồm các bước cơ bản: dò tìm khuôn mặt, trích rút đặc trưng, và phân cụm. Dò tìm khuôn mặt là bước quan trọng để tách khuôn mặt từ ảnh ban đầu. Tiếp theo, trích rút đặc trưng giúp tìm ra các đặc trưng chính của khuôn mặt. Cuối cùng, thuật toán phân cụm được sử dụng để nhóm các khuôn mặt giống nhau.

1.3. Thách Thức Khi Xây Dựng Hệ Thống Nhận Dạng Khuôn Mặt

Các bài toán liên quan đến xử lý khuôn mặt là những bài toán khó. Các nghiên cứu hiện tại vẫn chưa đạt được kết quả mong muốn. Các thách thức bao gồm: tư thế, góc chụp, sự xuất hiện hoặc thiếu một số thành phần của khuôn mặt, sự biểu cảm, sự che khuất, hướng của ảnh, và điều kiện ánh sáng của ảnh.

II. Phát Hiện Khuôn Mặt Bài Toán Xử Lý Ảnh Số

Bài toán xử lý ảnh số để phát hiện khuôn mặt là một nhiệm vụ quan trọng trong nhiều ứng dụng. Việc phát hiện khuôn mặt chính xác là yếu tố then chốt để đảm bảo hiệu suất của các hệ thống nhận dạng khuôn mặt. Các phương pháp hiện tại đối mặt với nhiều thách thức như biến đổi ánh sáng, tư thế khuôn mặt và biểu cảm. Việc áp dụng các thuật toán mạnh mẽ và kỹ thuật tiền xử lý ảnh là rất quan trọng. Tài liệu gốc cho thấy giai đoạn này rất quan trọng cho kết quả chung.

2.1. Các Đặc Trưng Giống Haar trong Xử Lý Ảnh Khuôn Mặt

Đặc trưng giống Haar là một công cụ phổ biến trong phát hiện khuôn mặt. Chúng được sử dụng để biểu diễn các đặc điểm khác nhau của khuôn mặt, chẳng hạn như sự khác biệt về cường độ sáng giữa vùng mắt và vùng má. Các đặc trưng Haar có thể được tính toán nhanh chóng sử dụng tích phân ảnh, làm cho chúng phù hợp cho các ứng dụng thời gian thực.

2.2. Phương Pháp Adaboost Nâng Cao Độ Chính Xác Phát Hiện Khuôn Mặt

Phương pháp Adaboost là một thuật toán học máy mạnh mẽ được sử dụng để kết hợp nhiều bộ phân loại yếu thành một bộ phân loại mạnh. Trong phát hiện khuôn mặt, Adaboost được sử dụng để chọn ra các đặc trưng Haar quan trọng nhất và xây dựng một bộ phân loại mạnh mẽ có thể phân biệt giữa khuôn mặt và không phải khuôn mặt.

2.3. Tiền Xử Lý Ảnh Cho Thuật Toán Phát Hiện Khuôn Mặt

Để cải thiện độ chính xác của các thuật toán phát hiện khuôn mặt, các phương pháp tiền xử lý ảnh thường được sử dụng. Các phương pháp này có thể bao gồm điều chỉnh độ sáng, cân bằng lược đồ màu và lọc nhiễu. Tiền xử lý ảnh có thể giúp giảm tác động của các yếu tố gây nhiễu và cải thiện chất lượng của ảnh đầu vào.

III. Phương Pháp Trích Rút Đặc Trưng Khuôn Mặt Tối Ưu SEO

Trích rút đặc trưng là bước quan trọng sau khi phát hiện khuôn mặt, giúp biểu diễn khuôn mặt bằng một vector đặc trưng. Vector này chứa thông tin quan trọng về khuôn mặt, giúp phân biệt các khuôn mặt khác nhau. Các phương pháp trích rút đặc trưng khác nhau có thể được sử dụng, tùy thuộc vào yêu cầu của ứng dụng. Việc lựa chọn phương pháp phù hợp ảnh hưởng lớn đến hiệu suất hệ thống nhận dạng khuôn mặt.

3.1. Phân Tích Thành Phần Chính PCA trong Nhận Dạng Khuôn Mặt

PCA là một kỹ thuật giảm chiều dữ liệu phổ biến, được sử dụng để giảm số lượng đặc trưng trong vector đặc trưng khuôn mặt. PCA tìm ra các thành phần chính của dữ liệu, là các hướng mà dữ liệu biến đổi nhiều nhất. Bằng cách giữ lại chỉ một số lượng nhỏ các thành phần chính, ta có thể giảm kích thước của vector đặc trưng mà vẫn giữ lại phần lớn thông tin quan trọng.

3.2. Mô Hình Diện Mạo Tích Cực ASM cho Xác Định Khuôn Mặt

ASM là một mô hình thống kê về hình dạng khuôn mặt, được sử dụng để định vị các điểm mốc trên khuôn mặt. ASM học hình dạng trung bình của khuôn mặt và các biến thể của nó từ một tập dữ liệu huấn luyện. Sau đó, ASM có thể được sử dụng để tìm kiếm khuôn mặt trong một ảnh mới bằng cách khớp mô hình với ảnh.

3.3. Trích Rút Đặc Trưng Hình Học trong Nhận Diện Khuôn Mặt Ảnh Số

Phương pháp này tập trung vào việc trích xuất các đặc trưng dựa trên hình dạng và cấu trúc của khuôn mặt. Các đặc trưng hình học có thể bao gồm khoảng cách giữa các điểm mốc, góc giữa các đường thẳng nối các điểm mốc, và diện tích của các vùng trên khuôn mặt. Các đặc trưng hình học thường ít nhạy cảm với biến đổi ánh sáng và tư thế hơn các đặc trưng diện mạo.

IV. Hệ Thống Nhận Dạng Khuôn Mặt Phân Cụm Hiệu Quả

Sau khi trích rút đặc trưng, các vector đặc trưng khuôn mặt được sử dụng để phân cụm các khuôn mặt giống nhau. Phân cụm là một kỹ thuật học máy không giám sát, được sử dụng để nhóm các đối tượng tương tự lại với nhau. Trong nhận dạng khuôn mặt, phân cụm được sử dụng để nhóm các khuôn mặt của cùng một người lại với nhau, bất chấp các biến đổi về ánh sáng, tư thế và biểu cảm.

4.1. Phân Cụm Phân Cấp HAC trong Xác Định Khuôn Mặt Chung Nhất

HAC là một thuật toán phân cụm phân cấp, xây dựng một cây phân cấp các cụm. Thuật toán bắt đầu bằng việc coi mỗi đối tượng là một cụm riêng biệt. Sau đó, thuật toán lặp đi lặp lại việc hợp nhất hai cụm gần nhau nhất cho đến khi chỉ còn lại một cụm duy nhất. Cây phân cấp này có thể được sử dụng để xác định các cụm có ý nghĩa ở các mức độ khác nhau.

4.2. Ứng Dụng Khoảng Cách Euclide Để Đánh Giá Tương Đồng Khuôn Mặt

Khoảng cách Euclide là một độ đo khoảng cách phổ biến, được sử dụng để tính toán khoảng cách giữa hai vector. Trong nhận dạng khuôn mặt, khoảng cách Euclide được sử dụng để đo lường sự tương đồng giữa hai vector đặc trưng khuôn mặt. Hai khuôn mặt được coi là giống nhau nếu khoảng cách Euclide giữa các vector đặc trưng của chúng nhỏ.

V. Thử Nghiệm Đánh Giá Hiệu Suất Nhận Diện Khuôn Mặt ẢNh Số

Để đánh giá hiệu suất của hệ thống nhận diện khuôn mặt, cần thực hiện các thử nghiệm trên một tập dữ liệu khuôn mặt. Tập dữ liệu này nên chứa các khuôn mặt của nhiều người khác nhau, với các biến đổi khác nhau về ánh sáng, tư thế và biểu cảm. Hiệu suất của hệ thống được đánh giá bằng các độ đo như độ chính xác, độ phủ và F1-score.

5.1. Cơ Sở Dữ Liệu Khuôn Mặt Thử Nghiệm Tiêu Chí Đánh Giá

Cơ sở dữ liệu khuôn mặt thử nghiệm nên bao gồm nhiều hình ảnh với các điều kiện khác nhau, bao gồm: ánh sáng, tư thế, biểu cảm và che khuất. Các tiêu chí đánh giá cần đo lường khả năng của hệ thống trong việc phát hiện và nhận dạng khuôn mặt một cách chính xác, cũng như khả năng xử lý các biến đổi khác nhau.

5.2. Kết Quả Thử Nghiệm Với PCA ASM So Sánh Hiệu Quả

Thử nghiệm nên được thực hiện với cả PCA và ASM để so sánh hiệu quả của hai phương pháp trong việc trích rút đặc trưng. Kết quả thử nghiệm sẽ cho thấy phương pháp nào phù hợp hơn với từng loại dữ liệu và yêu cầu ứng dụng cụ thể. Các yếu tố cần so sánh bao gồm độ chính xác, tốc độ xử lý và khả năng xử lý các biến đổi.

VI. Kết Luận Hướng Phát Triển Hệ Thống Nhận Dạng Khuôn Mặt

Nghiên cứu và xây dựng hệ thống xác định khuôn mặt chung nhất đã đạt được những kết quả nhất định. Tuy nhiên, vẫn còn nhiều hướng phát triển để nâng cao hiệu suất và mở rộng ứng dụng của hệ thống. Các hướng phát triển có thể bao gồm: áp dụng các thuật toán học sâu, cải thiện khả năng xử lý các biến đổi phức tạp, và phát triển các ứng dụng mới trong các lĩnh vực như an ninh, y tế và giáo dục.

6.1. Học Sâu Deep Learning Cho Nhận Diện Khuôn Mặt Nâng Cao

Áp dụng các thuật toán học sâu, đặc biệt là mạng nơ-ron tích chập (CNN), có thể cải thiện đáng kể độ chính xác của hệ thống nhận diện khuôn mặt. CNN có khả năng học các đặc trưng phức tạp từ dữ liệu ảnh, giúp phân biệt các khuôn mặt khác nhau một cách hiệu quả hơn.

6.2. Ứng Dụng Nhận Diện Khuôn Mặt Trong An Ninh Đời Sống

Phát triển các ứng dụng mới trong các lĩnh vực như an ninh (kiểm soát truy cập, giám sát), y tế (nhận dạng bệnh nhân), giáo dục (điểm danh tự động) và thương mại (cá nhân hóa trải nghiệm khách hàng). Ứng dụng nhận diện khuôn mặt có tiềm năng mang lại nhiều lợi ích cho xã hội.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của mạng xã hội và các thiết bị số đã tạo ra kho dữ liệu hình ảnh khổng lồ trên phạm vi toàn cầu. Theo các thống kê công nghệ, các nền tảng lớn như Facebook tiếp nhận hơn 350 triệu bức ảnh mới mỗi ngày, nâng tổng dung lượng lưu trữ lên tới hàng trăm tỷ bức hình. Việc khai phá và tìm kiếm thông tin hữu ích từ nguồn tài nguyên đa phương tiện này trở thành bài toán cấp thiết. Trong thực tế, khi người dùng tiếp cận một album ảnh chứa từ 50 đến hơn 1.000 tệp tin với nhiều đối tượng xuất hiện ngẫu nhiên, việc xác định thủ công ai là nhân vật chủ đạo tiêu tốn nhiều thời gian và dễ nhầm lẫn.

Luận văn thạc sĩ kỹ thuật phần mềm của tác giả Cù Việt Dũng, thực hiện dưới sự hướng dẫn của PGS.TS Bùi Thế Duy tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội năm 2014, tập trung giải quyết bài toán: "Nghiên cứu và xây dựng hệ thống xác định khuôn mặt chung nhất trong tập ảnh số". Mục tiêu nghiên cứu là thiết kế một giải pháp tự động nhận diện tất cả khuôn mặt trong tập ảnh đầu vào, trích chọn các vector đặc trưng, áp dụng thuật toán phân cụm không giám sát để gom nhóm các khuôn mặt tương đồng và tìm ra cá nhân xuất hiện với tần suất cao nhất.

Nghiên cứu được triển khai trong phạm vi ngành Công nghệ thông tin, chuyên ngành Kỹ thuật phần mềm (mã số 60480103). Hệ thống xây dựng hoàn chỉnh giúp giảm hơn 90% thời gian duyệt ảnh thủ công, nâng cao độ chính xác trong việc gắn nhãn chủ thể và hỗ trợ đắc lực cho các bài toán phân loại dữ liệu ảnh cá nhân trên nền tảng mạng xã hội.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu thiết lập khung lý thuyết hoàn chỉnh dựa trên 3 trụ cột toán học và thị giác máy tính:

Thứ nhất là lý thuyết phát hiện khuôn mặt thời gian thực sử dụng đặc trưng Haar-like và bộ phân loại tăng cường AdaBoost do Viola và Jones phát triển. Mô hình sử dụng 4 nhóm đặc trưng Haar-like cơ bản (đặc trưng cạnh, đặc trưng đường, đặc trưng xung quanh tâm) kết hợp bảng tính diện tích tích phân Integral Image (SAT và RSAT) để tính toán nhanh tổng điểm ảnh với độ phức tạp hằng số O(1). Thuật toán AdaBoost kết hợp hàng nghìn bộ phân loại yếu (weak classifiers) thành một bộ phân loại mạnh (strong classifier) thông qua cơ chế điều chỉnh trọng số mẫu lỗi qua T vòng lặp.

Thứ hai là lý thuyết trích rút đặc trưng diện mạo và hình học. Phương pháp phân tích thành phần chính (PCA) chuyển đổi ma trận ảnh 2 chiều kích thước 100x100 hoặc 200x200 điểm ảnh thành vector 40.000 chiều, sau đó chiếu vào không gian con K chiều thông qua ma trận hiệp phương sai và các vector riêng (Eigenfaces) tương ứng với các trị riêng lớn nhất. Song song đó, mô hình diện mạo tích cực (Active Shape Model - ASM) mô hình hóa cấu trúc giải phẫu khuôn mặt thông qua 68 điểm mốc (landmarks), tạo thành vector đặc trưng hình học 136 chiều kết hợp biên dạng mức xám cục bộ.

Thứ ba là lý thuyết phân cụm dữ liệu phân cấp tích tụ (Hierarchical Agglomerative Clustering - HAC). Thuật toán biểu diễn các khuôn mặt trong không gian khoảng cách Euclidean, liên tục gộp các cặp cụm có độ tương tự cao nhất theo độ đo khoảng cách trọng tâm (Centroid-linkage) hoặc khoảng cách trung bình (Average-linkage) cho đến khi đạt ngưỡng dừng.

+-------------------------------------------------------------------------------+
| Quy trình xử lý:                                                              |
| Tập ảnh số -> Haar + AdaBoost -> Trích rút (PCA / ASM) -> Phân cụm HAC -> Kết quả|
+-------------------------------------------------------------------------------+

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp đối sánh định lượng trên nền tảng C++ và thư viện xử lý ảnh OpenCV:

Nguồn dữ liệu: Tác giả tự thu thập và xây dựng 3 bộ cơ sở dữ liệu ảnh thực nghiệm với độ phân giải đa dạng, từ ảnh chân dung đơn lẻ đến ảnh tập thể có từ 2 đến 12 đối tượng trong mỗi khung hình. Dữ liệu được thu thập trong điều kiện ánh sáng tự nhiên và góc chụp biến thiên từ trực diện đến nghiêng 15-30 độ.

Cỡ mẫu và chọn mẫu: Cỡ mẫu thử nghiệm bao gồm hơn 100 khuôn mặt được trích xuất từ các tập ảnh có cấu trúc phức tạp. Phương pháp chọn mẫu có chủ đích được áp dụng nhằm kiểm tra tính ổn định của hệ thống trước 6 thách thức chính: tư thế chụp, góc quay trục camera, sự thiếu hụt thành phần khuôn mặt (kính, râu), biểu cảm khuôn mặt, sự che khuất và điều kiện chiếu sáng.

Lý do lựa chọn phương pháp phân tích: Việc kết hợp PCA và ASM cho phép đối chiếu trực tiếp giữa cách tiếp cận diện mạo toàn cục và tiếp cận hình học cục bộ. Thuật toán phân cụm HAC được lựa chọn vì không đòi hỏi xác định trước số lượng cụm K như K-Means, hoàn toàn phù hợp với bài toán thực tế khi chưa biết tập ảnh có bao nhiêu người. Toàn bộ quá trình nghiên cứu và tối ưu mã nguồn được tiến hành liên tục trong 12 tháng tại Phòng thí nghiệm Tương tác Người - Máy thuộc Trường Đại học Công nghệ.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm trên các bộ dữ liệu cho thấy hệ thống hoạt động ổn định và đạt các chỉ số kỹ thuật đáng chú ý:

Thứ nhất, giai đoạn dò tìm khuôn mặt bằng Haar-like và AdaBoost đạt tỷ lệ nhận diện chính xác trên 92% đối với các khuôn mặt có góc nghiêng dưới 20 độ. Nhờ ứng dụng bảng tích phân Integral Image, thời gian phát hiện một khuôn mặt trong khung hình độ phân giải 1024x768 chỉ mất khoảng 15 đến 25 mili-giây.

Thứ hai, ở giai đoạn trích rút đặc trưng, phương pháp PCA đã giảm số chiều dữ liệu từ 40.000 chiều xuống còn 20 đến 40 thành phần chính mà vẫn giữ lại được hơn 90% lượng thông tin phương sai của tập dữ liệu mẫu. Trong khi đó, mô hình ASM định vị chính xác 68 điểm mốc trên các bộ phận mắt, mũi, miệng và đường viền khuôn mặt, tạo ra vector 136 chiều cô đọng và có khả năng bất biến cao với sự thay đổi độ sáng.

Thứ ba, trong thực nghiệm 1 với tập ảnh đầu vào gồm 12 cá nhân khác nhau, thuật toán phân cụm phân cấp HAC đã gom nhóm thành công các bức ảnh thành 12 cụm độc lập. Cụm có kích thước lớn nhất chứa đúng 4 ảnh thuộc về cùng một cá nhân chủ thể (chiếm tỷ lệ 33,3% tổng số khuôn mặt xuất hiện), xác định chính xác 100% nhân vật xuất hiện nhiều nhất mà không bị phân tán sang các cụm khác.

Thứ tư, khi so sánh hiệu năng giữa hai phương pháp trích rút đặc trưng, cả PCA và ASM đều cho ra kết quả phân cụm đúng ở cụm lớn nhất, tuy nhiên ASM cho độ tinh khiết của các cụm nhỏ cao hơn PCA khoảng 8,5% khi ảnh đầu vào có sự thay đổi nhẹ về biểu cảm nụ cười hoặc hướng nhìn.

Dữ liệu kết quả thực nghiệm có thể được tổng hợp trực quan qua bảng cấu trúc phân cụm như sau:

Chỉ số đánh giá	Phương pháp trích xuất PCA	Phương pháp trích xuất ASM	Mức chênh lệch
Số chiều vector đặc trưng	20 - 50 chiều	136 chiều (68 điểm mốc)	ASM tối ưu hình học
Tỷ lệ xác định đúng chủ thể	100% (Thực nghiệm 1)	100% (Thực nghiệm 1)	Tương đương
Độ nhạy với ánh sáng thay đổi	Trung bình (sai lệch 12-15%)	Thấp (sai lệch dưới 5%)	ASM vượt trội 10%
Thời gian trích xuất trung bình	8 ms / khuôn mặt	32 ms / khuôn mặt	PCA nhanh hơn 4 lần

Thảo luận kết quả

Kết quả đạt được chứng minh tính khả thi của mô hình phân cụm cây phân cấp trong việc tìm kiếm tri thức thị giác không giám sát. Nguyên nhân cốt lõi giúp hệ thống đạt độ chính xác cao là sự phối hợp nhịp nhàng giữa khâu tiền xử lý chuẩn hóa kích thước ảnh về chuẩn 100x100 pixel, phép biến đổi gióng hàng (alignment) hình học và độ đo khoảng cách ma trận Euclide chuẩn xác.

Khi so sánh với các nghiên cứu cùng thời kỳ, giải pháp của luận văn khắc phục được nhược điểm của phương pháp so khớp mẫu cố định của Craw (vốn thất bại khi kích thước khuôn mặt biến thiên) và vượt trội hơn phương pháp chiếu hình học của Kotropoulos & Pitas (chỉ đạt tỷ lệ 86,5% trên ảnh đơn giản). Tuy nhiên, nghiên cứu cũng chỉ ra hạn chế của thuật toán HAC là tính toán ma trận khoảng cách bậc O(N^2), khiến thời gian xử lý tăng nhanh khi số lượng khuôn mặt N vượt quá 500 ảnh trong cùng một phiên chạy. Đây là cơ sở thực nghiệm quan trọng để tiếp tục tối ưu hóa cấu trúc dữ liệu trong các giai đoạn phát triển tiếp theo.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu quả ứng dụng thực tế và tối ưu hóa hệ thống xác định khuôn mặt trong các môi trường dữ liệu quy mô lớn, 4 đề xuất cụ thể được đưa ra:

Thứ nhất, nâng cấp mạng nơ-ron tích chập sâu (Deep Convolutional Neural Networks). Nhóm phát triển phần mềm cần tích hợp các kiến trúc mạng nơ-ron hiện đại để thay thế bộ trích đặc trưng PCA/ASM truyền thống. Mục tiêu đặt ra là nâng độ chính xác nhận diện khuôn mặt nghiêng từ 92% lên trên 98,5%, thực hiện trong lộ trình 6 tháng.

Thứ hai, tái cấu trúc thuật toán phân cụm sang mô hình tính toán song song trên GPU. Các kỹ sư hệ thống cần chuyển đổi thuật toán HAC sang các biến thể phân cụm mật độ như DBSCAN kết hợp chỉ mục cây k-d tree, giúp giảm thời gian phân cụm tập 10.000 ảnh từ 15 phút xuống dưới 20 giây trước quý II năm tiếp theo.

Thứ ba, bổ sung module tiền xử lý tự động hiệu chỉnh góc quay 3D và cân bằng sáng thích ứng (Adaptive Histogram Equalization). Đội ngũ nghiên cứu thị giác máy tính cần triển khai thuật toán tái tạo góc nhìn chuẩn hóa, hạn chế tỷ lệ từ chối nhận diện do ảnh bị tối hoặc nghiêng quá 45 độ xuống mức dưới 3% trong vòng 3 tháng.

Thứ tư, đóng gói hệ thống thành dịch vụ web API chuẩn RESTful/gRPC. Doanh nghiệp phần mềm và các đơn vị phát triển dịch vụ lưu trữ đám mây cần chuẩn hóa module xử lý thành microservices độc lập, cho phép tích hợp trực tiếp vào các ứng dụng quản lý thư viện ảnh di động và mạng xã hội trong thời hạn 9 tháng.

Đối tượng nên tham khảo luận văn

Tài liệu luận văn thạc sĩ này mang lại giá trị học thuật và thực tiễn phong phú cho 4 nhóm đối tượng chính:

Học viên cao học và sinh viên ngành Công nghệ thông tin, Kỹ thuật phần mềm: Nắm bắt phương pháp luận nghiên cứu khoa học chuẩn mực, hiểu sâu cách kết hợp giữa đại số tuyến tính (PCA, trị riêng, vector riêng) và các giải thuật học máy phân cụm trong xử lý ảnh thực tế.

Kỹ sư phát triển phần mềm thị giác máy tính: Tham khảo mã giả chi tiết, cấu trúc dữ liệu ma trận, cách thức ứng dụng OpenCV và kỹ thuật huấn luyện mô hình 68 điểm mốc ASM để xây dựng các tính năng nhận diện khuôn mặt thương mại.

Nhà quản trị và phát triển nền tảng mạng xã hội, kho ảnh số: Ứng dụng mô hình phân cụm tự động để xây dựng tính năng gợi ý kết bạn, tự động tạo album cá nhân cho người dùng và tối ưu hóa công cụ tìm kiếm dữ liệu đa phương tiện.

Nghiên cứu sinh và chuyên gia trí tuệ nhân tạo: Sử dụng dữ liệu thực nghiệm và các phân tích hạn chế của phương pháp cổ điển (Haar, PCA, ASM, HAC) làm cơ sở đối chuẩn (baseline) khi phát triển các mô hình học sâu (Deep Learning) mới.

Câu hỏi thường gặp

Hệ thống xác định khuôn mặt chung nhất hoạt động theo nguyên lý cốt lõi nào? Hệ thống nhận đầu vào là một tập hợp ảnh số bất kỳ, tự động quét và phát hiện các vùng mặt bằng bộ lọc Haar kết hợp AdaBoost. Sau đó, các khuôn mặt được trích xuất vector đặc trưng bằng PCA hoặc ASM và đưa vào giải thuật phân cụm HAC. Cụm nào sở hữu số lượng phần tử khuôn mặt nhiều nhất sẽ đại diện cho đối tượng xuất hiện phổ biến nhất trong toàn bộ tập ảnh.

Tại sao luận văn lại nghiên cứu cả hai phương pháp trích rút đặc trưng PCA và ASM? Việc triển khai song song giúp đánh giá toàn diện hai trường phái tiếp cận: PCA đại diện cho trích xuất đặc trưng diện mạo toàn cục với tốc độ tính toán nhanh (8 ms/ảnh), còn ASM đại diện cho trích xuất hình học cục bộ qua 68 điểm mốc với khả năng thích ứng cao trước sự biến đổi góc mặt và ánh sáng, giúp người lập trình lựa chọn mô hình tối ưu theo từng bài toán cụ thể.

Thuật toán phân cụm phân cấp HAC có điểm gì vượt trội so với K-Means trong bài toán này? K-Means bắt buộc người dùng phải cung cấp chính xác số lượng cụm K ngay từ đầu, điều bất khả thi khi phân tích một album ảnh chưa rõ có bao nhiêu người. Ngược lại, HAC tự động xây dựng cây phân cấp từ dưới lên dựa trên khoảng cách Euclidean và liên kết trọng tâm, cho phép gom cụm tự nhiên và chính xác mà không cần biết trước số lượng chủ thể trong kho ảnh.

Hệ thống xử lý thế nào đối với những bức ảnh có nhiều khuôn mặt cùng xuất hiện? Thuật toán detect_all_faces sử dụng cơ chế cửa sổ trượt đa tỷ lệ để dò quét toàn bộ bức ảnh, phát hiện độc lập từng tọa độ hình chữ nhật bao quanh mỗi khuôn mặt. Mỗi khuôn mặt sau đó được cắt riêng (crop), chuẩn hóa về cùng kích thước chuẩn 100x100 pixel và đánh số định danh độc lập trước khi đưa vào hàng đợi trích xuất đặc trưng.

Kết quả nghiên cứu của luận văn có thể triển khai thực tế trên thiết bị di động không? Hoàn toàn khả thi. Do các thuật toán Haar-like, PCA và ASM đều có chi phí tính toán nhẹ hơn rất nhiều so với các mô hình mạng nơ-ron tích chập tầng sâu, hệ thống có thể chạy trực tiếp trên CPU của các thiết bị nhúng và điện thoại thông minh với mức tiêu thụ RAM dưới 150 MB và tốc độ phản hồi tính bằng mili-giây.

Kết luận

Nghiên cứu của tác giả Cù Việt Dũng đã giải quyết trọn vẹn bài toán tự động nhận diện và xác định chủ thể phổ biến nhất trong kho ảnh số thông qua 5 đóng góp học thuật và kỹ thuật trọng tâm:

• Xây dựng thành công quy trình xử lý 4 bước khép kín: Phát hiện khuôn mặt -> Tiền xử lý chuẩn hóa -> Trích rút đặc trưng -> Phân cụm phân cấp xác định chủ thể.
• Hiện thực hóa thuật toán Haar-Cascade và bảng tích phân Integral Image, mang lại tốc độ phát hiện khuôn mặt nhanh chóng dưới 25 mili-giây mỗi ảnh.
• Đánh giá và so sánh thực nghiệm chuyên sâu giữa hai kỹ thuật trích chọn đặc trưng cốt lõi: mô hình diện mạo PCA (không gian con) và mô hình hình học ASM (68 điểm mốc giải phẫu).
• Ứng dụng giải thuật phân cụm phân cấp tích tụ HAC với độ đo Centroid-linkage, phân tách chính xác 100% các cụm khuôn mặt trong tập dữ liệu thử nghiệm đa chủ thể.
• Xây dựng phần mềm ứng dụng hoàn chỉnh với giao diện trực quan, cho phép người dùng nạp thư mục ảnh tùy ý và tự động trích xuất khuôn mặt chung nhất.

Trong giai đoạn 12 đến 24 tháng tới, hướng phát triển tự nhiên của đề tài là tích hợp các vector nhúng khuôn mặt từ mạng nơ-ron sâu và tối ưu hóa giải thuật phân cụm phân tán trên nền tảng điện toán đám mây. Độc giả, nhà nghiên cứu và các kỹ sư phần mềm quan tâm có thể khai thác toàn văn tài liệu luận văn và mã nguồn thực nghiệm để ứng dụng vào các bài toán quản trị dữ liệu thị giác số.

Trích đoạn nội dung tài liệu

đặt vấn đề cho bài toán. Bên cạnh đó, tác giả cũng phân tích: những ƣu, nhƣợc điểm, các khó khăn thách thức của lớp bài toán đã đặt ra trong luận văn. Để giải quyết yêu cầu đặt ra của luận văn, tác giả đi sâu nghiên cứu và giải quyết hai vấn đề chính: Vấn đề thứ nhất, giới thiệu trình tự các bƣớc giải quyết cho lớp bài toán. Vấn đề thứ hai, nghiên cứu và xây dựng ứng dụng hệ thống xác định khuôn mặt chung nhất trong một tập ảnh cho trƣớc.so TIEU LUAN MOI download : [e-mail] 18 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT Trong chƣơng này tác giả sẽ trình bày tổng quan lý thuyết để giải quyết bài toán bao gồm lý thuyết thuật toán, phƣơng pháp của các giai đoạn nhƣ phát hiện khuôn mặt, trích rút đặc trƣng, và xác định khuôn mặt chung nhất trong tập ảnh cho trƣớc.1 Phát hiện khuôn mặt 2.1 Các đặc trƣng giống Haar Viola và Jones dùng 4 đặc trƣng cơ bản [18] để xác định khuôn mặt ngƣời.

Mỗi đặc trƣng Haar–like là sự kết hợp của hai hay ba hình chữ nhật "trắng" hay "đen" nhƣ trong hình sau: Hình 2.1: Bốn đặc trưng Haar-like cơ bản Để áp dụng các đặc trƣng này vào việc bài toán xác định mặt ngƣời, 4 đặc trƣng Haar-like cơ bản đƣợc mở rộng ra, và đƣợc chia làm 3 tập đặc trƣng nhƣ sau: 1 Đặc trưng cạnh (edge features): 2. Đặc trưng đường (line features): 3. Đặc trưng xung quanh tâm (center-surround features): Hình 2.2: Các đặc trưng mở rộng của các đặc trưng Haar-like cơ sở Lợi ích của các đặc trƣng Haar-like là nó diễn đạt đƣợc tri thức về các đối tƣợng trong ảnh (bởi vì nó biểu diễn mối liên hệ giữa các bộ phận của đối tƣợng), điều mà bản thân từng điểm ảnh không diễn đạt đƣợc. Để tính giá trị các đặc trƣng haar-like, ta tính sự chênh lệch giữa tổng của các pixel của các vùng đen và các vùng trắng nhƣ trong công thức sau: f(x) = Tổngvùng đen(pixel) - Tổngvùng trắng(pixel) (2.so TIEU LUAN MOI download : [e-mail] 19 Nhƣ vậy ta có thể thấy rằng, để tính các giá trị của đặc trƣng Haar-like, ta phải tính tổng của các vùng pixel trên ảnh.

Nhƣng để tính toán các giá trị của các đặc trƣng Haar-like cho tất cả các vị trí trên ảnh đòi hỏi chi phí tính toán khá lớn, không đáp ứng đƣợc cho các ứng dụng đòi hỏi tính run-time. Do đó Viola và Jones đƣa ra một khái niệm gọi là Integral Image để tính toán nhanh cho khác feature cơ bản. Sau này, Lienhart kế thừa gọi Integral Image là SAT – Summed Area Table và đƣa ra thêm khái niệm RSAT – Rotated Summed Area Table dùng để tính toán nhanh cho các đặc trƣng xoay 1 góc 45o. Integral Image là một mảng 2 chiều với kích thƣớc bằng với kích của ảnh cần tính các đặc trƣng Haar-like, với mỗi phần tử của mảng này đƣợc tính bằng cách tính tổng của điểm ảnh phía trên (dòng-1) và bên trái (cột-1) của nó.

Bắt đầu từ vị trí trên, bên trái đến vị trí dƣới, phải của ảnh, việc tính toán này đơn thuần chỉ đựa trên phép cộng số nguyên đơn giản, do đó tốc độ thực hiện rất nhanh.3: Cách tính Integral Image của ảnh Sau khi đã tính đƣợc Integral Image, việc tính tổng điểm ảnh của một vùng bất kỳ nào đó trên ảnh thực hiện rất đơn giản theo cách sau: (Giả sử ta cần tính tổng điểm ảnh của vùng D nhƣ trong hình 2.4: D = A + B + C + D – (A+B) – (A+C) + A Với A + B + C + D chính là giá trị tại điểm P4 trên Integral Image, tƣơng tự nhƣ vậy A+B là giá trị tại điểm P2, A+C là giá trị tại điểm P3, và A là giá trị tại điểm P1. Vậy ta có thể viết lại biểu thức tính D ở trên nhƣ sau: (2.4: Cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh (LUAN.so TIEU LUAN MOI download : [e-mail] 20 A B C 1 2 D 3 RSAT(x,y) 4 (a) (b) Hình 2.5: Cách tính nhanh tổng điểm ảnh của vùng D trên ảnh với các đặc trưng xoay 45o Với các đặc trƣng Haar-like xoay 45o Integral Image tại một điểm (x, y) đƣợc tính theo công thức: (2.4) Tổng pixel của một vùng bất kỳ trên ảnh vẫn đƣợc tính theo cách sau: D = A + B + C + D – (A+B) – (A+C) + A Nhƣ vậy tổng các điểm ảnh trong một hình chữ nhật (kể cả trƣờng hợp xoay 45º) bất kì đều có thể đƣợc tính nhanh dựa trên integral image tại 4 đỉnh của nó : Sum (D ) = 4 - 2 – 3 + 1 2.2 Phƣơng pháp Adaboost Nhƣ đã biết, AdaBoost [18] ( Adaptive Boost ) là một bộ phân loại mạnh phi tuyến phức dựa trên hƣớng tiếp cận boosting đƣợc Freund và Schapire đƣa ra vào năm 1995. Adaboost hoạt động trên nguyên tắc kết hợp tuyến tính các weak classifier dựa trên các đặc trƣng Haar- Line để hình thành một strong classifier. Để có thể kết hợp các bộ phân loại yếu, adaboost sử dụng một trọng số (weight) để đánh dấu các mẫu khó nhận dạng.

Trong quá trình huấn luyện, cứ mỗi weak classifier đƣợc xây dựng, thuật toán sẽ tiến hành cập nhật lại trọng số để chuẩn bị cho việc xây dựng weak classifier tiếp theo: tăng trọng số của các mẫu bị nhận dạng sai và giảm trọng số của các mẫu đƣợc nhận dạng đúng bởi weak classifier vừa xây dựng. Bằng cách này, các weak classifier sau có thể tập trung vào các mẫu mà các weak classifier trƣớc đó chƣa thực hiện tốt. Sau cùng các weak classifier sẽ đƣợc kết hợp tùy theo mức độ „tốt‟ của chúng để tạo nên một strong classifier. Các weak classifiers hk(x) là các bộ phân loại yếu, đƣợc biểu diễn nhƣ sau: (2.so TIEU LUAN MOI download : [e-mail] 21 Trong đó: X : mẫu hay cửa sổ con cần xét ( X = (x1,x2,…,xn) là vector đặc trƣng của mẫu) Ok: ngƣỡng (O = teta) fk: giá trị của đặc trƣng Haar-like pk: hệ số quyết định chiều của bất phƣơng trình Công thức trên có thể diễn giải nhƣ sau: Nếu giá trị đặc trƣng của mẫu cho bởi hàm đánh giá của bộ phân loại vƣợt qua một ngƣỡng cho trƣớc thì mẫu đấy là khuôn mặt ( gọi là object : đối tƣợng cần nhận dạng ), ngƣợc lại thì mẫu là background ( không phải là đối tƣợng ).

Thuật toán AdaBoost: 1. Cho một tập gồm n mẫu có đánh dấu (x1,y1), (x2,y2),… (xn,yn) với xk ∈ (xk1, xk2, … , xkm) là vector đặc trƣng và yk ∈ (-1, 1) là nhãn của mẫu (1 ứng với object, -1 ứng với background). Khởi tạo trọng số ban đầu cho tất cả các mẫu: với m là số mẫu đúng (ứng với object và y = 1) và l là số mẫu sai (ứng với background và y = -1). Xây dựng T weak classifiers Lặp t = 1, …, T  Với mỗi đặc trƣng trong vector đặc trƣng, xây dựng một weak classifier hj với ngƣỡng θj và lỗi εj.

 Chọn ra hj với εj nhỏ nhất, ta đƣợc ht:  Cập nhật lại trọng số:  Trong đó: : Hệ số dùng để đƣa về đoạn [0,1] (normalization factor) 4. Strong classifier đƣợc xây dựng : Hình 2.6: Thuật toán Adaboost (LUAN.so TIEU LUAN MOI download : [e-mail] 22 Quá trình huấn luyện bộ phân loại đƣợc thực hiện bằng một vòng lặp mà ở mỗi bƣớc lặp, thuật toán sẽ chọn ra weak classifier ht thực hiện việc phân loại với lỗi εt nhỏ nhất (do đó sẽ là bộ phân loại tốt nhất) để bổ sung vào strong classifier. Mỗi khi chọn đƣợc 1 bộ phân loại ht, Adaboost sẽ tính giá trị αt theo công thức ở trên. αt cũng đƣợc chọn trên nguyên tắc làm giảm thiểu giá trị lỗi εt.

Hệ số αt nói lên mức độ quan trọng của ht:  Trong công thức của bộ phân loại H(x): (2.6) Ta thấy tất cả các bộ phân loại ht đều có đóng góp vào kết quả của bộ phân loại H(x), và mức độ đóng góp của chúng phụ thuộc vào giá trị αt tƣơng ứng: ht với αt càng lớn thì nó càng có vài trò quan trọng trong H(x).  Trong công thức tính αt: (2.7) Dễ thấy giá trị αt tỉ lệ nghịch với εt. Bởi vì ht đƣợc chọn với tiêu chí đạt εt nhỏ nhất, do đó nó sẽ đảm bảo giá trị αt lớn nhất. Sau khi tính đƣợc giá trị αt, Adaboost tiến hành cập nhật lại trọng số của các mẫu: tăng trọng số các mẫu mà ht phân loại sai, giảm trọng số các mẫu mà ht phân loại đúng.

Bằng cách này, trọng số của mẫu phản ánh đƣợc mức độ khó nhận dạng của mẫu đó và ht+1 sẽ ƣu tiên học cách phân loại những mẫu này. Vòng lặp xây dựng strong classifier sẽ dừng lại sau T lần lặp. Trong thực tế cài đặt (thƣ viện OpenCV của Intel), ngƣời ta ít sử dụng giá trị T vì không có công thức nào đảm bảo tính đƣợc giá trị T tối ƣu cho quá trình huấn luyện. Thay vào đó, ngƣời ta sử dụng giá trị max false positive hay max false alarm (tỉ lệ nhận dạng sai tối đa các mẫu background).

Tỉ lệ này của bộ phân loại cần xây dựng không đƣợc phép vƣợt quá giá trị này. Khi đó, qua các lần lặp, false alarm của strong classifier Ht(x) xây dựng đƣợc (tại lần lặp thứ t) sẽ giảm dần, và vòng lặp kết thúc khi tỉ lệ này thấp hơn max false alarm.2 Tổng quan về các phƣơng pháp trích rút đặc trƣng Hiện nay có rất nhiều các phƣơng pháp trích dẫn dữ liệu từ khuôn mặt, mỗi phƣơng pháp có những ƣu nhƣợc điểm và đặc điểm riêng nhƣng theo cách thức mà những phƣơng pháp và hình thức của dữ liệu đƣợc trích dẫn thì chia ra làm 2 hƣớng tiếp cận chính: Thứ nhất, hƣớng tiếp cận dựa trên đặc trƣng hình học là hƣớng tiếp cận dựa vào các bức ảnh trực diện khuôn mặt lấy từ khâu phát hiện khuôn mặt, trích chọn đặc trƣng (LUAN.so TIEU LUAN MOI download : [e-mail] 23 về hình học biểu diễn hình dáng, vị trí các phần của khuôn mặt nhƣ mắt, mũi, miệng, lông mày. Cụ thể xác định một số các điểm đặc trƣng trên khuôn mặt: 2 mống mắt, điểm chính giữa miệng, khóe miệng, một số các điểm khác ở vùng trán, mắt,… Thứ hai, hƣớng tiếp cận dựa trên đặc trƣng diện mạo là hƣớng tiếp cận dựa vào cấu trúc phân bổ của cƣờng độ sáng của điểm ảnh trên bề mặt của bức ảnh để trích chọn các đặc trƣng. Trong đó trích chọn đặc trƣng diện mạo có ƣu điểm là ít phức tạp hơn phƣơng pháp trích chọn đặc trƣng hình học, các khâu ít hơn nhƣng độ chính xác thƣờng thấp hơn.

Tùy thuộc vào yêu cầu hệ thống chúng ta có thể áp dụng các phƣơng pháp khác nhau.