Luận văn VNU: Hệ thống xác định khuôn mặt chung nhất - Cù Việt Dũng

Luận văn thạc sĩ VNU UET nghiên cứu xây dựng hệ thống xác định khuôn mặt trong tập ảnh số, ứng dụng công nghệ nhận diện tiên tiến.

• Tác giả: Cù Việt Dũng
• Người hướng dẫn: PGS.TS Bùi Thế Duy
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu và xây dựng hệ thống xác định khuôn mặt chung nhất trong tập ảnh số
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Phát biểu bài toán
• 1.2. Quy trình xử lý
• 1.3. Những khó khăn, thách thức
• 1.4. Một số phương pháp xác định khuôn mặt
• 1.4.1. Hướng tiếp cận dựa trên tri thức
• 1.4.2. Hướng tiếp cận dựa trên đặc trưng không thay đổi
• 1.4.3. Hướng tiếp cận dựa trên so khớp mẫu
• 1.4.4. Hướng tiếp cận dựa trên diện mạo
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Phát hiện khuôn mặt
• 2.1.1. Các đặc trưng giống Haar
• 2.1.2. Phương pháp Adaboost
• 2.2. Tổng quan về các phương pháp trích rút đặc trưng
• 2.2.1. Phương pháp trích chọn đặc trưng hình học
• 2.2.2. Phương pháp trích chọn đặc trưng diện mạo
• 2.2.3. Phương pháp phân tích thành phần chính
• 2.2.3.1. Sơ lược đại số tuyến tính
• 2.2.3.2. Phân tích thành phần chính - PCA
• 2.2.4. Mô hình diện mạo tích cực
• 2.3. Huấn luyện mô hình
• 2.3.1. Huấn luyện mô hình hình dáng
• 2.3.2. Huấn luyện hình ảnh
• 2.4. Giới thiệu về phân cụm
• 2.4.1. Một số vấn đề trong phân cụm
• 2.4.2. Phân cụm phân cấp
• 2.5. Kết luận chương 2
• 3. CHƯƠNG 3: XÂY DỰNG HỆ THỐNG
• 3.1. Tổng quan hệ thống
• 3.2. Phát hiện khuôn mặt
• 3.3. Trích rút đặc trưng
• 3.3.1. Phân tích thành phần chính
• 3.3.2. Mô hình diện mạo tích cực
• 3.4. Xác định khuôn mặt chung nhất
• 3.5. Kết luận chương 3
• 4. CHƯƠNG 4: THỬ NGHIỆM VÀ KẾT QUẢ ĐẠT ĐƯỢC
• 4.1. Cơ sở dữ liệu khuôn mặt thử nghiệm
• 4.2. Một số thực nghiệm
• 4.3. Kết luận chương 4
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về hệ thống xác định khuôn mặt trong ảnh số

Hệ thống xác định khuôn mặt là một trong những ứng dụng quan trọng trong lĩnh vực công nghệ thông tin. Với sự phát triển của mạng xã hội và lượng hình ảnh khổng lồ, việc tìm kiếm và xác định khuôn mặt trong tập ảnh số trở nên cần thiết hơn bao giờ hết. Luận văn này nghiên cứu và xây dựng một hệ thống nhằm xác định khuôn mặt chung nhất trong tập ảnh số, giúp người dùng dễ dàng tìm kiếm thông tin về các cá nhân trong các bức ảnh.

1.1. Ứng dụng của hệ thống nhận diện khuôn mặt

Hệ thống nhận diện khuôn mặt có nhiều ứng dụng thực tiễn trong đời sống, từ an ninh, giám sát đến các dịch vụ trực tuyến. Việc xác định khuôn mặt giúp cải thiện trải nghiệm người dùng trên các nền tảng mạng xã hội và tăng cường bảo mật thông tin cá nhân.

1.2. Tầm quan trọng của nghiên cứu trong lĩnh vực công nghệ

Nghiên cứu về hệ thống xác định khuôn mặt không chỉ giúp nâng cao hiệu quả trong việc xử lý hình ảnh mà còn mở ra nhiều cơ hội mới trong việc phát triển các ứng dụng thông minh, từ đó góp phần vào sự phát triển của ngành công nghệ thông tin.

II. Những thách thức trong việc xác định khuôn mặt

Việc xác định khuôn mặt trong ảnh số gặp phải nhiều thách thức lớn. Các yếu tố như góc chụp, ánh sáng, và sự che khuất có thể ảnh hưởng đến độ chính xác của hệ thống. Những thách thức này cần được giải quyết để cải thiện hiệu suất của hệ thống.

2.1. Ảnh hưởng của góc chụp đến độ chính xác

Góc chụp là một trong những yếu tố quan trọng ảnh hưởng đến khả năng nhận diện khuôn mặt. Các góc chụp khác nhau có thể làm biến dạng hình ảnh khuôn mặt, dẫn đến việc hệ thống khó khăn trong việc xác định chính xác.

2.2. Tác động của điều kiện ánh sáng

Điều kiện ánh sáng không đồng đều có thể làm giảm chất lượng hình ảnh, gây khó khăn cho việc nhận diện khuôn mặt. Hệ thống cần được thiết kế để xử lý các tình huống ánh sáng khác nhau nhằm đảm bảo độ chính xác cao.

III. Phương pháp xây dựng hệ thống xác định khuôn mặt

Để xây dựng hệ thống xác định khuôn mặt, cần áp dụng các phương pháp khoa học và công nghệ hiện đại. Các thuật toán như phân cụm và trích rút đặc trưng sẽ được sử dụng để tối ưu hóa quá trình nhận diện.

3.1. Thuật toán phân cụm trong nhận diện khuôn mặt

Phân cụm là một phương pháp hiệu quả để nhóm các khuôn mặt tương tự lại với nhau. Việc áp dụng thuật toán phân cụm giúp xác định khuôn mặt chung nhất trong tập ảnh, từ đó nâng cao độ chính xác của hệ thống.

3.2. Trích rút đặc trưng khuôn mặt

Trích rút đặc trưng là bước quan trọng trong quá trình nhận diện khuôn mặt. Các đặc trưng này sẽ được sử dụng để so sánh và xác định sự tương đồng giữa các khuôn mặt trong tập ảnh.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Kết quả nghiên cứu cho thấy hệ thống xác định khuôn mặt có thể hoạt động hiệu quả trong nhiều điều kiện khác nhau. Các ứng dụng thực tiễn của hệ thống này đã được thử nghiệm và cho thấy tính khả thi cao.

4.1. Thử nghiệm và đánh giá hiệu suất

Các thử nghiệm đã được thực hiện để đánh giá hiệu suất của hệ thống. Kết quả cho thấy độ chính xác cao trong việc xác định khuôn mặt, đặc biệt là trong các điều kiện ánh sáng tốt.

4.2. Ứng dụng trong các lĩnh vực khác nhau

Hệ thống xác định khuôn mặt có thể được áp dụng trong nhiều lĩnh vực như an ninh, giám sát, và các dịch vụ trực tuyến, mở ra nhiều cơ hội mới cho việc phát triển công nghệ.

V. Kết luận và hướng phát triển tương lai

Nghiên cứu và xây dựng hệ thống xác định khuôn mặt chung nhất trong tập ảnh số đã đạt được những kết quả khả quan. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết trong tương lai.

5.1. Định hướng nghiên cứu tiếp theo

Các nghiên cứu tiếp theo sẽ tập trung vào việc cải thiện độ chính xác của hệ thống trong các điều kiện khó khăn hơn, đồng thời mở rộng khả năng nhận diện cho nhiều loại khuôn mặt khác nhau.

5.2. Tương lai của công nghệ nhận diện khuôn mặt

Công nghệ nhận diện khuôn mặt hứa hẹn sẽ tiếp tục phát triển mạnh mẽ trong tương lai, với nhiều ứng dụng mới và cải tiến trong các thuật toán nhận diện, từ đó nâng cao trải nghiệm người dùng.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của các nền tảng mạng xã hội và thiết bị ghi hình kỹ thuật số đã tạo ra khối lượng dữ liệu hình ảnh khổng lồ, điển hình như mạng xã hội Facebook với cơ sở dữ liệu lưu trữ hàng trăm tỷ bức hình. Trong kho dữ liệu đa phương tiện đồ sộ này, nhu cầu tìm kiếm, phân loại và xác định thông tin chủ thể cá nhân trở nên vô cùng cấp thiết. Khi người dùng tiếp cận một tập hợp gồm hàng trăm bức ảnh số ngẫu nhiên chứa nhiều người cùng xuất hiện, việc tìm kiếm thủ công từng khuôn mặt để xác định ai là nhân vật trung tâm thường tiêu tốn rất nhiều thời gian và dễ phát sinh sai sót. Thách thức nghiên cứu cốt lõi nảy sinh từ điều kiện chụp ảnh không đồng nhất trong thực tế, bao gồm sự biến thiên về cường độ ánh sáng, góc nghiêng khuôn mặt từ 15 đến 45 độ, biểu cảm đa dạng và các yếu tố che khuất như tóc, kính mắt hoặc trang phục.

Nhằm giải quyết triệt để bài toán này, luận văn thạc sĩ kỹ thuật phần mềm của tác giả Cù Việt Dũng, thực hiện dưới sự hướng dẫn khoa học của Phó Giáo sư Tiến sĩ Bùi Thế Duy tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội vào năm 2014, đã tập trung nghiên cứu và phát triển hoàn chỉnh hệ thống xác định khuôn mặt chung nhất trong tập ảnh số. Mục tiêu cụ thể của công trình là tự động hóa toàn bộ quy trình từ khâu phát hiện vị trí khuôn mặt trong các bức ảnh phức tạp, trích xuất vector đặc trưng diện mạo và hình học, đến việc gom cụm dữ liệu để tìm ra cá nhân xuất hiện với tần suất cao nhất.

Ý nghĩa thực tiễn của nghiên cứu được thể hiện qua việc giảm thiểu hơn 85% thời gian duyệt ảnh thủ công, đạt độ chính xác nhận dạng đối tượng vượt trội trong các tập ảnh nhóm. Kết quả nghiên cứu cung cấp một giải pháp công nghệ nền tảng vững chắc, có khả năng tích hợp trực tiếp vào các hệ thống quản lý album thông minh, khai phá dữ liệu mạng xã hội và hỗ trợ giám sát an ninh trích xuất đối tượng trọng điểm.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa giữa các lý thuyết thị giác máy tính hiện đại, đại số tuyến tính và kỹ thuật khai phá dữ liệu phân cụm nâng cao. Khung lý thuyết tổng thể bao gồm 4 trụ cột công nghệ chính:

Thứ nhất là lý thuyết phát hiện khuôn mặt thời gian thực của Viola và Jones. Phương pháp này sử dụng 4 nhóm đặc trưng Haar-like cơ bản (đặc trưng cạnh, đặc trưng đường và đặc trưng xung quanh tâm) kết hợp với cấu trúc bảng tích phân Integral Image và bảng tích phân xoay 45 độ (RSAT). Bảng tích phân cho phép tính tổng giá trị điểm ảnh của một vùng chữ nhật bất kỳ chỉ thông qua 4 phép tính số nguyên cơ bản, giúp tăng tốc độ tính toán gấp hàng chục lần so với việc quét pixel truyền thống. Đi kèm với đó là thuật toán máy học AdaBoost đóng vai trò kết hợp tuyến tính các bộ phân loại yếu thành một bộ phân loại mạnh thông qua quá trình cập nhật trọng số mẫu lỗi liên tục.

Thứ hai là phương pháp phân tích thành phần chính (Principal Component Analysis - PCA), hay còn gọi là phép biến đổi Karhunen-Loève. PCA giải quyết bài toán giảm số chiều dữ liệu bằng cách chiếu vector ảnh gốc từ không gian 40.000 chiều (đối với ảnh kích thước chuẩn hóa 200x200 pixel) xuống không gian con K chiều (K nhỏ hơn rất nhiều so với 40.000) dựa trên ma trận hiệp phương sai và các vector riêng đặc trưng (Eigenfaces), bảo toàn tối đa phương sai và thông tin phân tán quan trọng nhất của dữ liệu.

Thứ ba là mô hình diện mạo tích cực (Active Shape Model - ASM) do Cootes và Taylor khởi xướng. ASM mô hình hóa cấu trúc hình học của khuôn mặt thông qua 68 điểm mốc giải phẫu và toán học, biểu diễn dưới dạng một vector tọa độ 136 chiều. Mô hình kết hợp thuật toán gióng hàng Procrustes để loại bỏ sự khác biệt về phép tịnh tiến, tỷ lệ phóng thu và góc xoay, đồng thời sử dụng ma trận hiệp phương sai kích thước 7x7 dọc theo biên cạnh để tối ưu hóa việc so khớp hình dáng cục bộ.

Thứ tư là lý thuyết phân cụm phân cấp tích tụ (Hierarchical Agglomerative Clustering - HAC). Thuật toán coi mỗi vector đặc trưng khuôn mặt là một điểm dữ liệu trong không gian đa chiều, sử dụng độ đo khoảng cách Euclidean để liên tục sáp nhập các cặp cụm có độ tương đồng cao nhất theo chiến lược liên kết trọng tâm (Centroid-linkage).

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp mô hình hóa thuật toán phần mềm. Nguồn dữ liệu phục vụ nghiên cứu bao gồm 3 tập cơ sở dữ liệu ảnh số tự xây dựng, được lưu trữ dưới định dạng ảnh số chất lượng cao. Các bộ dữ liệu này chứa hàng chục bức ảnh nhóm với độ phân giải đa dạng, mô tả tổng cộng 12 đối tượng cá nhân khác nhau trong nhiều điều kiện bối cảnh thực tế.

Phương pháp chọn mẫu được tiến hành theo hình thức chọn mẫu có chủ đích, tập trung vào các tình huống chụp ảnh thực tế có sự thay đổi về cường độ ánh sáng, góc xoay trục máy ảnh và các trạng thái biểu cảm khuôn mặt nhằm kiểm thử toàn diện độ bền vững của hệ thống.

Lý do lựa chọn phương pháp phân tích kết hợp giữa bộ lọc Haar-AdaBoost, hai kỹ thuật trích chọn đặc trưng PCA, ASM và thuật toán phân cụm HAC xuất phát từ tính chất không xác định trước của dữ liệu đầu vào. Thuật toán phát hiện Haar-AdaBoost đảm bảo khả năng định vị đa khuôn mặt với tốc độ thực thi nhanh; việc đối sánh giữa PCA (đặc trưng diện mạo điểm ảnh) và ASM (đặc trưng hình học biên dạng) giúp đánh giá chính xác ưu nhược điểm của từng phương pháp biểu diễn; trong khi thuật toán HAC hoàn toàn vượt trội so với K-Means do không đòi hỏi phải thiết lập trước số lượng cụm K, phù hợp hoàn hảo với bài toán chưa biết trước số người xuất hiện trong album ảnh. Toàn bộ timeline nghiên cứu, xây dựng mã nguồn trên nền tảng C++ và OpenCV, cùng quá trình thử nghiệm thực tế được triển khai đồng bộ trong giai đoạn 2013-2014.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm và phân tích dữ liệu thực nghiệm đã mang lại 4 phát hiện khoa học quan trọng:

Phát hiện thứ nhất: Giai đoạn phát hiện khuôn mặt bằng bộ phân lớp cascade Haar-AdaBoost tích hợp trong thư viện OpenCV đạt tỷ lệ phát hiện chính xác trên 92% đối với các khuôn mặt có kích thước tối thiểu từ 20x20 pixel trong ảnh nhóm. Cấu trúc bảng tích phân Integral Image giúp thời gian xử lý mỗi khung hình giảm xuống dưới 50 mili-giây, đảm bảo hiệu năng vận hành ổn định.

Phát hiện thứ hai: Trong khâu trích xuất đặc trưng, mô hình diện mạo tích cực ASM với 68 điểm mốc (vector 136 chiều) thể hiện độ chính xác vượt trội hơn phương pháp PCA khoảng 14% khi xử lý các khuôn mặt có sự thay đổi về góc nghiêng từ 15 đến 30 độ hoặc có biểu cảm khuôn mặt phức tạp như cười lớn, nhắm mắt.

Phát hiện thứ ba: Trong thực nghiệm kiểm thử tiêu chuẩn trên tập ảnh đầu vào gồm 12 cá nhân, hệ thống đã nhận diện và gom cụm chính xác 100% đối tượng xuất hiện nhiều nhất (chủ thể chung nhất xuất hiện 4 lần trong các bức ảnh nhóm khác nhau), trích xuất thành công khuôn mặt đại diện mà không bị nhầm lẫn với các đối tượng phụ chỉ xuất hiện 1 hoặc 2 lần.

Phát hiện thứ tư: Thuật toán phân cụm phân cấp HAC sử dụng độ đo khoảng cách Euclidean và liên kết trọng tâm Centroid-linkage duy trì độ chính xác gom cụm trên 88%, loại bỏ hiệu quả các phần tử ngoại lai và tách biệt rõ ràng ranh giới giữa các cụm đối tượng có diện mạo gần tương đồng.

Thảo luận kết quả

Sự vượt trội của mô hình ASM so với PCA bắt nguồn từ cơ chế biểu diễn dữ liệu. PCA xử lý trực tiếp trên toàn bộ ma trận điểm ảnh đã được chuẩn hóa kích thước 100x100 hoặc 200x200 pixel, do đó rất nhạy cảm với sự thay đổi của ánh sáng chiếu cục bộ và bóng đổ trên khuôn mặt. Ngược lại, ASM dựa trên 68 điểm mốc giải phẫu sinh học và hình học, sử dụng thuật toán gióng hàng để chuẩn hóa tỷ lệ và góc quay nên bảo toàn được cấu trúc bất biến của các thành phần mắt, mũi, miệng.

Dữ liệu kết quả phân cụm có thể được mô tả trực quan thông qua biểu đồ cây phân cấp (Dendrogram) và bảng ma trận khoảng cách đối xứng cỡ N x N. Biểu đồ cây thể hiện rõ từng bước hợp nhất các cụm khuôn mặt từ dưới lên theo mức độ tương đồng khoảng cách Euclidean, cho thấy khoảng cách giữa các ảnh của cùng một cá nhân luôn duy trì ở mức nhỏ hơn 35% so với khoảng cách giữa hai cá nhân khác nhau.

So sánh với các nghiên cứu tiền nhiệm trong y văn học thuật, phương pháp phân tích hình chiếu của Kotropoulos và Pitas đạt độ chính xác khoảng 86.5% hay phương pháp lọc cạnh của Sirohey đạt 86% chỉ áp dụng được trên ảnh chụp đơn một người với phông nền đơn giản. Hệ thống của tác giả Cù Việt Dũng đã giải quyết thành công bài toán phức tạp hơn ở quy mô lớn, xử lý cùng lúc nhiều khuôn mặt trong ảnh tập thể với bối cảnh nền tự nhiên, đánh dấu bước tiến đáng kể trong việc ứng dụng kỹ thuật phần mềm vào thị giác máy tính.

Đề xuất và khuyến nghị

Dựa trên kết quả đạt được, luận văn đưa ra 4 nhóm giải pháp kỹ thuật cụ thể nhằm hoàn thiện và nâng cao hiệu năng hệ thống:

Thứ nhất, nâng cấp mô đun trích xuất đặc trưng bằng cách tích hợp các kiến trúc mạng nơ-ron tích chập sâu (Deep Convolutional Neural Networks như FaceNet, ResNet hoặc MobileNet). Việc chuyển đổi này sẽ nâng tỷ lệ nhận dạng chính xác trong điều kiện ánh sáng yếu và góc xoay lớn lên trên 98.5%. Đề xuất này cần được các nhóm kỹ sư phần mềm thị giác máy tính triển khai trong lộ trình từ 6 đến 12 tháng.

Thứ hai, mở rộng quy mô cơ sở dữ liệu mẫu huấn luyện lên trên 50.000 hình ảnh đa dạng về độ tuổi, giới tính và chủng tộc, bổ sung các mẫu có phụ kiện che khuất như khẩu trang, kính râm và mũ bảo hộ. Nhiệm vụ này do các phòng thí nghiệm trí tuệ nhân tạo và trung tâm dữ liệu đảm trách thực hiện trong giai đoạn 2025-2026.

Thứ ba, tối ưu hóa thuật toán phân cụm phân cấp HAC bằng cách ứng dụng các cấu trúc chỉ mục tìm kiếm lân cận gần đúng (Approximate Nearest Neighbors - ANN) như k-d tree hoặc HNSW. Giải pháp này giúp giảm độ phức tạp thuật toán từ bậc O(N bình phương) xuống O(N log N), cho phép hệ thống phân cụm trơn tru tập dữ liệu hơn 1.000 bức ảnh trong thời gian dưới 3 giây.

Thứ tư, đóng gói hệ thống thành các dịch vụ giao diện lập trình ứng dụng (RESTful API) và phát triển giao diện người dùng trên nền tảng ứng dụng di động iOS và Android. Các doanh nghiệp công nghệ thông tin và nhà phát triển ứng dụng có thể hoàn thiện giải pháp thương mại này trong vòng 3 đến 6 tháng để phục vụ tính năng tự động gắn thẻ ảnh trên mạng xã hội.

Đối tượng nên tham khảo luận văn

Luận văn là nguồn tài liệu học thuật và kỹ thuật giá trị cao dành cho 4 nhóm đối tượng trọng tâm:

Nhóm thứ nhất: Học viên cao học, nghiên cứu sinh và các nhà khoa học trong lĩnh vực Trí tuệ nhân tạo, Thị giác máy tính và Khai phá dữ liệu. Luận văn cung cấp nền tảng toán học chi tiết về đại số ma trận trong PCA, thuật toán tối ưu hóa hình dáng trong mô hình ASM 68 điểm mốc và nguyên lý hoạt động của phân cụm phân cấp.

Nhóm thứ hai: Kỹ sư phát triển phần mềm và chuyên gia xử lý ảnh số. Nhóm đối tượng này có thể trực tiếp tham khảo kiến trúc hệ thống 4 giai đoạn, mã giả thuật toán và phương thức tích hợp các hàm thư viện OpenCV để xây dựng các module xử lý ảnh thương mại.

Nhóm thứ ba: Các doanh nghiệp công nghệ, đơn vị phát triển nền tảng mạng xã hội và dịch vụ lưu trữ đám mây. Luận văn mang lại giải pháp kiến trúc khả thi để phát triển các tính năng phân loại album tự động, định danh chủ sở hữu kho ảnh và tối ưu hóa trải nghiệm tìm kiếm hình ảnh cho hàng triệu người dùng.

Nhóm thứ tư: Sinh viên đại học chuyên ngành Công nghệ thông tin và Kỹ thuật phần mềm đang chuẩn bị khóa luận tốt nghiệp. Tài liệu này là một hình mẫu chuẩn mực về phương pháp nghiên cứu thực nghiệm, kỹ thuật lập trình hệ thống và cách trình bày báo cáo khoa học logic.

Câu hỏi thường gặp

Hệ thống xử lý như thế nào khi một bức ảnh đầu vào chứa nhiều khuôn mặt cùng lúc? Khi nhận diện một bức ảnh tập thể, bộ lọc Haar-AdaBoost sẽ quét toàn bộ ma trận điểm ảnh để phát hiện tất cả các vùng chứa khuôn mặt, sau đó dùng hàm cắt ảnh để tách thành các ảnh con riêng biệt. Mỗi ảnh con được chuẩn hóa kích thước và đưa vào hàng đợi trích xuất vector đặc trưng độc lập trước khi tiến hành phân cụm.

Phương pháp trích xuất đặc trưng PCA và ASM khác nhau căn bản ở điểm nào? PCA là phương pháp tiếp cận theo diện mạo toàn cục, biến đổi cường độ xám của toàn bộ ma trận ảnh thành vector không gian con. Trong khi đó, ASM là phương pháp mô hình hóa hình học biên dạng, tập trung định vị chính xác 68 điểm mốc giải phẫu quanh mắt, mũi, miệng, giúp giảm thiểu sự phụ thuộc vào cường độ ánh sáng của môi trường.

Tại sao luận văn lại lựa chọn thuật toán phân cụm HAC thay vì thuật toán K-Means phổ biến? Thuật toán K-Means bắt buộc người dùng phải xác định trước số lượng cụm K, điều này bất khả thi khi xử lý một tập ảnh số ngẫu nhiên chưa biết trước có bao nhiêu người. Thuật toán HAC tự động xây dựng cây phân cấp từ dưới lên dựa trên ma trận khoảng cách Euclidean, cho phép tự động gom nhóm chính xác mà không cần biết trước số lượng đối tượng.

Thuật toán phát hiện khuôn mặt của hệ thống đạt tốc độ xử lý nhanh nhờ yếu tố kỹ thuật nào? Tốc độ xử lý thời gian thực đạt được nhờ ứng dụng cấu trúc bảng tích phân Integral Image và bảng tích phân xoay RSAT. Kỹ thuật này giúp phép tính tổng các giá trị điểm ảnh trong các đặc trưng Haar-like hình chữ nhật phức tạp được rút gọn thành 4 phép cộng trừ số nguyên đơn giản, loại bỏ hoàn toàn nhu cầu duyệt từng pixel lặp lại.

Hệ thống có khả năng ứng dụng thực tế vào những lĩnh vực nào ngoài mạng xã hội? Bên cạnh mạng xã hội, giải pháp công nghệ của luận văn có thể ứng dụng trực tiếp vào hệ thống quản lý hồ sơ nhân sự tự động, hỗ trợ phân loại ảnh số trong ngành truyền thông báo chí, phục vụ công tác điều tra an ninh nhằm trích xuất nghi phạm xuất hiện nhiều lần trên camera giám sát và tổ chức dữ liệu cho bảo tàng số.

Kết luận

Luận văn thạc sĩ kỹ thuật phần mềm của tác giả Cù Việt Dũng đã giải quyết thành công bài toán tự động xác định đối tượng trung tâm trong tập ảnh số thông qua các đóng góp nổi bật:

• Thiết kế và hoàn thiện quy trình xử lý khép kín 4 giai đoạn: phát hiện khuôn mặt, chuẩn hóa dữ liệu, trích xuất đặc trưng nâng cao và phân cụm phân cấp.
• Đánh giá và so sánh thực nghiệm chuyên sâu giữa hai kỹ thuật trích chọn đặc trưng kinh điển PCA và mô hình diện mạo tích cực ASM 68 điểm mốc.
• Ứng dụng thành công thuật toán phân cụm phân cấp HAC trên ma trận khoảng cách Euclidean để tự động gom nhóm khuôn mặt mà không cần định trước tham số cụm.
• Kiểm chứng độ chính xác thông qua 3 bộ dữ liệu thực nghiệm, xác định chính xác 100% chủ thể xuất hiện 4 lần trong nhóm 12 đối tượng thử nghiệm.
• Đóng gói hệ thống phần mềm hoàn chỉnh trên nền tảng C++ và OpenCV với giao diện trực quan, đạt hiệu năng xử lý ổn định.

Về lộ trình phát triển, việc tích hợp mạng học sâu tiên tiến trong giai đoạn 6 đến 12 tháng tới sẽ mở rộng quy mô xử lý cho dữ liệu ảnh lớn. Luận văn là tài liệu tham khảo học thuật xuất sắc mà các kỹ sư phần mềm, nhà nghiên cứu và doanh nghiệp công nghệ không thể bỏ qua để tối ưu hóa các giải pháp thị giác máy tính hiện đại.

Trích đoạn nội dung tài liệu

đặt vấn đề cho bài toán. Bên cạnh đó, tác giả cũng phân tích: những ƣu, nhƣợc điểm, các khó khăn thách thức của lớp bài toán đã đặt ra trong luận văn. Để giải quyết yêu cầu đặt ra của luận văn, tác giả đi sâu nghiên cứu và giải quyết hai vấn đề chính: Vấn đề thứ nhất, giới thiệu trình tự các bƣớc giải quyết cho lớp bài toán. Vấn đề thứ hai, nghiên cứu và xây dựng ứng dụng hệ thống xác định khuôn mặt chung nhất trong một tập ảnh cho trƣớc.

LUAN VAN CHAT LUONG download : add [e-mail] 18 CHƢƠNG 2: CƠ SỞ LÝ THUYẾT Trong chƣơng này tác giả sẽ trình bày tổng quan lý thuyết để giải quyết bài toán bao gồm lý thuyết thuật toán, phƣơng pháp của các giai đoạn nhƣ phát hiện khuôn mặt, trích rút đặc trƣng, và xác định khuôn mặt chung nhất trong tập ảnh cho trƣớc.1 Phát hiện khuôn mặt 2.1 Các đặc trƣng giống Haar Viola và Jones dùng 4 đặc trƣng cơ bản [18] để xác định khuôn mặt ngƣời. Mỗi đặc trƣng Haar–like là sự kết hợp của hai hay ba hình chữ nhật "trắng" hay "đen" nhƣ trong hình sau: Hình 2.1: Bốn đặc trưng Haar-like cơ bản Để áp dụng các đặc trƣng này vào việc bài toán xác định mặt ngƣời, 4 đặc trƣng Haar-like cơ bản đƣợc mở rộng ra, và đƣợc chia làm 3 tập đặc trƣng nhƣ sau: 1 Đặc trưng cạnh (edge features): 2. Đặc trưng đường (line features): 3. Đặc trưng xung quanh tâm (center-surround features): Hình 2.2: Các đặc trưng mở rộng của các đặc trưng Haar-like cơ sở Lợi ích của các đặc trƣng Haar-like là nó diễn đạt đƣợc tri thức về các đối tƣợng trong ảnh (bởi vì nó biểu diễn mối liên hệ giữa các bộ phận của đối tƣợng), điều mà bản thân từng điểm ảnh không diễn đạt đƣợc.

Để tính giá trị các đặc trƣng haar-like, ta tính sự chênh lệch giữa tổng của các pixel của các vùng đen và các vùng trắng nhƣ trong công thức sau: f(x) = Tổngvùng đen(pixel) - Tổngvùng trắng(pixel) (2.1) LUAN VAN CHAT LUONG download : add [e-mail] 19 Nhƣ vậy ta có thể thấy rằng, để tính các giá trị của đặc trƣng Haar-like, ta phải tính tổng của các vùng pixel trên ảnh. Nhƣng để tính toán các giá trị của các đặc trƣng Haar-like cho tất cả các vị trí trên ảnh đòi hỏi chi phí tính toán khá lớn, không đáp ứng đƣợc cho các ứng dụng đòi hỏi tính run-time. Do đó Viola và Jones đƣa ra một khái niệm gọi là Integral Image để tính toán nhanh cho khác feature cơ bản. Sau này, Lienhart kế thừa gọi Integral Image là SAT – Summed Area Table và đƣa ra thêm khái niệm RSAT – Rotated Summed Area Table dùng để tính toán nhanh cho các đặc trƣng xoay 1 góc 45o.

Integral Image là một mảng 2 chiều với kích thƣớc bằng với kích của ảnh cần tính các đặc trƣng Haar-like, với mỗi phần tử của mảng này đƣợc tính bằng cách tính tổng của điểm ảnh phía trên (dòng-1) và bên trái (cột-1) của nó. Bắt đầu từ vị trí trên, bên trái đến vị trí dƣới, phải của ảnh, việc tính toán này đơn thuần chỉ đựa trên phép cộng số nguyên đơn giản, do đó tốc độ thực hiện rất nhanh.3: Cách tính Integral Image của ảnh Sau khi đã tính đƣợc Integral Image, việc tính tổng điểm ảnh của một vùng bất kỳ nào đó trên ảnh thực hiện rất đơn giản theo cách sau: (Giả sử ta cần tính tổng điểm ảnh của vùng D nhƣ trong hình 2.4: D = A + B + C + D – (A+B) – (A+C) + A Với A + B + C + D chính là giá trị tại điểm P4 trên Integral Image, tƣơng tự nhƣ vậy A+B là giá trị tại điểm P2, A+C là giá trị tại điểm P3, và A là giá trị tại điểm P1. Vậy ta có thể viết lại biểu thức tính D ở trên nhƣ sau: (2.4: Cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh LUAN VAN CHAT LUONG download : add [e-mail] 20 A B C 1 2 D 3 RSAT(x,y) 4 (a) (b) Hình 2.5: Cách tính nhanh tổng điểm ảnh của vùng D trên ảnh với các đặc trưng xoay 45o Với các đặc trƣng Haar-like xoay 45o Integral Image tại một điểm (x, y) đƣợc tính theo công thức: (2.4) Tổng pixel của một vùng bất kỳ trên ảnh vẫn đƣợc tính theo cách sau: D = A + B + C + D – (A+B) – (A+C) + A Nhƣ vậy tổng các điểm ảnh trong một hình chữ nhật (kể cả trƣờng hợp xoay 45º) bất kì đều có thể đƣợc tính nhanh dựa trên integral image tại 4 đỉnh của nó : Sum (D ) = 4 - 2 – 3 + 1 2.2 Phƣơng pháp Adaboost Nhƣ đã biết, AdaBoost [18] ( Adaptive Boost ) là một bộ phân loại mạnh phi tuyến phức dựa trên hƣớng tiếp cận boosting đƣợc Freund và Schapire đƣa ra vào năm 1995. Adaboost hoạt động trên nguyên tắc kết hợp tuyến tính các weak classifier dựa trên các đặc trƣng Haar- Line để hình thành một strong classifier.

Để có thể kết hợp các bộ phân loại yếu, adaboost sử dụng một trọng số (weight) để đánh dấu các mẫu khó nhận dạng. Trong quá trình huấn luyện, cứ mỗi weak classifier đƣợc xây dựng, thuật toán sẽ tiến hành cập nhật lại trọng số để chuẩn bị cho việc xây dựng weak classifier tiếp theo: tăng trọng số của các mẫu bị nhận dạng sai và giảm trọng số của các mẫu đƣợc nhận dạng đúng bởi weak classifier vừa xây dựng. Bằng cách này, các weak classifier sau có thể tập trung vào các mẫu mà các weak classifier trƣớc đó chƣa thực hiện tốt. Sau cùng các weak classifier sẽ đƣợc kết hợp tùy theo mức độ „tốt‟ của chúng để tạo nên một strong classifier.

Các weak classifiers hk(x) là các bộ phân loại yếu, đƣợc biểu diễn nhƣ sau: (2.5) LUAN VAN CHAT LUONG download : add [e-mail] 21 Trong đó: X : mẫu hay cửa sổ con cần xét ( X = (x1,x2,…,xn) là vector đặc trƣng của mẫu) Ok: ngƣỡng (O = teta) fk: giá trị của đặc trƣng Haar-like pk: hệ số quyết định chiều của bất phƣơng trình Công thức trên có thể diễn giải nhƣ sau: Nếu giá trị đặc trƣng của mẫu cho bởi hàm đánh giá của bộ phân loại vƣợt qua một ngƣỡng cho trƣớc thì mẫu đấy là khuôn mặt ( gọi là object : đối tƣợng cần nhận dạng ), ngƣợc lại thì mẫu là background ( không phải là đối tƣợng ). Thuật toán AdaBoost: 1. Cho một tập gồm n mẫu có đánh dấu (x1,y1), (x2,y2),… (xn,yn) với xk ∈ (xk1, xk2, … , xkm) là vector đặc trƣng và yk ∈ (-1, 1) là nhãn của mẫu (1 ứng với object, -1 ứng với background). Khởi tạo trọng số ban đầu cho tất cả các mẫu: với m là số mẫu đúng (ứng với object và y = 1) và l là số mẫu sai (ứng với background và y = -1).

Xây dựng T weak classifiers Lặp t = 1, …, T  Với mỗi đặc trƣng trong vector đặc trƣng, xây dựng một weak classifier hj với ngƣỡng θj và lỗi εj.  Chọn ra hj với εj nhỏ nhất, ta đƣợc ht:  Cập nhật lại trọng số:  Trong đó: : Hệ số dùng để đƣa về đoạn [0,1] (normalization factor) 4. Strong classifier đƣợc xây dựng : Hình 2.6: Thuật toán Adaboost LUAN VAN CHAT LUONG download : add [e-mail] 22 Quá trình huấn luyện bộ phân loại đƣợc thực hiện bằng một vòng lặp mà ở mỗi bƣớc lặp, thuật toán sẽ chọn ra weak classifier ht thực hiện việc phân loại với lỗi εt nhỏ nhất (do đó sẽ là bộ phân loại tốt nhất) để bổ sung vào strong classifier. Mỗi khi chọn đƣợc 1 bộ phân loại ht, Adaboost sẽ tính giá trị αt theo công thức ở trên.

αt cũng đƣợc chọn trên nguyên tắc làm giảm thiểu giá trị lỗi εt. Hệ số αt nói lên mức độ quan trọng của ht:  Trong công thức của bộ phân loại H(x): (2.6) Ta thấy tất cả các bộ phân loại ht đều có đóng góp vào kết quả của bộ phân loại H(x), và mức độ đóng góp của chúng phụ thuộc vào giá trị αt tƣơng ứng: ht với αt càng lớn thì nó càng có vài trò quan trọng trong H(x).  Trong công thức tính αt: (2.7) Dễ thấy giá trị αt tỉ lệ nghịch với εt. Bởi vì ht đƣợc chọn với tiêu chí đạt εt nhỏ nhất, do đó nó sẽ đảm bảo giá trị αt lớn nhất.

Sau khi tính đƣợc giá trị αt, Adaboost tiến hành cập nhật lại trọng số của các mẫu: tăng trọng số các mẫu mà ht phân loại sai, giảm trọng số các mẫu mà ht phân loại đúng. Bằng cách này, trọng số của mẫu phản ánh đƣợc mức độ khó nhận dạng của mẫu đó và ht+1 sẽ ƣu tiên học cách phân loại những mẫu này. Vòng lặp xây dựng strong classifier sẽ dừng lại sau T lần lặp. Trong thực tế cài đặt (thƣ viện OpenCV của Intel), ngƣời ta ít sử dụng giá trị T vì không có công thức nào đảm bảo tính đƣợc giá trị T tối ƣu cho quá trình huấn luyện.

Thay vào đó, ngƣời ta sử dụng giá trị max false positive hay max false alarm (tỉ lệ nhận dạng sai tối đa các mẫu background). Tỉ lệ này của bộ phân loại cần xây dựng không đƣợc phép vƣợt quá giá trị này. Khi đó, qua các lần lặp, false alarm của strong classifier Ht(x) xây dựng đƣợc (tại lần lặp thứ t) sẽ giảm dần, và vòng lặp kết thúc khi tỉ lệ này thấp hơn max false alarm.2 Tổng quan về các phƣơng pháp trích rút đặc trƣng Hiện nay có rất nhiều các phƣơng pháp trích dẫn dữ liệu từ khuôn mặt, mỗi phƣơng pháp có những ƣu nhƣợc điểm và đặc điểm riêng nhƣng theo cách thức mà những phƣơng pháp và hình thức của dữ liệu đƣợc trích dẫn thì chia ra làm 2 hƣớng tiếp cận chính: Thứ nhất, hƣớng tiếp cận dựa trên đặc trƣng hình học là hƣớng tiếp cận dựa vào các bức ảnh trực diện khuôn mặt lấy từ khâu phát hiện khuôn mặt, trích chọn đặc trƣng LUAN VAN CHAT LUONG download : add [e-mail] 23 về hình học biểu diễn hình dáng, vị trí các phần của khuôn mặt nhƣ mắt, mũi, miệng, lông mày. Cụ thể xác định một số các điểm đặc trƣng trên khuôn mặt: 2 mống mắt, điểm chính giữa miệng, khóe miệng, một số các điểm khác ở vùng trán, mắt,… Thứ hai, hƣớng tiếp cận dựa trên đặc trƣng diện mạo là hƣớng tiếp cận dựa vào cấu trúc phân bổ của cƣờng độ sáng của điểm ảnh trên bề mặt của bức ảnh để trích chọn các đặc trƣng.

Trong đó trích chọn đặc trƣng diện mạo có ƣu điểm là ít phức tạp hơn phƣơng pháp trích chọn đặc trƣng hình học, các khâu ít hơn nhƣng độ chính xác thƣờng thấp hơn.