Luận văn tốt nghiệp: Xây dựng ứng dụng phát hiện khuôn mặt trong ảnh sử dụng OpenCV

Chuyên đề nghiên cứu Ứng dụng phát hiện khuôn mặt trong ảnh với OpenCV, cập nhật xu hướng mới, giá trị tham khảo cao cho chuyên gia chuyên ngành

• Tác giả: Cao Tiến Đạt
• Người hướng dẫn: TS. Ngô Trường Giang
• Trường học: Trường Đại học Dân lập Hải Phòng
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Xây dựng ứng dụng phát hiện khuôn mặt trong ảnh sử dụng OpenCV
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2019
• Địa điểm: Hải Phòng

Mục lục chi tiết

• PHẦN MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT
• 1.1. Giới thiệu phát hiện khuôn mặt
• 1.2. Các hướng tiếp cận trong phát hiện khuôn mặt
• 1.2.1. Hướng tiếp cận dựa trên tri thức
• 1.2.2. Hướng tiếp cận dựa trên đặc trưng không đổi
• 1.2.3. Hướng tiếp cận dựa trên so khớp mẫu
• 1.2.4. Hướng tiếp cận dựa trên diện mạo
• 1.3. Khó khăn và thách thức trong bài toán phát hiện khuôn mặt
• 1.4. Một số lĩnh vực ứng dụng phát hiện khuôn mặt
• 2. CHƯƠNG 2: PHÁT HIỆN KHUÔN MẶT SỬ DỤNG ĐẶC TRƯNG HAAR
• 2.1. Đặc trưng của Haar
• 2.1.1. Đối tượng nhận dạng
• 2.1.2. Đặc trưng
• 2.2. Bộ phân lớp AdaBoost
• 2.2.1. Các hướng tiếp cận dò tìm khuôn mặt nhanh
• 2.2.2. Thuật toán AdaBoost
• 2.2.3. Bộ phân lớp AdaBoost
• 2.2.4. Nhược điểm
• 3. CHƯƠNG 3: THỰC NGHIỆM PHÁT HIỆN KHUÔN MẶT
• 3.1. Mô tả bài toán
• 3.2. Phân tích và lựa chọn công cụ
• 3.3. Phát hiện khuôn mặt sử dụng hàm OpenCV
• 3.3.1. Cấu trúc OpenCV
• 3.3.2. Phát hiện khuôn mặt với các hàm trong OpenCV
• 3.3.3. Một số kết quả chương trình
• DANH MỤC HÌNH

Tóm tắt

I. Tổng quan về phát hiện khuôn mặt

Phát hiện khuôn mặt là một lĩnh vực quan trọng trong computer vision. Nó liên quan đến việc xác định vị trí và kích thước của khuôn mặt trong ảnh. Các hệ thống nhận dạng khuôn mặt thường bao gồm bốn bước chính: phát hiện khuôn mặt, phân đoạn khuôn mặt, rút trích đặc trưng và phân lớp khuôn mặt. Phát hiện khuôn mặt là bước đầu tiên và quan trọng nhất, vì nó ảnh hưởng đến độ chính xác của các bước tiếp theo. Các phương pháp phát hiện khuôn mặt đã phát triển từ những kỹ thuật đơn giản đến những phương pháp phức tạp hơn, có khả năng nhận diện khuôn mặt trong nhiều điều kiện khác nhau. Việc áp dụng machine learning và các thuật toán như Haar-like features đã giúp cải thiện đáng kể hiệu suất của các hệ thống này. Theo một nghiên cứu, việc phát hiện khuôn mặt có thể đạt tỷ lệ chính xác cao nếu được thực hiện trong điều kiện ánh sáng tốt và với các khuôn mặt nhìn thẳng. Tuy nhiên, việc phát hiện khuôn mặt trong các tình huống phức tạp vẫn là một thách thức lớn.

1.1 Giới thiệu phát hiện khuôn mặt

Trong những năm gần đây, nghiên cứu về phát hiện khuôn mặt đã trở nên phổ biến. Các phương pháp phát hiện khuôn mặt đã được cải tiến để có thể nhận diện khuôn mặt trong các điều kiện khác nhau, từ ảnh đen trắng đến ảnh màu. Phát hiện khuôn mặt không chỉ đơn thuần là xác định vị trí mà còn cần phân tích các đặc trưng của khuôn mặt. Hệ thống nhận dạng khuôn mặt thường bao gồm các bước như phát hiện, phân đoạn và rút trích đặc trưng. Việc phát hiện khuôn mặt chính xác sẽ giúp nâng cao hiệu quả của các ứng dụng như an ninh, giám sát và nhận diện người nổi tiếng.

1.2 Các hướng tiếp cận trong phát hiện khuôn mặt

Có nhiều hướng tiếp cận khác nhau trong việc phát hiện khuôn mặt. Một số phương pháp dựa trên tri thức, trong khi những phương pháp khác dựa trên các đặc trưng không thay đổi của khuôn mặt. Hướng tiếp cận dựa trên tri thức thường sử dụng các luật để mô tả các đặc trưng của khuôn mặt, trong khi hướng tiếp cận dựa trên đặc trưng không thay đổi tìm kiếm các đặc trưng có thể nhận diện được trong nhiều điều kiện khác nhau. Các phương pháp hiện đại thường kết hợp nhiều kỹ thuật khác nhau để đạt được hiệu quả cao nhất trong việc phát hiện khuôn mặt.

II. Phát hiện khuôn mặt sử dụng đặc trưng Haar

Đặc trưng Haar là một trong những phương pháp phổ biến nhất trong phát hiện khuôn mặt. Phương pháp này sử dụng các đặc trưng hình học để xác định khuôn mặt trong ảnh. Thuật toán phát hiện khuôn mặt dựa trên đặc trưng Haar thường sử dụng một bộ phân lớp như AdaBoost để cải thiện độ chính xác. Đặc trưng Haar có thể được tính toán nhanh chóng, giúp tăng tốc độ phát hiện khuôn mặt trong các ứng dụng thực tế. Tuy nhiên, phương pháp này cũng có những nhược điểm, chẳng hạn như khả năng phát hiện khuôn mặt trong các tư thế khác nhau hoặc trong điều kiện ánh sáng không tốt. Việc áp dụng các kỹ thuật như deep learning có thể giúp cải thiện khả năng phát hiện khuôn mặt trong các tình huống phức tạp.

2.1 Đặc trưng của Haar

Đặc trưng Haar là một tập hợp các đặc trưng hình học được sử dụng để phát hiện khuôn mặt. Chúng có thể được tính toán nhanh chóng và hiệu quả, giúp tăng tốc độ phát hiện. Các đặc trưng này thường được sử dụng trong các mô hình phân lớp để xác định khuôn mặt trong ảnh. Việc sử dụng đặc trưng Haar đã giúp cải thiện đáng kể hiệu suất của các hệ thống nhận dạng khuôn mặt. Tuy nhiên, để đạt được kết quả tốt nhất, cần phải kết hợp với các phương pháp khác như machine learning.

2.2 Thuật toán AdaBoost

Thuật toán AdaBoost là một trong những phương pháp phổ biến nhất trong việc phát hiện khuôn mặt. Nó giúp cải thiện độ chính xác của các mô hình phân lớp bằng cách kết hợp nhiều mô hình yếu thành một mô hình mạnh. AdaBoost hoạt động bằng cách tập trung vào các mẫu khó phân loại và cải thiện độ chính xác cho những mẫu này. Việc áp dụng thuật toán này trong phát hiện khuôn mặt đã giúp nâng cao hiệu suất của các hệ thống nhận dạng khuôn mặt, đặc biệt là trong các điều kiện phức tạp.

III. Thực nghiệm phát hiện khuôn mặt

Thực nghiệm phát hiện khuôn mặt sử dụng OpenCV là một phần quan trọng trong nghiên cứu này. OpenCV cung cấp nhiều hàm và công cụ hữu ích cho việc phát hiện khuôn mặt. Việc sử dụng OpenCV giúp đơn giản hóa quá trình phát triển ứng dụng phát hiện khuôn mặt. Các hàm trong OpenCV cho phép người dùng dễ dàng thực hiện các bước như chuyển đổi ảnh sang ảnh xám, phát hiện khuôn mặt và hiển thị kết quả. Kết quả thực nghiệm cho thấy rằng việc phát hiện khuôn mặt có thể đạt được độ chính xác cao trong các điều kiện ánh sáng tốt và với các khuôn mặt nhìn thẳng. Tuy nhiên, việc phát hiện khuôn mặt trong các tư thế khác nhau vẫn là một thách thức lớn.

3.1 Mô tả bài toán

Bài toán phát hiện khuôn mặt được mô tả thông qua việc xác định vị trí và kích thước của khuôn mặt trong ảnh. Việc phát hiện khuôn mặt có thể được thực hiện thông qua nhiều phương pháp khác nhau, từ các phương pháp truyền thống đến các phương pháp hiện đại như deep learning. Mục tiêu chính là phát hiện khuôn mặt trong các điều kiện khác nhau và với nhiều tư thế khác nhau. Việc áp dụng OpenCV giúp đơn giản hóa quá trình này và cải thiện hiệu suất của hệ thống.

3.2 Phát hiện khuôn mặt sử dụng hàm OpenCV

OpenCV cung cấp nhiều hàm hữu ích cho việc phát hiện khuôn mặt. Các hàm này cho phép người dùng thực hiện các bước như chuyển đổi ảnh sang ảnh xám, phát hiện khuôn mặt và hiển thị kết quả. Việc sử dụng OpenCV giúp đơn giản hóa quá trình phát triển ứng dụng phát hiện khuôn mặt. Kết quả thực nghiệm cho thấy rằng việc phát hiện khuôn mặt có thể đạt được độ chính xác cao trong các điều kiện ánh sáng tốt và với các khuôn mặt nhìn thẳng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực thị giác máy tính và xử lý ảnh, bài toán nhận dạng mặt người đóng vai trò then chốt trong nhiều ứng dụng thực tiễn như hệ thống giám sát an ninh, chấm công tự động, giao tiếp người – máy và bảo mật sinh trắc học. Một hệ thống nhận dạng mặt người tiêu chuẩn bao gồm bốn giai đoạn xử lý nối tiếp: phát hiện khuôn mặt (face detection), phân đoạn khuôn mặt (face alignment/segmentation), rút trích đặc trưng (feature extraction) và phân lớp khuôn mặt (face classification). Trong đó, phát hiện khuôn mặt là bước tiên quyết và phức tạp nhất do chịu ảnh hưởng trực tiếp từ các yếu tố ngoại cảnh như tư thế khuôn mặt, điều kiện chiếu sáng, biểu cảm và sự che khuất.

Đồ án tốt nghiệp "Xây dựng ứng dụng phát hiện khuôn mặt trong ảnh sử dụng OpenCV" do sinh viên Cao Tiến Đạt thực hiện dưới sự hướng dẫn của TS. Ngô Trường Giang tại Khoa Công nghệ Thông tin, Trường Đại học Dân lập Hải Phòng (2019), tập trung giải quyết bài toán phát hiện khuôn mặt người trong ảnh tĩnh thông qua kỹ thuật học máy và xử lý ảnh số.

Văn bản xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể như sau:

1. Tìm hiểu tổng quan về bài toán phát hiện khuôn mặt trong ảnh và các hướng tiếp cận phổ biến.
2. Nghiên cứu phương pháp phát hiện khuôn mặt dựa trên tập đặc trưng Haar-like, cấu trúc ảnh tích phân (Integral Image), thuật toán tăng cường độ chính xác AdaBoost và mô hình phân loại tầng (Cascade of Classifiers).
3. Tìm hiểu cấu trúc và các hàm xử lý cơ bản trong thư viện thị giác máy tính mã nguồn mở OpenCV.
4. Xây dựng ứng dụng phần mềm có giao diện thực thi phát hiện vị trí khuôn mặt trên ảnh đầu vào bằng OpenCV.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các thuật toán phát hiện khuôn mặt người, trọng tâm là phương pháp Haar-like kết hợp AdaBoost của Viola và Jones; cấu trúc xử lý của thư viện OpenCV.
• Phạm vi không gian và dữ liệu: Thử nghiệm trên ảnh số đơn sắc và ảnh màu chứa một hoặc nhiều khuôn mặt người ở góc chụp trực diện hoặc có góc nghiêng nhỏ (từ -10° đến 10°).
• Phạm vi thời gian thực hiện: Đề tài được giao ngày 01/07/2019 và hoàn thành ngày 21/09/2019.

---

Cơ sở lý thuyết và phương pháp

Đồ án tổng hợp hệ thống cơ sở lý thuyết đa dạng trong lĩnh vực nhận dạng mẫu và thị giác máy tính, phân loại các hướng tiếp cận phát hiện khuôn mặt thành bốn nhóm chính, đồng thời đi sâu vào khung thuật toán của Paul Viola và Michael Jones (2001).

Hướng tiếp cận	Cơ sở lý thuyết / Mô hình tiêu biểu	Tác giả & Phương pháp cụ thể trong văn bản
Dựa trên tri thức (Knowledge-based)	Quy tắc hình học, tỷ lệ khoảng cách giữa các thành phần khuôn mặt (top-down).	- Yang và Huang: Hệ thống 3 mức luật đa độ phân giải ($n=1, 4, 8, 16$). - Kotropoulos và Pitas: Phương pháp chiếu ngang $H_I(x)$ và dọc $V_I(y)$ (độ chính xác 86,5%). - Mateos và Chicote (>87%), Berbar (kết hợp màu da và chiếu tọa độ).
Dựa trên đặc trưng không đổi (Feature-invariant)	Cấu trúc cạnh, kết cấu, màu da bất biến dưới điều kiện môi trường (bottom-up).	- Sirohey: Canny, Heuristics và đường bao ellipse (chính xác 80%). - Chetverikov và Lerch: Cặp đặc trưng blob và streak qua biến đổi Laplace. - Graf: Toán tử hình thái học (morphology) và histogram. - Augusteijn và Skufca: Kết cấu face-like texture qua mạng nơ-ron Cascade/Kohonen. - Manian và Ross: Biến đổi Wavelet đa phân giải với 9 đặc trưng (chính xác 87%, sai 18%). - Yachida: Logic mờ trong không gian màu CIE XYZ. - Sobottka và Pitas: Phân đoạn màu da HSV và mạng nơ-ron (chính xác 85%).
Dựa trên so khớp mẫu (Template matching)	Tương quan mẫu chuẩn cố định hoặc hàm năng lượng tham số hóa.	- Sakai, Craw (lọc Sobel và tập 40 mẫu). - Sinha: 16 vùng với 23 quan hệ sáng – tối (11 quan hệ thiết yếu, 12 quan hệ xác thực). - Miao: Đa phân giải xoay từ -20° đến 20° bước 5°. - Wei và Lai: K-láng giềng gần nhất (KNN, chính xác 80%). - Dowdall: Góc quay -10° đến 10°. - Yuille: Mẫu biến dạng tối thiểu hóa hàm năng lượng. - Lanitis: Mô hình phân bố điểm (Point Distribution Model - PDM).
Dựa trên máy học / diện mạo (Appearance-based)	Học thống kê từ tập mẫu huấn luyện hai lớp (mặt / không phải mặt).	- Kohonen, Kirby và Sirovich: Phân tích thành phần chính (PCA), biến đổi Karhunen-Lòeve (giữ 95% tính chất với 50 ảnh riêng từ 100 ảnh kích thước 91x50). - Turk và Pentland: Không gian ảnh riêng Eigenface. - Mạng Nơ-ron nhân tạo: Cấu trúc lớp vào, lớp ẩn, lớp ra và hàm kích hoạt. - Máy vectơ hỗ trợ (SVM): Vladimir Vapnik. - Mô hình Markov ẩn (HMM): Samaria, Nefian. - Mạng lọc thưa SNoW: Yang (tỷ lệ lỗi 5,9%). - FloatBoost: Li và Zhang. - AdaBoost & Cascade: Viola và Jones (độ chính xác >80% trên ảnh xám).

Phương pháp nghiên cứu thực nghiệm được tác giả áp dụng:

1. Phương pháp biểu diễn ảnh tích phân (Integral Image): Mảng hai chiều được định nghĩa theo công thức: $$P(x, y) = \sum_{x' \le x, y' \le y} i(x', y')$$ Cho phép tính tổng giá trị mức xám của một vùng hình chữ nhật $D$ bất kỳ thông qua bốn điểm góc $P_1, P_2, P_3, P_4$: $$D = P_4 - P_2 - P_3 + P_1$$
2. Thuật toán tăng cường AdaBoost: Xây dựng bộ phân loại mạnh $H_M(x)$ từ tổ hợp tuyến tính của $M$ bộ phân loại yếu $h_m(x)$: $$H_M(x) = \text{sign}\left[\sum_{m=1}^M h_m(x)\right]$$ Hàm mất mát mũ được cực tiểu hóa qua từng bước lặp với quy tắc cập nhật trọng số mẫu huấn luyện: $$w_i^{(m)} \leftarrow w_i^{(m-1)} \exp\left(-y_i H_m(x_i)\right)$$
3. Kỹ thuật phân tầng (Cascade of Classifiers): Cấu trúc chuỗi các bộ phân loại $T = {t_i}$ giúp loại bỏ sớm các vùng ảnh không phải khuôn mặt ở các tầng đầu có độ phức tạp thấp. Tỷ lệ loại sai toàn hệ thống $F$ và độ chính xác $D$ trên $K$ tầng được xác định bởi: $$F = \prod_{i=1}^K f_i \quad \text{và} \quad D = \prod_{i=1}^K d_i$$
4. Kỹ thuật dò quét dạng tháp (Image Pyramid): Sử dụng cửa sổ kích thước cơ sở $(w_0 \times h_0)$ quét toàn bộ ảnh, sau mỗi bước thu nhỏ ảnh với hệ số co scale = 1.2 nhằm phát hiện các khuôn mặt ở nhiều tỷ lệ kích thước khác nhau.

---

Thiết kế và triển khai

Hệ thống phát hiện khuôn mặt được thiết kế và cài đặt theo quy trình xử lý dữ liệu tuần tự, tích hợp các bộ phân loại được huấn luyện sẵn của thư viện OpenCV.

[Ảnh gốc đầu vào] 
[Tiền xử lý: Chuyển đổi sang ảnh xám]
[Tính toán ma trận ảnh tích phân (Integral Image)]
[Trích xuất và ước lượng các đặc trưng Haar-like]
[Lọc qua bộ điều chỉnh AdaBoost & Mô hình phân tầng (Cascade)]
[Tổng hợp kết quả & Đánh dấu khung chữ nhật vị trí khuôn mặt]

Chi tiết công nghệ và môi trường triển khai:

• Thư viện xử lý: OpenCV (Open Source Computer Vision Library) với cấu trúc hơn 500 hàm chuyên dụng cho xử lý ảnh, thị giác máy tính và nhận dạng đối tượng.
• Tập dữ liệu huấn luyện: Tận dụng các tập tin cấu hình XML chứa các bộ phân loại tầng Haar Cascade được huấn luyện sẵn đi kèm trong thư mục cài đặt của OpenCV (như haarcascade_frontalface_default.xml).
• Giao diện chương trình: Được xây dựng dạng cửa sổ đồ họa cho phép người dùng nhập trực tiếp đường dẫn tập tin ảnh cần xử lý từ bộ nhớ máy tính.
• Quy trình thực thi:
  1. Đọc ảnh gốc từ đường dẫn do người dùng cung cấp.
  2. Thực hiện tiền xử lý đưa ảnh về dạng ảnh xám (grayscale) để loại bỏ thông tin màu sắc và đồng nhất mức xám.
  3. Áp dụng thuật toán trích xuất đặc trưng Haar kết hợp mô hình Cascade chạy quét trên toàn bộ không gian ảnh.
  4. Đánh dấu các vùng thỏa mãn điều kiện phân loại bằng khung viền chữ nhật bao quanh khuôn mặt và xuất ảnh kết quả ra màn hình.

---

Nội dung chính theo từng chương

CHƯƠNG 1: Tổng quan về phát hiện khuôn mặt

Chương này cung cấp bức tranh toàn cảnh về lý thuyết phát hiện khuôn mặt trong hệ thống nhận dạng tổng thể. Tác giả phân tích chi tiết bốn nhóm tiếp cận chính: dựa trên tri thức, dựa trên đặc trưng không đổi, dựa trên so khớp mẫu và dựa trên máy học/diện mạo.

Nội dung chương nêu rõ 8 khó khăn thực tế khi nhận dạng khuôn mặt gồm: góc quay/tư thế (nhìn thẳng, nghiêng, nhìn từ trên xuống), chi tiết phụ (kính, râu quai nón), biểu cảm cảm xúc, vật cản che khuất, điều kiện chiếu sáng và chất lượng thiết bị, trục tọa độ camera, kích thước khuôn mặt biến thiên và hiện tượng da dính lẫn nhau giữa nhiều người.

Để đánh giá giải thuật, chương xác lập ba tiêu chí kỹ thuật: tỷ lệ xác định chính xác (detection rate), số lượng xác định nhầm (false positives) và thời gian thực hiện (running time). Đồng thời, tác giả liệt kê các ứng dụng thực tiễn như nhận diện đối tượng truy nã tại sân bay/siêu thị, chấm công nhân sự, tương tác người - máy trực quan, truy vấn dữ liệu truyền hình (dẫn chứng bài toán tìm kiếm tư liệu video về G. Bush hoặc Bin Laden của VTV) và kiểm soát truy cập sinh trắc học.

CHƯƠNG 2: Phát hiện khuôn mặt sử dụng đặc trưng Haar

Chương 2 trình bày chi tiết toán học và giải thuật cốt lõi của đề tài. Tác giả phân tích các đặc trưng vật lý của khuôn mặt trên ảnh xám (vùng mắt tối hơn vùng má và trán; sống mũi tối hơn hai bên cánh mũi). Hệ thống đặc trưng Haar-like cơ sở gồm 4 dạng hình chữ nhật được mở rộng thành ba nhóm: đặc trưng cạnh (edge feature), đặc trưng đường (line feature) và đặc trưng xung quanh tâm (center-surround feature).

Tác giả trình bày giải thuật tính toán nhanh ma trận Integral Image, thuật toán học máy AdaBoost để lựa chọn đặc trưng tối ưu từ không gian hàng nghìn đặc trưng, và nguyên lý ghép nối chuỗi phân loại Cascade. Kỹ thuật quét tháp ảnh với tỷ lệ co scale 1.2 được phân tích nhằm đảm bảo khả năng phát hiện đa kích thước. Cuối chương, tác giả đánh giá ưu điểm (độ chính xác trên 90%, tốc độ 15-20 khung hình/giây phù hợp cho video thời gian thực) và nhược điểm (thời gian huấn luyện chậm, chỉ tối ưu cho khuôn mặt chụp thẳng).

CHƯƠNG 3: Thực nghiệm phát hiện khuôn mặt

Chương 3 mô tả quá trình hiện thực hóa mô hình lý thuyết thành ứng dụng phần mềm cụ thể. Tác giả trình bày quy trình xử lý dữ liệu đầu vào, cách thức tổ chức cấu trúc của OpenCV và việc nạp các bộ phân loại XML có sẵn. Chương minh họa các bước chuyển đổi ảnh sang mức xám, cơ chế trích xuất đặc trưng Haar trên từng vùng ảnh con và tổng hợp vùng nhận diện.

Phần thực nghiệm cung cấp các hình ảnh kết quả chạy thử nghiệm của chương trình trên giao diện đồ họa đối với hai trường hợp: ảnh chân dung đơn khuôn mặt và ảnh tập thể chứa nhiều khuôn mặt. Kết quả thực nghiệm cho thấy hệ thống xác định chính xác các khuôn mặt ở góc nhìn trực diện, đồng thời ghi nhận trường hợp chưa nhận dạng được đối với khuôn mặt có góc nghiêng lớn.

---

Kết quả và đóng góp

Các kết quả chính đạt được:

• Trình bày có hệ thống các hướng tiếp cận phát hiện khuôn mặt trong y văn thị giác máy tính, phân tích rõ ràng cơ chế hoạt động của đặc trưng Haar-like, ảnh tích phân và bộ phân loại AdaBoost.
• Cài đặt thành công ứng dụng thực nghiệm trên máy tính sử dụng các hàm chức năng và bộ huấn luyện có sẵn của OpenCV.
• Chương trình nhận diện chính xác các khuôn mặt nhìn thẳng trên cả ảnh đơn lẻ và ảnh tập thể có nhiều người trong điều kiện ánh sáng ổn định.
• Tốc độ xử lý của mô hình Cascade lý thuyết ghi nhận khả năng xử lý đạt 15 đến 20 khung hình/giây, chứng minh tính khả thi cho việc mở rộng sang xử lý video thời gian thực.

Đóng góp của đồ án:

• Cung cấp tài liệu tổng hợp chi tiết về mặt lý thuyết và công thức toán học cho các giải thuật trích xuất đặc trưng và phân loại ảnh cổ điển.
• Kiểm chứng và minh họa trực quan quy trình ứng dụng thư viện OpenCV vào bài toán phát hiện mặt người cho sinh viên ngành Công nghệ Thông tin.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được văn bản ghi nhận:

• Thuật toán huấn luyện mô hình AdaBoost nguyên bản đòi hỏi thời gian xử lý rất lớn do số lượng bộ phân loại yếu cần đánh giá quá nhiều.
• Chương trình thực nghiệm mới dừng lại ở việc phát hiện các khuôn mặt có góc nhìn thẳng hoặc độ nghiêng xoay rất nhỏ; các khuôn mặt nghiêng góc lớn hoặc bị che khuất chưa thể phát hiện được (minh chứng tại kết quả thực nghiệm Hình 3-14).
• Một số tính chất tối ưu hóa của AdaBoost mang tính nhận định thực nghiệm, chưa được chứng minh toán học hoàn toàn chặt chẽ.
• Chương trình thực nghiệm chỉ thực hiện nạp các mô hình huấn luyện có sẵn của OpenCV mà chưa tiến hành tự thu thập tập dữ liệu mẫu để huấn luyện một bộ phân loại tầng riêng biệt.

Hướng nghiên cứu tiếp:

• Nghiên cứu mở rộng thuật toán để phát hiện các khuôn mặt đa tư thế (mặt nghiêng, cúi, ngửa) và trong các điều kiện môi trường ánh sáng phức tạp.
• Tích hợp mô hình vào luồng video trực tiếp từ webcam/camera để phát hiện và theo vết đối tượng chuyển động trong thời gian thực.
• Kết hợp bước phát hiện với các giai đoạn tiếp theo (rút trích đặc trưng chi tiết và phân lớp) để xây dựng hệ thống nhận diện danh tính hoàn chỉnh.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo hữu ích cho sinh viên chuyên ngành Công nghệ Thông tin, Kỹ thuật Phần mềm và Khoa học Máy tính khi bắt đầu tiếp cận môn học Xử lý ảnh số hoặc Thị giác máy tính:

• Phần tổng quan lý thuyết (Chương 1 & Chương 2): Đáng tham khảo cho các đề tài nghiên cứu về giải thuật nhận dạng đối tượng, cung cấp bức tranh so sánh chi tiết giữa các phương pháp tiếp cận từ cổ điển (so khớp mẫu, chiếu hình học) đến học máy (Eigenface, SVM, AdaBoost, SNoW).
• Phần giải thuật ảnh tích phân và Cascade (Chương 2): Cung cấp các công thức toán học và các bước suy diễn cụ thể của thuật toán AdaBoost và kỹ thuật quét tháp ảnh.
• Phần thực nghiệm (Chương 3): Thích hợp cho người học cần tài liệu hướng dẫn từng bước áp dụng thư viện OpenCV để xây dựng các ứng dụng phát hiện đối tượng trên ảnh tĩnh.

---

Câu hỏi thường gặp

1. Bốn bước chính trong một hệ thống nhận dạng mặt người được đồ án xác định là gì?
Một hệ thống nhận dạng mặt người hoàn chỉnh bao gồm bốn bước: Phát hiện khuôn mặt (face detection), Phân đoạn khuôn mặt (face alignment/segmentation), Rút trích đặc trưng (feature extraction), và Phân lớp khuôn mặt (face classification).

2. Bản chất của ma trận ảnh tích phân (Integral Image) là gì và có tác dụng như thế nào?
Ảnh tích phân là một mảng hai chiều có kích thước bằng ảnh gốc, trong đó giá trị tại phần tử $(x, y)$ là tổng mức xám của tất cả các điểm ảnh nằm phía trên và bên trái nó. Cấu trúc này cho phép tính tổng giá trị mức xám của một vùng hình chữ nhật bất kỳ chỉ bằng 4 phép truy xuất giá trị tại các điểm góc, giúp tăng tốc độ trích chọn đặc trưng Haar-like.

3. Khung thuật toán của Viola và Jones chia đặc trưng Haar-like thành những nhóm nào?
Từ 4 đặc trưng cơ bản gồm các hình chữ nhật trắng đen xen kẽ, thuật toán mở rộng thành ba tập đặc trưng chính: đặc trưng cạnh (edge feature), đặc trưng đường (line feature) và đặc trưng xung quanh tâm (center-surround feature).

4. Tại sao hệ thống cần sử dụng mô hình phân tầng (Cascade of Classifiers)?
Nếu kiểm tra toàn bộ đặc trưng trên mọi cửa sổ quét, tốc độ xử lý sẽ rất chậm. Mô hình phân tầng sắp xếp các bộ phân loại từ đơn giản đến phức tạp; các vùng ảnh không phải khuôn mặt sẽ bị loại bỏ ngay từ những tầng đầu tiên, giúp tiết kiệm chi phí tính toán và nâng tốc độ xử lý lên 15–20 khung hình/giây.

5. Kết quả thực nghiệm của tác giả cho thấy ứng dụng còn gặp hạn chế trong trường hợp nào?
Chương trình thực nghiệm hoạt động tốt với các khuôn mặt chụp thẳng nhưng chưa nhận dạng được các khuôn mặt có góc nhìn nghiêng hoặc góc xoay lớn trong ảnh có nhiều người.

---

Kết luận

Đồ án tốt nghiệp của sinh viên Cao Tiến Đạt đã hoàn thành các nhiệm vụ nghiên cứu được giao về bài toán phát hiện khuôn mặt người trong ảnh. Tác giả đã hệ thống hóa cơ sở lý luận về đặc trưng Haar-like, cấu trúc ảnh tích phân và giải thuật học máy AdaBoost kết hợp mô hình phân loại tầng Cascade. Trên cơ sở đó, đồ án đã triển khai thành công ứng dụng thực nghiệm bằng thư viện OpenCV, phát hiện chính xác các khuôn mặt nhìn thẳng trên ảnh số và chỉ rõ các giới hạn cần tiếp tục cải tiến đối với khuôn mặt đa tư thế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT.1 Giới thiệu phát hiện khuôn mặt Trong những năm gần đây, có rất nhiều công trình nghiên cứu về bài toán xác định khuôn mặt người từ ảnh đen trắng, xám đến ảnh màu. Ban đầu chỉ là những bài toán đơn giản, mỗi ảnh chỉ có một khuôn mặt nhìn thẳng và đầu luôn phải ở tư thế thẳng đứng trong ảnh đen trắng, không đáp ứng được nhu cầu ngày càng cao trong cuộc sống, khoa học ngày nay. Vì thế đã có nhứng cải tiến nghiên cứu về bài toán phát hiện khuôn mặt người trong những môi trường phức tạp hơn, có nhiều khuôn mặt người trong ảnh hơn, và có nhiều tư thế thay đổi trong ảnh. Xác định khuôn mặt người là một kỹ thuật để xác định vị trí và kích thước khuôn mặt người trong các ảnh bất kỳ.

Kỹ thuật này nhận biết về các đặc trưng của khuôn mặt và bỏ qua những thứ khác. Tổng quan kiến trúc của một hệ thống nhận dạng mặt người Một hệ thống nhận dạng mặt người thông thường bao gồm bốn bước xử lý sau: phát hiện khuôn mặt (face detection), phân đoạn khuôn mặt (face alignment hay segmentation), rút trích đặc trưng (feature extraction), và phân lớp khuôn mặt (face classification). Hình 1-1: Các bước chính trong một hệ thống nhận dạng mặt người Cao Tiến Đạt _ CT1901C 6 Luan van Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV Phát hiện khuôn mặt dò tìm và định vị những vị trí khuông mặt xuất hiện trong ảnh hoặc trên các frame video. Phân đoạn khuôn mặt sẽ xác định vị trí mắt mũi, miệng, là các thành phần khác của khuôn mặt và chuyển kết quả này cho bước rút trích đặc trưng.

Từ những thông tin về các thành phần trên khuôn mặt, chúng ta có thể dễ dàng tính được véc-tơ đặc trưng trong bước rút trích đặc trưng. Những véc-tơ đặc trưng này sẽ là dữ liệu đầu vào cho một mô hình đã được huấn luyện trước để phân loại khuôn mặt. Bên cạnh những bước chính nêu trên, chúng ta còn có thể áp dụng thêm một số bước khác như tiền xử lý, hậu xử lý nhằm làm tăng độ chính xác cho hệ thống. Do một số thông số như: tư thế khuôn mặt, độ sáng, điều kiện ánh sáng, v.v , phát hiện khuôn mặt được đánh giá là bước khó khăn và quan trọng nhất so với các bước còn lại của hệ thống.

Trong luận văn này, em tập trung chủ yếu vào bước phát hiện khuôn mặt.2 Các hướng tiếp cận trong phát hiện khuôn mặt Có nhiều nghiên cứu tìm ra phương pháp xác định khuôn mặt người, từ ảnh xám đến ngày nay là ảnh màu. Dựa vào tính chất của các phương pháp này thành bốn hướng tiếp cận chính:  Hướng tiếp cận dựa trên tri thức: Mã hóa các hiểu biết của con người về các loại khuôn mặt người thành các luật. Thông thường các luật mô tả quan hệ của các đặc trưng.  Hướng tiếp cận dựa trên đặc trưng không thay đổi: Mục tiêu các thuật toán đi tìm các đặc trưng mô tả cấu trúc khuôn mặt người mà các đặc trưng này sẽ không thay đổi khi tư thế khuôn mặt, vị trí đặt thiếu bị thu hình hoặc điều kiện ánh sáng thay đổi.

 Hướng tiếp cận dưa trên so khớp mẫu: Dùng các mẫu chuẩn của khuôn mặt người(các mẫu này được chọn lựa và lưu trữ) để mô tả cho khuôn mặt người hay các đặc trưng khuôn mặt(các mẫu Cao Tiến Đạt _ CT1901C 7 Luan van Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV này phải chọn làm sao cho tách biệt nhau theo tiêu chuẩn mà các tác giả định ra để so sánh).  Hướng tiếp cận dựa trên diện mạo: Trái ngược hẳn so khớp mẫu, các mô hình học ở đây được học từ 1 tập ảnh huấn luyện cho trước. Sau đó hệ thống sẽ xác định khuôn mặt người. Một số tác giả còn gọi hướng tiếp cận này là hướng tiếp cận theo phương pháp học.1 Hướng tiếp cận dựa trên tri thức Trong hướng tiếp cận này, các luật sẽ phụ thuộc rất hơn vào tri thức của những tác giả nghiên cứu về bài toán xác định khuôn mặt người.

Đây là hướng tiếp cận top-down. Dễ dàng xây dựng các luật cơ bản để mô tả các đặc trưng của khuôn mặt và các quan hệ tương ứng, Ví dụ, một khuôn mặt thường có hai đôi mắt đối xứng nhau qua trục thẳng đứng ở giữa khuôn mặt và có một mũi, một miệng. Các quan hệ của các đặc trưng có thể được mô tả như quan hệ về khoảng cách và vị trí. Thông thường các tác giả sẽ trích đặc trưng của khuôn mặt trước tiên để có thể được các ứng viên, sau đó các ứng viên này sẽ được xác định thông qua các luật để biết ứng viên nào là khuôn mặt và ứng viên nào không phải là khuôn mặt, Một vấn đề khá phức tạp khi dùng hướng tiếp cận này là làm sao chuyển từ tri thức con người sang các luật một cách hiệu quả.

Nếu các luật này quá chi tiết những khuôn mặt(chặt chẽ) thì khi xác định có thể xác định thiếu các khuôn mặt có trong ảnh, vì những khuôn mặt này không thể thỏa mãn tất cả các luật đưa ra, Nhưng các luật tổng quát có thể chúng ta sẽ xác định lầm một vùng nào đó không phải là khuôn mặt mà lại xác định là khuôn mặt. Và cũng khó khăn khi cân mở rộng yêu cầu của bài toán để xác định các khuôn mặt có nhiều tư thế khác nhau. Cao Tiến Đạt _ CT1901C 8 Luan van Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV Hình 1-2: (a) Ảnh ban đầu có độ phân giải n = 1; (b), (c), và (d) Ảnh có độ phân giải n = 4, 8, 16. Yang và Huang dùng phương thức theo hướng tiếp cận này để xác định các khuôn mặt.

Hệ thống của hai tác giả này bao gồm ba mức luật. Ở mức cao nhất, dùng một khung cửa số quét trên ảnh và thông qua một tập luật để tìm các ứng viên có thể là khuôn mặt. Ở mức kế tiếp, hai ông dùng một tập luật để mô tả tổng quát hình dáng khuôn mặt. Ở mức còn lại dùng một tập luật khác để xem xét ở mức chi tiết các đặc trưng khuôn mặt, Một hệ thống đa độ phân giải có thứ tự được dùng để xác định, (Hình 1.

Các luật ở mức cao nhất để tìm ứng viên như: “Vùng trung tâm khuôn mặt ( phần tối hơn trong hình 1.2) có bốn phần với một mức độ đều cơ bản”, “phần xung quanh bên trên của một khuôn mặt( phần sáng hơn trong hình 1.2) có một mức độ đều cơ bản”. và “mức độ khác nhau giữa các giá trị xám trung bình của phần trung tâm và phần bao bên trên là đáng kể”. Ở mức hai, xem xét biểu đồ của các ứng viên để loại bớt ứng viên không phải là khuôn mặt, đồng thời dò ra cạnh bao xung quanh ứng viên. Ở mức cuối cùng, những ứng viên nào còn lại sẽ được xem xét các đặc trưng của khuôn mặt về mắt và miện.

Hai ông đã dùng một chiến lược “ từ thô đến mịn” hay “Làm rõ dần” để giảm số lượng tính toán trong xử lý, Mặc dù tỷ lệ chính xác chưa cao, nhưng đây là tiền để cho nhiều nghiên cứu sau này. Cao Tiến Đạt _ CT1901C 9 Luan van Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV Hình 1-3: Một loại tri thức của người nghiên cứu phân tích trên khuôn mặt. Kotropoulos và Pitas đưa ra một phương pháp dùng trên độ phân giải thấp. Hai ông dùng phương pháp chiếu để xác định các đặc trưng khuôn mặt.

Kanade đã thành công với phương pháp chiếu để xác định biên của khuôn mặt. Với I(x,y) là giá trị xám của một điểm trong ảnh có kích thước m x n iwr tại vị trí (x,y), các hàm để chiếu ảnh theo phương ngang và thẳng đứng được định nghĩa như sau: HI(x)  ( , y) và VI(y) ny1 I x  mx1 I(x, y) (1-1) Hình 1-4: Phương pháp chiếu (a) Ảnh chỉ có một khuôn mặt và hình nền đơn giản; (b) Ảnh chỉ có một khuôn mặt và hình nền phức tạp; (c) Ảnh có nhiều khuôn mặt Cao Tiến Đạt _ CT1901C 10 Luan van Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV Dựa trên biển đồ chiếu hình ngang, có hau cực tiểu cục bộ khi hai ông xét quá trình thay đổi độ dốc HI, đó chính là cạnh bên trái và phải của hai bên đầu. Tương tự với hình chiếu dọc VI, các cực tiểu cục bộ cũng cho ta biết vị trí miệng, đỉnh mũi, và hai mắt. Các đặc trưng này đủ để xác định khuôn mặt.a là một ví dụ của cách xác định trên.

Cách xách định này có tỷ lệ xác định chính xác 86,5% cho trường hợp chỉ có một khuôn mặt thẳng trong ảnh và hình nền không phức tạp. Nếu hình nền phức tạp thì rất khó tìm, như là hình 1. Nếu ảnh có nhiều khuôn mặt thì sẽ không xác định được, hình 1. Hình 1-5: Chiếu từng phần ứng viên để xác định khuôn mặt.

Mateos và Chicote dùng kết cấu để xác định ứng viên trong ảnh màu. Sau đó phân tích hình dáng, kích thước, thành phần khuôn mặt để xác định khuôn mặt, hai ông trích các ứng viên của từng thành phần khuôn mặt, sau đó chiếu từng phần này để xác thực đó có phải là thành phần khuôn mặt hay không. Tỷ lệ chính xác hơn 87%. Berbar kết hợp mô hình màu da người và xác định cạnh để tùn ứng viên khuôn mặt người.

Sau đó kết hợp các đặc trưng và phương pháp chiếu các ứng viên khuôn mặt xuống hệ trục tọa độ để xác định ứng viên nào thực sự là khuôn mặt.2 Hướng tiếp cận dựa trên đặc trưng không đổi. Đây là hướng tiếp cận thiểu kiểu bottom-up. Các tác giả cố gắng tìm các đặc trưng không thay đổi của khuôn mặt người để xác định khuôn mặt người. Dựa trên nhận xét thực tế: con người dễ dàng nhận biết các khuôn mặt trong Cao Tiến Đạt _ CT1901C 11 Luan van Xây dựng ứng dụng phát hiện khuân mặt trong ảnh sử dụng OpenCV các tư thế khác nhau và điều kiện ánh sáng khác nhau.

Do đó khuôn mặt phải có các thuộc tính hay đặc trưng không thay đổi. Theo nhiều nghiên cứu thì ban đầu phải xác định các đặc trưng khuôn mặt rồi chỉ có khuôn mặt trong ảnh hay không. Các đặc trưng như: lông mày, mắt, mũi, miệng, và đường viền của tóc được trích bằng phương pháp xác định cạnh.