Luận văn thạc sĩ kỹ thuật điều khiển và tự động hóa ứng dụng xử lý ảnh trong robot dùng phát giác chuyển động và nhận dạng đối tượng người quen

Luận văn thạc sĩ kỹ thuật điều khiển và tự động hóa ứng dụng xử lý ảnh trong robot để phát hiện chuyển động và nhận dạng đối tượng người quen.

• Tác giả: Nguyễn Hữu Tình
• Người hướng dẫn: TS. Nguyễn Đức Thành
• Trường học: Đại học Bách Khoa, Đại học Quốc gia TP.HCM
• Chuyên ngành: Tự động hóa
• Đề tài: Ứng dụng xử lý ảnh trong robot dùng phát giác chuyển động và nhận dạng đối tượng người quen
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Tổng quan về bài toán nhận dạng và theo dõi khuôn mặt người quen
• 1.2. Mục tiêu và nhiệm vụ nghiên cứu
• 1.3. Phạm vi nghiên cứu của đề tài
• 1.4. Tổ chức luận văn
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Các hướng tiếp cận liên quan đến phát hiện khuôn mặt
• 2.2. Các hướng tiếp cận liên quan đến nhận dạng khuôn mặt
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT
• 3.1. Giới thiệu chung
• 3.2. Các thuật toán tiền xử lý ảnh
• 3.2.1. Một số khái niệm về xử lý ảnh số
• 3.2.2. Một số thuật toán xử lý ảnh
• 3.2.2.1. Chuyển ảnh màu thành ảnh đa mức xám
• 3.2.2.2. Chuyển ảnh đa mức xám sang ảnh nhị phân
• 3.2.2.3. Cân bằng Histogram
• 3.2.2.4. Điều chỉnh độ tương phản
• 3.3. Phát hiện khuôn mặt dùng giải thuật Adaboost và đặc trưng Haar-like
• 3.3.1. Đặc trưng Haar-like
• 3.3.2. Thuật toán Adaboost
• 3.3.3. Phân tầng các bộ phân loại
• 3.3.4. Áp dụng giải thuật Adaboost phát hiện khuôn mặt người
• 3.4. Phương pháp nhận dạng khuôn mặt riêng dùng PCA
• 3.4.1. Không gian ảnh khuôn mặt
• 3.4.2. Nhận dạng khuôn mặt riêng dùng phương pháp PCA
• 4. CHƯƠNG 4: XÂY DỰNG CHƯƠNG TRÌNH VÀ MÔ HÌNH THỰC NGHIỆM
• 4.1. Giới thiệu chung
• 4.2. Xây dựng chương trình phát hiện và theo dõi khuôn mặt người quen
• 4.2.1. Xây dựng lưu đồ và giải thuật chương trình
• 4.2.2. Xây dựng chương trình
• 4.2.2.1. Giới thiệu về EmguCV
• 4.2.2.2. Thu nhận hình ảnh từ Webcam
• 4.2.2.3. Phát hiện và trích xuất hình ảnh khuôn mặt
• 4.2.2.4. Xây dựng chương trình bám theo đối tượng khuôn mặt
• 4.2.2.5. Nhận dạng khuôn mặt người quen
• 4.3. Xây dựng mô hình mobile robot
• 4.3.1. Giới thiệu về một số kiểu mobile robot thông dụng
• 4.3.2. Thiết kế và chế tạo mô hình mobile robot
• 4.3.3. Xây dựng mạch điện và chương trình điều khiển cho mobile robot
• 4.3.3.1. Mạch điều khiển
• 4.3.3.2. Xây dựng giải thuật và chương trình cho vi điều khiển
• 5. CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM
• 5.1. Mô tả quá trình thực nghiệm
• 5.2. Kết quả thực nghiệm
• 5.3. Đánh giá kết quả thực nghiệm
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI
• 6.1. Kết quả và ý nghĩa
• 6.1.1. Kết quả đạt được
• 6.1.2. Hướng phát triển của đề tài
• TÀI LIỆU THAM KHẢO VÀ TRÍCH DẪN
• PHỤ LỤC A: MỘT SỐ KHÁI NIỆM TOÁN HỌC
• PHỤ LỤC B: CHƯƠNG TRÌNH XÂY DỰNG GIẢI THUẬT BẰNG C#
• PHỤ LỤC C: CHƯƠNG TRÌNH VI ĐIỀU KHIỂN ATMEGA162
• LÝ LỊCH TRÍCH NGANG

Tóm tắt

I. Giới thiệu

Luận văn thạc sĩ này tập trung vào việc ứng dụng xử lý ảnh trong robot để phát hiện chuyển động và nhận dạng người quen. Nghiên cứu này nằm trong lĩnh vực thị giác máy tính và trí tuệ nhân tạo, với mục tiêu phát triển các giải pháp công nghệ giúp robot có khả năng tương tác với con người một cách thông minh. Xử lý hình ảnh và học máy là hai yếu tố chính được sử dụng để xây dựng các thuật toán nhận dạng và theo dõi khuôn mặt. Nghiên cứu này không chỉ có ý nghĩa học thuật mà còn mang lại nhiều ứng dụng thực tiễn trong các lĩnh vực như an ninh, giám sát và robot hỗ trợ.

1.1. Đặt vấn đề

Bài toán nhận dạng khuôn mặt và theo dõi chuyển động là một trong những thách thức lớn trong lĩnh vực thị giác máy tính. Với sự phát triển của công nghệ robot, việc tích hợp khả năng nhận dạng và theo dõi khuôn mặt vào robot trở thành một nhu cầu cấp thiết. Nghiên cứu này nhằm giải quyết các vấn đề liên quan đến xử lý tín hiệu hình ảnh, phân tích chuyển động và nhận dạng đối tượng trong môi trường thực tế.

1.2. Mục tiêu nghiên cứu

Mục tiêu chính của luận văn thạc sĩ là phát triển một hệ thống tích hợp xử lý ảnh và học máy để robot có thể phát hiện chuyển động và nhận dạng người quen. Hệ thống này sử dụng các thuật toán xử lý ảnh như AdaBoost và PCA để cải thiện độ chính xác trong việc nhận dạng khuôn mặt. Ngoài ra, nghiên cứu cũng hướng đến việc xây dựng một mô hình thực nghiệm để đánh giá hiệu quả của các thuật toán được đề xuất.

II. Cơ sở lý thuyết

Phần này trình bày các cơ sở lý thuyết liên quan đến xử lý ảnh, thị giác máy tính và học máy. Các thuật toán xử lý ảnh như chuyển đổi ảnh màu sang ảnh xám, cân bằng histogram và phát hiện khuôn mặt sử dụng đặc trưng Haar-like được phân tích chi tiết. Ngoài ra, phương pháp nhận dạng khuôn mặt dựa trên phân tích thành phần chính (PCA) cũng được giới thiệu như một giải pháp hiệu quả để nhận dạng người quen.

2.1. Xử lý ảnh số

Xử lý ảnh số là bước đầu tiên trong quá trình nhận dạng khuôn mặt. Các kỹ thuật như chuyển đổi ảnh màu sang ảnh xám, cân bằng histogram và điều chỉnh độ tương phản được sử dụng để cải thiện chất lượng ảnh đầu vào. Những bước tiền xử lý này giúp tăng độ chính xác của các thuật toán nhận dạng khuôn mặt.

2.2. Phát hiện khuôn mặt

Phát hiện khuôn mặt là quá trình xác định vị trí và kích thước của khuôn mặt trong ảnh. Thuật toán AdaBoost kết hợp với đặc trưng Haar-like được sử dụng để phát hiện khuôn mặt một cách hiệu quả. Phương pháp này dựa trên việc xây dựng các bộ phân loại yếu và kết hợp chúng thành một bộ phân loại mạnh.

III. Xây dựng hệ thống

Phần này mô tả quá trình xây dựng hệ thống nhận dạng khuôn mặt và theo dõi chuyển động trong robot. Hệ thống được phát triển dựa trên thư viện mã nguồn mở EmguCV và ngôn ngữ lập trình C#. Các bước chính bao gồm thu nhận hình ảnh từ webcam, phát hiện khuôn mặt, trích xuất đặc trưng và nhận dạng khuôn mặt. Mô hình thực nghiệm được xây dựng để đánh giá hiệu quả của hệ thống.

3.1. Thu nhận hình ảnh

Hệ thống sử dụng webcam để thu nhận hình ảnh từ môi trường thực tế. Các hình ảnh này được chuyển đổi sang định dạng phù hợp để xử lý bằng các thuật toán xử lý ảnh. Quá trình thu nhận hình ảnh là bước đầu tiên và quan trọng trong việc đảm bảo độ chính xác của hệ thống.

3.2. Phát hiện và nhận dạng khuôn mặt

Sau khi thu nhận hình ảnh, hệ thống sử dụng thuật toán AdaBoost để phát hiện khuôn mặt. Các đặc trưng của khuôn mặt được trích xuất và sử dụng trong quá trình nhận dạng khuôn mặt dựa trên phương pháp PCA. Kết quả nhận dạng được so sánh với cơ sở dữ liệu để xác định người quen.

IV. Kết quả và đánh giá

Phần này trình bày các kết quả thực nghiệm và đánh giá hiệu quả của hệ thống. Các thử nghiệm được thực hiện trong các điều kiện khác nhau như ánh sáng, góc nhìn và khoảng cách. Kết quả cho thấy hệ thống có khả năng phát hiện chuyển động và nhận dạng người quen với độ chính xác cao. Tuy nhiên, hệ thống còn gặp một số hạn chế trong điều kiện ánh sáng yếu hoặc khi khuôn mặt bị che khuất.

4.1. Kết quả thực nghiệm

Các thử nghiệm được thực hiện trên một mô hình robot tích hợp hệ thống nhận dạng khuôn mặt. Kết quả cho thấy hệ thống có thể phát hiện chuyển động và nhận dạng người quen với độ chính xác lên đến 90% trong điều kiện ánh sáng tốt. Tuy nhiên, độ chính xác giảm đáng kể trong điều kiện ánh sáng yếu hoặc khi khuôn mặt bị che khuất.

4.2. Đánh giá hiệu quả

Hệ thống được đánh giá dựa trên các tiêu chí như độ chính xác, tốc độ xử lý và khả năng hoạt động trong các điều kiện khác nhau. Kết quả cho thấy hệ thống có tiềm năng ứng dụng cao trong các lĩnh vực như an ninh, giám sát và robot hỗ trợ. Tuy nhiên, cần cải thiện thêm để tăng độ chính xác trong các điều kiện khó khăn.

V. Kết luận và hướng phát triển

Luận văn thạc sĩ này đã thành công trong việc phát triển một hệ thống tích hợp xử lý ảnh và học máy để robot có thể phát hiện chuyển động và nhận dạng người quen. Hệ thống đã được thử nghiệm và đánh giá trong các điều kiện khác nhau, cho thấy tiềm năng ứng dụng cao. Tuy nhiên, vẫn còn một số hạn chế cần được cải thiện trong tương lai, đặc biệt là trong điều kiện ánh sáng yếu hoặc khi khuôn mặt bị che khuất.

5.1. Kết luận

Nghiên cứu đã đạt được mục tiêu đề ra là phát triển một hệ thống nhận dạng khuôn mặt và theo dõi chuyển động trong robot. Các thuật toán xử lý ảnh và học máy được sử dụng đã chứng minh hiệu quả trong việc cải thiện độ chính xác của hệ thống. Kết quả thực nghiệm cho thấy hệ thống có tiềm năng ứng dụng cao trong các lĩnh vực thực tế.

5.2. Hướng phát triển

Trong tương lai, nghiên cứu có thể được mở rộng bằng cách tích hợp thêm các thuật toán học sâu để cải thiện độ chính xác trong các điều kiện khó khăn. Ngoài ra, việc phát triển các công nghệ thị giác máy tính tiên tiến cũng sẽ giúp nâng cao hiệu quả của hệ thống. Các ứng dụng thực tế như robot hỗ trợ người già và trẻ em cũng là hướng phát triển tiềm năng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của khoa học máy tính và công nghệ tri thức, việc theo dõi và nhận dạng khuôn mặt người đã trở thành một chủ đề nghiên cứu quan trọng, đặc biệt trong lĩnh vực tự động hóa và thị giác máy tính. Theo ước tính, các hệ thống nhận dạng khuôn mặt hiện nay được ứng dụng rộng rãi trong nhiều lĩnh vực như an ninh, giám sát, tương tác người-máy và robot phục vụ con người. Tuy nhiên, bài toán này vẫn còn nhiều thách thức do ảnh hưởng của điều kiện ánh sáng, góc chụp, biểu cảm khuôn mặt và các yếu tố môi trường khác.

Mục tiêu chính của luận văn là xây dựng một hệ thống xử lý ảnh trên nền tảng mobile robot nhằm phát hiện, nhận dạng và theo dõi khuôn mặt người quen trong môi trường thực tế. Nghiên cứu tập trung vào việc áp dụng thuật toán AdaBoost kết hợp đặc trưng Haar-like để phát hiện khuôn mặt và phương pháp phân tích thành phần chính (PCA) với mô hình Eigenfaces để nhận dạng khuôn mặt người quen. Phạm vi nghiên cứu bao gồm việc thu nhận dữ liệu hình ảnh từ Webcam Logitech C600 với độ phân giải 1600 × 1200, tốc độ 30 khung hình/giây, xử lý trên laptop cấu hình Core2 Duo CPU, RAM 2GB, trong các điều kiện ánh sáng khác nhau.

Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao hiệu quả nhận dạng khuôn mặt trong robot di động, góp phần phát triển các ứng dụng robot tương tác thông minh, cải thiện chất lượng cuộc sống và mở rộng khả năng ứng dụng công nghệ nhận dạng sinh trắc học trong thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình nghiên cứu chính:

1. Thuật toán AdaBoost và đặc trưng Haar-like: AdaBoost là một thuật toán học máy thuộc nhóm boosting, kết hợp nhiều bộ phân loại yếu thành một bộ phân loại mạnh nhằm tăng độ chính xác phát hiện khuôn mặt. Đặc trưng Haar-like là các mẫu hình chữ nhật trắng và đen dùng để trích xuất đặc điểm vùng ảnh, giúp phát hiện nhanh và hiệu quả các khuôn mặt trong ảnh hoặc video. Việc sử dụng ảnh tích phân (Integral Image) giúp tính toán các đặc trưng Haar-like nhanh chóng, phù hợp với xử lý thời gian thực.

2. Phương pháp phân tích thành phần chính (PCA) và mô hình Eigenfaces: PCA được sử dụng để giảm chiều dữ liệu ảnh khuôn mặt, trích xuất các thành phần chính đại diện cho đặc trưng khuôn mặt. Mô hình Eigenfaces biểu diễn khuôn mặt dưới dạng các vector riêng, giúp nhận dạng khuôn mặt người quen bằng cách so sánh khoảng cách trong không gian đặc trưng. Phương pháp này đơn giản, hiệu quả và có tốc độ huấn luyện nhanh, phù hợp với ứng dụng thực tế.

Các khái niệm chuyên ngành quan trọng bao gồm: Man Machine Interaction (MMI), Haar-like features, AdaBoost, Principal Component Analysis (PCA), Eigenfaces, Integral Image, và các thuật toán tiền xử lý ảnh như cân bằng histogram, lọc trung vị.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là chuỗi frame ảnh thu nhận trực tiếp từ Webcam Logitech C600 gắn trên mô hình mobile robot, trong các điều kiện ánh sáng và môi trường khác nhau nhằm đánh giá tính ổn định của hệ thống. Cỡ mẫu thực nghiệm bao gồm hàng trăm khung hình chứa khuôn mặt người quen và người lạ.

Phương pháp phân tích gồm:

• Tiền xử lý ảnh: chuyển ảnh màu sang ảnh đa mức xám, cân bằng histogram, điều chỉnh độ tương phản và lọc nhiễu bằng bộ lọc trung vị để nâng cao chất lượng ảnh đầu vào.
• Phát hiện khuôn mặt: sử dụng thuật toán AdaBoost kết hợp đặc trưng Haar-like, xây dựng bộ phân loại mạnh qua quá trình huấn luyện với tập mẫu có nhãn.
• Nhận dạng khuôn mặt: áp dụng PCA để trích xuất đặc trưng khuôn mặt, xây dựng mô hình Eigenfaces, so sánh khoảng cách đặc trưng để phân loại khuôn mặt người quen.
• Xây dựng chương trình ứng dụng trên nền tảng C#.Net với thư viện mã nguồn mở EmguCV, chạy trên môi trường Visual Studio 2010.
• Thiết kế và chế tạo mô hình mobile robot có khả năng phát hiện, nhận dạng và bám theo khuôn mặt người dựa trên dữ liệu thu nhận từ Webcam.
• Timeline nghiên cứu kéo dài từ tháng 8/2011 đến tháng 6/2012, bao gồm giai đoạn tìm hiểu thuật toán, xây dựng chương trình, thiết kế mô hình robot và thực nghiệm đánh giá.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phát hiện khuôn mặt với thuật toán AdaBoost: Hệ thống đạt tốc độ xử lý khoảng 15-20 khung hình/giây, với tỷ lệ phát hiện chính xác khuôn mặt đạt trên 85% trong điều kiện ánh sáng đa dạng. Kết quả thực nghiệm cho thấy khả năng phát hiện khuôn mặt ổn định khi khuôn mặt không bị nghiêng quá lớn hoặc che khuất quá nhiều.

2. Độ chính xác nhận dạng khuôn mặt người quen bằng PCA: Tỷ lệ nhận dạng chính xác đạt khoảng 90% khi sử dụng tập ảnh huấn luyện đủ lớn (khoảng 50 ảnh mỗi người). Khi số lượng ảnh huấn luyện giảm, tỷ lệ nhận dạng giảm tương ứng, thể hiện qua bảng kết quả thực nghiệm. Hệ thống có khả năng nhận dạng chính xác ngay cả khi một số thành phần khuôn mặt bị che khuất nhẹ.

3. Khả năng theo dõi khuôn mặt trong môi trường thực tế: Mô hình mobile robot được trang bị Webcam và hệ thống xử lý ảnh có thể bám theo khuôn mặt người chuyển động với độ trễ thấp, ước tính dưới 0.5 giây. Việc ước lượng vị trí và kích thước khuôn mặt dựa trên phương pháp diện tích giúp robot điều chỉnh hướng di chuyển hiệu quả.

4. Ảnh hưởng của điều kiện môi trường: Kết quả thực nghiệm cho thấy điều kiện ánh sáng yếu hoặc thay đổi đột ngột làm giảm hiệu suất phát hiện và nhận dạng khuôn mặt khoảng 10-15%. Góc nghiêng khuôn mặt lớn hơn 30 độ làm giảm khả năng nhận dạng bằng PCA đáng kể.

Thảo luận kết quả

Nguyên nhân chính của các hạn chế là do phương pháp PCA chỉ phù hợp với khuôn mặt nhìn thẳng, không khắc phục tốt các biến đổi về góc nghiêng và ánh sáng. So sánh với các nghiên cứu khác cho thấy thuật toán AdaBoost kết hợp Haar-like features vẫn là lựa chọn tối ưu cho phát hiện khuôn mặt trong thời gian thực nhờ tính toán nhanh và độ chính xác cao. Việc sử dụng EmguCV và C# giúp tăng tính linh hoạt và khả năng mở rộng ứng dụng.

Dữ liệu có thể được trình bày qua biểu đồ tỷ lệ phát hiện và nhận dạng theo các điều kiện ánh sáng, góc nghiêng, cũng như bảng so sánh tỷ lệ nhận dạng với số lượng ảnh huấn luyện khác nhau. Kết quả này có ý nghĩa quan trọng trong việc phát triển các hệ thống robot tương tác thông minh, góp phần nâng cao khả năng tự động hóa và ứng dụng công nghệ sinh trắc học trong thực tế.

Đề xuất và khuyến nghị

1. Tối ưu thuật toán nhận dạng khuôn mặt: Áp dụng các phương pháp nâng cao như Linear Discriminant Analysis (LDA) hoặc mạng nơ-ron để cải thiện khả năng nhận dạng trong điều kiện góc nghiêng và ánh sáng thay đổi, nhằm tăng tỷ lệ nhận dạng lên trên 95% trong vòng 12 tháng tới. Chủ thể thực hiện: nhóm nghiên cứu phát triển phần mềm.

2. Cải tiến phần cứng mô hình robot: Trang bị camera có độ phân giải cao hơn và cảm biến ánh sáng để tự động điều chỉnh thông số thu nhận hình ảnh, giúp giảm ảnh hưởng của điều kiện môi trường. Thời gian thực hiện dự kiến 6 tháng. Chủ thể thực hiện: bộ phận kỹ thuật phần cứng.

3. Mở rộng tập dữ liệu huấn luyện: Thu thập thêm dữ liệu khuôn mặt người quen trong nhiều điều kiện khác nhau để nâng cao độ chính xác và khả năng tổng quát của mô hình nhận dạng. Dự kiến hoàn thành trong 9 tháng. Chủ thể thực hiện: nhóm thu thập dữ liệu và huấn luyện mô hình.

4. Phát triển giao diện tương tác người-robot: Thiết kế giao diện trực quan giúp người dùng dễ dàng quản lý và cập nhật dữ liệu khuôn mặt, đồng thời theo dõi trạng thái robot. Thời gian thực hiện 6 tháng. Chủ thể thực hiện: nhóm phát triển phần mềm giao diện.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành tự động hóa, thị giác máy tính: Luận văn cung cấp kiến thức nền tảng và ứng dụng thực tiễn về xử lý ảnh, phát hiện và nhận dạng khuôn mặt, giúp phát triển các đề tài nghiên cứu liên quan.

2. Kỹ sư phát triển robot và hệ thống tương tác người-máy: Tham khảo để áp dụng thuật toán AdaBoost và PCA trong thiết kế robot có khả năng nhận dạng và theo dõi người dùng, nâng cao tính thông minh và tự động hóa.

3. Chuyên gia công nghệ sinh trắc học và an ninh: Nghiên cứu các giải pháp nhận dạng khuôn mặt hiệu quả, ứng dụng trong hệ thống kiểm soát ra vào, giám sát an ninh và quản lý nhân sự.

4. Nhà phát triển phần mềm ứng dụng xử lý ảnh: Học hỏi cách tích hợp thư viện EmguCV với ngôn ngữ C# để xây dựng các ứng dụng nhận dạng khuôn mặt trên nền tảng Windows, phục vụ các mục đích thương mại và nghiên cứu.

Câu hỏi thường gặp

1. Thuật toán AdaBoost hoạt động như thế nào trong phát hiện khuôn mặt?
   AdaBoost kết hợp nhiều bộ phân loại yếu dựa trên đặc trưng Haar-like thành một bộ phân loại mạnh, tăng trọng số cho các mẫu khó phân loại trong quá trình huấn luyện, giúp phát hiện khuôn mặt nhanh và chính xác trong ảnh hoặc video.

2. Phương pháp PCA có ưu điểm và hạn chế gì trong nhận dạng khuôn mặt?
   PCA giúp giảm chiều dữ liệu và trích xuất đặc trưng chính của khuôn mặt, cho tốc độ xử lý nhanh và đơn giản. Tuy nhiên, PCA kém hiệu quả khi khuôn mặt bị nghiêng hoặc trong điều kiện ánh sáng thay đổi mạnh.

3. Làm thế nào để cải thiện độ chính xác nhận dạng khuôn mặt trong môi trường thực tế?
   Có thể áp dụng các thuật toán nâng cao như LDA, mạng nơ-ron hoặc kết hợp nhiều phương pháp nhận dạng, đồng thời mở rộng tập dữ liệu huấn luyện và cải thiện chất lượng ảnh đầu vào qua tiền xử lý.

4. Mô hình mobile robot trong nghiên cứu có khả năng gì?
   Robot có thể phát hiện, nhận dạng và theo dõi khuôn mặt người quen trong thời gian thực, điều chỉnh hướng di chuyển dựa trên vị trí khuôn mặt thu nhận từ Webcam, phục vụ mục đích tương tác và hỗ trợ con người.

5. Thư viện EmguCV và ngôn ngữ C# có phù hợp cho phát triển ứng dụng nhận dạng khuôn mặt không?
   EmguCV là thư viện mã nguồn mở mạnh mẽ, hỗ trợ các thuật toán xử lý ảnh và thị giác máy tính, tích hợp tốt với C# giúp phát triển ứng dụng nhanh, dễ bảo trì và mở rộng trên nền tảng Windows.

Kết luận

• Luận văn đã xây dựng thành công hệ thống phát hiện, nhận dạng và theo dõi khuôn mặt người quen trên mô hình mobile robot sử dụng thuật toán AdaBoost và PCA.
• Hệ thống đạt tỷ lệ phát hiện khuôn mặt trên 85% và nhận dạng chính xác khoảng 90% trong điều kiện thực nghiệm đa dạng.
• Phương pháp tiền xử lý ảnh như cân bằng histogram và lọc trung vị giúp nâng cao chất lượng ảnh đầu vào, cải thiện hiệu suất nhận dạng.
• Kết quả thực nghiệm chứng minh tính khả thi và ứng dụng thực tế của công nghệ nhận dạng khuôn mặt trong robot tương tác.
• Đề xuất các hướng phát triển tiếp theo nhằm nâng cao độ chính xác, mở rộng tính năng và cải tiến phần cứng để hoàn thiện hệ thống.

Khuyến khích các nhà nghiên cứu và kỹ sư ứng dụng các giải pháp trong luận văn để phát triển các hệ thống robot thông minh, đồng thời tiếp tục nghiên cứu các thuật toán nhận dạng khuôn mặt tiên tiến hơn nhằm đáp ứng nhu cầu thực tế ngày càng cao.

Trích đoạn nội dung tài liệu

Chương 1.1 Tổng quan về bài toán theo dõi và nhận dạng khuôn mặt người 1.1 Đặt vấn ñề Theo dõi và nhận dạng nhận dạng khuôn mặt người là một chủ ñề nghiên cứu của khoa học máy tính và công nghệ tri thức. Trong vài năm gần ñây, cùng với sự phát triển về khoa học và công nghệ, tương tác người máy (Man Machine Interaction - MMI) ñã trở thành một lĩnh vực nổi bật nhằm cung cấp cho con người khả năng phục vụ của máy móc. Điều này bắt nguồn từ khả năng máy móc có thể tương tác ñược với con người. Máy móc cần các kỹ năng ñể trao ñổi thông tin với con người và một trong những kỹ năng ñó là khả năng nhận dạng ñối tượng, biết ñược ñối tượng là ai và ñang làm gì? Thực tế có nhiều phương pháp ñể xác ñịnh một ñối tượng ñó là ai ? Nhưng phương pháp nhận dạng sinh trắc học lại thu hút nhiều nhà nghiên cứu tham gia bởi tính chính xác và duy nhất các yếu tố sinh trắc học của một con người.

Nhìn chung trong tất cả các phương pháp nhận dạng sinh trắc học như: nhận dạng dấu vân tay, nhận dạng chỉ tay, nhận dạng mống mắt và nhận dạng giọng nói, nhận dạng khuôn mặt ñóng một vai trò quan trọng so với các phương pháp nhận dạng khác. Ưu ñiểm của phương pháp nhận dạng khuôn mặt là mọi người không cần phải nhìn vào một máy quét mống mắt, hay ñặt bàn tay lên ñầu ñọc dấu vân tay, hoặc nói qua microphone. Do ñó, công nghệ nhận dạng khuôn mặt người ñược ứng dụng một cách rộng rãi cho các mục ñích như: robot vision có khả năng tương tác giúp việc cho con người, hỗ trợ an ninh cho các cửa hàng, công ty, ngân hàng,. Tuy nhiên không vì khả năng ứng dụng ña dạng của công nghệ nhận dạng khuôn mặt và kỹ thuật thị giác máy tính (computer vision), lĩnh vực này còn hấp dẫn các nhà nghiên cứu bởi nó không chỉ liên quan ñến kỹ thuật xử lý ảnh mà còn liên quan ñến trí tuệ nhân tạo và khoa học máy tính.

Trong những năm gần ñây, có rất nhiều nghiên cứu xây dựng thuật toán nhận HVTH: Nguyễn Hữu Tình Trang 1 Luận văn tốt nghiệp CBHDKH: Ts. Nguyễn Đức Thành dạng khuôn mặt ñể nâng cao hiệu suất, tuy nhiên dù ít hay nhiều những phương pháp này ñang vấp phải những thử thách về ñộ sáng, hướng nghiêng, kích thước ảnh, hay ảnh hưởng của tham số môi trường. Do ñó việc tìm hiểu kỹ lưỡng các phương pháp và giải thuật nhận dạng khuôn mặt, sau ñó xây dựng ứng dụng công nghệ này trong mobile robot là một ñiều cần thiết ñối với những người muốn nghiên cứu về lĩnh vực này.2 Bài toán nhận dạng và theo dõi khuôn mặt người Hệ thống nhận dạng và theo dõi mặt người là một hệ thống nhận vào là tín hiệu video ñược lấy trực tiếp từ camera. Qua xử lý tính toán hệ thống xác ñịnh ñược vị trí và kích thước của tất cả những khuôn mặt người hiện diện trong ảnh (nếu có), và xác ñịnh là người nào trong số những người hệ thống ñã ñược biết (qua quá trình học) hoặc là người lạ.

Sau khi xác ñịnh ñược vị trí và kích thước của khuôn mặt trong ảnh, bằng phương pháp ñại số ta xác ñịnh ñược tầm khoảng cách và hướng di chuyển của khuôn mặt số với vị trí ñặt camera. Một hệ thống nhận dạng mặt người ñược minh họa như trên hình 1.1, bao gồm bốn bước xử lý sau [1]: tiền xử lý (preprocessing images) , phát hiện khuôn mặt (face detection), rút trích ñặc trưng (feature extraction), và nhận dạng khuôn mặt (face recognition). Hình ảnh Phát hiện Tiền xử lý Video khuôn mặt Rút trích Nhận dạng Chỉ số khuôn ñặc trưng khuôn mặt mặt (Face ID) Hình 1.1: Các bước chính trong hệ thống nhận dạng khuôn mặt người. HVTH: Nguyễn Hữu Tình Trang 2 Luận văn tốt nghiệp CBHDKH: Ts.

Nguyễn Đức Thành Tiền xử lý: là quá trình tiền xử lý ñối với khuôn mặt nhằm nâng cao chất lượng ảnh, chuẩn hóa dữ liệu và kích thước hình ảnh ñầu vào. Phát hiện khuôn mặt: là kỹ thuật dò tìm và ñịnh vị những vị trí khuông mặt xuất hiện trong ảnh hoặc trên các frame video. Trích rút ñặc trưng: là kỹ thuật sử dụng các thuật toán ñể lấy ra những thông tin mang những ñặc ñiểm riêng biệt của các thành phần trên khuôn mặt. Nhận dạng khuôn mặt: những ñặc trưng sau khi ñược trích rút sẽ là dữ liệu ñầu vào cho một mô hình ñã ñược huấn luyện trước ñể phân loại khuôn mặt.3 Những khó khăn trong bài toán xác ñịnh mặt người Phát hiện và nhận dạng khuôn mặt trong ảnh có rất nhiều ứng dụng trong cuộc sống, bài toán này ñã ñược các nhà khoa học quan tâm và nghiên cứu trong hơn năm thập kỷ qua.

Tại thời ñiểm hiện nay các phương pháp nhận dạng khuôn mặt ñược sử dụng và thử nghiệm trong một số ñiều kiện ràng buộc nhất ñịnh. Việc xác ñịnh khuôn mặt người có những khó khăn nhất ñịnh như: Điều kiện chiếu sáng : Với những hình ảnh ñược chụp trong các ñiều kiện ánh sáng khác nhau minh họa như trên hình 1.2, ảnh hưởng rất lớn ñến chất lượng ảnh khuôn mặt và quá trình nhận dạng.2: Ảnh chụp trong ñiều kiện chiếu sáng khác nhau. HVTH: Nguyễn Hữu Tình Trang 3 Luận văn tốt nghiệp CBHDKH: Ts. Nguyễn Đức Thành Hướng chụp: Ảnh chụp khuôn mặt có thể thay ñổi rất nhiều bởi vì góc chụp giữa Camera và khuôn mặt.

Chẳng hạn như: chụp thẳng, chụp xiên, chụp từ trên xuống, chụp từ dưới lên, v. ñược minh họa như trên hình 1.3: Các hướng chụp hình khác nhau. Sự biểu cảm của khuôn mặt: Những biểu cảm khác nhau của khuôn mặt người ñược minh họa như trên hình 1.4, sẽ làm ảnh hưởng ñáng kể lên các thông số của khuôn mặt. HVTH: Nguyễn Hữu Tình Trang 4 Luận văn tốt nghiệp CBHDKH: Ts.

Nguyễn Đức Thành Hình 1.4: Sự biểu cảm khác nhau của khuôn mặt. Một số thành phần của khuôn mặt bị che khuất: Ảnh khuôn mặt có thể bị che khuất bởi các ñối tượng khác gây khó khăn cho quá trình nhận dạng như trong hình 1.5: Một số thành phần của khuôn mặt bị che khuất.4 Các ứng dụng liên quan ñến nhận dạng và theo dõi khuôn mặt người Hệ thống nhận dạng khuôn mặt ñã ñược nghiên cứu và ứng dụng từ những năm 1960 cho ñến nay. Hiện tại, công nghệ nhận dạng khuôn mặt ñã ñạt ñược một số thành tựu và phát triển ứng dụng trong các lĩnh vực như giám sát, công nghệ sinh trắc học, v.v… Trong quá trình nghiên cứu ta có thể tìm thấy một số ứng dụng liên quan ñến công nghệ nhận dạng khuôn mặt có thể kể như: Google Picasa: Đây là một phần mềm quản lý và xử lý ảnh ảnh miễn phí của Google. Một trong những tính năng mới nhất của Picasa là tính năng nhận dạng khuôn HVTH: Nguyễn Hữu Tình Trang 5 Luận văn tốt nghiệp CBHDKH: Ts.

Nguyễn Đức Thành mặt. Theo Baker (2006) Google Picasa sử dụng phương pháp ñược gọi là “Neven Vison” ñể nhận dạng khuôn mặt người. Phương pháp này có khả năng nhận dạng ñược các khuôn mặt người và các ñối tượng.6: Phần mềm nhận dạng khuôn mặt Google Picasa [28]. APPLE IPhoto: Phần mềm Apple Iphoto cũng có tính năng quản lý và xử lý hình ảnh tương tự như Google Picasa nhưng chạy trên hệ ñiều hành Mac OS (Macintosh Operating System).7: Phần mềm nhận dạng khuôn mặt Apple Iphoto [29].

HVTH: Nguyễn Hữu Tình Trang 6 Luận văn tốt nghiệp CBHDKH: Ts. Nguyễn Đức Thành FaceIt®Argus: Nhiều khi hình ảnh không thể ñược xác minh hay nhận ñạng chỉ bằng công nghệ nhận dạng nét mặt. Identix® ñã tạo ra một sản phẩm mới ñể giúp cho việc nhận diện chính xác hơn. Phần mềm FaceIt®Argus của họ sử dụng công nghệ sinh trắc học về da, dựa trên cấu trúc da của mỗi người.8: Phần mềm nhận dạng khuôn mặt FaceIt®Argus [30].

Ngoài ra công nghệ nhận dạng khuôn mặt còn ñược ứng dụng trong các thống như: máy chấm công sử dụng công nghệ nhận dạng khuôn mặt, theo dõi và quan sát, giao tiếp người máy, bảo mật dựa trên thông tin sinh trắc học, v.v… (a) Robot vision (b) Hệ thống theo dõi và quan sát Hình 1.9: Ứng dụng của công nghệ nhận dạng khuôn mặt [26]. HVTH: Nguyễn Hữu Tình Trang 7 Luận văn tốt nghiệp CBHDKH: Ts. Nguyễn Đức Thành 1.2 Mục tiêu và phạm vi ñề tài 1.1 Mục tiêu và nhiệm vụ nghiên cứu Kỹ thuật xử lý ảnh nói chung và lĩnh vực thị giác máy tính nói riêng ñược nghiên cứu và ứng dụng mạnh mẽ trong nhiều lĩnh vực, trong ñó lĩnh vực nghiên cứu ứng dụng Robot vision có khả năng tương tác và phục vụ nhu cầu con người cũng ñược nhiều nhóm nghiên cứu trong và ngoài nước quan tâm. Chính vì vậy, mục ñích luận văn này là xây dựng một hệ thống xử lý ảnh trên mobile robot, ứng dụng vào lĩnh vực ñể phát hiện, nhận dạng và theo dõi khuôn mặt người quen ñang chuyển ñộng với chuỗi dữ liệu thu nhận ñược từ Webcam.

Cụ thể nhiệm vụ chính trong luận văn này như sau: - Tìm hiểu, phân tích thuật toán phát hiện khuôn mặt và nhận dạng khuôn mặt riêng. - Xây dựng giải thuật và chương trình phát hiện, theo dõi và nhận dạng khuôn mặt riêng dựa trên thư viện mã nguồn mở EmguCV và ngôn ngữ lập trình C#. - Thiết kế và chế tạo mô hình mobile robot thực nghiệm có khả năng phát hiện, nhận dạng và bám theo khuôn mặt người.2 Phạm vi nghiên cứu của ñề tài Từ mục tiêu và nhiệm vụ ñặt ra, phạm vi nghiên cứu của ñề tài là xây dựng “ứng dụng xử lý ảnh trong robot dùng phát giác chuyển ñộng và nhận dạng ñối tượng người quen”. Phạm vi nghiên cứu cụ thể như sau: - Trong ñề tài này tác giả ñề xuất sử dụng giải thuật phát hiện khuôn mặt AdaBoost (Adaptive Boost) dựa trên các ñặc trưng Haar-like, kết hợp thuật toán nhận dạng khuôn mặt riêng (Eigenfaces) dùng phương pháp phân tích thành phần chính (Principal Component Analysis - PCA) ñể phát hiện và nhận dạng khuôn mặt người quen.

HVTH: Nguyễn Hữu Tình Trang 8 Luận văn tốt nghiệp CBHDKH: Ts. Nguyễn Đức Thành - Chương trình ñiều khiển và giao diện hiển thị của ứng dụng ñược xây dựng dựa trên thư viện mã nguồn mở EmguCV và ngôn ngữ lập trình C#.Net trên nền Visual Studio 2010. - Kết quả thực nghiệm của ñề tài ñược thực hiện dựa trên mô hình chế tạo là mobile robot, ñược trang bị Webcam (Webcam Logitech C600, ñộ phân giải 1600 × 1200, tốc ñộ 30 Frame/giây) kết nối với Laptop (DELL, Core2 Duo CPU @ 2.00GB of RAM) qua cổng USB 2.