Luận văn thạc sĩ HCMUTE: Phát hiện và cảnh báo buồn ngủ của tài xế lái xe qua thị giác máy tính

Luận văn thạc sĩ HCMUTE nghiên cứu phát hiện và cảnh báo buồn ngủ của tài xế bằng công nghệ thị giác máy tính, nâng cao an toàn giao thông.

• Tác giả: Trần Quang
• Người hướng dẫn: TS. Lê Mỹ Hà
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Kỹ Thuật Điều Khiển Và Tự Động Hóa
• Đề tài: Phát Hiện Và Cảnh Báo Buồn Ngủ Của Tài Xế Lái Xe Dùng Thị Giác Máy Tính
• Loại tài liệu: luận văn
• Năm xuất bản: 2019
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Tính cấp thiết của đề tài
• 1.2. Mục tiêu đề tài
• 1.2.1. Mục tiêu của đề tài
• 1.2.2. Nhiệm vụ đề tài
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Tổng quan về xử lý ảnh
• 2.2. Giới thiệu về xử lý ảnh
• 2.3. Các thành phần cơ bản của hệ thống ảnh
• 2.4. Các vấn đề cơ bản trong xử lý ảnh
• 2.5. Tổng quan về bài toán nhận dạng mặt người
• 2.6. Thách thức trong nhận dạng mặt người
• 2.7. Các cách tiếp cận cho bài toán nhận dạng mặt người
• 2.8. Phương pháp mô tả đặc trưng Histogram of Oriented Gradient (HOG). Support vector machine (SVM)
• 2.9. Phân tích điểm đặc trưng trên khuôn mặt người - Facial Landmark
• 2.10. Tỉ lệ nhắm mở mắt – Eyes Aspect Ratio (EAR)
• 2.11. Mạng neural nhân tạo
• 2.11.1. Khái niệm chung
• 2.11.2. Mạng nơron và mạng nơron lan truyền ngược
• 2.11.3. Một số kiểu mạng nơron
• 2.11.4. Các phương pháp huấn luyện mạng thần kinh nhân tạo
• 2.12. Ngôn ngữ lập trình Python. Thư viện OpenCV và dlib
• 2.12.1. Thư viện OpenCV
• 2.12.2. Thư viện dlib
• 3. CHƯƠNG 3: GIẢI THUẬT
• 3.1. Sơ đồ khối hệ thống
• 3.2. Sơ đồ tiến trình hệ thống phát hiện dấu hiệu buồn ngủ
• 3.3. Lưu đồ chương trình phát hiện dấu hiệu buồn ngủ
• 3.4. Lưu đồ chương trình trên Arduino
• 4. CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM
• 4.1. Xây dựng phần cứng
• 4.1.1. Sơ đồ nối dây phần cứng
• 4.1.2. Board xử lý trung tâm
• 4.1.3. Board điều khiển – Board Arduino Nano
• 4.2. Kết quả thực nghiệm
• 4.2.1. Mô hình phần cứng thiết bị
• 4.2.2. Thu thập dữ liệu huấn luyện
• 4.2.3. Cấu trúc mạng và tối ưu các thông số
• 4.2.4. Kết quả huấn luyện mạng
• 4.2.5. Kết quả thực nghiệm trên hệ thống
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan

Tình trạng buồn ngủ của tài xế là một trong những nguyên nhân chính gây ra tai nạn giao thông. Theo thống kê, khoảng 10-15% tai nạn xe có liên quan đến thiếu ngủ. Việc phát hiện buồn ngủ kịp thời có thể giảm thiểu tai nạn. Phát hiện buồn ngủ thông qua thị giác máy tính là một giải pháp tiềm năng. Công nghệ này sử dụng các thuật toán machine learning để phân tích hình ảnh và nhận diện trạng thái buồn ngủ của tài xế. Hệ thống này có thể được tích hợp vào các phương tiện giao thông như xe ô tô, xe tải, và xe khách, nhằm nâng cao an toàn giao thông.

1.1. Tính cấp thiết của đề tài

Tai nạn giao thông do tài xế buồn ngủ đã trở thành vấn đề nghiêm trọng. Các nghiên cứu cho thấy, tài xế lái xe liên tục trong thời gian dài dễ rơi vào trạng thái buồn ngủ. Việc phát hiện sớm dấu hiệu buồn ngủ có thể giúp giảm thiểu tai nạn. Hệ thống giám sát sử dụng công nghệ nhận diện có thể theo dõi trạng thái của tài xế và cảnh báo kịp thời. Điều này không chỉ giúp bảo vệ tính mạng của tài xế mà còn bảo vệ an toàn cho những người tham gia giao thông khác.

II. Cơ sở lý thuyết

Công nghệ thị giác máy tính và machine learning là hai yếu tố chính trong việc phát hiện buồn ngủ của tài xế. Hệ thống sử dụng camera để thu thập hình ảnh khuôn mặt và phân tích các đặc điểm như tỉ lệ nhắm mở mắt (EAR). Các thuật toán như HOG và SVM được áp dụng để nhận diện khuôn mặt và phát hiện trạng thái buồn ngủ. Việc sử dụng mạng nơron nhân tạo giúp cải thiện độ chính xác trong việc phát hiện dấu hiệu buồn ngủ. Hệ thống này có thể hoạt động trong nhiều điều kiện ánh sáng khác nhau, từ đó nâng cao hiệu quả trong việc cảnh báo tài xế.

2.1. Các phương pháp phát hiện

Có nhiều phương pháp để phát hiện trạng thái buồn ngủ của tài xế. Một trong những phương pháp phổ biến là theo dõi biểu hiện khuôn mặt. Các nghiên cứu đã chỉ ra rằng, việc phân tích thời gian nhắm mắt và số lần chớp mắt có thể giúp xác định trạng thái buồn ngủ. Hệ thống cũng có thể sử dụng các thông số sinh lý như nhịp tim và huyết áp để đánh giá tình trạng của tài xế. Việc kết hợp nhiều phương pháp sẽ giúp tăng cường độ chính xác và độ tin cậy của hệ thống.

III. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy hệ thống phát hiện buồn ngủ hoạt động hiệu quả trong nhiều điều kiện khác nhau. Thiết bị sử dụng Raspberry Pi và Arduino để xử lý dữ liệu và đưa ra cảnh báo. Hệ thống đã được thử nghiệm với nhiều tài xế và cho thấy khả năng phát hiện dấu hiệu buồn ngủ chính xác. Các cảnh báo được đưa ra kịp thời, giúp tài xế tỉnh táo hơn trong quá trình lái xe. Điều này chứng tỏ rằng việc ứng dụng công nghệ cảm biến và thị giác máy tính trong việc phát hiện buồn ngủ là một giải pháp khả thi và hiệu quả.

3.1. Phân tích kết quả

Kết quả thực nghiệm cho thấy hệ thống có thể phát hiện trạng thái buồn ngủ với độ chính xác cao. Các chỉ số như tỉ lệ nhắm mở mắt và thời gian nhắm mắt được theo dõi liên tục. Hệ thống đã phát hiện được nhiều trường hợp buồn ngủ trong thời gian thực, từ đó đưa ra cảnh báo kịp thời. Điều này không chỉ giúp nâng cao an toàn giao thông mà còn tạo ra một môi trường lái xe an toàn hơn cho tất cả mọi người.

IV. Kết luận và hướng phát triển

Việc phát hiện buồn ngủ của tài xế bằng thị giác máy tính là một giải pháp cần thiết trong bối cảnh gia tăng tai nạn giao thông. Hệ thống không chỉ giúp cảnh báo kịp thời mà còn có thể được phát triển thêm để tích hợp vào các phương tiện giao thông hiện đại. Hướng phát triển tiếp theo có thể bao gồm việc cải thiện độ chính xác của hệ thống và mở rộng khả năng hoạt động trong các điều kiện khác nhau. Việc nghiên cứu và phát triển thêm các công nghệ mới sẽ giúp nâng cao hiệu quả của hệ thống trong việc bảo vệ an toàn cho tài xế và hành khách.

4.1. Đề xuất nghiên cứu tiếp theo

Các nghiên cứu tiếp theo nên tập trung vào việc cải thiện khả năng nhận diện trong các điều kiện ánh sáng yếu và phát triển các thuật toán mới để nâng cao độ chính xác. Ngoài ra, việc tích hợp hệ thống vào các phương tiện giao thông tự động cũng là một hướng đi tiềm năng. Điều này không chỉ giúp giảm thiểu tai nạn mà còn nâng cao trải nghiệm lái xe cho người dùng.

Nội dung chính

Tổng quan nghiên cứu

Tai nạn giao thông là một trong những vấn đề nghiêm trọng tại Việt Nam, với gần 5.000 vụ tai nạn trong quý I năm 2018, làm chết hơn 8.000 người và gây thương tích cho hàng chục nghìn người khác. Một trong những nguyên nhân hàng đầu dẫn đến tai nạn là tình trạng buồn ngủ, ngủ gật của tài xế, đặc biệt là các lái xe đường dài như xe khách, xe tải và xe container. Theo ước tính, khoảng 10-15% các vụ tai nạn giao thông có liên quan đến thiếu ngủ, với tỷ lệ tài xế buồn ngủ khi lái xe trung bình lên đến 17% tại một số quốc gia châu Âu. Tình trạng này không chỉ làm giảm khả năng phản xạ và quan sát của tài xế mà còn gây ra những hậu quả thảm khốc, như vụ tai nạn xe rước dâu tại Quảng Nam khiến 13 người tử vong do tài xế lái xe liên tục 12 giờ đồng hồ.

Mục tiêu nghiên cứu là thiết kế và chế tạo một thiết bị phát hiện và cảnh báo buồn ngủ cho tài xế dựa trên công nghệ thị giác máy tính và mạng nơ-ron học sâu, nhằm giảm thiểu tai nạn giao thông do ngủ gật. Nghiên cứu tập trung vào việc ứng dụng xử lý hình ảnh để nhận diện khuôn mặt, trích xuất vùng mắt và tính toán tỉ lệ nhắm mở mắt (EAR) trong điều kiện ánh sáng ban ngày. Thiết bị được phát triển trên nền tảng máy tính nhúng Raspberry Pi 3 Model B+ và Arduino, có khả năng cảnh báo bằng giọng nói, âm thanh và đèn báo khi phát hiện dấu hiệu buồn ngủ.

Phạm vi nghiên cứu bao gồm thu thập dữ liệu nhắm mở mắt, huấn luyện mạng nơ-ron học sâu để phân loại trạng thái buồn ngủ, và thử nghiệm thiết bị trong môi trường thực tế với khoảng cách camera dưới 100cm. Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao an toàn giao thông, giảm thiểu tai nạn do tài xế buồn ngủ, đồng thời góp phần phát triển các giải pháp công nghệ ứng dụng trí tuệ nhân tạo trong lĩnh vực giao thông vận tải.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình sau:

• Xử lý ảnh (Image Processing): Quá trình biến đổi ảnh thu nhận từ camera thành dữ liệu số để phân tích, bao gồm các bước tiền xử lý, phân đoạn, trích chọn đặc trưng và nhận dạng. Các kỹ thuật như Histogram of Oriented Gradient (HOG) được sử dụng để trích xuất đặc trưng hình ảnh, giúp phát hiện khuôn mặt và các điểm đặc trưng trên khuôn mặt.

• Nhận dạng khuôn mặt (Face Recognition): Sử dụng các thuật toán phát hiện mặt người dựa trên đặc trưng cục bộ, như HOG kết hợp với bộ phân loại Support Vector Machine (SVM). Phương pháp này cho phép xác định 68 điểm đặc trưng trên khuôn mặt, từ đó trích xuất vùng mắt để tính toán tỉ lệ nhắm mở mắt (Eyes Aspect Ratio - EAR).

• Mạng nơ-ron học sâu (Deep Neural Networks): Mạng nơ-ron nhân tạo được huấn luyện trên dữ liệu nhắm mở mắt để phân loại trạng thái buồn ngủ của tài xế. Mạng này có khả năng học và tổng quát hóa các đặc trưng phức tạp từ dữ liệu hình ảnh, giúp phát hiện dấu hiệu buồn ngủ trong thời gian thực.

• Tỉ lệ nhắm mở mắt (EAR): Được tính dựa trên khoảng cách giữa các điểm đặc trưng quanh mắt, EAR giảm đáng kể khi mắt nhắm lại, là chỉ số quan trọng để phát hiện trạng thái buồn ngủ.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Dữ liệu hình ảnh khuôn mặt và vùng mắt của tài xế được thu thập qua camera gắn trên thiết bị, trong điều kiện ánh sáng ban ngày và khoảng cách dưới 100cm. Bộ dữ liệu gồm các chuỗi hình ảnh với các trạng thái mắt mở, nhắm và buồn ngủ.

• Phương pháp phân tích: Sử dụng thư viện OpenCV và dlib để phát hiện khuôn mặt và trích xuất 68 điểm đặc trưng. Tính toán EAR theo công thức xác định khoảng cách giữa các điểm mắt. Dữ liệu EAR được sử dụng để huấn luyện mạng nơ-ron học sâu nhằm phân loại trạng thái buồn ngủ.

• Thiết kế phần cứng: Thiết bị được xây dựng trên nền tảng Raspberry Pi 3 Model B+ làm bộ xử lý trung tâm, kết hợp với board Arduino Nano để điều khiển các thiết bị cảnh báo như loa, đèn LED và còi báo động.

• Timeline nghiên cứu: Quá trình nghiên cứu kéo dài từ tháng 10/2017 đến tháng 10/2019, bao gồm các giai đoạn: nghiên cứu lý thuyết và công nghệ, thiết kế phần cứng và phần mềm, thu thập và xử lý dữ liệu, huấn luyện mạng nơ-ron, thử nghiệm và hiệu chỉnh thiết bị.

• Cỡ mẫu và chọn mẫu: Dữ liệu thu thập từ nhiều tài xế trong các điều kiện lái xe khác nhau, đảm bảo tính đa dạng và đại diện cho các trạng thái buồn ngủ khác nhau. Phương pháp chọn mẫu ngẫu nhiên có kiểm soát nhằm đảm bảo chất lượng dữ liệu huấn luyện.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phát hiện khuôn mặt và trích xuất điểm đặc trưng: Hệ thống sử dụng HOG kết hợp SVM đã phát hiện chính xác khuôn mặt và 68 điểm đặc trưng trên khuôn mặt trong hơn 95% các khung hình thử nghiệm, ngay cả khi tài xế quay đầu nghiêng dưới 40 độ.

2. Độ chính xác của tỉ lệ nhắm mở mắt (EAR): EAR được tính toán liên tục trong chuỗi hình ảnh, cho thấy sự giảm rõ rệt xuống gần 0 khi mắt nhắm, với giá trị trung bình EAR khi mắt mở khoảng 0.25 và khi nhắm gần 0.05, giúp phân biệt trạng thái mắt mở và nhắm với độ chính xác trên 90%.

3. Hiệu quả mạng nơ-ron học sâu trong phát hiện buồn ngủ: Mạng nơ-ron được huấn luyện trên dữ liệu EAR đạt độ chính xác phân loại trạng thái buồn ngủ lên đến 92%, vượt trội so với các phương pháp truyền thống như SVM hoặc k-NN.

4. Tính ổn định và khả năng cảnh báo trong thực tế: Thiết bị hoạt động ổn định trong nhiều điều kiện ánh sáng ban ngày, cảnh báo chính xác dấu hiệu buồn ngủ với độ trễ dưới 1 giây, giúp tài xế kịp thời nhận biết và xử lý.

Thảo luận kết quả

Kết quả cho thấy việc ứng dụng công nghệ xử lý ảnh và mạng nơ-ron học sâu là giải pháp hiệu quả để phát hiện trạng thái buồn ngủ của tài xế. Việc sử dụng EAR làm chỉ số chính giúp giảm thiểu sai số do các yếu tố ngoại cảnh như ánh sáng và góc nhìn. So với các nghiên cứu trước đây chỉ sử dụng phần mềm trên điện thoại hoặc máy tính bảng, thiết bị này có ưu điểm về phần cứng chuyên dụng, khả năng hoạt động độc lập và cảnh báo đa dạng (âm thanh, giọng nói, đèn báo).

So sánh với các hệ thống chống ngủ gật trên xe hơi của các hãng lớn như Hyundai hay Audi, thiết bị nghiên cứu có thể được xem là phiên bản thu nhỏ, dễ dàng lắp đặt trên nhiều loại phương tiện khác nhau mà không cần can thiệp sâu vào phần cứng xe. Dữ liệu có thể được trình bày qua biểu đồ EAR theo thời gian, biểu đồ độ chính xác phân loại trạng thái buồn ngủ, và bảng so sánh hiệu suất giữa các phương pháp phân loại.

Tuy nhiên, thiết bị còn hạn chế trong điều kiện ánh sáng yếu hoặc quá chói, và chưa được thử nghiệm rộng rãi trong các điều kiện lái xe ban đêm hoặc thời tiết xấu. Đây là điểm cần cải tiến trong các nghiên cứu tiếp theo.

Đề xuất và khuyến nghị

1. Mở rộng phạm vi điều kiện ánh sáng: Nghiên cứu và tích hợp thêm cảm biến hồng ngoại hoặc camera đa phổ để thiết bị hoạt động hiệu quả trong điều kiện ánh sáng yếu hoặc ban đêm, nâng cao độ chính xác phát hiện buồn ngủ.

2. Tối ưu thuật toán học sâu: Cải tiến cấu trúc mạng nơ-ron, sử dụng các mô hình học sâu tiên tiến hơn như CNN hoặc LSTM để tăng khả năng nhận diện các dấu hiệu buồn ngủ phức tạp và giảm thiểu sai số.

3. Phát triển hệ thống cảnh báo đa kênh: Kết hợp thêm các hình thức cảnh báo như rung tay lái, thông báo qua điện thoại hoặc gửi tin nhắn đến trung tâm điều hành để tăng hiệu quả cảnh báo và hỗ trợ quản lý đội xe.

4. Thử nghiệm thực tế và thương mại hóa: Tiến hành thử nghiệm thiết bị trên các tuyến đường dài, đa dạng điều kiện giao thông và thời tiết, đồng thời phối hợp với các doanh nghiệp vận tải để triển khai ứng dụng rộng rãi, góp phần giảm thiểu tai nạn giao thông do buồn ngủ.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và sinh viên ngành kỹ thuật điều khiển, tự động hóa và thị giác máy tính: Luận văn cung cấp kiến thức chuyên sâu về xử lý ảnh, nhận dạng khuôn mặt và ứng dụng mạng nơ-ron học sâu trong phát hiện trạng thái buồn ngủ.

2. Doanh nghiệp sản xuất thiết bị an toàn giao thông: Thông tin về thiết kế phần cứng, phần mềm và thuật toán cảnh báo có thể hỗ trợ phát triển các sản phẩm cảnh báo buồn ngủ cho tài xế.

3. Cơ quan quản lý giao thông và an toàn đường bộ: Nghiên cứu giúp hiểu rõ nguyên nhân và giải pháp công nghệ để giảm thiểu tai nạn do tài xế buồn ngủ, từ đó xây dựng chính sách và quy định phù hợp.

4. Các công ty vận tải và lái xe đường dài: Thiết bị cảnh báo buồn ngủ có thể được áp dụng để nâng cao an toàn lái xe, giảm thiểu rủi ro tai nạn, đồng thời cải thiện hiệu quả quản lý đội xe.

Câu hỏi thường gặp

1. Thiết bị phát hiện buồn ngủ dựa trên công nghệ nào?
   Thiết bị sử dụng công nghệ xử lý hình ảnh để nhận diện khuôn mặt, trích xuất vùng mắt và tính toán tỉ lệ nhắm mở mắt (EAR), kết hợp mạng nơ-ron học sâu để phân loại trạng thái buồn ngủ của tài xế.

2. Độ chính xác của thiết bị trong việc phát hiện buồn ngủ là bao nhiêu?
   Mạng nơ-ron học sâu được huấn luyện đạt độ chính xác phân loại trạng thái buồn ngủ lên đến 92%, giúp cảnh báo kịp thời và chính xác trong nhiều điều kiện lái xe.

3. Thiết bị có hoạt động tốt trong điều kiện ánh sáng yếu không?
   Hiện tại thiết bị hoạt động hiệu quả trong điều kiện ánh sáng ban ngày và ánh sáng không quá chói hoặc tối. Việc mở rộng hoạt động trong điều kiện ánh sáng yếu là hướng phát triển tiếp theo.

4. Thiết bị có thể áp dụng cho những loại xe nào?
   Thiết bị được thiết kế để sử dụng trên nhiều loại phương tiện giao thông như ô tô, xe tải, xe khách và xe container, với khoảng cách camera dưới 100cm để đảm bảo nhận dạng chính xác.

5. Làm thế nào thiết bị cảnh báo tài xế khi phát hiện buồn ngủ?
   Khi phát hiện dấu hiệu buồn ngủ, thiết bị sẽ cảnh báo bằng giọng nói, âm thanh còi báo và đèn LED, giúp tài xế nhận biết và kịp thời xử lý để tránh tai nạn.

Kết luận

• Thiết bị phát hiện và cảnh báo buồn ngủ cho tài xế sử dụng thị giác máy tính và mạng nơ-ron học sâu đã được nghiên cứu, thiết kế và thử nghiệm thành công với độ chính xác cao.
• Ứng dụng công nghệ xử lý ảnh HOG, SVM và trích xuất 68 điểm đặc trưng trên khuôn mặt giúp nhận diện trạng thái mắt mở, nhắm hiệu quả.
• Mạng nơ-ron học sâu được huấn luyện trên dữ liệu EAR cho phép phân loại trạng thái buồn ngủ với độ chính xác trên 90%.
• Thiết bị hoạt động ổn định trong điều kiện ánh sáng ban ngày, cảnh báo kịp thời bằng giọng nói, âm thanh và đèn báo.
• Hướng phát triển tiếp theo bao gồm mở rộng điều kiện ánh sáng, tối ưu thuật toán và thử nghiệm thực tế để ứng dụng rộng rãi trong ngành giao thông vận tải.

Để nâng cao an toàn giao thông và giảm thiểu tai nạn do tài xế buồn ngủ, các nhà nghiên cứu, doanh nghiệp và cơ quan quản lý nên phối hợp triển khai và phát triển các giải pháp công nghệ tương tự. Hãy bắt đầu áp dụng công nghệ thị giác máy tính và mạng nơ-ron học sâu để bảo vệ tính mạng và tài sản trên đường phố ngay hôm nay!

Trích đoạn nội dung tài liệu

đặt vấn đề, mục tiêu, giới hạn và nội dung đề tài, phương pháp nghiên cứu. Chương II: Cơ sở lý thuyết: Chương này trình bày về lý thuyết phương pháp nhận dạng mặt người dùng HOG và SVM, xác định 68 điểm đặc trưng trên khuôn mặt người, trích xuất vùng mắt và tính toán độ nhắm mở mắt, lý thuyết mạng nơron học sâu và ứng dụng trong bài toán phân loại. Chương III: Giải thuật: Chương này trình bày về các giải thuật, lưu đồ huấn luyện, cấu trúc mạng noron, phát hiện dấu hiệu buồn ngủ với mạng đã được huấn luyện, sơ đồ khối và lưu đồ phần mềm trên Raspberry Pi và Arduino. 7 Luan van Chương V: Kết quả thực nghiệm: Chương này trình bày về thiết kế phần cứng, lựa chọn board mạch cho thiết bị và kết quả đạt được sau khi thực hiện.

Đánh giá, nhận xét những gì đã đạt và chưa đạt so với mục tiêu đề ra. Chương VI: Kết luận và hướng phát triển: Kết luận chung về ưu điểm và giới hạn của đề tài. Đồng thời cũng đưa ra những đóng góp và đề xuất, định hướng phát triển của đề tài. 8 Luan van Chương 2: CƠ SỞ LÝ THUYẾT 2.

Tổng quan về xử lý ảnh 2. Giới thiệu về xử lý ảnh Xử lý ảnh (XLA) là đối tượng nghiên cứu của lĩnh vực thị giác máy, là quá trình biến đổi từ một ảnh ban đầu sang một ảnh mới với các đặc tính và tuân theo ý muốn của người sử dụng. Xử lý ảnh có thể gồm quá trình phân tích, phân lớp các đối tượng, làm tăng chất lượng, phân đoạn và tách cạnh, gán nhãn cho vùng hay quá trình biên dịch các thông tin hình ảnh của ảnh. Trước đây, hình ảnh được thu từ camera là các ảnh tương tự.

Gần đây, với sự phát triển không ngừng của công nghệ, ảnh màu hoặc ảnh đen trắng được lấy từ camera, sau đó được chuyển trực tiếp qua ảnh số để dễ dàng cho các bước xử lý tiếp theo. Dưới đây sẽ mô tả về các bước trong xử lý ảnh. NHẬN THU NHẬN TIỀN XỬ LÝ PHÂN ĐOẠN BIỂU DIỄN VÀ DẠNG VÀ ẢNH ẢNH ẢNH MÔ TẢ NỘI SUY CƠ SỞ TRI THỨC Hình 2.1 Các bước cơ bản trong xử lý ảnh Thu nhận ảnh: Ảnh được nhận qua camera màu hoặc trắng đen. Thông thường ảnh được nhận qua camera, video, máy scan.

Mục đích: biến đổi thông tin hình ảnh về các cấu trúc được lưu trữ trong máy tính, có thể hiển thị ra các thiết bị ngoại vi như là máy in, màn hình… Gồm hai tiến trình:  Biến đổi năng lượng quang học thành năng lượng điện.  Tổng hợp năng lượng điện thành ảnh hoặc ma trận số. 9 Luan van Tiền xử lý: Sau bộ thu nhận ảnh, hình ảnh có thể có độ tương phản thấp nên cần đưa vào bộ tiền xử lý để nâng cao chất lượng hình ảnh. Bộ tiền xử lý có chức năng lọc nhiễu, nâng độ tương phản để làm cho ảnh rõ hơn và sắc nét hơn.

Mục đích:  Điều chỉnh độ chiếu sáng để khắc phục hậu quả của việc chiếu sáng không đều.  Giảm nhỏ thành phần nhiễu của ảnh tức là các đối tượng xuất hiện ngoài ý muốn.  Hiệu chỉnh giá trị độ sáng giữa nền và đối tượng.  Chuẩn hoá độ lớn, màu, dạng của ảnh.

 Điều chỉnh bộ lọc để khuyếch đại và nén các tần số. Phân đoạn ảnh: Là quá trình phân chia nội dung các đối tượng cần khảo sát ra khỏi ảnh, phân chia các đối tượng tiếp giáp nhau, phân tách các đối tượng riêng biệt thành các đối tượng con. Biểu diễn ảnh và mô tả ảnh: Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận. Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính.

Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng (Feature Selection) gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm vi ảnh nhận được. Nhận dạng và nội suy ảnh: Nhận dạng ảnh là quá trình xác định ảnh. Bằng cách so sánh mẫu với mẫu chuẩn đã được lưu trữ từ trước. Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng.

Các mô hình toán học về ảnh được phân loại với hai dạng cơ bản:  Nhận dạng theo tham số  Nhận dạng theo cấu trúc. 10 Luan van Cơ sở tri thức: Ảnh là một đối tượng khá phức tạp về đường nét, độ sáng tối, dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu. Trong nhiều khâu xử lý và phân tích ảnh ngoài việc đơn giản hóa các phương pháp toán học đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo cách của con người. Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo các phương pháp trí tuệ con người.

Vì vậy, ở đây các cơ sở tri thức được phát huy. Các thành phần cơ bản của hệ thống ảnh BỘ NHỚ BỘ PHẬN THU PHẦN CỨNG XỬ LÝ MÁY TÍNH NHẬN ẢNH ẢNH CHUYÊN DỤNG BỘ PHẬN HIỂN THỊ Hình 2.2 Các thành phần cơ bản của hệ thống xử lý ảnh Bộ phận thu nhận ảnh: Máy quay (Camera), máy quét (scaners) chuyên dụng, các bộ cảm biến ảnh. Phần cứng xử lý ảnh chuyên dụng: Bộ số hóa (chuyển đổi ảnh truyền thống từ bên ngoài thành dạng dữ liệu số mà máy tính có thể hiểu được). Phần cứng thực hiện các thao tác cơ bản để nâng cao tốc độ xử lý ảnh.

Máy tính: Thiết bị thông thường hoặc chuyên dụng. Bộ nhớ: Bắt buộc phải có. Lưu trữ tạm thời để phục vụ và sử dụng cho quá trình xử lý hiện tại. Lưu trữ vĩnh viễn là lưu trữ dữ diệu, truy cập không thường xuyên.

Bộ phận hiển thị: Màn hình máy tính. Các vấn đề cơ bản trong xử lý ảnh Điểm ảnh (Pixel): là một phần tử của ảnh số tại toạ độ (x, y) với độ xám hoặc màu nhất định. Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao cho mắt người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số gần như ảnh thật. Mỗi phần tử trong ma trận được gọi là một phần tử ảnh.

Pixel có kích thước vào khoảng 0,26×0,35 mm, pixel là đơn vị cơ bản nhất để tạo nên bức ảnh kĩ thuật số. Độ phân giải của ảnh: là mật độ điểm ảnh được ấn định trên một ảnh số được hiện thị. Khoảng cách giữa các điểm ảnh sao cho mắt người vẫn thấy được sự liên tục của ảnh. Độ phân giải được phân bố theo trục x và y trong không gian hai chiều.

Với cùng một ảnh, độ phân giải càng cao thì ảnh càng chứa nhiều thông tin và sắc nét hơn. Ví dụ như hình bên dưới: Hình 2.3 Độ phân giải của ảnh Hình trên cùng có độ phân giải là 480p cho ra chất lượng ảnh mờ và không sắc nét bằng hình có độ phân giải là 720p và 1080p. Với độ phân giải càng cao sẽ cho ra những tấm ảnh rõ nét. Mức xám của ảnh: là kết quả của sự biến đổi tương ứng 1 giá trị độ sáng của 1 điểm ảnh với 1 giá trị nguyên dương.

Thông thường nó xác định trong [0, 255] tuỳ thuộc vào giá trị mà mỗi điểm ảnh được biểu diễn. Các thang giá trị mức 12 Luan van xám thông thường: 16, 32, 64, 128, 256. Mức 256 là mức thông dụng vì kỹ thuật máy tính dùng 1-byte (8 bit) để biểu diễn mức xám. Mức xám dùng 1-byte biểu diễn: 28 =256 mức, tức là từ 0 đến 255.4 Sự khác nhau giữa ảnh màu và ảnh xám Biến đổi ảnh: trong xử lý ảnh do số điểm ảnh lớn hơn các tính toán nhiều (độ phức tạp tính toán cao) đòi hỏi dung lượng bộ nhớ lớn, thời gian tính toán lâu.

Các phương pháp khoa học kinh điển áp dụng cho xử lý ảnh hầu như khó khả thi. Người ta sử dụng các phép toán tương đương hoặc biến đổi sang miền xử lý khác để dể tính toán, sau khi đã xử lý dể dàng, dùng biến đổi ngược để đưa về miền xác định ban đầu, các biến đổi thường gặp trong xử lý ảnh bao gồm:  Biến đổi Fourier, Cosin, Sin.  Biến đổi (mô tả) ảnh bằng tích chập, tích Kronecker.  Các biển đổi khác như KL (Karhumen Loeve), Hadamard.

Các phân loại ảnh:  Ảnh nhị phân : Giá trị xám của tất cả các điểm ảnh chỉ nhận giá trị 1 hoặc 0 như vậy mỗi điểm ảnh trong ảnh nhị phân được biểu diễn bởi 1 bit.  Ảnh xám: Giá trị xám nằm trong [0, 255] như vậy mỗi điểm ảnh trong ảnh nhị phân được biểu diễn bởi 1 byte. 13 Luan van  Ảnh màu:  Hệ màu RGB: Một pixel được biểu diễn bằng 3 giá trị (R, G, B) trong đó R, G, B là một giá trị xám và được biểu biểu diễn bằng 1 byte. Khi đó ta có một ảnh 24 bits.

P(x, y) = (R, G, B)  Hệ màu CMY: là phần bù của hệ màu RGB (C, M, Y) = (1, 1, 1) – (R, G, B) Hay C+R=M+G=Y+B=1 Hệ màu này thường được dùng trong máy in.  Hệ màu CMYK: trong đó K là độ đậm nhạt của màu K= min(C, M, Y) P(x, y) = (C-K, M-K, V-K, K). Tổng quan về bài toán nhận dạng mặt người 2. Nhận dạng mặt người (Face recognition) là một chủ đề nghiên cứu thuộc lĩnh vực thị giác máy tính (Computer Vision) đã được phát triển từ đầu những năm 90 của thế kỷ trước [1].

Cho tới hiện nay, đây vẫn là một chủ đề nghiên cứu mở nhận được sự quan tâm của nhiều nhà nghiên cứu từ nhiều lĩnh vực nghiên cứu khác nhau như nhận dạng mẫu (Pattern Recognition), học máy (Machine Learning), thống kê (Statistics), sinh trắc học (Biometrics). Điều này là do có rất nhiều ứng dụng thực tế cần tới một hệ thống nhận dạng mặt, từ các hệ thống quản lý đăng nhập đơn giản cho tới các ứng dụng giám sát tại các địa điểm công cộng (public areas surveillance) hoặc quản lý dân số (population management) và pháp lý (forsensics). Bên cạnh đó, so với các hệ thống nhận dạng dựa trên các đặc điểm sinh trắc học khác của con người, như nhận dạng mống mắt và vân tay (fingerprint and iris recoginitions), dáng đi (gait recognition), nhận dạng mặt có nhiều ưu điểm: + Một hệ thống nhận dạng mặt không đòi hỏi có sự tương tác trực tiếp giữa đối tượng được nhận dạng và hệ thống.