Thiết kế hệ thống điểm danh nhận diện khuôn mặt, QR, Barcode trên Pi 4

Tham khảo đồ án hệ thống điểm danh khuôn mặt, QR code và mã vạch trên Raspberry Pi 4. Hướng dẫn thiết kế, thi công và lập trình chi tiết.

• Tác giả: Nguyễn Đồng Quý
• Người hướng dẫn: ThS. Võ Đức Dũng
• Trường học: Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ Kỹ thuật Điện tử Truyền thông
• Đề tài: Thiết Kế Và Thi Công Hệ Thống Điểm Danh Bằng Nhận Diện Khuôn Mặt Kết Hợp Mã QR Và Mã Vạch Trên Raspberry Pi 4
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Giới thiệu về Hệ thống Điểm Danh Thông Minh

Hệ thống điểm danh khuôn mặt kết hợp với mã QR và mã vạch trên Raspberry Pi là một giải pháp hiện đại để thay thế phương pháp điểm danh truyền thống. Công nghệ này sử dụng trí tuệ nhân tạo (AI) để nhận diện khuôn mặt, kết hợp với đọc mã điện tử, giúp tự động hóa quá trình theo dõi và quản lý sự có mặt của học sinh, nhân viên. Với sự phát triển của xử lý ảnh và học máy, hệ thống điểm danh tự động trở nên khả thi và hiệu quả. Raspberry Pi 4 là một nền tảng lý tưởng để triển khai giải pháp này do chi phí thấp, tiêu thụ điện năng ít và khả năng xử lý đủ mạnh cho các ứng dụng thực tế.

1.1. Các Phương Pháp Điểm Danh Truyền Thống

Phương pháp điểm danh thủ công bằng tờ giấy tốn nhiều thời gian và dễ xảy ra sai sót. Thẻ từ và vân tay có giới hạn về độ chính xác. Các hệ thống này yêu cầu nhân lực lớn, chi phí bảo trì cao và không thể theo dõi real-time. Giải pháp điểm danh khuôn mặt khắc phục những nhược điểm này bằng cách tự động hóa toàn bộ quy trình.

1.2. Lợi Ích của Hệ Thống Điểm Danh Đa Phương Thức

Kết hợp ba công nghệ nhận diện khuôn mặt, mã QR và mã vạch tạo ra hệ thống mạnh mẽ và linh hoạt. Người dùng có thể lựa chọn phương pháp phù hợp nhất, tăng độ chính xác và giảm thời gian điểm danh. Hệ thống cũng dễ mở rộng và tích hợp với các ứng dụng quản lý khác.

II. Công Nghệ Xử Lý Ảnh và Nhận Diện Khuôn Mặt

Xử lý ảnh là nền tảng của hệ thống nhận diện khuôn mặt. Quá trình bao gồm các bước: thu nhận ảnh từ camera, tiền xử lý ảnh để cải thiện chất lượng, phân đoạn ảnh để tách riêng vùng quan trọng, và cuối cùng là biểu diễn và nhận dạng. Thuật toán LBP (Local Binary Pattern) được sử dụng để rút trích đặc trưng từ khuôn mặt, giúp so sánh và xác định danh tính người dùng. Kết hợp với giải thuật AdaBoost và đặc trưng Haar-Like, hệ thống có thể nhận diện chính xác ngay cả trong điều kiện ánh sáng thay đổi.

2.1. Thuật Toán LBP và Rút Trích Đặc Trưng

LBP (Local Binary Pattern) là một phương pháp mạnh mẽ để mô tả kết cấu của ảnh. Thuật toán hoạt động bằng cách so sánh giá trị độ sáng của mỗi điểm ảnh với các hàng xóm, tạo ra các mẫu nhị phân. Phép quay bất biến trong LBP giúp nhận diện khuôn mặt độc lập với góc quay, tăng độ ổn định của hệ thống.

2.2. Giải Thuật AdaBoost và Đặc Trưng Haar

AdaBoost là một thuật toán học máy kết hợp nhiều bộ phân lớp yếu thành một bộ phân lớp mạnh. Đặc trưng Haar-Like sử dụng các hình chữ nhật với trọng số khác nhau để phát hiện các cấu trúc quan trọng trong khuôn mặt như mắt, mũi, miệng. Sự kết hợp này tạo ra một hệ thống nhận diện nhanh chóng và chính xác.

III. Đọc Mã QR Code và Mã Vạch Barcode

Mã QR và mã vạch (Barcode) là hai công nghệ bổ sung quan trọng trong hệ thống điểm danh đa phương thức. Mã QR có khả năng lưu trữ lượng thông tin lớn, độ chính xác cao và có thể quét từ nhiều góc độ, làm cho nó lý tưởng cho ứng dụng điểm danh trong giáo dục. Mã vạch phổ biến hơn, dễ in và có chi phí thấp, phù hợp cho hệ thống quản lý hàng tồn kho hoặc xác định danh tính nhanh chóng. Thư viện Pyzbar cho phép Raspberry Pi đọc và giải mã cả hai loại mã điện tử một cách hiệu quả, hỗ trợ hệ thống điểm danh linh hoạt.

3.1. Tổng Quan về Mã Vạch và Mã QR

Mã QR (Quick Response) là mã 2D hiện đại có thể mã hóa được hàng ngàn ký tự, bao gồm cả tiếng Việt. Mã vạch Barcode là mã 1D truyền thống, đơn giản nhưng hiệu quả. Cả hai đều có cơ chế sửa lỗi tích hợp, đảm bảo dữ liệu được đọc chính xác ngay cả khi mã bị hư hỏng một phần.

3.2. Thư Viện Pyzbar và Ứng Dụng

Thư viện Pyzbar tích hợp OpenCV để quét và giải mã mã QR và barcode trong thời gian thực. Nó hỗ trợ nhiều định dạng mã khác nhau và hoạt động tốt trên Raspberry Pi với tài nguyên hạn chế. Hệ thống sử dụng camera USB hoặc camera module để capture ảnh mã, sau đó xử lý bằng Pyzbar để lấy thông tin nhân viên hoặc học sinh.

IV. Triển Khai Hệ Thống trên Raspberry Pi 4

Raspberry Pi 4 được lựa chọn làm nền tảng chính của hệ thống do có bộ xử lý ARM mạnh, RAM 4GB trở lên, hỗ trợ USB 3.0 và WiFi 802.11ac. Hệ điều hành Raspbian được cài đặt để cung cấp môi trường Linux ổn định. Ngôn ngữ Python được sử dụng lập trình chính nhờ tính đơn giản, có nhiều thư viện hỗ trợ như OpenCV, Tkinter cho giao diện, và Pandas để xử lý dữ liệu. Hộp chứa linh kiện được thiết kế để bảo vệ các thành phần điện tử, với cấu trúc modular cho phép nâng cấp và bảo trì dễ dàng.

4.1. Cấu Hình Phần Cứng và Cài Đặt Hệ Điều Hành

Raspberry Pi 4 cần power supply 5V 3A, thẻ nhớ microSD 32GB trở lên, camera module hoặc camera USB, và màn hình LCD. Raspbian OS được cài đặt từ image chính thức, sau đó cập nhật các gói và cài đặt các thư viện cần thiết như OpenCV, Pyzbar, Pandas. Cấu hình SSH cho phép điều khiển từ xa.

4.2. Lập Trình Ứng Dụng và Giao Diện Người Dùng

Giao diện được xây dựng với Tkinter, cung cấp Button cho các chức năng (bắt đầu/dừng), Label hiển thị thông tin real-time. Python threading được sử dụng để xử lý capture ảnh và nhận diện song song, không làm chậm giao diện. Pandas lưu trữ dữ liệu điểm danh vào file CSV hoặc database SQLite để báo cáo sau.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN giải thuật và hoàn thiện các khâu còn lại để có một hệ thống điểm danh, thiết kế giao diện giao tiếp người dùng, các phím chức năng có trong hệ thống. ❖ Chương 4: Thi công hệ thống. Nội dung chương này là quá trình thiết kế phần cứng cho các phần của hệ thống. Viết chương trình điểm danh bằng nhận diện khuôn mặt kết hợp thêm QR code, Barcode, tạo cơ sở dữ liệu lưu hệ thống, viết chương trình tạo ra giao diện giao tiếp người dùng, tiến hành chế tạo giá đỡ cho màn hình.

❖ Chương 5: Kết quả, nhận xét và đánh giá. Sau khi xây dựng hệ thống hoàn chỉnh, nhìn nhận lại kết quả đem lại có đúng với yêu cầu lúc đầu đã đề ra hay không? Nhận xét về hệ thống có hoạt động tốt không? Nêu lên ưu điểm và nhược điểm đã làm được. Đưa ra đánh giá về mọi phương diện thu được mà hệ thống này đem lại. Quan trọng nhất là phần trăm độ chính xác khi thực hiện điểm danh.

❖ Chương 6: Kết luận và hướng phát triển. Trình bày những kết luận về hệ thống, những kết quả đạt được và những hạn chế, kết luận hiệu quả của hệ thống điểm danh trong thực tế, đồng thời nêu ra hướng phát triển cho hệ thống điểm danh. ĐỒ ÁN TỐT NGHIỆP 4 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT CHƯƠNG 2. Giới thiệu về xử lý ảnh Xử lý ảnh là đối tượng nghiên cứu của lĩnh vực thị giác máy, là quá trình biến đổi từ một ảnh ban đầu sang một ảnh mới với các đặc tính và tuân theo ý muốn của người sử dụng.

Xử lý ảnh có thể gồm quá trình phân tích, phân lớp các đối tượng, làm tăng chất lượng, phân đoạn và tách cạnh, gán nhãn cho vùng hay quá trình biên dịch các thông tin hình ảnh của ảnh. [3] Cũng như xử lý dữ liệu bằng đồ hoạ, xử lý ảnh số là một lĩnh vực của tin học ứng dụng. Xử lý dữ liệu bằng đồ họa đề cập đến những ảnh nhân tạo, các ảnh này được xem xét như là một cấu trúc dữ liệu và được tạo bởi các chương trình. Xử lý ảnh số bao gồm các phương pháp và kỹ thuật biến đổi, để truyền tải hoặc mã hoá các ảnh tự nhiên.

Mục đích của xử lý ảnh gồm: Biến đổi ảnh làm tăng chất lượng ảnh, tự động nhận dạng ảnh, đoán nhận ảnh, đánh giá các nội dung của ảnh. Xứ lý ảnh được áp dụng vào thực tế, đem lại nhiều hiệu quả trong các lĩnh vực như: - Lĩnh vực quân sự: xử lý và nhận dạng ảnh quân sự. - Lĩnh vực giao tiếp người máy: nhận dạng ảnh, xử lý âm thanh, đồ họa. - Lĩnh vực an, bảo mật: nhận diện khuôn mặt người, nhận diện vân tay, … - Lĩnh vực giải trí: trò chơi điện tử.

- Lĩnh vực y tế: Xử lý ảnh y sinh, chụp X quang, MRI,… - Trong công nghiệp: nhận dạng phân loại sản phẩm, trái cây,… Các bước cần thiết trong xử lý ảnh. Trước đây, hình ảnh được thu từ camera là các ảnh tương tự. Gần đây, với sự phát triển không ngừng của công nghệ, ảnh màu hoặc ảnh đen trắng được lấy từ camera, sau đó được chuyển trực tiếp qua ảnh số để dễ dành cho các bước xử lý tiếp theo. Dưới đây sẽ mô tả về các bước trong xử lý ảnh.

1: Các bước trong xử lý ảnh ĐỒ ÁN TỐT NGHIỆP 5 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2. Thu nhận ảnh Đây là công đoạn đầu tiên mang tính quyết định đối với quá trình xử lý ảnh. Ảnh đầu vào sẽ được thu nhận qua các thiết bị như camera, máy scan. Sau đó các tín hiệu này sẽ được số hóa.

Các thông số quan trọng ở đây là độ phân giải, chất lượng. Màu và tốc độ thu nhận ảnh của các thiết bị. Chất lượng của một ảnh thu nhận được phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh). Tiền xử lý ảnh Ở bước này, ảnh sẽ được xử lý để cải thiện về độ tương phản, khử nhiễu,.

với mục đích làm cho chất lượng ảnh trở nên tốt hơn, rõ nét hơn. Quá trình này thường được thực hiện bởi các bộ lọc. Bộ lọc trung bình được sử dụng chính trong bước tiền xử lý ảnh này, nó là bộ lọc mà mỗi điểm ảnh được thay thế bằng trung bình trọng số của các điểm lân cận nhằm loại bỏ những điểm ảnh biến đổi lớn hơn so với điểm lân cận (hay còn gọi là nhiễu). Phân đoạn ảnh Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh.

Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thư cho mục đích phân loại bưu phẩm, cần chia các câu chữ về địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng. Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh. Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này. Biểu diễn và mô tả Đây là phần sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết ở các vùng lân cận.

Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng( Feature Extration) gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm vi ảnh nhận được. Ví dụ: trong nhận dạng ký tự trên phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phận biệt ký tự này với ký tự khác. [4] ĐỒ ÁN TỐT NGHIỆP 6 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.

Nhận dạng và nội suy Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thường thu được bằng cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nội suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng. Ví dụ: một loạt nét gạch đứng gần nhau trên giấy có thể nội suy thành mã Barcode.

Có nhiều cách phân loại ảnh khác nhau về ảnh. Theo lý thuyết về nhận dạng, các mô hình toán học về ảnh được phân theo hai loại nhận dạng ảnh cơ bản: Nhận dạng theo tham số, nhận dạng theo cấu trúc. Một số đối tượng nhận dạng khá phổ biến hiện nay được áp dụng trong khoa học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người, … [4] 2. Giới thiệu về trí tuệ nhân tạo AI (Artificial Intelligent) 2.

Trí tuệ nhân tạo AI Hiện nay công khoa học công nghệ phát triển rất nhanh. Một trong những ngành khoa học máy tính đang là xu hướng hiện nay chính là “trí tuệ nhân tạo AI” đây có thể là một bước đà của sự bùng nổ và khoa học công nghệ thế giới bằng cách chế tạo máy móc thông minh. AI là một trong những lĩnh vực hấp dẫn và phổ biến của khoa học máy tính có phạm vi rất lớn trong tương lai. AI nắm giữ xu hướng khiến một cỗ máy hoạt động như một con người.

Trí tuệ nhân tạo được xem như một nhánh của khoa học máy tính liên quan đến sự tự động hóa về hành vi thông minh. Trí tuệ nhân tạo là nghiên cứu về cách làm cho máy tính làm những việc mà hiện tại con người làm rất tốt. Vì vậy, chúng ta có thể định nghĩa AI là:"Đó là một nhánh của khoa học máy tính, qua đó chúng ta có thể tạo ra những cỗ máy thông minh có thể hành xử như con người, suy nghĩ như con người và có thể đưa ra quyết định. Giải thích thêm về mục tiêu của trí tuệ nhân tạo, các nhà khoa học đã chỉ ra bao gổm sáu mục tiêu sau: - Lập luận logic: Cho phép máy tính thực hiện các nhiệm vụ đòi hỏi trí thông minh của con người như: chứng minh một định lý, lái xe trong giao thông, xác định đúng đối đối tượng.

ĐỒ ÁN TỐT NGHIỆP 7 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT - Biểu diễn tri thức: Cho phép máy tính mô tả các đối tượng, con người và ngôn ngữ. - Lập kế hoạch và điều hướng: Cho phép máy tính đi từ điểm A đến điểm B. - Xử lý ngôn ngữ: Cho phép máy tính hiểu và xử lý ngôn ngữ. - Nhận thức: Cho phép máy tính tương tác với thế giới thông qua thị giác, thính giác, xúc giác và khứu giác.

- Tự học: Tạo một số hệ thống có thể thể hiện hành vi thông minh, tự học những điều mới, thể hiện, giải thích và có thể tư vấn cho người dùng. Khi nói đến “trí tuệ nhân tạo” ta thường nghe một số thuật ngữ như AI, Machine learning, Deep learning những thuật ngữ trên có mới quan hệ được thể hiện ở hình sau: Hình 2. 2: Mối quan hệ giữa AI, Machine Learning và Deep Learning. Khi nói về 3 khái niệm trên ta có thể hiểu một cách đơn giản: Trí tuệ nhân tạo (AI): một cỗ máy có thể bắt chước hành vi và tư duy của con người.

Học máy (machine learning): Một tính năng của AI, cho phép các chuyên gia đào tạo cho AI để nó nhận biết các mẫu dữ liệu và dự đoán. Học sâu (deep learning): Một kỹ thuật nhỏ của machine learning, cho phép máy có thể tự đào tạo chính mình. ĐỒ ÁN TỐT NGHIỆP 8 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2. Nếu trí tuệ nhân tạo AI nhằm mục đích là cho máy tính thông minh như con người.

Thì Machine learning được định nghĩa "là khả năng để máy tự học mà không cần phải lập trình" theo Arthur Samuel vào năm 1959. Cụ thể hơn, machine learning đề cập tới bất kỳ hệ thống mà hiệu suất của máy tính khi thực hiện một nhiệm vụ sẽ trở nên tốt hơn sau khi hoàn thành nhiệm vụ đó nhiều lần. Hay nói cách khác, khả năng cơ bản nhất của machine learning là sử dụng thuật toán để phân tích những thông tin có sẵn, học hỏi từ nó rồi đưa ra quyết định hoặc dự đoán về một thứ gì đó có liên quan. Thay vì tạo ra một phần mềm với những hành động, hướng dẫn chi tiết để thực hiện một nhiệm vụ cụ thể, máy tính được “huấn luyện” bằng cách sử dụng lượng dữ liệu và các thuật toán để học cách thực hiện nhiệm vụ.