Đề Tài Khóa Luận: Thiết Kế Hệ Thống Nhận Diện Lòng Bàn Tay Người

Khóa luận tốt nghiệp kỹ thuật máy tính về thiết kế hệ thống nhận diện lòng bàn tay người, ứng dụng trong bảo mật và nhận dạng sinh trắc học.

• Tác giả: Ngô Trọng Nhân
• Người hướng dẫn: TS. Phạm Quốc Hùng
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ sư ngành Kỹ thuật máy tính
• Đề tài: Hệ Thống Nhận Diện Lòng Bàn Tay Bằng Công Nghệ Nhúng
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: LÝ DO CHỌN ĐỀ TÀI. MỤC ĐÍCH NGHIÊN CỨU
• 1.1. Phạm vi nghiên cứu
• 2. CHƯƠNG 2: TÌNH HÌNH TRONG NƯỚC
• 2.1. Tình hình ngoài nước
• 2.2. Bài toán nhận diện lòng bàn tay
• 2.2.1. Những khó khăn và thách thức trong bài toán nhận diện lòng bàn tay
• 2.2.2. Các lĩnh vực ứng dụng công nghệ nhận diện lòng bàn tay
• 2.2.3. Phát hiện lòng bàn tay và trích xuất vùng quan tâm
• 2.2.4. Cơ sở lý thuyết của phát hiện lòng bàn tay
• 2.2.5. Điều chỉnh hướng của bàn tay
• 2.2.6. Mô hình Tetra cấu trúc vi mô
• 2.2.7. Các bước thực hiện của mô hình
• 2.2.8. Principal Components Analysis
• 2.2.9. Một số phương thức thực hiện của PCA
• 2.2.10. Áp dụng PCA vào thuật toán LMTYP
• 2.2.11. Mô hình máy học để phân loại
• 2.2.12. Huấn luyện mô hình máy học
• 3. CHƯƠNG 3: PHẦN CỨNG HỆ THỐNG
• 3.1. Raspberry Pi Camera
• 3.2. Màn hình cảm ứng
• 3.3. Servo Motor SG90
• 3.4. Cảm biến hồng ngoại (IR Sensor)
• 3.5. Cảm biến khoảng cách HC-SR05
• 3.6. Quá trình mở cửa và đóng cửa
• 3.7. Triển khai phần cứng và phần mềm
• 4. CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM
• 4.1. Kết quả đạt được
• 4.2. Thời gian training trên các thiết bị
• 4.3. Thu thập mẫu
• 4.4. Nhận diện lòng bàn tay
• 4.5. Thiết kế giao diện
• 4.6. Mô hình hoàn chỉnh
• 4.7. Đánh giá khóa luận
• 4.8. Nhược điểm
• 5. CHƯƠNG 5: CÁC KẾT QUẢ ĐÃ THỰC HIỆN
• 5.1. Những đóng góp, đề xuất mới
• 6. CHƯƠNG 6: HƯỚNG PHÁT TRIỂN
• 6.1. Về mô hình cửa tự động
• 6.2. Về mô hình nhận diện lòng bàn tay
• 6.3. Về tính áp dụng của mô hình
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Hệ Thống Nhận Diện Lòng Bàn Tay Bằng Công Nghệ Nhúng

Hệ thống nhận diện lòng bàn tay bằng công nghệ nhúng đang trở thành một trong những giải pháp bảo mật tiên tiến nhất hiện nay. Công nghệ này không chỉ giúp xác thực danh tính mà còn đảm bảo tính bảo mật cao cho người dùng. Việc áp dụng công nghệ nhúng giúp tối ưu hóa chi phí và hiệu suất, từ đó mở rộng khả năng ứng dụng trong nhiều lĩnh vực khác nhau.

1.1. Định nghĩa và nguyên lý hoạt động của hệ thống

Hệ thống nhận diện lòng bàn tay hoạt động dựa trên việc phân tích các đặc điểm sinh trắc học độc đáo của lòng bàn tay. Các đặc điểm này bao gồm đường vân, nếp nhăn và hình dạng tổng thể của lòng bàn tay.

1.2. Lợi ích của việc sử dụng công nghệ nhúng

Công nghệ nhúng giúp giảm thiểu chi phí sản xuất và bảo trì hệ thống. Hệ thống có thể hoạt động độc lập mà không cần đến máy tính lớn, từ đó tăng tính linh hoạt và khả năng mở rộng.

II. Những Thách Thức Trong Việc Nhận Diện Lòng Bàn Tay

Mặc dù công nghệ nhận diện lòng bàn tay có nhiều ưu điểm, nhưng vẫn tồn tại một số thách thức cần giải quyết. Các vấn đề như độ chính xác, tốc độ xử lý và khả năng chống giả mạo là những yếu tố quan trọng cần được cải thiện.

2.1. Độ chính xác trong nhận diện

Độ chính xác của hệ thống phụ thuộc vào chất lượng hình ảnh và thuật toán xử lý. Việc cải thiện độ chính xác là một trong những ưu tiên hàng đầu trong nghiên cứu và phát triển.

2.2. Khả năng chống giả mạo

Công nghệ nhận diện lòng bàn tay cần phải có khả năng phát hiện và ngăn chặn các hành vi giả mạo, như sử dụng hình ảnh hoặc mô hình giả để đánh lừa hệ thống.

III. Phương Pháp Nhận Diện Lòng Bàn Tay Hiệu Quả

Để đạt được hiệu quả cao trong việc nhận diện lòng bàn tay, nhiều phương pháp đã được nghiên cứu và áp dụng. Các phương pháp này bao gồm việc sử dụng các thuật toán học máy và xử lý ảnh tiên tiến.

3.1. Sử dụng PCA và SVM trong nhận diện

Phân tích thành phần chính (PCA) và máy vector hỗ trợ (SVM) là hai phương pháp phổ biến trong việc trích xuất đặc trưng và phân loại lòng bàn tay. Chúng giúp giảm chiều dữ liệu và tăng tốc độ xử lý.

3.2. Tiền xử lý ảnh để cải thiện chất lượng

Tiền xử lý ảnh là bước quan trọng để nâng cao chất lượng hình ảnh trước khi thực hiện nhận diện. Các kỹ thuật như tăng cường độ tương phản và điều chỉnh góc nhìn giúp cải thiện độ chính xác.

IV. Ứng Dụng Thực Tiễn Của Hệ Thống Nhận Diện Lòng Bàn Tay

Hệ thống nhận diện lòng bàn tay có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ bảo mật thông tin cá nhân đến quản lý truy cập trong các cơ sở hạ tầng quan trọng.

4.1. Ứng dụng trong bảo mật thông tin

Công nghệ này có thể được sử dụng để bảo vệ thông tin cá nhân, giúp ngăn chặn các hành vi xâm phạm và lừa đảo trực tuyến.

4.2. Ứng dụng trong quản lý truy cập

Hệ thống nhận diện lòng bàn tay có thể được triển khai trong các khu vực cần bảo mật cao như ngân hàng, trung tâm dữ liệu và các cơ sở quân sự.

V. Kết Luận và Tương Lai Của Công Nghệ Nhận Diện Lòng Bàn Tay

Công nghệ nhận diện lòng bàn tay đang trên đà phát triển mạnh mẽ và hứa hẹn sẽ trở thành một phần quan trọng trong các hệ thống bảo mật trong tương lai. Việc cải tiến công nghệ và mở rộng ứng dụng sẽ giúp nâng cao tính bảo mật và tiện lợi cho người dùng.

5.1. Xu hướng phát triển trong tương lai

Công nghệ nhận diện lòng bàn tay sẽ tiếp tục được cải tiến với sự phát triển của trí tuệ nhân tạo và học máy, từ đó nâng cao độ chính xác và khả năng chống giả mạo.

5.2. Tiềm năng ứng dụng rộng rãi

Với tính năng bảo mật cao và khả năng ứng dụng đa dạng, công nghệ nhận diện lòng bàn tay có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ y tế đến thương mại điện tử.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp kỹ sư ngành Kỹ thuật Máy tính của sinh viên Ngô Trọng Nhân và Trần Mạnh Quân (Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP. Hồ Chí Minh, năm 2023), do TS. Phạm Quốc Hùng hướng dẫn, tập trung vào đề tài "Thiết kế hệ thống nhúng nhận diện lòng bàn tay người" (An Embedded System for Palmprint Recognition).

Trong kỷ nguyên số hóa, các phương thức xác thực danh tính truyền thống như mật khẩu hay thẻ từ bộc lộ nhiều lỗ hổng do nguy cơ thất lạc hoặc bị đánh cắp bởi tin tặc. Các công nghệ sinh trắc học phổ biến như nhận diện khuôn mặt và giọng nói dễ bị tấn công giả mạo bằng công nghệ Deepfake và Deepvoice. Trong khi đó, sinh trắc học vân tay hay mống mắt lại đòi hỏi cảm biến đắt tiền và dễ suy giảm chất lượng thu nhận khi vân tay bị mờ hoặc thiết bị mống mắt khó sử dụng. Lòng bàn tay là đặc tính sinh trắc học sở hữu tính độc nhất cao: mạng lưới tĩnh mạch và đường vân tay không có sự trùng lặp, ngay cả giữa các cặp song sinh cùng trứng có cùng thông tin di truyền. Ngoài ra, lòng bàn tay thường có xu hướng co lại trong sinh hoạt thường nhật, giúp hạn chế rủi ro bị thu thập lén từ xa. Tuy nhiên, việc đưa công nghệ này lên thiết bị nhúng giá thành thấp gặp phải rào cản lớn về tài nguyên tính toán, đòi hỏi các thuật toán trích xuất đặc trưng và phân loại phải đạt sự cân bằng giữa độ chính xác và tốc độ phản hồi.

Mục tiêu nghiên cứu của đề tài được tác giả xác định cụ thể qua các nhiệm vụ sau:

1. Tìm hiểu và ứng dụng các phương pháp trích xuất vùng quan tâm (ROI) cho phát hiện lòng bàn tay, kết hợp các giải pháp PCA và SVM, tối ưu và tinh chỉnh mô hình máy học để đạt độ chính xác cao.
2. Tiền xử lý ảnh bằng các phương pháp: tăng cường độ tương phản, chuyển đổi tỉ lệ ảnh, trích xuất landmarks và điều chỉnh hướng nghiêng lòng bàn tay.
3. Khai thác khả năng Multi-Threading trên nền tảng nhúng nhằm xử lý đồng thời nhiều tiến trình.
4. Điều khiển và xử lý chính xác các tín hiệu, thiết bị ngoại vi trên Raspberry Pi.
5. Thiết kế giao diện đồ họa phục vụ quá trình lấy mẫu và nhận diện.
6. Xây dựng mô hình hệ thống cửa thông minh ứng dụng cho môi trường nhà ở.
7. Đảm bảo mô hình có tính ứng dụng thực tế cao với chi phí triển khai thấp.

Đối tượng nghiên cứu là hình ảnh lòng bàn tay người cùng các đặc điểm giải phẫu bề mặt bao gồm: đường chính (Principal lines), nếp nhăn (Wrinkles) và các đường vân mảnh (Minutiae features). Phạm vi nghiên cứu giới hạn ở quy trình tiền xử lý, trích xuất vùng quan tâm (ROI), hiệu chỉnh góc xoay nghiêng của bàn tay trong khoảng từ 0° đến 30°, trích xuất đặc trưng và phân loại người dùng trên bo mạch nhúng. Đề tài tập trung tối ưu hóa độ chính xác, tốc độ xử lý và tính bảo mật của hệ thống cửa tự động, đồng thời chủ động loại trừ các yêu cầu tối ưu hóa công suất tiêu thụ điện năng ra khỏi phạm vi đánh giá.

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp lý thuyết xử lý ảnh hình thái học, biến đổi phổ tần số và học máy cổ điển để xây dựng chuỗi thuật toán nhận diện:

• Quy trình phát hiện và trích xuất vùng quan tâm (ROI):

  • Tiền xử lý và phân đoạn: Hình ảnh bàn tay ban đầu được lọc nhiễu và làm mịn bằng bộ lọc Gaussian, sau đó nhị phân hóa bằng phương pháp phân ngưỡng trong không gian màu xám (thang độ từ 0 đến 255).
  • Xác định trọng tâm: Sử dụng công thức tính moment ảnh bậc $(p,q)$ là $m_{pq} = \sum_{x} \sum_{y} x^p y^q f(x,y)$ để tìm tọa độ trọng tâm $(X_{centroid}, Y_{centroid}) = (m_{10}/m_{00}, m_{01}/m_{00})$.
  • Trích xuất biên (Contour): Áp dụng toán tử hình thái học ăn mòn (Erosion) với phần tử cấu trúc $S$ ma trận chữ thập kích thước $3 \times 3$, sau đó trừ nền $B(A) = A - (A \ominus S)$ để trích xuất đường biên bao quanh bàn tay.
  • Phân tích khoảng cách Euclidean (ED): Tính khoảng cách Euclidean từ trọng tâm đến tập hợp các điểm ảnh trên đường biên ngoài cùng bên trái. Đồ thị cực trị của hàm khoảng cách tương ứng với các đỉnh ngón tay (cực đại) và rãnh ngón tay (cực tiểu).
  • Biến đổi Fourier rời rạc (DFT) lọc nhiễu: Nhằm loại bỏ nhiễu răng cưa do đường viền da gây ra, hàm ED được phân tích sang miền tần số bằng biến đổi Fourier. Tác giả áp dụng ngưỡng cắt để triệt tiêu 98% các thành phần tần số cao, tái cấu trúc lại hàm khoảng cách ED để xác định chính xác 3 điểm cực tiểu rãnh ngón tay $V_1, V_2, V_3$. Đường thẳng nối $V_1$ và $V_3$ tạo với trục hoành một góc $\theta$, qua đó hệ thống xoay ảnh một góc $\theta$ để chuẩn hóa hướng và trích xuất vùng ROI hình vuông ổn định.
  • Nhận diện điểm mốc (Landmark Detection): Kết hợp giải pháp MediaPipe Hand Landmark xác định các điểm đốt ngón tay số 5, 9, 13 và 17. Việc kết hợp này cho phép tính toán góc nghiêng giữa cổ tay và phần trên bàn tay, hỗ trợ hiệu chỉnh tự động các trường hợp bàn tay đặt nghiêng lệch từ 0° đến 30°.

• Mô hình Tetra cấu trúc vi mô cục bộ (Local Micro-structure Tetra Pattern - LMTrP):

  • Bộ lọc Gabor trích xuất đường nét: Sử dụng nhân lọc Gabor kích thước $35 \times 35$ điểm ảnh, tâm đặt tại $(17, 17)$, với 6 góc hướng $\theta \in {0, \pi/6, 2\pi/6, \pi/2, 2\pi/3, 5\pi/6}$. Tích chập giữa ảnh ROI và các mặt nạ lọc Gabor cho ra hai thuộc tính quan trọng: độ rộng $Mag(x,y)_G$ và hướng $Orient(x,y)_G$.
  • Mã hóa tứ phân hướng LMTrP1: Dựa trên cặp đạo hàm bậc $(n-1)$ theo phương ngang và phương dọc với tham số độ dày lân cận $m_1, m_2$, hệ thống phân loại hướng của từng điểm ảnh thành 4 góc phần tư tương ứng ${1, 2, 3, 4}$.
  • Bộ mô tả LMTrP2 và trích xuất vector đặc trưng: So sánh chênh lệch hướng giữa điểm ảnh trung tâm với các điểm lân cận để sinh ra 12 mẫu nhị phân (3 mẫu cho mỗi hướng tham chiếu). Vùng ảnh được chia thành các khối nhỏ kích thước $8 \times 8$ điểm ảnh để tính toán biểu đồ tần suất (histogram) cục bộ, sau đó ghép nối các biểu đồ thành một vector đặc trưng duy nhất.

• Kỹ thuật giảm chiều dữ liệu và phân loại học máy:

  • Kernel Principal Components Analysis (Kernel PCA): Vector đặc trưng ghép nối có số chiều lớn được chiếu xuống không gian phi tuyến số chiều thấp hơn thông qua K-PCA, giúp bảo toàn thông tin phân biệt chính, tiết kiệm bộ nhớ và rút ngắn thời gian tính toán.
  • Support Vector Machine (SVM): Phân loại danh tính người dùng bằng thuật toán SVM thông qua việc tìm siêu phẳng tối ưu hóa khoảng cách lề (margin). Nhóm nghiên cứu lựa chọn SVM thay cho các mô hình học sâu (Deep Learning) nhằm đảm bảo hệ thống có thể vận hành trực tiếp trên vi xử lý nhúng mà không gây quá tải tài nguyên.

• Nguồn dữ liệu thực nghiệm: Tập dữ liệu ảnh bàn tay được nhóm nghiên cứu tự thu thập từ video ghi hình 20 đối tượng người dùng thực tế. Các khung hình được trích xuất, loại bỏ các ảnh ROI lỗi và chia thành các tập huấn luyện (Train), kiểm định (Validation) và kiểm thử (Test).

Thiết kế và triển khai

Hệ thống được thiết kế dưới dạng một thiết bị nhúng tích hợp hoàn chỉnh phục vụ bài toán kiểm soát cửa tự động, bao gồm kiến trúc phần cứng và kiến trúc phần mềm đa luồng:

• Thành phần phần cứng:

  • Bộ điều khiển trung tâm: Máy tính nhúng Raspberry Pi 4 Model B tích hợp bộ xử lý đa nhân và GPU, phụ trách toàn bộ khâu giao tiếp ngoại vi, tiền xử lý ảnh, trích xuất đặc trưng và suy luận học máy.
  • Thiết bị thu nhận hình ảnh: Raspberry Pi Camera kết nối trực tiếp với bo mạch, chịu trách nhiệm ghi nhận luồng video và ảnh lòng bàn tay.
  • Giao diện tương tác: Màn hình cảm ứng LCD kích thước 3.5 inch, cho phép người dùng thao tác trực tiếp với giao diện đồ họa.
  • Khối cảm biến phát hiện: Cảm biến hồng ngoại (IR Sensor) và cảm biến khoảng cách siêu âm HC-SR05. Mạch chia áp điện trở đơn giản được thiết kế nhằm chuyển đổi mức logic an toàn giữa 5V của cảm biến siêu âm và 3.3V của chân GPIO trên Raspberry Pi.
  • Cơ cấu chấp hành: Động cơ servo SG90 thực hiện đóng/mở chốt cửa dựa trên tín hiệu điều khiển độ rộng xung (PWM).

• Kiến trúc phần mềm và xử lý đa luồng (Multi-Threading):

  • Hệ thống vận hành song song nhiều luồng độc lập nhằm đảm bảo độ phản hồi thời gian thực: luồng đọc dữ liệu từ cảm biến siêu âm và hồng ngoại để phát hiện vật cản/người tiếp cận; luồng chụp ảnh từ camera; luồng hiển thị giao diện người dùng; luồng xử lý thuật toán (ROI, MediaPipe, LMTrP, K-PCA, SVM); và luồng điều khiển tín hiệu PWM đóng/mở servo.
  • Thiết kế giao diện người dùng: Giao diện trên màn hình cảm ứng bao gồm màn hình chờ giám sát, màn hình hướng dẫn lấy mẫu dữ liệu mới cho người dùng, màn hình hiển thị tiến trình huấn luyện mô hình (on-device training), màn hình thông báo xác thực thành công (kích hoạt mở cửa), màn hình cảnh báo truy cập thất bại và màn hình đổi mật khẩu quản trị.

Nội dung chính theo từng chương

Chương 1. Lý do chọn đề tài, Mục đích nghiên cứu, Phạm vi nghiên cứu

Chương 1 thiết lập tính cấp thiết của việc bảo mật thông tin bằng sinh trắc học lòng bàn tay. Tác giả chỉ rõ các nhược điểm của phương thức xác thực truyền thống và phân tích lợi thế bảo mật của cấu trúc tĩnh mạch, đường vân lòng bàn tay so với khuôn mặt, giọng nói. Chương này công bố mục tiêu chế tạo hệ thống nhúng nhận diện lòng bàn tay chi phí thấp tích hợp cửa tự động, vận hành trên bo mạch Raspberry Pi 4, đồng thời xác lập phạm vi tập trung vào độ chính xác và tốc độ xử lý, loại trừ việc đo đạc công suất tiêu thụ.

Chương 2. Tổng quan tình hình nghiên cứu và bài toán nhận diện lòng bàn tay

Chương 2 phân tích bức tranh nghiên cứu trong nước và quốc tế. Tại Việt Nam, công nghệ nhận diện lòng bàn tay bước đầu được nghiên cứu tại FPT Telecom, Viettel nhưng chưa thương mại hóa diện rộng; tại Trường ĐH Công nghệ Thông tin, đề tài nối tiếp nghiên cứu năm 2022 của sinh viên Lương Văn Trí. Trên thế giới, công nghệ này ghi nhận các mốc phát triển từ hệ thống của Hungary (1994), các dòng sản phẩm của ZKTeco (2016-2019), công nghệ của Samsung (2017), hệ thống thanh toán Whole Foods của Amazon (2019) và bằng sáng chế quét tĩnh mạch của Apple (2019). Chương này cũng phân tích cấu trúc giải phẫu của ba nhóm đặc trưng (đường chính, nếp nhăn, đường vân) và chỉ ra 4 thách thức lớn: góc chụp, điều kiện ánh sáng, môi trường bám bẩn và sự lão hóa da theo thời gian.

Chương 3. Cơ sở lý thuyết và Phần cứng hệ thống

Chương 3 trình bày chi tiết các công thức toán học và thiết kế kỹ thuật. Nội dung bao quát: quy trình trích xuất ROI truyền thống (lọc Gaussian, tính moment, phép ăn mòn hình thái học, hàm khoảng cách Euclidean, biến đổi Fourier 98%); kỹ thuật định vị điểm mốc bằng MediaPipe Hand Landmark để bù góc nghiêng 0° - 30°; 9 bước triển khai bộ mô tả LMTrP kết hợp bộ lọc Gabor (6 hướng, kích thước $35 \times 35$); thuật toán giảm chiều Kernel PCA; nguyên lý phân loại của SVM cùng khái niệm tối ưu hóa margin. Về phần cứng, chương mô tả thông số kỹ thuật của Raspberry Pi 4 Model B, Raspberry Pi Camera, màn hình cảm ứng 3.5 inch, servo SG90, cảm biến IR, cảm biến HC-SR05, sơ đồ mạch chia áp, sơ đồ kết nối chân GPIO và sơ đồ phân luồng Multi-Threading.

Chương 4. Kết quả thực nghiệm và Đánh giá

Chương 4 ghi lại các thử nghiệm trên tập dữ liệu video 20 đối tượng. Nội dung bao gồm việc đánh giá quá trình trích xuất khung hình từ video, phân loại các ảnh ROI hợp lệ và ảnh ROI bị lỗi, so sánh thời gian huấn luyện mô hình giữa PC và Raspberry Pi 4. Tác giả thực hiện tinh chỉnh siêu tham số (Hyperparameter Tuning) cho SVM trên các hàm nhân (Kernel functions), phân tích ma trận phân loại lỗi (Confusion Matrix) trên tập kiểm thử, kiểm tra độ nhạy và thời gian phản hồi của hệ thống cửa tự động, đồng thời trình bày các giao diện thực tế của hệ thống.

Chương 5. Các kết quả đã thực hiện và Những đóng góp, đề xuất mới

Chương 5 tổng kết các kết quả đạt được: xây dựng hoàn chỉnh mô hình phần cứng nhúng nhận diện lòng bàn tay; ứng dụng thành công chuỗi thuật toán ROI - MediaPipe - LMTrP - K-PCA - SVM; và hoàn thiện mô hình cửa tự động có giao diện trực quan. Đóng góp mới của đồ án là khả năng tự hiệu chỉnh góc nghiêng của bàn tay trong khoảng 0° - 30° và tối ưu hóa quy trình trích xuất đặc trưng vi mô trên phần cứng có tài nguyên hạn chế.

Chương 6. Hướng phát triển

Chương 6 đề xuất các định hướng nâng cấp trong tương lai: hoàn thiện kết cấu cơ khí của mô hình cửa tự động để tăng độ bền; nâng cấp thuật toán nhận diện lòng bàn tay để thích ứng với góc nghiêng rộng hơn và điều kiện ánh sáng phức tạp; thử nghiệm trên các phần cứng có năng lực tính toán cao hơn (như dòng bo mạch tích hợp GPU chuyên dụng); và mở rộng quy mô tập dữ liệu nhằm nâng cao tính ứng dụng thương mại.

Kết quả và đóng góp

Các kết quả thực nghiệm và thông số cấu hình cốt lõi được tác giả ghi nhận qua các bảng số liệu và báo cáo thực nghiệm:

Thành phần / Tham số	Đặc tả kỹ thuật và Giá trị trong văn bản
Phần cứng xử lý chính	Bo mạch Raspberry Pi 4 Model B
Camera thu nhận	Raspberry Pi Camera
Giao diện hiển thị	Màn hình cảm ứng kích thước 3.5 inch
Cơ cấu chấp hành	Động cơ Servo SG90
Cảm biến tiếp cận	Cảm biến hồng ngoại (IR) và Cảm biến siêu âm HC-SR05
Mạch phối hợp mức logic	Mạch chia áp điện trở (cho cảm biến HC-SR05)
Bộ lọc Gabor	Kích thước $35 \times 35$ pixel, tâm $(17, 17)$, 6 góc hướng ($0, \pi/6, 2\pi/6, \pi/2, 2\pi/3, 5\pi/6$)
Bộ mô tả LMTrP	12 mẫu nhị phân, phân chia khối ảnh kích thước $8 \times 8$ pixel
Bộ lọc tần số Fourier (ED)	Ngưỡng cắt lọc bỏ 98% thành phần tần số cao
Phạm vi hiệu chỉnh góc xoay	Góc nghiêng từ 0° đến 30° (dựa trên mốc MediaPipe 5, 9, 13, 17)
Quy mô tập dữ liệu thử nghiệm	Dữ liệu tự thu thập từ video của 20 đối tượng
Thuật toán học máy	Support Vector Machine (SVM) kết hợp tinh chỉnh siêu tham số và Kernel PCA

Các đóng góp chính được nhóm tác giả tự xác định bao gồm:

• Thiết kế và chế tạo thành công một hệ thống nhúng hoàn chỉnh, chi phí thấp trên nền tảng Raspberry Pi 4, có khả năng tự động hóa toàn bộ quy trình: phát hiện vật cản, chụp ảnh bàn tay, tiền xử lý, trích xuất đặc trưng, xác thực người dùng và kích hoạt cơ cấu mở cửa.
• Khắc phục nhược điểm góc đặt tay cố định của các nghiên cứu trước bằng cách kết hợp MediaPipe Hand Landmark vào thuật toán trích xuất ROI, cho phép hệ thống nhận diện ổn định với góc xoay bàn tay từ 0° đến 30°.
• Ứng dụng thành công chuỗi thuật toán trích xuất cấu trúc vi mô LMTrP kết hợp bộ lọc Gabor và K-PCA, tạo ra bộ vector đặc trưng có khả năng phân biệt cao nhưng tiêu tốn ít tài nguyên, giải quyết bài toán xử lý ảnh sinh trắc học trên thiết bị không có phần cứng học sâu đắt tiền.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ rõ các mặt nhược điểm và hạn chế tồn tại trong quá trình thực nghiệm:

• Thuật toán trích xuất ROI chỉ hiệu chỉnh được góc nghiêng trong giới hạn từ 0° đến 30°; nếu góc xoay vượt quá ngưỡng này hoặc bàn tay bị che khuất một phần, quá trình định vị điểm mốc và cắt vùng ROI sẽ phát sinh lỗi.
• Hệ thống vẫn phụ thuộc vào điều kiện môi trường chụp ảnh; hiện tượng thiếu sáng, quá sáng hoặc nền phức tạp làm suy giảm độ chính xác của khâu phân đoạn nhị phân và trích xuất biên.
• Cấu hình phần cứng của bo mạch Raspberry Pi 4 hạn chế tốc độ tính toán; thời gian huấn luyện mô hình tại chỗ (training) kéo dài đáng kể so với việc thực hiện trên máy tính cá nhân (PC).
• Tập dữ liệu đánh giá mới chỉ được xây dựng trên 20 đối tượng, chưa phản ánh đầy đủ tính đa dạng sinh trắc học trên quy mô lớn.
• Đề tài chưa tối ưu hóa và đánh giá mức tiêu thụ điện năng của toàn hệ thống.

Hướng phát triển tiếp theo được tác giả đề xuất gồm:

• Về mô hình cửa tự động: Cải tiến kết cấu cơ khí, tăng độ chịu lực và độ bền cho cơ cấu đóng mở tự động.
• Về mô hình nhận diện: Nghiên cứu mở rộng thuật toán để xử lý các góc nghiêng lớn hơn 30°, nâng cao khả năng khử nhiễu ánh sáng môi trường; thử nghiệm trên các kit nhúng có năng lực xử lý mạnh hơn như Nvidia Jetson Nano (tận dụng nhân GPU CUDA) để triển khai các mô hình nâng cao.
• Về tính áp dụng: Mở rộng tập dữ liệu thực nghiệm trên quy mô người dùng lớn hơn để hướng tới khả năng thương mại hóa thực tế.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho sinh viên, học viên và kỹ sư thuộc các chuyên ngành Kỹ thuật Máy tính, Điện tử – Viễn thông, Công nghệ Thông tin và Hệ thống Nhúng:

• Cung cấp tài liệu thực chứng chi tiết về việc xây dựng một hệ thống thị giác máy tính biên (Edge Computer Vision) hoàn chỉnh từ khâu thiết kế phần cứng, giao tiếp cảm biến ngoại vi qua GPIO đến lập trình giao diện người dùng.
• Mục cơ sở lý thuyết về thuật toán ROI (kết hợp biến đổi Fourier lọc tần số cao) và 9 bước tính toán chi tiết của bộ mô tả LMTrP là nguồn tư liệu có giá trị cho những ai nghiên cứu sâu về các phương pháp trích xuất đặc trưng kết cấu cục bộ truyền thống mà không dùng mạng nơ-ron tích chập (CNN).
• Cung cấp mô hình tham khảo về giải pháp xử lý đa luồng (Multi-Threading) trên hệ điều hành nhúng Linux, giúp phối hợp nhịp nhàng giữa tác vụ đọc cảm biến, xử lý ảnh và điều khiển động cơ servo thời gian thực.

Câu hỏi thường gặp

Hệ thống giải quyết vấn đề bàn tay bị đặt lệch góc khi chụp như thế nào?
Tác giả khắc phục vấn đề này bằng cách tích hợp mô hình MediaPipe Hand Landmark để phát hiện các điểm mốc giải phẫu số 5, 9, 13 và 17 trên bàn tay. Dựa vào các tọa độ này, hệ thống tính toán góc nghiêng giữa cổ tay và lòng bàn tay, sau đó thực hiện phép xoay ảnh chuẩn hóa trước khi trích xuất ROI, cho phép hệ thống nhận diện chính xác các bàn tay có góc nghiêng lệch từ 0° đến 30°.

Tại sao tác giả sử dụng SVM và K-PCA thay vì các mô hình học sâu (Deep Learning)?
Do hệ thống được triển khai trên máy tính nhúng Raspberry Pi 4 có cấu hình phần cứng khiêm tốn. Các mô hình học sâu đòi hỏi tài nguyên tính toán và bộ nhớ rất lớn, khó vận hành mượt mà trên Raspberry Pi. Các nền tảng nhúng có nhân GPU mạnh như Jetson Nano lại có chi phí quá cao, đi ngược lại tiêu chí xây dựng hệ thống chi phí thấp của đề tài. Do đó, việc kết hợp Kernel PCA để giảm chiều dữ liệu cùng bộ phân loại SVM là giải pháp tối ưu tài nguyên nhất.

Kỹ thuật biến đổi Fourier được ứng dụng như thế nào trong khâu trích xuất ROI?
Khi tính toán hàm khoảng cách Euclidean (ED) từ trọng tâm đến đường biên bàn tay, đường viền không đồng đều của da tạo ra nhiều thành phần tần số cao, gây nhiễu khi tìm điểm rãnh bằng đạo hàm. Tác giả đã áp dụng biến đổi Fourier rời rạc (DFT) trên hàm ED để loại bỏ 98% các thành phần tần số cao, sau đó tái cấu trúc lại tín hiệu mượt mà, giúp xác định chính xác các điểm rãnh $V_1, V_2, V_3$ mà không bị sai lệch.

Bộ mô tả LMTrP sử dụng các tham số và cấu trúc nào để trích xuất đặc trưng?
LMTrP sử dụng bộ lọc Gabor kích thước $35 \times 35$ điểm ảnh tại tâm $(17, 17)$ với 6 hướng để trích xuất độ rộng và hướng đường vân. Sau đó, thuật toán tính đạo hàm theo phương ngang và dọc để mã hóa thành 4 hướng tứ phân (LMTrP1). Từ 4 hướng này, bộ mô tả LMTrP2 trích xuất 12 mẫu nhị phân, chia ảnh thành các khối $8 \times 8$ điểm ảnh để tính toán và ghép nối biểu đồ tần suất (histogram) cục bộ tạo thành vector đặc trưng.

Các thiết bị ngoại vi nào được kết nối với Raspberry Pi 4 trong mô hình cửa thông minh?
Phần cứng hệ thống bao gồm: Raspberry Pi Camera dùng để ghi hình bàn tay; màn hình cảm ứng 3.5 inch dùng để hiển thị giao diện và nhận lệnh; động cơ Servo SG90 đóng vai trò chốt mở/đóng cửa tự động; cảm biến hồng ngoại (IR) và cảm biến khoảng cách siêu âm HC-SR05 dùng để phát hiện vật cản và người tiếp cận (kết hợp mạch chia áp bảo vệ chân GPIO).

Kết luận

Khóa luận tốt nghiệp của sinh viên Ngô Trọng Nhân và Trần Mạnh Quân đã thiết kế và hiện thực hóa thành công hệ thống nhúng nhận diện sinh trắc học lòng bàn tay người ứng dụng cho cửa thông minh trên nền tảng vi xử lý Raspberry Pi 4. Đề tài kết hợp hiệu quả chuỗi giải thuật xử lý ảnh hình thái học, biến đổi Fourier, mô hình mốc bàn tay MediaPipe bù góc xoay 0° - 30°, bộ mô tả kết cấu vi mô LMTrP, kỹ thuật nén K-PCA và bộ phân loại học máy SVM. Toàn bộ quy trình từ tương tác cảm biến, thu nhận khung hình, xử lý sinh trắc học đến điều khiển cơ cấu chấp hành được tổ chức đa luồng khép kín với giao diện cảm ứng trực quan, mang lại một giải pháp bảo mật danh tính hoàn chỉnh, chi phí thấp và giàu tính thực tiễn kỹ thuật.

Trích đoạn nội dung tài liệu

mở đầu cho công cuộc chạy đua sinh trắc học mang tên "Xác minh lòng bàn tay". Đến năm 2017, tới lượt Samsung cũng cho ra đời công nghệ nhận diện lòng bàn tay của mình. Giữa sự phát triển như vũ bão của ngành sinh trắc học, đến năm 2019 ZKTeco ra đời phiên bản mới của công nghệ "Xác minh lòng bàn tay" - Palm Recognition. Công nghệ với khả năng xác minh từ khoảng cách lên tới 50 cm và góc nghiêng rộng tới +60° một cách cực kỳ chính xác.

Vào thang 9 năm 2019, Amazon đã thử nghiệm một công nghệ cho phép khách hàng của chuỗi cửa hàng thực phẩm Whole Food thanh toán tại quay bằng dấu lòng bàn tay. Tuy nhiên nổi bật nhất phải nói tới công ty công nghệ nổi tiếng Apple. Trong năm 2019 vừa qua, Apple đã được văn phòng Bang sáng chế và Thương hiệu Mỹ (USPTO) cấp bằng sáng chế công nghệ mới liên quan đến nghệ bảo mật thiết bị. Chiếc bằng này cho phép các thiết bi di động trong tương lai của hãng này có thé phát hiện chính xác tĩnh mạch trong lòng bàn tay người.

Theo tài liệu chỉ tiết, các thiết bị của Apple sẽ được tích hợp một hệ thống camera hong ngoại đặc biệt dưới man hình thiết bị cùng với hệ thống camera. Hệ thống camera này sau đó sẽ kết hop cùng với ánh sáng từ màn hình thiết bị để quét thông số tĩnh mạch của người dùng và so sánh với dữ liệu gốc đã được đăng ký dé nhận diện và quyết định mở khóa hay không. Apple tích hợp công nghệ nhận diện lòng bàn tay trên Apple Watch Góp mặt trong số những xu hướng công nghệ hang đầu được chuyên gia tổng kết đầu năm 2020, nhận diện lòng bàn tay đã trở thành một tính năng hàng đầu mà các ông lớn công nghệ rât mong muôn được dùng trên các sáng chê mới của mình. Bài toán nhận diện lòng bàn tay Long ban tay là khu vực từ cô tay tới các ngón tay.

Nó chứa đựng một số lượng lớn các đặc điểm như các đường chính, đặc trưng hình học, điểm delta, nếp nhăn và những đường vân hiển thị trong hình 3. Trong đó đường chính (Principal lines), nếp nhăn (Wrinkles) và đường vân (Minutiae Features) là ba đường giúp đảm bảo độ chính xác của việc nhận diện [6]. Đường chính là đường được sử dụng nhiều nhất trong bài toán nhận diện lòng bàn tay vì nó là đường dài nhất, đậm nhất và rộng nhất trên lòng ban tay. Nó đặc trưng cho các tinh năng dé phân biệt nhất trên lòng ban tay.

Nếp nhăn được coi là các mẫu đường mỏng hơn và được phần bố không đều. Các nếp nhăn này, đặc biệt là các nếp nhăn rõ rệt xung quanh các đường chính, cũng có thé đóng góp cho việc phân biệt của dấu bàn tay, tuy nhiên các nếp nhăn có thé bị thay đối theo thời gian. Các đường vân là những kết cầu đường mảnh phân bố khắp bề mặt lòng bàn tay. Khi chụp hình ảnh bàn tay, vùng quan tâm (ROI) của lòng ban tay được trích xuất.

ROI chứa thông tin quan trọng của bàn tay được sử dụng dé nhận diện. ROI chứa những thông tin quan trọng được sử dụng để nhận diện. Trước khi trích xuất tính năng, ROI được xử lý trước dé làm rõ kết cau lòng bàn tay và phân biệt với nên. Sau đó, các tính năng phân biệt trong ROI được trích xuất bằng cách sử dụng các kỹ thuật và thuật toán đa diện, từ đó xác định và nhận diện chủ sở hữu của bàn tay hoặc nhóm người quan tâm tùy thuộc vào yêu câu cụ thê của từng bài toán.

Những khó khăn và thách thức trong bài toán nhận diện lòng bàn tay Bài toán nhận diện lòng bàn tay người không phải là mới, nhưng vẫn là một bài toán khó và nhiều thách thức. Các nghiên cứu hiện tại đã tiếp tục nỗ lực đề giải quyết bài toán này, nhưng vẫn chưa đạt được kết quả mong muốn. Điều này cho thấy tính phức tap và đa diện của dấu vân và nếp nhăn trên lòng bàn tay. Có thé kế đến những khó khăn của bài toán nhận diện lòng ban tay người như sau: — Góc chụp: góc chụp ảnh lòng bàn tay ảnh hưởng lớn đến hình ảnh vân tay thu được.

Tùy thuộc góc máy anh và bàn tay mà hình ảnh có thé thay đôi đáng kể. Ví dụ như chụp thăng từ trên xuống, nghiêng trái/phải với nhiều góc khác nhau. — Điều kiện của ảnh: thiếu sáng hoặc dư sáng đều khiến ảnh mờ, khó phân biệt rõ các đường vân. Các loại máy ảnh kỹ thuật số, hồng ngoại cho hình ảnh có độ tương phản, độ sắc nét khác nhau.

Cần chọn điều kiện và thiết bị phù hợp dé có ảnh lòng bàn tay chất lượng cao. — Môi trường: bụi, ban, hoặc các chất cản trở khác có thé làm mờ hoặc che giấu các đặc điểm trên ban tay. Điều này có thé làm giảm độ chính xác và kết quả của quá trình nhận diện. — Ảnh hưởng về tuổi tác: quá trình lão hóa tự nhiên theo thời gian có thê làm thay đổi cau trúc da và hình dạng các đặc điểm vân tay.

Điều này có thé làm thay đôi tính nhất quán và độ chính xác của quá trình nhận diện. Cac lĩnh vực ứng dụng công nghệ nhận diện lòng bàn tay Công nghệ nhận diện lòng bản tay đã được áp dụng rộng rãi và hiệu quả trong nhiêu lĩnh vực. Một sô ứng dụng tiêu biêu có thê kê đên: — Ngân hàng: các máy ATM sử dụng công nghệ nhận diện lòng bàn tay dé xác thực giao dịch thay vì ding thẻ và mật khẩu. — An ninh - Pháp luật: lĩnh vực pháp y và cơ quan công an áp dụng công nghệ này trong công tác điều tra hình sự dựa trên lòng bàn tay tại các hiện trường vụ án.

— Bảo mật cá nhân: các thiết bị điện tử như điện thoại, laptop có thể dùng nhận diện lòng bàn tay thay vì mật khâu dé mở khóa và bảo vệ thông tin cá nhân. — Kiểm soát ra vào: hệ thống nhận diện lòng bàn tay được ứng dụng dé kiểm soát việc ra vào tại các tòa nhà, công ty, hoặc kết hợp với nhận dạng khuôn mặt đê điêm danh nhân viên. CƠ SỞ LÝ THUYET Phần này sẽ đi sâu hơn vào các thuật toán đã được nêu ở trên, làm rõ hơn về cơ sở lý thuyết của phần cứng cũng như phần mềm, dé từ đó có một cái nhìn tổng thể hơn về lý do tại sao lựa chọn những linh kiện, mô hình, thuật toán đó. Phát hiện lòng bàn tay và trích xuất vùng quan tâm 3.

Cơ sở lý thuyết của phát hiện lòng bàn tay Tiền xử lý là bước đầu tiên và quan trọng trong quá trình xử lý ảnh, đặc biệt trong việc nhận diện lòng bàn tay. Bước này nhằm chuẩn bị dữ liệu ảnh trước khi áp dụng các kỹ thuật xử lý khác như phân đoạn, nhận diện đối tượng hay trích xuất đặc trưng, là một trong những phan quan trọng nhất của việc nhận diện lòng ban tay. Trích xuất vùng quan tâm từ một hình ảnh lòng bàn tay giúp tăng đáng ké khả năng nhận diện của hệ thống. Vì vùng quan tâm được trích xuất yêu cầu ít sự xử lý và lưu trữ hơn.

Hình ảnh lòng bàn tay sẽ được loại bỏ nhiễu và giảm kích thước, từ đó giảm sự tính toán yêu cầu trong bài toán nhận diện vì kích thước của cơ sở dữ liệu trong bài toán đã được giảm đáng kể. Độ chính xác của thuật toán tiền xử lý rất quan trọng, vì bat kỳ lỗi nào xảy ra trong bước này đều có thé ảnh hưởng đến các bước xử lý tiếp theo và dẫn đến sai sót trong quá trình nhận diện. Việc trích xuất vùng quan tâm được tiền hành như sau: đầu tiên hình ảnh bàn tay sẽ được áp dụng bộ lọc Gausian dé loại bỏ nhiễu và làm mịn ảnh ban đầu. Sau đó chúng ta nhị phân hóa hình ảnh bàn tay bằng phương pháp phân ngưỡng ảnh [8], đây là một phương pháp hữu ích trong việc giảm tối đa ảnh hưởng của nhiễu và những thay đổi lớn trong độ sáng.

Việc phân ngưỡng ảnh dựa vào việc trong hệ màu RGB màu đen có giá trị là (0, 0, 0) và màu trắng sẽ có giá trị là (255, 255, 255). Ngưỡng là một giá trị nằm trong khoảng từ 0 đến 255, được sử dụng trong xử lý ảnh đề chia tách các giá trị độ xám của ảnh thành hai miền riêng biệt. Giá trị độ xám của mỗi điểm ảnh trong ảnh ban đầu được so sánh với giá trị ngưỡng đã chọn. Nếu giá trị độ xám nhỏ hơn giá trị ngưỡng, điểm anh sẽ thuộc vào mién thứ nhất.

Các điểm ảnh này sẽ 12 được chuyển thành giá trị của điểm ảnh đen (0, 0, 0) trong ảnh mới. Ngược lại, nếu giá trị độ xám lớn hơn hoặc bằng giá trị ngưỡng, điểm ảnh sẽ thuộc vào miễn thứ hai. Các điểm ảnh này sẽ được chuyền thành giá trị của điểm ảnh trắng (255, 255, 255) trong ảnh mới. Kết quả quá trình loại bỏ nhiễu bộ lọc Gausian và nhị phân hóa từ hình ảnh ban đầu được thể hiện ở hình 4 Hình 4.

Kết quả của quá trình nhị phân hóa hình ảnh bàn tay Tính toán trọng tâm của ảnh: đầu tiên chúng ta tính moment của ảnh, đây là một giá trị số học biéu điễn mức độ phân bó của điểm ảnh trên bức ảnh, moment ảnh mụa bậc (i,j) của ảnh xám với cường độ điểm ảnh f(,j) được tính toán như sau: Mpq = Liz =øj==ø | j* * ƒ(,7) œ@) Đối với một bức ảnh nhị phân: mạo tương ứng với tổng tat cả các điểm ảnh khác 0 theo tọa độ x, mại tương ứng với tông tất cả các điểm khác 0 theo tọa độ y và m¡¡ tương ứng với tong tat cả các điểm ảnh bat kề giá trị của chúng theo tọa độ x và y. Trọng tâm cua lòng bàn tay nhị phân hóa (X¿¿ntroia› Ycentroia) được tính toán nhờ sử dụng công thức dưới đây: mor mo Xcentroid = miu > Yeentroia = my (2) Tw đó trọng tâm của hình ảnh nhị phân được tính toán va hiển thị như hình 5 13 Hình 5. Trong tâm của hình ảnh bàn tay Tiếp theo chúng ta sẽ trích biên của ảnh nhị phân nói trên bằng phương pháp xử lý hình thái học (morphological processing). Các bước tiễn hành thực hiện: — Phép ăn mòn (Erosion): chúng ta thực hiện phép ăn mòn trên ảnh nhị phân sử dụng phần tử cấu trúc S.

— Khử nền (Background Subtraction): chúng ta thực hiện khử nền của ảnh gốc A băng cách lấy ảnh gốc A trừ đi ảnh đã thực hiện phép ăn mòn ở bước trên.