Thiết kế và thi công mô hình nhà thông minh nhận diện khuôn mặt và vân tay dùng Raspberry

Đồ án thiết kế mô hình nhà thông minh nhận diện khuôn mặt và vân tay dùng Raspberry Pi

• Tác giả: Lê Phương Tiến
• Người hướng dẫn: ThS. Võ Đức Dũng
• Trường học: Trường Đại học Công nghệ Kỹ thuật TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ Kỹ thuật Điện tử - Viễn thông
• Đề tài: Thiết kế và thi công mô hình nhà thông minh nhận diện khuôn mặt và vân tay dùng Raspberry
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2026
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Tổng quan nhận diện khuôn mặt và vân tay dùng Raspberry Pi

Mô hình nhà thông minh hiện đại đòi hỏi các giải pháp an ninh nghiêm ngặt và tiện lợi. Hệ thống nhận diện khuôn mặt kết hợp cảm biến vân tay tạo nên cơ chế xác thực kép đáng tin cậy. Nền tảng phần cứng trung tâm sử dụng bo mạch Raspberry Pi với hiệu năng xử lý tính toán mạnh mẽ. Thiết bị này quản lý luồng dữ liệu từ camera và module cảm biến vân tay AS608 một cách đồng bộ. Dữ liệu hình ảnh được xử lý qua các thuật toán thị giác máy tính để nhận dạng đối tượng nhanh chóng. Đồng thời, vân tay cung cấp lớp bảo vệ sinh trắc học vật lý không thể sao chép. Sự kết hợp hai phương thức này loại bỏ hoàn toàn các nhược điểm của chìa khóa cơ truyền thống hoặc thẻ từ. Hệ thống kích hoạt khóa cửa điện từ và servo SG90 sau khi hoàn tất xác minh danh tính. Ngoài ra, màn hình hiển thị trực quan thông tin trạng thái hoạt động theo thời gian thực. Cấu trúc phần cứng gọn gàng giúp tiết kiệm không gian lắp đặt trong các căn hộ. Mức tiêu thụ điện năng thấp là ưu điểm lớn của bo mạch máy tính nhúng này. Giải pháp mang lại trải nghiệm an toàn, hiện đại và thân thiện cho không gian sống thông minh.

1.1. Vai trò của sinh trắc học trong nhà thông minh

Công nghệ sinh trắc học giữ vị trí cốt lõi trong các hệ thống an ninh hiện đại. Phương pháp này sử dụng các đặc trưng sinh học độc nhất của mỗi cá nhân để phân quyền ra vào. Nhận diện khuôn mặt mang lại sự tiện lợi vượt bậc nhờ khả năng quét không tiếp xúc từ xa. Trong khi đó, vân tay cung cấp độ chính xác cao nhờ cấu trúc đường vân và điểm đặc trưng không thay đổi theo thời gian. Sự tích hợp song song hai yếu tố này giúp giảm thiểu tối đa nguy cơ truy cập trái phép. Mọi hành vi làm giả khuôn mặt bằng hình ảnh tĩnh hay video đều có thể bị chặn đứng bởi bước quét vân tay thứ hai. Nhờ đó, ngôi nhà được bảo vệ toàn diện trước các nguy cơ xâm nhập từ bên ngoài.

1.2. Ưu thế của bo mạch máy tính nhúng Raspberry Pi

Raspberry Pi đóng vai trò bộ não điều khiển trung tâm trong mô hình thiết kế này. Kích thước nhỏ gọn đi kèm hệ điều hành Linux tạo môi trường thuận lợi để chạy các thuật toán trí tuệ nhân tạo. Thiết bị hỗ trợ đa dạng cổng kết nối ngoại vi bao gồm GPIO, USB và giao tiếp máy ảnh CSI. Khả năng giao tiếp chuẩn UART giúp Raspberry Pi dễ dàng nhận dữ liệu từ module vân tay AS608. Đồng thời, bộ vi xử lý đa nhân cho phép tính toán các vector đặc trưng khuôn mặt nhanh chóng tại biên mà không cần máy chủ đám mây. Điều này bảo vệ quyền riêng tư dữ liệu cá nhân cho các thành viên trong gia đình. Chi phí phần cứng hợp lý giúp dự án dễ tiếp cận và triển khai trên thực tế.

II. Phân tích nhận diện khuôn mặt và vân tay dùng Raspberry Pi

Việc triển khai bảo mật trên máy tính nhúng gặp phải nhiều thách thức kỹ thuật phức tạp. Nhận diện khuôn mặt chịu ảnh hưởng lớn từ điều kiện ánh sáng môi trường thay đổi liên tục. Góc chụp lệch, biểu cảm khuôn mặt hoặc việc đeo kính có thể làm tăng tỷ lệ nhận diện sai. Trong khi đó, cảm biến vân tay quang học thường gặp khó khăn khi ngón tay bị ướt, dính bụi bẩn hoặc trầy xước. Bộ nhớ và năng lực tính toán hạn chế của Raspberry Pi cũng đặt ra bài toán lớn về hiệu năng. Việc xử lý các mô hình học sâu đòi hỏi dung lượng RAM và khả năng tản nhiệt ổn định. Nếu thuật toán quá nặng, độ trễ nhận diện sẽ tăng cao và làm giảm tính khả dụng của thiết bị. Bên cạnh đó, các cuộc tấn công giả mạo sinh trắc học ngày càng tinh vi hơn. Kẻ xấu có thể sử dụng ảnh in chất lượng cao hoặc mô hình silicon để đánh lừa hệ thống đơn lẻ. Vấn đề sụt áp nguồn khi kích hoạt đồng thời khóa điện từ và servo cũng dễ gây treo bo mạch điều khiển. Do đó, việc phân tích kỹ lưỡng các hạn chế này là tiền đề bắt buộc trước khi đưa ra kiến trúc tối ưu.

2.1. Hạn chế về tài nguyên phần cứng máy tính nhúng

Phần cứng nhúng như Raspberry Pi sở hữu cấu hình thấp hơn nhiều so với máy tính cá nhân hay máy chủ chuyên dụng. Băng thông bộ nhớ và tốc độ xử lý đồ họa là rào cản chính khi thực thi các mạng nơ-ron sâu. Khi nạp các mô hình nhận diện khuôn mặt phức tạp, thiết bị dễ gặp tình trạng quá tải CPU và quá nhiệt. Nhiệt độ tăng cao buộc vi xử lý phải hạ xung nhịp tự động, khiến hệ thống phản hồi chậm trễ. Thêm vào đó, việc phân bổ nguồn điện cho các ngoại vi công suất cao như chốt khóa từ 12V cần thiết kế cách ly chuẩn xác. Thiếu hụt nguồn cấp ổn định có thể khiến bo mạch bị khởi động lại đột ngột và mất dữ liệu hoạt động tạm thời.

2.2. Nguy cơ tấn công giả mạo và sai số nhận dạng

Mỗi phương thức sinh trắc học riêng lẻ đều tồn tại những lỗ hổng bảo mật cố hữu. Nhận diện khuôn mặt truyền thống dễ bị qua mặt bằng các bức ảnh tĩnh có độ phân giải cao hoặc màn hình điện thoại. Việc ánh sáng môi trường thay đổi giữa ngày và đêm cũng tạo ra nhiều sai số nhận diện lớn. Đối với cảm biến vân tay quang học, bụi bẩn bám trên bề mặt lăng kính có thể làm mờ đường vân ngón tay. Điều này dẫn đến tình trạng từ chối nhầm người dùng hợp lệ hoặc nhận dạng sai đối tượng lạ. Nếu không có thuật toán phát hiện thực thể sống, mức độ bảo mật sẽ suy giảm nghiêm trọng. Việc phụ thuộc vào một phương thức xác thực duy nhất do đó chứa đựng nhiều rủi ro an ninh.

III. Phương pháp nhận diện khuôn mặt và vân tay dùng Raspberry Pi

Giải pháp toàn diện là thiết kế hệ thống xác thực hai lớp đồng bộ hóa phần cứng và phần mềm. Quy trình bắt đầu bằng bước thu thập ảnh từ camera chuyên dụng của Raspberry Pi. Thuật toán phát hiện khuôn mặt tiến hành cắt vùng ảnh và chuẩn hóa kích thước chuẩn. Tiếp theo, mạng nơ-ron học sâu DNN hoặc CNN trích xuất các vector đặc trưng khuôn mặt với độ chính xác cao. Dữ liệu này được đối chiếu với cơ sở dữ liệu đã mã hóa cục bộ. Khi khuôn mặt được xác nhận, hệ thống kích hoạt cảm biến vân tay AS608 để kiểm tra lớp thứ hai. Cảm biến quét vân tay, trích xuất các điểm đặc trưng minutiae và so khớp trong thời gian dưới một giây. Khi cả hai điều kiện sinh trắc học đều thỏa mãn, Raspberry Pi phát tín hiệu điều khiển kích hoạt relay mở chốt cửa điện từ 12V. Động cơ servo SG90 đồng thời gạt chốt phụ trợ tạo chuyển động cơ khí êm ái. Toàn bộ thông báo được hiển thị trên màn hình LCD và loa buzzer phát tín hiệu xác nhận âm thanh. Cấu trúc nguồn cấp được phân tách rõ ràng bằng hai adapter riêng biệt nhằm tránh hiện tượng sụt áp nguồn.

3.1. Thuật toán trích xuất đặc trưng và nhận diện khuôn mặt

Thuật toán thị giác máy tính đóng vai trò quyết định trong việc nhận diện danh tính qua khuôn mặt. Quy trình bắt đầu bằng bước phát hiện và căn chỉnh vùng mặt từ luồng video thu nhận được. Mô hình học sâu DNN phân tích các đường nét cấu trúc và chuyển đổi thành vector đặc trưng số học. Kỹ thuật trích xuất đặc trưng giúp giảm chiều dữ liệu nhưng vẫn giữ lại các thông tin phân biệt then chốt. Tiếp theo, hệ thống tính toán khoảng cách Euclidean giữa vector khuôn mặt hiện tại và các vector đã lưu trong cơ sở dữ liệu mẫu. Nếu khoảng cách nhỏ hơn ngưỡng thiết lập, danh tính người dùng được xác nhận hợp lệ. Phương pháp này duy trì độ chính xác cao và giảm bớt gánh nặng tính toán cho vi xử lý.

3.2. Quy trình tích hợp module vân tay và chấp hành ngoại vi

Module cảm biến vân tay AS608 kết nối trực tiếp với Raspberry Pi qua cổng giao tiếp nối tiếp UART. Bộ vi xử lý tích hợp bên trong AS608 tự đảm nhiệm việc chụp ảnh vân tay và trích xuất điểm minutiae. Khi phát hiện thao tác đặt ngón tay, cảm biến gửi lệnh so khớp về bo mạch chủ với độ trễ rất thấp. Tiếp theo, hệ điều hành xử lý logic kích hoạt các chân điều khiển tín hiệu GPIO. Chân tín hiệu đóng relay để mở khóa chốt điện từ hoạt động ở điện áp 12V. Song song đó, tín hiệu điều chế độ rộng xung PWM được gửi đến động cơ servo SG90 để mở then cơ học. Màn hình hiển thị trạng thái chào mừng và còi buzzer phát âm báo thành công. Mọi tiến trình điều khiển diễn ra tự động và khép kín.

IV. Ứng dụng thực tế nhận diện khuôn mặt và vân tay dùng Raspberry Pi

Hệ thống kiểm soát ra vào đa sinh trắc học đem lại giá trị ứng dụng to lớn trong đời sống thực tế. Giải pháp này phù hợp cho căn hộ gia đình, văn phòng công ty và phòng thí nghiệm công nghệ. Kiến trúc phần cứng mở trên Raspberry Pi cho phép chủ sở hữu dễ dàng mở rộng và nâng cấp tính năng. Thiết bị có thể liên kết trực tiếp với các nền tảng nhà thông minh phổ biến như Home Assistant hoặc MQTT. Người quản trị có thể theo dõi lịch sử đóng mở cửa từ xa qua mạng nội bộ hoặc ứng dụng di động. Tốc độ nhận diện nhanh cùng độ tin cậy cao giúp tối ưu hóa thời gian di chuyển của người dùng. Nguy cơ thất lạc chìa khóa hay bị sao chép thẻ từ hoàn toàn được loại bỏ. Trong tương lai, mô hình có thể tích hợp thêm camera hồng ngoại nhằm nâng cao khả năng nhận dạng vào ban đêm. Việc áp dụng các thuật toán nén mô hình cũng sẽ cải thiện tốc độ xử lý trên máy tính nhúng. Đây là giải pháp an ninh hiệu quả, bền vững và tiết kiệm chi phí cho các công trình hiện đại.

4.1. Khả năng kết nối hệ sinh thái nhà thông minh và IoT

Mô hình Raspberry Pi dễ dàng hòa mạng cùng các thiết bị IoT khác trong gia đình thông minh. Qua giao thức MQTT hoặc kết nối Wi-Fi, bo mạch có thể truyền dữ liệu trạng thái cửa về máy chủ quản lý trung tâm. Người dùng nhận được thông báo tức thì khi có ai đó mở cửa thành công hoặc có đối tượng cố tình truy cập trái phép. Hệ thống còn có thể phối hợp nhịp nhàng với đèn chiếu sáng và điều hòa không khí. Khi nhận diện đúng chủ nhân bước vào, phòng khách sẽ tự động bật đèn và kích hoạt máy lạnh theo kịch bản cài đặt trước. Khả năng tích hợp linh hoạt này nâng cao tiện nghi và giá trị sử dụng lâu dài cho ngôi nhà.

4.2. Định hướng phát triển và tối ưu hóa hệ thống tương lai

Tiềm năng hoàn thiện của hệ thống trong tương lai vẫn còn rất rộng mở. Việc tích hợp cảm biến đo nhiệt độ cơ thể hoặc phát hiện thực thể sống (liveness detection) sẽ loại bỏ nguy cơ sử dụng ảnh in giả mạo. Ngoài ra, việc bổ sung đèn chiếu hồng ngoại giúp camera duy trì khả năng nhận diện chính xác ngay cả trong điều kiện thiếu sáng hoặc ban đêm. Về mặt phần mềm, các mô hình học sâu có thể được tối ưu hóa thông qua kỹ thuật lượng tử hóa (quantization) để chạy nhanh hơn trên Raspberry Pi. Các nâng cấp này giúp hệ thống hoạt động ổn định, tiết kiệm năng lượng và đáp ứng các tiêu chuẩn an ninh công nghiệp khắt khe nhất.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Quản lý truy cập và giám sát an ninh là quy trình nghiệp vụ cơ bản, thiết yếu trong nhiều hệ sinh thái dân dụng và công trình nhà ở thông minh. Các phương thức kiểm soát truyền thống như khóa cơ khí hoặc thẻ từ (RFID) tồn tại nhiều điểm hạn chế: chìa khóa cơ dễ thất lạc, không lưu trữ được nhật ký ra vào, trong khi thẻ từ tiềm ẩn nguy cơ bị sao chép hoặc chuyển giao trái phép. Bên cạnh đó, các hệ thống nhận diện sinh trắc học khuôn mặt hiệu năng cao thường đòi hỏi máy chủ tính toán mạnh hoặc máy tính cá nhân (PC) đắt tiền, gây khó khăn về chi phí và tính linh hoạt khi triển khai ở quy mô hộ gia đình.

Nhằm giải quyết bài toán kiểm soát an ninh tại biên với chi phí tối ưu, đồ án tốt nghiệp "Thiết kế và thi công mô hình nhà thông minh nhận diện khuôn mặt và vân tay dùng Raspberry" của sinh viên Lê Phương Tiến và Nguyễn Việt Anh (ngành Công nghệ Kỹ thuật Điện tử - Viễn thông, Trường Đại học Công nghệ Kỹ thuật TP. Hồ Chí Minh) đã đề xuất mô hình tích hợp hai phương thức sinh trắc học trên nền tảng máy tính nhúng giá rẻ.

Mục tiêu nghiên cứu của đề tài gồm các điểm cụ thể:

1. Thiết kế và thi công hoàn chỉnh mô hình nhà thông minh tích hợp nhận diện khuôn mặt và vân tay.
2. Ứng dụng bo mạch Raspberry Pi thu nhận hình ảnh từ Camera Pi và dữ liệu vân tay từ module AS608 để xử lý bằng ngôn ngữ Python.
3. Điều khiển cơ cấu chấp hành tự động mở khóa cửa khi danh tính xác thực thành công.
4. Đồng bộ dữ liệu lịch sử truy cập lên nền tảng đám mây Firebase và tự động lưu trữ thông tin người dùng vào Google Sheets.

Nhiệm vụ nghiên cứu được phân chia thành 8 nội dung kỹ thuật:

1. Tìm hiểu bo mạch Raspberry Pi 3 Model B+ và môi trường lập trình Python.
2. Tổng quan về kỹ thuật xử lý ảnh số và các thuật toán nhận diện khuôn mặt.
3. Xây dựng chương trình nhận diện khuôn mặt.
4. Lập trình điều khiển các khối ngoại vi trên kit nhúng.
5. Nghiên cứu giao thức và phương thức truyền nhận dữ liệu lên Firebase.
6. Thi công lắp ráp phần cứng, vận hành thử nghiệm và hiệu chỉnh hệ thống.
7. Soạn thảo báo cáo đồ án tốt nghiệp.
8. Báo cáo, bảo vệ đồ án tốt nghiệp.

Đối tượng nghiên cứu là hệ thống nhận diện sinh trắc học đa phương thức (khuôn mặt và vân tay) kết hợp cơ cấu điều khiển đóng/mở cửa tự động. Phạm vi nghiên cứu của đề tài giới hạn trong quy mô hộ gia đình với cơ sở dữ liệu định danh thử nghiệm gồm 5 người. Các giới hạn kỹ thuật được tác giả xác định bao gồm: hệ thống hoạt động tối ưu trong điều kiện ánh sáng ổn định (không khảo sát sâu sự biến thiên phức tạp giữa ngày và đêm); góc nhìn của người dùng phải trực diện với camera và khuôn mặt không bị che khuất trong quá trình nhận dạng.

Cơ sở lý thuyết và phương pháp

Đề tài kết hợp lý thuyết thị giác máy tính, mạng nơ-ron học sâu, kỹ thuật xử lý sinh trắc học vân tay và giao thức truyền thông đám mây.

Quy trình nhận diện khuôn mặt được triển khai qua 4 giai đoạn chuẩn:

• Phát hiện khuôn mặt (Face Detection): Định vị và trích xuất vùng khuôn mặt khỏi khung hình. Văn bản đối chiếu giữa phương pháp Haar Cascades, HOG + SVM và mô hình học sâu. Trong đó, mô hình ResNet-10 SSD (Single Shot MultiBox Detector) được chọn làm công cụ phát hiện chính. Mô hình sử dụng mạng ResNet-10 làm mạng xương sống (backbone) để trích xuất đặc trưng đa tầng với các kết nối tắt (skip connections) hạn chế hiện tượng triệt tiêu đạo hàm, kết hợp cùng đầu dò SSD (Detection Head) sinh các hộp neo (default boxes/anchor boxes) đa tỉ lệ. Thuật toán áp dụng hàm mất mát đa nhiệm (Multi-task Loss) gồm mất mát định vị (Localization Loss - Smooth L1) và mất mát phân loại (Confidence Loss), đồng thời sử dụng thuật toán Non-Maximum Suppression (NMS) để loại bỏ các khung bao trùng lặp.
• Căn chỉnh và tiền xử lý (Face Alignment & Preprocessing): Sử dụng các điểm mốc hình học để cân chỉnh tư thế chuẩn qua phép biến đổi Affine, cân bằng lược đồ xám nhằm chuẩn hóa ánh sáng và chuyển đổi kích thước ảnh về chuẩn cố định.
• Trích xuất đặc trưng (Feature Extraction): Thuật toán Histogram of Oriented Gradients (HOG) do Navneet Dalal và Bill Triggs đề xuất (2005) được ứng dụng để mô tả cấu trúc hình thái cục bộ. Ảnh được chia thành các ô (cells), tính toán độ lớn và hướng gradient tại từng điểm ảnh, lập biểu đồ phân bố vào các bin, sau đó ghép thành các khối (blocks) để chuẩn hóa độ tương phản.
• Phân loại và nhận diện (Matching and Recognition): Sử dụng mạng nơ-ron sâu DNN (Deep Neural Network) với kiến trúc ba thành phần (lớp đầu vào, các lớp ẩn và lớp đầu ra), hoạt động theo cơ chế lan truyền tiến và tối ưu trọng số bằng lan truyền ngược. Hệ thống tính toán khoảng cách Euclidean giữa vector đặc trưng trích xuất và cơ sở dữ liệu để so khớp danh tính.

Lý thuyết nhận dạng vân tay dựa trên cấu trúc các đường gờ và rãnh da đầu ngón tay. Hệ thống phân tích ba dạng vân tay cơ bản (Loop, Whorl, Arch) và trích xuất các điểm đặc trưng cục bộ (minutiae), chủ yếu là điểm kết thúc đường vân (ridge ending) và điểm phân nhánh đường vân (ridge bifurcation). Quy trình xử lý bao gồm lọc nhiễu, tăng cường độ tương phản, chuẩn hóa ảnh, làm mảnh đường vân và so khớp vector minutiae. Hiệu năng được đánh giá thông qua tỉ lệ chấp nhận sai (FAR) và từ chối sai (FRR).

Nền tảng lưu trữ và quản lý dữ liệu sử dụng dịch vụ đám mây Google Firebase, bao gồm Firebase Realtime Database tổ chức theo cấu trúc cây JSON NoSQL và Cloud Firestore dạng tài liệu. Nền tảng đảm bảo cơ chế đồng bộ thời gian thực thông qua Internet và hỗ trợ phân quyền bằng quy tắc bảo mật (Security Rules).

Phương pháp nghiên cứu thực nghiệm được áp dụng thông qua việc xây dựng mô hình phần cứng thực tế, lập trình điều khiển nhúng trên Python với thư viện face_recognition, kết nối VNC từ máy tính và thực hiện các chuỗi kiểm thử chức năng với các biến số về môi trường ánh sáng và số lần xác thực lặp lại.

Thiết kế và triển khai

Hệ thống được thiết kế theo cấu trúc module hóa gồm 10 khối chức năng:

• Khối điều khiển trung tâm: Bo mạch Raspberry Pi 3 Model B+ đóng vai trò xử lý toàn bộ thuật toán nhận dạng và phát tín hiệu điều khiển.
• Khối thu nhận hình ảnh: Module Camera Pi V3 gắn trực tiếp qua chuẩn giao tiếp MIPI CSI.
• Khối cảm biến vân tay: Module AS608 tích hợp bộ xử lý DSP nhận dạng cục bộ, giao tiếp với bo mạch qua chuẩn UART.
• Khối relay điều khiển: Đóng/ngắt nguồn điện cho cơ cấu khóa từ thông qua transistor kích và cách ly quang.
• Khối hiển thị: Màn hình cảm ứng LCD 7 inch IPS HDMI hiển thị giao diện người dùng và trạng thái xác thực.
• Khối truyền và lưu trữ dữ liệu: Module Wi-Fi tích hợp trên Raspberry Pi đồng bộ với Firebase và Google Sheets.
• Khối nút nhấn: Nút cơ học gắn tại mặt trong cửa, cho phép mở cửa chủ động không qua sinh trắc học.
• Khối động cơ và khóa: Chốt khóa điện từ 12V kết hợp động cơ servo SG90 điều khiển chốt an toàn.
• Khối còi báo: Buzzer 5V phát tín hiệu âm thanh cảnh báo khi có truy cập bất hợp pháp.
• Khối nguồn: Hệ thống cấp nguồn kép cách ly, gồm Adapter 5.1V - 3A (cổng Micro USB) cho bo mạch trung tâm và bộ nguồn tổ ong 12V - 2A cho các tải công suất.

Tác giả tiến hành so sánh thông số kỹ thuật giữa các nền tảng nhúng nhằm xác định phương án phần cứng tối ưu:

Tiêu chí so sánh	Raspberry Pi	Arduino	Các kit vi điều khiển ARM
Tốc độ xử lý	700 MHz – 2.4 GHz	16 – 20 MHz	48 – 80 MHz
Số lượng chân kết nối	40 chân	16 – 50 chân (tùy loại)	> 20 chân (tùy loại)
Cổng kết nối ngoại vi	Đa dạng (CSI, DSI, HDMI, USB, LAN)	Chỉ qua chân I/O tiêu chuẩn	Tùy loại kit, chủ yếu qua chân cắm
Kích thước vật lý	Nhỏ gọn	Nhỏ gọn	Nhỏ gọn
Giá thành tương đối	Tương đối cao	Thấp	Thấp đến trung bình

Raspberry Pi 3 Model B+ được lựa chọn nhờ cấu hình phần cứng: vi xử lý Broadcom BCM2837B0 64-bit 4 nhân ARM Cortex-A53 xung nhịp 1.4 GHz, đồ họa VideoCore-IV, RAM 1GB LPDDR2, Wi-Fi băng tần kép 2.4GHz/5GHz chuẩn 802.11ac, Bluetooth 4.2 BLE và 40 chân GPIO. Chân điều khiển Relay được gán vào GPIO 17; các chân UART TX/RX kết nối cảm biến vân tay lần lượt tại GPIO 14 và GPIO 15.

Module Camera Pi 3 sử dụng cảm biến Sony IMX708, độ phân giải 11.9 Megapixel (kích thước ảnh cực đại 4608 × 2592 pixel), kích thước điểm ảnh 1.4 µm, hỗ trợ lấy nét tự động theo pha (PDAF) và dải động cao (HDR), góc nhìn chéo 75° và góc nhìn ngang 66°.

Trong mạch kích relay trung gian, tác giả tính toán các thông số phân cực bán dẫn với cuộn dây relay có điện trở $R_{\text{relay}} = 69,\Omega$, điện áp kích 5V, transistor NPN D468 có hệ số khuếch đại dòng tối thiểu $\beta = 85$:

• Dòng điện cực thu bão hòa: $I_C = \frac{V_{CC} - V_{CE}}{R_{\text{relay}}} = \frac{5 - 0.7}{69} \approx 62.32\text{ mA}$.
• Dòng kích cực gốc tối thiểu: $I_B = \frac{I_C}{\beta} = \frac{62.32}{85} \approx 0.73\text{ mA}$.
• Dòng điều khiển thực tế từ chân GPIO được cấu hình chọn ở mức $I_B = 5\text{ mA}$ nhằm đảm bảo transistor luôn dẫn bão hòa sâu. Diode bảo vệ mắc song song ngược với cuộn dây là loại 1N4007 chịu điện áp ngược 700V.

Bảng tổng hợp danh mục linh kiện phần cứng thi công mô hình:

STT	Tên linh kiện	Số lượng	Thông số điện áp - Dòng điện	Dạng đóng gói	Chú thích kỹ thuật
1	Raspberry Pi	1	5V – 2.5A	Kit nhúng	Model 3B+
2	Camera Pi	1	5V – 0.25A	Module camera	Module V3 (Sony IMX708)
3	Module 1 Relay Opto	1	5V – 0.08A	Module	Cách ly quang, dòng kích 5mA
4	Chốt khóa điện từ	1	12V – 0.8A	Hợp kim	Cơ cấu khóa đóng/mở cửa
5	Màn hình LCD (C)	1	5V – 3A	Module	7 inch HDMI, cảm ứng điện dung
6	Cảm biến vân tay AS608	1	3.3V – 5V (0.4A)	Module	Giao tiếp UART
7	Động cơ Servo SG90	1	5V	Nhựa	Cơ cấu xoay hỗ trợ chốt
8	Còi Buzzer	1	5V – 25mA	Nhựa	Còi chip chủ động
9	Nút nhấn nhả tròn	1	250VAC – 3A	Nhựa	Nút mở cửa thủ công
10	Dây dẫn kết nối	-	-	Bọc nhựa	Dây cắm đực - cái, đực - đực
11	Nguồn Adapter	2	Điện lưới dân dụng	Bộ nguồn vỏ nhựa / kim loại	01 nguồn 5.1V 3A, 01 nguồn 12V 2A

Quy trình phần mềm được tổ chức thành 4 phân hệ chính:

• Điểm danh khuôn mặt: Camera thu nhận luồng video thời gian thực, thuật toán ResNet-10 SSD định vị vùng mặt, trích xuất đặc trưng HOG và mạng DNN so khớp khoảng cách với vector lưu sẵn. Nếu trùng khớp, chân GPIO 17 xuất tín hiệu kích relay mở chốt cửa, hiển thị lời chào trên LCD và đẩy thời gian điểm danh lên Firebase cùng Google Sheets. Nếu không nhận diện được, hệ thống hiển thị thông báo từ chối.
• Quản lý khuôn mặt (Admin): Giao diện cho phép nhập mã định danh (ID), tên người dùng mới, kích hoạt camera chụp chuỗi ảnh mẫu để trích xuất đặc trưng bổ sung vào tập dữ liệu hoặc chọn hồ sơ để xóa.
• Điểm danh vân tay: Module AS608 quét bề mặt vân tay, so khớp mẫu minutiae với thư viện nội tại. Khi xác thực thành công, hệ thống kích hoạt mở cửa và gửi bản ghi định danh. Nếu xác thực thất bại quá 5 lần liên tiếp, hệ thống phát âm thanh cảnh báo qua buzzer và khóa chức năng nhận dạng tạm thời nhằm ngăn chặn hành vi xâm nhập.
• Quản lý vân tay (Admin): Cho phép quản trị viên đăng ký vân tay mới qua hai lần lấy mẫu liên tiếp gán với ID và xóa vân tay theo ID đã lưu.

Nội dung chính theo từng chương

Chương 1 - Tổng quan

Chương 1 trình bày lý do chọn đề tài dựa trên sự hạn chế của các phương pháp an ninh cơ học truyền thống và xu hướng ứng dụng thị giác máy tính vào nhà thông minh. Tác giả xác định rõ mục tiêu thiết kế hệ thống nhận diện khuôn mặt và vân tay trên máy tính nhúng Raspberry Pi, giới hạn bài toán trong phạm vi cơ sở dữ liệu gia đình (5 người) dưới điều kiện ánh sáng ổn định và xác lập cấu trúc đồ án gồm 6 chương cùng 8 nhiệm vụ nghiên cứu cụ thể.

Chương 2 – Cơ sở lý thuyết

Chương này phân tích chi tiết cơ sở khoa học của các thuật toán và thiết bị sử dụng:

• Quy trình 4 bước của bài toán nhận diện khuôn mặt: phát hiện, căn chỉnh, trích xuất đặc trưng và so khớp.
• Nguyên lý thuật toán HOG trong việc phân tích độ lớn và hướng gradient trên từng cell, chuẩn hóa block để tạo vector đặc trưng hình thái.
• Kiến trúc mạng nơ-ron tích chập ResNet-10 SSD với cơ chế residual learning, các lớp dự đoán đa tỉ lệ và hàm tổn thất kết hợp Smooth L1 và Confidence Loss.
• Cấu trúc mạng học sâu DNN với cơ chế lan truyền tiến và lan truyền ngược trong bài toán phân loại danh tính.
• Lý thuyết sinh trắc học vân tay, cấu tạo các mẫu hình (Loop, Whorl, Arch) và các điểm minutiae (điểm kết thúc, điểm phân nhánh).
• Kiến trúc cơ sở dữ liệu thời gian thực Firebase và giao thức đồng bộ dữ liệu NoSQL đám mây.
• Giới thiệu cấu hình phần cứng Raspberry Pi 3 Model B+, sơ đồ 40 chân GPIO và cảm biến Camera Pi Module 3 dùng chip Sony IMX708.

Chương 3 – Tính toán và thiết kế

Chương 3 xây dựng sơ đồ khối toàn diện của hệ thống với 10 khối chức năng độc lập. Tác giả lập bảng so sánh kỹ thuật giữa ba họ vi điều khiển/nhúng (Raspberry Pi, Arduino, ARM) để chứng minh tính phù hợp của Raspberry Pi 3B+. Nội dung chương đưa ra các tính toán điện học chi tiết cho mạch kích relay dùng transistor NPN D468 (dòng bão hòa $I_C = 62.32\text{ mA}$, dòng phân cực $I_B = 5\text{ mA}$), tính chọn diode dập xung ngược 1N4007, thiết kế ghép nối màn hình cảm ứng LCD 7 inch HDMI, module vân tay AS608 qua cổng nối tiếp và giải pháp cách ly nguồn giữa tải 12V (nguồn tổ ong 12V 2A) với mạch logic 5V (adapter 5.1V 3A).

Chương 4: Thi công mô hình hệ thống

Chương 4 mô tả quá trình lắp ráp phần cứng vật lý dựa trên danh mục 11 nhóm linh kiện cấu thành và lập trình hệ thống. Tác giả thiết lập quy trình thi công qua 6 bước tuần tự từ gắn kết ngoại vi, cấp nguồn, đấu dây tín hiệu đến kiểm tra góc nhìn camera và hiệu chỉnh vị trí. Về mặt phần mềm, chương trình bày các lưu đồ giải thuật chi tiết cho 4 tác vụ: quy trình điểm danh bằng khuôn mặt, giao diện quản trị khuôn mặt, quy trình quét điểm danh vân tay (tích hợp cơ chế khóa và báo động còi khi nhận diện sai quá 5 lần) và quy trình thêm/xóa mẫu vân tay quản trị.

Chương 5 – Kết quả, nhận xét và đánh giá

Chương 5 ghi nhận kết quả thử nghiệm thực tế của mô hình hệ thống thông qua việc vận hành giao diện đồ họa, khả năng kích đóng ngắt chốt khóa điện từ, hiển thị thông tin xác thực trên màn hình LCD, đồng bộ lịch sử truy cập lên Firebase và ghi dữ liệu vào Google Sheets. Hiệu năng nhận dạng được đo đạc và thống kê qua các bảng số liệu thực nghiệm:

• Bảng thống kê kết quả xác thực khuôn mặt trong điều kiện ánh sáng bình thường (thực hiện 10 lần đo cho từng đối tượng).
• Bảng thống kê kết quả xác thực khuôn mặt trong điều kiện thiếu sáng (thực hiện 10 lần đo cho từng đối tượng).
• Bảng thống kê kết quả nhận dạng của cảm biến vân tay AS608.

Chương 6 – Kết luận và hướng phát triển

Chương cuối tổng kết toàn bộ các kết quả đạt được về mặt chế tạo mô hình phần cứng, tích hợp thuật toán xử lý ảnh trên môi trường nhúng và kết nối cơ sở dữ liệu thời gian thực. Tác giả đánh giá mức độ hoàn thành so với mục tiêu ban đầu, đồng thời chỉ ra các hạn chế kỹ thuật hiện hữu và định hướng các nội dung cần tiếp tục nghiên cứu nâng cấp hệ thống.

Kết quả và đóng góp

Về kết quả thực nghiệm phần cứng và phần mềm:

• Hệ thống đã hoàn thiện việc lắp ráp mô hình vật lý hoàn chỉnh, kết nối đồng bộ giữa bo mạch Raspberry Pi 3B+, Camera Pi V3, cảm biến AS608, màn hình LCD 7 inch và cơ cấu chốt khóa từ 12V.
• Xây dựng thành công giao diện người dùng hiển thị trực quan thông tin định danh (ID, tên người dùng, trạng thái mở cửa).
• Tích hợp thành công cơ chế đồng bộ dữ liệu thời gian thực lên Firebase Realtime Database và lưu vết nhật ký ra vào trên Google Sheets.
• Thiết lập cơ chế bảo mật an toàn cho module vân tay: hệ thống kích hoạt chuông báo động buzzer và tự động khóa chức năng xác thực khi người dùng nhập sai vân tay quá 5 lần liên tiếp.

Về số liệu kiểm thử: Tác giả đã tiến hành thử nghiệm nghiệm thu nhận diện khuôn mặt qua hai tập mẫu đối tượng độc lập (Đối tượng 1 và Đối tượng 2), mỗi đối tượng được kiểm tra lặp lại 10 lần trong hai kịch bản môi trường khác biệt:

1. Điều kiện ánh sáng bình thường: Hệ thống ghi nhận độ ổn định nhận diện cao, tỷ lệ nhận dạng thành công đạt mức đáp ứng tốt yêu cầu thực tế.
2. Điều kiện thiếu sáng: Thời gian phản hồi và độ chính xác của quá trình phát hiện/so khớp bị suy giảm cục bộ do suy hao độ tương phản của ảnh thu nhận từ camera.
3. Module cảm biến vân tay AS608 cho kết quả nhận dạng ổn định, thời gian xác thực nhanh do sử dụng vi xử lý DSP chuyên dụng tích hợp sẵn bên trong cảm biến.

Đóng góp của đồ án:

• Chứng minh tính khả thi của việc triển khai các mô hình thị giác máy tính học sâu (ResNet-10 SSD, trích xuất HOG kết hợp mạng nơ-ron DNN) trực tiếp trên nền tảng máy tính nhúng tài nguyên hạn chế (Raspberry Pi 3B+ với 1GB RAM) mà không cần phụ thuộc vào máy chủ xử lý trung tâm đắt tiền.
• Kết hợp song song hai phương thức sinh trắc học độc lập (khuôn mặt và vân tay) giúp nâng cao mức độ tin cậy trong bài toán kiểm soát cửa tự động.
• Cung cấp mô hình tính toán thiết kế phần cứng hoàn chỉnh cho giao tiếp ngoại vi công suất (mạch kích transistor cho relay, chống dòng ngược) và cách ly nguồn bảo vệ vi xử lý.

Hạn chế và hướng nghiên cứu tiếp

Các hạn chế được văn bản đề cập bao gồm:

• Hiệu năng xử lý của Raspberry Pi 3 Model B+ còn hạn chế (RAM 1GB), dễ dẫn đến tình trạng suy giảm tốc độ xử lý khi phải chạy đồng thời các mô hình học sâu nhận diện ảnh nặng và các tác vụ giao diện, truyền thông.
• Độ bền và tốc độ truy xuất của hệ thống phụ thuộc vào thẻ nhớ microSD.
• Chất lượng nhận diện khuôn mặt bị ảnh hưởng đáng kể bởi điều kiện chiếu sáng môi trường; khả năng nhận diện suy giảm trong điều kiện thiếu sáng hoặc ban đêm.
• Mô hình chỉ hoạt động chính xác khi người dùng đứng ở góc nhìn trực diện và khuôn mặt không bị che chắn bởi phụ kiện.
• Toàn bộ mạch điều khiển được kết nối bằng dây cắm rời trên mô hình thí nghiệm, chưa được thiết kế và chế tạo thành bo mạch in (PCB) nguyên khối chuyên dụng.

Hướng phát triển tiếp theo của đề tài:

• Nâng cấp phần cứng máy tính nhúng lên các thế hệ có năng lực tính toán và dung lượng bộ nhớ cao hơn để cải thiện tốc độ khung hình và thời gian suy luận.
• Tích hợp thêm cảm biến hồng ngoại hoặc đèn trợ sáng chuyên dụng nhằm đảm bảo khả năng nhận diện khuôn mặt ổn định trong môi trường ban đêm hoặc điều kiện ánh sáng yếu.
• Mở rộng tập dữ liệu huấn luyện và tối ưu hóa mô hình mạng nơ-ron để nhận diện tốt khuôn mặt ở các góc nghiêng khác nhau hoặc khi có vật che khuất một phần.
• Thiết kế mạch in chuẩn công nghiệp (PCB) tích hợp toàn bộ các khối chức năng nhằm tăng tính thẩm mỹ, độ ổn định cơ điện và khả năng ứng dụng thực tế.

Giá trị tham khảo

Tài liệu đồ án mang lại giá trị tham khảo thiết thực cho sinh viên và kỹ sư thuộc các chuyên ngành Kỹ thuật Điện tử - Viễn thông, Công nghệ Kỹ thuật Máy tính, Tự động hóa và Công nghệ Thông tin đang thực hiện các đề tài về Internet vạn vật (IoT), Hệ thống nhúng và Thị giác máy tính ứng dụng.

Nội dung đặc biệt hữu ích gồm:

• Phương pháp tính toán chi tiết mạch phân cực cho transistor NPN đóng cắt relay công suất từ chân GPIO vi điều khiển tại Chương 3.
• Quy trình tích hợp phần cứng và cấu hình camera chuẩn CSI độ phân giải cao (Sony IMX708) trên hệ điều hành Linux của Raspberry Pi.
• Kiến trúc kết hợp giữa thuật toán phát hiện đối tượng ResNet-10 SSD với trích xuất đặc trưng HOG và phân loại DNN cho các thiết bị tính toán tại biên.
• Giải pháp liên kết và đồng bộ trạng thái thiết bị phần cứng lên cơ sở dữ liệu thời gian thực Firebase và Google Sheets qua ngôn ngữ Python.

Câu hỏi thường gặp

Hệ thống sử dụng mô hình học sâu nào cho giai đoạn phát hiện và nhận diện khuôn mặt?
Hệ thống sử dụng mô hình ResNet-10 SSD (Single Shot MultiBox Detector) với mạng xương sống ResNet-10 kết hợp đầu dò SSD để phát hiện khuôn mặt, sau đó áp dụng thuật toán trích xuất đặc trưng Histogram of Oriented Gradients (HOG) và mô hình mạng nơ-ron sâu Deep Neural Network (DNN) để phân loại và nhận diện danh tính.

Mạch kích điều khiển Relay từ chân GPIO 17 của Raspberry Pi sử dụng linh kiện bán dẫn nào và được tính toán như thế nào?
Mạch sử dụng transistor NPN loại D468 và diode triệt xung ngược 1N4007. Cuộn dây relay có điện trở $69,\Omega$, dòng cực thu bão hòa tính toán là $I_C = 62.32\text{ mA}$. Với hệ số khuếch đại tối thiểu $\beta = 85$, dòng cực gốc lý thuyết cần đạt $I_B \ge 0.73\text{ mA}$. Tác giả đã thiết kế cấu hình dòng điều khiển từ chân GPIO ở mức $I_B = 5\text{ mA}$ để đảm bảo transistor dẫn bão hòa hoàn toàn.

Cơ chế phòng ngừa truy cập trái phép đối với cảm biến vân tay AS608 được thiết lập ra sao?
Khi người dùng quét sai vân tay liên tiếp quá 5 lần, hệ thống sẽ kích hoạt khối còi buzzer 5V phát âm thanh cảnh báo an ninh, đồng thời tự động khóa chức năng xác thực của hệ thống nhằm ngăn chặn các hành vi xâm nhập cố ý.

Dữ liệu điểm danh và thông tin người dùng được quản lý và lưu trữ trên những dịch vụ nào?
Dữ liệu trạng thái xác thực và lịch sử điểm danh theo thời gian thực được đồng bộ lên nền tảng đám mây Google Firebase (sử dụng Firebase Realtime Database dạng NoSQL JSON), đồng thời danh sách thông tin người dùng được lưu trữ và ghi nhận tự động vào Google Sheets.

Vì sao hệ thống cần sử dụng hai bộ nguồn riêng biệt?
Hệ thống sử dụng Adapter 5.1V - 3A chuyên dụng qua cổng Micro USB để nuôi bo mạch Raspberry Pi và các module logic (3.3V - 5V), đồng thời sử dụng thêm bộ nguồn tổ ong 12V - 2A riêng biệt để cấp cho chốt khóa điện từ (tiêu thụ dòng khoảng 0.8A) nhằm cách ly xung nhiễu điện từ và tránh hiện tượng sụt áp gây khởi động lại bộ điều khiển trung tâm.

Kết luận

Đồ án tốt nghiệp của Lê Phương Tiến và Nguyễn Việt Anh đã thiết kế và thi công hoàn chỉnh mô hình nhà thông minh kết hợp hai phương thức nhận diện sinh trắc học khuôn mặt và vân tay trên nền tảng Raspberry Pi 3 Model B+. Hệ thống làm chủ được chuỗi xử lý từ thu nhận hình ảnh qua Camera Pi V3, xử lý thuật toán ResNet-10 SSD kết hợp HOG/DNN, đến điều khiển đóng mở khóa cửa và đồng bộ dữ liệu đám mây qua Firebase. Mặc dù vẫn còn những giới hạn về năng lực tính toán biên và độ ổn định trong môi trường thiếu sáng, nghiên cứu đã chứng minh tính ứng dụng thực tiễn cao của trí tuệ nhân tạo nhúng trong các giải pháp an ninh dân dụng chi phí thấp.

Trích đoạn nội dung tài liệu

Chương 1 - Tổng Quan: Trong chương này, nhóm thực hiện trình bày khái quát về xu hướng phát triển, nguyên nhân chọn đề tài, xác định mục tiêu cần thực hiện trong đề tài và giới hạn công việc. Chương 2 – Cơ Sở Lý Thuyết: Giới thiệu đầy đủ về các kiến thức nền tảng cũng như công nghệ và phần mềm được sử dụng trong khóa luận bao gồm kiến thức về xử lý ảnh, lý thuyết về các thuật toán hỗ trợ nhận diện khuôn mặt, kết nối giữa Raspberry Pi với máy tính thông qua VNC và các thiết bị cần thiết cho mô hình. Chương 3 – Thiết Kế và Tính Toán: Trong chương này, nhóm thực hiện lên kế hoạch sử dụng tập mẫu, diễn giải các thông số của mô hình, quá trình huấn luyện, quá trình kiểm tra và thiết kế một hệ thống nhận diện khuôn mặt. Chương 4 – Thi Công Mô Hình Hệ Thống: Nhóm thực hiện lập trình hệ thống, vẽ lưu đồ điều khiển, nạp code và chạy thử.

Chương 5 – Kết Quả, Nhận Xét Và Đánh Giá: Chương này sẽ trình bày các kết quả đạt được của quá trình huấn luyện, quá trình kiểm tra mô hình và ứng dụng nhận diện khuôn mặt. Chương 6 – Kết Luận Và Hướng Phát Triển: Trong chương này sẽ trình bày những kết quả của đồ án tốt nghiệp đã đạt được, nêu ra một số hướng nghiên cứu và phát triển đề tài. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 2 CHƯƠNG II: CƠ SỞ LÝ THUYẾT CHƯƠNG II.1 LÝ THUYẾT NHẬN DIỆN KHUÔN MẶT[1] [2] 2.1 Giới thiệu Nhận diện khuôn mặt là một lĩnh vực thuộc sinh trắc học và thị giác máy tính, cho phép hệ thống xác định hoặc xác thực danh tính con người thông qua hình ảnh khuôn mặt. Quy trình nhận diện bao gồm nhiều bước xử lý nhằm mô phỏng cách con người ghi nhớ và so sánh đặc điểm khuôn mặt.

Các phương pháp truyền thống dựa trên đặc trưng hình học, trong khi các phương pháp hiện đại sử dụng mạng nơ-ron sâu để trích xuất đặc trưng với độ chính xác cao hơn. Trong các hệ thống hiện đại, các mô hình như FaceNet, DeepFace và VGG-Face sử dụng mạng tích chập (CNN) để tạo ra vector đặc trưng cho mỗi khuôn mặt. Việc nhận diện được thực hiện bằng cách so sánh khoảng cách giữa các vector trong không gian đặc trưng, giúp phân biệt hiệu quả giữa các cá nhân khác nhau.1 Các bước trong nhận diện khuôn mặt 2.2 Phát hiện Khuôn mặt (Face Detection) [1] Đây là bước đầu tiên của hệ thống, có nhiệm vụ quét khung hình để xác định sự xuất hiện và vị trí khuôn mặt, đồng thời tách khuôn mặt khỏi nền ảnh. Đối với các hệ thống nhúng như Raspberry Pi, các phương pháp phổ biến gồm [1]: • Haar Cascades: Phương pháp truyền thống, tốc độ nhanh, phù hợp với CPU ARM nhưng kém ổn định khi khuôn mặt bị nghiêng.

• HOG + SVM: Cho độ chính xác cao hơn Haar và ổn định hơn trước thay đổi ánh sáng.3 Căn chỉnh & tiền xử lý (Face Alignment & Preprocessing) [1] Khuôn mặt sau khi phát hiện thường có sai lệch về góc chụp và kích thước. Bước tiền xử lý nhằm chuẩn hóa khuôn mặt để nâng cao hiệu quả nhận dạng:: • Căn chỉnh hình học: Xác định các điểm mốc khuôn mặt và thực hiện biến đổi Affine để cân chỉnh khuôn mặt về tư thế chuẩn. BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 3 CHƯƠNG II: CƠ SỞ LÝ THUYẾT • Chuẩn hóa ánh sáng: Áp dụng cân bằng lược đồ xám nhằm giảm ảnh hưởng của điều kiện chiếu sáng. • Resize: Đưa ảnh về kích thước cố định phù hợp với thuật toán trích xuất đặc trưng.4 Trích xuất Đặc trưng(Feature Extraction) [1] Giai đoạn này chuyển đổi ảnh khuôn mặt thành vector đặc trưng rút gọn nhưng vẫn giữ thông tin định danh.

Mục tiêu là giảm sai khác giữa cùng một người và tăng khả năng phân biệt giữa các cá nhân khác nhau. Các phương pháp phổ biến gồm LBPH, PCA/Eigenfaces và các mô hình học sâu như FaceNet.5 So khớp & nhận diện (Matching and Recognition) [1] Vector đặc trưng đầu vào được so sánh với cơ sở dữ liệu đã đăng ký để xác định danh tính: • Đo khoảng cách: Sử dụng các thước đo như Euclidean, Cosine hoặc Chi- square. • Phân loại: Áp dụng các thuật toán như k-NN hoặc SVM để xác định nhãn phù hợp. • Ngưỡng quyết định: Nếu độ tương đồng vượt ngưỡng, hệ thống xác nhận danh tính; ngược lại, trả về kết quả không xác định.2 THUẬT TOÁN HISTOGRAM OF ORIENTED GRADIENT[2] [7] [9] 2.1 Giới thiệu Histogram of Oriented Gradients (HOG) là một phương pháp trích xuất đặc trưng hình ảnh do Navneet Dalal và Bill Triggs đề xuất năm 2005, ban đầu nhằm phục vụ bài toán phát hiện người trong ảnh.

Thuật toán dựa trên giả thiết rằng hình dạng và cấu trúc của đối tượng có thể được mô tả thông qua sự phân bố các hướng gradient cục bộ. HOG chuyển đổi ảnh đầu vào thành vector đặc trưng, làm nổi bật thông tin hình dạng quan trọng của đối tượng và giảm ảnh hưởng của nhiễu cũng như sự thay đổi điều kiện chiếu sáng. Nhờ đó, HOG được sử dụng phổ biến trong các bài toán phát hiện và nhận dạng đối tượng trong thị giác máy tính.2 Ứng dụng của thuật toán HOG: Thuật toán Histogram of Oriented Gradients (HOG) được ứng dụng rộng rãi trong thị giác máy tính nhờ khả năng mô tả hiệu quả hình dạng và cấu trúc đối tượng. Ban đầu, HOG được sử dụng chủ yếu trong bài toán phát hiện người trong ảnh.

Ngoài ra, HOG còn được áp dụng trong nhận diện khuôn mặt và nhận dạng nhiều loại đối tượng khác như phương tiện giao thông, biển báo và các vật thể thông dụng. Trong các bài toán phân loại ảnh với tập dữ liệu nhỏ, HOG thường được kết hợp với các bộ phân loại truyền thống để nâng cao hiệu quả nhận dạng và giảm hiện tượng quá khớp.3 Sơ lược nguyên lý hoạt động của thuật toán HOG Thuật toán HOG hoạt động dựa trên việc mô tả hình dạng cục bộ của đối tượng BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 4 CHƯƠNG II: CƠ SỞ LÝ THUYẾT thông qua hướng và độ lớn gradient của ảnh. Ảnh đầu vào được chia thành các ô nhỏ (cell), trong đó mỗi ô biểu diễn một vùng cục bộ của ảnh. Tại mỗi cell, các gradient được tổng hợp thành histogram theo hướng.

Các cell liền kề được nhóm thành các khối (block) và thực hiện chuẩn hóa nhằm giảm ảnh hưởng của sự thay đổi chiếu sáng. Toàn bộ các histogram đã chuẩn hóa được kết hợp để tạo thành vector đặc trưng HOG, dùng cho các bài toán phát hiện và nhận dạng đối tượng.4 Tính toán HOG Quá trình tính toán Histogram of Oriented Gradients (HOG) bắt đầu bằng việc chia ảnh đầu vào thành các ô nhỏ (cell). Tại mỗi pixel trong cell, hướng và độ lớn gradient được xác định nhằm mô tả sự thay đổi cường độ sáng, từ đó làm nổi bật các biên và cấu trúc cục bộ của ảnh.2 Ảnh phân tích Histogram Tiếp theo, trong mỗi cell, các giá trị độ lớn gradient được phân bố vào các bin của histogram theo hướng gradient tương ứng. Mỗi pixel đóng góp vào histogram với trọng số là độ lớn gradient, giúp biểu đồ phản ánh đặc trưng hình dạng của vùng ảnh cục bộ.3 Map giá trị độ lớn gradient vào các bin tương ứng với phương BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 5 CHƯƠNG II: CƠ SỞ LÝ THUYẾT Sau đó, các cell liền kề được nhóm lại thành các khối (block) và thực hiện chuẩn hóa histogram để giảm ảnh hưởng của sự thay đổi độ sáng và độ tương phản.

Cuối cùng, toàn bộ các histogram đã chuẩn hóa được ghép lại thành vector đặc trưng HOG, đại diện cho cấu trúc và hình dạng của đối tượng trong ảnh, phục vụ cho các bài toán phát hiện và nhận dạng.4 Biểu đồ Histogram tương ứng với 1 cell 2.3 MÔ HÌNH PHÁT HIỆN RESNET-10 SSD[6] 2.1 Giới thiệu ResNet (Residual Network) là kiến trúc học sâu được đề xuất năm 2015, sử dụng cơ chế residual learning và các kết nối tắt (shortcut connections) nhằm khắc phục hiện tượng suy giảm hiệu suất và vanishing gradient khi mạng trở nên quá sâu. Nhờ đó, ResNet có thể huấn luyện các mô hình nhiều lớp với độ ổn định và khả năng khái quát hóa cao. Kiến trúc này đạt kết quả nổi bật tại ILSVRC 2015 và được ứng dụng rộng rãi với nhiều biến thể như ResNet-10, ResNet-18, ResNet-34, ResNet-50, ResNet-101 và ResNet-152. Mô hình ResNet-10 SSD gồm hai thành phần chính: Backbone ResNet-10 dùng để trích xuất đặc trưng từ ảnh đầu vào và SSD Detection Head đảm nhiệm việc dự đoán khung bao và phân loại đối tượng thông qua các anchor box đa tỷ lệ.2 Backbone trong mô hình ResNet-10 SSD Trong kiến trúc SSD, backbone đóng vai trò trích xuất đặc trưng từ ảnh đầu vào và ảnh hưởng trực tiếp đến hiệu quả nhận diện của mô hình.

Backbone thường là các mạng nơ-ron tích chập (CNN), có khả năng học các đặc trưng phân cấp từ biên, cạnh đến các đặc trưng phức tạp về kết cấu và hình dạng đối tượng.5 Kiến trúc backbone trong SSD BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP 6 CHƯƠNG II: CƠ SỞ LÝ THUYẾT Trong các ứng dụng thực tế, SSD thường sử dụng các backbone như VGG16, ResNet hoặc MobileNet với sự cân bằng khác nhau giữa độ chính xác và tốc độ. Trong mô hình này, ResNet-10 được lựa chọn làm backbone nhờ khả năng trích xuất đặc trưng hiệu quả cùng chi phí tính toán thấp. ResNet-10 sử dụng cơ chế residual learning với các skip connections, giúp giảm hiện tượng mất mát gradient và tạo ra các feature map ổn định, phù hợp cho bài toán phát hiện đối tượng. Sau giai đoạn trích xuất đặc trưng, SSD bổ sung các lớp mở rộng (extra layers) để hỗ trợ phát hiện đa tỉ lệ, cho phép nhận diện hiệu quả các đối tượng có kích thước khác nhau trong ảnh.3 SSD Detection Head SSD Detection Head là thành phần thực hiện trực tiếp việc dự đoán vị trí (bounding box) và phân loại đối tượng từ các feature map do backbone trích xuất.

Khác với các mô hình hai giai đoạn như Faster R-CNN, SSD thực hiện phát hiện theo cơ chế single-shot, cho phép suy luận nhanh và hiệu quả. Detection Head của SSD hoạt động dựa trên các cơ chế chính sau: (1) Default Boxes (Anchor Boxes) Tại mỗi vị trí trên feature map, SSD sinh ra các default boxes với nhiều tỉ lệ và kích thước khác nhau, làm cơ sở để dự đoán tọa độ và xác suất lớp. Cách thiết kế này giúp mô hình phát hiện hiệu quả các đối tượng ở nhiều kích thước trong cùng một ảnh. (2) Convolutional Predictors SSD sử dụng các bộ lọc tích chập nhỏ để dự đoán vị trí bounding box và xác suất lớp cho từng default box.