Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp "Xây dựng hệ thống nhận diện gương mặt dựa trên nền tảng Blockchain và Federated Learning" do sinh viên Ngô Phúc Thịnh (MSSV: 18521439) và Nguyễn Trần Minh Thiện (MSSV: 18521428) thực hiện dưới sự hướng dẫn của ThS. Nguyễn Khánh Thuật, thuộc Khoa Mạng máy tính và Truyền thông, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP. Hồ Chí Minh (năm 2022) cho chương trình đào tạo Kỹ sư ngành Mạng máy tính và Truyền thông dữ liệu.

Lý do chọn đề tài và bối cảnh thực tiễn

Công nghệ nhận diện gương mặt hiện nay được ứng dụng rộng rãi tại các cơ quan, trường học và doanh nghiệp. Tuy nhiên, việc lưu trữ tập trung dữ liệu hình ảnh sinh trắc học thô tiềm ẩn nguy cơ mất an toàn thông tin rất lớn. Khi cơ sở dữ liệu tập trung bị rò rỉ hoặc tấn công, kẻ xấu có thể lợi dụng hình ảnh khuôn mặt để vượt qua các cơ chế xác thực sinh trắc học 2D thông thường, hoặc sử dụng công nghệ Deepfake để chế tạo mặt nạ giả mạo danh tính trên các thiết bị thông minh (smartphone, smart home, smart car).

Song song với thách thức bảo mật sinh trắc học, thị trường tuyển dụng lao động đối mặt với tình trạng gian lận thông tin: ứng viên ghi kinh nghiệm làm việc trong hồ sơ ứng tuyển (Curriculum Vitae - CV) không đúng với thực tế, gây khó khăn cho các nhà tuyển dụng trong việc kiểm chứng.

Để giải quyết đồng thời hai vấn đề trên, đề tài đề xuất kết hợp công nghệ Blockchain và Federated Learning (học liên kết). Trong đó:

  • Công nghệ Blockchain đóng vai trò định danh duy nhất người dùng, ngăn ngừa hành vi giả mạo, thiết lập cơ chế tokenomics minh bạch nhằm công khai trạng thái việc làm và lưu trữ bất biến lịch sử làm việc.
  • Kỹ thuật Federated Learning cho phép người dùng tự huấn luyện mô hình nhận diện khuôn mặt ngay trên thiết bị cá nhân, loại bỏ hoàn toàn việc gửi dữ liệu ảnh thô về máy chủ trung tâm.

Mục tiêu và nhiệm vụ nghiên cứu

Văn bản phân định rõ hai nhóm nhiệm vụ nghiên cứu cụ thể:

  1. Về lý thuyết:

    • Tìm hiểu lịch sử hình thành và phát triển của công nghệ chuỗi khối (Blockchain); nắm vững kiến trúc, nguyên lý vận hành và các cơ chế đồng thuận.
    • Tìm hiểu kỹ thuật học liên kết (Federated Learning - FL), nghiên cứu cơ chế hoạt động để ứng dụng vào hệ thống điểm danh nhận diện khuôn mặt.

  2. Về ứng dụng:

    • Xây dựng và triển khai ứng dụng nhận diện gương mặt dựa trên nền tảng Blockchain (cụ thể là Ethereum Virtual Machine) và kỹ thuật Federated Learning.
    • Ứng dụng công nghệ phát triển Web3 kết hợp thiết bị máy tính nhúng để thiết kế hệ thống điểm danh tự động.
    • Thiết lập quy trình huấn luyện cục bộ trên máy tính cá nhân để bảo vệ quyền riêng tư dữ liệu sinh trắc học.
    • Sử dụng Blockchain để công khai, minh bạch hóa dữ liệu kinh nghiệm làm việc và trạng thái việc làm của người dùng.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Công nghệ chuỗi khối (Blockchain, trọng tâm là mạng Ethereum và máy ảo EVM), phương pháp học liên kết (Federated Learning cùng các thuật toán phân tán), các công nghệ phát triển ứng dụng Web3 và kỹ thuật nhận diện gương mặt.
  • Phạm vi nghiên cứu: Mô hình điểm danh nhận diện gương mặt bảo vệ dữ liệu cá nhân cho các doanh nghiệp, kết hợp cơ chế xác thực trạng thái việc làm thông qua hợp đồng thông minh thay thế cho các phương thức chấm công và chứng thực nhân sự truyền thống.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình công nghệ

Nghiên cứu vận dụng các khung lý thuyết nền tảng trong lĩnh vực mật mã học phân tán và học máy:

  1. Kiến trúc Blockchain 4 lớp:

    • Lớp cơ sở hạ tầng (Infrastructure layer): Gồm các thiết bị phần cứng, bộ nhớ, mạng và hệ thống nút mạng (Node đơn giản/Light node, Full node, Mining node).
    • Lớp nền tảng (Platform layer): Hỗ trợ giao tiếp thông qua RPC, Web API và REST API.
    • Lớp điện toán phân tán (Distributed computing layer): Đảm bảo tính toán chịu lỗi, tính bất biến (Immutability), cơ chế đồng thuận, mã hóa khóa công khai/khóa riêng và kỹ thuật băm Merkle tree.
    • Lớp ứng dụng (Application layer): Thực thi logic nghiệp vụ thông qua Hợp đồng thông minh (Smart Contract) và các tài sản kỹ thuật số.

  2. Nền tảng Ethereum và Smart Contract:

    • Môi trường thực thi Máy ảo Ethereum (EVM) độc lập với hệ thống máy chủ; vận hành dựa trên biểu phí Gas để giải quyết bài toán chống lặp vô hạn và trả thù lao cho trình xác thực.
    • Các tiêu chuẩn mã thông báo: Chuẩn ERC-20 (mã thông báo có thể thay thế), ERC-721 (mã thông báo không thể thay thế - NFT), và ERC-1155 (tiêu chuẩn đa mã thông báo).
    • Mô hình phân loại tài khoản: Tài khoản độc lập do người dùng kiểm soát (Externally Owned Account - EOA) và Tài khoản hợp đồng (Contract Account).

  3. Mô hình Federated Learning (Học liên kết):

    • Phân loại theo cấu trúc điều phối: Centralized FL (điều phối qua máy chủ trung tâm), Decentralized FL (trao đổi ngang hàng P2P), Heterogeneous FL (HeteroFL xử lý các client không đồng nhất về tính toán và truyền thông).
    • Phân loại theo phân vùng dữ liệu: Horizontal FL (học liên kết ngang - chia sẻ không gian thuộc tính, khác biệt người dùng), Vertical FL (học liên kết dọc - chia sẻ người dùng, khác biệt thuộc tính), và Federated Transfer Learning (học chuyển giao liên kết - áp dụng khi không gian thuộc tính và người dùng đều ít trùng lặp).
    • Các giải thuật tối ưu hóa liên kết:
      • Federated Averaging (FedAvg): Máy chủ phát tán mô hình toàn cục $w_t$, chọn ngẫu nhiên tập khách hàng $S_t$, khách hàng chạy tối ưu cục bộ bằng Stochastic Gradient Descent (SGD) qua các epoch $E$, kích thước batch $B$, sau đó máy chủ tính trung bình trọng số mô hình.
      • Federated Stochastic Variance Reduced Gradient (FSVRG): Tính gradient đầy đủ tập trung, sau đó thực hiện cập nhật phân tán theo tỷ lệ nghịch kích thước bước $h_k = h / n_k$.
      • CO-OP: Cơ chế tiếp cận không đồng bộ (asynchronous), tích hợp mô hình cục bộ vào mô hình toàn cục dựa trên độ tuổi $a - a_k$ với bộ lọc ngưỡng $[b_l, b_u]$.
      • Các biến thể khác: FedSGD, FedDyn (ràng buộc động), Sub-FedAvg (cắt tỉa mô hình mạng con).

Phương pháp nghiên cứu thực tế

  • Phương pháp phân tích - tổng hợp lý thuyết: Hệ thống hóa các công trình đi trước gồm FLchain (tích hợp FL và Blockchain trong mạng MEC), BlockFL (kiến trúc trao đổi bản cập nhật qua khối và phần thưởng mẫu dữ liệu), PrivacyFace (khung nhận diện khuôn mặt bảo toàn tính riêng tư vi phân).
  • Phương pháp thiết kế và xây dựng hệ thống: Thiết kế quy trình định danh và nhận diện lai (hybrid); kết hợp giữa hợp đồng thông minh phi tập trung và hệ thống nhúng tại biên.
  • Phương pháp thực nghiệm kiểm thử: Mô phỏng mạng Blockchain Ethereum bằng Ganache, tương tác ví MetaMask; đo lường chi phí Gas giao dịch; kiểm thử quy trình trích xuất đặc trưng và nhận diện khuôn mặt trên thiết bị máy tính nhúng Jetson Nano so sánh với máy tính cá nhân (PC).

Nguồn dữ liệu

  • Dữ liệu ảnh khuôn mặt người dùng được thu thập trực tiếp thông qua camera của máy tính cá nhân bằng script thu thập dữ liệu tự động (01_face_dataset).
  • Dữ liệu giao dịch, số dư token và trạng thái hợp đồng thông minh được sinh ra và ghi nhận trực tiếp trên mạng chuỗi khối mô phỏng Ganache.
  • Dữ liệu hồ sơ người dùng, mã OTP và thông tin phụ trợ được lưu trữ đối soát qua Firebase Firestore, MySQL và MongoDB.

Thiết kế và triển khai

Hệ thống được thiết kế theo mô hình phi tập trung kết hợp xử lý biên nhằm bảo đảm an toàn sinh trắc học và minh bạch hóa trạng thái việc làm.

+-----------------------------------------------------------------------------------+
|                            NGƯỜI DÙNG (CLIENT PC)                                 |
|  - Giao diện Web3 (ReactJS) + Ví MetaMask                                         |
|  - Module trích xuất dữ liệu: 01_face_dataset                                     |
|  - Huấn luyện mô hình cục bộ -> Sinh file trọng số trainer.yml                     |
+------------------------------------------+----------------------------------------+
                                           | Gửi file trọng số (Google Drive API)
                                           v
+-----------------------------------------------------------------------------------+
|                        MÔI TRƯỜNG PHÂN TÁN & ĐÁM MÂY                              |
|  - Blockchain EVM (Ganache): KycContract, MyToken (ERC-20), Crowdsale, MyTokenSale |
|  - Cơ sở dữ liệu: Firestore (OTP, Email), MongoDB, MySQL                          |
|  - Ứng dụng tra cứu: Tscan (giám sát khối và giao dịch tương tự Etherscan)        |
+------------------------------------------+----------------------------------------+
                                           | Đồng bộ trọng số mô hình
                                           v
+-----------------------------------------------------------------------------------+
|                           TRỤ SỞ CÔNG TY (EDGE SYSTEM)                            |
|  - Máy tính nhúng Jetson Nano + Camera Raspberry Pi V2                            |
|  - Nạp mô hình trainer.yml để nhận diện nhân viên thực tế                         |
|  - Điểm danh thành công -> Kích hoạt Smart Contract gửi Token việc làm           |
+-----------------------------------------------------------------------------------+

Kiến trúc công nghệ

  • Nền tảng Blockchain và Hợp đồng thông minh:
    • Máy ảo EVM chạy trên mạng mô phỏng Ganache.
    • Thư viện OpenZeppelin dùng để phát triển các hợp đồng: Migrations.sol, MyToken.sol (chuẩn ERC-20), MyTokenSale.sol, Crowdsale.sol, và KycContract.sol.
    • Ứng dụng tra cứu Tscan: Hỗ trợ kiểm tra khối, giao dịch, số dư tương tự giao diện Etherscan.
  • Tầng ứng dụng và Cơ sở dữ liệu:
    • Giao diện người dùng Web3 phát triển trên nền ReactJS, kết nối ví điện tử MetaMask.
    • Cơ sở dữ liệu Cloud Firestore lưu trữ OTP xác thực; hệ quản trị MySQL và MongoDB lưu trữ thông tin quản trị nội bộ.
    • Tích hợp Google Drive API hỗ trợ đồng bộ hóa tệp tin tham số mô hình giữa các bên.
  • Phần cứng triển khai biên (Edge Hardware):
    • Máy tính nhúng Nvidia Jetson Nano đóng vai trò thiết bị xử lý nhận diện tại trụ sở.
    • Module ghi hình Camera Raspberry Pi V2 kết nối với Jetson Nano để chụp và nhận dạng gương mặt nhân viên trong thời gian thực.

Quy trình vận hành và kiểm thử

Quy trình triển khai ứng dụng gồm 4 giai đoạn chính:

Giai đoạn Bên thực hiện Tác vụ chi tiết Công nghệ / Dữ liệu liên quan
1. Đăng ký & KYC Người dùng & Công ty Người dùng kết nối ví MetaMask với Web3, nhập email nhận mã OTP; công ty thực hiện duyệt KYC thông qua KycContract. MetaMask, ReactJS, Firestore OTP, KycContract.sol
2. Huấn luyện cục bộ Người dùng (Client PC) Chạy file 01_face_dataset thu thập ảnh qua webcam; thực hiện huấn luyện mô hình liên kết cục bộ, trích xuất đặc trưng thành file trainer.yml. OpenCV/Python, tập dataset người dùng, file trainer.yml
3. Truyền tải tham số Người dùng -> Công ty Người dùng gửi file tham số mô hình trainer.yml lên hệ thống lưu trữ mà không truyền bất kỳ bức ảnh thô nào. Google Drive API, Cloud Storage
4. Điểm danh & Nhận token Thiết bị tại trụ sở Jetson Nano nạp file trainer.yml, nhận diện khuôn mặt qua Camera Raspberry Pi V2; khi khớp dữ liệu, công ty kích hoạt giao dịch chuyển token cho nhân viên. Jetson Nano, Raspberry Pi Camera V2, MyTokenSale.sol

Nội dung chính theo từng chương

Chương 1. Đặt vấn đề

Chương mở đầu phân tích bối cảnh phát triển của các hệ thống nhận diện gương mặt và chỉ ra các nguy cơ nghiêm trọng về quyền riêng tư khi dữ liệu ảnh thô bị lưu trữ tập trung. Tác giả nêu rõ mục tiêu kết hợp Blockchain và Federated Learning để tạo ra hệ sinh thái tuyển dụng minh bạch, chống làm giả CV bằng cơ chế khóa token, đồng thời huấn luyện mô hình phân tán tại máy khách. Chương này cũng phân định cụ thể đối tượng, phạm vi nghiên cứu và phân tích ba công trình liên quan trực tiếp gồm FLchain, BlockFL và PrivacyFace.

Chương 2. Cơ sở lý thuyết

Chương 2 trình bày chi tiết hai trụ cột công nghệ chính:

  • Công nghệ Blockchain: Khái niệm sổ cái phân tán, phân tích ưu điểm (phi tập trung, bất biến, minh bạch, giảm thời gian xử lý) và nhược điểm (tiêu thụ năng lượng, chi phí giao dịch trung bình từ 75 đến 160 USD trên mạng chính). Chi tiết hóa cấu trúc khối (Merkle root hash, Block hash, Previous block hash, Timestamp, Nonce) và quy trình luân chuyển giao dịch. Làm rõ vai trò Smart Contract trên EVM, các chuẩn ERC-20, ERC-721, ERC-1155, cùng bản chất của ICO và Crowdsale ứng dụng cho token định danh trạng thái việc làm.
  • Công nghệ Federated Learning: Định nghĩa phương pháp học phân tán giữ dữ liệu cục bộ; phân loại Centralized, Decentralized, Heterogeneous FL; phân vùng dữ liệu theo chiều ngang, chiều dọc và chuyển giao. Khảo sát chi tiết giải thuật FedAvg, FSVRG, CO-OP, các biến thể FedSGD, FedDyn, Sub-FedAvg cùng các đặc tính về bảo mật (Privacy), cá nhân hóa (Personalization), dữ liệu không đồng nhất (Non-IID).

Chương 3. Cài đặt hệ thống

Chương 3 tập trung mô tả môi trường kỹ thuật và các thành phần phần mềm, phần cứng được lựa chọn để thiết lập hệ thống. Tác giả phân tích kiến trúc Web3, đánh giá ưu nhược điểm so với Web2, hướng dẫn cấu hình nền tảng Docker, thiết lập ví MetaMask và triển khai thư viện giao diện ReactJS. Về tầng dữ liệu, chương trình bày giải pháp phối hợp giữa Cloud Firestore, MySQL và MongoDB. Về phần cứng, chương cung cấp thông số kỹ thuật chi tiết của kit máy tính nhúng Jetson Nano và module Camera Raspberry Pi V2.

Chương 4. Triển khai ứng dụng

Chương 4 là chương trọng tâm mô tả quá trình hiện thực hóa giải pháp:

  • Xây dựng sơ đồ kiến trúc hệ thống và thiết lập mạng Blockchain giả lập Ganache để kiểm thử các khối giao dịch.
  • Lập trình các Smart Contract trên Solidity sử dụng thư viện OpenZeppelin: KycContract thực hiện định danh khách hàng, MyToken quản lý mã thông báo doanh nghiệp, Crowdsale và MyTokenSale phân phối token xác thực trạng thái việc làm.
  • Phát triển ứng dụng Tscan mô phỏng trình khám phá khối.
  • Xây dựng module xác thực mật khẩu dùng một lần (OTP) qua email kết hợp Firestore.
  • Hiện thực hóa quy trình nhận diện gương mặt: chạy tập lệnh 01_face_dataset để tạo dataset cá nhân, tiến hành huấn luyện sinh ra file trainer.yml, truyền file qua API về trụ sở công ty, cấu hình camera nhận diện trên Jetson Nano và tự động thay đổi trạng thái việc làm của người dùng trên hợp đồng thông minh.

Chương 5. Đánh giá hệ thống

Chương 5 tiến hành đánh giá thực nghiệm các phân hệ:

  • Đánh giá Smart Contracts: Bảng thông số đo lường chi phí triển khai, phí Gas (Gas limit, Gas price) mà người dùng và công ty phải trả khi thực hiện giao dịch mua bán, chuyển nhượng token hoặc thêm người dùng vào danh sách KYC; đối chiếu phí gas thực tế trên mạng Ethereum theo công cụ Zapper.
  • Đánh giá hệ thống nhận diện gương mặt: Đo kiểm độ chính xác, tỷ lệ nhận diện thành công tại trụ sở công ty; cấu hình độ phân giải camera; lập bảng so sánh hiệu năng thực tế (tốc độ xử lý khung hình/giây - FPS, mức độ chiếm dụng tài nguyên) giữa máy tính nhúng Jetson Nano và máy tính cá nhân PC.

Chương 6. Kết luận và hướng phát triển

Chương cuối tóm tắt toàn bộ các kết quả đạt được: xây dựng thành công ứng dụng kết hợp Web3, Blockchain EVM và Federated Learning giải quyết trọn vẹn bài toán chống gian lận CV và bảo mật sinh trắc học. Đồng thời, tác giả chỉ ra các hạn chế cố hữu về phí gas mạng lưới, độ trễ phần cứng nhúng và vạch ra các hướng mở rộng trong tương lai.

Kết quả và đóng góp

Kết quả kỹ thuật đạt được

  1. Bảo mật tuyệt đối dữ liệu sinh trắc học: Hệ thống chứng minh tính khả thi của việc loại bỏ máy chủ lưu trữ hình ảnh tập trung. Người dùng tự quản lý dữ liệu khuôn mặt, tự chạy tập lệnh trích xuất đặc trưng và chỉ chia sẻ tệp trọng số trainer.yml.
  2. Minh bạch hóa lịch sử việc làm (Tokenomics): Khóa luận đã số hóa trạng thái việc làm thông qua hợp đồng thông minh ERC-20. Nhân viên đang làm việc tại công ty sẽ nắm giữ một lượng token đại diện xác thực. Mọi thay đổi trạng thái (tuyển dụng, chấm dứt hợp đồng) đều được ghi nhận vĩnh viễn trên sổ cái chuỗi khối, giúp nhà tuyển dụng tương lai tra cứu trực tiếp mà không thể bị làm giả.
  3. Hiện thực hóa trạm điểm danh biên: Triển khai thành công mô hình nhận diện khuôn mặt trên thiết bị máy tính nhúng Jetson Nano kết hợp Camera Raspberry Pi V2, đồng bộ dữ liệu với mạng blockchain và hệ thống cơ sở dữ liệu phân tán.

Tổng hợp thông số kỹ thuật và so sánh hệ thống

Dựa trên các bảng đo kiểm được ghi nhận trong văn bản:

Hạng mục so sánh Triển khai trên Máy tính cá nhân (PC) Triển khai trên Kit nhúng Jetson Nano
Mục đích vận hành Thu thập dataset (01_face_dataset), huấn luyện mô hình cục bộ sinh file trainer.yml Nạp file trainer.yml, nhận diện khuôn mặt thực tế tại trụ sở điểm danh
Tốc độ xử lý (FPS) Tốc độ xử lý khung hình cao, tối ưu hóa cho huấn luyện Đạt ngưỡng thời gian thực ở độ phân giải tiêu chuẩn, FPS phụ thuộc tinh chỉnh độ phân giải camera
Tính cơ động & Chi phí phần cứng Thiết bị cá nhân của người dùng, chi phí do client tự chịu Thiết bị biên nhỏ gọn, tiêu thụ ít điện năng, tối ưu cho việc lắp đặt cố định tại cổng cơ quan
Bảo mật dữ liệu thô Ảnh gốc lưu trữ nội bộ trên ổ đĩa cá nhân, không chia sẻ Hoàn toàn không lưu trữ ảnh thô của nhân viên, chỉ xử lý vector đặc trưng

Về mặt chi phí giao dịch Blockchain, nghiên cứu đã khảo sát và phân tích phí gas cần thiết để thực thi các hàm trong KycContract và MyTokenSale, chỉ ra rằng chi phí trung bình trên mạng chính Ethereum dao động từ 75 đến 160 USD/giao dịch, dẫn đến yêu cầu phải vận hành trên môi trường mạng thử nghiệm (testnet/Ganache) để tối ưu tính kinh tế cho mô hình doanh nghiệp.

Đóng góp mới của đề tài

So với các nghiên cứu trước đây (như FLchain, BlockFL vốn dừng lại ở mức mô hình lý thuyết hoặc mô phỏng mạng viễn thông biên), đề tài đã:

  • Tích hợp trọn vẹn luồng tương tác thực tế từ giao diện người dùng Web3 (ReactJS, MetaMask), mạng Blockchain EVM (Solidity, Ganache) đến thiết bị phần cứng nhúng biên (Jetson Nano, Raspberry Pi Camera).
  • Đưa ra giải pháp giải quyết bài toán gian lận thông tin nhân sự trong CV bằng cách liên kết định danh sinh trắc học với cơ chế tokenomic trên chuỗi khối.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận trong văn bản

  • Gánh nặng chi phí Gas và tắc nghẽn mạng: Mạng lưới Ethereum có phí giao dịch biến động rất mạnh và tăng cao khi mạng lưới quá tải (như số liệu khảo sát từ Zapper). Việc người dùng và doanh nghiệp phải chi trả phí gas cao cho mỗi thao tác KYC hoặc nhận token là rào cản lớn khi áp dụng vào thực tế thương mại.
  • Giới hạn phần cứng của thiết bị nhúng: Kit Jetson Nano có năng lực tính toán giới hạn hơn so với máy tính cá nhân. Khi cấu hình camera ở độ phân giải cao, tốc độ xử lý khung hình (FPS) bị suy giảm, đòi hỏi phải cân đối giữa chất lượng ảnh đầu vào và tốc độ nhận dạng.
  • Thách thức an ninh của Federated Learning: Mô hình học liên kết làm tăng bề mặt tấn công do phân tán trên nhiều thiết bị. Hệ thống vẫn đối mặt với rủi ro tiềm ẩn khi các client cố tình chèn cửa sau (backdoor attack) vào các bản cập nhật mô hình trước khi gửi đến máy chủ tổng hợp.
  • Phụ thuộc kết nối mạng: Quá trình trao đổi tham số trainer.yml và tương tác với máy ảo EVM đòi hỏi đường truyền Internet ổn định và băng thông liên tục giữa các nút.

Hướng phát triển tiếp theo

  • Chuyển đổi và thử nghiệm hệ thống trên các mạng Blockchain Layer 2 (Rollups) hoặc các nền tảng chuỗi khối thế hệ mới có phí giao dịch rẻ và tốc độ xác thực khối nhanh hơn Ethereum.
  • Tối ưu hóa thuật toán nhận diện và giảm kích thước mô hình để nâng cao tốc độ khung hình (FPS) trên kit nhúng Jetson Nano khi nhận diện nhiều đối tượng đồng thời.
  • Nghiên cứu áp dụng các cơ chế phòng thủ nâng cao như quyền riêng tư vi phân (Differential Privacy) và giải thuật kiểm định tham số để ngăn chặn triệt để tấn công chèn cửa sau trong học liên kết.
  • Hoàn thiện giao diện đồ họa người dùng trên ứng dụng Web3 thân thiện hơn, giảm thiểu các thao tác kỹ thuật phức tạp đối với người dùng đại trà.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo có giá trị học thuật và ứng dụng thực tiễn cao cho:

  • Sinh viên và nhà nghiên cứu ngành Mạng máy tính, An toàn thông tin, Khoa học dữ liệu: Tài liệu cung cấp bức tranh toàn cảnh về cách kết hợp giữa công nghệ chuỗi khối phi tập trung và trí tuệ nhân tạo phân tán (Decentralized AI / Edge AI).
  • Kỹ sư phát triển phần mềm Web3 và Blockchain: Chương 4 và Chương 5 cung cấp cấu trúc code chi tiết về các Smart Contract (chuẩn ERC-20, KYC, Crowdsale của OpenZeppelin), phương thức kết nối ví MetaMask và cách thức thiết lập công cụ khám phá khối tương tự Etherscan (Tscan).
  • Kỹ sư hệ thống nhúng và IoT: Phần triển khai trên Nvidia Jetson Nano và Raspberry Pi Camera V2 cung cấp quy trình cấu hình, cài đặt OpenCV và xử lý luồng video nhận dạng trực tiếp tại biên.

Câu hỏi thường gặp

1. Khóa luận giải quyết vấn đề rò rỉ dữ liệu hình ảnh khuôn mặt bằng cơ chế kỹ thuật nào?

Khóa luận ứng dụng kỹ thuật Federated Learning (học liên kết). Thay vì người dùng phải gửi ảnh chụp khuôn mặt về máy chủ của công ty như hệ thống truyền thống, người dùng tự chạy tập lệnh 01_face_dataset để chụp ảnh và huấn luyện mô hình ngay trên máy tính cá nhân. Sau đó, người dùng chỉ gửi tệp trọng số tham số mô hình đã được trích xuất (trainer.yml) về công ty qua Google Drive API/Firestore. Do dữ liệu ảnh thô không bao giờ rời khỏi thiết bị cá nhân, nguy cơ rò rỉ cơ sở dữ liệu sinh trắc học được triệt tiêu hoàn toàn.

2. Token và Hợp đồng thông minh (Smart Contract) đóng vai trò gì trong việc kiểm soát tính trung thực của hồ sơ CV?

Hệ thống sử dụng các hợp đồng thông minh chuẩn ERC-20 (MyToken.sol, MyTokenSale.sol, KycContract.sol). Mỗi token đại diện cho trạng thái việc làm của nhân viên tại một doanh nghiệp cụ thể. Khi nhân viên được tuyển dụng và điểm danh xác thực thành công, công ty sẽ phát hành hoặc chuyển giao một lượng token xác thực trạng thái làm việc vào địa chỉ ví cá nhân của họ. Lịch sử giao dịch và số dư token được lưu trữ bất biến trên mạng Blockchain Ethereum, giúp các nhà tuyển dụng sau này có thể đối soát trực tiếp tính chính xác của thời gian và kinh nghiệm làm việc ghi trên CV mà ứng viên không thể tự ý sửa đổi hay làm giả.

3. Ba giải thuật tối ưu hóa trong Federated Learning được khóa luận phân tích chuyên sâu gồm những thuật toán nào và nguyên lý khác biệt ra sao?

Khóa luận phân tích 3 giải thuật:

  • FedAvg (Federated Averaging): Hoạt động đồng bộ; máy chủ gửi mô hình toàn cục, các client được chọn chạy SGD trên dữ liệu cục bộ qua nhiều epoch rồi gửi trọng số về; máy chủ lấy trung bình trọng số để cập nhật mô hình mới.
  • FSVRG (Federated Stochastic Variance Reduced Gradient): Tính toán gradient đầy đủ một cách tập trung, sau đó các client cập nhật ngẫu nhiên phân tán với kích thước bước $h_k$ tỷ lệ nghịch với lượng dữ liệu $n_k$ của từng máy để giảm phương sai.
  • CO-OP: Hoạt động không đồng bộ; cho phép máy chủ lập tức hợp nhất mô hình nhận được từ client vào mô hình toàn cục dựa trên việc đánh giá chênh lệch tuổi mô hình $a - a_k$ thông qua bộ lọc ngưỡng giới hạn trên và giới hạn dưới $[b_l, b_u]$.

4. Hệ thống trạm nhận diện tại trụ sở công ty sử dụng những thành phần phần cứng và công nghệ nào?

Trạm nhận diện tại trụ sở được cấu thành từ kit máy tính nhúng Nvidia Jetson Nano kết nối với module Camera Raspberry Pi V2. Thiết bị nhúng này nạp trực tiếp tệp trọng số trainer.yml (được tổng hợp từ các bản cập nhật của nhân viên) để chạy giải thuật nhận diện gương mặt qua luồng video thời gian thực từ camera, sau đó kích hoạt tín hiệu giao dịch điểm danh lên mạng Blockchain.

5. Vì sao khóa luận chỉ triển khai thử nghiệm trên mạng Ganache thay vì triển khai chính thức trên Ethereum Mainnet?

Trong Chương 2 và Chương 5, tác giả chỉ ra rằng chi phí giao dịch trung bình trên mạng chính Ethereum dao động từ 75 đến 160 USD và có thể tăng vọt khi mạng bị tắc nghẽn. Ngoài ra, việc vận hành hợp đồng thông minh cho các thao tác điểm danh và quản lý trạng thái nhân sự liên tục đòi hỏi chi phí Gas rất lớn. Vì vậy, nhóm tác giả lựa chọn mạng mô phỏng Ganache nhằm kiểm thử đầy đủ các chức năng của máy ảo EVM mà không phát sinh chi phí tài chính thực tế.

Kết luận

Khóa luận tốt nghiệp của tác giả Ngô Phúc Thịnh và Nguyễn Trần Minh Thiện đã giải quyết thành công bài toán bảo mật sinh trắc học và kiểm thực kinh nghiệm lao động thông qua việc kết hợp nền tảng Blockchain Ethereum và kỹ thuật học liên kết (Federated Learning). Bằng cách chuyển giao quá trình huấn luyện nhận diện khuôn mặt về thiết bị người dùng cá nhân và công khai trạng thái việc làm qua cơ chế token trên Smart Contract, hệ thống loại bỏ nguy cơ rò rỉ dữ liệu ảnh thô và ngăn chặn triệt để hành vi gian lận CV. Mặc dù còn đối mặt với các thách thức về phí gas mạng lưới và tài nguyên tính toán của thiết bị nhúng Jetson Nano, nghiên cứu đã xây dựng hoàn chỉnh một mô hình kiến trúc lai Web3 - Edge AI có tính ứng dụng thực tiễn cao cho các tổ chức, doanh nghiệp.