Đồ án tốt nghiệp tăng tốc mạng CNN nhận diện khuôn mặt trên FPGA tại HCMUTE của Trần Nam Phát

Tìm hiểu giải pháp tăng tốc mạng nơ-ron tích chập nhận diện khuôn mặt trên FPGA. Phân tích kiến trúc phần cứng tối ưu hiệu năng và tiết kiệm năng lượng.

• Tác giả: Trần Nam Phát
• Người hướng dẫn: TS. Phạm Văn Khoa
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật máy tính
• Đề tài: Convolutional Neural Network Acceleration for Face Detection on FPGA
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan nghiên cứu tăng tốc mạng CNN trên FPGA tại HCMUTE 2025

Công nghệ nhận diện khuôn mặt phát triển mạnh mẽ trong thị giác máy tính. Các mô hình mạng nơ-ron tích chập đòi hỏi tài nguyên tính toán rất lớn. Vi xử lý truyền thống thường gặp hiện tượng nghẽn cổ chai khi chạy các mô hình sâu. Thiết bị đồ họa GPU mang lại hiệu năng cao nhưng tiêu thụ quá nhiều điện năng. Do đó, phần cứng FPGA trở thành giải pháp thay thế lý tưởng cho tính toán biên. Đề tài tốt nghiệp năm 2025 tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh tập trung khai thác tiềm năng của FPGA. Nghiên cứu hướng đến việc thiết kế bộ tăng tốc phần cứng chuyên biệt cho mô hình mạng CNN. Cấu trúc vi mạch cho phép thực thi song song hàng loạt phép tính tích chập phức tạp. Hệ thống xử lý dữ liệu với độ trễ thấp và độ chính xác cao. Nền tảng FPGA cung cấp khả năng tái cấu trúc mạch linh hoạt theo từng bài toán cụ thể. Công trình nghiên cứu này giải quyết bài toán cân bằng giữa hiệu suất xử lý và mức tiêu thụ công suất. Các thiết bị nhúng thông minh trong tương lai sẽ hưởng lợi trực tiếp từ hướng tiếp cận tối ưu phần cứng này.

1.1. Bối cảnh đề tài tốt nghiệp kỹ thuật máy tính HCMUTE

Khoa Đào tạo Quốc tế tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh chú trọng nghiên cứu ứng dụng thực tiễn. Đề tài tốt nghiệp ngành Công nghệ Kỹ thuật Máy tính năm 2025 do sinh viên Trần Nam Phát thực hiện dưới sự hướng dẫn của Tiến sĩ Phạm Văn Khoa. Đề tài tập trung vào việc hiện thực hóa thuật toán trí tuệ nhân tạo trên phần cứng FPGA. Nghiên cứu phản ánh xu hướng dịch chuyển từ tính toán đám mây sang điện toán biên. Sinh viên tiến hành đo đạc thực nghiệm, phân tích kiến trúc vi mạch và đánh giá hiệu năng nghiêm ngặt. Dự án khẳng định năng lực nghiên cứu chuyên sâu của sinh viên HCMUTE trong lĩnh vực thiết kế vi mạch.

1.2. Vai trò của phần cứng FPGA trong tăng tốc mạng CNN

Vi mạch lập trình được FPGA chứa hàng triệu phần tử logic LUT và khối macro chuyên dụng. Cấu trúc phần cứng này cho phép tùy biến luồng dữ liệu độc lập. Không giống kiến trúc tuần tự của CPU, FPGA hỗ trợ tính toán song song ở mức phần cứng. Khả năng truy xuất bộ nhớ nội BRAM tốc độ cao giúp giảm thời gian nạp trọng số mô hình. Nhà thiết kế có thể cấu hình số lượng phép tính nhân cộng theo yêu cầu cụ thể của từng lớp tích chập. Nhờ đó, FPGA mang lại thông lượng xử lý cao vượt trội. Thiết bị vẫn duy trì mức tiêu hao điện năng chỉ vài watt, phù hợp cho hệ thống giám sát an ninh liên tục.

II. Thách thức triển khai tăng tốc mạng CNN nhận diện khuôn mặt FPGA

Quá trình triển khai mạng nơ-ron lên phần cứng đối mặt với nhiều rào cản kỹ thuật phức tạp. Mô hình nhận diện khuôn mặt chứa hàng triệu phép tính dấu phẩy động. Tài nguyên phần cứng trên FPGA bị giới hạn bởi số lượng bảng tra cứu LUT và khối nhân DSP. Việc truyền nhận dữ liệu giữa bộ nhớ ngoài DDR và chip FPGA thường gây ra độ trễ lớn. Tắc nghẽn băng thông bộ nhớ làm suy giảm nghiêm trọng tốc độ khung hình. Ngoài ra, việc lập trình phần cứng bằng ngôn ngữ Verilog hoặc VHDL truyền thống đòi hỏi thời gian thiết kế kéo dài. Lập trình viên phải quản lý từng chu kỳ xung nhịp và tín hiệu điều khiển chi tiết. Sai sót nhỏ trong thiết kế thanh ghi có thể dẫn đến lỗi hoạt động của toàn bộ hệ thống. Bên cạnh đó, việc nén mô hình mạng mà vẫn duy trì độ chính xác nhận diện là bài toán khó. Các lớp kết nối đầy đủ và lớp tích chập tiêu tốn phần lớn dung lượng bộ nhớ nội. Nếu không có chiến lược phân bổ bộ nhớ tối ưu, hệ thống không thể xử lý ảnh kích thước thực tế theo thời gian thực.

2.1. Hạn chế tài nguyên phần cứng và nghẽn băng thông bộ nhớ

Kiến trúc phần cứng FPGA sở hữu số lượng khối nhớ On-chip BRAM giới hạn. Các mô hình nhận diện khuôn mặt tiêu chuẩn thường có kích thước trọng số vượt quá dung lượng nội bộ này. Hệ thống buộc phải lưu trữ dữ liệu trọng số tại bộ nhớ ngoài. Việc truy xuất liên tục vào bộ nhớ ngoài tạo ra hiện tượng nghẽn cổ chai bộ nhớ nghiêm trọng. Chu kỳ trễ đọc ghi làm gián đoạn dòng tính toán của các khối DSP. Điều này khiến hiệu suất tổng thể giảm sút rõ rệt. Thêm vào đó, việc tiêu hao năng lượng khi giao tiếp với bộ nhớ ngoài cũng làm tăng nhiệt độ hoạt động của chip.

2.2. Khó khăn khi thiết kế mạch bằng ngôn ngữ phần cứng HDL

Quy trình phát triển phần cứng truyền thống dựa trên ngôn ngữ mô tả phần cứng Verilog hoặc VHDL. Phương pháp này trao quyền kiểm soát toàn diện đối với kiến trúc vi mạch. Tuy nhiên, thời gian thiết kế và kiểm tra lỗi thường kéo dài nhiều tháng. Việc mô tả thuật toán tích chập nhiều lớp bằng mã mức thanh ghi RTL rất phức tạp. Kỹ sư phải tự xây dựng các khối điều phối dòng dữ liệu và máy trạng thái hữu hạn. Mọi sửa đổi nhỏ về cấu trúc mạng đều đòi hỏi phải tái thiết kế toàn bộ hệ thống mạch. Rào cản này làm chậm tiến độ thử nghiệm các thuật toán AI mới trên thiết bị nhúng.

III. Giải pháp tăng tốc mạng CNN nhận diện khuôn mặt trên FPGA HCMUTE

Để giải quyết triệt để các rào cản phần cứng, nghiên cứu áp dụng kỹ thuật High-Level Synthesis hiện đại. Phương pháp HLS cho phép chuyển đổi mã nguồn C/C++ cấp cao thành kiến trúc phần cứng RTL tối ưu. Tác giả sử dụng kiến trúc mạng MTCNN với ba giai đoạn xử lý chuyên biệt gồm P-Net, R-Net và O-Net. Trong đó, mạng P-Net và R-Net được tái cấu trúc triệt để nhằm giảm thiểu khối lượng tính toán. Cấu trúc tích chập tiêu chuẩn được thay thế bằng phép tích chập tách biệt theo chiều sâu. Kỹ thuật này giảm số lượng phép tính nhân cộng lên đến gần chín mươi phần trăm. Toàn bộ trọng số và hệ số lệch của mạng P-Net được nạp trực tiếp vào bộ nhớ nội BRAM trên FPGA. Nhờ đó, chip xử lý truy xuất dữ liệu với độ trễ bằng không giữa các chu kỳ. Cơ chế giao tiếp AXI Master được cấu hình tối ưu để truyền tải hình ảnh đầu vào và kết quả phát hiện khuôn mặt. Phương pháp kết hợp phân luồng dữ liệu song song giúp tăng thông lượng xử lý đáng kể.

3.1. Ứng dụng kỹ thuật tổng hợp cấp cao HLS và luồng dữ liệu

Kỹ thuật tổng hợp cấp cao HLS rút ngắn đáng kể chu kỳ nghiên cứu và phát triển phần cứng. Thay vì viết mã Verilog thủ công, lập trình viên sử dụng chỉ thị pragma để định hướng kiến trúc mạch. Kỹ thuật Dataflow cho phép thực thi đồng thời các khối chức năng liên tiếp trong mạng nơ-ron. Khi khối xử lý phía sau đang tính toán, khối phía trước đã tiếp nhận dữ liệu mới. Cơ chế ghép kênh bộ nhớ kép Ping-Pong đệm dữ liệu liên tục giữa các giai đoạn tính toán. Giao diện AXI Master đảm bảo tốc độ truyền dữ liệu hình ảnh trực tiếp giữa RAM hệ thống và lõi tính toán tăng tốc.

3.2. Tối ưu kiến trúc mạng P Net và R Net bằng Depthwise Conv

Nghiên cứu áp dụng kỹ thuật Depthwise Separable Convolution để tối ưu hóa hai tầng mạng P-Net và R-Net. Phép tích chập thông thường được phân rã thành tích chập theo chiều sâu và tích chập theo điểm. Cải tiến này giúp giảm mạnh lượng tham số cần tính toán mà vẫn bảo toàn đặc trưng khuôn mặt quan trọng. Đối với mạng R-Net, kích thước bộ lọc ở các lớp Conv 1 và Conv 2 được tinh chỉnh phù hợp với tài nguyên FPGA. Kích thước ảnh đầu vào 24x24 pixel được phân loại nhanh chóng và chính xác. Giải pháp giúp giảm kích thước bộ nhớ lưu trữ trọng số và tăng tốc độ xử lý khung hình rõ rệt.

IV. Đánh giá và ứng dụng tăng tốc mạng CNN trên FPGA tại HCMUTE 2025

Đề tài tốt nghiệp năm 2025 tại HCMUTE đã chứng minh tính khả thi vượt trội của giải pháp tăng tốc phần cứng. Hệ thống hoàn chỉnh đáp ứng xuất sắc các tiêu chí về độ chính xác và tốc độ xử lý thời gian thực. Bằng việc phối hợp linh hoạt giữa phương pháp nén mạng và kỹ thuật HLS, kiến trúc tối ưu đạt hiệu suất năng lượng cao hơn nhiều so với vi xử lý thông thường. Thiết bị FPGA vận hành mát mẻ và ổn định trong thời gian dài. Kết quả thực nghiệm mở ra tiềm năng ứng dụng thực tế phong phú trong đời sống xã hội. Giải pháp có thể tích hợp trực tiếp vào hệ thống camera giám sát an ninh thông minh tại các tòa nhà và sân bay. Thiết bị hỗ trợ kiểm soát vào ra tự động, chấm công bằng khuôn mặt và phát hiện đối tượng nguy hiểm. Nền tảng này cũng phù hợp cho hệ thống thị giác của robot tự hành hoặc xe thông minh. Hướng nghiên cứu đóng góp nền tảng công nghệ quan trọng cho ngành công nghiệp vi mạch bán dẫn và trí tuệ nhân tạo biên tại Việt Nam.

4.1. Hiệu năng vượt trội về tốc độ xử lý và công suất tiêu thụ

Kết quả đo đạc thực nghiệm cho thấy hệ thống FPGA đạt tốc độ xử lý khung hình vượt trội so với CPU máy tính để bàn. Việc nén mạng bằng tích chập tách biệt giúp giảm tải đáng kể cho bộ nhớ. Mức tiêu thụ điện năng của toàn bộ mạch chỉ dừng lại ở mức vài watt điện. Điều này tạo ra lợi thế cạnh tranh áp đảo trước các card đồ họa GPU vốn tiêu thụ hàng trăm watt. Bộ vi mạch giữ nhiệt độ mát mẻ khi vận hành liên tục dưới tải tính toán cao. Đây là yếu tố then chốt giúp kéo dài tuổi thọ linh kiện trong các môi trường công nghiệp khắc nghiệt.

4.2. Khả năng mở rộng vào hệ thống thị giác biên Edge AI

Kiến trúc phần cứng đề xuất sở hữu tính tương thích cao với các nền tảng nhúng hiện đại. Thiết kế cho phép tích hợp trực tiếp vào thiết bị camera thông minh không cần máy chủ trung tâm. Dữ liệu hình ảnh được xử lý cục bộ ngay tại biên, đảm bảo tính bảo mật và quyền riêng tư cá nhân. Thời gian phản hồi tức thì giúp ứng dụng tốt trong các cổng kiểm soát giao thông hoặc cửa khẩu sân bay. Ngoài ra, khả năng tái cấu trúc của FPGA cho phép cập nhật thuật toán nhận diện mới mà không cần thay đổi phần cứng vật lý. Giải pháp mở ra triển vọng thương mại hóa to lớn cho các thiết bị thông minh.

Trích đoạn nội dung tài liệu

HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION PROJECT CONVOLUTIONAL NEURAL NETWORK ACCELERATION FOR FACE DETECTION ON FPGA TRẦN NAM PHÁT Student ID: 21119318 Major: COMPUTER ENGINEERING TECHNOLOGY Advisor: PHẠM VĂN KHOA, PhD. Ho Chi Minh City, July 2025 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION GRADUATION PROJECT CONVOLUTIONAL NEURAL NETWORK ACCELERATION FOR FACE DETECTION ON FPGA TRẦN NAM PHÁT Student ID: 21119318 Major: COMPUTER ENGINEERING TECHNOLOGY Advisor: PHẠM VĂN KHOA, PhD. Ho Chi Minh City, July 2025 DISCLAIMER This graduation thesis is completed as a part of the requirements for completing a bachelor’s degree in Computer Engineering Technology in Ho Chi Minh University of Technology and Education. The content that is presented in this project is the work of my independent research and development that was conducted under the supervision of Dr.

Pham Van Khoa. All of the result presented in this thesis are of my own measurements and developments and I have put in my greatest effort to ensure the accuracy as well as the reliability of my measurements in this project. All sources of information, data and related research project used in this thesis have been properly cited and acknowledged. The information provided in this work is for educational purposes only and should not be taken as standard for industrial or commercial usage without further inspection, verification and validation.

The author retains the right to make changes, corrections, modifications and enhancements for the presented content without notice and is not responsible for any mistakes or omissions in the content of this thesis. i ACKNOWLEDGEMENT First of all, I would like to express my greatest gratitude to my supervisor Dr. Pham Van Khoa for his guidance, support and mentorship throughout this project. His insights, experience in the field and ongoing support were a crucial part for the creation and completion of this research thesis.

I am truly appreciated of Dr. Pham Van Khoa for providing me with necessary resources and facilities to carry out this research. I would also like to express my deepest appreciation for my colleagues Phan Minh Duc and Nguyen Le Ngoc Tram, who collaborated with me on a different thesis project. Their insights as well as efforts and ideas indirectly and positively contribute to the work presented in this research.

Again, I would like to thank Dr. Pham Van Khoa for his support throughout the project as well as providing me with a stimulating intellectual environment that was critical to the completion of my thesis. I am also extremely grateful my fellow undergraduate students as well as my coworkers for their support throughout the entire project, for constantly encouraging me as well as giving me valuable advices that help me through this hard and challenging journey. I would also like to thank all of the lecturers in the Faculty of International Education for providing me with the necessary knowledge to do this research as well as aiding me on my journey to become an Engineer.

Last but not least, I would like to thank my family and friends for their unconditional love, encouragement and support throughout my thesis research as well as my entire journey in university. Without them, I would not have been able to complete this thesis as well as concluding my journey in university. Thank you for always being there for me in my hardest time. ii TABLE OF CONTENTS CHAPTER 1: INTRODUCTION.

2 CHAPTER 2: BACKGROUND KNOWLEDGE. Neural network introduction. Model of a neuron in a neural network. Neural network architecture.

Convolutional Neural Network. Convolutional Neural Network introduction. Convolution operation in convolutional layer. Types of layers used in CNN.

Face detection with Multi-task Cascaded Convolutional Network. Baseline Multi-task Cascaded Convolutional Network model. Optimized Multi-task Cascaded Convolutional Network structure. Field-Programmable Gate Array (FPGA).

High-level synthesis (HLS). High-level synthesis introduction. High-level synthesis development flow. HLS optimization techniques.

HLS dataflow technique. HLS pipelining technique. HLS unrolling technique. AMD Xilinx Zynq platform.

21 CHAPTER 3: DESIGN AND IMPLEMENTATION. Convolutional layer baseline implementation. Convolutional layer implementation with on-chip buffering technique .