Graduation thesis: FPGA accelerator using CNN for facial landmark detection - HCMUTE 2025

Nghiên cứu thiết kế và hiện thực bộ tăng tốc phần cứng trên FPGA dùng mạng nơ-ron tích chập CNN phục vụ nhận diện điểm mốc khuôn mặt với độ chính xác cao.

• Tác giả: Trần Long
• Người hướng dẫn: TS. Phạm Văn Khoa
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật máy tính
• Đề tài: Design and Implementation of FPGA-based Accelerator Using Convolutional Neural Network for Facial Landmark Detection
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan về FPGA based CNN accelerator tại HCMUTE 2025

Đề tài tốt nghiệp năm 2025 tại Trường Đại học Sư phạm Kỹ thuật TP.HCM (HCMUTE) tập trung phát triển bộ tăng tốc phần cứng cho mạng nơ-ron tích chập (CNN). Mục tiêu cốt lõi là phát hiện các điểm mốc trên khuôn mặt (facial landmark detection) theo thời gian thực. Hệ thống sử dụng nền tảng Kria KV260 Vision AI Starter Kit trang bị chip AMD Xilinx Zynq UltraScale+ MPSoC. Kiến trúc MPSoC kết hợp chặt chẽ giữa hệ thống vi xử lý ARM và mảng logic lập trình được (FPGA fabric). Mô hình CNN được lượng tử hóa bằng thư viện Brevitas trong môi trường PyTorch. Sau đó, framework FINN của AMD Xilinx chuyển đổi đồ thị tính toán thành kiến trúc phần cứng dạng dòng dữ liệu (streaming dataflow). Quá trình tổng hợp mức cao (High-Level Synthesis - HLS) tạo ra các khối IP chuyên dụng bằng C++. Phương pháp này tối ưu hóa độ trễ, tiết kiệm tài nguyên phần cứng và giảm tiêu hao năng lượng. Nghiên cứu khẳng định tiềm năng lớn của giải pháp tính toán biên (edge computing) trong các bài toán thị giác máy tính đòi hỏi hiệu năng cao.

1.1. Bối cảnh nghiên cứu tại HCMUTE năm 2025

Đề tài được thực hiện bởi sinh viên Trần Long dưới sự hướng dẫn của Tiến sĩ Phạm Văn Khoa tại Khoa Đào tạo Quốc tế thuộc Đại học Sư phạm Kỹ thuật TP.HCM vào tháng 7 năm 2025. Bài toán nhận diện điểm mốc khuôn mặt có vai trò quan trọng trong tương tác người máy, phân tích cảm xúc và giám sát lái xe an toàn. Các thiết bị nhúng thông thường như Raspberry Pi hay vi điều khiển tiêu chuẩn không đủ năng lực tính toán. Chúng gây ra độ trễ cao và nghẽn cổ chai khi chạy mạng học sâu liên tục. Do đó, việc nghiên cứu một bộ tăng tốc chuyên biệt trên phần cứng FPGA là hướng đi tất yếu. Nghiên cứu đáp ứng trọn vẹn yêu cầu xử lý cục bộ, bảo mật dữ liệu và phản hồi nhanh chóng mà không cần kết nối đám mây.

1.2. Mục tiêu thiết kế bộ tăng tốc CNN trên FPGA

Mục tiêu nghiên cứu là xây dựng đường ống xử lý hoàn chỉnh từ khâu huấn luyện mạng đến hiện thực hóa vi mạch. Mạng nơ-ron phải xác định chính xác các tọa độ then chốt trên gương mặt với tốc độ khung hình cao. Hệ thống cần đạt mức tiêu thụ điện năng thấp, thích hợp cho các thiết bị di động hoặc trạm quan trắc độc lập. Việc kết hợp khung phần mềm FINN với công cụ Vivado HLS cho phép tự động hóa quy trình chuyển đổi mạng CNN sang mã RTL. Thiết kế phần cứng khai thác triệt để tính toán song song ở cấp độ điểm ảnh và kênh đặc trưng. Nhờ vậy, bộ tăng tốc đạt thông lượng tính toán vượt trội so với các vi xử lý đa năng truyền thống cùng công suất tiêu thụ.

II. Vấn đề xử lý facial landmark detection trên thiết bị biên

Phát hiện điểm mốc khuôn mặt đòi hỏi xử lý ma trận phức tạp với mật độ tính toán dày đặc. Các mô hình học sâu truyền thống thường có hàng triệu tham số với định dạng dấu phẩy động 32-bit (FP32). Khi triển khai lên các hệ thống nhúng, khối lượng tính toán lớn dẫn đến hiện tượng quá nhiệt và sụt giảm tốc độ khung hình. Bộ vi xử lý trung tâm (CPU) xử lý tuần tự nên gặp hiện tượng nghẽn cổ chai dữ liệu nghiêm trọng. Bộ xử lý đồ họa (GPU) mang lại tốc độ cao nhưng lại tiêu tốn quá nhiều năng lượng, không phù hợp với nguồn pin giới hạn. Bên cạnh đó, việc truyền dữ liệu liên tục giữa bộ nhớ ngoài DRAM và chip xử lý tạo ra độ trễ truy xuất đáng kể. Điều này làm giảm tính ổn định trong các ứng dụng thời gian thực như theo dõi ánh mắt tài xế hay nhận diện biểu cảm tức thời. Do đó, nhu cầu bức thiết là phải nén mô hình thông qua lượng tử hóa và thiết kế phần cứng chuyên biệt. Kiến trúc phần cứng phải tối ưu hóa đường truyền dữ liệu nội bộ để loại bỏ hoàn toàn các điểm nghẽn bộ nhớ.

2.1. Hạn chế của GPU và CPU trên hệ thống nhúng

CPU nhúng chỉ có số lượng lõi xử lý hạn chế và hoạt động theo cơ chế thực thi lệnh tuần tự. Cấu trúc này không đáp ứng được hàng tỷ phép tính nhân cộng ma trận mỗi giây của mạng CNN. Ngược lại, GPU nhúng sở hữu khả năng xử lý song song mạnh mẽ nhưng tiêu thụ điện năng từ mười đến ba mươi watt. Mức tiêu thụ này sinh nhiệt lượng lớn và đòi hỏi hệ thống tản nhiệt cồng kềnh. Ngoài ra, GPU phụ thuộc nhiều vào băng thông bộ nhớ chia sẻ, gây trễ dao động khi nạp luồng hình ảnh camera. Những hạn chế về công suất, kích thước và nhiệt độ khiến CPU lẫn GPU khó trở thành lựa chọn tối ưu cho hệ thống biên thông minh chạy độc lập.

2.2. Nhu cầu lượng tử hóa mô hình mạng nơ ron

Biểu diễn trọng số và hàm kích hoạt bằng số thực 32-bit tiêu tốn rất nhiều dung lượng bộ nhớ. Trên chip FPGA, tài nguyên bộ nhớ khối BRAM và khối tính toán DSP là hữu hạn. Lượng tử hóa là giải pháp then chốt giúp giảm độ rộng bit xuống 2-bit, 4-bit hoặc số nguyên 8-bit mà vẫn giữ được độ chính xác dự đoán. Thư viện Brevitas hỗ trợ quá trình huấn luyện có nhận thức lượng tử hóa (Quantization-Aware Training). Kỹ thuật này giúp mô hình thích ứng với việc làm tròn số ngay trong giai đoạn học. Dữ liệu sau khi lượng tử hóa giúp thu nhỏ kích thước mô hình, tiết kiệm bộ nhớ trên chip và tăng tốc độ xử lý phần cứng lên gấp nhiều lần.

III. Thiết kế FPGA based CNN accelerator bằng FINN và KV260

Phương pháp nghiên cứu tại HCMUTE xây dựng bộ tăng tốc dựa trên luồng công cụ tự động hóa tiên tiến của AMD Xilinx. Mô hình CNN được xây dựng và lượng tử hóa bằng Brevitas, sau đó xuất ra định dạng chuẩn ONNX. Framework FINN phân tích đồ thị tính toán và ánh xạ từng lớp mạng thành các khối C++ phần cứng tương ứng. Kiến trúc phần cứng vận hành theo nguyên lý dòng dữ liệu liên tục không gián đoạn. Các khối chức năng chính bao gồm FMPadding để đệm viền đặc trưng và ConvolutionInputGenerator để tạo cửa sổ trượt không gian. Tiếp theo, khối MVAU (Matrix-Vector Activation Unit) thực hiện các phép nhân tích chập song song cực nhanh. Khối StreamingDataWidthConverter chuyển đổi độ rộng bus dữ liệu giữa các tầng có cấu hình SIMD khác nhau. Nền tảng Zynq UltraScale+ MPSoC trên bo mạch Kria KV260 tích hợp khối xử lý PS và mảng logic PL thông qua giao tiếp DMA tốc độ cao. Quy trình tổng hợp High-Level Synthesis đảm bảo vi mạch đạt tần số xung nhịp ổn định và tối ưu tài nguyên logic.

3.1. Luồng thiết kế từ Brevitas đến framework FINN

Quy trình bắt đầu bằng việc huấn luyện mạng phát hiện điểm mốc khuôn mặt với Brevitas trên PyTorch. Các phép toán trọng số và kích hoạt được ép xuống độ chính xác thấp mà không làm giảm dung sai vị trí. Sau khi xuất mô hình sang tệp ONNX, framework FINN tiến hành tối ưu hóa đồ thị bằng cách gập các phép biến đổi liên tiếp. FINN chuyển đổi các nút tính toán thành các mẫu C++ chuyên biệt trong thư viện Vivado HLS. Mỗi lớp mạng được ánh xạ trực tiếp thành một lõi IP phần cứng độc lập. Luồng thiết kế tự động hóa này loại bỏ hoàn toàn việc viết mã RTL thủ công bằng Verilog hay VHDL, giúp rút ngắn thời gian phát triển và giảm thiểu sai sót kỹ thuật.

3.2. Cấu trúc khối IP phần cứng FMPadding và MVAU

Khối FMPadding đóng vai trò đệm các giá trị số không xung quanh bản đồ đặc trưng để duy trì kích thước không gian phù hợp. Khối ConvolutionInputGenerator tổ chức lại luồng dữ liệu tuần tự thành các vectơ cửa sổ trượt, cung cấp trực tiếp cho bộ tính toán. Trái tim của bộ tăng tốc là khối MVAU, nơi diễn ra các phép nhân ma trận với vectơ ở tốc độ cao. MVAU khai thác cấu trúc song song PE và SIMD để xử lý đồng thời nhiều kênh dữ liệu. Ngoài ra, khối StreamingDataWidthConverter điều phối sự tương thích về băng thông dữ liệu giữa các tầng mạng liền kề. Toàn bộ chuỗi khối IP tạo thành một đường ống xử lý trực tiếp trên chip mà không phụ thuộc vào bộ nhớ ngoài.

IV. Kết luận về FPGA based CNN accelerator tại HCMUTE 2025

Nghiên cứu tốt nghiệp năm 2025 tại HCMUTE đã chứng minh tính khả thi và hiệu quả vượt trội của bộ tăng tốc CNN trên FPGA. Việc kết hợp bo mạch Kria KV260, công cụ FINN và kỹ thuật lượng tử hóa mang lại giải pháp toàn diện cho bài toán phát hiện điểm mốc khuôn mặt. Bộ tăng tốc đạt tốc độ xử lý thời gian thực với độ trễ tính toán cực thấp và lượng điện năng tiêu thụ tối thiểu. So với các giải pháp GPU nhúng truyền thống, phần cứng FPGA thể hiện tính ưu việt về hiệu suất năng lượng trên mỗi watt. Kiến trúc mô-đun hóa cho phép dễ dàng mở rộng, tái cấu hình và cập nhật khi mạng nơ-ron thay đổi cấu trúc. Kết quả nghiên cứu mở ra tiềm năng ứng dụng to lớn trong các hệ sinh thái thông minh hiện đại. Đây là nền tảng vững chắc để phát triển các thiết bị giám sát an toàn xe hơi, hệ thống xác thực sinh trắc học và robot tương tác.

4.1. Đánh giá hiệu năng và mức tiêu thụ năng lượng

Hệ thống trên bo mạch AMD Kria KV260 vận hành với mức tiêu thụ điện năng chỉ khoảng vài watt, thấp hơn đáng kể so với GPU nhúng. Nhờ đường ống dòng dữ liệu sâu và cơ chế tính toán song song, bộ gia tốc duy trì độ trễ tính toán ở mức mili-giây cho mỗi khung hình. Mô hình lượng tử hóa chiếm dụng ít tài nguyên logic LUT và bộ nhớ nội BRAM, giúp bộ nhớ không bị quá tải. Độ chính xác định vị các điểm mốc khuôn mặt vẫn được bảo toàn tốt, đáp ứng các tiêu chuẩn khắt khe của thị giác máy tính công nghiệp. Kết quả thử nghiệm thực tế khẳng định sự cân bằng hoàn hảo giữa hiệu năng xử lý, công suất tiêu thụ và chi phí phần cứng.

4.2. Khả năng ứng dụng thực tế trong công nghiệp

Bộ tăng tốc phần cứng này có thể tích hợp trực tiếp vào hệ thống cảnh báo mất tập trung và buồn ngủ của người lái xe (DMS). Tốc độ đáp ứng tức thời giúp ngăn chặn kịp thời các nguy cơ tai nạn giao thông nghiêm trọng. Thiết kế cũng tương thích hoàn hảo với các thiết bị kiểm soát ra vào bằng nhận diện khuôn mặt tại các tòa nhà thông minh. Khả năng tính toán tại biên đảm bảo thông tin sinh trắc học cá nhân không bị rò rỉ qua mạng Internet. Ngoài ra, giải pháp còn phù hợp để ứng dụng trong y tế nhằm theo dõi trạng thái bệnh nhân hoặc hỗ trợ điều khiển cử chỉ không tiếp xúc trong giao diện người máy thế hệ mới.

Trích đoạn nội dung tài liệu

HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY OF INTERNATIONAL EDUCATION MAJOR OF COMPUTER ENGINEERING TECHNOLOGY  GRADUATION THESIS TOPIC: DESIGN AND IMPLEMENTATION OF FPGA-BASED ACCELERATOR USING CONVOLUTIONAL NEURAL NETWORK FOR FACIAL LANDMARK DETECTION STUDENTS: Trần Long - 21119311 LECTURER: Ph.D Phạm Văn Khoa Ho Chi Minh, July 2025 DISCLAIMER This thesis is submitted in partial fulfillment of the requirements for the degree of Bachelor of Engineering at Ho Chi Minh City University of Technology and Education. The work presented herein is the original work of the author, except where reference is made to the work of others. All external sources of data, figures, and technical materials have been duly acknowledged. The design, implementation, and evaluation presented in this document were carried out as part of an academic research project.

The results and conclusions are based on experiments performed under controlled laboratory conditions using the Kria KV260 Vision AI Starter Kit and the FINN framework. This thesis does not represent the official views or positions of AMD Xilinx, PYNQ developers, or any affiliated organizations. The hardware and software tools referenced herein are the intellectual property of their respective owners. The author accepts full responsibility for any errors or omissions and welcomes constructive feedback for future improvements.

ACKNOWLEDGEMENTS To Ho Chi Minh City University of Technology and Education, It is with the deepest respect and heartfelt gratitude that I write these lines to honor and thank Ho Chi Minh City University of Technology and Education; the academic home that has nurtured my growth over the past years. This university has been much more than a place of study to me. It has been a source of inspiration, a crucible of ideas, and a vibrant community where I discovered not only knowledge but also my own strengths and aspirations. The values upheld by the institution academic excellence, integrity, and innovation have left a profound imprint on my journey.

I am proud to be a student molded by such a noble and forward-looking educational environment. My most sincere thanks go to the Faculty of International Education, where my academic experience was not only enriched but also elevated to a global standard. The faculty’s dynamic curriculum, international orientation, and unwavering support made every semester a new adventure in learning. From orientation day to the final moments of thesis defense, I always felt guided, empowered, and seen.

I’m especially grateful for how the faculty encouraged critical thinking, intercultural awareness, and academic confidence tools that I will carry far beyond the classroom. To the esteemed lecturers who have taught me with such passion and commitment, I offer my profound gratitude. Your lectures were more than just lessons, they were windows into new worlds, filled with enthusiasm and intellectual rigor. Each of you, in your own way, has shaped not just my academic abilities but also my character.

You’ve taught me to question deeply, to think broadly, and to act ethically. I am so thankful and appreciated your knowledge given to me. And with special reverence, I extend my heartfelt appreciation to my thesis advisor, PH. Thank you for being the steady lighthouse throughout the often turbulent journey of research.

Your insightful guidance, patient explanations, and unwavering support were instrumental in helping me complete my thesis. More than that, your mentorship taught me the art of perseverance and intellectual honesty. You challenged me when I needed it, encouraged me when I was uncertain, and always reminded me that the pursuit of knowledge is not a race, but a voyage of discovery. This thesis stands not just as an academic requirement, but as a testament to all the lessons you imparted, both spoken and silent.

TABLE OF CONTENTS LIST OF FIGURES AND TABLES. Background and Motivation. Objectives of the Study. Scope and Application Context.

Research Methodology and Tools Used. Model Design and Quantization. Hardware Compilation with FINN. System Integration in Vivado.

Software Control with PYNQ. Verification and Evaluation. 10 CHAPTER 2: THEORETICAL BACKGROUND AND PLATFORMS OVERVIEW. Convolutional Neural Network – MobileNetV2.

Quantized Neural Networks and Hardware-Friendly CNNs. Overview of HLS-Based FPGA Design for AI. Brevitas and Quantization-Aware Training. High-Level Synthesis Method Using Fast Inference Neural Network.

Zynq UltraScale+ MPSoC Architecture. AXI Infrastructure for Interfacing. Clocking and Synchronization. Hardware Resource Availability.

Kria KV260 Vision AI Starter Kit. Hardware Specifications and Features. Development Workflow with KV260. Suitability for AI Acceleration.

PYNQ Framework for Hardware Control. Overview of Hardware Platforms for Comparison. Intel Core i9-13900K CPU. NVIDIA Jetson Nano 2GB.

23 CHAPTER 3: FAST INFERENCE NEURAL NETWORK AND BUILD HARDWARE ACCELERATOR. Fast Inference Neural Network (FINN) Framework. End-to-End Methodology .1 CNN Model Design with Quantization Constraints .2 Export to ONNX and Model Preprocessing .3 Mapping to HLS-Compatible Representations .3 Accelerator Generation with Fast Inference Neural Network. FINN Compilation Flow (Frontend to RTL).

Build result and analysis. Model in Software and model in Harrware Comparison. 44 CHAPTER 4: HARDWARE SYSTEM IMPLEMENTATION AND INTEGRATION. Vivado Block Design and IP Integration .1 AXI Interconnect and IP Planning .2 Memory Mapping and Address Allocation .3 FINN IP Integration into Programmable Logic.

Software-Hardware Co-Design with PYNQ. Overlay Management and Control. Python-Based Inference Pipeline and I/O. 54 CHAPTER 5: RESULT EVALUATION AND CONCLUSION.

Synthesis and Resource Utilization Analysis .1 Report: Power, Timing, and Resource Utilization .2 Scalability and Area-Latency Trade-Off. Hardware Setting and Connections. Deploy and Inference results. Comparison Among Platforms.

Limitations and Optimization Opportunities. Accuracy Trade-offs from Quantization. Constraints on Model Complexity. Software-Induced Latency in PYNQ.

Static Folding Configuration in FINN. Limited Dataset Generalization. Future Work and Research Directions. Fully Hardware-based CNN Model Accelerator.

Developing and Optimizing Accelerators with HLS. 73 LIST OF FIGURES AND TABLES Figure 1.1: Project Design Flow. MobileNetV2 Network overview .2: Zynq UltraScale+ MPSoC Architecture .3 : Kria KV260 Vision AI Starter Kit .6: Intel Core i9-13900K CPU .7: NVIDIA Jetson Nano 2GB Developer Kit .8: Raspberry Pi 4 Model B .1: Quantization Model design flow .4: Hardware configuration code for Kria KV260 .5: Steps for building data configuration.6: Result files after build accelerator .7: Hardware and RTL files .9: Convolution Input Generator Block .10: Streaming Data Width Converter Block .12: Matrix-vector Multiplication and Activation Block .13: Streaming FIFO Block .14: Accelerator Blocks connection .16: Accelerator Packaged to IP block .17: CNN Accelerator Schematic .18: CNN Accelerator Top Module .19: Data is executed in software CNN model .20: Data is executed in hardware CNN model.21: The combined view of data being executed in sorfware and in hardware .1: Hardware System Block Design .2: AXI Interconnect Connection .4: CNN IP accelerator integration .1: Report system power consumption by Vivado .2: Rerport system timing analysis by Vivado .3: Resource Utilization Post-implementation graph .4: System inference flow diagram .5: Connections among KV260 board, camera and HDMI monitor .6: Facial landmark detection result on hardware – Straight views .7: Facial landmark detection result on hardware – Side views.8: Running CNN accelerator on Kria KV260 Vision AI Starter Kit.1: Related Works Comparision .1: FINN generated IP Blocks .1: IP Planning and Module Roles .2: Address Space Summary .1: Report system utilization .2: Platforms used and comparison. 64 2 ABSTRACT The increasing demand for real-time facial analysis in edge AI applications has highlighted the need for high-performance, low-power neural network accelerators.

This thesis presents the design and implementation of a Convolutional Neural Network (CNN) hardware accelerator for facial landmark detection on FPGA. The proposed system leverages quantization-aware training (QAT) via Brevitas, and hardware synthesis using FINN—a high-level synthesis (HLS) framework developed by Xilinx—to produce a streaming architecture optimized for deployment on the Kria KV260 Vision AI Starter Kit. The CNN model is first trained in PyTorch and quantized to 8-bit fixed-point format. The FINN toolchain is then used to compile the model into a series of RTL-based IP blocks.

These IPs are integrated into a Vivado block design alongside DMA controllers and the Zynq UltraScale+ MPSoC processing system. The resulting bitstream is wrapped with a Python-based control interface using the PYNQ framework, enabling software-hardware co-design and Jupyter-based evaluation. Experimental results show that the accelerator achieves real-time inference with low latency and efficient resource usage. Key performance metrics, such as frame processing rate, power consumption, and hardware utilization, are analyzed.

A platform comparison against GPU and CPU implementations further demonstrates the benefits of FPGA deployment in embedded AI scenarios. This work validates the effectiveness of combining model-level quantization with HLS-based synthesis for creating efficient, task-specific AI accelerators, and sets a foundation for future enhancements in multi-CNN integration and edge deployment. Keywords: Fast Inference Neural Network (FINN) Framework, CNN accelerator, FPGA, deep learning. Background and Motivation In recent years, the rapid advancement of artificial intelligence (AI) and computer vision has led to widespread deployment of deep learning models across diverse domains, including facial analysis, autonomous driving, medical imaging, and smart surveillance systems.

Among these models, Convolutional Neural Networks (CNNs) have gained prominence for their exceptional performance in tasks such as image classification, object detection, and facial landmark localization. However, the integration of deep learning models into real-time embedded systems poses substantial challenges, particularly regarding resource constraints, power efficiency, and latency. Traditional platforms such as CPUs and GPUs offer general-purpose processing capabilities, but they often fall short when it comes to deterministic latency and energy-efficient inference on the edge. To address these limitations, Field-Programmable Gate Arrays (FPGAs) have emerged as a compelling solution for accelerating CNN workloads due to their fine-grained parallelism, reconfigurability, and low-power operation.

Moreover, recent trends in hardware-aware AI design have favored quantized models and hardware-optimized neural networks that can be synthesized using High-Level Synthesis (HLS) tools. These methodologies allow developers to transform high-level representations of neural networks into efficient RTL (Register Transfer Level) hardware implementations. In particular, face-landmark detection is a task that demands both high precision and low latency, making it an ideal application to benefit from hardware acceleration on platforms like Xilinx Zynq UltraScale+ MPSoC. The motivation behind this thesis is to explore an end-to-end methodology for implementing a quantized CNN-based face landmark detection system on FPGA, emphasizing HLS-driven accelerator design, platform integration with Vivado, and runtime control using PYNQ on the Kria KV260 Vision AI Starter Kit.

This approach not only demonstrates the potential of hardware-level customization for real-time AI but also offers a scalable template for deploying other neural networks efficiently in edge AI environments. This thesis explores the design and implementation of a hardware-accelerated CNN for facial landmark detection on the Kria KV260 FPGA platform [3][8][11]. The increasing demand for real-time and low-power AI systems motivates the use of FPGA-based accelerators, which offer customizable architectures and energy efficiency compared to traditional CPUs and GPUs [8][11]. Problem Statement Nowadays, it can be said that this is the era of AI technology.

Every application and system is integrated with AI, which makes the job easier and more convenient. AI models are built for various purposes such as automation, data analysis, and intelligent systems,. Besides, there are also applications that use human faces as data in order to activate system functions such as: Transportation, Security, Public Services and Education. In this topic, smart transportation will be the main goal to serve the author's research.

Despite the significant progress in facial landmark detection algorithms driven by deep learning, their deployment in resource-constrained edge devices remains a complex challenge. State-of-the-art convolutional neural networks (CNNs) designed for landmark detection often require high memory bandwidth, floating-point operations, and extensive compute resources, making them unsuitable for real-time applications on embedded hardware platforms and light-weight devices. In safety-critical domains such as in-vehicle driver monitoring systems (DMS), the ability to detect facial landmarks accurately and with minimal latency is essential. However, general-purpose processors (CPUs) or graphic processor units (GPUs) are not viable in such applications due to their high power consumption and non-deterministic execution latency.