Tài liệu: Luận văn acceleration of generative adversarial networks for

Tăng tốc mạng đối kháng sinh tạo (GAN) cho việc tạo hình ảnh trên nền tảng SOC FPGA, tối ưu hóa hiệu suất và giảm thời gian xử lý.

• Tác giả: Le Ngoc Minh Thu
• Người hướng dẫn: Assoc. Pham Quoc Cuong
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Engineering
• Đề tài: Acceleration of Generative Adversarial Networks for Image Generation on the SoC-FPGA Platform
• Loại tài liệu: Thesis
• Năm xuất bản: 2024
• Địa điểm: Ho Chi Minh City

Tóm tắt

I. Tổng quan về tăng tốc GAN trên nền tảng SoC FPGA hiện đại

Sự phát triển của trí tuệ nhân tạo (AI) đã thúc đẩy nhu cầu về các nền tảng phần cứng mạnh mẽ để xử lý các thuật toán phức tạp. Trong số đó, Generative Adversarial Networks (GANs) nổi lên như một khung làm việc tiềm năng cho việc tạo dữ liệu tổng hợp. Tuy nhiên, việc thực thi GAN trên các thiết bị biên thường gặp khó khăn do yêu cầu tính toán cực lớn. Giải pháp Hardware Acceleration (tăng tốc phần cứng) sử dụng Field-Programmable Gate Array (FPGA) kết hợp với cấu trúc System-on-Chip (SoC) đang trở thành xu hướng tối ưu. Kiến trúc này cho phép tận dụng khả năng xử lý song song của FPGA và tính linh hoạt của bộ vi xử lý. Nghiên cứu này tập trung vào việc tối ưu hóa quá trình Image Synthesis (tổng hợp hình ảnh) thông qua việc tăng tốc mạng Generator trên các dòng chip tiên tiến như Zynq UltraScale+.

1.1. Vai trò của Generative Adversarial Networks GANs trong AI

Generative Adversarial Networks (GANs) bao gồm hai mạng đối lập: Generator và Discriminator. Generator học cách tạo ra dữ liệu giả giống thật, trong khi Discriminator học cách phân biệt chúng. Quá trình này tạo ra các mô hình có khả năng tạo hình ảnh chất lượng cao. Tuy nhiên, thời gian suy luận (Deep Learning Inference) của GAN thường rất dài trên các CPU truyền thống. Điều này đòi hỏi các giải pháp chuyên biệt để triển khai trong môi trường thực tế như thực tế ảo hoặc y tế.

1.2. Ưu thế của nền tảng SoC FPGA đối với xử lý ảnh

Nền tảng System-on-Chip (SoC) tích hợp cả bộ vi xử lý (PS) và logic lập trình (PL). Field-Programmable Gate Array (FPGA) cung cấp khả năng tùy chỉnh mạch logic theo từng thuật toán cụ thể. So với GPU, FPGA có Power Efficiency (hiệu suất năng lượng) cao hơn, đặc biệt quan trọng cho các thiết bị di động. Việc sử dụng các dòng board như Kria KV260 giúp rút ngắn thời gian phát triển các ứng dụng thị giác máy tính nhờ cấu trúc phần cứng tối ưu cho AI.

II. Thách thức khi triển khai Deep Learning Inference trên FPGA

Mặc dù FPGA sở hữu tiềm năng lớn, việc triển khai Deep Learning Inference vẫn đối mặt với nhiều rào cản kỹ thuật. Vấn đề lớn nhất nằm ở sự hạn chế về tài nguyên phần cứng và băng thông bộ nhớ. Các mạng GAN thường rất sâu và có hàng triệu tham số, gây áp lực lên Resource Utilization (BRAM, DSP, LUT). Ngoài ra, việc quản lý luồng dữ liệu giữa bộ nhớ ngoài và các đơn vị tính toán bên trong chip là một bài toán hóc búa. Nếu không có các kỹ thuật Memory Bandwidth Optimization, hệ thống dễ rơi vào tình trạng thắt nút cổ chai, làm giảm đáng kể Throughput and Latency. Do đó, việc thiết kế một kiến trúc có khả năng mở rộng và tối ưu hóa việc truy xuất dữ liệu là yêu cầu bắt buộc.

2.1. Nút thắt cổ chai về băng thông và tài nguyên bộ nhớ

Các thuật toán Deep Learning đòi hỏi việc truy xuất dữ liệu liên tục. Trên FPGA, việc sử dụng Block RAM (BRAM) hiệu quả là chìa khóa để duy trì tốc độ. Tuy nhiên, dung lượng BRAM có hạn khiến việc lưu trữ toàn bộ tham số mô hình là không thể. Do đó, cần áp dụng các chiến lược như Memory Bandwidth Optimization để điều phối dữ liệu từ DRAM vào chip thông qua giao thức DMA, đảm bảo các đơn vị tính toán luôn có dữ liệu để xử lý.

2.2. Vấn đề về độ trễ và thông lượng trong Image Generation

Trong các ứng dụng thời gian thực, Throughput and Latency là hai chỉ số quan trọng nhất. Việc thực hiện các phép tính tích chập ngược (Deconvolution) trong GAN tiêu tốn nhiều thời gian do các vùng chồng lấn (overlap). Nếu không có cơ chế xử lý song song hiệu quả, độ trễ sẽ tăng cao, khiến hệ thống không thể đáp ứng các yêu cầu xử lý ảnh trực tiếp. Điều này đòi hỏi một kiến trúc pipeline hoàn chỉnh để tối ưu hóa từng chu kỳ xung nhịp.

III. Phương pháp Hardware Software Co design tối ưu cho GAN

Để giải quyết các thách thức trên, phương pháp Hardware-Software Co-design được áp dụng một cách triệt để. Trong kiến trúc này, các tác vụ tuần tự được thực hiện trên Processing System (PS), trong khi các phép tính toán học nặng nề được đẩy xuống Programmable Logic (PL). Một bước quan trọng trong quy trình này là Model Quantization, chuyển đổi các trọng số từ định dạng 32-bit floating-point sang 8-bit hoặc 16-bit fixed-point. Việc này giúp giảm đáng kể khối lượng tính toán và diện tích chip mà không làm giảm quá nhiều độ chính xác. Sau khi tối ưu hóa mô hình, quá trình Bitstream Generation sẽ tạo ra tệp cấu hình để nạp vào FPGA, biến các thiết kế logic thành phần cứng thực thụ.

3.1. Kỹ thuật Model Quantization và tối ưu hóa trọng số

Model Quantization là quá trình giảm độ phân giải của các con số biểu diễn trọng số. Thay vì dùng số thực dấu phẩy động phức tạp, hệ thống sử dụng số nguyên fixed-point. Kỹ thuật này giúp tiết kiệm tài nguyên DSP và LUT trên FPGA. Nghiên cứu cho thấy việc sử dụng định dạng 8-bit vẫn đảm bảo chất lượng ảnh trong khi tăng tốc độ xử lý lên nhiều lần. Điều này trực tiếp cải thiện khả năng lưu trữ của các bộ đệm nội vi.

3.2. Quy trình thiết kế với High Level Synthesis HLS và Verilog

Việc thiết kế bộ tăng tốc có thể sử dụng ngôn ngữ mô tả phần cứng như Verilog hoặc các công cụ High-Level Synthesis (HLS). HLS cho phép chuyển đổi mã C/C++ thành logic phần cứng, giúp tăng tốc độ thiết kế. Tuy nhiên, để đạt được hiệu năng tối đa, việc tùy chỉnh trực tiếp bằng Verilog cho các khối như Deep Learning Accelerator (DLA) vẫn là lựa chọn ưu tiên. Sự kết hợp giữa IP lõi và logic tùy chỉnh giúp tối ưu hóa luồng dữ liệu AXI giữa PS và PL.

IV. Kỹ thuật thiết kế Deconvolution Multi kernel Processor hiệu năng

Trái tim của bộ tăng tốc là khối Deconvolution Multi-kernel Processor (DCMKP). Khác với Convolutional Neural Networks (CNN) thông thường, phép Deconvolution (tích chập ngược) trong GAN dùng để tăng độ phân giải hình ảnh. DCMKP được thiết kế để xử lý song song nhiều kernel cùng lúc, giúp tăng thông lượng lên gấp 4 lần. Kiến trúc này sử dụng các kỹ thuật như Overlap Processor và Tilling-Gather Buffer để xử lý các vùng dữ liệu chồng lấn một cách thông minh. Bằng cách triển khai cấu trúc pipeline hoàn toàn, hệ thống có thể xử lý các pixel đầu vào liên tục mà không cần chờ đợi các giai đoạn trước kết thúc, từ đó tối ưu hóa tối đa tần số hoạt động.

4.1. Cơ chế xử lý song song trong Deep Learning Accelerator

Kiến trúc DCMKP cho phép xử lý đồng thời 4 kernel trên mỗi quadrant của bản đồ đặc trưng (feature map). Việc tận dụng các đơn vị DSP để thực hiện phép nhân cộng dồn (MAC) giúp tăng tốc độ xử lý. Hệ thống điều phối dữ liệu thông qua các hàng đợi FIFO, đảm bảo luồng dữ liệu từ Feature BRAMs và Weight BRAMs luôn ổn định. Đây là yếu tố then chốt để đạt được hiệu suất cao trong các tác vụ Image Synthesis phức tạp.

4.2. Tối ưu hóa vùng chồng lấn bằng Overlap Processor

Một thách thức đặc thù của Deconvolution là sự chồng lấn giữa các vùng tính toán khi stride lớn hơn 1. Khối Overlap Processor được thiết kế để cộng dồn các giá trị tại các vị trí trùng lặp này một cách chính xác. Thay vì sử dụng phương pháp zero-padding gây lãng phí tính toán, kiến trúc này tính toán trực tiếp trên các pixel hiện có. Phương pháp này không chỉ tiết kiệm tài nguyên mà còn giảm thiểu đáng kể số lượng phép tính không cần thiết.

V. Kết quả Image Synthesis và hiệu suất trên Zynq UltraScale

Thực nghiệm trên board ZCU106 và Kria KV260 cho thấy những kết quả ấn tượng. Hệ thống tăng tốc dựa trên FPGA đạt được tốc độ nhanh hơn 58 lần so với CPU Intel và 3.6 lần so với GPU trong một số tác vụ cụ thể. Độ chính xác của hình ảnh được tạo ra, đánh giá qua các chỉ số như PSNR và SSIM, tương đương với việc chạy trên phần mềm. Đặc biệt, việc sử dụng chip Zynq UltraScale+ giúp duy trì mức tiêu thụ điện năng thấp, chỉ bằng một phần nhỏ so với các hệ thống máy chủ. Điều này khẳng định tính khả thi của việc triển khai các mô hình GAN phức tạp cho các ứng dụng thực tế như siêu phân giải hình ảnh (Image Super-Resolution).

5.1. Phân tích Resource Utilization và hiệu suất năng lượng

Báo cáo tài nguyên cho thấy sự cân bằng trong việc sử dụng BRAM, DSP, LUT. Hệ thống tận dụng tối đa các khối DSP cho tính toán và BRAM cho việc đệm dữ liệu ping-pong. Về mặt Power Efficiency, giải pháp FPGA tiêu thụ ít năng lượng hơn đáng kể so với GPU NVIDIA Titan X, trong khi vẫn duy trì được tốc độ xử lý cần thiết. Đây là ưu điểm vượt trội cho các ứng dụng AI tại biên (Edge AI).

5.2. Đánh giá chất lượng hình ảnh qua tập dữ liệu MNIST và Celeb A

Hệ thống đã được thử nghiệm với các tập dữ liệu chuẩn như MNIST và Celeb-A. Hình ảnh tạo ra từ FPGA có độ tương đồng cao với kết quả mô phỏng trên phần mềm. Các phép đo FID (Fréchet Inception Distance) cho thấy sự sai lệch là không đáng kể. Điều này chứng minh rằng việc áp dụng Model Quantization và xử lý fixed-point không làm ảnh hưởng đến khả năng học sâu của mạng GAN.

VI. Tương lai của Deep Learning Accelerator trên SoC FPGA

Việc tăng tốc GAN trên SoC-FPGA mở ra nhiều hướng phát triển mới cho ngành AI. Trong tương lai, các kỹ thuật như Neural Network Pruning (cắt tỉa mạng thần kinh) có thể được tích hợp để giảm bớt các kết nối dư thừa, tối ưu hóa hơn nữa tài nguyên. Hơn nữa, khả năng tái cấu trúc động (Dynamic Partial Reconfiguration) của FPGA cho phép hệ thống thay đổi mô hình tăng tốc ngay khi đang vận hành. Với sự hỗ trợ mạnh mẽ từ các công cụ như PYNQ, việc phát triển các ứng dụng Deep Learning Accelerator (DLA) sẽ ngày càng trở nên dễ dàng và phổ biến hơn, đưa trí tuệ nhân tạo đến gần hơn với mọi thiết bị điện tử.

6.1. Tiềm năng của Neural Network Pruning trong tương lai

Neural Network Pruning giúp loại bỏ các trọng số không quan trọng, từ đó giảm dung lượng mô hình. Khi kết hợp với FPGA, kỹ thuật này sẽ giúp triển khai được các mạng GAN lớn hơn trên các dòng chip giá rẻ. Việc giảm bớt số lượng phép tính MAC cũng sẽ giúp giảm nhiệt lượng tỏa ra và tăng tuổi thọ cho thiết bị phần cứng.

6.2. Ứng dụng mở rộng trong siêu phân giải và xử lý video

Kiến trúc tăng tốc Deconvolution không chỉ dành cho GAN mà còn có thể áp dụng cho các bài toán siêu phân giải (Super-Resolution) và phân đoạn hình ảnh (Semantic Segmentation). Trong tương lai, việc tích hợp bộ tăng tốc này vào các hệ thống camera thông minh sẽ cho phép xử lý video 4K thời gian thực với độ trễ cực thấp. Đây là bước tiến quan trọng cho các hệ thống giám sát và xe tự hành.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERISTY - HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY (HCMUT) FACULTY OF COMPUTER SCIENCE & ENGINEERING C APSTONE PROJECT A CCELERATION OF G ENERATIVE A DVERSARIAL N ETWORKS FOR I MAGE G ENERATION ON THE S O C-FPGA PLATFORM M AJOR : COMPUTER ENGINEERING C OMMITTEE : CE-CC02 Supervisors: Assoc. Pham Quoc Cuong - HCMUT Reviewer: Assoc. Tran Ngoc Thinh - HCMUT Authors: Le Ngoc Minh Thu - 2053476 Huynh Trung Nhat - 2053294 Do Huu Thanh Thien - 2053453 HO CHI MINH CITY - June-2024 This thesis is dedicated for our parents and our instructors at HCMUT. C ONTENTS List of Figures vii List of Tables xi Acknowledgment xiii Abstract xv 1 Introduction 1 1.

4 2 Background and Related work 5 2.1 Field Programmable Gate Array and System on Chip .2 Kria KV260 platform .5 Deep Learning and Deep Neural Network .6 Generative Adversarial Networks .7 Deconvolution Neural Network .1 Generative Adversarial Networks Applications .2 Generative Adversarial Networks on FPGA .2 Dataflow of Deconvolution Multi-kernel Processor .3 Optimized GAN Execution Research and Survey.2 Overflow Handling in Fixed-Point Computation .4 Comparative Analysis and Conclusion .2 PS-PL communication .3 Acceleration core - TOP .2 Deconvolution Multi-kernel Processor Implementation .3 Core Overlap Processor Implementation .4 Tilling and Gather Processor Implementation .2 Integration of Till Gather Cores and Buffers .3 Operational Details of Tilling Gather Core .5 Parameters of the acceleration core.5 Performance Validation and Analysis .1 DMA Transferring Time .2 Execution time and Speed Up .3 Image Generation Quality .6 State-of-the-art comparisons. 96 6 Conclusion 99 Bibliography 101 L IST OF F IGURES 2.1 Basic FPGA Architecture .2 Basic MPSoC Zynq Architecture .3 Kria KV260 Vision AI Starter Kit [1] .4 ZCU106 Evaluation Kit [2] .6 An example of AI field .7 An example of an artificial neural network .8 An example of deep neural networks .9 Basic network architecture of GAN .10 Generator Network basic flow .11 Discriminator Network basic flow .14 Generator architecture for two datasets .15 Discriminator architecture for two datasets .16 Comparison between conventional convolution and deconvolu- tion .17 Deconvolution computation illustration (stride = 2) .1 General architecture of Generator Network accelerator .2 Dataflow structure of Deconvolution Multi-kernel Processor .3 Memory structure of Feature BRAMs and Weight BRAMs .4 Dataflow of input feature and output feature .1 System implementation on Xilinx SoC .2 System implementation on Xilinx SoC .3 Central Direct Access Memory IP on ZYNQ UltraScale+ Processing System .4 Input Interface of DCMKP .5 Output Interface of DCMKP .6 General design of Deconvolution Multi-kernel Processor .7 Deconvolution Multi-kernel Processor Implementation .8 Row-overlap accumulating processor block diagram. 44 vii viii L IST OF F IGURES 4.9 Block diagram for adding each pixel of registers and input data .10 Block diagram of INIT state .11 Block diagram of WRITE state .12 Block diagram of WAIT state .13 Block diagram of READ state .14 Column-overlap accumulator FSM .15 Block diagram to illustrate the Core Overlap Processor Function .16 Core Overlap Processor Implementation .17 Row overlap process state machine .18 Column overlap process state machine .19 Core Overlap Processor Timeline Diagram .20 Data flow from Core Overlap Processor to Tilling and Gather Pro- cessor .21 Tilling and Gather machine implementation .22 Tilling Gather Buffer implementation .23 Tilling Gather Core Implementation .24 MNIST and Celeb-A datasets were trained from scratch for 60 epochs 64 4.25 Visualization of evaluation techniques for MNIST dataset training (2 dimensions - 1 channel) .26 Scatter plots of generated and truth image in different dimensions for Celeb-A dataset (4 dimensions - 3 channels) .27 Histogram of distance comparison between generated image and truth image to its center for Celeb-A dataset .28 Comparison of low-resolution and high-resolution images from the DIV2K dataset.29 Modified SRGAN Generator architecture incorporating deconvo- lution layers.30 SRGAN Discriminator architecture.31 Evaluating the impact of GAN and content losses on image quality.32 Assessment of GAN and perceptual losses on image generation.33 Integration of GAN, content, and perceptual losses and their ef- fect on the output.34 Application Software Operation Flow Chart .1 Kria KV260 board diagram .2 ZCU106 board diagram .3 Block design for DMA transferring time experiment .4 A flow diagram illustrates the data transfer and processing be- tween software and hardware components.5 Detailed Power Consumption report. 86 L IST OF F IGURES ix 5.6 Deconvolution multiplication simulation on Vivado .7 Execution time of Deconvolution Neural Networks for 2 datasets between multiple platforms .8 Data throughput and inference time of acceleration core correla- tion .9 Comparison of output image between two datasets on single layer 93 5.10 Comparison of MNIST images: the left side shows images gener- ated by the FPGA, and the right side shows the generated images on software.11 Comparison of Celeb-A images: the left side shows images gener- ated by the FPGA, and the right side shows the generated images on software.

95 L IST OF TABLES 2.3 A summary of the parameters in the deconvolution layer in GAN .1 Comparison of GAN model performance with and without over- flow handling using MNIST and Celeb-A datasets.2 Detailed comparison of computational operations required for zero- padding vs. direct implementation of deconvolution across vari- ous parameters.1 Address Mapping of PL memories .2 List of I/O pins of DCMKP .3 Register Bank description .4 SSIM and PSNR evaluation results for DIV2K datasets.1 Terms definition in the performance model .2 Hardware resources on Kria KV260 and XCU106 boards .3 GOPs and GOPs/DSPs .4 DMA transferring time of 2 methods.5 Performance comparison across different computing platforms. The table showcases processing times (in seconds) for various de- convolution layers.6 DMA Execution time for the Deconvolution Neural Networks (not including Batch Normalization and Activation Function .7 Execution time for the Deconvolution Neural Networks between different platforms (not including Batch Normalization and Acti- vation Function .8 FID scores for FPGA generated-image and software training .9 Comparison of FPGA implementations. 96 xi A CKNOWLEDGMENT First, we would like to express our sincere thanks to Associate Professor Pham Quoc Cuong for his enthusiastic support during my university studies and re- port writing.

Thank you, Computer Engineering K19 alumni Mr Pham Dinh Trung for wholeheartedly following our research progress, supporting us by giv- ing advice and experience in solving complex problems and developing regular directions for the research report. We would like to thank Mr Huynh Phuc Nghi in CE-lab for spending their time to exchange knowledge with us in my study field. Besides, we would like to express my gratitude and respect to all lecturers in the Faculty of Computer Science and Engineering and the Ho Chi Minh City University of Technology. They have helped us gain a solid knowledge back- ground for our report research.

Moreover, we are humbly grateful for having the chance to work with out- standing colleagues and seniors at Uniquify Vietnam, Truechip Solutions and Bosch Engineering and Solutions Vietnam. They have taught us professional knowledge, study and work skills during our internship. Stepping out from the practical industry environment, we gain confidence and enthusiasm with the industry domain we pursue. We thank our families for giving us solid spiritual support and sympathy so that we can devote all our energy to the report.

Thank you, a small group of Computer Engineering close friends for their dedication and mutual support during a 4-year journey. We hope that, finally, each of us will achieve our worthy desires. And lastly, thank you three of us have endlessly tried hard for this Computer Engineering project although we have encountered multiple obstacles and mis- understandings. Ho Chi Minh City, May 01st , 2024 Le Ngoc Minh Thu Do Huu Thanh Thien Huynh Trung Nhat xiii A BSTRACT In these days, AI technology has successfully been applied in various industries such as agriculture, medical, automation, transportation and security.

AI is now a potential trend due to the rapid development of hardware platforms. Power- ful hardware can significantly speed up the complex computations of AI algo- rithms. There are many hardware platforms that contribute to the AI training performance including multi-core Central Processing Unit (CPU), and Graphic Processing Unit (GPU). However, FPGA is an efficient choice for AI applications because it strikes a compromise between processing speed and flexibility to custom different algorithmic circuits.

Generative Adversarial Networks is a type of machine learning model that is used to generate new data samples based on the learning distribution and has been used in a variety of applications. De- spite its ability to produce realistic data, the inference time of this model is sig- nificant because the networks are typically deep and complex, and the training process is iterative on a large dataset. Therefore, meeting high performance in terms of computation and memory requirements is a challenging problem. In this report, we propose a novel architecture for accelerating the Generative Adversarial Networks model on a FPGA-based SoC platform.

This architecture is highly pipelined, parallel and scalable for many FPGA devices. In the final phase, an application for generating synthetic images using multiple datasets will be implemented using GAN accelerated by FPGA. xv 1 I NTRODUCTION In this section we briefly introduce our thesis. This section includes an intro- duction to the context of this project, the research objective, the research scope, the research subject and the contents of this thesis.

I NTRODUCTION AI technology has developed rapidly in recent years and brought multiple ben- efits to industrial business and daily life. There are six significant sub-fields, each with its focus and applications: Machine learning, Neural network, Deep learning, Natural language processing, Cognitive computing, and Computer vi- sion. Deep learning is a subset of machine learning that uses artificial neu- ral networks to learn from data. Neural networks are inspired by the human brain, and they are made up of interconnected nodes that learn to process in- formation in a way that is similar to the way the human brain does.

Genera- tive Adversarial Networks is one of deep learning algorithms that consist of two neural networks: a generator and a discriminator. The generator is responsible for creating new data, while the discriminator is responsible for distinguishing between real and generated data. The two networks are trained together in a game-like setting, where the generator tries to fool the discriminator into think- ing that its output is real, and the discriminator tries to become better at dis- tinguishing between real and generated data. GANs have been used in a variety of applications including image generation, text-to-speech conversion, text-to- image conversion, photo editing, image resolution, and vice versa.

In compar- ison with other generative models, GANs are relatively easy to train and con- verge faster. The training process of GAN is usually done on GPUs and typically trained offline. However, the inference time, which is the time it takes to gener- 1 2 1. I NTRODUCTION ate new data, can be prohibitively long for real-time applications such as virtual 1 reality and augmented reality.

Additionally, GANs are used to generate a large amount of data which takes a lot of time to process complex computations. Therefore, edge devices such as embedded CPUs or micro-controllers ineffi- ciently operate computationally intensive tasks. The reason is that these plat- forms have insufficient memory for parameter storage (for microcontrollers) and poor parallel computing utilization. There are many hardware platforms to run inference of generative adver- sarial networks, such as multi-core CPU, GPU and FPGA.

However, FPGA is proven to have the highest power efficiency in resource-limited edge comput- ing applications in [4]. Although FPGA operates at a lower frequency than GPU and CPU, it can be configured for a particular purpose so that it can utilize its resources most optimally. Therefore, much research has been dedicated to ac- celerating complex algorithms on FPGA to improve the inference. FPGA is one of the most efficient platforms for implementing edge devices.

However, FPGA is poor for running software applications. Thus, SoC-FPGA platform is a good choice since it integrates FPGA and microprocessors.