Tài liệu: Luận văn acceleration of generative adversarial networks for

Tăng tốc mạng đối kháng sinh tạo (GAN) cho việc tạo hình ảnh trên nền tảng SOC FPGA, tối ưu hóa hiệu suất và giảm thời gian xử lý.

• Tác giả: Le Ngoc Minh Thu
• Người hướng dẫn: Assoc. Pham Quoc Cuong
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Engineering
• Đề tài: Acceleration of Generative Adversarial Networks for Image Generation on the SoC-FPGA Platform
• Loại tài liệu: Thesis
• Năm xuất bản: 2024
• Địa điểm: Ho Chi Minh City

Mục lục chi tiết

• Danh mục hình vẽ
• Danh mục bảng
• Lời cảm ơn
• Tóm tắt
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Giới thiệu
• 1.2. Mục tiêu nghiên cứu
• 1.3. Phạm vi nghiên cứu
• 1.4. Đối tượng nghiên cứu
• 1.5. Bố cục đề tài
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Field Programmable Gate Array và System on Chip
• 2.2. Nền tảng Kria KV260
• 2.3. Học sâu và Mạng nơ-ron sâu
• 2.4. Mạng đối nghịch tạo sinh
• 2.5. Mạng nơ-ron giải chập
• 2.6. Các nghiên cứu liên quan
• 2.6.1. Ứng dụng của Mạng đối nghịch tạo sinh
• 2.6.2. Mạng đối nghịch tạo sinh trên FPGA
• 2.6.3. Nghiên cứu và khảo sát thực thi GAN tối ưu
• 2.6.3.1. Xử lý tràn số trong tính toán dấu phẩy tĩnh
• 2.6.4. Phân tích so sánh và kết luận
• 3. CHƯƠNG 3: KIẾN TRÚC ĐỀ XUẤT
• 3.1. Kiến trúc tổng quan của bộ tăng tốc mạng Generator
• 3.2. Luồng dữ liệu của bộ xử lý đa nhân giải chập
• 3.3. Giao tiếp PS-PL
• 3.4. Lõi tăng tốc - TOP
• 4. CHƯƠNG 4: HIỆN THỰC HÓA
• 4.1. Hiện thực hệ thống trên Xilinx SoC
• 4.2. Hiện thực bộ xử lý đa nhân giải chập
• 4.3. Hiện thực bộ xử lý chồng lấn lõi
• 4.4. Hiện thực bộ xử lý phân mảnh và tập hợp
• 4.4.1. Tích hợp các lõi và bộ đệm phân mảnh tập hợp
• 4.4.2. Chi tiết hoạt động của lõi phân mảnh tập hợp
• 4.5. Các tham số của lõi tăng tốc
• 5. CHƯƠNG 5: ĐÁNH GIÁ HIỆU NĂNG VÀ PHÂN TÍCH
• 5.1. Thời gian truyền DMA
• 5.2. Thời gian thực thi và tốc độ tăng tốc
• 5.3. Chất lượng tạo ảnh
• 5.4. So sánh với các nghiên cứu tiên tiến
• 6. CHƯƠNG 6: KẾT LUẬN
• Tài liệu tham khảo

Tóm tắt

I. Tổng quan về tăng tốc GAN trên nền tảng SoC FPGA hiện đại

Sự phát triển của trí tuệ nhân tạo (AI) đã thúc đẩy nhu cầu về các nền tảng phần cứng mạnh mẽ để xử lý các thuật toán phức tạp. Trong số đó, Generative Adversarial Networks (GANs) nổi lên như một khung làm việc tiềm năng cho việc tạo dữ liệu tổng hợp. Tuy nhiên, việc thực thi GAN trên các thiết bị biên thường gặp khó khăn do yêu cầu tính toán cực lớn. Giải pháp Hardware Acceleration (tăng tốc phần cứng) sử dụng Field-Programmable Gate Array (FPGA) kết hợp với cấu trúc System-on-Chip (SoC) đang trở thành xu hướng tối ưu. Kiến trúc này cho phép tận dụng khả năng xử lý song song của FPGA và tính linh hoạt của bộ vi xử lý. Nghiên cứu này tập trung vào việc tối ưu hóa quá trình Image Synthesis (tổng hợp hình ảnh) thông qua việc tăng tốc mạng Generator trên các dòng chip tiên tiến như Zynq UltraScale+.

1.1. Vai trò của Generative Adversarial Networks GANs trong AI

Generative Adversarial Networks (GANs) bao gồm hai mạng đối lập: Generator và Discriminator. Generator học cách tạo ra dữ liệu giả giống thật, trong khi Discriminator học cách phân biệt chúng. Quá trình này tạo ra các mô hình có khả năng tạo hình ảnh chất lượng cao. Tuy nhiên, thời gian suy luận (Deep Learning Inference) của GAN thường rất dài trên các CPU truyền thống. Điều này đòi hỏi các giải pháp chuyên biệt để triển khai trong môi trường thực tế như thực tế ảo hoặc y tế.

1.2. Ưu thế của nền tảng SoC FPGA đối với xử lý ảnh

Nền tảng System-on-Chip (SoC) tích hợp cả bộ vi xử lý (PS) và logic lập trình (PL). Field-Programmable Gate Array (FPGA) cung cấp khả năng tùy chỉnh mạch logic theo từng thuật toán cụ thể. So với GPU, FPGA có Power Efficiency (hiệu suất năng lượng) cao hơn, đặc biệt quan trọng cho các thiết bị di động. Việc sử dụng các dòng board như Kria KV260 giúp rút ngắn thời gian phát triển các ứng dụng thị giác máy tính nhờ cấu trúc phần cứng tối ưu cho AI.

II. Thách thức khi triển khai Deep Learning Inference trên FPGA

Mặc dù FPGA sở hữu tiềm năng lớn, việc triển khai Deep Learning Inference vẫn đối mặt với nhiều rào cản kỹ thuật. Vấn đề lớn nhất nằm ở sự hạn chế về tài nguyên phần cứng và băng thông bộ nhớ. Các mạng GAN thường rất sâu và có hàng triệu tham số, gây áp lực lên Resource Utilization (BRAM, DSP, LUT). Ngoài ra, việc quản lý luồng dữ liệu giữa bộ nhớ ngoài và các đơn vị tính toán bên trong chip là một bài toán hóc búa. Nếu không có các kỹ thuật Memory Bandwidth Optimization, hệ thống dễ rơi vào tình trạng thắt nút cổ chai, làm giảm đáng kể Throughput and Latency. Do đó, việc thiết kế một kiến trúc có khả năng mở rộng và tối ưu hóa việc truy xuất dữ liệu là yêu cầu bắt buộc.

2.1. Nút thắt cổ chai về băng thông và tài nguyên bộ nhớ

Các thuật toán Deep Learning đòi hỏi việc truy xuất dữ liệu liên tục. Trên FPGA, việc sử dụng Block RAM (BRAM) hiệu quả là chìa khóa để duy trì tốc độ. Tuy nhiên, dung lượng BRAM có hạn khiến việc lưu trữ toàn bộ tham số mô hình là không thể. Do đó, cần áp dụng các chiến lược như Memory Bandwidth Optimization để điều phối dữ liệu từ DRAM vào chip thông qua giao thức DMA, đảm bảo các đơn vị tính toán luôn có dữ liệu để xử lý.

2.2. Vấn đề về độ trễ và thông lượng trong Image Generation

Trong các ứng dụng thời gian thực, Throughput and Latency là hai chỉ số quan trọng nhất. Việc thực hiện các phép tính tích chập ngược (Deconvolution) trong GAN tiêu tốn nhiều thời gian do các vùng chồng lấn (overlap). Nếu không có cơ chế xử lý song song hiệu quả, độ trễ sẽ tăng cao, khiến hệ thống không thể đáp ứng các yêu cầu xử lý ảnh trực tiếp. Điều này đòi hỏi một kiến trúc pipeline hoàn chỉnh để tối ưu hóa từng chu kỳ xung nhịp.

III. Phương pháp Hardware Software Co design tối ưu cho GAN

Để giải quyết các thách thức trên, phương pháp Hardware-Software Co-design được áp dụng một cách triệt để. Trong kiến trúc này, các tác vụ tuần tự được thực hiện trên Processing System (PS), trong khi các phép tính toán học nặng nề được đẩy xuống Programmable Logic (PL). Một bước quan trọng trong quy trình này là Model Quantization, chuyển đổi các trọng số từ định dạng 32-bit floating-point sang 8-bit hoặc 16-bit fixed-point. Việc này giúp giảm đáng kể khối lượng tính toán và diện tích chip mà không làm giảm quá nhiều độ chính xác. Sau khi tối ưu hóa mô hình, quá trình Bitstream Generation sẽ tạo ra tệp cấu hình để nạp vào FPGA, biến các thiết kế logic thành phần cứng thực thụ.

3.1. Kỹ thuật Model Quantization và tối ưu hóa trọng số

Model Quantization là quá trình giảm độ phân giải của các con số biểu diễn trọng số. Thay vì dùng số thực dấu phẩy động phức tạp, hệ thống sử dụng số nguyên fixed-point. Kỹ thuật này giúp tiết kiệm tài nguyên DSP và LUT trên FPGA. Nghiên cứu cho thấy việc sử dụng định dạng 8-bit vẫn đảm bảo chất lượng ảnh trong khi tăng tốc độ xử lý lên nhiều lần. Điều này trực tiếp cải thiện khả năng lưu trữ của các bộ đệm nội vi.

3.2. Quy trình thiết kế với High Level Synthesis HLS và Verilog

Việc thiết kế bộ tăng tốc có thể sử dụng ngôn ngữ mô tả phần cứng như Verilog hoặc các công cụ High-Level Synthesis (HLS). HLS cho phép chuyển đổi mã C/C++ thành logic phần cứng, giúp tăng tốc độ thiết kế. Tuy nhiên, để đạt được hiệu năng tối đa, việc tùy chỉnh trực tiếp bằng Verilog cho các khối như Deep Learning Accelerator (DLA) vẫn là lựa chọn ưu tiên. Sự kết hợp giữa IP lõi và logic tùy chỉnh giúp tối ưu hóa luồng dữ liệu AXI giữa PS và PL.

IV. Kỹ thuật thiết kế Deconvolution Multi kernel Processor hiệu năng

Trái tim của bộ tăng tốc là khối Deconvolution Multi-kernel Processor (DCMKP). Khác với Convolutional Neural Networks (CNN) thông thường, phép Deconvolution (tích chập ngược) trong GAN dùng để tăng độ phân giải hình ảnh. DCMKP được thiết kế để xử lý song song nhiều kernel cùng lúc, giúp tăng thông lượng lên gấp 4 lần. Kiến trúc này sử dụng các kỹ thuật như Overlap Processor và Tilling-Gather Buffer để xử lý các vùng dữ liệu chồng lấn một cách thông minh. Bằng cách triển khai cấu trúc pipeline hoàn toàn, hệ thống có thể xử lý các pixel đầu vào liên tục mà không cần chờ đợi các giai đoạn trước kết thúc, từ đó tối ưu hóa tối đa tần số hoạt động.

4.1. Cơ chế xử lý song song trong Deep Learning Accelerator

Kiến trúc DCMKP cho phép xử lý đồng thời 4 kernel trên mỗi quadrant của bản đồ đặc trưng (feature map). Việc tận dụng các đơn vị DSP để thực hiện phép nhân cộng dồn (MAC) giúp tăng tốc độ xử lý. Hệ thống điều phối dữ liệu thông qua các hàng đợi FIFO, đảm bảo luồng dữ liệu từ Feature BRAMs và Weight BRAMs luôn ổn định. Đây là yếu tố then chốt để đạt được hiệu suất cao trong các tác vụ Image Synthesis phức tạp.

4.2. Tối ưu hóa vùng chồng lấn bằng Overlap Processor

Một thách thức đặc thù của Deconvolution là sự chồng lấn giữa các vùng tính toán khi stride lớn hơn 1. Khối Overlap Processor được thiết kế để cộng dồn các giá trị tại các vị trí trùng lặp này một cách chính xác. Thay vì sử dụng phương pháp zero-padding gây lãng phí tính toán, kiến trúc này tính toán trực tiếp trên các pixel hiện có. Phương pháp này không chỉ tiết kiệm tài nguyên mà còn giảm thiểu đáng kể số lượng phép tính không cần thiết.

V. Kết quả Image Synthesis và hiệu suất trên Zynq UltraScale

Thực nghiệm trên board ZCU106 và Kria KV260 cho thấy những kết quả ấn tượng. Hệ thống tăng tốc dựa trên FPGA đạt được tốc độ nhanh hơn 58 lần so với CPU Intel và 3.6 lần so với GPU trong một số tác vụ cụ thể. Độ chính xác của hình ảnh được tạo ra, đánh giá qua các chỉ số như PSNR và SSIM, tương đương với việc chạy trên phần mềm. Đặc biệt, việc sử dụng chip Zynq UltraScale+ giúp duy trì mức tiêu thụ điện năng thấp, chỉ bằng một phần nhỏ so với các hệ thống máy chủ. Điều này khẳng định tính khả thi của việc triển khai các mô hình GAN phức tạp cho các ứng dụng thực tế như siêu phân giải hình ảnh (Image Super-Resolution).

5.1. Phân tích Resource Utilization và hiệu suất năng lượng

Báo cáo tài nguyên cho thấy sự cân bằng trong việc sử dụng BRAM, DSP, LUT. Hệ thống tận dụng tối đa các khối DSP cho tính toán và BRAM cho việc đệm dữ liệu ping-pong. Về mặt Power Efficiency, giải pháp FPGA tiêu thụ ít năng lượng hơn đáng kể so với GPU NVIDIA Titan X, trong khi vẫn duy trì được tốc độ xử lý cần thiết. Đây là ưu điểm vượt trội cho các ứng dụng AI tại biên (Edge AI).

5.2. Đánh giá chất lượng hình ảnh qua tập dữ liệu MNIST và Celeb A

Hệ thống đã được thử nghiệm với các tập dữ liệu chuẩn như MNIST và Celeb-A. Hình ảnh tạo ra từ FPGA có độ tương đồng cao với kết quả mô phỏng trên phần mềm. Các phép đo FID (Fréchet Inception Distance) cho thấy sự sai lệch là không đáng kể. Điều này chứng minh rằng việc áp dụng Model Quantization và xử lý fixed-point không làm ảnh hưởng đến khả năng học sâu của mạng GAN.

VI. Tương lai của Deep Learning Accelerator trên SoC FPGA

Việc tăng tốc GAN trên SoC-FPGA mở ra nhiều hướng phát triển mới cho ngành AI. Trong tương lai, các kỹ thuật như Neural Network Pruning (cắt tỉa mạng thần kinh) có thể được tích hợp để giảm bớt các kết nối dư thừa, tối ưu hóa hơn nữa tài nguyên. Hơn nữa, khả năng tái cấu trúc động (Dynamic Partial Reconfiguration) của FPGA cho phép hệ thống thay đổi mô hình tăng tốc ngay khi đang vận hành. Với sự hỗ trợ mạnh mẽ từ các công cụ như PYNQ, việc phát triển các ứng dụng Deep Learning Accelerator (DLA) sẽ ngày càng trở nên dễ dàng và phổ biến hơn, đưa trí tuệ nhân tạo đến gần hơn với mọi thiết bị điện tử.

6.1. Tiềm năng của Neural Network Pruning trong tương lai

Neural Network Pruning giúp loại bỏ các trọng số không quan trọng, từ đó giảm dung lượng mô hình. Khi kết hợp với FPGA, kỹ thuật này sẽ giúp triển khai được các mạng GAN lớn hơn trên các dòng chip giá rẻ. Việc giảm bớt số lượng phép tính MAC cũng sẽ giúp giảm nhiệt lượng tỏa ra và tăng tuổi thọ cho thiết bị phần cứng.

6.2. Ứng dụng mở rộng trong siêu phân giải và xử lý video

Kiến trúc tăng tốc Deconvolution không chỉ dành cho GAN mà còn có thể áp dụng cho các bài toán siêu phân giải (Super-Resolution) và phân đoạn hình ảnh (Semantic Segmentation). Trong tương lai, việc tích hợp bộ tăng tốc này vào các hệ thống camera thông minh sẽ cho phép xử lý video 4K thời gian thực với độ trễ cực thấp. Đây là bước tiến quan trọng cho các hệ thống giám sát và xe tự hành.

Nội dung chính

Tổng quan nghiên cứu

Trí tuệ nhân tạo đang tạo ra bước nhảy vọt trong nhiều ngành công nghiệp mũi nhọn như y tế, giao thông thông minh và an ninh giám sát. Trong đó, Mạng sinh đối nghịch (Generative Adversarial Networks - GAN) nổi lên như một công nghệ then chốt với khả năng tái tạo và tổng hợp dữ liệu hình ảnh vượt trội. Tuy nhiên, quá trình suy luận (inference) của mạng GAN đòi hỏi khối lượng tính toán khổng lồ với hàng triệu tham số phức tạp, khiến việc triển khai trên các thiết bị biên (edge devices) gặp trở ngại lớn về độ trễ và dung lượng bộ nhớ. Các vi xử lý thông thường như CPU đa nhân hay GPU tiêu chuẩn thường bộc lộ hạn chế về hiệu suất năng lượng và tính linh hoạt khi vận hành tại các nút cảm biến biên.

Trước thách thức này, nghiên cứu tập trung giải quyết bài toán tăng tốc phần cứng cho mạng Generator trong GAN bằng cách thiết kế kiến trúc chuyên dụng trên nền tảng SoC-FPGA. Mục tiêu cụ thể là xây dựng bộ tăng tốc Deconvolution đa nhân (DCMKP) với 4 nhân xử lý song song, tối ưu hóa đường truyền dữ liệu và áp dụng kỹ thuật lượng tử hóa dấu phẩy tĩnh 8-bit. Nghiên cứu được triển khai thực nghiệm toàn diện trên kit phát triển Xilinx Zynq UltraScale+ MPSoC ZCU106 và Kria KV260 tại Trường Đại học Bách khoa - ĐHQG TP.HCM vào tháng 06/2024. Kết quả đạt được mang ý nghĩa đột phá khi nâng cao tốc độ thực thi lên 58 lần so với vi xử lý máy tính tiêu chuẩn, đồng thời cải thiện hiệu quả năng lượng hơn 400 lần, mở ra hướng đi khả thi cho các ứng dụng thị giác máy tính thời gian thực.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết mạng nơ-ron sâu và cấu trúc đối nghịch của GAN do Ian Goodfellow khởi xướng. Mô hình bao gồm mạng Generator có nhiệm vụ biến đổi vector nhiễu ngẫu nhiên thành dữ liệu giả lập và mạng Discriminator phân định ranh giới giữa dữ liệu thực và dữ liệu nhân tạo thông qua hàm mất mát Binary Cross-Entropy. Trọng tâm toán học nằm ở lớp tích chập chuyển vị (Deconvolution hay Transpose Convolution), thuật toán chủ đạo để nâng cao độ phân giải không gian của đặc trưng ảnh. Mối quan hệ kích thước đầu ra được chuẩn hóa theo công thức toán học với các tham số kích thước đầu vào, bước nhảy stride và kích thước bộ lọc kernel.

Kiến trúc phần cứng tích hợp mô hình điện toán lượng tử hóa số thực dấu phẩy tĩnh 8-bit thay thế cho định dạng 32-bit floating-point truyền thống, kết hợp cơ chế kiểm soát tràn số chủ động. Toàn bộ hệ thống vận hành trên kiến trúc phân tầng SoC-FPGA, chia tách rõ ràng giữa Hệ thống xử lý (Processing System - PS) sử dụng lõi ARM Cortex và Logic lập trình (Programmable Logic - PL) chứa các khối tăng tốc phần cứng chuyên biệt.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm bao gồm ba bộ dữ liệu tiêu chuẩn quốc tế: tập chữ số viết tay MNIST với 60.000 mẫu ảnh đơn sắc kích thước 28x28 pixel, tập khuôn mặt Celeb-A gồm 202.599 mẫu ảnh màu kích thước 64x64 pixel, và tập ảnh độ phân giải cao DIV2K gồm 1.000 mẫu dùng cho bài toán siêu phân giải hình ảnh. Cỡ mẫu nghiên cứu được trích xuất đại diện theo phương pháp chọn mẫu phân tầng ngẫu nhiên, đảm bảo độ đa dạng về góc nhìn và điều kiện ánh sáng để đánh giá toàn diện tính tổng quát của mô hình.

Phương pháp phân tích dựa trên mô phỏng chức năng và tổng hợp mạch số phần cứng thông qua bộ công cụ Xilinx Vivado Design Suite. Lý do lựa chọn phương pháp thiết kế mạch trực tiếp bằng ngôn ngữ Verilog HDL thay vì tổng hợp bậc cao (HLS) nhằm kiểm soát chặt chẽ từng chu kỳ xung nhịp, tối ưu hóa việc phân bổ tài nguyên DSP và BRAM on-chip. Hệ thống truyền nhận dữ liệu giữa PS và PL được thiết lập qua giao thức AXI4 kết hợp bộ điều khiển truy cập bộ nhớ trực tiếp trung tâm (CDMA). Quá trình đánh giá định lượng sử dụng các chỉ số học thuật khắt khe gồm điểm khoảng cách Fréchet Inception Distance (FID), tỷ số tín hiệu trên nhiễu đỉnh (PSNR) và chỉ số tương đồng cấu trúc (SSIM), song song với việc đo đạc công suất tiêu thụ thực tế bằng công cụ phân tích năng lượng chuyên sâu.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, kiến trúc thực thi trực tiếp (Direct Implementation) cho thuật toán Deconvolution đã loại bỏ hoàn toàn 100% các phép toán nhân với giá trị 0 phát sinh từ kỹ thuật chèn zero-padding truyền thống. Giải pháp này giúp cắt giảm hơn 50% số chu kỳ tính toán lãng phí, tạo ra mẫu truy cập bộ nhớ đồng nhất trên chip FPGA.

Thứ hai, bộ xử lý Deconvolution đa nhân (DCMKP) với 4 lõi tính toán song song kết hợp cơ chế đệm Ping-Pong Buffer đã nâng cao thông lượng dữ liệu lên gấp 4 lần so với cấu trúc đơn nhân. Hệ thống duy trì xung nhịp hoạt động ổn định, đạt hiệu suất xử lý vượt trội trên tài nguyên 1.728 khối DSP của chip Zynq UltraScale+.

Thứ ba, kỹ thuật lượng tử hóa 8-bit fixed-point tích hợp cơ chế kẹp giá trị (Clamping) giúp giảm 75% băng thông truyền tải dữ liệu và dung lượng lưu trữ trên BRAM so với định dạng 32-bit float. Chất lượng ảnh tạo ra vẫn duy trì độ chính xác quang học cao với điểm số FID trên tập MNIST đạt mức 20.35, tương đương sai số dưới 2% so với mô hình huấn luyện bằng phần mềm gốc.

Thứ tư, hệ thống tăng tốc phần cứng đạt tốc độ xử lý nhanh hơn 58 lần so với CPU x86 tiêu chuẩn và vượt trội 3.6 lần so với các dòng GPU máy tính bàn thông thường, trong khi mức tiêu thụ điện năng giảm hơn 400 lần so với kiến trúc vi xử lý truyền thống.

Thảo luận kết quả

Hiệu năng đột phá của hệ thống bắt nguồn từ việc kết hợp đồng bộ giữa kiến trúc luồng dữ liệu đường ống (fully-pipelined) và phân vùng địa chỉ bộ nhớ liên tục trong không gian 32KB cho từng segment BRAM từ địa chỉ 0xE000_0000 đến 0xE003_FFFF. Việc chia sẻ không gian BRAM giữa bản đồ đặc trưng đầu vào và kết quả đầu ra đã triệt tiêu độ trễ chuyển giao dữ liệu ngoại vi.

Khi đối chiếu với các công trình nghiên cứu trước đây trong cùng lĩnh vực, giải pháp của nhóm tác giả khắc phục triệt để hiện tượng nghẽn cổ chai giao tiếp vốn xuất hiện trong phương pháp lặp ngược (reverse looping) của Zhang và cộng sự, đồng thời không gây suy giảm chất lượng biên ảnh như giải pháp phân khối của Li và cộng sự. Dữ liệu thực nghiệm được trực quan hóa qua biểu đồ tương quan giữa thông lượng (GOPs) và độ trễ suy luận, phản ánh đường cong tăng trưởng tuyến tính vượt trội. Bảng tổng hợp tài nguyên phần cứng khẳng định thiết kế chỉ chiếm dụng khoảng 65% số lượng LUT và Flip-Flop trên kit ZCU106, bảo đảm khả năng mở rộng linh hoạt cho các mạng nơ-ron phức tạp hơn.

Đề xuất và khuyến nghị

Thứ nhất, tối ưu hóa việc phân bổ tài nguyên bộ nhớ nội vi bằng cách khai thác sâu 96 khối UltraRAM (URAM) sẵn có trên dòng chip UltraScale+ nhằm mục tiêu tăng dung lượng đệm trung gian lên 40% trong lộ trình 6 tháng, do các kỹ sư thiết kế phần cứng số chủ trì.

Thứ hai, mở rộng quy mô nhân tính toán từ cấu hình 4 nhân hiện tại lên 8 hoặc 16 nhân DCMKP song song đối với các dòng FPGA công nghiệp cỡ lớn, đặt mục tiêu nâng thông lượng xử lý chạm ngưỡng 150 GOPs trong vòng 12 tháng tới do nhóm nghiên cứu kiến trúc máy tính thực hiện.

Thứ ba, tích hợp toàn diện mô hình siêu phân giải SRGAN tăng tốc phần cứng vào hệ thống chẩn đoán hình ảnh y khoa thực tế (như nâng cao độ phân giải ảnh chụp cộng hưởng từ MRI) và camera giám sát thông minh, với mục tiêu rút ngắn thời gian xử lý xuống dưới 15 mili-giây mỗi khung hình trong giai đoạn 18 tháng do các đơn vị phát triển giải pháp thị giác biên triển khai.

Thứ tư, xây dựng gói công cụ phần mềm tự động hóa (Auto-deployment Framework) dựa trên nền tảng PYNQ, cho phép chuyển đổi trực tiếp các mô hình GAN từ PyTorch sang bitstream phần cứng trong thời gian 9 tháng do các kỹ sư phần mềm hệ thống nhúng đảm trách.

Đối tượng nên tham khảo luận văn

Nhóm kỹ sư thiết kế vi mạch và phần cứng số: Tiếp cận chi tiết phương pháp thiết kế bộ xử lý tích chập chuyển vị đa nhân bằng Verilog HDL, kỹ thuật quản lý pipeline và giải pháp giao tiếp tối ưu qua AXI4 CDMA.

Nhóm nghiên cứu khoa học dữ liệu và trí tuệ nhân tạo: Tham khảo quy trình lượng tử hóa mô hình sinh, kỹ thuật xử lý tràn số trong tính toán số thực dấu phẩy tĩnh và phương pháp đánh giá chất lượng ảnh sinh bằng chỉ số FID và SSIM.

Các doanh nghiệp phát triển thiết bị biên và IoT thông minh: Tìm kiếm giải pháp công nghệ nâng cao độ phân giải ảnh trực tiếp tại biên với mức tiêu thụ năng lượng cực thấp, ứng dụng cho robot tự hành và thiết bị bay không người lái.

Học viên cao học và sinh viên chuyên ngành Kỹ thuật Máy tính: Sử dụng làm tài liệu tham khảo chuẩn mực về phương pháp đồng thiết kế phần cứng - phần mềm (Hardware/Software Co-design) trên nền tảng Xilinx Zynq MPSoC.

Câu hỏi thường gặp

Phương pháp Direct Implementation mang lại lợi thế kỹ thuật gì so với phương pháp Zero-Padding truyền thống? Phương pháp Direct Implementation áp dụng trực tiếp các bộ lọc lên dữ liệu đầu vào, giúp triệt tiêu 100% các phép tính nhân vô nghĩa với số 0 phát sinh từ việc chèn viền. Điều này giúp tối ưu hóa hơn 50% tài nguyên xử lý và đảm bảo tính đồng nhất của luồng dữ liệu trên FPGA.

Việc chuyển đổi sang định dạng 8-bit fixed-point có làm suy giảm chất lượng ảnh sinh ra không? Thực nghiệm cho thấy chất lượng ảnh sinh ra không bị suy giảm đáng kể nhờ cơ chế kẹp ngưỡng chống tràn số chủ động. Điểm số FID trên tập dữ liệu MNIST chỉ chênh lệch dưới 2% so với tính toán dấu phẩy động 32-bit trên máy tính, trong khi dung lượng bộ nhớ giảm tới 75%.

Nền tảng SoC-FPGA ZCU106 vượt trội hơn CPU và GPU ở những khía cạnh nào? SoC-FPGA kết hợp hoàn hảo giữa tính linh hoạt của phần mềm trên chip ARM và sức mạnh tính toán song song của phần cứng FPGA. Hệ thống đạt tốc độ xử lý cao hơn 58 lần so với CPU, đồng thời tiêu thụ năng lượng thấp hơn 400 lần so với kiến trúc máy tính truyền thống và hiệu quả hơn GPU chuyên dụng gấp nhiều lần.

Kiến trúc DCMKP giải quyết vấn đề chồng lấn điểm ảnh trong phép toán Deconvolution như thế nào? Kiến trúc DCMKP tích hợp bộ xử lý chồng lấn chuyên dụng (Core Overlap Processor) kết hợp mạch tích lũy hàng và cột theo cấu trúc đường ống. Cơ chế này tự động cộng dồn các giá trị pixel chồng lấn ngay trong chu kỳ xử lý mà không cần đọc ghi nhiều lần vào bộ nhớ ngoài.

Cơ chế truyền dữ liệu DMA qua giao thức AXI4 đóng vai trò gì trong hệ thống? Bộ điều khiển Central DMA (CDMA) cho phép truyền nhận trực tiếp các khối dữ liệu đặc trưng và trọng số giữa DRAM của vi xử lý và các khối BRAM trên FPGA với dung lượng 32KB mỗi khối. Quá trình này diễn ra tự động ở tốc độ cao mà không chiếm dụng chu kỳ lệnh của CPU.

Kết luận

Thứ nhất, luận văn đã thiết kế và hiện thực hóa thành công kiến trúc tăng tốc phần cứng chuyên biệt cho thuật toán Deconvolution trong mạng GAN trên nền tảng Xilinx Zynq UltraScale+ MPSoC.

Thứ hai, việc kết hợp phương pháp Direct Implementation và lượng tử hóa 8-bit đã loại bỏ hoàn toàn các phép toán thừa, giảm 75% dung lượng bộ nhớ mà vẫn duy trì chất lượng ảnh sinh chân thực.

Thứ ba, hệ thống đạt hiệu năng vượt trội với tốc độ xử lý tăng 58 lần so với CPU và hiệu quả năng lượng cao hơn 400 lần, khẳng định tính ưu việt của giải pháp phần cứng tùy biến.

Thứ tư, nghiên cứu đã chứng minh tính khả thi cao khi ứng dụng thành công vào bài toán siêu phân giải hình ảnh SRGAN trên các tập dữ liệu thực tế như MNIST, Celeb-A và DIV2K.

Thứ năm, công trình tạo tiền đề vững chắc cho việc thương mại hóa các thiết bị thị giác máy tính tiết kiệm năng lượng tại rìa mạng trong lộ trình phát triển 12 đến 24 tháng tới. Quý độc giả và các đơn vị nghiên cứu quan tâm có thể khai thác tài liệu này để triển khai các hệ thống trí tuệ nhân tạo nhúng hiệu năng cao trong thực tiễn.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERISTY - HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY (HCMUT) FACULTY OF COMPUTER SCIENCE & ENGINEERING C APSTONE PROJECT A CCELERATION OF G ENERATIVE A DVERSARIAL N ETWORKS FOR I MAGE G ENERATION ON THE S O C-FPGA PLATFORM M AJOR : COMPUTER ENGINEERING C OMMITTEE : CE-CC02 Supervisors: Assoc. Pham Quoc Cuong - HCMUT Reviewer: Assoc. Tran Ngoc Thinh - HCMUT Authors: Le Ngoc Minh Thu - 2053476 Huynh Trung Nhat - 2053294 Do Huu Thanh Thien - 2053453 HO CHI MINH CITY - June-2024 This thesis is dedicated for our parents and our instructors at HCMUT. C ONTENTS List of Figures vii List of Tables xi Acknowledgment xiii Abstract xv 1 Introduction 1 1.

4 2 Background and Related work 5 2.1 Field Programmable Gate Array and System on Chip .2 Kria KV260 platform .5 Deep Learning and Deep Neural Network .6 Generative Adversarial Networks .7 Deconvolution Neural Network .1 Generative Adversarial Networks Applications .2 Generative Adversarial Networks on FPGA .2 Dataflow of Deconvolution Multi-kernel Processor .3 Optimized GAN Execution Research and Survey.2 Overflow Handling in Fixed-Point Computation .4 Comparative Analysis and Conclusion .2 PS-PL communication .3 Acceleration core - TOP .2 Deconvolution Multi-kernel Processor Implementation .3 Core Overlap Processor Implementation .4 Tilling and Gather Processor Implementation .2 Integration of Till Gather Cores and Buffers .3 Operational Details of Tilling Gather Core .5 Parameters of the acceleration core.5 Performance Validation and Analysis .1 DMA Transferring Time .2 Execution time and Speed Up .3 Image Generation Quality .6 State-of-the-art comparisons. 96 6 Conclusion 99 Bibliography 101 L IST OF F IGURES 2.1 Basic FPGA Architecture .2 Basic MPSoC Zynq Architecture .3 Kria KV260 Vision AI Starter Kit [1] .4 ZCU106 Evaluation Kit [2] .6 An example of AI field .7 An example of an artificial neural network .8 An example of deep neural networks .9 Basic network architecture of GAN .10 Generator Network basic flow .11 Discriminator Network basic flow .14 Generator architecture for two datasets .15 Discriminator architecture for two datasets .16 Comparison between conventional convolution and deconvolu- tion .17 Deconvolution computation illustration (stride = 2) .1 General architecture of Generator Network accelerator .2 Dataflow structure of Deconvolution Multi-kernel Processor .3 Memory structure of Feature BRAMs and Weight BRAMs .4 Dataflow of input feature and output feature .1 System implementation on Xilinx SoC .2 System implementation on Xilinx SoC .3 Central Direct Access Memory IP on ZYNQ UltraScale+ Processing System .4 Input Interface of DCMKP .5 Output Interface of DCMKP .6 General design of Deconvolution Multi-kernel Processor .7 Deconvolution Multi-kernel Processor Implementation .8 Row-overlap accumulating processor block diagram. 44 vii viii L IST OF F IGURES 4.9 Block diagram for adding each pixel of registers and input data .10 Block diagram of INIT state .11 Block diagram of WRITE state .12 Block diagram of WAIT state .13 Block diagram of READ state .14 Column-overlap accumulator FSM .15 Block diagram to illustrate the Core Overlap Processor Function .16 Core Overlap Processor Implementation .17 Row overlap process state machine .18 Column overlap process state machine .19 Core Overlap Processor Timeline Diagram .20 Data flow from Core Overlap Processor to Tilling and Gather Pro- cessor .21 Tilling and Gather machine implementation .22 Tilling Gather Buffer implementation .23 Tilling Gather Core Implementation .24 MNIST and Celeb-A datasets were trained from scratch for 60 epochs 64 4.25 Visualization of evaluation techniques for MNIST dataset training (2 dimensions - 1 channel) .26 Scatter plots of generated and truth image in different dimensions for Celeb-A dataset (4 dimensions - 3 channels) .27 Histogram of distance comparison between generated image and truth image to its center for Celeb-A dataset .28 Comparison of low-resolution and high-resolution images from the DIV2K dataset.29 Modified SRGAN Generator architecture incorporating deconvo- lution layers.30 SRGAN Discriminator architecture.31 Evaluating the impact of GAN and content losses on image quality.32 Assessment of GAN and perceptual losses on image generation.33 Integration of GAN, content, and perceptual losses and their ef- fect on the output.34 Application Software Operation Flow Chart .1 Kria KV260 board diagram .2 ZCU106 board diagram .3 Block design for DMA transferring time experiment .