Luận văn an ai accelerator on a risc v system on chip

RISC-V là một kiến trúc bộ xử lý mở, được thiết kế để hỗ trợ các ứng dụng đa dạng từ nhúng đến… 131 trang · Ho Chi Minh City University of Technology · 2023.

• Tác giả: Nguyen Ly Dang Khoa
• Người hướng dẫn: Assoc. Tran Ngoc Thinh
• Trường học: Ho Chi Minh City University of Technology
• Chuyên ngành: Computer Engineering
• Đề tài: An AI accelerator in a RISC-V System-on-Chip
• Loại tài liệu: Capstone Project
• Năm xuất bản: 2023
• Địa điểm: Ho Chi Minh City

Tóm tắt

I. Kiến trúc RISC V và Hệ thống trên Chip

RISC-V là một kiến trúc bộ xử lý mở, được thiết kế để hỗ trợ các ứng dụng đa dạng từ nhúng đến hiệu năng cao. Hệ thống trên chip (SoC) RISC-V cung cấp nền tảng linh hoạt cho việc tích hợp các thành phần tùy chỉnh như bộ tăng tốc AI. Việc xây dựng AI Accelerator trên RISC-V SoC cho phép tối ưu hóa hiệu năng xử lý các mô hình học sâu (deep learning) như CNN. Kiến trúc này kết hợp khả năng xử lý vectơ (vector processing) với các kỹ thuật lượng tử hóa dữ liệu, giảm từ 32-bit xuống 8-bit để tiết kiệm tài nguyên và tối ưu truy cập bộ nhớ.

1.1. Đặc điểm của kiến trúc RISC V

RISC-V sở hữu tập lệnh cơ bản tối thiểu nhưng khả năng mở rộng cao. Kiến trúc này cho phép tích hợp extension tùy chỉnh như vector extension để tăng cường khả năng xử lý dữ liệu song song. Điều này làm cho RISC-V trở thành lựa chọn lý tưởng cho các hệ thống AI SoC cần hiệu năng tối ưu mà không cần chi phí phát triển quá cao.

1.2. Ưu điểm của SoC trên nền tảng RISC V

Xây dựng RISC-V System-on-Chip cho phép tích hợp CPU, bộ nhớ, và các thành phần gia tốc trên một chip duy nhất. Điều này giảm độ trễ truyền thông, tiết kiệm năng lượng, và cải thiện hiệu năng tổng thể. AI Accelerator được tích hợp vào SoC có thể xử lý các tác vụ học máy nhanh chóng và hiệu quả.

II. Thiết kế và Triển khai Bộ Tăng tốc AI

AI Accelerator được thiết kế để tối ưu hóa xử lý các mô hình mạng thần kinh nhân tạo, đặc biệt là mạng thần kinh tích chập (CNN). Bộ tăng tốc này sử dụng đường ống xử lý phần cứng (hardware pipeline) và khả năng xử lý song song (parallel processing) để đạt hiệu năng cao. Kỹ thuật lượng tử hóa (quantization) từ 32-bit thành 8-bit giúp giảm đáng kể nhu cầu bộ nhớ và công suất tiêu thụ. Hệ thống được tích hợp vào CVA5-Vector-SOC thông qua các extension lệnh tùy chỉnh, tạo thành một hệ thống hoàn chỉnh cho các ứng dụng học sâu trên thiết bị nhúng.

2.1. Kỹ thuật lượng tử hóa dữ liệu

Quantization giảm độ chính xác dữ liệu từ 32-bit (float) xuống 8-bit (int8) mà không ảnh hưởng đáng kể đến độ chính xác. Phương pháp này tiết kiệm 75% bộ nhớ và giảm bandwidth truyền dữ liệu. Với AI Accelerator, lượng tử hóa cho phép xử lý nhanh hơn và tiêu thụ năng lượng ít hơn, đặc biệt phù hợp cho các ứng dụng IoT và edge computing.

2.2. Pipeline xử lý và xử lý song song

Bộ tăng tốc sử dụng hardware pipeline để xử lý nhiều phép toán đồng thời. Xử lý song song cho phép tính toán từng phần của ma trận trong một chu kỳ đồng hồ. Kết quả là CVA5-Vector-SOC đạt 97.37% độ chính xác trên dataset MNIST, vượt quá 9% so với CVA5-SOC cơ bản, trong khi giảm 8.6 lần tài nguyên và 2.3 lần tiêu thụ năng lượng.

III. Kết quả Kiểm thử và So sánh Hiệu năng

Hệ thống AI Accelerator on RISC-V SoC được kiểm thử với dataset MNIST để đánh giá độ chính xác và hiệu năng. Kết quả cho thấy độ chính xác đạt 97.37%, vượt vượt quá phiên bản CVA5-SOC ban đầu. Đặc biệt quan trọng, hệ thống đạt được những cải thiện này với mức tiêu thụ tài nguyên giảm 8.6 lần và năng lượng tiêu thụ giảm 2.3 lần. Những con số này chứng minh rằng AI Accelerator không chỉ cải thiện hiệu năng mà còn tối ưu hóa hiệu suất năng lượng, làm cho nó trở thành giải pháp lý tưởng cho các ứng dụng edge computing và IoT devices có ràng buộc năng lượng.

3.1. Kết quả độ chính xác trên MNIST

CVA5-Vector-SOC với AI Accelerator đạt 97.37% accuracy trên MNIST dataset, vượt quá 9% so với hệ thống gốc. Điểm số này cho thấy hiệu quả của vector extension và hardware acceleration. Việc sử dụng quantization 8-bit vẫn duy trì độ chính xác cao, chứng minh rằng AI Accelerator xử lý CNN models một cách hiệu quả.

3.2. Tối ưu hóa tài nguyên và năng lượng

AI Accelerator giảm sử dụng tài nguyên FPGA 8.6 lần so với các phương pháp truyền thống. Tiêu thụ năng lượng giảm 2.3 lần đáng kể, làm cho hệ thống phù hợp cho các embedded systems và IoT applications. Những tối ưu hóa này là kết quả của lượng tử hóa, vector processing, và hardware pipeline hiệu quả.

IV. Ứng dụng Thực tiễn và Hướng Phát triển

AI Accelerator on RISC-V SoC mở ra nhiều ứng dụng thực tiễn trong IoT devices, edge computing, và embedded systems. Hệ thống có thể được triển khai trên các FPGA boards như Zedboard để thực hiện các tác vụ nhận dạng hình ảnh, xử lý tín hiệu, và phân loại dữ liệu. Nghiên cứu này cung cấp nền tảng cho việc phát triển các accelerator AI hiệu quả hơn trên RISC-V architecture. Hướng phát triển tương lai bao gồm tối ưu hóa thêm tài nguyên, kiểm thử trên các FPGA board thực tế, so sánh với các accelerator AI khác, và mở rộng hỗ trợ các mô hình deep learning phức tạp hơn như ResNet hoặc VGG.

4.1. Ứng dụng trong IoT và Edge Computing

AI Accelerator trên RISC-V SoC cho phép triển khai machine learning models trên các edge devices với hiệu năng cao và tiêu thụ năng lượng thấp. Các IoT applications như smart sensors, video monitoring, và autonomous systems có thể tận dụng CNN acceleration để xử lý dữ liệu cục bộ mà không cần truyền lên cloud.

4.2. Hướng phát triển trong tương lai

Các nghiên cứu tiếp theo nên tập trung vào triển khai CVA5-Vector-SOC trên Zedboard FPGA, so sánh với các AI accelerator implementations khác, và kiểm thử với các IoT applications thực tế. Mở rộng hỗ trợ các mô hình deep learning phức tạp hơn và tối ưu hóa thêm memory access patterns sẽ giúp nâng cao hiệu năng hệ thống.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển của công nghệ bán dẫn và các mô hình trí tuệ nhân tạo (AI), đặc biệt là học sâu (Deep Learning) và mạng nơ-ron tích chập (Convolutional Neural Networks - CNN), đã thúc đẩy nhu cầu xử lý các phép toán ma trận và vector với tốc độ cao. Tuy nhiên, việc triển khai các mô hình tính toán học sâu phức tạp trên các hệ thống nhúng và thiết bị biên (Edge Computing) gặp phải nhiều rào cản nghiêm trọng về giới hạn tài nguyên phần cứng và định mức tiêu thụ năng lượng. Kiến trúc máy tính truyền thống dựa trên mô hình tập lệnh đơn - dữ liệu đơn (Single Instruction Single Data - SISD) hoặc các bộ xử lý vô hướng (Scalar Processor) thường bộc lộ sự kém hiệu quả khi phải xử lý lặp lại khối lượng lớn dữ liệu mảng, dẫn đến nghẽn cổ chai trong quá trình nạp/lưu và suy luận.

Trong bối cảnh đó, kiến trúc tập lệnh mở RISC-V (Open-source Instruction Set Architecture) cùng phần mở rộng tính toán vector (RISC-V Vector Extension) nổi lên như một giải pháp linh hoạt, cho phép thiết kế các bộ xử lý tùy biến và hỗ trợ tính toán song song dữ liệu (Single Instruction Multiple Data - SIMD / Data-level parallelism). Đồng thời, nền tảng vi mạch lập trình được (Field-programmable Gate Array - FPGA) cung cấp môi trường lý tưởng để hiện thực hóa, kiểm thử và đánh giá các thiết kế bộ xử lý dạng mềm (Soft Core) với chi phí thấp và thời gian phát triển nhanh.

Đề tài khóa luận tốt nghiệp "An AI accelerator in a RISC-V System-on-Chip" (Xây dựng Bộ tăng tốc AI trong Hệ thống trên chip RISC-V) được thực hiện bởi sinh viên Nguyễn Lý Đăng Khoa và Lê Nguyễn Tân Lộc, dưới sự hướng dẫn của PGS. Trần Ngọc Thịnh tại Khoa Khoa học và Kỹ thuật Máy tính, Trường Đại học Bách Khoa – Đại học Quốc gia TP.HCM (giai đoạn từ 28/08/2023 đến 01/01/2024). Đề tài tập trung vào việc nghiên cứu, thiết kế và tích hợp một bộ tăng tốc vector tùy biến vào lõi xử lý RISC-V CVA5 nhằm tối ưu hóa hiệu năng suy luận mạng nơ-ron.

Nhiệm vụ nghiên cứu cụ thể của đề tài bao gồm:

1. Nghiên cứu kiến trúc tập lệnh RISC-V và phần mở rộng vector.
2. Nghiên cứu các phần mềm mô phỏng và các hệ thống RISC-V SoC có khả năng tái cấu trúc trên nền tảng FPGA.
3. Khảo sát các công trình nghiên cứu, thuật toán AI và kỹ thuật lượng tử hóa mô hình học máy để chuyển giao sang hệ thống trên chip RISC-V.
4. Hiện thực hóa một kiến trúc RISC-V SoC phù hợp (chọn lõi CVA5) trên nền tảng FPGA.
5. Thiết kế và tích hợp bộ tăng tốc AI (Vector Processing Unit) vào hệ thống RISC-V SoC.
6. So sánh, đánh giá hiệu năng giữa hệ thống mở rộng vector và hệ thống vô hướng nguyên bản.
7. Kiểm thử hệ thống với ứng dụng suy luận mạng nơ-ron trên tập dữ liệu ảnh mẫu.

Cơ sở lý thuyết và phương pháp

Đề tài kết hợp nghiên cứu lý thuyết vi kiến trúc xử lý, phương pháp lượng tử hóa mạng nơ-ron và phương pháp thiết kế phần cứng số:

• Mô hình mạng nơ-ron tích chập (CNN): Mạng bao gồm các tầng cơ bản gồm tầng tích chập (Convolutional Layer) để trích xuất đặc trưng không gian thông qua các bộ lọc (filters/kernels), tầng gom cụm (Pooling Layer - Max Pooling và Average Pooling) nhằm giảm chiều dữ liệu, tầng kết nối đầy đủ (Fully-Connected Layer) để phân loại, cùng hàm kích hoạt phi tuyến ReLU ($ReLU(x) = \max(0, x)$).
• Kỹ thuật lượng tử hóa mô hình (Model Quantization): Do lõi CVA5 sử dụng tập lệnh số nguyên RV32IMA và không tích hợp khối dấu phẩy động phần cứng, đề tài áp dụng mô hình lượng tử hóa Affine không đối xứng từ chuẩn TensorFlow Lite để chuyển đổi dữ liệu từ dấu phẩy động 32-bit (FP32) sang số nguyên 8-bit (INT8) hoặc 16-bit (INT16). Công thức ánh xạ tuyến tính được sử dụng là: $$r = S(q - Z)$$ Trong đó $r$ là giá trị số thực, $q$ là giá trị lượng tử hóa nguyên, $S$ là hệ số tỉ lệ (scale) và $Z$ là điểm không (zero-point). Phép nhân ma trận lượng tử hóa được biểu diễn qua: $$q_3^{(i,k)} = Z_3 + M \sum_{j=1}^N (q_1^{(i,j)} - Z_1)(q_2^{(j,k)} - Z_2)$$ Hệ số tỉ lệ nhân $M = \frac{S_1 S_2}{S_3}$ được chuẩn hóa thành dạng fixed-point $M = 2^{-n} M_0$ với $M_0 \in [0.5, 1)$, cho phép thay thế phép chia/nhân số thực bằng phép nhân số nguyên và dịch bit phải ($n$-bit shift).
• Tập lệnh RISC-V và kiến trúc vi xử lý CVA5: Khảo sát tập lệnh cơ sở RV32I và các phần mở rộng chuẩn (M - nhân chia số nguyên, A - thao tác nguyên tử). Lõi CVA5 là vi xử lý 32-bit mã nguồn mở viết bằng SystemVerilog, sở hữu cấu trúc đường ống phân rã (Decoupled Pipeline) gồm các khối chức năng độc lập, hỗ trợ độ trễ biến thiên (Variable Latency), thực thi và hoàn tất ngoài thứ tự (Out-of-Order Completion), quản lý ID chỉ mục động, cơ chế đổi tên thanh ghi (Renamer) chống xung đột phụ thuộc dữ liệu giả (False Dependency) và hàng đợi lưu dữ liệu (Store Queue).
• Phương pháp nghiên cứu thực nghiệm: Thiết kế các khối phần cứng số (RTL) bằng ngôn ngữ phần cứng, thực hiện tổng hợp logic, phân tích công suất, tài nguyên và mô phỏng chu kỳ chính xác trên công cụ Xilinx Vivado Design Suite và GTKWave nhắm tới nền tảng bo mạch Xilinx ZedBoard (Zynq-7000 FPGA). Dữ liệu thực nghiệm sử dụng tập ảnh chữ số viết tay chuẩn MNIST.

Thiết kế và triển khai

Hệ thống được thiết kế theo mô hình tích hợp đồng xử lý vector trực tiếp vào đường ống của vi xử lý CVA5, tạo thành cấu hình CVA5-Vector-SoC.

Kiến trúc phần cứng bộ xử lý CVA5-Vector

Hệ thống đường ống của CVA5 được mở rộng để quản lý các lệnh vector thông qua các giai đoạn:

1. Giai đoạn Fetch & Decode: Lệnh được nạp vào bảng chỉ mục (Instruction Table). Bộ giải mã nhận diện các mã opcode vector mở rộng, trích xuất thông tin thanh ghi ảo và đẩy thông tin sang bộ đổi tên vector.
2. Vector Renamer & Vector Register File (VRF): Bộ đổi tên thanh ghi vector sử dụng danh sách thanh ghi rỗi (Vector_free_list), bảng đặc tả nhóm (group_spec_table) và danh sách đang sử dụng (Inuse_list) để ánh xạ các thanh ghi vector logic sang 64 mục thanh ghi vật lý. Bộ nhớ thanh ghi vector hỗ trợ cơ chế đa cổng đọc/ghi và bảng cờ trạng thái (toggle memory) để phát hiện xung đột dữ liệu.
3. Khối thực thi Vector (Vector Execution Units):
   • Vector ALU Unit: Xử lý các phép toán số học, logic trên từng phần tử theo cấu hình độ rộng dữ liệu tiêu chuẩn (SEW) và độ dài vector (VLEN).
   • Vector Multiplier / MAC Unit: Thiết kế dựa trên mô hình mạng Petri Net và các khối xử lý MAC phân làn (lanes), cho phép nhân - tích lũy song song trên dữ liệu lượng tử hóa.
   • Vector Compare Unit: Thực hiện các phép so sánh song song giữa các phần tử vector phục vụ các tầng kích hoạt và gom cụm Max Pooling.
   • Vector Load/Store Unit: Quản lý nạp và lưu dữ liệu vector từ bộ nhớ, tối ưu hóa truy xuất tuần tự theo hàng/cột.
   • Vector CSRs Unit: Quản lý các thanh ghi điều khiển và trạng thái vector (như vtype, vl, vlenb), điều phối tham số cấu hình nhóm thanh ghi (LMUL) và độ rộng phần tử (SEW).
4. Chiến lược tối ưu bộ nhớ Im2Col: Triển khai phương pháp chuyển đổi ma trận hình ảnh thành các cột dữ liệu liên tục trong bộ nhớ (Im2Col), cho phép khối Vector Load nạp các khối điểm ảnh liên tiếp trong một chu kỳ xung nhịp nhằm tối ưu hóa kỹ thuật tái sử dụng dữ liệu (Data Reuse).

Luồng phần mềm và tích hợp hệ thống

Do các trình biên dịch chuẩn chưa hỗ trợ đầy đủ các lệnh vector tùy biến cho mô hình học sâu viết bằng Python, nhóm tác giả xây dựng luồng phần mềm chuyên biệt:

• Mô hình mạng nơ-ron được huấn luyện trên môi trường ngoài, trích xuất trọng số (weights) và độ lệch (biases), thực hiện lượng tử hóa và lưu trữ dưới dạng mảng hằng số fixed-point 16-bit.
• Chương trình suy luận hoàn chỉnh được lập trình bằng ngôn ngữ C, nhúng trực tiếp các chỉ thị hợp ngữ vector tùy biến (v_mul_block, v_load_store,...) thông qua inline assembly.
• Mã nguồn C được biên dịch bằng chuỗi công cụ RISC-V GCC toolchain thành mã máy thực thi, sau đó nạp vào bộ nhớ nạp trước (local_mem_v1_0) của hệ thống SoC trên Vivado để thực hiện mô phỏng.

Nội dung chính theo từng chương

Chương 1: Project Introduction

Chương này trình bày bối cảnh phát triển của phần cứng mã nguồn mở RISC-V trên nền tảng FPGA và sự cần thiết của các bộ tăng tốc AI. Tác giả phân tích bài toán tối ưu hóa năng lượng và hiệu năng thông qua các kỹ thuật tái sử dụng dữ liệu: tái sử dụng bản đồ đặc trưng đầu vào (Input feature map reuse), tái sử dụng bộ lọc (Filter reuse) và tái sử dụng tích chập (Convolution reuse). Chương xác định mục tiêu thiết kế bộ xử lý CVA5-Vector, quy trình thực hiện gồm 3 bước và bảng tiêu chí đánh giá hiệu năng (chỉ số chu kỳ, số lệnh, độ chính xác).

Chương 2: Theoretical Background and CVA5 Overview

Chương 2 cung cấp cơ sở lý thuyết tổng quan về trí tuệ nhân tạo, học sâu, cấu trúc mạng nơ-ron tích chập (tầng Convolution, Max/Average Pooling, Fully-Connected, hàm ReLU) và quy trình suy luận (Inference). Trọng tâm chương phân tích chi tiết toán học của phương pháp lượng tử hóa Affine từ FP32 sang INT8/INT16 và kỹ thuật chuẩn hóa hệ số tỉ lệ fixed-point. Ngoài ra, chương giới thiệu kiến trúc tập lệnh RISC-V (RV32IMA, các mức đặc quyền M/S/U), so sánh kiến trúc SISD với SIMD và đi sâu vào vi kiến trúc lõi CVA5 (cơ chế phân rã đường ống 6 giai đoạn, ID-based tracking, Store Queue forwarding, Register File đa băng và Renamer).

Chương 3: Related Works

Chương này khảo sát và phân tích các công trình nghiên cứu tiêu biểu về bộ xử lý vector RISC-V dành cho hệ thống nhúng và học máy:

• A Minimal RISC-V Vector Processor for Embedded Systems: Đánh giá kiến trúc xử lý vector đơn tầng, cấu trúc đơn giản không dùng bộ lập lịch phức tạp, giúp tăng tốc tối đa 5.8 lần với mức tăng tài nguyên 2.6 lần trên FPGA ở tần số 50 MHz.
• RISC-V Vector Processor for Machine Learning Acceleration: Phân tích mô hình đồng xử lý phân làn (multi-lane vector coprocessor), cơ chế khai thác đồng thời tính song song mức dữ liệu (DLP) và mức lệnh (ILP) cùng thiết kế khối số học ALU/MAC biến đổi độ rộng (8/16/32-bit).

Chương 4: Vector Instructions Specification

Chương 4 thiết lập bảng đặc tả định dạng mã máy (opcode, funct3, funct6, định danh thanh ghi $vd, vs1, vs2$) cho các tập lệnh vector tùy biến được triển khai trên lõi CVA5, phân chia thành ba nhóm chính:

• Nhóm lệnh điều khiển và trạng thái vector (Vector Control/Status Instructions - Vector CSRs).
• Nhóm lệnh số học và truyền dữ liệu vector (Vector Arithmetic and Data Transfer Instructions: cộng, trừ, nhân ma trận, nhân tích lũy MAC, so sánh phần tử).
• Nhóm lệnh nạp và lưu dữ liệu vector (Vector Load/Store Instructions).

Chương 5: Vector Processing Unit Design and Integration into CVA5

Chương 5 trình bày chi tiết thiết kế phần cứng vi kiến trúc các khối vector và phương thức tích hợp vào đường ống CVA5:

• Giai đoạn tiền phát lệnh (Pre-issue): Thiết kế chi tiết cấu trúc Vector Renamer (quản lý bảng group_spec_table, Vector_free_list, chuyển đổi địa chỉ logic sang vật lý) và Vector Register File (quản lý phân vùng bộ nhớ, máy trạng thái FSM điều khiển thanh ghi, khối Vector_toggle_memory_set).
• Giai đoạn thực thi (Execution Stage): Thiết kế sơ đồ khối chi tiết của Vector ALU, khối nhân - tích lũy MAC dựa trên mô hình Petri Net, khối so sánh thanh ghi (Vector Compare), khối Vector Load/Store và khối xử lý thanh ghi điều khiển Vector CSRs với máy trạng thái đường ống hóa.
• Giai đoạn ghi ngược (Writeback) và hoàn tất (Retire/Commit): Cơ chế phân xử ưu tiên ghi cổng bộ nhớ và giải phóng định danh thanh ghi vật lý khi lệnh hoàn tất.

Chương 6: Hardware and Software Implementation

Chương 6 mô tả quy trình hiện thực hóa kỹ thuật trên công cụ Xilinx Vivado và môi trường phần mềm:

• Thiết kế phần cứng: Cấu hình hệ thống SoC trên nền Zynq-7000 (ZedBoard), kết nối các IP lõi xử lý CVA5-Vector với hệ thống AXI Interconnect, bộ nhớ cục bộ nạp sẵn (local_mem_v1_0), khối UART điều khiển và thiết lập chân tín hiệu (Pmod JA1 constraints).
• Thiết kế phần mềm: Cấu hình chuỗi công cụ biên dịch chéo CVA5 GCC Toolchain, xây dựng chương trình C-based nhúng mã máy vector, thiết lập tệp nạp dữ liệu ma trận ảnh, thực thi mô phỏng và hiển thị dạng sóng trên GTKWave.

Chương 7: Result and Evaluation

Chương 7 tổng hợp toàn bộ kết quả mô phỏng, phân tích tài nguyên phần cứng, công suất tiêu thụ và hiệu năng tính toán của hệ thống CVA5-Vector-SoC so với hệ thống gốc CVA5-SoC:

• Mô phỏng chức năng từng thành phần: Khởi tạo hệ thống sau 64 chu kỳ reset, cấp phát ID chỉ mục, kiểm thử quá trình nạp bộ nhớ vector và hoạt động của khối v_mul_block.
• Báo cáo tổng hợp phần cứng trên Vivado: Phân tích tài nguyên định tuyến (LUTs, Flip-Flops, BRAM, DSP) và công suất tiêu thụ tại tần số 50 MHz (CVA5-Vector) và 60 MHz (CVA5-SoC / CVA5-Vector-SoC).
• Đánh giá thực nghiệm qua từng tầng mạng nơ-ron: Tầng Convolution, tầng Max Pooling, tầng Fully-Connected và kiểm thử toàn bộ mô hình CNN với tập dữ liệu MNIST.

Kết quả và đóng góp

Khóa luận đã thiết kế và tích hợp thành công bộ tăng tốc vector vào lõi xử lý RISC-V CVA5 trên môi trường mô phỏng RTL và công cụ tổng hợp phần cứng Vivado. Các kết quả định lượng cụ thể được trích xuất từ văn bản gồm:

Chỉ số đánh giá	Hệ thống CVA5-SoC (Gốc)	Hệ thống CVA5-Vector-SoC	Mức độ cải thiện / Thay đổi
Độ chính xác mô hình (MNIST)	97.37% (Tham chiếu)	97.37%	Tương đương mô hình lượng tử hóa
Tốc độ thực thi (Hiệu năng)	1.0x (Cơ sở)	~9.x - 10.0x	Nhanh hơn xấp xỉ 10 lần
Sử dụng tài nguyên FPGA	Cơ sở	Tăng ~8.0 - 8.6 lần	Tăng diện tích mạch do thêm VRF & MAC
Công suất tiêu thụ (Power)	Cơ sở (ở 50/60 MHz)	Tăng 1.4012 lần	Tăng công suất tức thời
Tiêu hao năng lượng (Energy)	Cơ sở	Giảm 2.3 lần	Tiết kiệm năng lượng do giảm số chu kỳ

Những đóng góp chính của đề tài bao gồm:

1. Hiện thực hóa một vi kiến trúc mở rộng vector tương thích với lõi vi xử lý CVA5 mã nguồn mở, khai thác tốt cơ chế thực thi đa làn song song và kỹ thuật lượng tử hóa dữ liệu số nguyên (INT8/INT16).
2. Xây dựng giải pháp phần cứng - phần mềm đồng bộ (Co-design), từ bộ tăng tốc phần cứng (ALU, MAC, VRF, Renamer) đến luồng phần mềm chuyển đổi mô hình suy luận viết bằng C nhúng tập lệnh vector.
3. Chứng minh tính khả thi của việc tăng tốc suy luận mạng nơ-ron trên nền tảng RISC-V SoC với mức cải thiện hiệu năng vượt trội và giảm tổng năng lượng tiêu thụ tổng thể.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các nhận xét đánh giá của Giảng viên hướng dẫn và Giảng viên phản biện trong văn bản:

• Hạn chế về triển khai thực tế: Hệ thống mới dừng lại ở bước mô phỏng kiểm tra chức năng (Functional Simulation) và tổng hợp logic trên công cụ Vivado, chưa được nạp và chạy thực nghiệm trực tiếp trên bo mạch phần cứng thực tế ZedBoard FPGA. Do đó, độ tin cậy và tính ổn định vật lý của hệ thống chưa được kiểm chứng đầy đủ.
• Hạn chế về tối ưu tài nguyên: Bộ tăng tốc vector làm tăng tài nguyên phần cứng lên 8.6 lần, vi kiến trúc chưa được tối ưu hóa sâu để tiết kiệm diện tích logic (LUT/FF) trên FPGA.
• Hạn chế về đánh giá đối chuẩn: Đề tài chưa thực hiện so sánh, đối chuẩn toàn diện với các kiến trúc bộ tăng tốc AI trên RISC-V khác đã công bố trong các nghiên cứu liên quan.
• Hạn chế về ứng dụng: Hệ thống chưa được kiểm thử mở rộng trên các ứng dụng IoT hoặc các mô hình mạng nơ-ron đa dạng khác ngoài bài toán phân loại ảnh chữ số viết tay MNIST.

Hướng nghiên cứu tiếp theo được xác định là: Tối ưu hóa mức sử dụng tài nguyên của khối xử lý vector, nạp và xác thực hoàn chỉnh trên phần cứng ZedBoard FPGA, mở rộng tập lệnh và thử nghiệm hệ thống trên các mô hình ứng dụng IoT thực tế.

Giá trị tham khảo

Đồ án là tài liệu tham khảo chuyên môn hữu ích cho:

• Sinh viên và học viên cao học chuyên ngành Kỹ thuật Máy tính, Điện tử - Viễn thông, Công nghệ Thông tin đang thực hiện đồ án, luận văn liên quan đến thiết kế hệ thống số, vi kiến trúc vi xử lý RISC-V, SoC trên FPGA.
• Các kỹ sư thiết kế phần cứng quan tâm đến phương pháp tích hợp khối đồng xử lý vector vào các lõi vi xử lý đường ống mở (như CVA5) và kỹ thuật thiết kế bộ đổi tên thanh ghi (Renamer), hàng đợi dữ liệu và bộ nhớ thanh ghi vector (VRF).
• Các nhà nghiên cứu về giải pháp tối ưu hóa phần cứng cho AI (Hardware Acceleration for AI/TinyML) quan tâm đến kỹ thuật lượng tử hóa Affine fixed-point kết hợp sắp xếp dữ liệu bộ nhớ Im2Col để tăng tốc mạng nơ-ron tích chập.

Câu hỏi thường gặp

1. Đề tài lựa chọn lõi vi xử lý RISC-V nào để phát triển bộ tăng tốc và lý do lựa chọn là gì?
Nhóm tác giả lựa chọn lõi vi xử lý CVA5 (hỗ trợ tập lệnh RV32IMA). Lý do lựa chọn là vì CVA5 sở hữu cấu trúc đường ống phân rã (Decoupled Pipeline) với các khối thực thi độc lập, chia sẻ giao diện điều khiển chuẩn hóa (ready/new_request tại issue logic và done/accepted tại writeback mux), giúp việc tích hợp thêm các khối chức năng tùy biến như bộ xử lý vector trở nên dễ dàng mà không làm thay đổi cấu trúc lõi cơ bản.

2. Kỹ thuật lượng tử hóa nào được áp dụng và cách chuyển đổi toán học được thực hiện ra sao?
Đề tài áp dụng kỹ thuật lượng tử hóa Affine không đối xứng từ TensorFlow Lite để chuyển đổi dữ liệu từ số thực FP32 sang số nguyên INT8/INT16 theo công thức $r = S(q - Z)$. Hệ số tỉ lệ nhân $M$ được biểu diễn dưới dạng fixed-point $M = 2^{-n} M_0$ với $M_0 \in [0.5, 1)$, cho phép toàn bộ phép tính tích chập và nhân ma trận được thực thi bằng số học nguyên và phép dịch bit phải ($n$-bit shift), loại bỏ nhu cầu sử dụng phần cứng tính toán dấu phẩy động phức tạp.

3. Khối đổi tên thanh ghi (Vector Renamer) giải quyết vấn đề gì trong kiến trúc CVA5-Vector?
Vector Renamer có nhiệm vụ giải quyết xung đột phụ thuộc dữ liệu giả (False Dependency) khi cùng một thanh ghi đích logic được sử dụng bởi nhiều lệnh vector đang trong quá trình thực thi trên đường ống (in-flight). Khối này sử dụng danh sách thanh ghi rỗi (Free_list) và bảng đặc tả nhóm (Spec_table) để ánh xạ các địa chỉ thanh ghi ảo thành các địa chỉ thanh ghi vật lý riêng biệt trong tập 64 thanh ghi vật lý của hệ thống.

4. Kết quả thực nghiệm trên tập dữ liệu MNIST cho thấy hiệu năng và mức tiêu thụ năng lượng thay đổi như thế nào?
Khi chạy mô hình suy luận CNN trên tập dữ liệu MNIST, hệ thống CVA5-Vector-SoC đạt độ chính xác 97.37%. Tốc độ thực thi được cải thiện xấp xỉ 10 lần so với hệ thống vô hướng CVA5-SoC nguyên bản. Mặc dù công suất tiêu thụ tức thời tăng 1.4012 lần và tài nguyên phần cứng tăng 8.6 lần, tổng năng lượng tiêu hao cho toàn bộ quá trình xử lý giảm được 2.3 lần nhờ thời gian thực thi giảm mạnh.

5. Đồ án đã hoàn thành việc kiểm thử trên bo mạch phần cứng thực tế hay chưa?
Theo nhận xét của Giảng viên hướng dẫn (PGS. Trần Ngọc Thịnh) và Giảng viên phản biện (PGS. Phạm Quốc Cường), hệ thống đã hoàn thành việc thiết kế mô hình RTL, chạy mô phỏng chính xác trên GTKWave và phân tích tổng hợp trên công cụ Vivado, nhưng chưa được nạp và kiểm thử thực tế trên bo mạch phần cứng ZedBoard FPGA.

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Lý Đăng Khoa và Lê Nguyễn Tân Lộc đã nghiên cứu và hiện thực hóa thành công thiết kế bộ tăng tốc AI dạng vector tích hợp vào lõi vi xử lý RISC-V CVA5. Bằng việc kết hợp kiến trúc xử lý vector đa làn với phương pháp lượng tử hóa Affine số nguyên, hệ thống CVA5-Vector-SoC đạt độ chính xác 97.37% trên tập dữ liệu MNIST, tăng tốc độ tính toán xấp xỉ 10 lần và tiết kiệm 2.3 lần tổng năng lượng tiêu thụ so với lõi vô hướng. Đồ án đóng góp một giải pháp thiết kế đồng bộ phần cứng - phần mềm có giá trị tham khảo cao trong lĩnh vực vi kiến trúc bộ xử lý và tăng tốc phần cứng cho trí tuệ nhân tạo trên FPGA.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY HO CHI MINH CITY HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY FACULTY OF COMPUTER SCIENCE AND ENGINEERING CAPSTONE PROJECT AN AI ACCELERATOR ON A RISC-V SYSTEM-ON-CHIP MAJOR: COMPUTER ENGINEERING THESIS COMMITTEE: COMPUTER ENGINEERING 1 SUPERVISOR: Assoc. TRAN NGOC THINH REVIEWER: Assoc. PHAM QUOC CUONG STUDENT 1: NGUYEN LY DANG KHOA (1952785) STUDENT 2: LE NGUYEN TAN LOC (1952088) Ho Chi Minh City, 12/2023 1 ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc KHOA:KH & KT Máy tính NHIỆM VỤ LUẬN VĂN/ ĐỒ ÁN TỐT NGHIỆP BỘ MÔN:KTMT Chú ý: Sinh viên phải dán tờ này vào trang nhất của bản thuyết trình HỌ VÀ TÊN: Nguyễn Lý Đăng Khoa MSSV: 1952785 HỌ VÀ TÊN: Lê Nguyễn Tân Lộc MSSV: 1952088 NGÀNH: Kỹ thuật Máy tính LỚP: 1. Đầu đề luận văn/ đồ án tốt nghiệp: An AI accelerator in a RISC-V System-on-Chip (Xây dựng Bộ tăng tốc AI trong Hệ thống trên chip RISC-V) 2.

Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu): • Study RISC-V architecture • Study simulation software, and reconfigurable RISC-V SOCs on FPGA platforms • Survey research works, algorithms on AI, and machine learning can be ported to RISC-V system-on-chip • Implement a suitable RISC-V SOC on FPGA platforms • Implement a suitable AI accelerator on RISC-V SOC • Compare with other implementations • Test with a simple application. Ngày giao nhiệm vụ: 28/08/2023 4. Ngày hoàn thành nhiệm vụ: 01/01/2024 5. Họ tên giảng viên hướng dẫn: Phần hướng dẫn: 1) PGS.

Trần Ngọc Thịnh Nội dung và yêu cầu LVTN/ ĐATN đã được thông qua Bộ môn. CHỦ NHIỆM BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN CHÍNH (Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên) PGS. Trần Ngọc Thịnh PHẦN DÀNH CHO KHOA, BỘ MÔN: Người duyệt (chấm sơ bộ): Đơn vị: Ngày bảo vệ: Điểm tổng kết: Nơi lưu trữ LVTN/ĐATN: TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc lập - Tự do - Hạnh phúc ---------------------------- Ngày 02 tháng 01 năm 2024 PHIẾU ĐÁNH GIÁ LUẬN VĂN/ ĐỒ ÁN TỐT NGHIỆP (Dành cho người hướng dẫn/phản biện) 1. Họ và tên SV1: Nguyễn Lý Đăng Khoa MSSV1: 1952785 Ngành (chuyên ngành): KTMT Họ và tên SV2: Lê Nguyễn Tân Lộc MSSV1: 1952088 Ngành (chuyên ngành): KTMT 2.

Đề tài: An AI accelerator in a RISC-V System-on-Chip (Xây dựng Bộ tăng tốc AI trong Hệ thống trên chip RISC-V) 3. Họ tên người hướng dẫn: Assoc. Trần Ngọc Thịnh 4. Tổng quát về bản thuyết minh: Số trang: 132 Số chương: 7 Số bảng số liệu: 33 Số hình vẽ: 89 Số tài liệu tham khảo: 18 Phần mềm tính toán: Hiện vật (sản phẩm) 5.

Những ưu điểm chính của LV/ ĐATN:  Study and implement a suitable SOC RISC-V architecture, named CVA5-SOC  Study and implement a suitable AI accelerator that can accelerate CNN deep learning model processing based on hardware pipeline/parallel capabilities, in addition to quantizing data from 32-bit to 8-bit to save resources and optimize memory access.  Integrate AI Accelerator core into SOC CVA5 into CVA5-Vector-SOC system based on instruction extension capability of CVA5, build appropriate translation and training software for the entire system;  The system's testing with the MNIST dataset demonstrates an accuracy of up to 97.37%, surpassing the CVA5-SOC system's performance by over 9. Notably, it achieves this with an 8.6 times reduction in resource utilization and a 2.3 times decrease in energy consumption. Những thiếu sót chính của LV/ĐATN:  The system is not well optimized in terms of resource consumption.

 The system has not been implemented on the Zedboard FPGA board yet.  The system has not been compared and evaluated with other implementations.  The system has not been tested with some simple IoTs applications. Đề nghị: Được bảo vệ  Bổ sung thêm để bảo vệ  Không được bảo vệ  8.

Các câu hỏi SV phải trả lời trước Hội đồng: 9. Đánh giá chung (bằng chữ: Xuất sắc, Giỏi, Khá, TB): Fair Good (khá) Điểm : 7/10 Ký tên (ghi rõ họ tên) Trần Ngọc Thịnh TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc lập - Tự do - Hạnh phúc ---------------------------- Ngày 02 tháng 01 năm 2024 PHIẾU ĐÁNH GIÁ LUẬN VĂN/ ĐỒ ÁN TỐT NGHIỆP (Dành cho người phản biện) 2. Họ và tên SV: - Nguyễn Lý Đăng Khoa 1952785 Computer Engineering - Lê Nguyễn Tân Lộc 1952088 Computer Engineering 2. Đề tài: An AI accelerator in a RISC-V System-on-Chip (Xây dựng Bộ tăng tốc AI trong hệ thống trên chip RISC-V) 3.

Họ tên người hướng dẫn/phản biện: Phạm Quốc Cường 4. Tổng quát về bản thuyết minh: Số trang: Số chương: Số bảng số liệu Số hình vẽ: Số tài liệu tham khảo: Phần mềm tính toán: Hiện vật (sản phẩm) 5. Những ưu điểm chính của LV/ ĐATN: - The students have designed and implemented the proposed vector processing module with RTL model and sucessfully integrated it into a RISC-V processor - The system is simulated correctly and tested with a dataset 6. Những thiếu sót chính của LV/ĐATN: - The system has not yet been tested with a real FPGA board.

Hence, the soundness and correctness of the system has not been validated yet. - With simulation only, the accuracy, power consumption, etc., results cannot be used for comparing with other implementations and it makes the system less reliability. Đề nghị: Được bảo vệ x Bổ sung thêm để bảo vệ □ Không được bảo vệ □ 8. Các câu hỏi SV phải trả lời trước Hội đồng: 9.

Đánh giá chung (bằng chữ: Xuất sắc, Giỏi, Khá, TB): Điểm: 6/10 Ký tên (ghi rõ họ tên) Phạm Quốc Cường Protestation We hereby declare that except where specific reference is made to the work of others, the contents of this dissertation are original and have not been submitted in whole or in part for any other degree or qualification in any other university. This dissertation is our own work and contains nothing which is the outcome of work done in collaboration with others, except as specified in the text and Acknowledgements. Ho Chi Minh University of Technology, December 2023, Project author Nguyen Ly Dang Khoa Le Nguyen Tan Loc Computer Engineering Capstone Project (CO4347) Page 7 Acknowlegdement We would like to express our special thanks of gratitude to our teacher Assoc. Tran Ngoc Thinh who gave us the opportunity to do this wonderful project on the topic of An AI accelerator in a RISC-V System- on-Chip.

Without their help and guidance, this project would not have been possible. We would also like to thank all the teachers of Ho Chi Minh City Univer- sity of Technology and the Faculty of Computer Science and Engineering, who have taught us many valuable and important lessons, knowledge and experiences while studying at the university. Last of all, we gave our thanks to our parents, and friends who helped support us finishing this project on time Page 8 Faculty of Computer Science and Engineering Abstract With the current advancement of semiconductor technology, the need for fast prototyping to showcase proof of concept for new architectures of CPU cores has led to a wide adoption of deploying soft cores on Field- programmable gate array (FPGA) boards. Along with this, the RISC-V in- struction specification fills the need of an open-source Instruction Set Ar- chitecture (ISA) that enables independent CPU cores development, which was once under the exclusive control of major CPU instruction set own- ers such as Intel (with X86) or ARM (with ARM).

RISC-V has evolved over years from a research project at UC Berkeley in 2010 to a RISC-V Founda- tion and the RISC-V ISA has been adopted by many companies for nu- merious applications, from microcontroller and embedded systems to high-performance computing and data center processors. In the field of machine learning, RISC-V provides a vector instruction set specification, which supports element wise parallel computing, this is the key advan- tage of vector operations over the scalar operations that helps to acceler- ate the computation processes of machine learning algorithm. In this project, we implement our custom vector instructions based on the standard vector extension of RISC-V onto a RISC-V soft core namely CVA5, with the aim to accelerate matrix operations of neural network inference activities. The FPGA board in use is the Zedboard.

We approached the project by integrating our design of vector processing units into the CVA5 architecture. The reason for this approach is because of the nature of the CVA5 core, which provides interfaces for additional processing units inte- gration. With this approach, the result yields the total speedup of approx- imately 10 times faster than the scalar core while the area increases by 8 times. The power consumption increases by 1.4012 time compared with the original scalar core.

Computer Engineering Capstone Project (CO4347) Page 9 Page 10 Faculty of Computer Science and Engineering Contents 1 Project Introduction 21 1.3 Aims and Objectives .3 Project Execution Step. 25 2 Theoretical Background and CVA5 Overview 27 2.1 Deep learning Introduction .2 Convolutional Neural Network .2 Neural Network Model Quantization .1 Quantization of Neral Network Model .2 Operation for Quantization .3 RISC-V Instruction Set Architecture .1 RISC-V Instruction Set .3 The need for Vector Instruction in Accelerating AI .4 The need for RISC-V SoC on FPGA .5 Single Instruction Single Data vs Single Instruction Multiple Data .4 On choosing CVA5 core for implementation .5 CVA5 Core General Architecture .1 A Minimal RISC-V Vector Processor for Embedded Systems .2 RISC-V vector processor for acceleration of machine learning algo- rithms .2 Vector Arithmetic Unit .1 A Minimal RISC-V Vector Processor for Embedded Systems .3 Vector Register File .1 A Minimal RISC-V Vector Processor for Embedded Systems. 51 4 Vector Instructions Specification 53 4.1 Vector Control/Status Instructions. 53 Computer Engineering Capstone Project (CO4347) Page 11 4.2 Vector Arithmetic and Data transfer Instructions .3 Vector Load/Store Instruction Specification.

57 5 Vector processing unit design and integration into CVA5 59 5.1 Overall CVA5 vector supporting architecture .2 Pre-issue vector instruction processing .1 Vector Renamer Architecture .2 Vector Register File Architecture .3 Vector processing at Execution Stage .1 Vector ALU Unit .2 Vector Multiplier Unit .3 Vector Compare Unit .4 Vector Load/Store Unit .5 Vector CSRs Unit .4 Vector processing at Writeback Stage .5 Design and Integration Conclusion .1 Project Hardware Design .2 Project Software Design. 99 7 Result and Evaluation 109 7.2 Implementation of CVA5-Vector Core .3 Implementation of CVA5-SoC and CVA5-Vector-SoC .1 Implementation of CVA5-SoC .2 Implementation of CVA5-Vector-SoC .4 Implementation of CVA5-Vector-SoC on Zedboard .1 Convolution Layer Testing .2 Max Pooling Layer Testing .3 Fully-connected Layer Testing .4 Full CNN Model Testing .1 Overall work summary .2 Bottle neck and potential improvement. 130 Page 12 Faculty of Computer Science and Engineering List of Figures 1.1 Semico Research Prediction [15] .1 A CNN is composed of an input layer, an output layer, and many hidden layers in between .2 Overview of training and inference in deep learning.1 RISC-V Foundation Official Logo [11] .2 Comparison of Single Instruction Single Data (SISD) and Single Instruc- tion Multiple Data (SIMD).1 CVA5 Processor Pipeline Details and Components.1 CVA5 Pipeline Decoupling [3] .2 CVA5 simplified structural view[3] .3 CVA5 Pipeline Stages [3] .4 Store queue forwarding illustration .5 Register File block diagram .6 Renamer block diagram .1 A Minimal RISC-V Vector Processor for Embedded Systems Architecture .2 RISC-V Vector Processor for acceleration of machine learning algorithms Architecture .1 A Minimal RISC-V Vector Processor for Embedded Systems Vector ALUs Unit .1 Illustration of VLEN and SEW in use.2 Illustration of LMUL in use.1 Vector supporting CVA5 architecture .1 Vector renamer block diagram .