Khóa Luận Tốt Nghiệp: Thiết Kế và Hiện Thực Mô Hình Học Sâu Cho Phân Loại Hình Ảnh Trên FPGA

Khóa luận trình bày thiết kế và hiện thực mô hình học sâu cho bài toán phân loại hình ảnh trên FPGA, ứng dụng trong kỹ thuật máy tính.

• Tác giả: Lê Hoàng Minh
• Người hướng dẫn: ThS. Trương Văn Cương
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ thuật máy tính
• Đề tài: Thiết Kế và Hiện Thực Mô Hình Học Sâu Cho Phân Loại Hình Ảnh Trên FPGA
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TÌM HIỂU TỔNG QUAN
• 2. CHƯƠNG 2: MÔ HÌNH THIẾT KẾ
• 3. CHƯƠNG 3: HIỆN THỰC THIẾT KẾ
• 4. CHƯƠNG 4: KIỂM TRA VÀ ĐÁNH GIÁ THIẾT KẾ
• 5. CHƯƠNG 5: KHÓ KHĂN GẶP PHẢI VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Thiết Kế Mô Hình Học Sâu Trên FPGA

Mô hình học sâu (Deep Learning) đã trở thành một phần quan trọng trong nhiều ứng dụng công nghệ hiện đại. Việc thiết kế và hiện thực hóa mô hình học sâu cho phân loại hình ảnh trên FPGA (Field Programmable Gate Array) mang lại nhiều lợi ích về hiệu suất và tiết kiệm năng lượng. FPGA cho phép xử lý song song, giúp tăng tốc độ tính toán và giảm thiểu tiêu thụ năng lượng so với các nền tảng truyền thống như CPU và GPU. Nghiên cứu này sẽ đi sâu vào các khía cạnh thiết kế và hiện thực hóa mô hình học sâu trên FPGA.

1.1. Khái Niệm Về Mô Hình Học Sâu

Mô hình học sâu là một phần của trí tuệ nhân tạo, sử dụng các mạng nơ-ron để học từ dữ liệu. Các ứng dụng của nó rất đa dạng, từ nhận diện khuôn mặt đến phân loại hình ảnh.

1.2. Lợi Ích Của FPGA Trong Học Sâu

FPGA cung cấp khả năng tùy chỉnh cao và hiệu suất tính toán tốt, giúp tối ưu hóa việc triển khai các mô hình học sâu. Nghiên cứu cho thấy FPGA có thể tiết kiệm năng lượng lên đến 49% so với CPU và GPU.

II. Thách Thức Trong Việc Thiết Kế Mô Hình Học Sâu Trên FPGA

Mặc dù FPGA mang lại nhiều lợi ích, nhưng việc thiết kế mô hình học sâu trên nền tảng này cũng gặp phải nhiều thách thức. Đầu tiên, việc hiểu rõ cấu trúc và các thành phần của FPGA là rất quan trọng để tối ưu hóa hiệu suất. Thứ hai, việc lập trình cho FPGA phức tạp hơn so với CPU và GPU, đòi hỏi kiến thức chuyên sâu về thiết kế hệ thống.

2.1. Khó Khăn Trong Lập Trình FPGA

Lập trình FPGA yêu cầu kiến thức về ngôn ngữ mô tả phần cứng như VHDL hoặc Verilog, điều này có thể gây khó khăn cho những người mới bắt đầu.

2.2. Giới Hạn Về Tài Nguyên

FPGA có tài nguyên hạn chế, do đó cần phải tối ưu hóa thiết kế để đảm bảo mô hình học sâu hoạt động hiệu quả mà không vượt quá giới hạn tài nguyên.

III. Phương Pháp Thiết Kế Mô Hình Học Sâu Trên FPGA

Để thiết kế mô hình học sâu trên FPGA, cần áp dụng các phương pháp tối ưu hóa như lượng tử hóa (quantization) và sử dụng các khối chức năng như Convolutional, Pooling và Fully Connected. Những phương pháp này giúp giảm kích thước mô hình và tăng tốc độ xử lý.

3.1. Kỹ Thuật Lượng Tử Hóa

Lượng tử hóa giúp giảm kích thước trọng số của mô hình từ số thực sang số nguyên, giúp tiết kiệm bộ nhớ và tăng tốc độ xử lý trên FPGA.

3.2. Thiết Kế Các Khối Chức Năng

Các khối chức năng như Convolutional và Pooling được thiết kế để tối ưu hóa hiệu suất tính toán, giúp mô hình hoạt động hiệu quả hơn trên FPGA.

IV. Ứng Dụng Thực Tiễn Của Mô Hình Học Sâu Trên FPGA

Mô hình học sâu được triển khai trên FPGA đã cho thấy kết quả ấn tượng trong việc phân loại hình ảnh. Một ví dụ điển hình là mô hình CNN được huấn luyện trên bộ dữ liệu MNIST, đạt độ chính xác lên đến 97.85%. Việc triển khai này không chỉ chứng minh khả năng của FPGA mà còn mở ra nhiều cơ hội ứng dụng trong thực tiễn.

4.1. Kết Quả Nghiên Cứu Trên Bộ Dữ Liệu MNIST

Mô hình CNN được thiết kế đạt độ chính xác 97.85% trên bộ dữ liệu MNIST, cho thấy khả năng phân loại hình ảnh hiệu quả của FPGA.

4.2. Ứng Dụng Trong Thực Tế

Các ứng dụng thực tế của mô hình học sâu trên FPGA bao gồm nhận diện khuôn mặt, phân loại hình ảnh trong y tế và nhiều lĩnh vực khác.

V. Kết Luận Và Tương Lai Của Mô Hình Học Sâu Trên FPGA

Việc thiết kế và hiện thực hóa mô hình học sâu trên FPGA không chỉ mang lại hiệu suất cao mà còn mở ra nhiều cơ hội mới trong lĩnh vực công nghệ. Tương lai của mô hình học sâu trên FPGA hứa hẹn sẽ tiếp tục phát triển với nhiều cải tiến về hiệu suất và khả năng ứng dụng.

5.1. Triển Vọng Phát Triển

Với sự phát triển không ngừng của công nghệ FPGA, mô hình học sâu sẽ ngày càng được tối ưu hóa và ứng dụng rộng rãi hơn.

5.2. Những Hướng Nghiên Cứu Mới

Các nghiên cứu mới sẽ tập trung vào việc cải thiện hiệu suất và khả năng mở rộng của mô hình học sâu trên FPGA, nhằm đáp ứng nhu cầu ngày càng cao trong công nghệ.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) là một trong những kiến trúc học sâu được ứng dụng rộng rãi trong các bài toán thị giác máy tính như nhận diện khuôn mặt, phân loại hình ảnh, nhận dạng chữ viết tay và xử lý chuỗi video. Theo sự phát triển của lĩnh vực trí tuệ nhân tạo, quy mô và độ phức tạp của các mô hình CNN ngày càng gia tăng đáng kể: từ mạng LeNet-5 đề xuất năm 1998 với 60.000 tham số phục vụ nhận dạng chữ số viết tay đến mạng VGG16 giới thiệu năm 2015 sở hữu tới 143 triệu tham số phục vụ nhận diện vật thể. Sự phình to về mặt tham số khiến việc triển khai CNN trên các nền tảng vi xử lý truyền thống như CPU và GPU gặp phải rào cản lớn về tốc độ tính toán, giới hạn hiệu năng và mức tiêu thụ công suất.

Trong bối cảnh đó, việc triển khai suy luận CNN trên phần cứng FPGA (Field-Programmable Gate Array) nổi lên như một hướng tiếp cận hiệu quả. Nhờ kiến trúc phần cứng xử lý song song ở mức luồng dữ liệu (dataflow) và phần cứng có thể cấu hình linh hoạt, FPGA có khả năng tăng tốc độ xử lý đồng thời giảm đáng kể mức tiêu thụ năng lượng. Các nghiên cứu thực nghiệm được tác giả viện dẫn chỉ ra rằng FPGA có thể tối ưu hóa mức năng lượng tiêu thụ so với CPU và GPU lên đến 49%. Tuy nhiên, việc hiện thực CNN trực tiếp lên FPGA đối mặt với nhiều thách thức kỹ thuật: tài nguyên logic (LUT, Flip-Flop), bộ nhân phần cứng (DSP) và bộ nhớ nội (Block RAM, UltraRAM) trên chip rất hạn chế so với dung lượng bộ nhớ hàng gigabyte trên CPU/GPU; đồng thời, quy trình mô tả phần cứng ở mức truyền chuyển thanh ghi (RTL) đòi hỏi kỹ thuật thiết kế hệ thống phức tạp.

Để giải quyết các thách thức trên, đề tài xác định mục tiêu tổng quát là nghiên cứu, thiết kế và hiện thực các khối chức năng cơ bản trong mạng học sâu có thể tham số hóa trên phần cứng FPGA, tối ưu hóa tài nguyên phần cứng bằng kỹ thuật lượng tử hóa và kiểm chứng trên bài toán phân loại ảnh thực tế. Các nhiệm vụ và mục tiêu cụ thể được xác định bao gồm:

1. Thiết kế các khối chức năng chính trong mô hình học sâu (khối tích chập Convolutional, khối gộp Pooling, khối kết nối đầy đủ Fully Connected/Linear) và khối hàm kích hoạt phi tuyến (Sigmoid) bằng ngôn ngữ SystemVerilog. Các khối này phải có khả năng cấu hình tham số linh hoạt trong quá trình tổng hợp (Synthesis) và cho phép nạp lại trọng số sau khi triển khai lên kit FPGA mà không cần biên dịch lại phần cứng.
2. Xây dựng mô hình CNN hoàn chỉnh để giải quyết bài toán nhận diện chữ số viết tay trên bộ dữ liệu MNIST với yêu cầu độ chính xác phân loại đạt trên 95%; thực hiện huấn luyện và lượng tử hóa mô hình sang định dạng số nguyên 8-bit (INT8).
3. Trích xuất tham số trọng số từ mô hình đã lượng tử hóa, nạp xuống thiết kế phần cứng trên kit FPGA để kiểm tra hoạt động; mục tiêu thiết kế hướng đến tần số hoạt động đạt trên 200 MHz và mức công suất tiêu thụ dưới 10 W.

Đối tượng nghiên cứu của khóa luận là các cấu trúc phần cứng vi mạch tăng tốc học sâu, kỹ thuật lượng tử hóa mô hình từ số chấm động sang số nguyên cố định, và phương thức giao tiếp phần cứng - phần mềm trên kiến trúc hệ thống trên chip (SoC). Phạm vi thực nghiệm tập trung vào bài toán phân loại hình ảnh chữ số viết tay trên bộ dữ liệu chuẩn MNIST, triển khai phần cứng trên kit Xilinx VC707 và nền tảng Kria KV260 Vision AI Starter Kit dựa trên dòng chip Zynq UltraScale+ MPSoC.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của đề tài được xây dựng dựa trên lý thuyết mạng nơ-ron tích chập và các phương pháp biểu diễn số học trong phần cứng:

• Mô hình tích chập (Convolutional Layer): Thực hiện phép quét bộ lọc (kernel) kích thước nhỏ qua bản đồ đặc trưng (feature map) để trích xuất các đặc trưng không gian.
• Mô hình kết nối đầy đủ (Linear / Fully Connected Layer): Thực hiện biến đổi affine giữa vector đặc trưng đầu vào và ma trận trọng số để phân loại đầu ra.
• Hàm kích hoạt phi tuyến: Khảo sát các hàm kích hoạt (ReLU, Sigmoid), trong đó hàm Sigmoid được tập trung giải quyết trên phần cứng do bản chất phi tuyến phức tạp dựa trên hàm mũ $f(x) = \frac{1}{1 + e^{-x}}$.
• Lý thuyết lượng tử hóa (Quantization): Chuyển đổi dữ liệu và trọng số từ dạng số chấm động 32-bit (FP32) sang số nguyên 8-bit (INT8) theo mô hình toán học ánh xạ biến số liên tục $x \in [\alpha, \beta]$ thành số nguyên $x_q \in [\alpha_q, \beta_q]$ qua hai hệ số: hệ số tỷ lệ ($S$ - Scale) và điểm không ($Z$ - Zero Point): $$x = (x_q + Z) \times S \quad \Longleftrightarrow \quad x_q = \text{round}\left(\frac{x}{S}\right) - Z$$ Trong thực nghiệm huấn luyện và lượng tử hóa bằng PyTorch, tác giả ghi nhận hệ số $Z$ của các trọng số và tầng mạng luôn bằng 0, từ đó rút gọn biểu thức tính toán tích chập lượng tử hóa thành dạng: $$O_m = \sum_{i=0}^n \left( f_m[i]q \times K[i]q \right) \times S_k S{fm} + B$$ Điều này cho phép thực hiện toàn bộ phép nhân - cộng tích lũy (MAC) trên miền số nguyên 8-bit, sau đó giải lượng tử hóa (dequantize) với hệ số $S_k \times S{fm}$ ra số thực fixed-point 16/32-bit, cộng giá trị độ lệch (bias), đưa qua hàm kích hoạt và lượng tử hóa (quantize) lại thành 8-bit trước khi truyền sang tầng kế tiếp.
• Phương pháp xấp xỉ hàm Sigmoid bằng giải thuật PLAN (Piecewise Linear Approximation of Nonlinear function): Tác giả tổng hợp, so sánh 5 phương pháp triển khai hàm Sigmoid trên FPGA (Look-up Table, A-law approximation, Alipi and Storti-Gajani, PLAN, Piecewise second-order). Kết quả cho thấy phương pháp PLAN đạt độ sai số cực đại (Maximum error) thấp, chỉ xấp xỉ 0.02 khi dùng định dạng dấu phẩy tĩnh 32-bit (16-bit phần thập phân), đồng thời chỉ tiêu tốn 314 cổng logic (ít hơn đáng kể so với phương pháp LUT tiêu tốn 131.110 cổng). Do đó, phương pháp PLAN được lựa chọn để thiết kế khối Sigmoid.

Phương pháp nghiên cứu thực tế bao gồm:

• Phương pháp thiết kế phần cứng số RTL: Sử dụng ngôn ngữ SystemVerilog để mô tả chi tiết các khối chức năng, tách biệt rõ ràng giữa khối điều khiển (Controller dùng máy trạng thái FSM) và khối đường truyền dữ liệu (Datapath). Thiết kế được tham số hóa toàn diện thông qua các parameter.
• Phương pháp đồng thiết kế phần cứng - phần mềm (HW/SW Co-design): Ứng dụng mô hình SoC phân chia hệ thống thành Processing System (PS - lõi ARM Cortex chạy hệ điều hành Ubuntu) và Programmable Logic (PL - phần logic FPGA chứa khối gia tốc CNN IP), kết nối đồng bộ dữ liệu thông qua hệ thống bus AXI (AXI-Lite, AXI Memory Map).
• Phương pháp kiểm chứng phần cứng (Verification): Viết testbench chuyên biệt, áp dụng phương pháp luận kiểm thử UVM (Universal Verification Methodology) kết hợp phân tích dạng sóng (waveform) để xác minh độ chính xác chức năng từng khối và toàn hệ thống trước khi nạp bitstream.

Nguồn dữ liệu thực nghiệm: Sử dụng bộ dữ liệu chuẩn MNIST bao gồm các ảnh chữ số viết tay kích thước $28 \times 28 \times 1$ pixel, gồm 10 lớp nhãn từ 0 đến 9, với tập kiểm thử độc lập gồm 10.000 mẫu ảnh.

Thiết kế và triển khai hệ thống kỹ thuật

Kiến trúc tổng thể hệ sinh thái SoC và luồng Vitis Accelerator

Trên nền tảng kit Kria KV260 và vi kiến trúc Zynq UltraScale+ MPSoC, hệ thống được phân định rõ hai thành phần:

• Tầng PS (Processing System): Vi xử lý ARM Cortex chạy hệ điều hành Ubuntu quản lý tầng ứng dụng người dùng (Jupyter Notebook, GStreamer), tầng phần mềm trung gian và tầng nhân hệ điều hành. PS chịu trách nhiệm đọc file metadata .xclbin, nạp bitstream xuống PL, cấp phát các vùng đệm bộ nhớ trong DRAM và quản lý luồng điều khiển.
• Tầng PL (Programmable Logic): Chứa lõi phần cứng CNN IP tùy biến, thay thế vào vị trí khối Accelerator pipeline trong kiến trúc tham chiếu của Xilinx.

Quy trình giao tiếp giữa PS và PL được chuẩn hóa qua giao thức bus AXI với bản đồ phân vùng địa chỉ (Address Map) rõ ràng:

• Vùng nạp trọng số (0x0000_0000 trở đi): Nhận dữ liệu trọng số weight_data (độ rộng 64-bit) và địa chỉ trọng số weight_addr (16-bit) khi tín hiệu load_weight tích cực.
• Vùng nạp ảnh đầu vào: Ghi nhận các pixel ảnh vào bus data_in khi tín hiệu cho phép en ở mức tích cực.
• Thanh ghi cờ trạng thái (0xFFFF_FFEF): Chứa bit cờ thông báo dữ liệu đầu ra đã hoàn tất xử lý (valid = 1).
• Thanh ghi kết quả (0xFFFF_FFF0 đến 0xFFFF_FFFF): Chứa dữ liệu đầu ra 8-bit data_out sau khi mô hình hoàn thành quá trình suy luận.

Tên cổng (Port)	Hướng	Độ rộng / Định dạng	Mô tả chức năng
clk	Vào (I)	1 bit	Tín hiệu xung nhịp đồng hồ hệ thống
rst	Vào (I)	1 bit	Tín hiệu thiết lập lại (reset) đồng bộ tích cực mức cao
load_weight	Vào (I)	1 bit	Tín hiệu điều khiển cho phép nạp trọng số
weight_addr	Vào (I)	16 bit	Địa chỉ lưu trữ của trọng số trong bộ nhớ nội
weight_data	Vào (I)	64 bit	Dữ liệu giá trị trọng số nạp vào
en	Vào (I)	1 bit	Tín hiệu cho phép bắt đầu nạp ảnh và kích hoạt tính toán
data_in	Vào (I)	8 * pIN_CHANNEL bit	Dữ liệu điểm ảnh đầu vào theo số kênh cấu hình
valid	Ra (O)	1 bit	Cờ thông báo kết quả suy luận tại đầu ra đã sẵn sàng
data_out	Ra (O)	8 bit	Dữ liệu nhãn phân loại hoặc kết quả đặc trưng đầu ra

Cơ chế sinh mã tự động qua cấu hình JSON

Nhóm tác giả xây dựng công cụ phần mềm tự động hóa việc tạo module mức đỉnh (top-level) cho mạng CNN bằng cách phân tích file cấu hình định dạng JSON. Cấu trúc JSON bao gồm các trường:

• Thông số toàn cục: name (tên mạng), data_width (độ rộng dữ liệu, 8-bit), img_width (chiều rộng ảnh), img_height (chiều cao ảnh), img_channel (số kênh màu đầu vào, 1 cho ảnh xám, 3 cho ảnh RGB).
• Mô tả các tầng (layers): Định nghĩa tuần tự các tầng convi, pool, fc kèm tham số vận hành như fifo_depth (độ sâu hàng đợi FIFO đệm giữa các tầng), kernel_size, stride, padding, output_parallel, activation và pooling_type.

Tối ưu hóa đơn vị tính toán DSP48E2

Phép nhân là thành phần tiêu tốn nhiều diện tích và năng lượng nhất trên FPGA. Tác giả đã tận dụng hard-macro DSP48E2 trên chip Xilinx (vốn có bộ nhân $27 \times 18$ bit) để thực hiện kỹ thuật SIMD nhân đôi: tính toán đồng thời hai phép nhân 8-bit ($a \times c$ và $b \times c$) trên cùng một khối DSP đơn lẻ. Quy trình thực hiện bao gồm:

1. Dịch trái toán tử 8-bit $a$ đi 18 bit để tạo chuỗi 26-bit: 26'b{a, 18'b0} đưa vào cổng $A$ của DSP.
2. Mở rộng dấu 19 bit cho toán tử 8-bit $b$: 27'b{{19{b[7]}}, b} đưa vào cổng $D$ của DSP.
3. Thực hiện phép cộng $A + D$ bên trong khối pre-adder của DSP, sau đó nhân kết quả với toán tử 8-bit $c$ đưa vào cổng $B$.
4. Ngõ ra tích số 34-bit của DSP được tách bit để trích xuất đồng thời kết quả của hai phép tính $a \times c$ và $b \times c$.

Nhờ giải pháp này, một DSP có thể tính toán song song giá trị từ 1 kênh đầu vào nhân với 2 bộ trọng số kernel để tạo ra 2 kênh đầu ra, giúp cắt giảm 50% số lượng hard-macro DSP cần thiết so với kiến trúc nhân thông thường.

Nội dung chính theo từng chương

Chương 1. Tìm hiểu tổng quan

Chương 1 trình bày tổng quan về mạng nơ-ron tích chập (CNN), sự bùng nổ của các mô hình học sâu và so sánh định tính, định lượng giữa các nền tảng thực thi (CPU, GPU, FPGA). Tác giả dẫn chứng mạng LeNet-5 (1998) với 60.000 tham số và mạng VGG16 (2015) với 143 triệu tham số để làm nổi bật áp lực tính toán của các mô hình hiện đại. Từ các nghiên cứu thực nghiệm cho thấy FPGA có thể tiết kiệm tới 49% năng lượng so với CPU/GPU, chương này xác định tính cấp thiết của đề tài. Tác giả thiết lập mục tiêu thiết kế các khối phần cứng tham số hóa (Convolutional, Pooling, Fully Connected, Sigmoid) có thể tái nạp trọng số, xây dựng mô hình CNN cho bài toán chữ viết tay MNIST đạt độ chính xác trên 95%, tối ưu hóa bằng lượng tử hóa 8-bit, và hiện thực trên kit phần cứng đạt tần số trên 200 MHz với công suất tiêu thụ dưới 10 W.

Chương 2. Mô hình thiết kế

Chương 2 tập trung phân tích nền tảng phần cứng SoC và đề xuất kiến trúc hệ thống tổng thể. Tác giả khảo sát kiến trúc dòng chip Zynq UltraScale+ MPSoC và ba hướng tiếp cận phát triển trên kit Kria KV260: Vitis Accelerator, Vitis Platform và Vivado Extensible design. Căn cứ vào cây quyết định phát triển, nhóm chọn hướng tiếp cận Vitis Accelerator nhằm tận dụng nền tảng có sẵn và tập trung toàn bộ nguồn lực vào thiết kế phần cứng CNN IP trong PL. Kiến trúc phần mềm phân tầng trên PS (gồm tầng ứng dụng, tầng phần mềm trung gian và tầng nhân Ubuntu) được làm rõ cùng quy trình đồng bộ bộ đệm qua file siêu dữ liệu .xclbin.

Về phía phần cứng, chương này chi tiết hóa bản đồ phân vùng địa chỉ AXI, cấu trúc các tín hiệu ngõ vào/ngõ ra của IP CNN và mô hình mạng nơ-ron cụ thể cho bài toán MNIST:

• Tầng đầu vào: Ảnh $28 \times 28 \times 1$.
• Tầng Conv1: Bộ lọc $3 \times 3$, 32 kênh đầu ra, đưa ra kích thước $28 \times 28 \times 32$.
• Tầng Conv2: Bộ lọc $3 \times 3$, 32 kênh đầu ra, đệm padding = 1, đưa ra kích thước $28 \times 28 \times 32$.
• Tầng Pooling: Kích thước $2 \times 2$, bước nhảy stride = 2, giảm kích thước xuống $14 \times 14 \times 32$.
• Tầng Fully Connected 1 (FC1): Nhận $14 \times 14 \times 32 = 6.272$ nút, kết nối tới 128 nút đầu ra. Khóa luận loại bỏ khối Flatten phần cứng trung gian để tiết kiệm chu kỳ, dữ liệu được truyền thẳng vào khối FC.
• Tầng Fully Connected 2 (FC2): Nhận 128 nút, kết nối tới 10 nút đầu ra tương ứng 10 chữ số phân loại. Cuối chương, tác giả giới thiệu định dạng file JSON dùng để cấu hình tự động toàn bộ tham số của mạng.

Chương 3. Hiện thực thiết kế

Chương 3 là phần trọng tâm kỹ thuật của khóa luận, mô tả chi tiết nguyên lý lượng tử hóa và hiện thực mạch số cho từng khối thành phần:

• Kỹ thuật lượng tử hóa: Phân tích ba giải pháp lượng tử hóa chính: Dynamic Quantization, Static Quantization (Post-Training Quantization) và Quantization Aware Training (QAT). Nhóm tác giả lựa chọn Static Quantization vì tính đơn giản trong triển khai, tối ưu diện tích phần cứng và duy trì độ chính xác cao. Quy trình lượng tử hóa được mô hình hóa qua chuỗi biến đổi: dequantize dữ liệu đầu vào thành fixed-point, tính toán nhân cộng, cộng bias, phi tuyến hóa qua hàm kích hoạt và quantize ngược lại 8-bit.
• Khối tích chập (conv): Bao gồm ba khối con chính:
  1. cnn_controller: Quản lý bộ đếm hàng/cột (row_cntr, col_cntr), sinh tín hiệu is_padding để chèn điểm ảnh 0 xung quanh khi pPADDING = 1, tạo tín hiệu đọc FIFO (rd_en) và điều khiển máy trạng thái pe FSM.
  2. cnn_buffer: Xây dựng bằng hệ thống các thanh ghi dịch (shift register line buffer) nhằm chuyển đổi luồng dữ liệu 1D từ FIFO thành ma trận 2D tương ứng kích thước kernel $3 \times 3$, tránh việc phải lưu toàn bộ bức ảnh vào bộ nhớ nội.
  3. pe_conv_mac: Đơn vị xử lý tính toán gồm pe_conv_mac_buffer_in, pe_conv_mac_datapath, pe_conv_mac_controller và pe_conv_mac_buffer_out. Datapath tích hợp bộ nhân đôi trên DSP48E2, cây cộng pipeline Adder Tree, bộ nhớ trọng số Kernel RAM (ưu tiên dùng UltraRAM/Block RAM) và Bias RAM (lưu trong LUTRAM). Thiết kế tích hợp tham số song song hóa pOUTPUT_PARALLEL giúp người dùng chủ động cân bằng giữa tài nguyên phần cứng và tốc độ xử lý.
• Khối gộp (pooling): Thiết kế tương tự khối tích chập nhưng thay thế khối MAC bằng kiến trúc cây so sánh cực đại (max tree) hoặc cực tiểu (min tree). Khối hỗ trợ xử lý song song toàn bộ kênh $pCHANNEL$ đồng thời do tài nguyên cho các bộ so sánh logic chiếm tỷ lệ không đáng kể.
• Khối kết nối đầy đủ (linear): Nhận vector một chiều, gồm linear_controller và pe_linear_mac. Để tối ưu thời gian chờ đợi (thay vì phải đợi đủ $14 \times 14$ chu kỳ từ tầng tích chập), khối linear cho phép tính toán cộng dồn trực tiếp các giá trị đầu vào ngay khi từng điểm ảnh sẵn sàng từ tầng trước. Khối cũng hỗ trợ tham số pOUTPUT_PARALLEL để tiết giảm số lượng DSP.
• Khối hàm kích hoạt Sigmoid: Trình bày chi tiết công thức toán học và bảng so sánh các giải pháp xấp xỉ phần cứng. Giải thuật PLAN được chọn và thiết kế bằng mạch số với độ sai số cực đại chỉ 0.02, không gây gợn sóng sai số khi chạy ở định dạng fixed-point 32-bit (16-bit thập phân).

Chương 4. Kiểm tra và đánh giá thiết kế

Chương 4 trình bày quy trình kiểm chứng và đánh giá thực nghiệm phần cứng:

• Xây dựng môi trường xác minh chức năng UVM (Universal Verification Methodology) kết hợp xuất và phân tích giản đồ dạng sóng (waveform) để đảm bảo tính đúng đắn về mặt thời gian và logic chuyển trạng thái của các bus điều khiển (valid, en, ready, is_padding, load_weight).
• Kiểm tra độc lập sai số của khối phần cứng Sigmoid PLAN đối chiếu với đường đặc tuyến toán học lý thuyết.
• Kiểm tra toàn diện chu trình xử lý của mô hình CNN trên 10.000 mẫu ảnh kiểm thử thuộc tập dữ liệu MNIST. Toàn bộ trọng số lượng tử hóa được nạp vào phần cứng thông qua file nhị phân và đối soát kết quả đầu ra với mô hình mô phỏng phần mềm.

Chương 5. Khó khăn gặp phải và Hướng phát triển

Chương 5 đúc kết các vấn đề kỹ thuật phát sinh trong quá trình thiết kế:

• Thách thức về giới hạn tài nguyên bộ nhớ cục bộ trên chip (Block RAM, UltraRAM) khi phải lưu trữ khối lượng lớn trọng số và đặc trưng trung gian.
• Khó khăn trong việc cân bằng băng thông giao tiếp giữa hệ thống vi xử lý PS và logic khả trình PL qua bus AXI, cũng như việc đồng bộ hóa dữ liệu pipeline giữa các khối có tốc độ xử lý khác nhau.
• Hướng phát triển được nhóm xác định gồm: tiếp tục mở rộng mô hình để hỗ trợ các bài toán phức tạp hơn với các tập dữ liệu đa chiều, tối ưu hóa hơn nữa cấu trúc pipeline nhằm đẩy xung nhịp làm việc lên cao hơn và xây dựng trình biên dịch tự động ánh xạ từ các mô hình định dạng ONNX/PyTorch trực tiếp sang mã SystemVerilog.

Kết quả và đóng góp

Khóa luận đạt được các kết quả thực nghiệm định lượng cụ thể sau quá trình tối ưu hóa, lượng tử hóa và hiện thực phần cứng:

Chỉ số / Đặc tính	Mô hình dấu phẩy động (FP32)	Mô hình lượng tử hóa (INT8)	Mức độ tối ưu / Thay đổi
Nền tảng thực thi	CPU	Kit FPGA VC707	Chuyển đổi phần cứng nhúng
Kích thước lưu trữ trọng số	3.10 MB	802 KB	Giảm xấp xỉ 74.1% dung lượng
Độ chính xác trên tập kiểm thử MNIST	97.85%	97.58%	Độ suy giảm chỉ 0.27%
Tần số hoạt động phần cứng	-	200 MHz	Đạt mục tiêu đề ra ($\ge 200\text{ MHz}$)
Công suất tiêu thụ hệ thống	-	~5 W (theo văn bản: 5.)	Đạt mục tiêu đề ra ($< 10\text{ W}$)
Số lượng trường hợp kiểm thử (test case)	10.000 ảnh	10.000 ảnh	Độ chính xác phần cứng đạt 97.58%

Các đóng góp chính của đề tài được nhóm tác giả tự xác định bao gồm:

• Xây dựng bộ thư viện IP Core CNN tham số hóa bằng SystemVerilog: Toàn bộ các khối tích chập, pooling, linear, hàm kích hoạt Sigmoid đều được tham số hóa toàn diện thông qua các parameter, cho phép người dùng tùy biến kích thước kernel, padding, stride, độ sâu FIFO, kênh đầu vào/đầu ra và đặc biệt là hệ số song song pOUTPUT_PARALLEL nhằm kiểm soát chính xác lượng tài nguyên DSP/BRAM theo từng dòng chip FPGA cụ thể.
• Kỹ thuật tối ưu hóa phần cứng DSP48E2: Đề xuất và triển khai thành công cấu trúc ghép đôi phép tính 8-bit trên một bộ nhân $27 \times 18$ của DSP48E2, giúp cắt giảm 50% số lượng hard-macro DSP cần dùng trong các tầng tích chập và tuyến tính.
• Hiện thực hàm Sigmoid tối ưu bằng giải pháp PLAN: Ứng dụng giải thuật xấp xỉ tuyến tính từng đoạn PLAN, đạt sai số cực tiểu (0.02) trên định dạng fixed-point 32-bit với chi phí diện tích chỉ 314 cổng logic, khắc phục hoàn toàn điểm nghẽn tiêu tốn tài nguyên của bảng tra LUT thông thường.
• Tự động hóa luồng thiết kế: Xây dựng công cụ chuyển đổi tự động từ file mô tả kiến trúc JSON sang file top-level RTL hoàn chỉnh, rút ngắn thời gian tích hợp hệ thống.
• Hỗ trợ nạp trọng số run-time: Thiết kế kiến trúc nạp trọng số linh hoạt qua bus AXI và bộ nhớ nội BRAM/UltraRAM, cho phép tái cấu hình tham số mạng mà không cần phải trải qua bước tổng hợp (Synthesis) lại phần cứng.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ trên các nội dung được nhóm tác giả phân tích và giới hạn thực nghiệm trong văn bản, khóa luận tồn tại các hạn chế kỹ thuật sau:

• Phạm vi tập dữ liệu và độ phức tạp mô hình: Thiết kế mới chỉ được kiểm chứng trên bài toán nhận dạng chữ số viết tay của bộ dữ liệu MNIST với ảnh xám kích thước nhỏ ($28 \times 28 \times 1$) và cấu trúc mạng tương đối nông (2 tầng Conv, 1 tầng Pool, 2 tầng FC). Thiết kế chưa được thử nghiệm trên các tập dữ liệu thị giác phức tạp (như CIFAR-10, ImageNet) hoặc các kiến trúc mạng hiện đại có kết nối tắt (residual connections).
• Hạn chế về băng thông truyền dữ liệu: Quy trình nạp trọng số xuống Block RAM/UltraRAM qua bus AXI vẫn diễn ra tuần tự từ bộ nhớ PS, dẫn đến thời gian khởi tạo ban đầu phụ thuộc vào xung nhịp bus và dung lượng tham số.
• Tính phụ thuộc của bộ đệm FIFO: Việc đệm dữ liệu giữa các tầng dựa vào các khối FIFO có độ sâu cố định (fifo_depth), đòi hỏi người thiết kế phải tính toán thủ công độ sâu phù hợp cho từng tầng để tránh hiện tượng tràn bộ đệm (overflow) hoặc nghẽn dòng dữ liệu khi mở rộng quy mô mạng.

Các hướng phát triển tiếp theo được đề xuất trong tài liệu:

• Mở rộng hỗ trợ các cấu trúc mạng nơ-ron học sâu phức tạp hơn, phục vụ các bài toán phát hiện đối tượng và phân đoạn hình ảnh thời gian thực.
• Tối ưu hóa đường truyền dữ liệu bằng cách tích hợp các bộ điều khiển truy cập bộ nhớ trực tiếp (DMA - Direct Memory Access) tốc độ cao thông qua giao thức AXI Stream để tăng tốc độ nạp ảnh và trích xuất kết quả.
• Hoàn thiện công cụ tự động hóa để có thể phân tích trực tiếp các định dạng mô hình tiêu chuẩn công nghiệp (như ONNX hoặc PyTorch state_dict) sang file cấu hình JSON và sinh tự động toàn bộ mã kết nối phần cứng.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị kỹ thuật đối với:

• Sinh viên và học viên cao học ngành Kỹ thuật Máy tính, Thiết kế Vi mạch và Hệ thống nhúng: Cung cấp tài liệu tham khảo chi tiết về quy trình mô tả phần cứng bằng SystemVerilog cho các giải thuật tính toán song song, kỹ thuật phân chia khối đường truyền dữ liệu (Datapath) và khối điều khiển (Controller FSM).
• Kỹ sư phát triển phần cứng tăng tốc AI (Hardware Acceleration Engineers): Cung cấp các giải pháp thiết kế thực tế gồm:
  • Phương pháp tận dụng bộ nhân phần cứng DSP48E2 để nhân đôi thông lượng xử lý số nguyên 8-bit.
  • Thiết kế bộ đệm dòng (line buffer) dạng thanh ghi dịch để trích xuất cửa sổ điểm ảnh 2D từ luồng dữ liệu 1D.
  • Phương pháp xấp xỉ hàm kích hoạt phi tuyến (Sigmoid) trên FPGA bằng giải thuật PLAN nhằm tiết kiệm tài nguyên logic.
  • Quy trình đồng thiết kế phần cứng - phần mềm trên dòng chip Xilinx Zynq UltraScale+ MPSoC qua luồng công cụ Vitis Accelerator.

Câu hỏi thường gặp

1. Khóa luận sử dụng kỹ thuật lượng tử hóa nào và tại sao lại lựa chọn kỹ thuật đó?
Tác giả khảo sát ba phương pháp: Dynamic Quantization, Static Quantization (Post-Training Quantization) và Quantization Aware Training (QAT). Phương pháp Static Quantization được lựa chọn vì quy trình triển khai đơn giản, hệ số tỷ lệ Scale ($S$) và điểm không ($Z$) được tính toán cố định trước cho từng tầng, giúp giảm đáng kể kích thước trọng số và số lượng phép tính phức tạp mà vẫn duy trì độ chính xác cao cho mô hình (độ suy giảm chỉ 0.27% trên tập MNIST).

2. Kỹ thuật nhân đôi hiệu năng trên khối DSP48E2 được tác giả hiện thực như thế nào?
Khối DSP48E2 tích hợp bộ nhân $27 \times 18$ bit. Tác giả tận dụng đặc điểm dữ liệu đầu vào chỉ có 8-bit để ghép hai phép nhân $a \times c$ và $b \times c$ vào một DSP duy nhất: biến $a$ được dịch trái 18 bit (26'b{a, 18'b0}) đưa vào cổng $A$, biến $b$ được mở rộng dấu (27'b{{19{b[7]}}, b}) đưa vào cổng $D$, sau đó khối pre-adder thực hiện phép cộng $(A+D)$ rồi nhân với hệ số $c$ tại cổng $B$. Kết quả ngõ ra 34-bit được tách thành hai phần tương ứng với hai tích số, giúp giảm 50% số lượng DSP cần dùng cho các tầng mạng.

3. Tại sao tác giả chọn giải pháp PLAN để thiết kế khối hàm kích hoạt Sigmoid thay vì dùng bảng tra LUT?
Phương pháp bảng tra (Look-up Table - LUT) tiêu tốn tới 131.110 cổng logic trên FPGA, gây lãng phí tài nguyên chip. Trong khi đó, giải thuật PLAN (Piecewise Linear Approximation) chỉ tiêu tốn 314 cổng logic, đạt sai số cực đại xấp xỉ 0.02 khi sử dụng dữ liệu fixed-point 32-bit (với 16-bit phần thập phân), tạo ra đường cong sai số mượt và không bị dao động sóng, cân bằng tối ưu giữa độ chính xác và diện tích phần cứng.

4. Dữ liệu và trọng số được phân vùng địa chỉ và giao tiếp qua bus AXI giữa PS và PL như thế nào?
Hệ thống sử dụng bus AXI chia thành 4 phân vùng địa chỉ cụ thể: vùng từ 0x0000_0000 dùng để nạp trọng số vào bộ nhớ nội BRAM/UltraRAM (hỗ trợ dữ liệu 64-bit, địa chỉ 16-bit qua tín hiệu load_weight); vùng nạp ảnh đầu vào kích hoạt qua tín hiệu en; thanh ghi 0xFFFF_FFEF chứa bit cờ báo trạng thái kết quả đầu ra sẵn sàng (valid = 1); và vùng 0xFFFF_FFF0 đến 0xFFFF_FFFF chứa dữ liệu nhãn đầu ra 8-bit data_out.

5. Kết quả thực nghiệm của thiết kế khi triển khai thực tế trên kit FPGA VC707 đạt được những chỉ số nào?
Sau khi lượng tử hóa sang INT8, mô hình CNN chạy ổn định ở tần số xung nhịp 200 MHz trên kit FPGA VC707, công suất tiêu thụ của hệ thống đạt xấp xỉ 5 W (đáp ứng mục tiêu ban đầu đặt ra là dưới 10 W), dung lượng trọng số giảm từ 3.10 MB xuống còn 802 KB (giảm 74.1%), và độ chính xác phân loại trên 10.000 mẫu ảnh kiểm thử của bộ dữ liệu MNIST đạt 97.58%.

Kết luận

Khóa luận tốt nghiệp của sinh viên Lê Hoàng Minh và Nguyễn Trần Trí Thức đã hoàn thành việc nghiên cứu, thiết kế và hiện thực thành công hệ thống tăng tốc mạng nơ-ron tích chập (CNN) trên nền tảng FPGA bằng ngôn ngữ SystemVerilog. Thông qua việc áp dụng kỹ thuật lượng tử hóa tĩnh 8-bit (Static Quantization), tối ưu hóa cấu trúc bộ nhân trên DSP48E2 và ứng dụng giải thuật PLAN cho hàm Sigmoid, hệ thống đã giải quyết hiệu quả bài toán giới hạn tài nguyên phần cứng trên vi mạch. Kết quả thử nghiệm trên kit FPGA VC707 với bài toán phân loại chữ số viết tay MNIST đạt độ chính xác 97.58% tại tần số 200 MHz với mức tiêu thụ năng lượng tối ưu xấp xỉ 5 W, khẳng định tính đúng đắn và khả thi của kiến trúc đề xuất.

Trích đoạn nội dung tài liệu

Chương 1. TÌM HIEU TONG QUAN. Mục tiêu để tài. Tổng quan để tài.Cccrrtrrrrrei 3 Chương 2.

MÔ HÌNH THIET KE. Board Kria KV260 Vision AI Starter Kit Applications. Thiết kế phần mềm. Thiết kế phần cứng.-¿--22¿2222+2+t222Evvrtrrrkrrrerrree II Chương 3.

HIỆN THỰC THIẾT KÉ. Khối tích chập. Khối điều khiển. Thiết kế bộ đệm dữ liệu.

Thiết kế bộ pe_conv_ mạc. Thiết kế khối pe_conv_mac_buffer_in. Thiết kế khối pe_conv_ mac_datapath. Thiết kế khối pe_conv_buffer_out.

Thiết kế khối pe_conv_ mac_controller. Thiết kế khối pooling. Thiết kế khối linear. Thiết kế khối điều khiển.

Thiết kế khối pe_ linear_mac. _ Thiết kế hàm kích hoạt Sigmoid.---z+22sccz+ccxx# 4I Chương 4. KIEM TRA VÀ ĐÁNH GIA THIET KÉ. Kiểm tra khối sigmoid.

Kiểm tra thiết kế mô hình học sâu.-:---z+cssc+2 45 Chương 5. Kho khăn gặp phải. Hướng pháttriển.-----ccccc+ccccvrvvrrrrrrrrrrrvee 52 TÀI LIỆU THAM KHẢO. 56 DANH MỤC HÌNH Hình 2-1: Kiến trúc dòng chip ZynqTM UltraScale+TM MPSoC [6|.-- 4 Hình 2-2: Phân cấp giữa các hướng tiếp cận khi hiện thực trên board Kria.

5 Hình 2-3: Cây quyết định để chọn hướng tiếp cận phù hợp.-:-- 6 Hình 2-4: Quy trình thiết kế dựa trên Vitis Accelerafor.¿¿cscc5c++ 7 Hình 2-5: Kiến trúc phần cứng của Platform KV260 SOM.---- 8 Hình 2-6: Hệ thống tổng quan của dé ti.eeccccesccssseesssssseesssssseeesesseessssssveseesseeeeessseess 9 Hình 2-7: Kiến trúc phần mềm của Platform. „10 Hình 2-8: Lưu đồ khối cơ bản của một ứng dụng phan cứng 1 Hình 2-9: Tổng quan thiết kế phan cứng. 2 Hình 2-10: Mô hình CNN đối với bộ đữ liệu MNIST [7]. „14 Hình 2-11: Thiết kế khối CNN IP cho bộ dữ liệu MNIST.---------- 4 Hình 2-12: File json cấu hình mô hình cho bài toán MNIST.-- 5 Hình 3-1: Kỹ thuật lượng tử hóa.

7 Hình 3-2: Sơ đồ thực hiện khói tích chập với số chấm động.------ § Hình 3-3: Sơ đồ thực hiện khói tích chập với số 8 bit.c-:--sc+2 9 Hình 3-4: Kết nói fifo với khối tích chập.----¿¿+++22v+z++2vvvvzrsrrvscee 22 Hình 3-5: Thiết kế khối tích chập.-------c+z222222v2vc+zz+ttvvvvsccccez 23 Hình 3-6: Đệm dữ liệu với PADDING = Hình 3-7: Kết nối giữa khối tích chập với fifO.-:---:¿¿©v2c++2cv+zcrsrrvscee 26 Hình 3-8: Hoạt động của khối tích 00. 27 Hình 3-9: Khối đệm dữ liệu.c-c2c:cccccccc222222222222EEEEtrrrrrrrrrrrrree 27 Hình 3-10: Thiết kế khối pe_conv_ mac.:-¿--22222222++222EEEYvvrrrrrrrrrrrrrrrree 28 Hình 3-11: Thiết kế khối pe_conv_mac_buffer_in.---¿©cz+225sscezz 29 Hình 3-12: Cấu trúc cơ bản của DSP48E2 [10]. 2-52 Ssc2 2E errxerrxerree 30 Hình 3-13: Các bước thực hiện 2 phép nhân ac va be [ 12].---‹---------+-Í Hình 3-14: Thiết kế khối cộng dồn.----22--222£2V22++222ESE+etEEEErerrvrrrrrrr 32 Hình 3-15: Thiết kế khối pe_conv_ mac_ datapath. -- - -+55c+c+cscscczxscee 32 Hình 3-16: Thiết kế khối Adder Tree.2 Hình 3-17: Thiết kế khối pe_conv_ mac_buffer_ Out.- ¿5 <sc+ezx+cs+ 34 Hình 3-18: Khối max tree.ccccccccccccrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrrreoooÖÕ Hình 3-19: Thiết kế khối linear.--2¿©2++++2EE+++t2EEESEttEEEESrrrtrrvrrrrrrkrvee 39 Hình 3-20: Thiết kế khối pe_linear_mac.---¿:22222222vz++2vvvvzevcvsvreerz 40 Hình 3-21: Thiết kế khối pe_linear_mac_ datapath.- - + cscscexseexeeeeree 40 Hình 3-22: Biểu đồ hàm sigmoid.- --2¿-2+¿+222E+2+t2EEEEE2E22E22t2EEExrrrrkrvee 4I Hình 3-23: Biểu đồ sai số bằng phương pháp PLAN [17].--------« 42 Hình 3-24: Thiết kế khối sigmoid.-----¿--2+£©22+++22ESS++etEEvvrrevrvvrrrrrrrrree 43 Hình 4-1: Môi trường kiểm tra UVM.---22ccccc22222Svvvrrrrrrrrrrrrrrrrrrrrrrrrrev 44 Hình 4-2: Sai số của khối Sigmoid.-- 2¿©2222++22ES2++t2EEEErrrtrrkrrrrrrkrvee 45 Hình 4-3: Mô hình học sâu kiêm tra thiết kế [7].-c-:---2cccvcecccesrrerreeee 45 Hình 4-4: Thông số mạng mô hình học sâu kiểm tra.---------: 46 Hình 4-5: File nạp trong số của mô hình.

„47 Hình 4-6: File json cầu hình mạng mô hình học s 8 Hình 4-7: Waveform kiểm tra thiết kế. „40 DANH MUC BANG Bảng 2.1: Các port của khối CNN IP.1: Các port của khối tích CHAD.2: Các tham số của khối tích chập.--¿:-©2z++222++zt+222vzzrerrrseez 22 Bang 3.3: Các port của khối tích chập.4: Các tham số của khối tích chập.5: Các port của khối tích chập.6: Các tham số của khối tích chap.7: So sánh các phương pháp Sigmoid trên FPGA [17] Bang 3.8: Công thức tinh sigmoid theo phương pháp PLAN Bang 4.1: Kết quả lượng tử hóa mô hình.2: Kết quả độ chính xác.3: So sánh phần cứng sử dụng giữa dé tài và các công trình. 50 DANH MỤC TU VIET TAT Từ viết tắt Từ viết đầy đủ CNN Convolutional Nerural Network FPGA Field Programmable Gate Arrays FP Floating Point SoC System on Chip DSP Digital Signal Processing PS Processing System PL Programable Logic DSP Digital Signal Processing MAC Multiply - Accumulate AXI Advanced eXtensible Interface DPU Deep Learning Processor Unit TÓM TÁT KHÓA LUẬN Trong đề tài nhóm tập trung nghiên cứu và thiết kế các khối có trong mạng CNN (Convolutional Neural Network) bằng ngôn ngữ System Verilog, các khối này có thể cấu hình nhiều thông số khác nhau và kết nói lại dé có thé tạo thành nhiều mô hình học sâu khác nhau. Vì tài nguyên trên FPGA là có giới hạn và bộ nhớ hạn chế nên nhóm sử dụng kỹ thuật lượng tử hóa (quantization) dé tối ưu về phần cứng và tài nguyên sử dụng.

Ngoài ra nhóm cung cấp các cách thức dé người dùng có thé kiểm soát được tài nguyên sử dụng của từng tầng trong mô hình học sâu giúp cho thiết kế có thể sử dụng trên nhiều dòng FPGA. Để kiểm tra độ chính xác của thiết kế, nhóm hiện thực một mô hình học sâu giải quyết bài toàn phân loại hình ảnh trên bộ dữ liệu MNIST [1]. MNIST là bộ dữ liệu ảnh các chữ ký số viết tay từ 0 đến 9, các ảnh này có kích thước 28x28x1. Thiết kế mạng mô hình học sâu của nhóm đề xuất có độ chính xác 97.85% và kích thước trọng số là 3.10MB khi chạy với dữ liệu 32 bit số chấm động trên CPU.

Sau khi lượng tử hóa về kiêu dữ liệu 8 bit số nguyên thì độ chính xác là 97.58% và kích thước trọng số chỉ còn 802KB. Sau khi có mô hình lượng tử hóa nhóm tiến hành trích xuất trọng số và nạp xuống thiết kế được kết quả như sau: e_ Thiết kế chạy được ở tần số 200 MHz trên kit FPGA VC707. e Nang lượng tiêu thụ là 5. e Do chính xác khi kiểm tra với bộ dữ liệu test của MNIST (10000 test case): 97.

TÌM HIỂU TONG QUAN 1. Giới thiệu CNN (Convolutional Neural Network) là một trong những kiến trúc mang nơ-ron phô biến nhất trong lĩnh vực học sâu (Deep Learning), các ứng dụng của CNN rất đa dạng, bao gồm nhận diện khuôn mặt, phân loại ảnh, nhận diện chữ viết tay, phân tích văn bản và nhiều bài toán khác liên quan đến xử lý hình ảnh và video. Hiện nay, các mô hình CNN càng ngày càng trở nên lớn hơn và ngày càng phức tạp hơn, vi dụ như mạng LeNet-5 được đề xuất bởi Yann LeCun, Léon Bottou, Yoshua Bengio va Patrick Haffner vào năm 1998 dé giải quyết bài toán nhận dạng chữ số viết tay trong ảnh với số lượng tham số là 60 nghìn [2], trong khi mạng VGG16 được giới thiệu vào năm 2015 dùng trong bài toán nhận diện vật thể có số lượng tham số lên đến 143 triệu [3]. Dẫn việc triển khai mô hình CNN trên các nền tảng phần cứng truyền thống như CPU và GPU có thé gặp nhiều giới hạn về tốc độ và hiệu suất.

Do đó, việc chạy CNN trên FPGA (Field Programmable Gate Array) đang trở thành một xu hướng phát triển mới trong lĩnh vực học sâu và xử lý hình ảnh. FPGA có khả năng xử lý song song giúp cho nó có khả năng tính toán nhanh hơn đồng thời năng lượng tiêu thy ít hơn so với cả CPU và GPU, các nhiên cứu [4], [5] cho thấy việc sử dụng FPGA có thể tối ưu năng lượng tiêu thụ so với CPU và GPU lên đến 49%. Ngoài ra FPGA có thé được tùy chỉnh để phù hợp với yêu cầu của từng mạng CNN khác nhau. Mặc dù việc chạy mạng CNN trên FPGA có nhiều lợi ích, nhưng nó cũng đặt ra một số thách thức và khó khăn.

Đầu tiêu, dé sử dụng được FPGA một cách hiệu quả yêu cầu phải hiểu rõ các thành phần có trong nó như cácDSP, LUT, RAM,. để có thể phát huy tối đa sức mạnh của chúng. Ngoài ra việc thiết kế một mạng CNN chạy trên FPGA khó hơn nhiều so với chạy trên CPU và GPU, nó yêu cầu việc lập trình nhiều hơn và quan trọng nhất là bộ nhớ trên FPGA nhỏ hơn rất nhiều so với trên CPU và GPU. Vì vậy, cần có kỹ thuật và kiến thức về thiết kế hệ thống để triển khai mạng CNN trên FPGA một cách hiệu quả và đạt được hiệu suất tối ưu nhất.

Mục tiêu đề tài Mục tiêu của đề tài là thiết kế các khối sử dụng trong mạng mô hình học sâu dé có thé xây dựng và triển khai các mô hình học sâu khác nhau xuống kit FPGA: e Thiết kế các khối sử dụng trong mô hình học sâu (Convolutional. Pooling, Fully Connected) và hàm kích hoạt (Sigmoid). Mục tiêu của các khối này là có thé cấu hình các thông số trong quá trình Synthesis và có thể nạp trọng số sau khi triển khai trên kit FPGA. e Thiết kế mang CNN dé thực hiện bài toán nhận diện trên bộ dữ liệu chữ số viết tay MNIST [I] với độ chính xác lớn hơn 95%.

Huấn luyện và lượng tử hóa mô hình thành dang số nguyên 8 bit. ¢ Trích xuất trọng số của mô hình CNN đã lượng tử hóa và triển khai trên kit FPGA dé kiêm tra hoạt động của thiết kế. Mục tiêu của thiết kế là có thể chạy ở tần số > 200 MHz và năng lượng tiêu thụ < 10 W. Tổng quan đề tài Trong để tài này nhóm tập trung nghiên cứu và thiết kế các lớp có trong mô hình học sâu.

Để tối ưu tài nguyên và tăng tốc bộ cho mô hình học sâu, nhóm áp dụng kỹ thuật lượng tử hóa trong việc thiết kế các tầng trong mạng mô hình học sâu. Trong đề tài này nhóm tập trung vào thiết kế các khối Convolutional, Pooling, Fully Connected bằng kỹ thuật lượng tử hóa và viết testbench đề kiểm tra chức nang các khối đó. Sau khi thiết kế các khối ở trên, nhóm tìm hiểu và thiết kế mạng mô hình học sâu cho bài toán phân loại chữ số viết tay trên bộ dữ liệu MNIST [1]. Sau đó tiến hành huấn luyện, lượng tử hóa mô hình và trích xuất trọng số để nạp xuống thiết kế FPGA.

Cuối cùng tiếp hành mô phỏng trên tập dữ liệu test, synthesis và nạp xuống kit FPGA. MÔ HÌNH THIET KE Trong chương này nhóm trình bày tổng quan các thành phần có trong một con chip FPGA SoC và cách dé triển khai một thiết kế lên chip FPGA. Hiện nay trên thị trường đang phô biến dòng chip SoC (System on Chip). SoC là dòng chip gồm 2 thành phần chính là PS (Processing System) và PL (Programmable Logic).

Thành phần chính của PS là một lõi ARM Cortex, bộ nhớ cache, các thành phần xử lý được tích hợp sẵn và các ngoại vi dé kết nối, giao tiếp với thế giới xung quanh như USB, HDMI, PCLe,. PL chính là phần FPGA, trong đó bao gồm các LUT, các hard macro như Ultra RAM, Block RAM (dùng dé lưu trữ dữ liệu), DSP (chuyên xử lý tín hiệu số).