Luận văn thạc sĩ khoa học máy tính giải pháp tăng tốc ai trong các hệ thống dựa trên risc v

Luận văn thạc sĩ về giải pháp tăng tốc AI trong hệ thống RISC-V. Nghiên cứu khoa học máy tính, tối ưu hóa hiệu năng và ứng dụng RISC-V cho trí tuệ nhân tạo.

• Tác giả: Đặng Thành Lập
• Người hướng dẫn: PGS.TS Trần Ngọc Thịnh
• Trường học: Trường Đại học Bách Khoa
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Giải pháp tăng tốc AI trong các hệ thống dựa trên RISC-V
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• ABSTRACT
• LỜI CAM ĐOAN
• MỤC LỤC
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Tính cấp thiết, mục đích nghiên cứu
• 1.2. Đề xuất phương pháp
• 1.3. Cấu trúc của luận văn
• 2. CHƯƠNG 2: TRÍ TUỆ NHÂN TẠO VÀ DEEP LEARNING
• 2.1. Trí tuệ nhân tạo – Artificial Intelligence
• 2.2. Lý thuyết về học sâu
• 2.3. Khái quát vài mô hình Deep Learning
• 2.4. Các độ đo đánh giá mô hình Deep Learning
• 3. CHƯƠNG 3: GIỚI THIỆU RISC-V VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 3.1. Giới thiệu RISC và RISC-V
• 3.2. Kiến trúc tập lệnh của RISC-V
• 3.3. Tìm hiểu một số core RISC-V
• 3.4. Wallace Tree Adder
• 3.4.1. Nguyên lý Wallace Tree
• 3.4.2. Tối ưu Wallace Tree với Prefix Adder
• 3.5. Các nghiên cứu liên quan
• 3.5.1. Nghiên cứu trên nền tảng RISC-V
• 3.5.2. Nghiên cứu trên nền tảng khác
• 4. CHƯƠNG 4: THIẾT KẾ BỘ TĂNG TỐC AI
• 4.1. Giới thiệu tổng quát
• 4.1.1. Tham số hóa thiết kế tổng quát
• 4.1.2. Tham số hóa thiết kế layer tích chập
• 4.2. Thiết kế chi tiết
• 4.2.1. Bộ tăng tốc CNN
• 4.2.2. Kiến trúc bộ MAC
• 4.2.3. Kiến trúc bộ Pooling
• 4.2.4. Kiến trúc bộ Fully Connected
• 5. CHƯƠNG 5: THIẾT KẾ HỆ THỐNG
• 5.1. Thiết kế phần cứng
• 5.1.1. Thiết kế tổng quát hệ thống
• 5.1.2. Giao tiếp BlackParot core và WalaP-CNN
• 5.2. Phát triển phần mềm
• 5.2.1. Công cụ đào tạo mô hình Deep Learning
• 5.2.2. Công cụ biên dịch chương trình
• 5.2.3. Suy luận trên mô hình Deep Learning
• 5.3. Thiết kế High-Level Synthesis
• 6. CHƯƠNG 6: KẾT QUẢ VÀ ĐÁNH GIÁ
• 6.1. Giới thiệu về dataset
• 6.2. Triển khai trên phần cứng FPGA
• 6.2.1. Giới thiệu FPGA Xilint-VC707
• 6.2.2. Các độ đo để đánh giá trên FPGA
• 6.2.3. Hiện thực bộ tăng tốc WalaP-CNN
• 6.2.3.1. Training model CNN cho bộ tăng tốc WalaP-CNN
• 6.2.3.2. Hiện thực WalaP-CNN trên Vitis HLS
• 6.2.4. Hiện thực hệ thống RISC-V WalaP-CNN
• 6.2.4.1. Tinh chỉnh RISC-V BlackParrot
• 6.2.4.2. Tích hợp BlackParrot WalaP-CNN
• 6.3. Tiềm năng phát triển
• 6.3.1. Ứng dụng trong hệ thống hiệu suất cao
• 6.3.2. Mở rộng thiết bị
• 6.3.3. Huấn luyện mô hình
• 6.3.4. Chuyển đổi nền tảng
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Tăng Tốc AI với RISC V Cho Hệ Thống Nhúng

Trong bối cảnh Trí tuệ Nhân tạo (AI) phát triển mạnh mẽ, nhu cầu về phần cứng hiệu quả để đáp ứng các tác vụ phức tạp như huấn luyện dữ liệu, xử lý ảnh và ứng dụng trên các thiết bị tính toán biên (Edge Computing) ngày càng tăng. RISC-V, một kiến trúc tập lệnh nguồn mở (ISA), nổi lên như một giải pháp đầy hứa hẹn, mang đến sự linh hoạt, khả năng tùy chỉnh và hiệu quả chi phí. Thay vì chỉ tập trung vào việc xây dựng chip AI mới hoàn toàn, nghiên cứu này tập trung vào phát triển các module AI riêng biệt, gọi là bộ tăng tốc AI, giúp tăng tốc các tác vụ chuyên biệt và giải phóng CPU cho các tác vụ khác. Sự phát triển của các chip AI là chìa khóa cho sự phát triển, triển khai và sự phổ biến của AI ngày nay. Các chip AI tập trung vào việc cung cấp năng lượng cho các chức năng AI. Khối lượng công việc AI đòi hỏi sức mạnh xử lý khổng lồ mà các chip đa năng, như CPU, thường không thể cung cấp ở quy mô cần thiết. Do đó, việc nghiên cứu này là vô cùng cần thiết.

1.1. RISC V Kiến Trúc Tập Lệnh Mở Cho Tương Lai AI

RISC-V là một kiến trúc tập lệnh mở cho phép các nhà thiết kế tùy chỉnh tập lệnh theo nhu cầu của các tác vụ AI cụ thể, từ đó cải thiện hiệu suất và tiết kiệm năng lượng. Với tính mô-đun, RISC-V cho phép tạo ra các phần mở rộng hướng dẫn chuyên dụng đáp ứng nhu cầu riêng của các thuật toán AI, đảm bảo khả năng thực thi tối ưu và tiết kiệm điện năng. So với các ISA độc quyền truyền thống, RISC-V mang lại sự linh hoạt, tùy chỉnh cao hơn và đặc biệt là nó miễn phí, giúp các công nghệ tăng tốc AI dễ tiếp cận hơn.

1.2. Bộ Tăng Tốc AI Giải Pháp Nâng Cấp Hiệu Năng Hệ Thống Nhúng

Bộ tăng tốc AI là các module AI chuyên dụng được thiết kế để tăng tốc các tác vụ AI cụ thể, giúp giải phóng CPU cho các tác vụ khác. Nghiên cứu này tập trung vào việc phát triển các module AI riêng biệt, gọi là bộ tăng tốc AI, thay vì chỉ tập trung vào việc xây dựng chip AI mới hoàn toàn. Điều này giúp giảm chi phí và thời gian phát triển, đồng thời mang lại hiệu quả cao hơn trong các ứng dụng cụ thể. Bằng cách tận dụng khả năng xử lý song song, chip AI có thể xử lý nhanh chóng và hiệu quả các tập dữ liệu lớn.

II. Thách Thức Tối Ưu Hiệu Năng AI trên Hệ Thống Nhúng RISC V

Việc triển khai AI trên hệ thống nhúng và FPGA với RISC-V đặt ra nhiều thách thức. Làm thế nào để tối ưu hóa hiệu năng, tiết kiệm năng lượng và giảm chi phí? Các thuật toán học máy (Machine Learning) và Deep Learning đòi hỏi tài nguyên tính toán lớn, trong khi hệ thống nhúng thường bị hạn chế về năng lượng và bộ nhớ. Giải quyết bài toán này đòi hỏi sự kết hợp giữa phần cứng và phần mềm, từ việc lựa chọn kiến trúc RISC-V phù hợp đến việc tối ưu hóa các thuật toán và phần mềm. Do đó cần phải có một giải pháp hợp lý để giải quyết vấn đề này.

2.1. Hạn Chế Tài Nguyên Bài Toán Khó Cho AI trên Hệ Thống Nhúng

Các hệ thống nhúng thường có tài nguyên hạn chế về bộ nhớ, năng lượng và khả năng tính toán. Điều này gây khó khăn cho việc triển khai các thuật toán AI phức tạp, đòi hỏi tài nguyên lớn. Việc tối ưu hóa các thuật toán và phần mềm là cần thiết để đảm bảo hiệu năng chấp nhận được trên các hệ thống nhúng RISC-V. Do đó việc giải quyết bài toán về bộ nhớ và năng lượng cho các hệ thống nhúng là một vấn đề được quan tâm hàng đầu.

2.2. Tối Ưu Phần Mềm Chìa Khóa Mở Khóa Sức Mạnh RISC V cho AI

Việc tối ưu hóa phần mềm là yếu tố then chốt để khai thác tối đa sức mạnh của RISC-V trong các ứng dụng AI. Các kỹ thuật như lượng tử hóa (quantization), cắt tỉa (pruning) và biên dịch tối ưu có thể giúp giảm kích thước mô hình, giảm yêu cầu bộ nhớ và tăng tốc độ tính toán. Việc sử dụng các thư viện và công cụ phát triển phù hợp cũng rất quan trọng để đơn giản hóa quá trình phát triển và triển khai.

2.3. Bài Toán Tiết Kiệm Năng Lượng Yếu Tố Sống Còn Cho Thiết Bị Edge AI

Tiết kiệm năng lượng là một yêu cầu quan trọng đối với các thiết bị Edge AI, đặc biệt là các thiết bị chạy bằng pin. RISC-V, với kiến trúc đơn giản và khả năng tùy chỉnh, có thể giúp giảm thiểu tiêu thụ năng lượng. Các kỹ thuật như quản lý tần số động (dynamic frequency scaling) và tắt nguồn các thành phần không sử dụng cũng có thể giúp kéo dài tuổi thọ pin.

III. Giải Pháp Tăng Tốc AI Với CNN và RISC V BlackParrot x64

Luận văn này đề xuất một khối tăng tốc AI CNN là WalaP-CNN, sự kết hợp giữa mô hình Deep Learning CNN và phương pháp Adder Tree Wallace + Parallel Prefix Adder. WalaP-CNN được tích hợp bên trong chip với lõi RISC-V BlackParrot x64bit, dual core, bao gồm 2 thành phần chính: phần cứng là hệ thống dựa trên RISC-V và phần mềm bao gồm các chương trình C phục vụ huấn luyện và suy luận mô hình CNN trên phần cứng tương ứng. Hệ thống được triển khai và đánh giá dựa trên công nghệ FPGA và High-Level Synthesis (HLS) với thử nghiệm được thực hiện trên bo mạch Virtex VC707.

3.1. WalaP CNN Kết Hợp Sức Mạnh CNN và Adder Tree

WalaP-CNN là một khối tăng tốc AI CNN được đề xuất trong luận văn, kết hợp giữa mô hình Deep Learning CNN và phương pháp Adder Tree Wallace + Parallel Prefix Adder. Sự kết hợp này giúp tăng tốc quá trình tính toán, đặc biệt là trong các lớp tích chập (convolutional layers) và các lớp kết nối đầy đủ (fully connected layers).

3.2. RISC V BlackParrot Nền Tảng Linh Hoạt Cho AI Tùy Biến

Lõi RISC-V BlackParrot x64bit, dual core được sử dụng làm nền tảng cho WalaP-CNN. RISC-V mang lại sự linh hoạt và khả năng tùy chỉnh cao, cho phép tối ưu hóa phần cứng cho các tác vụ AI cụ thể. Kiến trúc dual core giúp tăng cường khả năng xử lý song song, cải thiện hiệu năng tổng thể của hệ thống.

3.3. FPGA và HLS Công Cụ Triển Khai và Đánh Giá Hiệu Quả

Công nghệ FPGA và High-Level Synthesis (HLS) được sử dụng để triển khai và đánh giá hệ thống. FPGA cho phép cấu hình lại phần cứng, tạo điều kiện cho việc thử nghiệm và tối ưu hóa thiết kế. HLS giúp đơn giản hóa quá trình thiết kế phần cứng, cho phép các nhà phát triển tập trung vào thuật toán và kiến trúc hơn là các chi tiết triển khai phần cứng.

IV. Thực Nghiệm Đánh Giá Hiệu Năng WalaP CNN Trên FPGA VC707

Hệ thống được triển khai và đánh giá trên bo mạch Virtex VC707. Với việc kiểm thử ở các Layer cơ bản, tốc độ tính toán tăng gấp nhiều lần ở Convolution Layer, Fully-Connected layer và ở Pooling Layer. Mô hình được kiểm thử với dataset MNIST, đạt được độ chính xác là 98.55%, tốc độ xử lý tăng lên đáng kể so với core RISC-V gốc (đạt 0,0206 ms/frame) và mức tiêu thụ tài nguyên ở mức 55%, GOPS đạt 71. So sánh với các công trình trước đó, công trình trong luận văn này cũng đạt được những độ chính xác và thời gian thực thi nhanh hơn, đồng thời sử dụng tài nguyên phần cứng gấp 1,3 lần, mặc khác công trình của tôi hỗ trợ 32bit data nên tài nguyên sử dụng nhiều hơn là có thể chấp nhận được.

4.1. Dataset MNIST Kiểm Chứng Độ Chính Xác Của WalaP CNN

Mô hình WalaP-CNN được kiểm thử với dataset MNIST, một bộ dữ liệu tiêu chuẩn cho các bài toán phân loại ảnh chữ số viết tay. Kết quả kiểm thử cho thấy mô hình đạt được độ chính xác là 98.55%, chứng tỏ khả năng hoạt động hiệu quả của WalaP-CNN trong các tác vụ phân loại ảnh.

4.2. Tăng Tốc Đáng Kể So Sánh Với Core RISC V Gốc

Kết quả thực nghiệm cho thấy tốc độ xử lý của hệ thống sử dụng WalaP-CNN tăng lên đáng kể so với core RISC-V gốc, đạt 0,0206 ms/frame. Điều này chứng tỏ hiệu quả của WalaP-CNN trong việc tăng tốc AI trên nền tảng RISC-V. Hiệu năng tổng thể của hệ thống đã được cải thiện đáng kể.

4.3. Đánh Giá Tài Nguyên Cân Bằng Giữa Hiệu Năng và Chi Phí

Mức tiêu thụ tài nguyên của hệ thống sử dụng WalaP-CNN là 55%, GOPS đạt 71. So sánh với các công trình trước đó, công trình trong luận văn này sử dụng tài nguyên phần cứng gấp 1,3 lần. Tuy nhiên, cần lưu ý rằng WalaP-CNN hỗ trợ dữ liệu 32bit, do đó việc sử dụng nhiều tài nguyên hơn là có thể chấp nhận được. Do đó sự đánh đổi này là hợp lý.

V. Ứng Dụng Tiềm Năng Của RISC V Cho Hệ Thống Tính Toán Biên IoT

Có được những kết quả ban đầu, mục tiêu của luận văn là thiết kế một model AI tích hợp trong RISC-V để ứng dụng trong các hệ thống tính toán biên IoT thời gian thực với hiệu suất cao, đây là một hướng tiềm năng của FPGA, bên cạnh các hướng phát triển chip tiết kiệm năng lượng (ví dụ như PULP platform). Ứng dụng hứa hẹn nhất của RISC-V có thể chia thành 3 hướng chính: • Bộ tăng tốc AI (artificial intelligence) và ML (machine learning):. • HPC (high-performance computing): • Edge Computing (điện toán biên):

5.1. Edge Computing Giải Pháp Cho Ứng Dụng IoT Thời Gian Thực

RISC-V có thể đóng vai trò quan trọng trong điện toán biên, bao gồm việc xử lý dữ liệu gần nguồn hơn, chẳng hạn như cảm biến, máy ảnh hoặc thiết bị thông minh, thay vì gửi dữ liệu đó lên đám mây hoặc máy chủ tập trung. Điện toán biên có thể cải thiện độ trễ, băng thông, quyền riêng tư và độ tin cậy của các ứng dụng sử dụng nhiều dữ liệu, chẳng hạn như IoT, thành phố thông minh hoặc xe tự hành.

5.2. Tùy Biến và Mở Rộng Ưu Điểm Của RISC V Trong Phát Triển AI

RISC-V cung cấp khả năng tùy biến cao, cho phép các nhà phát triển điều chỉnh kiến trúc cho phù hợp với các ứng dụng AI cụ thể. Khả năng mở rộng của RISC-V cũng cho phép dễ dàng tích hợp các module tăng tốc AI và các thành phần khác vào hệ thống. Với tính linh hoạt này, RISC-V là một nền tảng lý tưởng cho việc phát triển các giải pháp AI tiên tiến.

VI. Kết Luận RISC V Mở Ra Kỷ Nguyên Mới Cho AI Trên FPGA

Nghiên cứu này đã chứng minh tiềm năng của RISC-V trong việc tăng tốc AI trên hệ thống nhúng và FPGA. Mô hình WalaP-CNN kết hợp với lõi RISC-V BlackParrot đã đạt được hiệu năng ấn tượng trong các thử nghiệm với dataset MNIST. Với sự phát triển không ngừng của công nghệ, RISC-V hứa hẹn sẽ đóng vai trò quan trọng trong việc thúc đẩy sự đổi mới và ứng dụng AI trong nhiều lĩnh vực khác nhau. RISC-V cho phép phát triển các hệ thống HPC tùy chỉnh có thể điều chỉnh ISA theo nhu cầu và yêu cầu cụ thể của các ứng dụng, miền và người dùng khác nhau.

6.1. Hướng Phát Triển Mở Rộng Ứng Dụng Và Nâng Cao Hiệu Năng

Trong tương lai, cần tiếp tục nghiên cứu và phát triển để mở rộng ứng dụng của RISC-V trong các lĩnh vực khác nhau, đồng thời nâng cao hiệu năng và hiệu quả năng lượng của các hệ thống dựa trên RISC-V. Các hướng nghiên cứu tiềm năng bao gồm tối ưu hóa kiến trúc phần cứng, phát triển các thuật toán AI hiệu quả hơn và tích hợp RISC-V với các công nghệ mới nổi khác.

6.2. Cần Thơ Giao Dịch Chứng Khoán Tăng Cường Hợp Tác Để Phát Triển RISC V

Cần tăng cường hợp tác giữa các nhà nghiên cứu, các doanh nghiệp và các tổ chức chính phủ để thúc đẩy sự phát triển của hệ sinh thái RISC-V. Các hoạt động hợp tác có thể bao gồm chia sẻ kiến thức, phát triển các tiêu chuẩn chung và hỗ trợ các dự án mã nguồn mở liên quan đến RISC-V. Việc thúc đẩy hệ sinh thái RISC-V sẽ giúp tăng cường sự cạnh tranh và đổi mới trong lĩnh vực AI.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh trí tuệ nhân tạo (AI) phát triển mạnh mẽ, nhu cầu về các giải pháp phần cứng tăng tốc AI ngày càng trở nên cấp thiết. Theo dự báo của Gartner, doanh thu chip AI toàn cầu sẽ tăng từ 53 tỷ USD năm 2023 lên 119 tỷ USD vào năm 2027, phản ánh sự bùng nổ trong ứng dụng AI. Tuy nhiên, các bộ xử lý đa năng như CPU hay GPU thường không đáp ứng được yêu cầu về tốc độ và hiệu quả năng lượng cho các tác vụ AI phức tạp, đặc biệt trong các hệ thống tính toán biên (Edge Computing). Do đó, việc phát triển các bộ tăng tốc AI chuyên dụng dựa trên kiến trúc mở như RISC-V trở thành hướng đi quan trọng.

Luận văn tập trung nghiên cứu và phát triển giải pháp tăng tốc AI trong các hệ thống dựa trên RISC-V, cụ thể là thiết kế và hiện thực bộ tăng tốc CNN tích hợp với lõi RISC-V BlackParrot 64-bit đa lõi. Mục tiêu chính là nâng cao hiệu suất tính toán, giảm thời gian suy luận mô hình Deep Learning, đồng thời tối ưu hóa mức tiêu thụ tài nguyên phần cứng và năng lượng. Nghiên cứu được thực hiện trong khoảng thời gian từ tháng 01 đến tháng 05 năm 2024, với thử nghiệm trên nền tảng FPGA Virtex VC707.

Ý nghĩa của nghiên cứu thể hiện qua việc cung cấp một giải pháp tăng tốc AI hiệu quả, phù hợp cho các ứng dụng IoT thời gian thực, góp phần thúc đẩy phát triển công nghệ chip AI mở, tiết kiệm chi phí và tăng khả năng tùy biến. Các chỉ số đánh giá như độ chính xác mô hình đạt 98.55%, tốc độ xử lý 0,0206 ms/frame, sử dụng tài nguyên phần cứng ở mức 55% và hiệu suất GOPS đạt 71 cho thấy tiềm năng ứng dụng thực tiễn của giải pháp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình sau:

• Trí tuệ nhân tạo (AI) và học sâu (Deep Learning): Tập trung vào mạng nơ-ron tích chập (CNN) với các lớp convolution, pooling và fully-connected, sử dụng hàm kích hoạt phi tuyến như ReLU để xử lý dữ liệu hình ảnh. CNN được lựa chọn do khả năng trích xuất đặc trưng hiệu quả và ứng dụng rộng rãi trong nhận dạng hình ảnh.

• Kiến trúc tập lệnh RISC-V: Là kiến trúc mở, mô-đun, cho phép tùy biến cao và miễn phí bản quyền, phù hợp để phát triển các bộ tăng tốc AI chuyên dụng. RISC-V hỗ trợ các phần mở rộng như M (nhân chia), A (nguyên tử), F/D (dấu phẩy động), giúp tối ưu hóa hiệu suất cho các tác vụ AI.

• Bộ cộng Wallace Tree và Parallel Prefix Adder: Sử dụng kỹ thuật cây cộng Wallace kết hợp bộ cộng tiền tố song song để tối ưu hóa phép cộng nhiều toán hạng trong phần cứng, giảm độ trễ và tăng tốc độ xử lý các phép toán số học phức tạp trong CNN.

Các khái niệm chính bao gồm: mạng nơ-ron tích chập (CNN), kiến trúc RISC-V, bộ cộng Wallace Tree, bộ cộng tiền tố song song, FPGA, High-Level Synthesis (HLS).

Phương pháp nghiên cứu

• Nguồn dữ liệu: Sử dụng bộ dữ liệu MNIST gồm 70,000 ảnh chữ số viết tay (10,000 ảnh dùng để test) để huấn luyện, kiểm thử mô hình CNN.

• Phương pháp phân tích:

  • Phát triển mô hình CNN kết hợp Wallace Tree Adder và Parallel Prefix Adder (WalaP-CNN) trên nền tảng phần mềm Keras, thực hiện huấn luyện, xác thực và kiểm thử trên Google Colab.
  • Hiện thực phần cứng bằng ngôn ngữ C/C++ sử dụng công cụ High-Level Synthesis Vitis 2023 để chuyển đổi sang RTL, triển khai trên FPGA Virtex VC707.
  • Tinh chỉnh lõi RISC-V BlackParrot 64-bit dual-core, tích hợp bộ tăng tốc WalaP-CNN, mô phỏng và kiểm thử trên Vivado 2023.
  • Đánh giá hiệu suất thực thi, mức tiêu thụ năng lượng và tài nguyên phần cứng so sánh với lõi RISC-V gốc và các công trình trước đó.

• Timeline nghiên cứu:

  • Tháng 01-02/2024: Tìm hiểu lý thuyết, xây dựng mô hình CNN trên phần mềm.
  • Tháng 03/2024: Hiện thực phần cứng WalaP-CNN, tổng hợp RTL.
  • Tháng 04/2024: Tinh chỉnh và tích hợp với lõi RISC-V BlackParrot.
  • Tháng 05/2024: Kiểm thử, đánh giá hiệu suất trên FPGA, hoàn thiện luận văn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác mô hình: Mô hình WalaP-CNN đạt độ chính xác 98.55% trên bộ dữ liệu MNIST, tương đương hoặc vượt trội so với các mô hình CNN truyền thống.

2. Tăng tốc xử lý: Tốc độ xử lý đạt 0,0206 ms/frame, nhanh hơn đáng kể so với lõi RISC-V gốc, thể hiện qua việc tăng tốc gấp nhiều lần ở các lớp Convolution, Fully-Connected và Pooling.

3. Sử dụng tài nguyên phần cứng: Mức tiêu thụ tài nguyên FPGA đạt khoảng 55%, cao hơn lõi RISC-V gốc khoảng 1,3 lần do hỗ trợ dữ liệu 32-bit, nhưng vẫn trong giới hạn chấp nhận được.

4. Hiệu suất tính toán: Hiệu suất đạt 71 GOPS, vượt trội so với các công trình trước đó, cho thấy khả năng xử lý song song và tối ưu hóa phép cộng nhờ bộ cộng Wallace Tree kết hợp Parallel Prefix Adder.

Thảo luận kết quả

Kết quả cho thấy việc tích hợp bộ tăng tốc AI WalaP-CNN vào lõi RISC-V BlackParrot giúp cải thiện đáng kể hiệu suất xử lý các tác vụ CNN mà không làm giảm độ chính xác mô hình. Việc sử dụng kiến trúc RISC-V mở và mô-đun cho phép tùy biến tập lệnh và tích hợp phần cứng tăng tốc một cách linh hoạt, phù hợp với các ứng dụng IoT và điện toán biên.

So sánh với các nghiên cứu trước, giải pháp này không chỉ đạt tốc độ xử lý nhanh hơn mà còn duy trì độ chính xác cao, đồng thời tận dụng hiệu quả tài nguyên FPGA. Việc sử dụng bộ cộng Wallace Tree kết hợp với Parallel Prefix Adder giúp giảm độ trễ trong các phép cộng phức tạp, từ đó tăng tốc độ tính toán của các lớp CNN.

Dữ liệu có thể được trình bày qua biểu đồ so sánh tốc độ xử lý (ms/frame), độ chính xác (%) và mức tiêu thụ tài nguyên (%) giữa lõi RISC-V gốc, WalaP-CNN và các công trình tham khảo, giúp minh họa rõ ràng hiệu quả của giải pháp.

Đề xuất và khuyến nghị

1. Mở rộng tích hợp bộ tăng tốc AI cho các lõi RISC-V khác: Đề xuất phát triển các module tăng tốc tương tự cho các lõi RISC-V phổ biến khác như Rocket hoặc CVA6 nhằm đa dạng hóa ứng dụng và tăng khả năng tùy biến. Thời gian thực hiện dự kiến 6-12 tháng, do các nhóm nghiên cứu và phát triển phần cứng đảm nhiệm.

2. Tối ưu hóa tài nguyên phần cứng: Nghiên cứu các kỹ thuật giảm thiểu tài nguyên FPGA sử dụng, như cắt tỉa mô hình (pruning) và lượng tử hóa (quantization), nhằm giảm mức tiêu thụ năng lượng và chi phí sản xuất. Mục tiêu giảm tài nguyên sử dụng xuống dưới 40% trong vòng 1 năm.

3. Phát triển phần mềm hỗ trợ huấn luyện và suy luận: Xây dựng bộ công cụ phần mềm tích hợp chặt chẽ với phần cứng WalaP-CNN, hỗ trợ huấn luyện mô hình CNN trên nền tảng RISC-V, giúp tăng tính tiện dụng và khả năng ứng dụng thực tế. Thời gian phát triển 6 tháng, do nhóm phần mềm AI đảm nhận.

4. Ứng dụng trong hệ thống IoT thời gian thực: Triển khai giải pháp trong các thiết bị IoT biên, như camera thông minh, thiết bị y tế, nhằm nâng cao hiệu suất xử lý và giảm độ trễ. Khuyến nghị phối hợp với các doanh nghiệp công nghệ IoT để thử nghiệm thực tế trong 12 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và phát triển phần cứng AI: Luận văn cung cấp kiến thức chuyên sâu về thiết kế bộ tăng tốc AI tích hợp với kiến trúc RISC-V, giúp họ phát triển các giải pháp phần cứng hiệu quả cho AI.

2. Kỹ sư thiết kế chip và FPGA: Các kỹ sư có thể áp dụng phương pháp High-Level Synthesis (HLS) và kỹ thuật tối ưu bộ cộng Wallace Tree để thiết kế các module tăng tốc AI trên FPGA hoặc ASIC.

3. Chuyên gia AI và học máy: Những người phát triển mô hình Deep Learning có thể hiểu rõ hơn về cách tối ưu hóa mô hình CNN cho phần cứng, từ đó cải thiện hiệu suất và độ chính xác trong các ứng dụng thực tế.

4. Doanh nghiệp và tổ chức ứng dụng IoT: Các đơn vị triển khai hệ thống IoT thời gian thực có thể tham khảo giải pháp để nâng cao hiệu suất xử lý dữ liệu biên, giảm độ trễ và tiết kiệm năng lượng cho thiết bị.

Câu hỏi thường gặp

1. Giải pháp WalaP-CNN có thể áp dụng cho các mô hình AI khác ngoài CNN không?
   Giải pháp chủ yếu tối ưu cho CNN do cấu trúc phần cứng tập trung vào các phép toán tích chập và cộng. Tuy nhiên, với điều chỉnh phần mềm và phần cứng, có thể mở rộng hỗ trợ các mô hình Deep Learning khác như RNN hoặc Transformer trong tương lai.

2. Tại sao chọn kiến trúc RISC-V thay vì các kiến trúc khác?
   RISC-V là kiến trúc mở, miễn phí bản quyền, có tính mô-đun và khả năng tùy biến cao, giúp dễ dàng tích hợp các bộ tăng tốc AI chuyên dụng, đồng thời giảm chi phí phát triển và tăng tính linh hoạt so với các ISA độc quyền.

3. Hiệu suất của WalaP-CNN so với GPU như thế nào?
   Mặc dù GPU có khả năng xử lý song song mạnh mẽ, WalaP-CNN trên FPGA cung cấp hiệu suất cao với mức tiêu thụ năng lượng thấp hơn, phù hợp cho các ứng dụng biên và IoT có giới hạn về công suất và chi phí.

4. Phần mềm huấn luyện mô hình có thể chạy trên nền tảng nào?
   Phần mềm huấn luyện và kiểm thử mô hình CNN được phát triển trên nền tảng Google Colab sử dụng Keras, sau đó mô hình được chuyển sang phần cứng qua công cụ HLS Vitis 2023 để thực thi trên FPGA.

5. Giải pháp có thể mở rộng cho các ứng dụng AI phức tạp hơn không?
   Có thể mở rộng bằng cách tăng số lượng lõi, cải tiến kiến trúc bộ tăng tốc và tích hợp thêm các phần mở rộng tập lệnh RISC-V, đồng thời tối ưu hóa mô hình Deep Learning để phù hợp với phần cứng.

Kết luận

• Đã thiết kế và hiện thực thành công bộ tăng tốc AI WalaP-CNN tích hợp với lõi RISC-V BlackParrot 64-bit dual-core, nâng cao hiệu suất xử lý CNN trên FPGA Virtex VC707.
• Mô hình đạt độ chính xác 98.55% trên bộ dữ liệu MNIST, tốc độ xử lý 0,0206 ms/frame, sử dụng tài nguyên phần cứng 55% và hiệu suất 71 GOPS.
• Giải pháp tận dụng ưu điểm của kiến trúc RISC-V mở, bộ cộng Wallace Tree và Parallel Prefix Adder để tối ưu hóa tốc độ và hiệu quả năng lượng.
• Kết quả nghiên cứu mở ra hướng phát triển các bộ tăng tốc AI chuyên dụng cho các ứng dụng IoT và điện toán biên thời gian thực.
• Đề xuất các bước tiếp theo gồm mở rộng tích hợp cho các lõi RISC-V khác, tối ưu hóa tài nguyên, phát triển phần mềm hỗ trợ và ứng dụng thực tế trong hệ thống IoT.

Khuyến khích các nhà nghiên cứu, kỹ sư và doanh nghiệp quan tâm đến phát triển phần cứng AI và ứng dụng IoT tham khảo và phát triển tiếp giải pháp này nhằm thúc đẩy công nghệ AI tại Việt Nam và khu vực.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu đề tài Chương 2: Cơ sở lý thuyết Chương 3: Các nghiên cứu liên quan Chương 4: Thiết kế bộ tăng tốc AI Chương 5: Thiết kế hệ thống Chương 6: Kết quả và đánh giá Chương 7: Kết luận Chương 8: Tài liệu tham khảo Đặng Thành Lập (2270247) - Luận văn thạc sĩ Page 5/80 Chương 2. Cơ sở lý thuyết 2 Cơ sở lý thuyết 2.1 Trí tuệ nhân tạo – Artificial Intelligence Công nghệ trí tuệ nhân tạo (AI) cho phép máy tính và máy móc mô phỏng trí thông minh của con người và thực hiện các nhiệm vụ giải quyết vấn đề. Đặc điểm lý tưởng của trí tuệ nhân tạo là khả năng hợp lý hóa và hành động để đạt được một mục tiêu cụ thể. Nghiên cứu về AI bắt đầu từ những năm 1950 và được Bộ Quốc phòng Hoa Kỳ sử dụng vào những năm 1960 khi bộ này huấn luyện máy tính bắt chước khả năng suy luận của con người.

Việc phát triển AI chủ yếu sẽ tập trung vào ba khía cạnh của nhận thức: học hỏi, suy luận và tự điều chỉnh. • Các quá trình học tập: Khía cạnh này sẽ tập trung vào việc tìm kiếm, thu thập dữ liệu và tạo ra các quy tắc về cách biến dữ liệu thành thông tin có thể hành động. Các quy tắc, được gọi là thuật toán, cung cấp cho các thiết bị tính toán hướng dẫn từng bước về cách hoàn thành một nhiệm vụ cụ thể. • Các quy trình suy luận: Việc lập trình AI thường hay có các quy trình này để lựa chọn thuật toán phù hợp và đạt được kết quả mong muốn.

• Các quy trình tự sửa lỗi: AI sẽ được lập trình để liên tục chỉnh sửa lại các thuật toán và đảm bảo chúng cung cấp kết quả chính xác nhất có thể. Ngày nay, lượng dữ liệu được tạo ra bởi cả con người và máy móc vượt xa khả năng tiếp thu, diễn giải và đưa ra các quyết định phức tạp dựa trên dữ liệu đó của con người. Trí tuệ nhân tạo tạo thành nền tảng cho mọi hoạt động học tập trên máy tính và là tương lai của mọi hoạt động ra quyết định phức tạp. Một số tập hợp con của AI tập trung vào các khía cạnh khác nhau của nghiên cứu và ứng dụng AI trong lĩnh vực AI lớn hơn.

Mỗi tập hợp con có các vấn đề, cách tiếp cận và ứng dụng riêng biệt và chúng cùng nhau bổ sung vào lĩnh vực AI phong phú và đa dạng. Trong luận văn này sẽ tập trung tìm hiểu về nhánh Machine Learning, Deep Learning vì Deep Learning (DL) có các mô hình, thuật toán sẽ được ứng dụng trong luận văn. Học máy lấy thông tin sâu sắc từ khối lượng lớn dữ liệu bằng cách tận dụng các thuật toán để xác định các mẫu và học hỏi trong một quy trình lặp đi lặp lại. Thuật toán ML sử dụng các phương pháp tính toán để học trực tiếp từ dữ liệu thay vì dựa vào bất kỳ phương trình xác định trước nào có thể dùng làm mô hình.

Đặng Thành Lập (2270247) - Luận văn thạc sĩ Page 6/80 Chương 2. Trí tuệ nhân tạo – Artificial Intelligence Figure 2.1: Mối tương quan và các nhánh con của AI Học máy (Machine Learing - ML) là một phần của AI cung cấp trí thông minh cho máy móc với khả năng tự động học hỏi bằng trải nghiệm mà không cần được lập trình rõ ràng. Phương pháp học máy cho phép máy tính hoạt động tự chủ mà không cần lập trình rõ ràng. Các ứng dụng ML được cung cấp dữ liệu mới và chúng có thể học hỏi, phát triển, phát triển và thích ứng một cách độc lập.

Hiệu suất của thuật toán ML được cải thiện một cách thích ứng khi số lượng mẫu có sẵn tăng lên trong quá trình ’học’. Ví dụ: học sâu là một lĩnh vực phụ của học máy giúp huấn luyện máy tính bắt chước các đặc điểm tự nhiên của con người như học từ các ví dụ. Nó cung cấp các thông số hiệu suất tốt hơn các thuật toán ML thông thường. Học sâu (Deep Learning - DL) là một tập hợp con của học máy cung cấp khả năng cho máy thực hiện các nhiệm vụ giống con người mà không cần sự tham gia của con người.

Nó cung cấp khả năng cho tác nhân AI bắt chước bộ não con người. Học sâu có thể sử dụng cả phương pháp học có giám sát và không giám sát để đào tạo tác nhân AI. • Học sâu được thực hiện thông qua kiến trúc mạng lưới thần kinh do đó còn được gọi là mạng lưới thần kinh sâu. • Học sâu là công nghệ chính đằng sau xe tự lái, nhận dạng giọng nói, nhận dạng hình ảnh, dịch máy tự động, v.

• Thách thức chính đối với deep learning là nó đòi hỏi nhiều dữ liệu với nhiều sức mạnh tính toán. Đặng Thành Lập (2270247) - Luận văn thạc sĩ Page 7/80 Chương 2. Trí tuệ nhân tạo – Artificial Intelligence 2.1 Lý thuyết về học sâu A. Perceptron Thành phần cấu thành của Neural Network là neuron hay còn gọi là perceptron, một khối tính toán cố gắng mô hình hóa hành vi của một tế bào thần kinh sinh học.

Perceptron là một nơ-ron nhân tạo. Đây là mạng thần kinh đơn giản nhất có thể. Mạng thần kinh này là các khối xây dựng của học máy. Perceptron là một trong những kiến trúc mạng nơ ron nhân tạo đơn giản nhất.

Nó được Frank Rosenblatt giới thiệu vào những năm 1957. Đây là loại mạng thần kinh chuyển tiếp đơn giản nhất, bao gồm một lớp nút đầu vào được kết nối đầy đủ với một lớp nút đầu ra.2: Mô hình của neuron nhân tạo Về bản chất, neuron nhân tạo thực hiện tính toán tổng trọng số của tất cả các đầu vào của nó và độ lệch – bias b được thêm vào như là phần bù cho tổng, được thể hiện theo phương trình 1 dưới đây: N X −1 g(x) = x(i) × w(i) + bias(b) (1) 0 Cuối cùng, đầu ra của neuron thu được khi áp dụng hàm phi tuyến Activation Function (hàm kích hoạt) vào 1 như sau: y = φ(g(x)) (2) B. Neural Network Neural Network nhân tạo thường được biểu diễn dưới dạng đồ thị có hướng trong đó các nút đại diện cho các neuron. Nếu đồ thị là đồ thị không chu trình, mạng là Feedforward Neural Network.

Nếu đồ thị là đồ thị có chu trình, mạng là hồi quy Recurrent Neural Đặng Thành Lập (2270247) - Luận văn thạc sĩ Page 8/80 Chương 2. Trí tuệ nhân tạo – Artificial Intelligence Network và có thuộc tính hành vi động theo thời gian. Neural Network được mô tả trong hình 2.3: Mô hình Feedforward Neural Network và Recurrent Neural Network Các nút được tổ chức theo lớp: trong Feedforward Neural Network, mỗi neuron của lớp N nhận đầu vào của nó từ lớp N 1 và gửi đầu ra của nó tới các neuron của lớp N + 1. Các đầu vào của Neural Network hình thành lớp đầu vào –input layer và thông thường, có ít nhất một lớp xử lý các giá trị đầu vào này, được gọi là lớp đầu ra -output layer.

Tất cả các lớp được chèn giữa các input layer và output layer được định nghĩa là các lớp ẩn –hidden layer. Số lượng các hidden layer xác định độ sâu của Neural Network. Nếu có nhiều hơn ba hidden layer, Neural Network thường được gọi là Deep Neural Network. Neural Network học cách giải quyết các vấn đề khác nhau bằng cách tìm các giá trị tối ưu cho trọng số –weight và độ lệch –bias của các neuron của nó, các neuron này có thể được tổ chức và kết nối theo những cách khác nhau.

Thành phần của Neural Network: Fully-Connected Layer Lớp được kết nối đầy đủ đề cập đến một mạng lưới thần kinh trong đó mỗi nơ-ron áp dụng một phép biến đổi tuyến tính cho vectơ đầu vào thông qua ma trận trọng số. Kết quả là, tất cả các kết nối có thể có giữa các lớp đều có mặt, nghĩa là mọi đầu vào của vectơ đầu vào đều ảnh hưởng đến mọi đầu ra của vectơ đầu ra. Các thông số liên quan trong Fully-Connected Layer: – Input (I) có kích thước là IW (1D) – Weight (W) có kích thước là WW × WH (2D) – Output (O) có kích thước là OW (1D) – Bias (b) có kích thước là bW (1D) Đặng Thành Lập (2270247) - Luận văn thạc sĩ Page 9/80 Chương 2. Trí tuệ nhân tạo – Artificial Intelligence Figure 2.4: Mô hình tính toán của Fully-Connected Layer Convolution Layer Fully-Connected Layer thường không phù hợp với các tác vụ như phát hiện và nhận dạng đối tượng vì mức độ kết nối cao của chúng dẫn đến việc bùng nổ về số lượng tham số cần thiết để xử lý hình ảnh có độ phân giải cao.

Hơn nữa, Fully-Connected Layer xem việc xử lý các đầu vào gần nhau hoặc xa nhau là tương tự nhau, bỏ qua cấu trúc không gian có trong hình ảnh. Để khắc phục hai vấn đề này, vào năm 1998, một kiến trúc mới đã được đề xuất, được gọi là Convolutional Neural Network (CNN), bao gồm các Convolution Layer và khai thác các ý tưởng về tiếp nhận cục bộ (local receptive) và chia sẻ trọng số.5: Mô hình tính toán của Convolution Layer Các neuron được tổ chức theo dạng 2D, tức là bản đồ đặc trưng – feature map, và mộtneuron của lớp này không nhận tất cả các kích hoạt của lớp trước đó, mà thay vào đó, nó được kết nối với một vùng tiếp nhận nhỏ có kích thước KW × KH. Kích thước của Đặng Thành Lập (2270247) - Luận văn thạc sĩ Page 10/80 Chương 2. Trí tuệ nhân tạo – Artificial Intelligence vùng tiếp nhận và của ma trận trọng số (weight matrix), thông thường được gọi là kích thước kernel và khoảng cách giữa các trường tiếp nhận liền kề được xác định bởi tham số bước (stride).

Áp dụng ý tưởng chia sẻ trọng số, tất cả neuron của lớp này có cùng một weight matrix, phát hiện cùng một feature ở các vị trí khác nhau của lớp trước đó. Để phát hiện nhiều feature, Convolution Layer có nhiều kênh, tức là có nhiều feature map. Pooling Layer Pooling Layer thường được đặt sau Convolution Layer. Pooling Layer có các trường tiếp nhận tương tự như Convolution Layer.

Đối với nhóm các neuron trong mỗi trường tiếp nhận, chúng trả về một giá trị duy nhất chứa thông tin liên quan tới thống kê của nhóm như giá trị tối đa hoặc giá trị trung bình. Thông số stride thường được đặt bằng với kích thước của vùng tiếp nhận để các vùng này không chồng lên nhau. Pooling Layer làm giảm số lượng activation của một lớp và do đó làm giảm bộ nhớ yêu cầu và số lượng tính toán cần được thực hiện sau đó. Hơn nữa, Pooling Layer đạt được sự bất biến đối với việc dịch cục bộ tương đối nhỏ.