Triển Khai Mạng Nơron Tích Chập Trên Nền Tảng FPGA Và Ứng Dụng Trong Nhận Dạng Ảnh

Tài liệu nghiên cứu Triển khai mạng nơron tích chập trên nền tảng fpga và ứng dụng trong nhận dạng ảnh, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về .

• Tác giả: Nguyễn Thị Hà
• Người hướng dẫn: TS. Nguyễn Phương Huy
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Kỹ thuật Điện tử
• Đề tài: Triển Khai Mạng Nơron Tích Chập Trên FPGA Để Nhận Dạng Ảnh
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• 1. CHƯƠNG 1: MẠNG CNN VÀ ỨNG DỤNG TRONG NHẬN DẠNG ẢNH
• 1.1. Giới thiệu chương 1
• 1.2. Bài toán nhận dạng ảnh số
• 1.3. Nhận dạng ảnh số
• 1.4. Hệ thống nhận dạng hình ảnh
• 1.5. Các hướng tiếp cận chính trong nhận dạng ảnh
• 1.6. Ứng dụng của nhận dạng ảnh
• 1.7. Tổng quan về mạng CNN
• 1.8. Mạng nơron sinh học
• 1.9. Mạng nơron nhân tạo
• 1.10. Phép tích chập trong xử lý ảnh
• 1.11. Mạng nơron CNN
• 1.12. Kiến trúc mạng CNN
• 1.13. Ứng dụng của mạng CNN trong nhận dạng ảnh
• 1.14. Trường tiếp nhận cục bộ (Local receptive fields)
• 1.15. Trọng số chia sẻ và độ lệch (Shared weights and biases)
• 1.16. Lớp chứa hay lớp tổng hợp (Pooling layer)
• 1.17. Cách chọn tham số cho CNN
• 1.18. Cập nhật các nghiên cứu ứng dụng mạng CNN trong nhận dạng ảnh
• 1.19. Các nghiên cứu trên thế giới
• 1.20. Các nghiên cứu trong nước
• 1.21. Kết luận chương 1
• 2. CHƯƠNG 2: THỰC THI MẠNG CNN TRÊN NỀN TẢNG FPGA
• 2.1. Giới thiệu chương
• 2.2. Tổng quan về công nghệ FPGA
• 2.3. Giới thiệu về FPGA. Kiến trúc cơ bản của chip FPGA. Quá trình lập trình FPGA
• 2.4. Công cụ phát triển và ngôn ngữ lập trình
• 2.5. Thực thi mạng CNN trên nền tảng FPGA
• 2.6. Xây dựng trực tiếp các modul dựa trên ngôn ngữ mô tả phần cứng
• 2.7. Xây dựng mạng CNN dựa trên các công cụ tổng hợp mức cao
• 2.8. Thực thi thiết kế FPGA bằng công cụ HLS trên kit NB2DSK01
• 2.9. Giới thiệu về NB2DSK01
• 2.10. Giới thiệu phần mềm Altium Designer
• 2.11. Các bước thực hiện
• 2.12. Kết luận chương
• 3. CHƯƠNG 3: XÂY DỰNG MÔ HÌNH THỬ NGHIỆM
• 3.1. Giới thiệu chương
• 3.2. Mô tả bài toán thực thi mạng CNN cho nhận dạng chữ số viết tay MNIST
• 3.3. Lựa chọn kiến trúc và tìm kiếm tham số tối ưu của mạng CNN cho bài toán nhận dạng chữ viết tay MNIST
• 3.3.1. Lựa chọn kiến trúc mạng CNN
• 3.3.2. Tìm kiếm tham số tối ưu của mạng CNN
• 3.4. Thực thi kiến trúc mạng CNN trên Kit NB2DSK01 và phần mềm Altium Designer
• 3.5. Một số kết quả đạt được
• 3.6. Kết luận chương
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Ứng Dụng CNN Trên FPGA Nhận Dạng Ảnh 55 ký tự

Học sâu (Deep Learning - DL) đã đạt được nhiều thành tựu vượt bậc trong ngành thị giác máy tính. Các tập đoàn lớn như Facebook, Google, Amazon đã và đang sử dụng DL, đặc biệt là mạng nơ-ron tích chập (CNN), trong các sản phẩm của mình để nhận diện khuôn mặt, phát triển xe tự lái. Mạng nơron tích chập (CNN) là một mô hình DL có độ chính xác cao, được triển khai nhiều trong các ứng dụng, đặc biệt là trong nhận dạng ảnh. Mô hình mạng CNN thông thường phải thực hiện một lượng lớn các phép toán với kiểu dữ liệu dấu chấm động. Điều này đòi hỏi phần cứng phức tạp với tốc độ xử lý nhanh và không gian bộ nhớ lớn để huấn luyện và thực thi. CNN bao gồm nhiều lớp liên tiếp nhau: lớp tích chập, lớp tổng hợp và lớp kết nối đầy đủ. Khối lượng tính toán chủ yếu nằm ở các phép toán tích chập (convolution) để trích đặc trưng các đối tượng ảnh đầu vào. Các nghiên cứu đã chứng minh triển khai CNN trên FPGA có thể tăng tốc độ tính toán và tối ưu năng lượng tiêu thụ.

1.1. Tổng quan về Mạng Nơ ron Tích Chập CNN trong AI

Mạng Nơ-ron Tích Chập (CNN) là một kiến trúc học sâu đặc biệt hiệu quả trong việc xử lý dữ liệu có cấu trúc lưới, như hình ảnh và video. CNN có khả năng tự động học các đặc trưng quan trọng từ dữ liệu đầu vào, giúp giảm thiểu công sức tiền xử lý và trích xuất đặc trưng thủ công. Theo Nguyễn Thị Hà trong luận văn của mình, CNN được triển khai nhiều trong các ứng dụng, đặc biệt là trong nhận dạng ảnh. Các lớp tích chập, lớp gộp và lớp kết nối đầy đủ tạo thành một mạng lưới mạnh mẽ, có thể phát hiện các mẫu phức tạp và đưa ra dự đoán chính xác. CNN là một công cụ không thể thiếu trong lĩnh vực trí tuệ nhân tạo (AI) và computer vision.

1.2. Tầm quan trọng của FPGA trong tăng tốc AI nhận dạng ảnh

FPGA (Field Programmable Gate Array) cung cấp một nền tảng phần cứng linh hoạt và có khả năng tái cấu trúc, cho phép các nhà phát triển tùy chỉnh kiến trúc để tối ưu hóa cho các tác vụ cụ thể. Trong bối cảnh tăng tốc AI, FPGA nổi lên như một giải pháp tiềm năng để triển khai các mô hình CNN phức tạp với hiệu suất cao và mức tiêu thụ năng lượng thấp. Việc sử dụng FPGA cho phép thực hiện các phép toán song song và tối ưu hóa luồng dữ liệu, giúp giảm thiểu thời gian xử lý và cải thiện hiệu quả năng lượng so với các nền tảng xử lý truyền thống như CPU và GPU. Điều này đặc biệt quan trọng trong các ứng dụng nhúng và di động, nơi yêu cầu về hiệu suất và năng lượng là rất khắt khe.

II. Thách Thức và Giải Pháp Triển Khai CNN Trên FPGA 58 ký tự

Việc triển khai mạng CNN trên FPGA không hề đơn giản. Một trong những thách thức lớn nhất là sự phức tạp trong việc lập trình và tối ưu hóa phần cứng. Các nhà phát triển cần có kiến thức chuyên sâu về cả phần mềm (mô hình CNN) và phần cứng (thiết kế FPGA). Giải pháp chính là sử dụng các công cụ high-level synthesis (HLS), cho phép lập trình FPGA bằng các ngôn ngữ cấp cao như C/C++. Điều này giúp giảm bớt độ phức tạp và thời gian phát triển. Ngoài ra, cần tối ưu hóa kiến trúc CNN để phù hợp với tài nguyên hạn chế của FPGA, ví dụ như giảm độ phức tạp của mô hình, sử dụng lượng tử hóa để giảm kích thước dữ liệu, và tối ưu hóa luồng dữ liệu để giảm thiểu độ trễ.

2.1. Hạn chế tài nguyên FPGA khi thực thi CNN cho ảnh

Các thiết bị FPGA có tài nguyên hạn chế về bộ nhớ, logic và băng thông so với các nền tảng xử lý khác. Việc triển khai các mô hình CNN lớn và phức tạp đòi hỏi phải tối ưu hóa việc sử dụng tài nguyên để đảm bảo hiệu suất và độ chính xác. Các kỹ thuật như lượng tử hóa, cắt tỉa và nén mô hình có thể được sử dụng để giảm kích thước và độ phức tạp của CNN, giúp chúng phù hợp hơn với tài nguyên hạn chế của FPGA. Ngoài ra, việc thiết kế kiến trúc phần cứng hiệu quả và tối ưu hóa luồng dữ liệu cũng là rất quan trọng để đạt được hiệu suất tối ưu trên FPGA.

2.2. Lập trình và tối ưu hóa thiết kế FPGA cho CNN nhận dạng

Lập trình FPGA yêu cầu kiến thức chuyên sâu về cả phần mềm và phần cứng. Các công cụ high-level synthesis (HLS) giúp đơn giản hóa quá trình phát triển bằng cách cho phép lập trình FPGA bằng các ngôn ngữ cấp cao. Tuy nhiên, việc tối ưu hóa thiết kế FPGA cho CNN vẫn đòi hỏi sự hiểu biết về kiến trúc phần cứng và các kỹ thuật tối ưu hóa. Các kỹ thuật như unrolling loop, pipelining và memory partitioning có thể được sử dụng để cải thiện hiệu suất và hiệu quả năng lượng của thiết kế FPGA.

III. Phương Pháp Tăng Tốc Phần Cứng CNN Trên Nền Tảng FPGA 57 ký tự

Có nhiều phương pháp để tăng tốc phần cứng CNN trên FPGA. Một phương pháp phổ biến là sử dụng kiến trúc song song, cho phép thực hiện nhiều phép toán đồng thời. Điều này có thể đạt được bằng cách triển khai nhiều bộ xử lý (processing element - PE) trên FPGA, mỗi PE thực hiện một phần của phép toán CNN. Một phương pháp khác là sử dụng các bộ nhớ cục bộ để lưu trữ dữ liệu tạm thời, giảm thiểu việc truy cập bộ nhớ ngoài và cải thiện hiệu suất. Ngoài ra, việc sử dụng các kỹ thuật tối ưu hóa CNN như lượng tử hóa và cắt tỉa cũng có thể giúp tăng tốc phần cứng.

3.1. Ứng dụng HLS High Level Synthesis cho thiết kế FPGA

High-Level Synthesis (HLS) là một công cụ mạnh mẽ cho phép các nhà phát triển sử dụng các ngôn ngữ cấp cao như C/C++ để mô tả các thuật toán và sau đó tự động tạo ra mã phần cứng tương ứng cho FPGA. HLS giúp giảm đáng kể thời gian phát triển và cho phép các nhà phát triển tập trung vào việc tối ưu hóa thuật toán thay vì phải lo lắng về các chi tiết triển khai phần cứng. Theo tài liệu, quy trình thiết kế Vivado HLS thường được sử dụng trong việc triển khai CNN trên FPGA.

3.2. Tối ưu hóa kiến trúc dữ liệu để cải thiện hiệu năng CNN

Kiến trúc dữ liệu đóng một vai trò quan trọng trong hiệu năng của CNN trên FPGA. Việc lựa chọn định dạng dữ liệu phù hợp (ví dụ: số nguyên, số dấu phẩy động, hoặc định dạng cố định) và tối ưu hóa cách dữ liệu được lưu trữ và truy cập có thể cải thiện đáng kể hiệu suất. Các kỹ thuật như sử dụng bộ nhớ cục bộ, tối ưu hóa luồng dữ liệu và giảm thiểu việc truy cập bộ nhớ ngoài có thể giúp giảm độ trễ và tăng tốc độ xử lý.

3.3. Kỹ thuật pipelining và unrolling loop trong thiết kế FPGA

Pipelining và unrolling loop là các kỹ thuật tối ưu hóa thường được sử dụng trong thiết kế FPGA để tăng tốc độ xử lý. Pipelining cho phép thực hiện nhiều phép toán đồng thời bằng cách chia nhỏ một phép toán phức tạp thành nhiều giai đoạn và thực hiện chúng song song. Unrolling loop mở rộng các vòng lặp để giảm số lượng lần lặp và tăng khả năng song song hóa. Việc áp dụng các kỹ thuật này có thể giúp cải thiện đáng kể hiệu suất của CNN trên FPGA.

IV. Ứng Dụng Thực Tế Nhận Dạng Chữ Số MNIST trên FPGA 60 ký tự

Một ứng dụng phổ biến của CNN trên FPGA là nhận dạng chữ số viết tay MNIST. Bộ dữ liệu MNIST là một bộ dữ liệu chuẩn chứa các hình ảnh chữ số viết tay, thường được sử dụng để đánh giá hiệu suất của các mô hình học máy. Bằng cách triển khai một mô hình CNN được huấn luyện trên bộ dữ liệu MNIST trên FPGA, có thể đạt được tốc độ nhận dạng rất cao với mức tiêu thụ năng lượng thấp. Luận văn sử dụng tập mẫu MNIST để xây dựng kiến trúc mạng CNN hiệu quả cho bài toán nhận dạng chữ số viết tay và thực thi trên chip FPGA.

4.1. Lựa chọn kiến trúc CNN phù hợp cho MNIST trên FPGA

Việc lựa chọn kiến trúc CNN phù hợp là rất quan trọng để đạt được hiệu suất tốt trên FPGA. Các kiến trúc đơn giản hơn, như LeNet-5, thường phù hợp hơn cho FPGA do yêu cầu tài nguyên thấp hơn. Tuy nhiên, các kiến trúc phức tạp hơn, như AlexNet hoặc VGGNet, có thể đạt được độ chính xác cao hơn, nhưng đòi hỏi nhiều tài nguyên hơn và có thể khó triển khai trên FPGA. Việc tìm kiếm sự cân bằng giữa độ chính xác và yêu cầu tài nguyên là rất quan trọng.

4.2. Kết quả thực nghiệm và so sánh hiệu năng CNN FPGA

Các kết quả thực nghiệm cho thấy rằng việc triển khai CNN trên FPGA có thể đạt được hiệu suất cao hơn đáng kể so với việc triển khai trên CPU hoặc GPU trong một số trường hợp nhất định. Ví dụ, tăng tốc phần cứng CNN có thể mang lại tốc độ nhận dạng nhanh hơn và mức tiêu thụ năng lượng thấp hơn. Tuy nhiên, hiệu suất thực tế phụ thuộc vào nhiều yếu tố, bao gồm kiến trúc CNN, thiết kế FPGA, và bộ dữ liệu được sử dụng.

V. Sử Dụng Vivado HLS Để Triển Khai YOLO Trên FPGA 60 ký tự

Một hướng tiếp cận hiệu quả khác là sử dụng Vivado HLS (High-Level Synthesis) để triển khai các mô hình phức tạp như YOLO (You Only Look Once) trên FPGA. Vivado HLS cho phép các nhà phát triển viết mã bằng C/C++ và tự động chuyển đổi thành phần cứng tương ứng trên FPGA. Điều này giảm đáng kể thời gian phát triển và cho phép các nhà nghiên cứu tập trung vào việc tối ưu hóa hiệu suất của mô hình thay vì phải viết mã VHDL/Verilog phức tạp. Ngoài ra, Vivado HLS cung cấp các công cụ để phân tích và tối ưu hóa hiệu suất, giúp các nhà phát triển đạt được hiệu suất tốt nhất trên FPGA.

5.1. Giới thiệu về YOLO và ưu điểm của nó trong nhận dạng ảnh

YOLO là một thuật toán nhận dạng ảnh thời gian thực phổ biến, được biết đến với tốc độ xử lý nhanh và độ chính xác chấp nhận được. YOLO có khả năng phát hiện nhiều đối tượng trong một hình ảnh cùng một lúc, làm cho nó phù hợp cho các ứng dụng như xe tự lái và giám sát video. Việc triển khai YOLO trên FPGA có thể mang lại hiệu suất cao hơn so với triển khai trên CPU hoặc GPU, đặc biệt là trong các ứng dụng yêu cầu độ trễ thấp và tốc độ khung hình cao.

5.2. Các bước triển khai YOLO trên FPGA sử dụng Vivado HLS

Việc triển khai YOLO trên FPGA bằng Vivado HLS bao gồm một số bước chính. Đầu tiên, mô hình YOLO được viết bằng C/C++. Sau đó, Vivado HLS được sử dụng để chuyển đổi mã C/C++ thành phần cứng tương ứng trên FPGA. Các nhà phát triển có thể sử dụng các công cụ của Vivado HLS để phân tích và tối ưu hóa hiệu suất của thiết kế phần cứng. Cuối cùng, thiết kế phần cứng được triển khai trên FPGA để thực hiện nhận dạng ảnh thời gian thực.

VI. Kết Luận và Hướng Phát Triển CNN trên FPGA 59 ký tự

Việc triển khai mạng CNN trên FPGA là một lĩnh vực nghiên cứu đầy tiềm năng, hứa hẹn mang lại hiệu suất cao và mức tiêu thụ năng lượng thấp cho các ứng dụng nhận dạng ảnh. Mặc dù có những thách thức nhất định, nhưng sự phát triển của các công cụ HLS và các kỹ thuật tối ưu hóa CNN đang giúp đơn giản hóa quá trình phát triển và mở ra nhiều cơ hội mới. Các hướng phát triển trong tương lai bao gồm nghiên cứu các kiến trúc CNN hiệu quả hơn cho FPGA, phát triển các công cụ HLS mạnh mẽ hơn, và khám phá các ứng dụng mới của CNN trên FPGA.

6.1. Tóm tắt các ưu điểm và hạn chế của CNN trên FPGA

Ưu điểm của việc triển khai CNN trên FPGA bao gồm hiệu suất cao, mức tiêu thụ năng lượng thấp, và khả năng tùy chỉnh. Tuy nhiên, cũng có những hạn chế, chẳng hạn như độ phức tạp trong việc lập trình và tối ưu hóa phần cứng, và yêu cầu tài nguyên hạn chế của FPGA. Việc cân nhắc các ưu điểm và hạn chế này là rất quan trọng khi quyết định sử dụng FPGA cho ứng dụng nhận dạng ảnh.

6.2. Các hướng nghiên cứu tiềm năng cho CNN và FPGA trong tương lai

Các hướng nghiên cứu tiềm năng cho CNN và FPGA trong tương lai bao gồm phát triển các kiến trúc CNN hiệu quả hơn cho FPGA, phát triển các công cụ HLS mạnh mẽ hơn, khám phá các ứng dụng mới của CNN trên FPGA, và nghiên cứu các kỹ thuật tối ưu hóa CNN mới. Việc tiếp tục nghiên cứu và phát triển trong lĩnh vực này có thể mang lại nhiều lợi ích cho các ứng dụng nhận dạng ảnh và các lĩnh vực liên quan.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của trí tuệ nhân tạo và học sâu, mạng nơron tích chập (Convolutional Neural Network - CNN) đã trở thành công cụ chủ đạo trong lĩnh vực nhận dạng hình ảnh với độ chính xác cao. Theo báo cáo của ngành, các mô hình CNN hiện nay thường yêu cầu phần cứng có khả năng xử lý nhanh và dung lượng bộ nhớ lớn do khối lượng tính toán phức tạp, đặc biệt là các phép toán tích chập trên dữ liệu dấu chấm động. Điều này gây khó khăn cho việc triển khai trên các thiết bị nhúng có cấu hình phần cứng hạn chế. FPGA (Field Programmable Gate Array) được xem là nền tảng tiềm năng để thực thi mạng CNN nhờ khả năng xử lý song song, hiệu năng cao và tiêu thụ năng lượng thấp.

Luận văn tập trung nghiên cứu triển khai mạng CNN trên nền tảng FPGA Cyclone II EP2C35F672C8 thuộc Kit phát triển NB2DSK01 của hãng Altium Designer, ứng dụng trong bài toán nhận dạng chữ số viết tay từ bộ dữ liệu MNIST. Mục tiêu chính là xây dựng kiến trúc mạng CNN hiệu quả, tìm kiếm tham số tối ưu và thực thi trên FPGA nhằm tăng tốc độ xử lý và giảm tiêu thụ năng lượng so với các nền tảng truyền thống như CPU hay vi điều khiển Raspberry Pi. Phạm vi nghiên cứu giới hạn trong việc thiết kế, huấn luyện và triển khai mạng CNN cho nhận dạng ảnh chữ số viết tay trong khoảng thời gian nghiên cứu năm 2023 tại Trường Đại học Kỹ thuật Công nghiệp, Đại học Thái Nguyên.

Nghiên cứu có ý nghĩa quan trọng trong việc mở rộng ứng dụng mạng CNN trên các thiết bị nhúng, góp phần phát triển các hệ thống nhận dạng ảnh thời gian thực với chi phí và năng lượng tối ưu. Kết quả nghiên cứu cũng làm nền tảng cho việc triển khai các mô hình học sâu phức tạp hơn như LSTM, Transformer trong tương lai.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: mạng nơron nhân tạo (Artificial Neural Network - ANN) và mạng nơron tích chập (CNN). ANN mô phỏng cấu trúc nơron sinh học với các nơron nhân tạo được tổ chức thành các lớp, mỗi nơron có trọng số và độ lệch ảnh hưởng đến tín hiệu đầu ra. CNN phát triển từ ANN, sử dụng phép tích chập (convolution) để trích xuất đặc trưng không gian từ ảnh đầu vào, kết hợp với các lớp pooling để giảm chiều dữ liệu và lớp kết nối đầy đủ để phân loại.

Ba khái niệm chuyên ngành quan trọng trong nghiên cứu gồm:

• Phép tích chập (Convolution): Phép toán tuyến tính kết hợp ảnh đầu vào với bộ lọc (kernel) để tạo bản đồ đặc trưng, giúp phát hiện các đặc điểm như biên, góc, hoặc các mẫu hình ảnh.
• Trường tiếp nhận cục bộ (Local receptive field): Mỗi nơron trong lớp tích chập chỉ kết nối với một vùng nhỏ của ảnh đầu vào, giúp mạng học các đặc trưng cục bộ.
• Trọng số chia sẻ (Shared weights) và độ lệch (bias): Các trọng số của bộ lọc được dùng chung cho toàn bộ ảnh, giảm số lượng tham số và tăng hiệu quả học.

Ngoài ra, các lớp ReLU (Rectified Linear Units) được sử dụng làm hàm kích hoạt phi tuyến, và lớp pooling (max-pooling hoặc average-pooling) giúp giảm kích thước dữ liệu đầu ra, hạn chế overfitting và tăng tốc độ xử lý.

Phương pháp nghiên cứu

Luận văn sử dụng phương pháp nghiên cứu kết hợp lý thuyết và thực nghiệm:

• Nguồn dữ liệu: Bộ dữ liệu MNIST gồm 70,000 ảnh chữ số viết tay kích thước 28x28 pixel, được chia thành tập huấn luyện, tập đánh giá và tập thử nghiệm.
• Phương pháp phân tích:
  • Huấn luyện mạng CNN trên máy tính để tìm kiếm kiến trúc và tham số tối ưu (số lượng lớp tích chập, kích thước kernel, số lượng bản đồ đặc trưng, stride, padding).
  • Triển khai mạng CNN trên FPGA Cyclone II EP2C35F672C8 sử dụng ngôn ngữ mô tả phần cứng HDL và công cụ tổng hợp mức cao HLS trên Kit NB2DSK01.
  • So sánh hiệu năng thực thi mạng CNN trên FPGA với các nền tảng khác như PC và vi điều khiển Raspberry Pi về thời gian xử lý và tiêu thụ năng lượng.
• Timeline nghiên cứu: Quá trình nghiên cứu kéo dài trong năm 2023, bao gồm giai đoạn tổng hợp lý thuyết, thiết kế mô hình, huấn luyện mạng, triển khai phần cứng và đánh giá kết quả.

Phương pháp chọn mẫu là sử dụng toàn bộ bộ dữ liệu MNIST để đảm bảo tính đại diện và độ tin cậy của kết quả. Việc lựa chọn FPGA Cyclone II dựa trên khả năng lập trình linh hoạt, hiệu năng xử lý song song và phù hợp với các thiết bị nhúng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Kiến trúc mạng CNN tối ưu cho nhận dạng chữ số MNIST:
   Mạng CNN với 3 lớp tích chập, kích thước kernel 5x5, stride=1, padding=1 và 3 bản đồ đặc trưng mỗi lớp đạt độ chính xác huấn luyện trên 99%. Việc sử dụng max-pooling 2x2 sau mỗi lớp tích chập giúp giảm kích thước dữ liệu đầu ra xuống còn 12x12, giảm số lượng tham số và tăng tốc độ xử lý.

2. Hiệu quả thực thi trên FPGA:
   Mạng CNN được triển khai trên FPGA Cyclone II EP2C35F672C8 cho thời gian xử lý trung bình mỗi ảnh là khoảng 15ms, nhanh hơn 40% so với vi điều khiển Raspberry Pi 4 và giảm 60% so với thực thi trên CPU máy tính cá nhân. FPGA cũng tiêu thụ năng lượng thấp hơn khoảng 30% so với các nền tảng khác.

3. Tối ưu hóa tham số mạng CNN:
   Việc sử dụng công cụ HLS giúp rút ngắn thời gian phát triển và tối ưu hóa hiệu năng phần cứng. Tham số như số lượng bản đồ đặc trưng và kích thước kernel ảnh hưởng trực tiếp đến độ chính xác và tốc độ xử lý. Ví dụ, tăng số lượng bản đồ đặc trưng từ 3 lên 20 làm tăng độ chính xác lên 99.5% nhưng thời gian xử lý tăng 25%.

4. So sánh với các nghiên cứu trong nước và quốc tế:
   Kết quả đạt được tương đương hoặc vượt trội so với các nghiên cứu trước đây về nhận dạng chữ số viết tay sử dụng CNN trên FPGA, với độ chính xác trên 99% và thời gian xử lý phù hợp cho ứng dụng thời gian thực.

Thảo luận kết quả

Nguyên nhân chính của hiệu quả cao khi triển khai mạng CNN trên FPGA là khả năng xử lý song song và tối ưu hóa phần cứng cho các phép toán tích chập. Việc sử dụng các kỹ thuật như trọng số chia sẻ và pooling giúp giảm đáng kể số lượng tham số, từ đó giảm tải bộ nhớ và tăng tốc độ xử lý.

So với các nghiên cứu khác, việc lựa chọn kiến trúc mạng CNN phù hợp với bài toán MNIST và tối ưu hóa tham số trên FPGA đã giúp cân bằng tốt giữa độ chính xác và hiệu năng. Kết quả này khẳng định tính khả thi của việc ứng dụng FPGA trong các hệ thống nhận dạng ảnh nhúng, đặc biệt trong các thiết bị có giới hạn về công suất và chi phí.

Dữ liệu có thể được trình bày qua biểu đồ so sánh thời gian xử lý và độ chính xác giữa các nền tảng FPGA, Raspberry Pi và PC, cũng như bảng tổng hợp các tham số mạng CNN và kết quả huấn luyện.

Đề xuất và khuyến nghị

1. Phát triển các kiến trúc CNN đa lớp sâu hơn trên FPGA:
   Để nâng cao độ chính xác nhận dạng, cần nghiên cứu triển khai các mạng CNN sâu hơn như ResNet hoặc DenseNet trên FPGA, đồng thời tối ưu hóa tài nguyên phần cứng để đảm bảo tốc độ xử lý.

2. Tối ưu hóa thuật toán và phần cứng cho các ứng dụng thời gian thực:
   Áp dụng các kỹ thuật nén mô hình, giảm độ chính xác số học (quantization) và thiết kế pipeline xử lý song song nhằm giảm độ trễ và tiêu thụ năng lượng, phù hợp cho các thiết bị nhúng.

3. Mở rộng ứng dụng sang các bài toán nhận dạng phức tạp hơn:
   Triển khai mạng CNN trên FPGA cho các bài toán nhận dạng khuôn mặt, vật thể trong video hoặc xử lý tín hiệu đa chiều, tận dụng khả năng xử lý song song và linh hoạt của FPGA.

4. Đào tạo và chuyển giao công nghệ:
   Tổ chức các khóa đào tạo về thiết kế mạng CNN trên FPGA cho sinh viên và kỹ sư, đồng thời phát triển các bộ công cụ phần mềm hỗ trợ thiết kế và triển khai nhanh chóng.

Các giải pháp trên nên được thực hiện trong vòng 1-2 năm tới, với sự phối hợp giữa các trường đại học, viện nghiên cứu và doanh nghiệp công nghệ.

Đối tượng nên tham khảo luận văn

1. Sinh viên và nghiên cứu sinh ngành Kỹ thuật Điện tử và Công nghệ Thông tin:
   Luận văn cung cấp kiến thức nền tảng và thực tiễn về mạng CNN và FPGA, giúp nâng cao kỹ năng thiết kế hệ thống nhúng và học sâu.

2. Kỹ sư phát triển phần cứng và phần mềm nhúng:
   Tham khảo để áp dụng các phương pháp tối ưu hóa mạng CNN trên FPGA, cải thiện hiệu năng và tiết kiệm năng lượng cho các sản phẩm nhúng.

3. Nhà nghiên cứu trong lĩnh vực trí tuệ nhân tạo và thị giác máy tính:
   Cung cấp cơ sở lý thuyết và thực nghiệm về triển khai mạng CNN trên phần cứng chuyên dụng, mở rộng hướng nghiên cứu ứng dụng học sâu.

4. Doanh nghiệp phát triển thiết bị IoT và hệ thống nhận dạng thông minh:
   Hướng dẫn thiết kế và triển khai các giải pháp nhận dạng ảnh hiệu quả trên nền tảng FPGA, giảm chi phí và tăng tính cạnh tranh sản phẩm.

Câu hỏi thường gặp

1. Tại sao chọn FPGA để triển khai mạng CNN thay vì CPU hay GPU?
   FPGA cung cấp khả năng xử lý song song cao, tiêu thụ năng lượng thấp và có thể tùy chỉnh phần cứng cho các phép toán tích chập, phù hợp với các thiết bị nhúng có giới hạn về công suất và chi phí.

2. Bộ dữ liệu MNIST có phù hợp để đánh giá mạng CNN trên FPGA không?
   MNIST là bộ dữ liệu chuẩn quốc tế với 70,000 ảnh chữ số viết tay, được sử dụng rộng rãi để huấn luyện và đánh giá các mô hình nhận dạng ảnh, giúp so sánh kết quả một cách khách quan.

3. Làm thế nào để tối ưu tham số mạng CNN cho FPGA?
   Tham số như số lớp tích chập, kích thước kernel, số lượng bản đồ đặc trưng, stride và padding được điều chỉnh qua quá trình huấn luyện và thử nghiệm để cân bằng giữa độ chính xác và hiệu năng phần cứng.

4. Có thể áp dụng phương pháp này cho các bài toán nhận dạng khác không?
   Có, kiến trúc và phương pháp triển khai mạng CNN trên FPGA có thể mở rộng cho các bài toán nhận dạng khuôn mặt, vật thể, video hoặc xử lý tín hiệu đa chiều với các điều chỉnh phù hợp.

5. Thời gian xử lý trên FPGA có đáp ứng yêu cầu thời gian thực không?
   Kết quả nghiên cứu cho thấy thời gian xử lý trung bình khoảng 15ms mỗi ảnh, đủ nhanh để ứng dụng trong các hệ thống nhận dạng thời gian thực với yêu cầu xử lý nhanh và chính xác.

Kết luận

• Đã xây dựng và huấn luyện thành công mạng CNN với kiến trúc tối ưu cho bài toán nhận dạng chữ số viết tay MNIST, đạt độ chính xác trên 99%.
• Triển khai mạng CNN trên FPGA Cyclone II EP2C35F672C8 cho hiệu năng xử lý nhanh hơn 40% so với vi điều khiển Raspberry Pi và tiết kiệm năng lượng đáng kể.
• Phương pháp sử dụng công cụ tổng hợp mức cao HLS giúp rút ngắn thời gian phát triển và tối ưu hóa hiệu quả phần cứng.
• Kết quả nghiên cứu mở ra hướng phát triển các hệ thống nhận dạng ảnh nhúng hiệu quả, phù hợp với các ứng dụng thời gian thực và thiết bị có giới hạn tài nguyên.
• Đề xuất các hướng nghiên cứu tiếp theo bao gồm phát triển mạng CNN sâu hơn, tối ưu thuật toán và mở rộng ứng dụng sang các lĩnh vực nhận dạng phức tạp hơn.

Luận văn khuyến khích các nhà nghiên cứu và kỹ sư tiếp tục khai thác tiềm năng của FPGA trong lĩnh vực học sâu, đồng thời áp dụng các giải pháp tối ưu để phát triển các hệ thống nhận dạng thông minh, hiệu quả và tiết kiệm năng lượng.

Trích đoạn nội dung tài liệu

chương 1 là làm rõ cách thức mà mạng CNN hoạt động đối với bài toán nhận dạng hình ảnh. Chính vì vậy, phần đầu chương sẽ giới thiệu về bài toán nhận dạng ảnh số, các khâu quan trọng trong hệ thống nhận dạng ảnh, các hướng tiếp cận chính trong nhận dạng ảnh (bao gồm các kỹ thuật trích, chọn đặc trưng và phân loại). Phần tiếp theo của chương trình bày các kiến thức tổng quan về mạng CNN. Bắt đầu từ ý tưởng hình thành mạng CNN cho đến việc triển khai kiến trúc của mạng CNN nhằm thực thi hai tác vụ quan trọng trong bài toán nhận dạng (trích rút đặc trưng và phân lớp).

Phần kế tiếp của chương sẽ mô tả cụ thể cách thức hoạt động của mạng CNN trong bài toán nhận dạng ảnh. Phần cuối chương sẽ cập nhật các kết quả nghiên cứu trong và ngoài nước về việc ứng dụng mạng CNN trong nhận dạng hình ảnh. Bài toán nhận dạng ảnh số 1. Ảnh số Hình 1.

Ảnh số trắng đen và ảnh màu Như chỉ ra trong Hình 1.1, một hình ảnh số (đen trắng) có thể được định nghĩa là hàm hai chiều, f (x, y), trong đó x và y là tọa độ không gian (mặt phẳng) và biên độ của f tại bất kỳ cặp tọa độ (x, y) nào được gọi là cường độ hoặc mức độ màu xám của hình ảnh tại điểm đó. Khi x, y và các giá trị cường độ của f đều là các đại lượng hữu hạn, rời rạc, chúng ta gọi hình ảnh là hình ảnh kỹ thuật số". Có thể hiểu một cách 6 đơn giản rằng "Ảnh số là số hóa làm cho một hình ảnh kỹ thuật số trở thành một xấp xỉ của một cảnh thực". Hình ảnh kỹ thuật số chứa một số lượng hữu hạn các hàng và cột của các phần tử.

Mỗi phần tử được gọi là điểm ảnh (pixel). Với ảnh màu ta hay nhìn thì mỗi điểm ảnh sẽ có 3 giá trị tương ứng với độ sáng của các màu đỏ, xanh lục, xanh dương (RGB) 1. Nhận dạng ảnh số Nhận dạng ảnh số (hay phân loại ảnh số) là một trong những tác vụ của thị giác máy tính, ở đó thuật toán xem xét và dán nhãn cho hình ảnh từ một tập danh mục được xác định và huấn luyện trước. Minh họa hệ thống nhận dạng ảnh Chó/Mèo Ví dụ, như mô tả trong Hình 1.2, với một tập các hình ảnh, mỗi hình ảnh mô tả một con mèo hoặc một con chó, thuật toán sẽ “quan sát” toàn bộ dữ liệu và dựa trên hình dạng, màu sắc để hình thành giả thuyết liên quan đến nội dung của ảnh.

Kết quả thu được là từ tập dữ liệu ban đầu, các hình ảnh chó/mèo đã được phân loại một cách tự động. Thực tế, thị giác góp phần tạo nên 80-85% nhận thức của con người về thế giới. Hàng ngày, mỗi người phải thực hiện nhận dạng trên bất kỳ dữ liệu hình ảnh nào mà chúng ta bắt gặp. Do đó, mô phỏng nhiệm vụ nhận dạng ảnh với sự trợ giúp của mạng nơron (và gần đây là mạng nơron CNN) là một trong những ứng dụng đầu tiên của thị giác máy tính mà các nhà nghiên cứu nghĩ đến.

Hệ thống nhận dạng hình ảnh Nhiệm vụ của hệ thống nhận dạng hình ảnh là xử lý tự động thông tin từ các ảnh để tìm ra độ tương tự giữa chúng và đưa ra quyết định về tính đồng nhất giữa chúng. Cấu trúc của hệ thống nhận dạng hình ảnh được thể hiện như Hình 1.3 và gồm các khâu chức năng sau: - Tiền xử lý (Pre-Processing): Bước này nhằm mục đích lọc nhiễu, nâng cao chất lượng ảnh để chuẩn hóa ảnh cần tìm giúp cho việc tìm kiếm được hiệu quả hơn. Các công việc trong bước tiền xử lý có thể là: Chuẩn hóa kích cỡ giữa ảnh trong cơ sở dữ liệu và ảnh cần tìm, hiệu chỉnh độ sáng, tối của ảnh; lọc nhiễu, chuẩn hóa về vị trí. - Trích chọn đặc trưng (FE): Tìm ra các đặc trưng chính của ảnh, từ các đặc trưng này hình thành các vector đặc trưng, các vector này sẽ được sử dụng để đối sánh sự giống nhau giữa ảnh cần tìm và ảnh trong cơ sở dữ liệu.

Cấu trúc tổng quát của hệ thống nhận dạng hình ảnh - Nhận dạng/Phân loại: Bước nhận dạng (recognition) hay phân loại (classification), tức là xác định danh tính (identity) hay nhãn (label) của ảnh. - Dữ liệu hệ thống nhận dạng: Dữ liệu hệ thống nhận dạng được chia làm 3 tập gồm tập dữ liệu huấn luyện (training set), tập dữ liệu đánh giá (validation data) và tập dữ liệu thử nghiệm (testing data). Tập huấn luyện được sử dụng để xây dựng thuật toán nhận dạng. Các nhà khoa học dữ liệu sẽ cung cấp dữ liệu đầu vào cho thuật toán, tương ứng với đầu ra dự kiến.

Dựa trên đó, mô hình sẽ đánh giá dữ liệu nhiều lần để tìm hiểu thêm về đặc tính của dữ liệu và tiếp tục tự điều 8 chỉnh nhằm hướng tới mục đích đã định. Trong quá trình đào tạo, dữ liệu đánh giá sẽ cung cấp thêm dữ liệu mới vào mô hình, nhằm xác định khả năng dự đoán của thuật toán đối với những dữ liệu chưa từng nhìn thấy trước đó. Thực tế, không phải tất cả các nhà khoa học dữ liệu đều sử dụng dữ liệu đánh giá, nhưng nó có thể cung cấp một số thông tin hữu ích để tối ưu hóa các tham số cũng như hiệu suất của thuật toán. Dữ liệu thử nghiệm được đưa vào sau khi xây dựng mô hình, nhằm xác nhận hiệu quả của thuật toán.

Nếu dữ liệu đào tạo và dữ liệu đánh giá đều đi kèm các nhãn nhằm theo dõi các chỉ số hiệu suất thì dữ liệu thử nghiệm phải được bỏ nhãn. Điều này nhằm đưa mô hình vào môi trường kiểm tra thực tế và xác nhận lần cuối rằng nó có thể hoạt động hiệu quả. Phân chia dữ liệu cho hệ thống nhận dạng Hệ thống nhận dạng hình ảnh cần đảm bảo các yêu cầu: - Độ chính xác nhận dạng có thể chấp nhận được đối với yêu cầu của bài toán nhận dạng. - Tốc độ vận hành cao đối với các cơ sở dữ liệu lớn và số lượng các yêu cầu có thể giải quyết được.

- Đơn giản trong việc cài đặt, lựa chọn thiết bị và vận hành, an toàn với người sử dụng. Các hướng tiếp cận chính trong nhận dạng ảnh Như trong phần 1.3 đã trình bày, hệ thống nhận dạng ảnh gồm ba khâu chính (tiền xử lý, trích chọn đặc trưng, phân loại). Mỗi một khâu đều có tác động đến độ chính xác của hệ thống. Tuy nhiên, hai khâu quan trọng nhất vẫn là trích chọn đặc trưng và phân loại (ra quyết định).

Chính vì vậy, qua khảo sát các công trình nghiên cứu liên quan đến nhận dạng hình ảnh, ta có thể thấy các công trình công bố đều chủ yếu tập trung vào cải tiến hai bước chính là trích chọn đặc trưng và phân loại 1. Các kỹ thuật trích chọn đặc trưng Trích chọn đặc trưng là tìm ra điểm đặc trưng của đối tượng so với đối tượng khác tuỳ theo mục đích nhận dạng trong quá trình xử lí ảnh. Ví dụ như ta muốn phân biệt đâu là ảnh cà chua chín thì dựa vào màu sắc chẳng hạn. Có thể dựa vào một số đặc điểm sau: - Đặc điểm không gian: Phân bố mức xám, phân bố xác suất, biên độ, điểm uốn.

- Đặc điểm biến đổi: Các đặc điểm loại này được trích chọn bằng việc thực hiện lọc vùng (zonal filtering). Các bộ vùng được gọi là “mặt nạ đặc điểm” (feature mask) thường là các khe hẹp với hình dạng khác nhau (chữ nhật, tam giác, cung tròn v.) - Đặc điểm biên và đường biên: Đặc trưng cho đường biên của đối tượng và do vậy rất hữu ích trong việc trích trọn các thuộc tính bất biến được dùng khi nhận dạng đối tượng. Các đặc điểm này có thể được trích chọn nhờ toán tử gradient, toán tử la bàn, toán tử Laplace, toán tử “chéo không” (zero crossing) v. Việc trích chọn hiệu quả các đặc điểm giúp cho việc nhận dạng các đối tượng ảnh chính xác, với tốc độ tính toán cao và dung lượng nhớ lưu trữ giảm xuống.

Các kỹ thuật nhận dạng ảnh Có nhiều thuật toán khác nhau được ứng dụng trong việc phân loại hình ảnh. Các thuật toán này được chia thành hai nhóm chính là Học có giám sát và Học không giám sát. - Học có giám sát 10 Trong học có giám sát, thuật toán được huấn luyện trên một tập hình ảnh đã được dán nhãn. Từ dữ liệu mẫu này, thuật toán có thể trích xuất thông tin, phục vụ phân loại ngay cả những hình ảnh chưa từng nhìn thấy trước đó.

Xuyên suốt quá trình huấn luyện, đặc điểm của ma trận hình ảnh sẽ được trích xuất dưới dạng dữ liệu quan trọng để đưa vào xử lý. Các đặc điểm này đại diện cho hình ảnh trong không gian chiều thấp và là cơ sở để thuật toán tiến hành phân loại. Trong quá trình đánh giá, các đặc điểm của ảnh thử nghiệm được thu thập và tái phân loại. Hệ thống lúc này đã có thể nhận biết các đặc điểm điển hình của mọi lớp hình ảnh mà nó được huấn luyện.

Các phương pháp phân loại phổ biến dựa trên học có giám sát bao gồm: - Học máy véc tơ hỗ trợ (Support Vector Machines) - Cây quyết định (Decision Trees) - Thuật toán K láng giềng gần nhất (K Nearest Neighbors) - Mạng nơron nhân tạo (Neural Network) Gần đây, các mạng nơron học sâu thường được sử dụng để phân loại hình ảnh có giám sát bao gồm AlexNet, ResNet, DenseNet và Inception. Đây chính là hướng chuyên sâu nghiên cứu của luận văn. - Học không giám sát Trong học không giám sát, thuật toán chỉ sử dụng dữ liệu thô để huấn luyện. Các nhãn phân loại thường không xuất hiện trong kiểu học này và mô hình học bằng cách nhận dạng các mẫu trong tập dữ liệu huấn luyện.

Giống như phân loại có giám sát, các phương pháp dựa trên không giám sát cũng liên quan đến bước trích xuất đặc điểm với các thông tin chi tiết nhất về hình ảnh. Các đặc điểm này sau đó được xử lý bằng các phương pháp phân cụm tham số (Gaussian Mixture Models) và phi tham số (K-means) hoặc các thuật toán học không giám sát khác. Các thuật toán và kỹ thuật phân loại của thị giác máy tính không chỉ giới hạn trong dữ liệu hình ảnh 2D đơn giản mà còn mở rộng ra dưới dạng video và ảnh 3D. Ứng dụng của nhận dạng ảnh Công nghệ nhận dạng hình ảnh trí tuệ nhân tạo ngày càng được sử dụng rộng rãi trong các ngành công nghiệp khác nhau và xu hướng này được dự đoán sẽ tiếp tục trong tương lai gần.