Đồ án HCMUTE: Nghiên cứu thuật toán backpropagation trên FPGA

• Tác giả: Thân Thái Thành
• Người hướng dẫn: TS. Võ Minh Huân
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật TP.HCM
• Chuyên ngành: Công Nghệ Kỹ Thuật Điện Tử Truyền Thông
• Đề tài: Nghiên cứu thuật toán Backpropagation trên FPGA
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2015
• Địa điểm: Tp. Hồ Chí Minh

• LỜI CẢM ƠN
• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu tình hình nghiên cứu hiện nay
• 1.2. Tính cấp thiết của đề tài
• 1.3. Mục tiêu nghiên cứu
• 1.4. Nhiệm vụ nghiên cứu
• 1.5. Đối tượng và phạm vi nghiên cứu
• 1.6. Phương pháp nghiên cứu
• 1.7. Bố cục của Đồ án
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Giới thiệu mạng Neural nhân tạo
• 2.2. Mô hình mạng Neural nhân tạo
• 2.2.1. Mô hình Neural chỉ 1 ngõ vào
• 2.2.2. Mô hình Neural tổng quát
• 2.2.3. Hàm kích hoạt
• 2.2.4. Kiến trúc mạng Neural
• 2.3. Mạng nhiều tầng truyền thẳng
• 2.4. Các luật học cho mạng Neural
• 2.5. Các vấn đề trong xây dựng mạng MLP
• 2.5.1. Chuẩn bị dữ liệu
• 2.5.2. Xác định các tham số cho mạng
• 2.6. Các tính chất của mạng Neural
• 2.7. So sánh mạng Neural với máy tính truyền thống
• 2.8. Ngôn ngữ mô tả phần cứng HDL
• 3. CHƯƠNG 3: THUẬT TOÁN BACKPROPAGATION
• 3.1. Mạng Neural truyền thẳng
• 3.2. Thuật toán Backpropagation
• 3.3. Hàm kích hoạt
• 3.4. Chuẩn chuyển đổi số thực sang số nhị phân IEEE 754
• 3.4.1. Số thực dấu phẩy động
• 3.4.2. Cộng 2 số thực theo chuẩn IEEE-754
• 3.4.3. Nhân 2 số thực theo chuẩn IEEE 754
• 3.4.4. Cách tính hàm Sigmod và Tansig gần đúng trong Verilog
• 4. CHƯƠNG 4: NGHIÊN CỨU THUẬT TOÁN
• 4.1. Sơ đồ thực hiện thuật toán
• 4.2. Huấn luyện mạng Neural
• 4.3. Khảo sát thuật toán thực hiện bằng Matlab
• 4.4. Các module chương trình
• 4.4.1. Khối thực hiện mạng
• 4.4.3. Module hàm lỗi δk
• 4.4.4. Module hàm lỗi δh1, δh2
• 4.4.5. Cập nhật bộ trọng số
• 4.5. Thuật toán huấn luyện mạng
• 4.5.1. Sơ đồ thực hiện các giai đoạn mô phỏng
• 4.5.2. Khối thực hiện phép nhân số thực
• 4.5.2.1. Thiết kế RTL cho khối nhân
• 4.5.2.2. Kết quả mô phỏng khối nhân
• 4.5.3. Khối thực hiện phép cộng số thực
• 4.5.3.1. Thiết kế RTL cho khối cộng
• 4.5.3.2. Kết quả mô phỏng khối cộng
• 4.5.4. Khối thực hiện số hóa hàm sigmod-tansig
• 4.5.4.1. Thiết kế RTL cho khối sigmod
• 4.5.4.2. Thiết kế RTL cho khối tansig
• 4.5.5. Khối thực hiện net
• 4.5.6. Khối tính hàm Error
• 4.5.7. Khối so sánh
• 4.5.8. Khối tính hàm lỗi δk ở ngõ ra
• 4.5.9. Khối tính hàm lỗi δh1, δh2
• 4.5.10. Khối cập nhật trọng số
• 4.5.11. Thiết kế khối Pre_backpropagation
• 4.5.12. Thiết kế khối Backpropagation
• 4.5.13. Thiết kế khối network_control
• 4.5.14. Tổng hợp các khối thành khối top
• 5. CHƯƠNG 5: KẾT QUẢ
• 5.1. Thiết kế RTL cho khối net
• 5.2. Kết quả mô phỏng khối net
• 5.6. Khối tính hàm Error
• 5.6.1. Thiết kế RTL cho khối hàm Error
• 5.6.2. Kết quả mô phỏng khối hàm Error
• 5.7. Khối so sánh
• 5.7.2. Kết quả mô phỏng khối so sánh
• 5.8. Khối tính hàm lỗi δk ở ngõ ra
• 5.8.1. Thiết kế RTL cho khối tính hàm lỗi δk
• 5.8.2. Kết quả mô phỏng khối tính hàm lỗi δk
• 5.9. Khối tính hàm lỗi δh1, δh2
• 5.9.1. Thiết kế RTL cho khối tính hàm lỗi δh1, δh2
• 5.9.2. Kết quả mô phỏng khối tính hàm lỗi δh1, δh2
• 5.10. Khối cập nhật trọng số
• 5.10.1. Thiết kế RTL cho khối cập nhật trọng số
• 5.10.2. Kết quả mô phỏng khối cập nhật trọng số
• 5.11. Thiết kế khối Pre_backpropagation
• 5.11.1. Thiết kế RTL cho khối Pre_backpropagation
• 5.11.2. Kết quả mô phỏng khối pre_backpropagation
• 5.12. Thiết kế khối Backpropagation
• 5.12.1. Thiết kế RTL khối Backpropagation
• 5.12.2. Kết quả mô phỏng khối backpropagation
• 5.13. Thiết kế khối network_control
• 5.13.1. Thiết kế RTL khối network_control
• 5.13.2. Kết quả mô phỏng khối network_control
• 5.14. Tổng hợp các khối thành khối top
• 5.14.1. Thiết kế RTL cho khối top
• 5.14.2. Kết quả mô phỏng khối top_layer
• 6. CHƯƠNG 6: KẾT LUẬN
• TÀI LIỆU THAM KHẢO

I. Giới thiệu tình hình nghiên cứu hiện nay

Nghiên cứu về thuật toán backpropagation đã có một lịch sử dài, bắt đầu từ những năm 1940 với các công trình của Warren McCulloch và Walter Pitts. Họ đã chỉ ra rằng mạng nơron nhân tạo có thể tính toán bất kỳ hàm số học hay logic nào. Tuy nhiên, sự phát triển của mạng nơron gặp phải nhiều thách thức, đặc biệt là trong việc giải quyết các bài toán không khả phân tuyến tính. Đến những năm 1980, thuật toán backpropagation được phát triển và đã mở ra nhiều cơ hội cho việc ứng dụng mạng nơron trong các lĩnh vực như xử lý tín hiệu, nhận dạng mẫu và dự đoán. Việc ứng dụng FPGA trong nghiên cứu này cho phép tối ưu hóa hiệu suất tính toán, giảm thiểu thời gian xử lý và tăng cường khả năng ứng dụng thực tế của mạng nơron.

1.1 Tính cấp thiết của đề tài

Với sự phát triển mạnh mẽ của công nghệ FPGA, việc xây dựng kiến trúc vi mạch cho mạng nơron thực hiện thuật toán backpropagation trở nên cần thiết. Các ứng dụng thực tế của mạng nơron ngày càng đa dạng, từ nhận dạng hình ảnh đến dự đoán tài chính. Tuy nhiên, hầu hết các nghiên cứu hiện tại vẫn tập trung vào phần mềm, dẫn đến hiệu suất tính toán không tối ưu. Việc chuyển đổi thuật toán sang phần cứng không chỉ giúp giảm thiểu thời gian xử lý mà còn mở rộng khả năng ứng dụng của mạng nơron trong các lĩnh vực khác nhau. Do đó, nghiên cứu này không chỉ có giá trị lý thuyết mà còn mang lại ứng dụng thực tiễn cao.

II. Mục tiêu nghiên cứu

Mục tiêu chính của nghiên cứu này là thiết kế và tối ưu hóa cấu trúc vi mạch cho thuật toán backpropagation trên FPGA. Quy trình thiết kế sẽ tuân theo các tiêu chuẩn thiết kế chip hiện hành, sử dụng ngôn ngữ mô tả phần cứng Verilog HDL. Việc xây dựng thành công kiến trúc vi mạch sẽ cho phép thực hiện các ứng dụng mạng nơron một cách hiệu quả và linh hoạt. Đặc biệt, nghiên cứu sẽ tập trung vào việc phát triển một mạng nơron đơn giản với cấu trúc 2x2x1, giúp dễ dàng mở rộng cho các ứng dụng phức tạp hơn trong tương lai.

2.1 Nhiệm vụ nghiên cứu

Nhiệm vụ nghiên cứu bao gồm việc tìm hiểu và phân tích các khái niệm cơ bản về mạng nơron, thuật toán backpropagation, và công nghệ FPGA. Nghiên cứu sẽ tiến hành xây dựng và mô phỏng các module cần thiết cho việc thực hiện thuật toán trên phần cứng. Bên cạnh đó, việc khảo sát các ứng dụng thực tế của mạng nơron cũng sẽ được thực hiện để đánh giá tính khả thi và hiệu quả của kiến trúc vi mạch được thiết kế. Mục tiêu cuối cùng là phát triển một hệ thống có khả năng hoạt động ổn định và chính xác trong các ứng dụng thực tế.

III. Phương pháp nghiên cứu

Phương pháp nghiên cứu sẽ bao gồm hai giai đoạn chính: nghiên cứu lý thuyết và nghiên cứu thực nghiệm. Giai đoạn lý thuyết sẽ tập trung vào việc tìm hiểu các khái niệm cơ bản về mạng nơron, thuật toán backpropagation, và công nghệ FPGA. Các tài liệu nghiên cứu trong và ngoài nước sẽ được phân tích để rút ra các giải pháp xây dựng kiến trúc mạng nơron. Giai đoạn thực nghiệm sẽ bao gồm việc thiết kế và mô phỏng các module vi mạch, đánh giá hiệu suất của hệ thống thông qua các bài kiểm tra thực tế. Kết quả thu được sẽ được so sánh với các phương pháp hiện có để xác định tính hiệu quả và khả năng ứng dụng của kiến trúc vi mạch được phát triển.

3.1 Nghiên cứu lý thuyết

Nghiên cứu lý thuyết sẽ bao gồm việc tìm hiểu sâu về các khái niệm cơ bản của mạng nơron và thuật toán backpropagation. Các tài liệu nghiên cứu sẽ được phân tích để hiểu rõ hơn về cách thức hoạt động của mạng nơron và các yếu tố ảnh hưởng đến hiệu suất của thuật toán. Bên cạnh đó, việc tìm hiểu về công nghệ FPGA và ngôn ngữ mô tả phần cứng Verilog cũng sẽ được thực hiện để chuẩn bị cho giai đoạn thiết kế thực nghiệm. Mục tiêu của giai đoạn này là xây dựng nền tảng kiến thức vững chắc cho việc phát triển kiến trúc vi mạch trong các giai đoạn tiếp theo.