Đồ án HCMUTE về việc thực hiện mạng nơ ron trên FPGA

Đồ án nghiên cứu hcmute thực hiện mạng nơ ron trên fpga, áp dụng công nghệ tiên tiến, tối ưu giải pháp kỹ thuật cho bài toán ., phục vụ nghiên cứu và ứng dụng thực tiễn

• Tác giả: Vũ Minh Đức
• Người hướng dẫn: ThS. Trương Quang Phúc
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Kỹ Thuật Máy Tính
• Đề tài: Thực Hiện Mạng Nơ-Ron Trên FPGA
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2018
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• MỤC LỤC
• DANH MỤC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC HÌNH ẢNH
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. GIỚI THIỆU ĐỀ TÀI
• 1.2. TÍNH CẤP THIẾT CỦA ĐỀ TÀI
• 1.3. MỤC TIÊU
• 1.4. TÌNH HÌNH TRONG NƯỚC VÀ NGOÀI NƯỚC
• 1.5. NHIỆM VỤ NGHIÊN CỨU
• 1.6. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 1.7. GIẢI QUYẾT VẤN ĐỀ
• 1.8. BỐ CỤC LUẬN VĂN
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. GIỚI THIỆU VỀ MẠNG NƠ-RON NHÂN TẠO
• 2.2. MẠNG NƠ-RON SINH HỌC
• 2.3. MẠNG NƠ-RON NHÂN TẠO
• 2.4. MÔ HÌNH TOÁN HỌC MẠNG NƠ-RON NHÂN TẠO
• 2.5. HÀM KÍCH HOẠT
• 2.6. KIẾN TRÚC MẠNG NƠ-RON
• 2.7. PHÂN LOẠI MẠNG NƠ-RON
• 2.8. HUẤN LUYỆN MẠNG
• 2.9. THUẬT TOÁN LAN TRUYỀN NGƯỢC
• 2.10. THỰC HIỆN XÂY DỰNG MỘT MẠNG NƠ-RON ĐƠN GIẢN
• 2.11. GIỚI THIỆU FPGA VÀ KIT LẬP TRÌNH DE1
• 2.11.1. GIỚI THIỆU FPGA
• 2.11.2. GIỚI THIỆU KIT LẬP TRÌNH DE1
• 2.12. DẤU CHẤM ĐỘNG VÀ TIÊU CHUẨN IEEE 754
• 2.13. THỰC HIỆN PHÉP CỘNG VÀ TRỪ
• 2.14. THỰC HIỆN PHÉP NHÂN
• 2.15. THỰC HIỆN PHÉP CHIA
• 2.16. LÝ THUYẾT MÁY TRẠNG THÁI HỮU HẠN
• 2.16.1. MÁY TRẠNG THÁI MOORE
• 2.16.2. MÁY TRẠNG THÁI MEALY
• 3. CHƯƠNG 3: THIẾT KẾ VÀ THI CÔNG
• 3.1. THỰC HIỆN CÁC PHÉP TOÁN DẤU CHẤM ĐỘNG VÀ CÁC HÀM CHỨC NĂNG
• 3.1.1. THỰC HIỆN PHÉP CỘNG VÀ TRỪ
• 3.1.2. THỰC HIỆN PHÉP NHÂN
• 3.1.3. THỰC HIỆN PHÉP CHIA
• 3.1.4. THỰC HIỆN HÀM MŨ
• 3.1.5. THỰC HIỆN HÀM E MŨ
• 3.1.6. THỰC HIỆN HÀM KÍCH HOẠT SIGMOID
• 3.1.7. THỰC HIỆN HÀM ĐẠO HÀM CỦA HÀM SIGMOID
• 3.2. THỰC HIỆN MẠNG NƠ-RON
• 3.2.1. THỰC HIỆN MẠNG NƠ-RON LAN TRUYỀN THUẬN
• 3.2.2. THỰC HIỆN MẠNG NƠ-RON LAN TRUYỀN NGƯỢC
• 3.2.3. THỰC HIỆN MẠNG NƠ-RON HOÀN CHỈNH
• 4. CHƯƠNG 4: KẾT QUẢ ĐẠT ĐƯỢC
• 4.1. MÔ PHỎNG KẾT QUẢ CÁC PHÉP TOÁN DẤU CHẤM ĐỘNG
• 4.1.1. MÔ PHỎNG KẾT QUẢ CỦA PHÉP CỘNG VÀ TRỪ
• 4.1.2. MÔ PHỎNG KẾT QUẢ CỦA PHÉP NHÂN
• 4.1.3. MÔ PHỎNG KẾT QUẢ CỦA PHÉP CHIA
• 4.2. MÔ PHỎNG KẾT QUẢ CÁC HÀM TÍNH TOÁN
• 4.2.1. MÔ PHỎNG KẾT QUẢ CỦA HÀM MŨ
• 4.2.2. MÔ PHỎNG KẾT QUẢ CỦA HÀM E MŨ
• 4.2.3. MÔ PHỎNG KẾT QUẢ CỦA HÀM SIGMOID
• 4.2.4. MÔ PHỎNG KẾT QUẢ CỦA KHỐI ĐẠO HÀM SIGMOID
• 4.3. MÔ PHỎNG CÁC THÀNH PHẦN TRONG MẠNG NƠ-RON
• 4.3.1. MÔ PHỎNG KẾT QUẢ KHỐI NÚT LAN TRUYỀN THUẬN
• 4.3.2. MÔ PHỎNG KẾT QUẢ KHỐI LAN TRUYỀN THUẬN
• 4.3.3. MÔ PHỎNG KẾT QUẢ KHỐI NÚT LAN TRUYỀN NGƯỢC
• 4.3.4. MÔ PHỎNG KẾT QUẢ KHỐI LAN TRUYỀN NGƯỢC
• 4.3.5. MÔ PHỎNG KẾT QUẢ MẠNG NƠ-RON HOÀN CHỈNH
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về Mạng nơ ron và Đồ án tốt nghiệp HCMUTE

Đồ án tốt nghiệp "Thực hiện mạng nơ-ron trên FPGA" tại Trường Đại học Công nghệ TP.HCM (HCMUTE) tập trung vào việc triển khai mạng nơ ron trên nền tảng FPGA. Đề tài này có ý nghĩa thiết thực, giải quyết vấn đề tăng tốc xử lý cho các ứng dụng hệ thống nhúng đòi hỏi tính thời gian thực cao. Việc sử dụng FPGA cho phép tối ưu hóa kiến trúc phần cứng để đáp ứng yêu cầu hiệu năng cụ thể của mạng nơ ron, khác với việc sử dụng các vi xử lý thông thường. Đồ án nghiên cứu các khía cạnh thiết kế, triển khai và đánh giá hiệu năng của một mạng nơ ron đơn giản trên FPGA, đóng góp vào việc ứng dụng học máy (machine learning) và học sâu (deep learning) trong các hệ thống nhúng.

1.1. Bối cảnh và tầm quan trọng

Sự phát triển nhanh chóng của học máy và học sâu dẫn đến nhu cầu ngày càng cao về khả năng xử lý dữ liệu nhanh hơn. Các thuật toán mạng nơ ron, đặc biệt là CNN, RNN, và DNN, thường đòi hỏi sức mạnh tính toán lớn. FPGA, với khả năng lập trình lại và khả năng song song hóa cao, là một giải pháp lý tưởng để tăng tốc các phép tính này. Đồ án này đóng góp vào việc nghiên cứu và ứng dụng FPGA trong lĩnh vực này, giúp giảm thời gian xử lý và tiêu thụ năng lượng của các hệ thống mạng nơ ron tích hợp. Gia tốc phần cứng (hardware acceleration) thông qua FPGA trở thành một xu hướng quan trọng trong việc triển khai các ứng dụng machine learning và deep learning thời gian thực. Việc ánh xạ mạng nơ ron lên FPGA đòi hỏi sự hiểu biết sâu sắc về cả kiến trúc mạng nơ ron lẫn kiến trúc FPGA. Tối ưu hóa việc sử dụng tài nguyên FPGA là một thách thức quan trọng cần được giải quyết để đảm bảo hiệu quả. Đồ án này tập trung vào việc xây dựng một mạng nơ ron đơn giản, cho phép làm rõ các bước thiết kế và triển khai trên FPGA, tạo nền tảng cho các nghiên cứu phức tạp hơn.

1.2. Phương pháp luận và công cụ

Đồ án sử dụng ngôn ngữ mô tả phần cứng VHDL hoặc Verilog để thiết kế và triển khai mạng nơ ron trên FPGA. VHDL (VHSIC Hardware Description Language) hoặc Verilog, là những ngôn ngữ lập trình phần cứng cho phép mô tả chức năng và cấu trúc của mạch điện tử. Việc lựa chọn ngôn ngữ phù hợp phụ thuộc vào kinh nghiệm và yêu cầu của dự án. Thuật toán tối ưu hóa được áp dụng để tối ưu hóa hiệu năng của mạng nơ ron trên FPGA. Xử lý song song (parallel processing) được tận dụng để tăng tốc độ tính toán. Kiến trúc FPGA được phân tích để lựa chọn cấu trúc phù hợp cho việc triển khai mạng nơ ron. Kết quả được mô phỏng và đánh giá, so sánh với kết quả lý thuyết. Đồ án này nhấn mạnh vào khía cạnh thiết kế phần cứng của mạng nơ ron, không chỉ tập trung vào việc chạy thuật toán mà còn tập trung vào việc tối ưu hóa hiệu năng của hệ thống.

II. Triển khai Mạng nơ ron trên FPGA Thực hiện và Kết quả

Phần này tập trung vào quá trình triển khai cụ thể của mạng nơ ron trên FPGA. Đồ án mô tả chi tiết các bước thiết kế, từ việc mô hình hóa toán học mạng nơ ron đến việc chuyển đổi sang mã VHDL hoặc Verilog, và cuối cùng là quá trình tổng hợp và lập trình lên FPGA. Các vấn đề về tối ưu hóa tài nguyên FPGA, xử lý song song, và tiêu thụ năng lượng được xem xét kỹ lưỡng. Kết quả mô phỏng và thực nghiệm sẽ được trình bày và phân tích. Hiệu năng của hệ thống, bao gồm tốc độ xử lý và độ chính xác, sẽ được so sánh với các phương pháp triển khai khác.

2.1. Thiết kế và triển khai

Quá trình thiết kế bao gồm việc lựa chọn kiến trúc mạng nơ ron phù hợp, ví dụ như mạng nơ ron feedforward đơn giản. Sau đó, mô hình toán học được xây dựng, bao gồm các hàm kích hoạt như Sigmoid hay ReLU. Các phép toán số học, đặc biệt là các phép tính dấu chấm động, được thiết kế và tối ưu hóa để hoạt động hiệu quả trên FPGA. Mã VHDL hoặc Verilog được viết để mô tả mạng nơ ron, bao gồm các module cho mỗi lớp, mỗi neuron, và các kết nối giữa chúng. Phần cứng cần thiết, như bộ nhớ và các khối xử lý, được phân bổ trên FPGA. Quá trình tổng hợp và lập trình được thực hiện sử dụng các công cụ thiết kế FPGA chuyên dụng. Phân tích về thuật toán tối ưu, như việc giảm thiểu số phép toán hoặc sử dụng các cấu trúc phần cứng song song, cũng là một phần quan trọng của quá trình thiết kế này.

2.2. Phân tích và đánh giá kết quả

Kết quả mô phỏng được phân tích để đánh giá hiệu năng của mạng nơ ron trên FPGA. Các chỉ số quan trọng bao gồm tốc độ xử lý, độ chính xác, và tiêu thụ năng lượng. Kết quả thực nghiệm, nếu có, sẽ được so sánh với kết quả mô phỏng. So sánh hiệu năng với các phương pháp triển khai trên các nền tảng khác, chẳng hạn như CPU hoặc GPU, cũng rất cần thiết để đánh giá hiệu quả của việc sử dụng FPGA. Phân tích về hiệu năng sẽ được trình bày chi tiết, kèm theo các biểu đồ và bảng số liệu. Kết quả thực nghiệm sẽ minh họa tính khả thi và hiệu quả của phương pháp triển khai mạng nơ ron trên FPGA trong đồ án tốt nghiệp HCMUTE này. Phân tích về các hạn chế và hướng cải thiện cũng sẽ được đề cập.

III. Kết luận và ứng dụng thực tiễn

Đồ án này cung cấp một nghiên cứu toàn diện về việc triển khai mạng nơ ron trên FPGA. Kết quả nghiên cứu đóng góp vào việc hiểu rõ hơn về khả năng và hạn chế của FPGA trong việc tăng tốc xử lý mạng nơ ron. Các kết quả thu được có ý nghĩa thực tiễn, tạo nền tảng cho các ứng dụng trong nhiều lĩnh vực như xử lý tín hiệu số (DSP), nhận dạng ảnh, và điều khiển tự động.

3.1. Ứng dụng thực tiễn

Việc triển khai thành công mạng nơ ron trên FPGA mở ra nhiều ứng dụng thực tiễn. Các hệ thống nhúng đòi hỏi tính thời gian thực cao, như hệ thống điều khiển robot, ô tô tự lái, và thiết bị y tế, sẽ được hưởng lợi từ việc tăng tốc xử lý của FPGA. Trong lĩnh vực xử lý ảnh và video, FPGA có thể được sử dụng để tăng tốc các thuật toán nhận dạng khuôn mặt, phân loại đối tượng, và xử lý video thời gian thực. Các ứng dụng trong lĩnh vực xử lý ngôn ngữ tự nhiên cũng có thể được tăng tốc bằng cách sử dụng FPGA để xử lý các mô hình mạng nơ ron phức tạp. Tối ưu hóa năng lượng là một lợi ích khác của việc sử dụng FPGA trong các ứng dụng di động hoặc nhúng.

3.2. Hướng phát triển tương lai

Nghiên cứu này có thể được mở rộng bằng cách triển khai các mạng nơ ron phức tạp hơn, như CNN sâu hoặc RNN. Việc nghiên cứu các thuật toán tối ưu hóa nâng cao để giảm thiểu thời gian xử lý và tiêu thụ năng lượng cũng là một hướng phát triển quan trọng. Tích hợp các kỹ thuật xử lý song song hiệu quả hơn để tận dụng tối đa sức mạnh của FPGA cũng là một hướng nghiên cứu tiềm năng. Khám phá các ứng dụng mới của mạng nơ ron trên FPGA trong các lĩnh vực khác nhau là một hướng nghiên cứu hấp dẫn. Việc nghiên cứu kỹ thuật phân tích và đánh giá hiệu năng chi tiết hơn, bao gồm cả các chỉ số về mức độ sử dụng tài nguyên của FPGA, cũng sẽ rất hữu ích.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển mạnh mẽ của trí tuệ nhân tạo (AI) và mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) đang tạo ra những thay đổi sâu rộng trong nhiều lĩnh vực kỹ thuật như xử lý dữ liệu, nhận dạng mẫu, xử lý ngôn ngữ tự nhiên, phân loại và dự báo. Phần lớn các mô hình mạng nơ-ron hiện nay được triển khai trên nền tảng phần mềm chạy trên các bộ vi xử lý (CPU) hoặc vi điều khiển (MCU). Mặc dù các bộ vi xử lý hiện đại có tốc độ xung nhịp cao và hỗ trợ đa nhân, bản chất kiến trúc xử lý tuần tự theo tập lệnh khiến chúng gặp nhiều hạn chế khi hệ thống yêu cầu độ chính xác cao, tính toán đa luồng quy mô lớn và khả năng đáp ứng thời gian thực nghiêm ngặt. Việc tính toán mô hình mạng nơ-ron trên các dòng vi mạch chỉ chuyên về điều khiển có thể làm nghẽn tài nguyên và ảnh hưởng đến toàn bộ hệ thống lớn.

Từ thực tiễn đó, nhu cầu xây dựng các kiến trúc vi mạch chuyên dụng phục vụ tính toán mạng nơ-ron trở nên cấp thiết. Hai giải pháp phần cứng chính là vi mạch chuyên dụng ASIC (Application-Specific Integrated Circuit) và vi mạch logic lập trình được FPGA (Field-Programmable Gate Array). Mặc dù ASIC có lợi thế về giá thành khi sản xuất hàng loạt với số lượng rất lớn, công nghệ FPGA lại thể hiện tính ưu việt vượt trội trong giai đoạn nghiên cứu, thử nghiệm và phát triển nhờ khả năng tái cấu hình linh hoạt thông qua ngôn ngữ mô tả phần cứng (HDL), cấu trúc xử lý song song thực sự ở cấp độ phần cứng và chi phí thiết kế thấp hơn.

Đề tài "Thực hiện mạng nơ-ron trên FPGA" được thực hiện nhằm giải quyết các nhiệm vụ và mục tiêu cụ thể:

1. Tìm hiểu cơ sở lý thuyết về mạng nơ-ron nhân tạo, thuật toán lan truyền ngược (Backpropagation) và các kiến thức thiết kế hệ thống số trên vi mạch.
2. Tìm hiểu ngôn ngữ mô tả phần cứng VHDL để ứng dụng vào việc thiết kế cấu trúc mạng nơ-ron trên vi mạch FPGA.
3. Thiết kế hoàn chỉnh và tối ưu hóa cấu trúc phần cứng của mạng nơ-ron, bao gồm việc xây dựng các khối tính toán số thực dấu chấm động theo tiêu chuẩn IEEE-754 và các khối hàm phi tuyến.
4. Xây dựng mô hình mạng nơ-ron trên FPGA với cấu hình gồm hai ngõ vào (Input), một lớp ẩn (Hidden Layer) có hai nút và một lớp ngõ ra (Output Layer).
5. Thực hiện mô phỏng hoạt động của mạng nơ-ron trên công cụ chuyên dụng và đối chiếu kết quả mô phỏng với các giá trị tính toán lý thuyết từ mô hình toán học.

Đối tượng nghiên cứu của đồ án bao gồm: mô hình toán học của mạng nơ-ron nhân tạo, giải thuật học có giám sát lan truyền ngược, công nghệ FPGA và kit thí nghiệm Altera DE1, tiêu chuẩn biểu diễn số thực dấu chấm động IEEE-754 (định dạng đơn 32-bit), lý thuyết thiết kế máy trạng thái hữu hạn (FSM) và ngôn ngữ VHDL. Phạm vi nghiên cứu giới hạn ở việc thiết kế, mô phỏng và kiểm chứng chức năng của một mạng nơ-ron truyền thẳng đa lớp cấu hình 2-2-1 với sáu trọng số liên kết trên nền tảng phần cứng FPGA.

---

Cơ sở lý thuyết và phương pháp

Đồ án dựa trên các cơ sở lý thuyết kỹ thuật máy tính và toán học sau:

• Mô hình toán học nơ-ron nhân tạo và hàm kích hoạt: Một nơ-ron nhân tạo tiếp nhận vector tín hiệu ngõ vào $x_j$, nhân với các trọng số liên kết tương ứng $w_{kj}$, cộng với giá trị độ lệch $b_k$ thông qua bộ tổng và đưa qua hàm kích hoạt $f$: $$y = f\left(\sum_{j} x_j w_{kj} + b_k\right)$$ Khóa luận khảo sát các hàm kích hoạt phổ biến như hàm tuyến tính (Linear), hàm tuyến tính chỉnh sửa (ReLU), hàm bước nhị phân (Binary Step), hàm Hyperbolic Tangent (TanH) và hàm phi tuyến Sigmoid: $$f(x) = \frac{1}{1 + e^{-x}}$$ Hàm Sigmoid được lựa chọn làm hàm truyền chính trong thiết kế nhờ tính chất bão hòa trong khoảng $(0, 1)$ và khả năng lấy đạo hàm thuận tiện phục vụ quá trình lan truyền ngược: $$f'(x) = f(x) \cdot (1 - f(x))$$

• Thuật toán lan truyền ngược (Backpropagation): Đây là thuật toán tối ưu hóa dựa trên phương pháp hạ độ dốc (Gradient Descent) để tìm cực tiểu của hàm tổn thất. Thuật toán tính toán gradient của hàm lỗi đối với từng trọng số liên kết trong mạng, từ đó cập nhật các trọng số từ lớp ngõ ra ngược về các lớp ẩn nhằm giảm thiểu sai số giữa ngõ ra thực tế và giá trị đích mong muốn (Target).

• Tiêu chuẩn biểu diễn số thực dấu chấm động IEEE-754 (32-bit): Số thực chính xác đơn 32-bit bao gồm:

  • 1 bit dấu (Sign - $S$).
  • 8 bit số mũ (Exponent - $E$) với độ lệch (bias) bằng 127.
  • 23 bit phân số (Fraction/Mantissa - $F$). Giá trị được xác định theo công thức: $(-1)^S \times (1.F) \times 2^{E - 127}$.

Thành phần trường bit	Độ dài bit	Ý nghĩa kỹ thuật
Bit dấu ($S$)	1 bit	Quy định dấu của số thực (0: số dương, 1: số âm)
Trường số mũ ($E$)	8 bit	Biểu diễn bậc mũ cơ số 2 với độ lệch bias = 127 ($E \in [0, 255]$)
Trường phân số ($F$)	23 bit	Biểu diễn phần định trị sau dấu phẩy (chưa tính 1 bit ẩn $1.F$)

• Lý thuyết máy trạng thái hữu hạn (FSM): Hệ thống số được điều khiển thông qua hai mô hình FSM kinh điển:
  • Máy trạng thái Moore: Tín hiệu ngõ ra chỉ phụ thuộc duy nhất vào trạng thái hiện tại của hệ thống.
  • Máy trạng thái Mealy: Tín hiệu ngõ ra phụ thuộc đồng thời vào trạng thái hiện tại và tín hiệu ngõ vào.

Phương pháp nghiên cứu được áp dụng là phương pháp thiết kế hệ thống số (RTL Design) từ mức thanh ghi, thiết kế phân tầng theo mô hình từ dưới lên (Bottom-Up), kết hợp mô phỏng kiểm tra dạng sóng và đối chiếu dữ liệu tính toán giải tích với dữ liệu mô phỏng dạng số thập lục phân (Hexadecimal) và số thực.

---

Thiết kế và triển khai

Hệ thống được thiết kế hoàn toàn bằng ngôn ngữ VHDL, hướng tới mục tiêu hiện thực hóa trên chip FPGA Altera Cyclone II EP2C20F484C7N trang bị trên kit lập trình Altera DE1. Cấu trúc vi mạch được chia thành hai tầng chính: tầng các khối tính toán số học/hàm chức năng và tầng các khối cấu trúc mạng nơ-ron.

                           +-------------------------------------------------+
                           |           MẠNG NƠ-RON HOÀN CHỈNH                |
                           |   (Đồng bộ Lan truyền thuận & Lan truyền ngược) |
                           +------------------------+------------------------+
                                                    |
                      +-----------------------------+-----------------------------+
                      |                                                           |
       +--------------v---------------+                            +--------------v---------------+
       |    KHỐI LAN TRUYỀN THUẬN     |                            |    KHỐI LAN TRUYỀN NGƯỢC     |
       |  (Forward Propagation Unit)  |                            | (Backward Propagation Unit)  |
       +--------------+---------------+                            +--------------+---------------+
                      |                                                           |
       +--------------v---------------+                            +--------------v---------------+
       |   KHỐI NÚT LAN TRUYỀN THUẬN  |                            |   KHỐI NÚT LAN TRUYỀN NGƯỢC  |
       |     (Forward Node Unit)      |                            |     (Backward Node Unit)     |
       +--------------+---------------+                            +--------------+---------------+
                      |                                                           |
                      +-----------------------------+-----------------------------+
                                                    |
                           +------------------------v------------------------+
                           |        CÁC KHỐI TOÁN HỌC & HÀM CHỨC NĂNG        |
                           |  (IEEE-754 32-bit Floating Point Arithmetic)    |
                           +-------------------------------------------------+
                           | - Bộ Cộng / Trừ dấu chấm động (FSM 5 trạng thái)|
                           | - Bộ Nhân dấu chấm động (FSM 4 trạng thái)      |
                           | - Bộ Chia dấu chấm động & Khối FPP_MAN 24-bit   |
                           | - Khối tính hàm Mũ, Hàm e^x, Hàm Sigmoid        |
                           | - Khối tính Đạo hàm Sigmoid: f(x)*(1 - f(x))    |
                           +-------------------------------------------------+

1. Thiết kế các khối toán học dấu chấm động 32-bit và hàm chức năng

Mỗi khối chức năng đều được trang bị các tín hiệu điều khiển chuẩn gồm CLK (xung đồng hồ), RESET (tái lập trạng thái), GO (tín hiệu cho phép bắt đầu tính toán) và DONE (tín hiệu cờ báo hoàn thành phép toán):

• Khối Cộng và Trừ (Floating-Point Adder/Subtractor): Hoạt động theo FSM gồm 5 trạng thái: WAITC (chờ kích hoạt), ALIGN (so sánh số mũ và dịch bit phân số để cân bằng bậc mũ), ADDC (thực hiện cộng hoặc trừ phần phân số dựa trên phép XOR của bit dấu), NORMC (chuẩn hóa kết quả, dịch bit và cập nhật số mũ khi xảy ra tràn hoặc thiếu bit), PAUSEC (xuất kết quả và bật cờ DONE).
• Khối Nhân (Floating-Point Multiplier): Hoạt động theo FSM gồm 4 trạng thái: WAITM (chờ kích hoạt), MAN_EXP (tính bit dấu bằng phép XOR hai bit dấu vào, cộng hai số mũ trừ bias 127, nhân hai phần phân số 24-bit tạo kết quả 48-bit), NORMALIZE (kiểm tra bit thứ 47 để chuẩn hóa, tăng số mũ nếu tràn và lấy 23-bit trọng số cao), PAUSE (bật cờ DONE).
• Khối Chia (Floating-Point Divider): Khối chia là phép toán phức tạp nhất, được FSM chính điều khiển qua 7 trạng thái (Idle, Align, SetExp, Start, WaitMan, Done, Pause), kết hợp cùng một khối phụ trợ xử lý phân số 24-bit chuyên dụng mang tên FPP_MAN (hoạt động theo chu trình 5 trạng thái: Idle, Test, Chkbo, Norm, Fini) để thực hiện phép chia liên tiếp và căn chỉnh số mũ thông qua tín hiệu Shift.
• Khối hàm toán học phi tuyến:
  • Khối hàm mũ và hàm $e^x$: Triển khai giải thuật xấp xỉ chuỗi lũy thừa kết hợp bảng tra giai thừa cố định.
  • Khối hàm Sigmoid: Tích hợp bộ đảo dấu, bộ $e^{-x}$, bộ cộng 1 và bộ chia số thực để thực hiện phép tính $1 / (1 + e^{-x})$.
  • Khối đạo hàm Sigmoid: Thực hiện biểu thức $f'(x) = f(x) \cdot (1 - f(x))$ bằng cách phối hợp bộ trừ dấu chấm động và bộ nhân dấu chấm động.

Khối chức năng	Các trạng thái FSM chính	Chức năng xử lý phần cứng
Cộng / Trừ IEEE-754	WAITC, ALIGN, ADDC, NORMC, PAUSEC	Cân bằng số mũ, cộng/trừ phân số, chuẩn hóa 32-bit
Nhân IEEE-754	WAITM, MAN_EXP, NORMALIZE, PAUSE	Tính dấu bằng XOR, cộng số mũ, nhân phân số 24x24-bit
Chia IEEE-754	Idle, Align, SetExp, Start, WaitMan, Done, Pause	Tách mũ, phối hợp khối FPP_MAN lặp phân số, căn chỉnh shift
Khối FPP_MAN	Idle, Test, Chkbo, Norm, Fini	So sánh lặp phần phân số 24-bit, tạo thương và số dịch mũ
Hàm Sigmoid	FSM phối hợp tầng khối số học	Tính số thực $f(x) = 1 / (1 + e^{-x})$ từ chuỗi khối $e^x$, cộng, chia
Đạo hàm Sigmoid	FSM phối hợp tầng khối số học	Tính $f'(x) = f(x) \times (1 - f(x))$ từ bộ trừ và bộ nhân số thực

2. Thiết kế kiến trúc mạng nơ-ron 2-2-1

Mô hình mạng bao gồm:

• Hai tín hiệu ngõ vào dữ liệu: $A$ và $B$.
• Lớp ẩn gồm hai nơ-ron: $Hidden0$ và $Hidden1$.
• Lớp ngõ ra gồm một nơ-ron: $Output$.
• Sáu trọng số liên kết: $w_0, w_2$ (từ ngõ vào đến $Hidden0$), $w_1, w_3$ (từ ngõ vào đến $Hidden1$), $w_4, w_5$ (từ lớp ẩn đến nút $Output$).

Quá trình tính toán phần cứng được cấu trúc thành ba khối chức năng:

• Khối nút và khối lan truyền thuận (Forward Propagation Unit):
  • Tính tổng tích lũy: $S_0 = A \cdot w_0 + B \cdot w_2$; $Hidden0 = f(S_0)$.
  • Tính tổng tích lũy: $S_1 = A \cdot w_1 + B \cdot w_3$; $Hidden1 = f(S_1)$.
  • Tính ngõ ra: $S_{out} = Hidden0 \cdot w_4 + Hidden1 \cdot w_5$; $Output = f(S_{out})$.
• Khối nút và khối lan truyền ngược (Backward Propagation Unit):
  • Tính sai số ngõ ra so với giá trị đích Target: $\gamma_{Out} = (Target - Output) \cdot f'(Output)$.
  • Cập nhật trọng số lớp ra: $w_5 = w_5 + \gamma_{Out} \cdot Hidden1$; $w_4 = w_4 + \gamma_{Out} \cdot Hidden0$.
  • Tính sai số các nút ẩn: $\gamma_{Hidden0} = f'(Hidden0) \cdot w_4 \cdot \gamma_{Out}$; $\gamma_{Hidden1} = f'(Hidden1) \cdot w_5 \cdot \gamma_{Out}$.
  • Cập nhật trọng số lớp vào: $w_0 = w_0 + A \cdot \gamma_{Hidden0}$; $w_2 = w_2 + B \cdot \gamma_{Hidden0}$; $w_1 = w_1 + A \cdot \gamma_{Hidden1}$; $w_3 = w_3 + B \cdot \gamma_{Hidden1}$.
• Khối mạng nơ-ron hoàn chỉnh: Điều phối chu trình chuyển trạng thái giữa quá trình lan truyền thuận, nhận tín hiệu Target, kích hoạt lan truyền ngược và cập nhật đồng bộ các thanh ghi lưu trữ trọng số cho chu kỳ học tiếp theo.

---

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 thiết lập nền tảng và tính cấp thiết của đề tài. Tác giả chỉ ra sự bùng nổ của trí tuệ nhân tạo và hạn chế của các hệ thống xử lý phần mềm truyền thống trên CPU/MCU. Chương này tổng quan tình hình nghiên cứu vi mạch nơ-ron trong và ngoài nước: các công trình quốc tế về xấp xỉ tuyến tính hàm Sigmoid không dùng dấu chấm động, thuật toán lan truyền ngược tối ưu thời gian trễ trên Virtex-E, mạng tự tổ chức SOFM; các nghiên cứu trong nước về xử lý số thực IEEE-754 và điều khiển mờ - nơ-ron cho động cơ tuyến tính. Từ đó, xác định rõ nhiệm vụ nghiên cứu, đối tượng, phạm vi giới hạn mô hình 2-2-1 và bố cục toàn văn đồ án.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày toàn diện các cơ sở lý thuyết kỹ thuật:

• Cấu tạo nơ-ron sinh học và mô hình toán học của nơ-ron nhân tạo.
• Đặc tính toán học và đồ thị của các hàm kích hoạt (Linear, ReLU, Sigmoid, TanH, Binary Step) cùng bảng đạo hàm tương ứng.
• Kiến trúc mạng đơn lớp, đa lớp, mạng truyền thẳng và mạng hồi quy; nguyên lý học có giám sát và không giám sát.
• Thiết lập tường minh hệ thống phương trình vi phân và đại số cho thuật toán lan truyền ngược trên mạng 2-2-1.
• Tổng quan phần cứng FPGA, sơ đồ khối logic, bảng thông số kỹ thuật chi tiết của kit Altera DE1 (chip Cyclone II 2C20F484C7N với 18.752 LEs, 240K bit RAM, 52 bộ nhân phần cứng).
• Quy chuẩn số thực dấu chấm động IEEE-754 (32-bit và 64-bit), thuật toán chi tiết từng bước cho các phép cộng, trừ, nhân, chia số thực và lý thuyết máy trạng thái hữu hạn Moore, Mealy.

Chương 3: Thiết kế và thi công

Chương 3 là trọng tâm thiết kế kỹ thuật của đồ án. Tác giả mô tả chi tiết sơ đồ chân, bảng chuyển trạng thái FSM và sơ đồ khối vi mạch cho từng thành phần:

• Khối cộng/trừ 32-bit (FSM 5 trạng thái).
• Khối nhân 32-bit (FSM 4 trạng thái).
• Khối chia 32-bit (FSM 7 trạng thái) kết hợp bộ xử lý phân số FPP_MAN (FSM 5 trạng thái).
• Khối hàm mũ, hàm $e^x$, hàm Sigmoid và đạo hàm Sigmoid.
• Khối nút và khối lan truyền thuận; khối nút và khối lan truyền ngược.
• Khối tích hợp mạng nơ-ron hoàn chỉnh, thiết lập các bảng điều khiển ngõ vào/ngõ ra và phân phối xung nhịp đồng bộ trạng thái.

Chương 4: Kết quả đạt được

Chương 4 cung cấp toàn bộ kết quả kiểm thử và mô phỏng chức năng trên dạng sóng:

• Kiểm tra tính đúng đắn của các phép toán dấu chấm động cơ sở (cộng, trừ, nhân, chia) theo các kịch bản thử nghiệm dữ liệu đầu vào.
• Mô phỏng chức năng của các hàm toán học: hàm mũ, hàm $e^x$, hàm kích hoạt Sigmoid và đạo hàm Sigmoid.
• Mô phỏng hoạt động của khối nút và khối lan truyền thuận với các bộ vector dữ liệu kiểm tra.
• Mô phỏng quá trình lan truyền ngược, kiểm tra kết quả tính toán sai số $\gamma$ và sự cập nhật chính xác của 6 giá trị trọng số.
• Mô phỏng mạng nơ-ron hoàn chỉnh, lập bảng đối chiếu kết quả mô phỏng dạng mã thập lục phân (Hexadecimal) chuyển đổi sang số thập phân (Decimal) so với giá trị tính toán lý thuyết.
• Báo cáo bảng thông tin thiết bị và tổng hợp mức tiêu hao tài nguyên phần cứng (Logic Elements, Registers, Multipliers) trên chip Cyclone II cho từng khối.

Chương 5: Kết luận và hướng phát triển

Chương 5 tổng kết toàn bộ các kết quả đạt được đối chiếu với các mục tiêu đề ra ban đầu. Tác giả đánh giá những ưu điểm về tính độc lập, khả năng xử lý song song phần cứng, đồng thời thẳng thắn chỉ ra các mặt hạn chế về quy mô mạng và mức tiêu tốn tài nguyên vi mạch, từ đó đề xuất các hướng phát triển tiếp theo cho đề tài.

---

Kết quả và đóng góp

1. Kết quả chính

• Thiết kế thành công toàn bộ thư viện các khối tính toán số học dấu chấm động 32-bit chính xác đơn theo chuẩn IEEE-754 bằng ngôn ngữ VHDL thuần túy (không phụ thuộc vào IP Core có sẵn của hãng sản xuất), bao gồm bộ cộng, trừ, nhân, chia.
• Triển khai thành công các khối hàm phi tuyến phức tạp bao gồm hàm $e^x$, hàm kích hoạt Sigmoid và khối tính đạo hàm Sigmoid trên nền tảng số thực.
• Xây dựng hoàn chỉnh kiến trúc phần cứng cho mạng nơ-ron nhân tạo cấu hình 2-2-1 thực hiện đồng bộ hai chu trình: lan truyền thuận (Forward Propagation) và lan truyền ngược (Backward Propagation).
• Mô phỏng kiểm chứng dạng sóng chứng minh các khối phần cứng hoạt động chính xác theo đúng giải thuật toán học đề ra; dữ liệu trích xuất từ các thanh ghi ngõ ra khớp chính xác với giá trị tính toán giải tích sau khi chuyển đổi từ mã Hexadecimal sang Decimal.

2. Đóng góp của đề tài

• Hiện thực hóa giải thuật học có giám sát lan truyền ngược trực tiếp ở cấp độ phần cứng vi mạch, chứng minh tính khả thi của việc cấu hình FPGA thành một bộ gia tốc phần cứng xử lý nơ-ron độc lập.
• Đóng góp phương pháp thiết kế phân tầng FSM chi tiết cho việc xử lý số thực chuẩn IEEE-754 và các hàm kích hoạt phi tuyến, có thể tái sử dụng cho các nghiên cứu thiết kế hệ thống số phức tạp khác.

---

Hạn chế và hướng nghiên cứu tiếp

• Hạn chế:

  • Quy mô mạng nơ-ron còn ở mức cơ bản (2 ngõ vào, 1 lớp ẩn 2 nút, 1 ngõ ra), chưa đáp ứng trực tiếp ngay cho các bài toán nhận dạng dữ liệu lớn.
  • Việc sử dụng định dạng dấu chấm động IEEE-754 32-bit đầy đủ với các bộ nhân, chia số thực làm tiêu tốn đáng kể tài nguyên phần tử logic (Logic Elements) và tài nguyên tính toán của chip FPGA.
  • Nghiên cứu mới dừng lại ở bước mô phỏng kiểm tra dạng sóng và tổng hợp vi mạch, chưa tiến hành đo đạc thực tế công suất tiêu thụ và tần số hoạt động tối đa trên phần cứng vật lý trong điều kiện hoạt động liên tục.

• Hướng nghiên cứu tiếp:

  • Mở rộng quy mô kiến trúc vi mạch: tăng số lượng ngõ vào, số lượng lớp ẩn và số nút trên mỗi lớp để ứng dụng vào các bài toán thực tế như phân loại dữ liệu, nhận diện hình ảnh hoặc xử lý tín hiệu âm thanh.
  • Tối ưu hóa tài nguyên phần cứng bằng cách nghiên cứu các kỹ thuật xấp xỉ tuyến tính hàm kích hoạt hoặc sử dụng định dạng số thực dấu phẩy tĩnh (Fixed-point) với độ dài bit tùy biến nhằm giảm thiểu việc sử dụng các bộ chia dấu chấm động phức tạp.
  • Thực hiện nạp mạch và đo kiểm trực tiếp trên kit phần cứng thực tế FPGA Altera DE1, kết nối với các ngoại vi I/O để xử lý dữ liệu cảm biến thời gian thực.

---

Giá trị tham khảo

Đồ án tốt nghiệp là tài liệu tham khảo hữu ích cho sinh viên, học viên cao học và các kỹ sư thuộc các chuyên ngành:

• Ngành Công nghệ Kỹ thuật Máy tính và Kỹ thuật Vi mạch: Cung cấp tài liệu chi tiết về phương pháp thiết kế hệ thống số mức RTL, kỹ thuật xây dựng FSM cho các thuật toán phức tạp và phương pháp xử lý số thực chuẩn IEEE-754 bằng ngôn ngữ VHDL.
• Ngành Điện tử - Viễn thông và Tự động hóa: Tham khảo cấu trúc thiết kế phần cứng cho các bộ điều khiển thông minh, ứng dụng mạng nơ-ron xử lý tín hiệu thời gian thực.
• Phần đáng tham khảo nhất trong văn bản: Chương 3 và Chương 4 với hệ thống các sơ đồ máy trạng thái FSM, bảng chuyển trạng thái chi tiết của khối chia dấu chấm động kết hợp bộ FPP_MAN và phương pháp xây dựng khối đạo hàm Sigmoid phục vụ lan truyền ngược trên phần cứng.

---

Câu hỏi thường gặp

1. Đồ án sử dụng chip FPGA và kit phát triển nào để thiết kế phần cứng?
Đồ án sử dụng kit lập trình Altera DE1 được trang bị chip FPGA Altera Cyclone II mang mã hiệu EP2C20F484C7N (chứa 18.752 phần tử logic, 240K bit bộ nhớ RAM, 52 bộ nhân phần cứng tích hợp và 315 chân I/O).

2. Tiêu chuẩn biểu diễn số thực nào được áp dụng trong toàn bộ hệ thống tính toán của mạng nơ-ron?
Toàn bộ các tham số dữ liệu ngõ vào, trọng số liên kết, giá trị tính toán trung gian và ngõ ra đều sử dụng tiêu chuẩn số thực dấu chấm động IEEE-754 định dạng 32-bit (chính xác đơn), gồm 1 bit dấu, 8 bit số mũ (bias 127) và 23 bit phân số.

3. Hàm kích hoạt nào được tác giả lựa chọn để xây dựng trong vi mạch và công thức đạo hàm tương ứng là gì?
Tác giả lựa chọn hàm Sigmoid với công thức $f(x) = 1 / (1 + e^{-x})$. Đạo hàm của hàm Sigmoid phục vụ cho quá trình lan truyền ngược được tính theo công thức $f'(x) = f(x) \cdot (1 - f(x))$.

4. Khối chia dấu chấm động IEEE-754 được giải quyết bằng cấu trúc phần cứng như thế nào?
Khối chia dấu chấm động được thiết kế bằng một máy trạng thái chính gồm 7 trạng thái (Idle, Align, SetExp, Start, WaitMan, Done, Pause), phối hợp cùng một khối phần cứng xử lý phân số 24-bit chuyên biệt mang tên FPP_MAN (hoạt động theo chu trình FSM 5 trạng thái: Idle, Test, Chkbo, Norm, Fini) để lặp phép trừ so sánh và chuẩn hóa số mũ qua tín hiệu Shift.

5. Cấu hình chi tiết của mạng nơ-ron được thực hiện trong đồ án gồm những gì?
Mạng nơ-ron được thiết kế theo mô hình truyền thẳng đa lớp có cấu hình 2-2-1, bao gồm hai ngõ vào dữ liệu ($A, B$), một lớp ẩn gồm hai nút ($Hidden0, Hidden1$), một nút ngõ ra ($Output$) và sáu trọng số liên kết cần cập nhật ($w_0, w_1, w_2, w_3, w_4, w_5$).

---

Kết luận

Đồ án "Thực hiện mạng nơ-ron trên FPGA" của tác giả Vũ Minh Đức đã giải quyết thành công bài toán thiết kế cấu trúc phần cứng cho mạng nơ-ron nhân tạo cấu hình 2-2-1 bằng ngôn ngữ VHDL. Nghiên cứu đã tự xây dựng hoàn chỉnh thư viện tính toán số thực dấu chấm động 32-bit theo chuẩn IEEE-754 và hiện thực hóa thuật toán huấn luyện lan truyền ngược trực tiếp trên vi mạch logic lập trình được. Kết quả mô phỏng đã chứng minh tính đúng đắn của thiết kế phần cứng so với lý thuyết toán học, tạo cơ sở kỹ thuật giá trị cho việc phát triển các dòng vi mạch chuyên dụng xử lý trí tuệ nhân tạo tốc độ cao.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu. Trong chương này sẽ giới thiệu về đề tài, tính cấp thiết, mục tiêu thực hiện đề tài, nhiệm vụ nghiên cứu, đối tượng và phạm vi đề tài hướng tới. Chương 2: Cơ sở lý thuyết. Trong chương này sẽ đề cập tới lý thuyết về mạng nơ- ron, thuật toán lan truyền ngược, lý thuyết về dấu chấm động được quy định trong IEEE 754, lý thuyết về máy trạng thái và một số ví dụ về máy trạng thái.

Chương 3: Thiết kế và thi công. Trong chương này sẽ nói chi tiết về việc thiết kế một mạng nơ-ron trên FPGA. Từ việc thiết kế các phép toán sử dụng dấu chấm động cho tới việc thiết kế hoàn chỉnh một mảng nơ-ron. Chương 4: Kết quả đạt được.

Trong chương này sẽ trình bày kết quả hoạt động của mạng nơ-ron. Chương 5: Kết luận đề tài và hướng phát triển. Trong chương này sẽ so sánh kết quả đạt được so với mục tiêu đề ra ban đầu, trình bày nhưng ưu điểm và nhược điểm gặp phải trong đề tài và hướng phát triển của đề tài trong tương lai. 4 do an CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.

GIỚI THIỆU VỀ MẠNG NƠ-RON NHÂN TẠO 2. MẠNG NƠ-RON SINH HỌC Nơ-ron là những tế bào thần kinh chính thức có chức năng dẫn các xung điện. Nơ-ron là đơn vị cơ bản cấu tạo hệ thống thần kinh và là một phần quan trong nhất của não. Thân và sợi nhánh của các nơ-ron tạo thành chất xám, nhiều sợi trục đi chung với nhau tạo thành các bó gọi là dây thần kinh cấu tạo chất trắng trong não [7].

Trong quá trình nghiên cứu về bộ não, người ta thấy rằng: bộ não người bao gồm 1011 nơ-ron tham gia vào khoảng 1015 kết nối trên các đường truyền [8]. Chức năng cơ bản của các tế bào nơ-ron là liên kết với nhau để tạo nên hệ thống thần kinh điều khiển hoạt động của cơ thể sống. Các tế bào nơ-ron truyền tín hiệu cho nhau thông qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện và được tạo ra từ các quá trình phản ứng hóa học phức tạp. Các xung này dưới dạng các tín hiệu hóa học trong hoạt động điều khiển, điều hòa và phối hợp mọi hoạt động của các cơ quan quan trọng cơ thể nhằm tạo ra sự thích nghi với các thay đổi từ môi trường bên trong và bên ngoài [7].

MẠNG NƠ-RON NHÂN TẠO Mạng nơ-ron nhân tạo (Aritifical Neural Networks) mô phỏng lại mạng nơ-ron sinh học là một cấu trúc khối gồm các đơn vị tính toán đơn giản được liên kết chặt chẽ với nhau trong đó các liên kết giữa các nơ-ron quyết định chức năng của mạng. Mạng có thể thực hiện nhờ chương trình máy tính hoặc bằng mạch phần cứng. Mỗi nơ-ron thực hiện hai chức năng là chức năng đầu vào và chức năng kích hoạt đầu ra, do đó có thể coi mỗi nơ- ron là một đơn vị xử lý [9]. 5 do an Hình 2.

1 Mô hình tổng quát mạng nơ-ron.1 giới thiều về mạng nơ-ron với nơ-ron là nút có hai phần là xử lý ngõ vào và xử lý ngõ ra, với ngõ vào phụ thuộc vào hai tham số xn và wn và ngõ ra là kết quả hàm thực thi f. MÔ HÌNH TOÁN HỌC MẠNG NƠ-RON NHÂN TẠO Như ở trên đã giới thiệu sơ lược về mô hình mạng nơ-ron nhân tạo, trong phần này sẽ nói sâu hơn về các thành phần cấu tạo nên mạng nơ-ron: Dữ liệu đầu vào: là các tín hiệu xn thường được đưa về dưới dạng vector n phần tử, dữ liệu đầu vào có thể là dữ liệu âm thanh hay hình ảnh từ các cảm biến đưa vào trong quá trình nhận diện. Trọng số liên kết: Là trọng số giữa tín hiệu vào thứ i với nơ-ron thứ k kí hiệu wkj. Thông thường các trọng số này được khởi tạo ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học của mạng.

Bộ tổng (Summing function): Dùng để tính tổng của tích các ngõ vào và trọng số liên kết của nó. Độ lệch (bias): Thường được đưa vào như thành phần của hàm truyền. Hàm kích hoạt (Activation Function): Được dùng để giới hạn phạm vi đầu ra của mỗi nơ-ron. Nó nhận đầu vào là kết quả của hàm tổng và độ lệch đã cho.

Thông thường, 6 do an phạm vi đầu ra của mỗi nơ-ron được giới hạn trong đoạn [0,1] hoặc [-1, 1]. Các hàm truyền rất đa dạng có thể là các hàm tuyến tính hoặc các hàm phi tuyến. Việc lựa chọn hàm truyền nào là tùy thuộc vào yêu cầu của từng bài toán và kinh nghiệm của người thiết kế mạng. Xét về mặt toán học, cấu trúc của một nơ-ron được mô tả bằng biểu thức sau: (2- 1) = + Trong biểu thức trên có y là ngõ ra của mạng, xj là các tín hiệu ngõ vào, wkj là trọng của của các ngõ vào ứng với từng nơ-ron, bk là độ lệch, hàm f là hàm kích hoạt.

HÀM KÍCH HOẠT Phần lớn các đơn vị trong mạng nơ-ron chuyển các giá trị tổng các tích đầu vào với trọng số bằng một hàm vô hướng (scalar-to-scalar function) gọi là hàm kích hoạt, kết quả hàm này là một giá trị gọi là mức độ kích hoạt. Các hàm kích hoạt thường bị ép vào một khoảng giá trị xác định, do đó thường được gọi là các hàm bẹp (squashing). Các hàm kích hoạt thường được sử dụng là: Hàm tuyến tính (Linear): là hàm kích hoạt có ngõ vào bằng với ngõ ra. ( )= (2- 2) 7 do an 0 Hình 2.

2 Đồ thị biểu diễn hàm tuyến tính Hàm tuyến tính sửa đổi (Rectifier Linear): Là hàm kích hoạt tương tự như hàm tuyến tính nhưng chỉ nhận phần tích cực (phần dương của tham số truyền vào hàm), còn phần phần âm sẽ bằng 0. 3 Đồ thị biểu diễn hàm tuyến tính chỉnh sửa Hàm Sigmoid: Là hàm bão hòa, nhận đầu vào tùy ý và cho đầu ra trong khoảng [0, 1]. Hàm này được dung chủ yếu trong mạng lan truyền ngược bởi vì có thể để đạo hàm được. 8 do an 1 (2- 4) ( )= 1+ 1 0 Hình 2.

4 Đồ thị biểu diễn hàm Sigmoid Hàm TanH: tương tự như hàm Sigmoid, hàm này làm việc tốt trong các yêu cầu trong khoảng [-1, 1]. 5 Đồ thị biểu diễn hàm TanH. 9 do an Hàm nhị phân (binary function): Là hàm kích hoạt cho ngõ ra bằng 1 khi tham số truyền vào lớn hơn 0 và ngõ ra bằng 0 khi tham số truyền vào nhỏ hơn hoặc bằng 0. 6 Đồ thị biểu diễn hàm bước nhị phân.

KIẾN TRÚC MẠNG NƠ-RON Mạng nơ-ron đơn lớp (A layer of Neurons): Mạng nơ-ron đơn lớp có số lượng nơ-ron bằng S được thể hiện ở hình 2. Trong hình có R ngõ vào kết nối với nơ-ron là ma trận trọng số liên kết với S hàng. 10 do an Hình 2. 7 Kiến trúc mạng nơ-ron đơn lớp = ( + ) (2- 7) Trong mạng nơ-ron đơn lớp bao gồm ma trận trọng số liên kết, hàm tổng, một vector độ lệch b (bias), hàm kích hoạt và vector ngõ ra o.

Các nơ-ron trong cùng một lớp không nhất thiết phải sử dụng cùng một hàm kích hoạt, có thể dùng nhiều hàm kích hoạt cho các nơ-ron trên cùng một lớp. Việc tính toán ngõ ra trên mạng nơ-ron đơn lớp sẽ bằng kết quả hàm truyền của tổng giữa hệ số bias và tích giữa trọng số liên kết và ngõ vào [10]. Mạng nơ-ron đa lớp (Multiple layer of Neurons): Mạng nơ-ron đa lớp thì trên mỗi lớp có một ma trận trọng số liên kết w riêng, một vector bias b riêng và một ngõ ra o riêng.8 sẽ thể hiện mô hình của mạng nơ-ron đa lớp. 11 do an Hình 2.

8 Kiến trúc mạng nơ ron đa lớp = ( .8 là mạng nơ-ron đa lớp mà ở đây là ba lớp, kết quả của lớp thứ nhất sẽ là dữ liệu đầu vào của lớp thứ hai và kết quả của lớp thứ hai sẽ là dữ liệu đầu vào lớp thứ ba, việc tính toán kết quả của mạng nơ-ron đa lớp thông qua biểu thức (2-11). Biểu thức (2-8) được dùng tính toán kết quả của lớp thứ nhất, biểu thức (2-9) được dùng tính toán kết quả của lớp thứ hai với ngõ vào là kết quả của lớp thứ nhất. Biểu thức (2-10) được dùng tính toán kết quả ngõ ra của lớp thứ ba thông qua ngõ vào là kết quả của lớp thứ hai. Sử dụng hàm kích hoạt trong các lớp giống như trong mạng nơ-ron đơn lớp, trong mỗi lớp đều có thể sử dụng các hàm kích hoạt khác nhau [10].

PHÂN LOẠI MẠNG NƠ-RON Phân loại mạng được dựa trên số lớp, số đơn vị trên mỗi lớp và sự liên kết giữa các lớp như thế nào. Các mạng về tổng thể được chia thành hai loại dựa trên các cách thức liên kết đơn vị. 12 do an Mạng truyền thẳng (Feed-forward neural network): Là dòng dữ liệu đi từ đầu đến cuối theo đường thẳng và không có các liên kết hồi tiếp trở lại. Việc xử lý dữ liệu có thể mở rộng ra nhiều lớp.

9 Mô hình mạng nơ-ron truyền thẳng. Mạng hồi quy (Recurrent neural network): Là mạng có chứa các liên kết hồi tiếp trở lại, vì có liên kết hồi tiếp trở lại nên các dữ liệu đầu vào và đầu ra tạo thành một chuỗi thông tin. Không giống như mạng truyền thẳng dữ liệu đầu vào và ra là độc lập với nhau. Mạng hồi quy có liên kết hồi tiếp nên có khả năng nhớ thông tin trước đó, mạng này có thể sử dụng trong ứng dụng như dự đoán từ sẽ xuất hiện tiếp theo [10] … 13 do an Hình 2.

10 Mô hình mạng nơ-ron hồi quy. HUẤN LUYỆN MẠNG Chức năng của một mạng nơ-ron được quyết định bởi các nhân tố như: đặc điểm của mạng (số lớp, số đơn vị trên mỗi tầng và cách mà các lớp liên kết với nhau) và các trọng số của các liên kết bên trong mạng. Các trọng số liên kết được điều chỉnh để mạng nhận biết được mối quan hệ giữa đầu vào và đích mong muốn được gọi là quá trình học (learning) hay là huấn luyện (training). Một mạng nơ-ron được huấn luyện sao cho với một tập các vector đầu vào X, mạng có khả năng tạo ra tập các vector đầu ra mong muốn Y.

Quá trình huấn luyện bản chất là thay đổi các trọng số liên kết để các trọng số có thể hội tụ đến một giá trị mỗi đầu vào ứng với một ngõ ra mong muốn. Việc huấn luyện mạng được phân thành hai loại là: Học có giám sát: Là mạng được cung cấp các cặp mẫu đầu vào và các đầu ra mong muốn (target values).