Đồ án HCMUTE về việc thực hiện mạng nơ ron trên FPGA

Đồ án nghiên cứu hcmute thực hiện mạng nơ ron trên fpga, áp dụng công nghệ tiên tiến, tối ưu giải pháp kỹ thuật cho bài toán ., phục vụ nghiên cứu và ứng dụng thực tiễn

• Tác giả: Vũ Minh Đức
• Người hướng dẫn: ThS. Trương Quang Phúc
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Kỹ Thuật Máy Tính
• Đề tài: Thực Hiện Mạng Nơ-Ron Trên FPGA
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2018
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• MỤC LỤC
• DANH MỤC CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC HÌNH ẢNH
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. GIỚI THIỆU ĐỀ TÀI
• 1.2. TÍNH CẤP THIẾT CỦA ĐỀ TÀI
• 1.3. MỤC TIÊU
• 1.4. TÌNH HÌNH TRONG NƯỚC VÀ NGOÀI NƯỚC
• 1.5. NHIỆM VỤ NGHIÊN CỨU
• 1.6. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
• 1.7. GIẢI QUYẾT VẤN ĐỀ
• 1.8. BỐ CỤC LUẬN VĂN
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. GIỚI THIỆU VỀ MẠNG NƠ-RON NHÂN TẠO
• 2.2. MẠNG NƠ-RON SINH HỌC
• 2.3. MẠNG NƠ-RON NHÂN TẠO
• 2.4. MÔ HÌNH TOÁN HỌC MẠNG NƠ-RON NHÂN TẠO
• 2.5. HÀM KÍCH HOẠT
• 2.6. KIẾN TRÚC MẠNG NƠ-RON
• 2.7. PHÂN LOẠI MẠNG NƠ-RON
• 2.8. HUẤN LUYỆN MẠNG
• 2.9. THUẬT TOÁN LAN TRUYỀN NGƯỢC
• 2.10. THỰC HIỆN XÂY DỰNG MỘT MẠNG NƠ-RON ĐƠN GIẢN
• 2.11. GIỚI THIỆU FPGA VÀ KIT LẬP TRÌNH DE1
• 2.11.1. GIỚI THIỆU FPGA
• 2.11.2. GIỚI THIỆU KIT LẬP TRÌNH DE1
• 2.12. DẤU CHẤM ĐỘNG VÀ TIÊU CHUẨN IEEE 754
• 2.13. THỰC HIỆN PHÉP CỘNG VÀ TRỪ
• 2.14. THỰC HIỆN PHÉP NHÂN
• 2.15. THỰC HIỆN PHÉP CHIA
• 2.16. LÝ THUYẾT MÁY TRẠNG THÁI HỮU HẠN
• 2.16.1. MÁY TRẠNG THÁI MOORE
• 2.16.2. MÁY TRẠNG THÁI MEALY
• 3. CHƯƠNG 3: THIẾT KẾ VÀ THI CÔNG
• 3.1. THỰC HIỆN CÁC PHÉP TOÁN DẤU CHẤM ĐỘNG VÀ CÁC HÀM CHỨC NĂNG
• 3.1.1. THỰC HIỆN PHÉP CỘNG VÀ TRỪ
• 3.1.2. THỰC HIỆN PHÉP NHÂN
• 3.1.3. THỰC HIỆN PHÉP CHIA
• 3.1.4. THỰC HIỆN HÀM MŨ
• 3.1.5. THỰC HIỆN HÀM E MŨ
• 3.1.6. THỰC HIỆN HÀM KÍCH HOẠT SIGMOID
• 3.1.7. THỰC HIỆN HÀM ĐẠO HÀM CỦA HÀM SIGMOID
• 3.2. THỰC HIỆN MẠNG NƠ-RON
• 3.2.1. THỰC HIỆN MẠNG NƠ-RON LAN TRUYỀN THUẬN
• 3.2.2. THỰC HIỆN MẠNG NƠ-RON LAN TRUYỀN NGƯỢC
• 3.2.3. THỰC HIỆN MẠNG NƠ-RON HOÀN CHỈNH
• 4. CHƯƠNG 4: KẾT QUẢ ĐẠT ĐƯỢC
• 4.1. MÔ PHỎNG KẾT QUẢ CÁC PHÉP TOÁN DẤU CHẤM ĐỘNG
• 4.1.1. MÔ PHỎNG KẾT QUẢ CỦA PHÉP CỘNG VÀ TRỪ
• 4.1.2. MÔ PHỎNG KẾT QUẢ CỦA PHÉP NHÂN
• 4.1.3. MÔ PHỎNG KẾT QUẢ CỦA PHÉP CHIA
• 4.2. MÔ PHỎNG KẾT QUẢ CÁC HÀM TÍNH TOÁN
• 4.2.1. MÔ PHỎNG KẾT QUẢ CỦA HÀM MŨ
• 4.2.2. MÔ PHỎNG KẾT QUẢ CỦA HÀM E MŨ
• 4.2.3. MÔ PHỎNG KẾT QUẢ CỦA HÀM SIGMOID
• 4.2.4. MÔ PHỎNG KẾT QUẢ CỦA KHỐI ĐẠO HÀM SIGMOID
• 4.3. MÔ PHỎNG CÁC THÀNH PHẦN TRONG MẠNG NƠ-RON
• 4.3.1. MÔ PHỎNG KẾT QUẢ KHỐI NÚT LAN TRUYỀN THUẬN
• 4.3.2. MÔ PHỎNG KẾT QUẢ KHỐI LAN TRUYỀN THUẬN
• 4.3.3. MÔ PHỎNG KẾT QUẢ KHỐI NÚT LAN TRUYỀN NGƯỢC
• 4.3.4. MÔ PHỎNG KẾT QUẢ KHỐI LAN TRUYỀN NGƯỢC
• 4.3.5. MÔ PHỎNG KẾT QUẢ MẠNG NƠ-RON HOÀN CHỈNH
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về Mạng nơ ron và Đồ án tốt nghiệp HCMUTE

Đồ án tốt nghiệp "Thực hiện mạng nơ-ron trên FPGA" tại Trường Đại học Công nghệ TP.HCM (HCMUTE) tập trung vào việc triển khai mạng nơ ron trên nền tảng FPGA. Đề tài này có ý nghĩa thiết thực, giải quyết vấn đề tăng tốc xử lý cho các ứng dụng hệ thống nhúng đòi hỏi tính thời gian thực cao. Việc sử dụng FPGA cho phép tối ưu hóa kiến trúc phần cứng để đáp ứng yêu cầu hiệu năng cụ thể của mạng nơ ron, khác với việc sử dụng các vi xử lý thông thường. Đồ án nghiên cứu các khía cạnh thiết kế, triển khai và đánh giá hiệu năng của một mạng nơ ron đơn giản trên FPGA, đóng góp vào việc ứng dụng học máy (machine learning) và học sâu (deep learning) trong các hệ thống nhúng.

1.1. Bối cảnh và tầm quan trọng

Sự phát triển nhanh chóng của học máy và học sâu dẫn đến nhu cầu ngày càng cao về khả năng xử lý dữ liệu nhanh hơn. Các thuật toán mạng nơ ron, đặc biệt là CNN, RNN, và DNN, thường đòi hỏi sức mạnh tính toán lớn. FPGA, với khả năng lập trình lại và khả năng song song hóa cao, là một giải pháp lý tưởng để tăng tốc các phép tính này. Đồ án này đóng góp vào việc nghiên cứu và ứng dụng FPGA trong lĩnh vực này, giúp giảm thời gian xử lý và tiêu thụ năng lượng của các hệ thống mạng nơ ron tích hợp. Gia tốc phần cứng (hardware acceleration) thông qua FPGA trở thành một xu hướng quan trọng trong việc triển khai các ứng dụng machine learning và deep learning thời gian thực. Việc ánh xạ mạng nơ ron lên FPGA đòi hỏi sự hiểu biết sâu sắc về cả kiến trúc mạng nơ ron lẫn kiến trúc FPGA. Tối ưu hóa việc sử dụng tài nguyên FPGA là một thách thức quan trọng cần được giải quyết để đảm bảo hiệu quả. Đồ án này tập trung vào việc xây dựng một mạng nơ ron đơn giản, cho phép làm rõ các bước thiết kế và triển khai trên FPGA, tạo nền tảng cho các nghiên cứu phức tạp hơn.

1.2. Phương pháp luận và công cụ

Đồ án sử dụng ngôn ngữ mô tả phần cứng VHDL hoặc Verilog để thiết kế và triển khai mạng nơ ron trên FPGA. VHDL (VHSIC Hardware Description Language) hoặc Verilog, là những ngôn ngữ lập trình phần cứng cho phép mô tả chức năng và cấu trúc của mạch điện tử. Việc lựa chọn ngôn ngữ phù hợp phụ thuộc vào kinh nghiệm và yêu cầu của dự án. Thuật toán tối ưu hóa được áp dụng để tối ưu hóa hiệu năng của mạng nơ ron trên FPGA. Xử lý song song (parallel processing) được tận dụng để tăng tốc độ tính toán. Kiến trúc FPGA được phân tích để lựa chọn cấu trúc phù hợp cho việc triển khai mạng nơ ron. Kết quả được mô phỏng và đánh giá, so sánh với kết quả lý thuyết. Đồ án này nhấn mạnh vào khía cạnh thiết kế phần cứng của mạng nơ ron, không chỉ tập trung vào việc chạy thuật toán mà còn tập trung vào việc tối ưu hóa hiệu năng của hệ thống.

II. Triển khai Mạng nơ ron trên FPGA Thực hiện và Kết quả

Phần này tập trung vào quá trình triển khai cụ thể của mạng nơ ron trên FPGA. Đồ án mô tả chi tiết các bước thiết kế, từ việc mô hình hóa toán học mạng nơ ron đến việc chuyển đổi sang mã VHDL hoặc Verilog, và cuối cùng là quá trình tổng hợp và lập trình lên FPGA. Các vấn đề về tối ưu hóa tài nguyên FPGA, xử lý song song, và tiêu thụ năng lượng được xem xét kỹ lưỡng. Kết quả mô phỏng và thực nghiệm sẽ được trình bày và phân tích. Hiệu năng của hệ thống, bao gồm tốc độ xử lý và độ chính xác, sẽ được so sánh với các phương pháp triển khai khác.

2.1. Thiết kế và triển khai

Quá trình thiết kế bao gồm việc lựa chọn kiến trúc mạng nơ ron phù hợp, ví dụ như mạng nơ ron feedforward đơn giản. Sau đó, mô hình toán học được xây dựng, bao gồm các hàm kích hoạt như Sigmoid hay ReLU. Các phép toán số học, đặc biệt là các phép tính dấu chấm động, được thiết kế và tối ưu hóa để hoạt động hiệu quả trên FPGA. Mã VHDL hoặc Verilog được viết để mô tả mạng nơ ron, bao gồm các module cho mỗi lớp, mỗi neuron, và các kết nối giữa chúng. Phần cứng cần thiết, như bộ nhớ và các khối xử lý, được phân bổ trên FPGA. Quá trình tổng hợp và lập trình được thực hiện sử dụng các công cụ thiết kế FPGA chuyên dụng. Phân tích về thuật toán tối ưu, như việc giảm thiểu số phép toán hoặc sử dụng các cấu trúc phần cứng song song, cũng là một phần quan trọng của quá trình thiết kế này.

2.2. Phân tích và đánh giá kết quả

Kết quả mô phỏng được phân tích để đánh giá hiệu năng của mạng nơ ron trên FPGA. Các chỉ số quan trọng bao gồm tốc độ xử lý, độ chính xác, và tiêu thụ năng lượng. Kết quả thực nghiệm, nếu có, sẽ được so sánh với kết quả mô phỏng. So sánh hiệu năng với các phương pháp triển khai trên các nền tảng khác, chẳng hạn như CPU hoặc GPU, cũng rất cần thiết để đánh giá hiệu quả của việc sử dụng FPGA. Phân tích về hiệu năng sẽ được trình bày chi tiết, kèm theo các biểu đồ và bảng số liệu. Kết quả thực nghiệm sẽ minh họa tính khả thi và hiệu quả của phương pháp triển khai mạng nơ ron trên FPGA trong đồ án tốt nghiệp HCMUTE này. Phân tích về các hạn chế và hướng cải thiện cũng sẽ được đề cập.

III. Kết luận và ứng dụng thực tiễn

Đồ án này cung cấp một nghiên cứu toàn diện về việc triển khai mạng nơ ron trên FPGA. Kết quả nghiên cứu đóng góp vào việc hiểu rõ hơn về khả năng và hạn chế của FPGA trong việc tăng tốc xử lý mạng nơ ron. Các kết quả thu được có ý nghĩa thực tiễn, tạo nền tảng cho các ứng dụng trong nhiều lĩnh vực như xử lý tín hiệu số (DSP), nhận dạng ảnh, và điều khiển tự động.

3.1. Ứng dụng thực tiễn

Việc triển khai thành công mạng nơ ron trên FPGA mở ra nhiều ứng dụng thực tiễn. Các hệ thống nhúng đòi hỏi tính thời gian thực cao, như hệ thống điều khiển robot, ô tô tự lái, và thiết bị y tế, sẽ được hưởng lợi từ việc tăng tốc xử lý của FPGA. Trong lĩnh vực xử lý ảnh và video, FPGA có thể được sử dụng để tăng tốc các thuật toán nhận dạng khuôn mặt, phân loại đối tượng, và xử lý video thời gian thực. Các ứng dụng trong lĩnh vực xử lý ngôn ngữ tự nhiên cũng có thể được tăng tốc bằng cách sử dụng FPGA để xử lý các mô hình mạng nơ ron phức tạp. Tối ưu hóa năng lượng là một lợi ích khác của việc sử dụng FPGA trong các ứng dụng di động hoặc nhúng.

3.2. Hướng phát triển tương lai

Nghiên cứu này có thể được mở rộng bằng cách triển khai các mạng nơ ron phức tạp hơn, như CNN sâu hoặc RNN. Việc nghiên cứu các thuật toán tối ưu hóa nâng cao để giảm thiểu thời gian xử lý và tiêu thụ năng lượng cũng là một hướng phát triển quan trọng. Tích hợp các kỹ thuật xử lý song song hiệu quả hơn để tận dụng tối đa sức mạnh của FPGA cũng là một hướng nghiên cứu tiềm năng. Khám phá các ứng dụng mới của mạng nơ ron trên FPGA trong các lĩnh vực khác nhau là một hướng nghiên cứu hấp dẫn. Việc nghiên cứu kỹ thuật phân tích và đánh giá hiệu năng chi tiết hơn, bao gồm cả các chỉ số về mức độ sử dụng tài nguyên của FPGA, cũng sẽ rất hữu ích.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu. Trong chương này sẽ giới thiệu về đề tài, tính cấp thiết, mục tiêu thực hiện đề tài, nhiệm vụ nghiên cứu, đối tượng và phạm vi đề tài hướng tới. Chương 2: Cơ sở lý thuyết. Trong chương này sẽ đề cập tới lý thuyết về mạng nơ- ron, thuật toán lan truyền ngược, lý thuyết về dấu chấm động được quy định trong IEEE 754, lý thuyết về máy trạng thái và một số ví dụ về máy trạng thái.

Chương 3: Thiết kế và thi công. Trong chương này sẽ nói chi tiết về việc thiết kế một mạng nơ-ron trên FPGA. Từ việc thiết kế các phép toán sử dụng dấu chấm động cho tới việc thiết kế hoàn chỉnh một mảng nơ-ron. Chương 4: Kết quả đạt được.

Trong chương này sẽ trình bày kết quả hoạt động của mạng nơ-ron. Chương 5: Kết luận đề tài và hướng phát triển. Trong chương này sẽ so sánh kết quả đạt được so với mục tiêu đề ra ban đầu, trình bày nhưng ưu điểm và nhược điểm gặp phải trong đề tài và hướng phát triển của đề tài trong tương lai. 4 do an CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.

GIỚI THIỆU VỀ MẠNG NƠ-RON NHÂN TẠO 2. MẠNG NƠ-RON SINH HỌC Nơ-ron là những tế bào thần kinh chính thức có chức năng dẫn các xung điện. Nơ-ron là đơn vị cơ bản cấu tạo hệ thống thần kinh và là một phần quan trong nhất của não. Thân và sợi nhánh của các nơ-ron tạo thành chất xám, nhiều sợi trục đi chung với nhau tạo thành các bó gọi là dây thần kinh cấu tạo chất trắng trong não [7].

Trong quá trình nghiên cứu về bộ não, người ta thấy rằng: bộ não người bao gồm 1011 nơ-ron tham gia vào khoảng 1015 kết nối trên các đường truyền [8]. Chức năng cơ bản của các tế bào nơ-ron là liên kết với nhau để tạo nên hệ thống thần kinh điều khiển hoạt động của cơ thể sống. Các tế bào nơ-ron truyền tín hiệu cho nhau thông qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện và được tạo ra từ các quá trình phản ứng hóa học phức tạp. Các xung này dưới dạng các tín hiệu hóa học trong hoạt động điều khiển, điều hòa và phối hợp mọi hoạt động của các cơ quan quan trọng cơ thể nhằm tạo ra sự thích nghi với các thay đổi từ môi trường bên trong và bên ngoài [7].

MẠNG NƠ-RON NHÂN TẠO Mạng nơ-ron nhân tạo (Aritifical Neural Networks) mô phỏng lại mạng nơ-ron sinh học là một cấu trúc khối gồm các đơn vị tính toán đơn giản được liên kết chặt chẽ với nhau trong đó các liên kết giữa các nơ-ron quyết định chức năng của mạng. Mạng có thể thực hiện nhờ chương trình máy tính hoặc bằng mạch phần cứng. Mỗi nơ-ron thực hiện hai chức năng là chức năng đầu vào và chức năng kích hoạt đầu ra, do đó có thể coi mỗi nơ- ron là một đơn vị xử lý [9]. 5 do an Hình 2.

1 Mô hình tổng quát mạng nơ-ron.1 giới thiều về mạng nơ-ron với nơ-ron là nút có hai phần là xử lý ngõ vào và xử lý ngõ ra, với ngõ vào phụ thuộc vào hai tham số xn và wn và ngõ ra là kết quả hàm thực thi f. MÔ HÌNH TOÁN HỌC MẠNG NƠ-RON NHÂN TẠO Như ở trên đã giới thiệu sơ lược về mô hình mạng nơ-ron nhân tạo, trong phần này sẽ nói sâu hơn về các thành phần cấu tạo nên mạng nơ-ron: Dữ liệu đầu vào: là các tín hiệu xn thường được đưa về dưới dạng vector n phần tử, dữ liệu đầu vào có thể là dữ liệu âm thanh hay hình ảnh từ các cảm biến đưa vào trong quá trình nhận diện. Trọng số liên kết: Là trọng số giữa tín hiệu vào thứ i với nơ-ron thứ k kí hiệu wkj. Thông thường các trọng số này được khởi tạo ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học của mạng.

Bộ tổng (Summing function): Dùng để tính tổng của tích các ngõ vào và trọng số liên kết của nó. Độ lệch (bias): Thường được đưa vào như thành phần của hàm truyền. Hàm kích hoạt (Activation Function): Được dùng để giới hạn phạm vi đầu ra của mỗi nơ-ron. Nó nhận đầu vào là kết quả của hàm tổng và độ lệch đã cho.

Thông thường, 6 do an phạm vi đầu ra của mỗi nơ-ron được giới hạn trong đoạn [0,1] hoặc [-1, 1]. Các hàm truyền rất đa dạng có thể là các hàm tuyến tính hoặc các hàm phi tuyến. Việc lựa chọn hàm truyền nào là tùy thuộc vào yêu cầu của từng bài toán và kinh nghiệm của người thiết kế mạng. Xét về mặt toán học, cấu trúc của một nơ-ron được mô tả bằng biểu thức sau: (2- 1) = + Trong biểu thức trên có y là ngõ ra của mạng, xj là các tín hiệu ngõ vào, wkj là trọng của của các ngõ vào ứng với từng nơ-ron, bk là độ lệch, hàm f là hàm kích hoạt.

HÀM KÍCH HOẠT Phần lớn các đơn vị trong mạng nơ-ron chuyển các giá trị tổng các tích đầu vào với trọng số bằng một hàm vô hướng (scalar-to-scalar function) gọi là hàm kích hoạt, kết quả hàm này là một giá trị gọi là mức độ kích hoạt. Các hàm kích hoạt thường bị ép vào một khoảng giá trị xác định, do đó thường được gọi là các hàm bẹp (squashing). Các hàm kích hoạt thường được sử dụng là: Hàm tuyến tính (Linear): là hàm kích hoạt có ngõ vào bằng với ngõ ra. ( )= (2- 2) 7 do an 0 Hình 2.

2 Đồ thị biểu diễn hàm tuyến tính Hàm tuyến tính sửa đổi (Rectifier Linear): Là hàm kích hoạt tương tự như hàm tuyến tính nhưng chỉ nhận phần tích cực (phần dương của tham số truyền vào hàm), còn phần phần âm sẽ bằng 0. 3 Đồ thị biểu diễn hàm tuyến tính chỉnh sửa Hàm Sigmoid: Là hàm bão hòa, nhận đầu vào tùy ý và cho đầu ra trong khoảng [0, 1]. Hàm này được dung chủ yếu trong mạng lan truyền ngược bởi vì có thể để đạo hàm được. 8 do an 1 (2- 4) ( )= 1+ 1 0 Hình 2.

4 Đồ thị biểu diễn hàm Sigmoid Hàm TanH: tương tự như hàm Sigmoid, hàm này làm việc tốt trong các yêu cầu trong khoảng [-1, 1]. 5 Đồ thị biểu diễn hàm TanH. 9 do an Hàm nhị phân (binary function): Là hàm kích hoạt cho ngõ ra bằng 1 khi tham số truyền vào lớn hơn 0 và ngõ ra bằng 0 khi tham số truyền vào nhỏ hơn hoặc bằng 0. 6 Đồ thị biểu diễn hàm bước nhị phân.

KIẾN TRÚC MẠNG NƠ-RON Mạng nơ-ron đơn lớp (A layer of Neurons): Mạng nơ-ron đơn lớp có số lượng nơ-ron bằng S được thể hiện ở hình 2. Trong hình có R ngõ vào kết nối với nơ-ron là ma trận trọng số liên kết với S hàng. 10 do an Hình 2. 7 Kiến trúc mạng nơ-ron đơn lớp = ( + ) (2- 7) Trong mạng nơ-ron đơn lớp bao gồm ma trận trọng số liên kết, hàm tổng, một vector độ lệch b (bias), hàm kích hoạt và vector ngõ ra o.

Các nơ-ron trong cùng một lớp không nhất thiết phải sử dụng cùng một hàm kích hoạt, có thể dùng nhiều hàm kích hoạt cho các nơ-ron trên cùng một lớp. Việc tính toán ngõ ra trên mạng nơ-ron đơn lớp sẽ bằng kết quả hàm truyền của tổng giữa hệ số bias và tích giữa trọng số liên kết và ngõ vào [10]. Mạng nơ-ron đa lớp (Multiple layer of Neurons): Mạng nơ-ron đa lớp thì trên mỗi lớp có một ma trận trọng số liên kết w riêng, một vector bias b riêng và một ngõ ra o riêng.8 sẽ thể hiện mô hình của mạng nơ-ron đa lớp. 11 do an Hình 2.

8 Kiến trúc mạng nơ ron đa lớp = ( .8 là mạng nơ-ron đa lớp mà ở đây là ba lớp, kết quả của lớp thứ nhất sẽ là dữ liệu đầu vào của lớp thứ hai và kết quả của lớp thứ hai sẽ là dữ liệu đầu vào lớp thứ ba, việc tính toán kết quả của mạng nơ-ron đa lớp thông qua biểu thức (2-11). Biểu thức (2-8) được dùng tính toán kết quả của lớp thứ nhất, biểu thức (2-9) được dùng tính toán kết quả của lớp thứ hai với ngõ vào là kết quả của lớp thứ nhất. Biểu thức (2-10) được dùng tính toán kết quả ngõ ra của lớp thứ ba thông qua ngõ vào là kết quả của lớp thứ hai. Sử dụng hàm kích hoạt trong các lớp giống như trong mạng nơ-ron đơn lớp, trong mỗi lớp đều có thể sử dụng các hàm kích hoạt khác nhau [10].

PHÂN LOẠI MẠNG NƠ-RON Phân loại mạng được dựa trên số lớp, số đơn vị trên mỗi lớp và sự liên kết giữa các lớp như thế nào. Các mạng về tổng thể được chia thành hai loại dựa trên các cách thức liên kết đơn vị. 12 do an Mạng truyền thẳng (Feed-forward neural network): Là dòng dữ liệu đi từ đầu đến cuối theo đường thẳng và không có các liên kết hồi tiếp trở lại. Việc xử lý dữ liệu có thể mở rộng ra nhiều lớp.

9 Mô hình mạng nơ-ron truyền thẳng. Mạng hồi quy (Recurrent neural network): Là mạng có chứa các liên kết hồi tiếp trở lại, vì có liên kết hồi tiếp trở lại nên các dữ liệu đầu vào và đầu ra tạo thành một chuỗi thông tin. Không giống như mạng truyền thẳng dữ liệu đầu vào và ra là độc lập với nhau. Mạng hồi quy có liên kết hồi tiếp nên có khả năng nhớ thông tin trước đó, mạng này có thể sử dụng trong ứng dụng như dự đoán từ sẽ xuất hiện tiếp theo [10] … 13 do an Hình 2.

10 Mô hình mạng nơ-ron hồi quy. HUẤN LUYỆN MẠNG Chức năng của một mạng nơ-ron được quyết định bởi các nhân tố như: đặc điểm của mạng (số lớp, số đơn vị trên mỗi tầng và cách mà các lớp liên kết với nhau) và các trọng số của các liên kết bên trong mạng. Các trọng số liên kết được điều chỉnh để mạng nhận biết được mối quan hệ giữa đầu vào và đích mong muốn được gọi là quá trình học (learning) hay là huấn luyện (training). Một mạng nơ-ron được huấn luyện sao cho với một tập các vector đầu vào X, mạng có khả năng tạo ra tập các vector đầu ra mong muốn Y.

Quá trình huấn luyện bản chất là thay đổi các trọng số liên kết để các trọng số có thể hội tụ đến một giá trị mỗi đầu vào ứng với một ngõ ra mong muốn. Việc huấn luyện mạng được phân thành hai loại là: Học có giám sát: Là mạng được cung cấp các cặp mẫu đầu vào và các đầu ra mong muốn (target values).