Nghiên Cứu và Thiết Kế Mô Hình Học Tăng Cường Trên FPGA Với Môi Trường Cartpole

Luận văn tốt nghiệp kỹ thuật nghiên cứu tốt nghiệp kỹ thuật máy tính nghiên cứu và thiết kế mô hình học tăng cường trên fpga với môi trường, điều tra thực trạng, phân tích số

• Tác giả: Huỳnh Xuân Min
• Người hướng dẫn: ThS. Trần Văn Quang
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ thuật máy tính
• Đề tài: Mô Hình Học Tăng Cường Trên FPGA Với Môi Trường Cartpole
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN ĐỀ TÀI
• 1.1. Đặt vấn đề
• 1.2. Hướng nghiên cứu đề tài
• 1.3. Mục tiêu đề tài
• 1.4. Phương pháp thực hiện
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Thuật toán Feed-forward
• 2.2. Artificial Neural Network - ANN
• 2.3. Các hàm kích hoạt
• 2.4. Thuật toán Back-Propagation
• 2.5. Main Network — Mạng chính
• 2.6. Target Network — Mạng mục tiêu
• 2.7. Temporal Difference
• 2.8. Experience Replay — Bộ đệm phát lại
• 2.9. Chiến lược — Policy
• 2.10. Learning rate — Tốc độ học
• 3. CHƯƠNG 3: ĐỀ XUẤT KIẾN TRÚC THIẾT KẾ
• 3.1. Đề xuất kiến trúc tổng quan
• 3.2. Mô tả hệ thống
• 3.3. Mô tả interface của DQN TOP
• 3.4. Kiến trúc thiết kế của DQN TOP
• 3.5. Đề xuất kiến trúc chi tiết
• 3.5.1. Thiết kế khối Main Network
• 3.5.2. Thiết kế của Feedforward
• 3.5.3. Thiết kế khối PE — Perceptron Element
• 3.5.4. Thiết kế khối Leaky ReLU
• 3.5.5. Thiết kế của Backpropagation
• 3.5.6. Thiết kế khối CEN — Calculate Error on Node
• 3.5.7. Thiết kế khối CDUW — Calculator Delta and Update Weight
• 3.5.8. Thiết kế khối Target Network
• 3.5.9. Thiết kế khối Target Update
• 3.5.10. Thiết kế khối Experience Replay
• 3.5.11. Thiết kế khối Epsilon Greedy
• 3.5.12. Thiết kế khối Changing Learning Rate
• 3.5.13. Thiết kế khối Temporal Difference
• 3.5.14. Thiết kế khối RNG — Random Number Generator
• 3.5.15. Thiết kế khối RNG-FP
• 3.5.16. Thiết kế khối Multiplier Floating Point Single Precision
• 3.5.17. Thiết kế khối Adder Floating Point Single Precision
• 4. CHƯƠNG 4: KẾT QUẢ MÔ PHỎNG - TỔNG HỢP TÀI NGUYÊN
• 4.1. Phương pháp đánh giá
• 4.2. Kết quả mô phỏng và tổng hợp tài nguyên
• 4.2.1. Multiplier Floating Point Single Precision
• 4.2.2. Adder Floating Point Single Precision
• 4.2.3. Perceptron Element — PIE
• 4.2.4. Random Number Generator Floating Point — RNG-EP
• 4.2.5. Cal Delta and Update Weights — CDUW
• 4.2.6. Changing Learning Rate
• 4.2.7. Temporal Difference
• 4.3. Đánh giá độ chính xác và đường cong đào tạo
• 4.4. So sánh với kết quả của các nghiên cứu liên quan
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI
• 5.1. Khó khăn gặp phải
• 5.2. Hướng phát triển
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Giới thiệu về Mô Hình Học Tăng Cường Trên FPGA

Mô hình học tăng cường (Reinforcement Learning - RL) đang trở thành một trong những lĩnh vực nghiên cứu quan trọng trong trí tuệ nhân tạo. Đặc biệt, việc triển khai mô hình này trên FPGA (Field Programmable Gate Array) mang lại nhiều lợi ích về hiệu suất và khả năng tùy biến. Mô hình Cartpole là một trong những bài toán cơ bản trong học tăng cường, nơi tác nhân cần học cách giữ thăng bằng cho một cây gậy trên một xe lăn. Việc áp dụng mô hình này trên FPGA không chỉ giúp tối ưu hóa tốc độ xử lý mà còn giảm thiểu tiêu thụ năng lượng.

1.1. Tổng quan về Học Tăng Cường và FPGA

Học tăng cường là một phương pháp học máy cho phép tác nhân học từ các trải nghiệm của mình. FPGA là một loại phần cứng có thể lập trình lại, cho phép tối ưu hóa các thuật toán học máy. Việc kết hợp giữa học tăng cường và FPGA mở ra nhiều cơ hội mới trong việc phát triển các ứng dụng thông minh.

1.2. Mô Hình Cartpole và Ý Nghĩa Của Nó

Mô hình Cartpole là một bài toán điển hình trong học tăng cường, nơi tác nhân phải học cách giữ thăng bằng cho một cây gậy. Bài toán này không chỉ giúp kiểm tra khả năng của các thuật toán học tăng cường mà còn là nền tảng cho nhiều ứng dụng thực tiễn trong robot và tự động hóa.

II. Thách Thức Khi Triển Khai Mô Hình Học Tăng Cường Trên FPGA

Mặc dù việc triển khai mô hình học tăng cường trên FPGA mang lại nhiều lợi ích, nhưng cũng gặp phải một số thách thức. Đầu tiên, việc tối ưu hóa thuật toán để phù hợp với kiến trúc phần cứng là một nhiệm vụ không hề đơn giản. Thứ hai, việc quản lý tài nguyên phần cứng và đảm bảo hiệu suất cao trong khi vẫn duy trì độ chính xác của mô hình là một thách thức lớn.

2.1. Khó Khăn Trong Tối Ưu Hóa Thuật Toán

Tối ưu hóa thuật toán học tăng cường để chạy hiệu quả trên FPGA đòi hỏi sự hiểu biết sâu sắc về cả thuật toán và kiến trúc phần cứng. Các thuật toán như Q-learning cần được điều chỉnh để tận dụng tối đa khả năng của FPGA.

2.2. Quản Lý Tài Nguyên Phần Cứng

Việc quản lý tài nguyên phần cứng trên FPGA là rất quan trọng. Cần phải đảm bảo rằng các khối logic và bộ nhớ được sử dụng hiệu quả để không làm giảm hiệu suất của mô hình.

III. Phương Pháp Triển Khai Mô Hình Học Tăng Cường Trên FPGA

Để triển khai mô hình học tăng cường trên FPGA, cần có một quy trình rõ ràng. Quy trình này bao gồm việc thiết kế kiến trúc mạng nơ-ron, lựa chọn thuật toán học phù hợp và tối ưu hóa mã nguồn để chạy trên FPGA. Việc sử dụng các công cụ như Vivado của Xilinx giúp đơn giản hóa quá trình này.

3.1. Thiết Kế Kiến Trúc Mạng Nơ Ron

Kiến trúc mạng nơ-ron cần được thiết kế sao cho phù hợp với bài toán Cartpole. Việc lựa chọn số lượng lớp và số lượng nơ-ron trong mỗi lớp là rất quan trọng để đảm bảo mô hình hoạt động hiệu quả.

3.2. Lựa Chọn Thuật Toán Học Phù Hợp

Lựa chọn thuật toán học là một yếu tố quyết định đến hiệu suất của mô hình. Các thuật toán như Deep Q-Network (DQN) thường được sử dụng trong các bài toán học tăng cường phức tạp.

IV. Ứng Dụng Thực Tiễn Của Mô Hình Học Tăng Cường Trên FPGA

Mô hình học tăng cường trên FPGA có nhiều ứng dụng thực tiễn trong các lĩnh vực như robot, tự động hóa, và hệ thống thông minh. Việc sử dụng FPGA giúp tăng tốc độ xử lý và giảm thiểu tiêu thụ năng lượng, từ đó mở ra nhiều cơ hội mới cho các ứng dụng trong đời sống.

4.1. Ứng Dụng Trong Robot Tự Động

Mô hình học tăng cường có thể được áp dụng trong robot tự động để giúp chúng học cách tương tác với môi trường một cách hiệu quả. FPGA giúp tăng tốc độ xử lý, cho phép robot phản ứng nhanh hơn.

4.2. Ứng Dụng Trong Hệ Thống Thông Minh

Các hệ thống thông minh như xe tự hành có thể tận dụng mô hình học tăng cường trên FPGA để cải thiện khả năng ra quyết định trong thời gian thực. Điều này giúp tăng cường độ an toàn và hiệu suất của hệ thống.

V. Kết Luận và Tương Lai Của Mô Hình Học Tăng Cường Trên FPGA

Mô hình học tăng cường trên FPGA đang mở ra nhiều cơ hội mới trong nghiên cứu và ứng dụng thực tiễn. Với sự phát triển không ngừng của công nghệ FPGA, tương lai của mô hình này hứa hẹn sẽ mang lại nhiều đột phá trong các lĩnh vực khác nhau.

5.1. Tương Lai Của Học Tăng Cường

Học tăng cường sẽ tiếp tục phát triển và được áp dụng rộng rãi trong nhiều lĩnh vực. Việc kết hợp với FPGA sẽ giúp tối ưu hóa hiệu suất và khả năng tương tác của các mô hình.

5.2. Định Hướng Nghiên Cứu Tiếp Theo

Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện thuật toán học và tối ưu hóa kiến trúc FPGA để đáp ứng tốt hơn các yêu cầu của các ứng dụng thực tiễn.

Trích đoạn nội dung tài liệu

Chương 1. | GIGI THIEU TONG QUAN ĐỀ TÀI.1 Đặt vấn AG oes eecceecceeecssseecsneeesnscessecesnseessnsccsnscesnscesnscesnscessseessueesnneessneeesneeeens 2 1.2 Hướng nghiên cứu dé tai.3 Mục tiêu đề tài.---52+xt tt th ng re 5 1.4 Phương pháp thực hiỆn .- - -- 5 1 2211131111111 11 1111 11 811 g1 ng ng re 6 Chương 2. CO SỞ LÝ THUYÊTT.-2- 2 52+2£+EE+EE+EEE2EE+EESEEZEEzrkrrkrree 7 2.2 Artificial Neural Network - ANN. HH HH HH ng ray 8 2.1 Thuật toán Feed-fOTWAr.2 Các hàm kích hoạt.3 Thuật toán Back-Propagation.- -- ng TH ng 13 2.1 Main Network — Mạng chính.2 Target Network — Mạng mục tiÊu.

Temporal DIÍerence.4 Experience Replay — Bộ đệm phát lại.5 Chiến lược — POliCy.4 Learning rate — Tốc độ học 177. DE XUẤT KIÊN TRÚC THIẾT KÉẾ.1 Đề xuất kiến trúc tỐng quan.---:- ¿+ +++++£x+2E++EE++Ex+rxerxeerxesrxee 21 3.1 Mô tả hệ thống.2 Mô tả interface của DQN TOIPP. Kiến trúc thiết kế của DQN TOP.2 Dé xuất kiến trúc chỉ tiẾt.1 _ Thiết kế khối Main Network.2 __ Thiết kế của Feedforward.----:--cc©ce+c++cxtrkerkrrxerxerkeres 33 3. Thiết kế khối PE — Perceptron Elemeni.4 _ Thiết kế khối Leaky ReLU.5 Thiết kế của Backpropagation.------¿-sc+cc+cxecrxeerxee 36 3.6 Thiết kế khối CEN — Calculate Error on Nođe.7 __ Thiết kế khối CDUW- Calculator Delta and Update Weight.8 Thiết kế khối Target NetWwOrk.

Thiết kế khối Target Update .10 Thiết kế khối Experience Replay.11 Thiết kế khối Epsilon Greedy.12 Thiết kế khối Changing Learning Rate.13 Thiết kế khối Temporal Difference.14 Thiét kế khối RNG — Random Number Generator.15 Thiết kế khối RNG-FP oon.16 Thiết kế khối Multiplier Floating Point Single Precision.17 Thiết kế khối Adder Floating Point Single Precision. KET QUA MO PHONG - TONG HỢP TAI NGUYÊN.1 Phương pháp đánh giá .- vn HH HH gi 62 4.2 Kết qua mô phỏng và tổng hợp tài nguyên.1 Multiplier Floating Point Single Precision.2 Adder Floating Point Single Presion.3 Perceptron Element — PIE.--- - cv se rre 66 4.4 Random Number Generator Floating Point — RNG-EP.5 Cal Delta and Update Weights — CDUW .8 Changing Learning Raf€.-- ch kg re 72 4.- -- LG HH HH HH Hư74 4.10 Temporal DIÍÍ€r€enCe.--- c1 1n ng ng ng 74 4. LG c1 1xx kkkEr75 4.1 Đánh giá độ chính xác và đường cong dao tạo.2 Kết quả tông hợp tài nguyên.---2- 2 sce+Et+E+EerEerkerkerseree 86 4.4 So sánh với kết quả của các nghiên cứu liên quan .----:-----s- 87 AAD Về chức nang: oeececcecceccsscssessessesssessessessesssessessessessusssessessecssssseeseeaes 88 4.2 Về tài nguyên phan cứng sử dụng.3 Về thời gian xử lý.-----ccckcckcEEEEErEerkrrrrrerkerree 89 Chương 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIÊN DE TÀI.2 Kho khan gap pha.3 Hướng phát trign.ccccecccccssessesseesessessessessesecsessecsessessessessesecssssessessesseeseeseaee 93 DANH MỤC HÌNH ANH Hình 1.

1 Cac Tinh vurc may NOC 1n. 2 Tro Choi PacMan 0 “44-13. 1 Q-Learning biểu diễn đưới dang Dang. 2 Một mang nơ-ron đơn Ø1ảñ.- --- 5 5 + vn HH ng ri, 8 Hình 2.

3 Thuật toán Feed-forwatd. 4 Đồ thị biểu diễn của hàm Sigmoid. 5 Đồ thị biểu diễn của hàm RELU .---ccccc+cc+verrrverrrrrerrrte 10 Hình 2. 6 Đồ thị biểu diễn của hàm Leaky ReLU.

7 Minh họa cho thuật toán Back-propagation. 8 Mô hình giải thuật Deep Q-NefWOrK. 9 Hàm xấp xi sử dụng mang ANN. 10 Mạng nơ-ron trong Deep Q-netWOTK.-- - + sss+svssseeseees 15 Hình 2.

11 Mạng chính và mạng mục tiêu trong DON. 12 Mô tả về bộ đệm phat lại.-- ¿- ¿2-2 5sS£+E£+E££E£Ee£Eerkerxersrree 18 Hình 2. 13 Môi trường CarfOÏ€.- --- 6 5119 ng ng ngư 19 Hình 3. 1 Giao tiếp giữa mô hình DQN và môi trường Cartpole.

2 Interface của DQN TOP 0. 3 Sơ đồ khối của DON TOP.-- ¿+ + k+EE+EE+EE2EE2EEEEEEEEEkerkerkrree 24 Hình 3. 4 Interface của DON DA TAPATTH. 5 Sơ đồ khối của DON DATAPATTTH.-¿- 2s E+E+EE+EeEE+Eerkerrxers 26 Hình 3.

6 Lưu đồ chuyền trang thái của DỌN.----- 2-2 2 x+cx+£xsrxzrszxez 28 Hình 3. 7 Interface của Main NetWOTK. 8 Sơ đồ khối của Main NetwOrk. 9 Lưu đồ chuyền trạng thái khối Main Network.

10 Mô tả cách hoạt động của Feedforward trong thiết kế. 11 Interface của Perceptron Element (PE). 12 Sơ đồ khối của PE. 13 Interface của khối Leaky ReLU.-----2¿©5¿2c+2z++cx++zxezzxeee 35 Hình 3.

14 Sơ đồ khối của Leaky ReLU.---2¿25¿©5++2S+22xt2xxerxesrxerrxees 36 Hình 3. 15 Mô tả hoạt động của Backpropagation. 16 Interface của khối CEN.----- ¿5£ ©E+SE‡EE+EEEEE2EEEEEEEEEErkerkrrkrree 37 Hình 3. 17 Sơ đồ khối của khối CEN.

18 Interface của khối CDUW. 19 Sơ đồ khối của CDUW. 20 Interface Target NetWOrK.-- --G- LH HnnH ng H net 41 Hình 3. 21 Sơ đồ khối của khối Target NetWwork.

22 Lưu đồ chuyền trạng thái của Target Network. 23 Interface của Target pdaf€. 24 Sơ đồ khối của Target Update. 25 Interface cua Experience Replay Memory.

26 So đồ khối của Experience Replay Memory. 27 Interface khối Epsilon Greedy. 28 So đồ khối Epsilon Greedy. 29 Interface của khối Changing Learning Rate.

30 Sơ đồ khối của Changing Learning Rate. 31 Interface của Temporal DIfferenCe.--- «sec seesserserseree 51 Hình 3. 32 Sơ đồ khối của Temporal Difference.------¿- s¿cs2s++cx++cse2 52 Hình 3. 33 Mô tả Random FIDOTACCI.- 5 c5 31191391 99 33 9 vn rry 54 Hình 3.

34 Mô tả Random jaÌO1S .- so s1 1 93 91199119 1 9g ng ry 54 Hình 3. 35 Interface của RNG-FFP. ng TH ng ng ưy 54 Hình 3. 36 Sơ đồ khối của RNG-FP oo.

37 Các khối con tạo gid tri ngẫu nhiên bên trong khối RNG-FP. 38 Interface Multiplier FP-32Bit. 39 Sơ đồ khối cua Multiplier FP-32bit 0. 40 Interface của Adder FP-32bI(.- --- 5 + xxx re, 59 Hình 3.

41 Sơ đồ khối Adder EP-32bi(. 1 Sơ đồ khối môi trường Testbench:.----- 2-2 2+s2+s£x+£++zs+zszz 62 Hình 4. 2 Mô phỏng các trường hợp đặc biệt mạch nhân FP-32bit. 3 Mô phỏng các trường hợp ngẫu nhiên mạch nhân FP-32bit.

4 Mô phỏng các trường hợp đặc biệt mạch cộng FP-32bit. 5 Mô phỏng các trường hợp đặc biệt mạch cộng FP-32bit. 6 Mô phỏng cả PE với 4 node trước đÓ. - -- sc + ssersserseereeres 66 Hình 4.

7 Mô phỏng PE với 9 node trước đÓ.- -- - tt seeeeeserseesre 66 Hình 4. 8 Mô phỏng của khối RNG-FP.- 2-2-2 2+E£EE£EEtEEEEErExerxerreee 67 Hình 4. 9 Mô phỏng của mạch CDUẲW.-- SG HH key 68 Hình 4. 10 Mô phỏng của mạch CDUW đầu vào.--- 2-5552 22zs+zxcrxcres 68 Hình 4.

11 Mô phỏng của mạch CDUW đầu ra. 12 Mô phỏng của mach Experience Replay (1/2). 13 Mô phỏng dạng sóng cua mach Experience Replay (2/2). 14 Mô phỏng dạng sóng Epsilon Greedy (1/2).

15 Mô phỏng dạng sóng Epsilon Greedy (1/2). 16 Mô phỏng dạng sóng Changing Learning Rate (1/2). 17 Mô phỏng dạng sóng Changing Learning Rate (1/2). 18 Mô phỏng dạng sóng của Target Updafe.

19 Mô phỏng dạng sóng Temporal DIfference. 20 Mô phỏng dạng sóng Main Network (1/4) - QverView. 21 Mô phỏng dạng sóng Main Network (2/4) — Load Weight Init. 22 Mô phỏng dạng sóng Main Network (3/4) — Predict Mode.

23 Mô phỏng dạng sóng Main Network (4/4) — Train Mode. 24 Mô phỏng dạng sóng Target Network (1/2) — Overview. 25 Mô phỏng dạng sóng Target Network (2/2) — Target Update Mode. 26 Mô phỏng dạng sóng DỌN_ TOP (1/4)-Overview.

27 Mô phỏng dạng sóng DỌN_ TOP (2/4) — Interactive Mode. 28 Mô phỏng dạng sóng DỌN_ TOP (3/4)- Train Mode. 29 Mô phỏng dạng sóng DỌN_ TOP (4/4)-End. 30: Đường cong đào tạo của mô hình trên phần mềm.

31: Đường cong đào tạo của mô hình trên phần mềm và phần cứng. 32 Đường còn đảo tạo từ [Š].---- Sc 1 11 3 1111111 1x rrrrree 88 Hình 5. 1 Kết quả mô phỏng thời gian .---- ©5525 5£+S£2££2E££E£Ee£xerxerxee 92 Hình 5. 2 Kích thước tệp mô phỏng dumpfiÏe.

- -¿- -5- s + £+s<<s£+se+sx++ 92 DANH MỤC BẢNG Bang 1. 1 Mục tiêu đề tài. -:- 5s Ss St SE E12 1211112112111. 1 Các lỗi vi phạm của các hàm kích hoạt.---¿- + ¿55c5+ec+es+ss+ 11 Bảng 2.

2 Mô tả các kí hiệu trong mô hình DQN 0. eee eeeeeesteceneeeeneeeeaeeeeees 14 Bảng 2. 3 Các điều kiện để con lắc cân băng .--- 2-2-2 +2xzzs+rxerxeres 20 Bảng 3. 1 Mô tả tín hiệu interface của DỌQN 'TOPP.- - - ccss+sseerseeeree 23 Bang 3.

2 Mô tả các thành phan chính trong DQN TOP. 3 Mô tả các tín hiệu interface của DON DATAPATTH. 4 Mô tả các khối trong DON DATAPATTH.---2-©22©5s+cs+zxe>sz 27 Bang 3. 5 Mô tả tín hiệu interface của Main Network.- --cc«cs« sex 29 Bang 3.

6 Mô tả các khối con trong Main Network.--------©z+cs+cx+cxezsz 30 Bảng 3. 7 Mô tả tín hiệu interface của PE. -- -- + kg kg rưy 34 Bảng 3. 8 Mô tả tín hiệu interface của Leaky ReL.

9 Mô tả tín hiệu interface của khối CEN.-------5+©5++cs+cx+zxezss 38 Bảng 3. 10 Mô tả tín hiệu interface của khối CDUW. 11 Mô tả tín hiệu interface của khối Target Network. 12 Mô tả tín hiệu interface của khối Target Update.

13 Mô ta tín hiệu interface của khối Experience Relay Memory. 14 Mô tả tín hiệu interface của Epsilon Greedy. 15 Mô tả tín hiệu interface của khối Changing Learning Rate. 16 Mô tả tín hiệu interface của khối Temporal Difference.

17 Mô tả tín hiệu interface của khối RNG. 18 Mô tả tín hiệu interface của khối Multiplier FP-32bit. 19 Mô tả các khối bên trong khối Multiplier FP-32bit. 20 Mô ta tín hiệu interface của khối Adder FP-32bit.

21 Mô tả các khối con bên trong khối Adder FP-32bit. 1 Mô ta mô phỏng các trường hợp đặc biệt mạch nhân FP-32bit. 2 Mô tả các trường hợp ngẫu nhiên mạch nhân FP-32bit. 3 Tổng hop tài nguyên phần cứng mạch nhân FP-32bit.

4 Mô ta mô phỏng các trường hợp đặc biệt mạch cộng FP-32bit. 5 Mô tả mô phỏng các trường hợp đặc biệt mạch cộng FP-32bit.6 Tổng hợp tài nguyên phan cứng mạch cộng FP-32bit. 7 Kết quả tong hợp tài nguyên phan cứng của PE. 8 Tổng hợp tài nguyên phan cứng của RNG-EP.

9 Mô tả giá trị tính toán mạch CDUW từ Hình 5. 10 Tổng hợp tài nguyên phan cứng của CDUW. 11 Tổng hợp tài nguyên phần cứng của Experience Replay. 12 Tổng hợp tài nguyên phần cứng của Epsilon Greedy.

13 Tổng hợp tài nguyên phần cứng của Changing Learning Rate. 14 Tổng hợp tài nguyên phần cứng của Target Update. 15 Tổng hop tài nguyên phan cứng của Temporal Difference. 16 Tổng hợp tài nguyên phần cứng của Main Network.

17 Tổng hợp tài nguyên phan cứng của Target Network. 18 Các giá trị siêu tham số sử dụng cho mô hình. 19 Kết quả sai số giữa phần cứng và phần mềm mô hình DỌN. 20: Phiên đầu tiên đạt được phần thưởng lớn nhất.

21 Tổng hợp tài nguyên của DQN trên xe7vx485tffg1927-1. 22 Kết quả so sánh với các bài báo khác.----:--¿-s+cs++cx++cxe+ 87 Bảng 4. 23: Đặc trưng nền tang của nghiên cứu [5]. 24: Tài nguyên phan FPGA của nghiên cứu [5].

25 So sánh thời gian xử lý Với [Š],. 1 Mục tiêu đề ra và kết quả đạt ẨưỢC .