Chương 1. GIỚI THIEU TONG QUAN DE TÀI. tt nh nhe 5 1. Mục tiêu đề tài.cccccvt 2 th tt Hee 6 1.
Phương pháp nghiÊn CỨU. rrkrre 6 Chương2. CO SỞ LÝ THUYÊT.-- 2 °+E+EE+EE+EE£EEEEEEEEEEEEEEEEEEkrrkrrrrei 4 2. SH ng HH HH 4 2.
Deep Learning — Học hỏi sâu. Artificial Neural Network — Mạng Nơron nhân tạo. Hàm kích hoạt. Các thuộc tính của ANN .- -- -cc ST HH ng ng ve 10 2.
Experience Replay — Bộ nhớ phát lại trải nghiệm./ŒÓ I ẶÔÔÚQỎẤẨOO E5 0 nọ 43 0 15 2. Chính sách lựa chọn ngẫu nhiên. _ Chính sách tham lam. Chính sách Epsilon-reed|y.
Thuật toán chọn ngẫu nhiên trên Verilog. Thuật toán FIbOTaCCI. Thuật toán aÏOIS. | TONG QUAN THIẾT KE HE THÓNG.
Mô tả tong quan hệ thong. Quy trình thực hiện hệ thống "¬— 15 3. Mô tả tổng quan thiết kế DQN IP Core. Mô tả Interface.
Sơ đồ khối thiết kế. Mô tả môi trường MOuntaincar. CHI TIẾT THIET KE HE THÓNG. Thiết kế khối Deep Q-NetWOrk.----- 2 2 St+SE+EE£EEEEEEEEEEEEerkerkerkrree 21 4.
Mô tả 1n{€TAC€.-- -- - cG E311 111111 21111111190 1v ng ven 21 41. SO AG KHOI thiét. Sơ đồ chuyên trạng thái hoạt động.----- 2 5c 5z+sz+ze+rxrseee 24 4. Thiết kế khối ANN.
Sơ đồ khối thiết kế. Sơ đồ chuyền trạng thái hoạt d6ng. Thiết kế khối Replay MemOrV.--- 2-52 2+SE+EE2E££EE+EE£EEtEEEZEEerxerrrrex 30 4. Mô tả In(€rÍaCe.
So đồ khối thiết kế. Sơ đồ chuyên trạng thái hoạt động. Thiết kế khối Epsilon Greedy. MO ta interface.
Sơ đồ khối thiết ke. Thiết kế khối Target Net. Sơ đồ khối thiết kế. Sơ đồ chuyên trạng thái hoạt động.----- 2 + 5z+cz+xs+rxerseee 40 4.
Thiết kế khối Main Net. Mô tả Interface. Sơ đồ khối thiết kế. Sơ đồ chuyên trạng thái hoạt động.
Thiết kế khối Feed Forward. MOO ta interface. Sơ đồ khối thiết Ke. Thiết kế khối Feed Forward Node.
Thiết kế khối Back Propagation. Mô tả 1nf†€TFaC€.--- - - cG 0101111112 2311111 11995311 ng 1 ven. So đồ khối thiết Kế. Thiết kế khối Back Propagation Node.
Thiết kế khối Update Weight.------2¿ 5s ©522cx+2Ext£xEerkesrxesrxerreeree 53 4. So đồ khối thiết kế. Thiết kế khối ANN MemOry.-----2: 2 ©£2x+2EE+2EE+EE++rxezrxrrresree 55 4. M6 tả In(€TfaCe.
ccQQQ TQ HH HH kg ven 55 4. Sơ đồ khối thiết kế. _ Thiết kế khối Loss Function.-- cs- t+x+St+E£EE+EeEESEEEeEEzkerxzkerxererxee 57 4. MÔ tả Inf€rface.--cc TQ HH HH kg ven 57 A112.
So G6 KhOi thiét daắÁÁIỪỒ. _ Thiết kế khối Soft Update. MÔ tả In(€TfÍaCe.- LG ST HS HT ng ven 58 4.2, Sơ đồ khối thiết kế. Thiết kế khối Random Floating Point 32bit.
M6 tả In(€TFAC€. - - G LG E111 S ST 51 1k kkkkkkkEr 61 4. So đồ khối thiết kế.---:-©5¿+2E+EESEEEEEE12E1E71 21211211 xe 61 Chương 5. | KET QUA HIỆN THUC HE THÓNG.-- 2-5-5 +52 552 63 b5 Hàn in ¿nh.
Mô phỏng các thiết kế chỉ tiẾt.--- 2 ¿5£ ©E+SE+EE+EE£EE2EE£EEEerEerkerkrrerrs 63 5. _ Mô phỏng thiết kế khối Feed Forward.------ 2z s+cs+cs+zs+se2 63 5. Mô phỏng thiết kế khối Back Propagation. Mô phỏng thiết kế khối Update Weighit.
Mô phỏng thiết kế khối Target Net. Mô phỏng thiết kế khối Main Net. Mô phỏng thiết kế khối Loss Function. Mô phỏng thiết kế khối Soft Update.
Mô phỏng thiết kế khối ANN. Mô phỏng thiết kế khối Deep Q-Network. Tổng hợp kết quả và so sánh với phần mềm. _ Kết quả tong hợp tài nguyên.
So sánh kết qua với các nghiên cứu liên quan. Kết quả chạy tương tác giữa hệ thống và môi trường. So sánh kết quả khi sử dụng hệ số gamma lớn và nhỏ. KÉT LUẬN VA HƯỚNG PHAT TRIEN DE TÀI.
Những khó khăn và van đề còn t6n tại.------2¿cs¿©cs+cx++zxsrxrsreeee 80 6. Hướng phát triỂn. 81 TAI LIEU THAM KHAO .cccccsssscessssccecsesececscsesececsvsucacsrsucecscsreacassusesaraveesasaveeeaeers 82 DANH MỤC HÌNH Hình 2.1 Mô hình Deep Q-Learning cơ bản .2 Mô hình của một nơ-ron nhân tao được gan nhãn k [4].3 Mô hình của một mạng ANN cơ bản.4 Đồ thị hàm Sigmoid .5 Đồ thị hàm ReLU .6 Đồ thị hàm Leaky ReLLU.- 2-2: 2+ £2S£2EE+EE+EEE2EE+EEtEEerEEzEkrrkerrrer 10 Hình 2.7 Các ký hiệu sử dụng trong Feed Forward Neural Network.8 Thuật toán Feed Forward .9 Thuật toán Back PropagafIOI.- --- 5 5 + s1 ng ng rưệt 12 Hình 2.10 Sơ đồ mô hình LESR.----¿¿-©2c+t+2EE+vettEEktrrrtrrktrrrtrrrrrrrrrrrkeg 17 Hình 2.11 Sơ đồ mô hình Fibonacci LFSR xẲ + xỔ + l.-----¿©2©cs+cs+zx=sz 18 Hình 2.12 Sơ đồ mô hình Galois LFSR x + xŠ + Ì.--2-2- + ++2z£+zz+zxsrxzsz 12 Hình 3.1 Mô hình tổng quan thiết kế hệ thống .2 Sơ đồ quy trình thực hiện hệ thong ¬——“ Pi risascasesscsssccecsssosescsscesssesenea 15 Hình 3.3 Interface của DQN IP Core .4 Sơ đồ khối DQN IP Core .5 Sơ đồ tọa độ vị trí môi trường Mountaincar .-- + ss+<xs+s++sss+ 19 Hình 3.6 Mô hình mang ANN đầu vào dau ra của bài toán Mountaincar.1 Interface của khối Deep Q-NetwOrk.---¿- 2 s+cz+czxezxerkerxerxrrsrree 21 Hình 4.2 Sơ đồ khối Deep Q-INetwOrk.---¿- ¿5c St tEEEE2EE2EE2E12112121 2121.3 Sơ đồ chuyên trạng thái hoạt động khối Deep Q-Network.4 Mô tả interface của khối ANN.------- 22+ HH re 27 Hình 4.6 Sơ đồ chuyền trạng thái hoạt động khối ANN.7 Mô tả interface của khối Replay Memory .-------:©¿©2scs+cx>s+ 30 Hình 4.8 Sơ đồ khối Replay MeimOrY.--¿- ¿5c 5£ ESE‡EE2EE2EE+EZEEEeEEerkerkerkrree 32 Hình 4.9 Sơ đồ chuyên trạng thái hoạt động khối Replay Memory.10 Mô tả interface của khối Epsilon Greedy.----2- 2 s2sz+zs+cxsrxczez 35 Hình 4.11 Sơ đồ khối Epsilon Greediy.------ 2 2 x+2E+2E++EE+EEeEEerEkrrkerkerkrex 36 Hình 4.12 Mô tả interface của khối Target Net.13 Sơ đồ khối Target Net .14 Sơ đồ chuyền trang thái hoạt động khối Target Net.15 Mô tả interface của khối Main Net .16 Sơ đồ khối Main Net .17 Sơ đồ chuyền trạng thái hoạt động khối Main Net.18 Mô tả interface của khối Feed Forward.19 Sơ đồ khối Feed ForWard.20 Sơ đồ khối Feed Forward Node.21 Mô tả interface của khối Back Propagation.----- 25c + s+cs+cszse2 49 Hình 4.22 Sơ đồ khối Back Propagation.-- -- ¿2-2 x+S++EE+E£+E£E£Eerkerkerxererree 51 Hình 4.23 Sơ đồ khối Back Propagation Node dùng cho output layer.24 Sơ đồ khối Back Propagation Node dùng cho hidden layer.25 Mô ta interface của khối Update Weighit.-- 2-2: 52sz2cs+csszxczsz 53 Hình 4.26 Sơ đồ khối Update Weiglhi.--- -- 2c s+SE+EE+EE£EE+EZEEEerkerkerkerkrree 54 Hình 4.27 Mô tả interface của khối ANN Memory .28 Sơ đồ khối ANN MemOrY.-- 2 ¿2£ ©S+E£EE#EE+EE+EE+EE£EEEeEEerkerxrrkrree 56 Hình 4.29 Mô ta interface của khối Loss Function.---2-2- + s2sz2zs+z++zxzsz 57 Hình 4.30 Sơ đồ khối Loss Function .31 Mô tả interface của khối Soft Update .------2- + s+2sz+zz+zxsrxzez 58 Hình 4.32 So đồ khối Soft Update .----- 2 2 ¿+ +E£EE£EE+EE£EE+EEZEEEEerEerkerxrrkrree 60 Hình 4.33 Mô tả interface của khối Random Floating Point 32 bit.34 Sơ đồ khối Random Floating Point 32bit.---cc::cccccsccxcccr+ 61 Hình 5.1 Dạng sóng tín hiệu data cua Feed Forward Node lớp input.2 Dạng sóng tín hiệu data của Feed Forward Node tất cả các lớp.3 Dạng sóng tín hiệu data cua Back Propagation Node của lớp output.4 Dạng sóng tín hiệu data cua Back Propagation Node của lớp hidden 2 .5 Dang sóng tín hiệu data của Back Leaky ReLu Funcfion.6 Dang sóng tín hiệu error của Back Error Calculation.7 Dang sóng tín hiệu error cua Update WeIghI.8 Dạng sóng interface của Target ÌNe(.-- sàng ưet 67 Hình 5.9 Dạng sóng tín hiệu Qmax của Target NNet.- 555cc +ssvssses 68 Hình 5.10 Dang sóng tín hiệu interface của Main ÌNet. - 525cc csse 68 Hình 5.11 Dạng sóng tín hiệu o_main_net_done của Main Net.12 Dạng sóng interface của Loss FunctIOI.
-- 5 «£+<£+sc+se+sessessee 69 Hình 5.13 Dạng sóng interface của Soft pdate.- -- 5 «se reg 69 Hình 5.14 Dạng sóng interface của ANN. HH HH ng tườn 70 Hình 5.15 Dạng sóng interface của Deep Q-NetWOrK.-- se net 71 Hình 5.16 Kết quả số bước khi train 4500 phiên trên phần mềm.17 Kết quả số bước sau 300 phiên tương tác bang phan cứng.18 Kết quả số bước sau 300 phiên tương tác bang phần mềm.19 Kết quả phan thưởng khi train 4500 phiên trên phần mềm .20 Kết quả phần thưởng sau 300 phiên tương tác bằng phần mềm.21 Kết qua phần thưởng sau 300 phiên tương tác bang phần mềm.22 Kết quả số bước khi train 4500 phiên trên với gamma là 0.23 Kết quả phan thưởng khi train 4500 phiên với gamma là 0. 78 DANH MỤC BANG Bảng 2.1 Thuật toán chính sách Epsilon-reedy.1 Mô tả chức năng các thành phan của hệ thống.2 Các thông số cài đặt của hệ thống .---2--2¿©2+¿©2++cx++zxrzrxrrresres 14 Bang 3.3 Mô tả các tín hiệu interface của khối DQN IP Core.1 Mô tả các tín hiệu interface của khối Deep Q-Network.2 Mô tả chức năng các khối trong Deep Q-Network.3 Mô tả các tín hiệu interface của khối ANN.----- ¿5c s+cx+cssrssce2 26 Bảng 4.4 Mô tả chức năng các khối trong ANN.5 Mô tả các tín hiệu interface của khối Replay Memory .6 Mô tả chức năng các khối trong Replay Memory.7 Mô tả các tín hiệu interface của khối Epsilon Greedy.8 Mô tả các tín hiệu interface của khối Target Net.9 Mô tả chức năng các khối trong Target Net.-- 2 25c 5s5s+cs+zsse2 39 Bang 4.10 Mô tả các tín hiệu interface của khối Main Net.11 Mô tả chức năng các khối trong Main Net.---2--5c©52©5s+cs+cx>sz 43 Bảng 4.12 Mô tả các tín hiệu interface của khối Feed Forward.13 Mô tả các tín hiệu interface của khối Back Propagation.14 Mô tả các tín hiệu interface của khối Update Weight.15 Mô tả các tin hiệu interface của khối ANN Memory.16 Mô tả các tín hiệu interface của khối Loss Function.17 Mô tả các tín hiệu interface của khối Soft Update .18 Mô tả các tín hiệu interface của khối Random Floating Point 32bit.1 Kết qua tong hợp tài nguyên hệ thống.2 So sánh kết quả thiết kế với các nghiên cứu liên quan.------ 72 DANH MỤC TỪ VIET TAT Từ viết tắt Y nghia DDPG Deep Deterministic Policy Gradient RL Reinforcement Learning ANN Artificial Neural Network DQN Deep Q Network ER Experience Replay TD Transition Delay MSE Mean Square Error 2CE Binary Cross Entropy ReLU Rectified Linear Unit Leaky ReLU Leaky Rectified Linear Unit NNQL Nearest Neighbor Q-Learning IP Core Intellectual Property Core Cocotb Coroutine CO Simulation Testbench RTL Register-Transfer Level VPI Verilog Procedural Interface FPGA Field Programmable Gate Array FIFO First-In, First-Out BRAM Block Random Access Memory TOM TAT DE TÀI Hiện nay, các thiết bị trí tuệ nhân tạo dang là xu hướng của thế giới và ngành công nghệ 4. Việc ra đời các thiết bị như vậy giúp con người thuận tiện hơn rất nhiều trong sinh hoạt hay đi lại.
Với mức độ cần thiết như vậy, nhóm chúng tôi đã quyết định nghiên cứu các thuật toán về trí tuệ nhân tạo. Thuật toán mà chúng tôi nghiên cứu là một trong những thuật toán giúp máy móc có thê tự đưa ra quyết định như con người. Đó là thuật toán học tăng cường sâu. Trong khóa luận này, nhóm đề xuất kiến trúc một mạng Q học tăng cường sâu, đây là một phương pháp cải tiến hơn sao mới phương pháp Q-learning truyền thống Trong đó, thiết kế sử dụng neural network thay thế Q table.
Kiến trúc mạng này có thé tương tác trực tiếp với môi trường, học hỏi các trạng thái từ môi trường, sau đó đưa ra hành vi dé tương tác với môi trường. Cuối cùng nhận được phan thưởng tương ứng với việc tương tác đó. Sau đó nó sử dụng phần thưởng tương ứng nhận được để cập nhật các trọng số bên trong mạng nơ-ron và cải thiện hành vi đưa ra trước tác nhân từ môi trường.