Chương 1: Giới thiệu tông quan về đề tài của Khóa luận và những nghiên cứu liên quan. — Chương 2: Trình bày cơ sở lý thuyết và kiến thức nền tảng liên quan đến đề tài. — Chương 3: Trình bày chỉ tiết thiết kết mô hình rô-bốt trên môi trường ảo bao gồm cả mô hình mô phỏng và mô hình DRL. — Chương 4: Trình bay thực nghiệm và đánh giá.
— Chương 5: Kết luận và hướng phát triển của đề tài. Trình mô phỏng 2. NVIDIA Omniverse NVIDIA Omniverse [6] là một nền tảng mở, dễ dàng mở rộng, được thiết kế để cộng tác trực tuyến trong việc mô phỏng vật lý chính xác theo thời gian thực. Các chuyên viên sáng tạo nội dung, nhà thiết kế, nhà nghiên cứu và kỹ sư có thê kết nối các công cụ thiết kế, nội dung và dự án chính dé cộng tác va lặp lại trong một không gian ảo được chia sẻ.
Các nhà phát triển và nhà cung cap phần mềm cũng có thé dễ dàng xây dựng và bán các Extension, App, Connector và các dịch vụ kiểu microservice trên nền tảng module hóa của Omniverse dé mở rộng chức năng của ⁄ nØ. Các điểm nỗi bật của NVIDIA Omniverse: — Cộng tác trực tiếp giữa những người dùng và các ứng dụng với nhau. Tập hợp lại những người sử dụng và các công cụ thiết kế 3D hàng đầu trong ngành theo thời gian thực trên một nền tảng tương tác duy nhất. Quy trình làm việc được đơn giản hóa vì các bản cập nhật, nâng cấp thường xuyên và thay đổi diễn ra tức thời mà không cần chuẩn bi dit liệu.
— Tốc độ thời gian thực, chất lượng như khi offline. Omniverse cung cấp khả năng ray-tracing và path-tracing thời gian thực, có thể mở rộng. Cung cấp hình ảnh đẹp, chính xác về mặt vật lý và chân thực trong thời gian thực. — Mô phỏng thực tế với công nghệ RTX.
Xây dựng một lần, hiển thị ở bat cứ đâu. Truyền trực tiếp hiệu ứng do công nghệ NVIDIA RTX mang lại cho bất ky thiết bi nào của bạn. Chia sé công việc một cách dễ dàng và đảm bảo rằng nó được trình bày đúng như mong đợi. Isaac Sim NVIDIA Isaac Sim là một ứng dụng mô phỏng rô-bốt có thé mở rộng và công cụ tạo dữ liệu tổng hợp.
Được xây dựng trên nền tảng Omniverse, Isaac Sim cho phép các rô-bốt được dao tạo và kiêm tra hiệu quả hơn bằng cách cung cấp một môi trường mô phỏng chân thực cho rô-bốt vượt ra ngoài thé giới thực. Isaac Sim cung cấp những môi trường ảo chính xác về mặt vật ly dé phát trién, thử nghiệm va quản lý các rô-bốt dựa trên AI. Tính năng chính Isaac Sim dựa trên các tiện ích mở rộng phân loại các chức năng như: main (chức năng côt lõi và điêu khiên), cảm biên (tạo và giao tiêp), chuyên đôi tài nguyên (nhập các công cụ rô-bôt), robot (các lớp rô-bôt chính), và khác (như gỡ lỗi và chương trình tạo chuyển động) [2]. Mỗi tiện ích đều tham gia vào chức năng của trình mô phỏng; nhờ vậy, việc sử dụng mã bên trong như thư viện python chuẩn được thực hiện, điều này cho phép người dùng cuối có lựa chọn thực hiện mọi thứ có sẵn trong việc lập trình giao diện người dùng đồ họa (GUI).
Một trong những tiện ích mở rộng quan trọng nhất cho học tăng cường là Isaac Gym. Thư viện sử dụng trong không gian làm việc Isaac Sim Khi cần thao tác với tư thế của các prim (đối tượng trong môi trường ảo), có bốn thư viện chính: CORE, USD, PhysX và DYNAMIC CONTROL [4]. Tat cả chúng đều làm việc với biểu diễn vị tri không gian ba chiều Cartesian (x, y, z theo centimet) và biéu diễn bốn chiều cho hướng (quaternions theo radian hoặc độ) [5]. Sử dụng chúng cùng nhau làm cho việc tạo ra một lớp tổng quát cho thao tác với các phần tử và nhiều chức năng dé điều khiển, thao tác và sửa đôi tài nguyên của rô-bôt trở nên dê dàng hơn.
Mô hình học tăng cường Học Tăng Cường Sâu (Deep Reinforcement Learning — DRL) là một lĩnh vực đang phát trién mạnh mẽ trong ngành công nghệ trí tuệ nhân tạo. DRL kết hợp hai thành phần chính: học tăng cường, là một kỹ thuật máy học nơi một tác nhân tự học cách hành xử trong một môi trường đề tối đa hóa phần thưởng tích lũy; và học sâu, là một phương pháp cho phép mô hình hóa các hàm phức tạp thông qua mạng nơ-ron sâu. Trong DRL, tác nhân học từ kinh nghiệm, tức là từ việc tương tác với môi trường mô phỏng. Mỗi lần tương tác, tác nhân thực hiện một hành động và nhận về một phản hồi dưới dạng phan thưởng hoặc phạt, giúp nó hiểu được hành động đó có lợi ích hay không.
Tác nhân sử dụng thông tin này dé cập nhật chiến lược của minh, thường được biểu diễn qua một mạng nơ-ron, dé tôi ưu hóa hành động trong tương lai. Qua trình quyết định Markov(Markov Decision Process - MDP) Cốt lõi của DRL là quá trình quyết định Markov (MDP), một mô hình toán học mô tả môi trường học của tác nhân thông qua các trạng thái, hành động và quy tắc phần thưởng. MDP giả định rằng quyết định hiện tại có thê tối ưu hóa phần thưởng trong tương lai mà không cần dựa vào lịch sử quyết định trước đó, được gọi là tính chất Markov [7]. Đề đạt được mục tiêu của mình, tác nhân trong DRL học một chính sách (policy 7) dé ánh xạ từ trạng thái sang hành động, va hàm giá tri (value function V(s) hoặc Q(s, a)) dé đánh giá kỳ vọng phần thưởng của các hành động.
Cả hai đều được cập nhật qua thời gian khi tác nhân tích lũy thêm kinh nghiệm thông qua việc thử nghiệm và lỗi, cho phép nó phát triển một chiến lược tối ưu hóa dựa trên việc dự đoán kết quả của các hành động. Mô hình học tăng cường Học tăng cường (Reinforcement learning — RL) là một nhánh của hoc máy (Machine learning — ML), nghiên cứu cách thức một tác nhân (Agent) trong một môi trường (Environment) đang ở một trạng thái (State) thực hiện một hành động (Action) dé tối ưu hóa một phần thưởng (Reward) chung. Đề đơn giản hơn, ta xét đến bài toán như sau: Ở tại thời điểm £, tác nhân A có trạng thái là s¿ e S (tập các trạng thái có thể có của tác nhân trong môi trường), thực hiện hành động ae A (tập các hành động của tác nhân) và có một xác suất P;z(S¿¿¡) chuyên đến trạng thái tiếp theo s;„¡ và nhận được một phan thưởng tức thời r;. P;„ là một phân phối biéu diễn trạng thái tiếp theo của tác nhân khi thực hiện hành động a ở tại trạng thái s trong S.
Mục tiêu của bài toán là tối đa phần thưởng (lợi tức) chung R. action Reward| |State R¿ St Hình 2.1: Mô hình hoc tang cường 2. Hoc sâu tăng cường Học sâu tăng cường về cơ bản bao gồm một môi trường tạo ra thông tin về chính nó, được biéu thị dưới dạng trạng thái và một tác nhân hiểu được nó dé tạo ra một số chiến lược hoặc chính sách nhằm tao ra các hành động nhằm theo đuôi hoặc hoàn thành một nhiệm vụ hoặc mục tiêu cu thé. Môi trường mô phỏng là công cụ hỗ trợ quan trọng, giúp xây dựng và chuyền giao kết quả nghiên cứu một cách dễ dàng sang thực tế.
Trong đó, sự chuyên đổi từ trạng thái này sang trạng thái khác được xem xét như một quá trình quyết định Markov với phân phối xác suất P điều kiện bởi toàn bộ lịch sử tương tác của tác nhân với môi trường. Tác nhân trong MDP học chính sách ma, và day là chức năng cốt lõi của học tăng cường với ba biểu thức toán học chính: — Chính sách a, chuyền đổi trạng thái thành hành động: a ~ 7Z(S). — Hàm giá trị V“(s) hoặc Q“(s, a) dé ước lượng lợi tức kỳ vọng E từ phần thưởng R. - Mô hình môi trường P(s’ | s, a).
parameter 9 Observe state Hình 2.2: Mô hình hoc sâu tăng cường Policy Optimization Q-Learning ) | Learn the Model j Given the Model —— —* DQN World Models ——*> AlphaZero | A2C / A3C 7 } —* a1 T2A | PPO a = " » QR-DQN > MBMF | TRPO <— —> HER | > MBVE Hình 2.3: Phân loại thuật toán học tăng cường Thuật toán học tăng cường được chia làm hai loại chính: — Thuật toán không dựa trên mô hình (Model-free): là những thuật toán mà không sử dụng mô hình môi trường, trong đó mô hình môi trường một hàm dự đoán sự chuyển đôi trạng thái và phần thưởng. Chúng không cố gắng mô phỏng hoặc dự đoán các chuyên đổi trạng thái của môi trường hoặc phần thưởng dựa trên hành động. 10 — Thuật toán dựa trên mô hình (Model-based): là những thuật toán sử dụng mô hình môi trường. Mô hình môi trường này có thé dự đoán chuyên đồi trạng thái của môi trường và phần thưởng dựa trên hành động.
Mỗi thuật toán sẽ có ưu nhược điểm đặc trưng, cụ thể được liệt kê trong bảng sau: Bang 2.1: Ưu nhược điểm của hai loại thuật toán Thuật toán Ưu điểm Nhược điểm Thuật toán | — Linh hoạt, đa dạng. — Đòi hỏi nhiều tương tác không dựa trên | — Độc lập với mô hình. với môi trường hơn. mô hình — Đơn giản hơn.
— Khó khăn trong việc tìm hiểu các chính sách hiệu quả hơn trong không gian trạng thai lớn và phức tạp. Thuật toán dựa | — Doi hỏi ít tương tác hơn với | — Phụ thuộc rất lớn vào mô trên mô hình môi trường do có sự tham gia hình môi trường. của mô hình môi trường. — Độ phức tạp cao trong — Khả năng lập kế hoạch hiệu việc tạo ra một mô hình quả hơn.
môi trường tối ưu. — Tiết kiệm tài nguyên hơn. — Có khả năng chứa các giả định không chính xác Dựa trên những ưu nhược điểm này, chúng tôi quyết định sử dụng thuật toán không sử dụng mô hình dé giản lượt tác vụ tạo ra mô hình môi trường. Chúng tôi sẽ chỉ tập trung nói đến thuật toán này.
Thuật toán không sử dụng mô hình lại chia làm 2 loại: lãi — Tối ưu hóa chính sách: là thuật toán chú trọng trực tiếp tới việc tối ưu hóa chính sách của tác tử học tăng cường (Agent) thay vi học một ham giá trị hành động. Dữ liệu thu thập được dé học và tối ưu hóa policy phải đến từ việc thực thi chính chính sách nó tạo ra. Gồm những thuật toán như A2C, PPO, TRPO. — Q-learning: là thuật toán dùng để tìm ra một chính sách (policy) tối ưu trong một môi trường học tăng cường xác định mà không phải thực hiện chính sách đó.
Gồm những thuật toán như DỌN, HER, C51.