Chương 1 giới thiệu kiến thức tổng quan về hệ máy bay không người lái và một số phương pháp điều khiển máy bay không người lái. Hiện nay, có nhiều phương pháp điều khiển UAV đã được nghiên cứu, phát triển và thử nghiệm thực tế. Trong các phương pháp đó, điều khiển UAV sử dụng học tăng cường là một cách tiếp cận mới và theo xu hướng điều khiển thông minh gần đây. Do đó, trong luận văn này, tác giả sẽ đi nghiên cứu điều khiển UAV sử dụng học tăng cường, thiết kế bộ điều khiển và mô phỏng với một thuật toán học tăng cường, cụ thể là thuật toán Data-Driven [21].
Kết quả thiết kế được so sánh với bộ điều khiển PID [19]. UAV được chọn làm đối tượng nghiên cứu là quadrotor. Tiếp theo, ta sẽ xây dựng cơ sở lý thuyết về mô hình quadrotor, học tăng cường và thuật toán học tăng cường Data-Driven được sử dụng để điều khiển quadrotor.1 Mô hình quadrotor Trước khi xây dựng mô hình động học của quadrotor [19], ta định nghĩa hai hệ tọa độ là hệ tọa độ quán tính gắn với mặt đất và hệ tọa độ gắn với vật thể. Các hệ tọa độ được thể hiện tại Hình 2.1 Các hệ tọa độ Trong đó: OXYZ {E} là hệ tọa độ quán tính với chiều dương của OX theo hướng chuyển động của đối tượng, chiều dương của OZ hướng lên trên, OY tạo với OZ và OX thành một tam diện thuận.
Hệ tọa độ này được sử dụng để nghiên cứu chuyển động tương đối giữa mặt đất và quadrotor. oxyz {B} là hệ tọa độ gắn với vật thể với gốc tọa độ „o‟ đặt tại trọng tâm quadrotor, chiều dương của ox hướng từ trọng tâm đến động cơ số 1, chiều dương của oy hướng từ trọng tâm đến động cơ số 4, oz tạo với ox và oy thành một tam diện thuận. Hai hệ tọa độ trên quan hệ với nhau qua ma trận R.2 mô tả các góc Euler tương ứng với các ma trận xoay từ hệ tọa độ gắn với vật thể sang hệ tọa độ quán tính và ma trận R là ma trận tổng hợp từ ba ma trận đó. ( ) (1) ( ) (2) ( ) (3) [ ] (4) Để xây dựng mô hình động học của quadrotor, không mất tính tổng quát, ta giả thiết: Đối tượng có thân đối xứng.
Gốc của hệ tọa độ quán tính gắn với đối tượng trùng với tâm hình học và trọng tâm. Lực cản và trọng lực không ảnh hưởng đến trạng thái bay và các yếu tố khác. Ứng lực theo các hướng tỷ lệ với bình phương tốc độ quay của cánh quạt. Theo các trục tọa độ của quadrotor, ta định nghĩa là thành phần của ⃗ ; là thành phần của ⃗⃗.1 ta có: Trọng lực Lực cản Lực nâng của từng động cơ Định luật II Newton và phương trình động học của quadrotor như sau: ⃗⃗ ⃗ (5) ⃗⃗ ⃗⃗⃗ (6) Trong đó ⃗ là ngoại lực tác dụng lên quadrotor, m là khối lượng, ⃗⃗ là vận tốc, ⃗⃗⃗ là mô-men tác dụng lên quadrotor, ⃗⃗ là mô-men động lượng.
Khai triển phương trình định luật II Newton: 7 ̈ ̇ ∑ ̇ ̈ ̇ ∑ ̇ (7) ̈ ̇ ∑ ̇ { Các góc Euler và vận tốc góc của quadrotor quan hệ với nhau như sau: ̇ [ ] [ ] [ ̇] (8) ̇ ̇ [ ̇] [ ][ ] (9) ̇ Giả thiết quadrotor đối xứng như trên, ma trận mô-men quán tính là ma trận đường chéo: [ ] (10) Ta có: ⃗⃗ ⃗⃗⃗ (11) thì ̇ ∑ [ ̇] (12) ̇ Mô-men theo các trục của quadrotor: ̇ ̇ ( ) [ ] [ ̇ ] (13) ̇ ̇ ( ) Sau khi đơn giản hóa, ta có: ̇ [ ̇] [ ] (14) ̇ Kết hợp các phương trình chuyển động thẳng và chuyển động quay ta được hệ phương trình chuyển động của quadrotor: 8 ̈ ̇ ∑ ̇ ̈ ̇ ∑ ̇ ̈ ̇ ∑ ̇ (15) ̇ ̇ ̇ ̇ ̇ { ̇ Trong đó, là hệ số lực cản. Định nghĩa là bốn kênh điều khiển động lập cho quadrotor: ∑ ∑ [ ] [ ] (16) ∑ [ ] Trong đó điều khiển tốc độ theo phương đứng, điều khiển góc roll, điều khiển góc pitch, điều khiển góc yaw, là tốc độ quay của động cơ, là lực của động cơ. Như vậy, mô hình của quadrotor trong trường hợp không có gió và bỏ qua lực cản: ̈ ̈ ̈ (17) ̈ ̇ ̇ ̈ ̇ ̇ 9 ̈ ̇ ̇ Với là khoảng cách từ trọng tâm của động cơ đến gốc tọa độ O.2 Học tăng cƣờng 2.1 Tìm hiểu về học tăng cƣờng RL là một nhánh trong các phương pháp học của học máy [20]. Khác với phương pháp học có giám sát và không có giám sát thường sử dụng các tập dữ liệu tĩnh thì học tăng cường làm việc với dữ liệu từ một môi trường động.
Mục tiêu của học tăng cường là tìm ra trình tự tốt nhất cho các hành động để đạt được kết quả đầu ra tốt nhất. Để làm được điều này, học tăng cường sử dụng một thành phần được gọi là tác nhân để khám phá, tương tác với môi trường và học từ môi trường. Bên trong mỗi tác nhân sẽ có một hàm gọi là chính sách để nhận các đầu vào từ môi trường sau đó sẽ tính toán để đưa ra các hành động tương tác với môi trường. Khi tương tác với môi trường, tác nhân sẽ nhận lại được một phần thưởng (tương đương với định nghĩa hàm phạt trong điều khiển tối ưu).
Nếu hành động tốt sẽ được phần thưởng nhiều, hành động sai sẽ nhận phần thưởng ít hoặc nhận điểm phạt. Căn cứ vào mức thưởng mà tác nhân sẽ rút ra được “kinh nghiệm” cho các lần hoạt động sau. Nếu ta thiết kế được một chính sách hoàn hảo để tạo ra những tác động đúng ở mỗi trạng thái thì công việc thiết kế coi như hoàn thành. Nhưng điều này không hề dễ dàng bởi vì cho dù có thể thiết kế được chính sách hoàn hảo rồi nhưng môi trường bên ngoài thay đổi thì các phản ứng cũng sẽ khác đi.
Do đó, để có được chính sách tối ưu thì chính sách phải được thay đổi dựa vào hành động đã thực hiện, phản hồi của môi trường và phần thưởng nhận được. Đây chính là nguyên lý hoạt động của các thuật toán học tăng cường. Trong điều khiển học tăng cường, mục tiêu và yêu cầu tương tự như với điều khiển truyền thống, chỉ khác ở cách thức thực hiện. Với học tăng cường, việc tạo ra tín hiệu điều khiển (hành động) phù hợp chỉ có thể có được sau một quá trình học.
Quá trình học này được thực hiện bởi máy tính thông qua việc tương tác với môi trường mà không cần biết mô hình cụ thể của đối tượng và môi trường. Do vậy, học tăng cường thường được áp dụng trong các hệ thống có mô hình bất định hoặc có số lượng trạng thái và hành động lớn. Như vậy, máy sẽ học thế nào? Câu trả lời là ở cách xây dựng chính sách. Chính sách về bản chất là một hàm toán học được xây dựng dựa trên một thuật toán và có các tham số có thể thay đổi được.
Với mỗi chính sách được xây dựng, sẽ có một tập các tham số làm cho hành động sinh ra là tối ưu. Nhiệm vụ của việc “học” là thay đổi các tham số sẵn có một cách có hệ thống để hội tụ dần đến giá trị tối ưu. Quá trình học được máy tính thực hiện thông qua các thuật toán, ví dụ đơn giản như một quá trình thử và sai.2 Một vài thuật toán học tăng cƣờng với mô hình Markow a) Mô hình Markov MDP cung cấp nền tảng cho nghiên cứu học tăng cường. Trước hết, ta bắt đầu với quyết định tuần tự tối ưu, tức là các quyết định được đưa ra ở các trạng thái của quá trình xuyên suốt theo thời gian.
Tiếp theo bàn về quy hoạch động, đây là công cụ để giải quyết các bài toán về việc ra quyết định tối ưu bằng cách tính toán ngược từ trạng thái cuối đến trạng thái đầu. Quy hoạch động là một phương pháp ngoại tuyến nên không thể áp dụng cho các ứng dụng yêu cầu trực tuyến tuần tự xuôi theo thời gian. Cốt lõi của vấn đề này là phương trình Bellman. Xét MDP (X, U, P, R) trong đó X là tập các trạng thái và U là tập các hành động hay điều khiển.
P: X × U × X → [0,1] là xác suất để trạng thái x ∈ X dưới tác động của u ∈ U chuyển đến trạng thái x’ ∈ X, { | }. R: X × U × X → R là phần thưởng mong đợi nhận được khi chuyển từ trạng thái x ∈ X đến trạng thái x’ ∈ X dưới tác động của u ∈ U. Có thể thấy rằng xác suất chỉ phụ thuộc vào trạng thái hiện tại x chứ không quan tâm đến việc làm thế nào MDP đạt đến trạng thái đó. Vấn đề cơ bản của MDP là tìm ra ánh xạ π: X × U → [0,1] cho biết xác suất { | } của việc chọn hành động u khi MDP đang ở trạng thái x.
Một ánh xạ như thế được coi như là một chiến lược hay chính sách điều khiển vòng kín. Chiến lược { | } được gọi là ngẫu nhiên nếu xác suất để lựa chọn nhiều hơn một hành động tại trạng thái x là lớn hơn 0. Nếu ánh xạ π: X × U → [0,1] chỉ cho phép một hành động với xác suất bằng 1 đối với bất kỳ trạng thái x nào thì ánh xạ được gọi là tất định. Khi đó { | } tương ứng với một hàm ánh xạ các trạng thái đến các hành động μ(x): X → U.
Các MDP với các trạng thái và hành động hữu hạn được gọi là các MDP hữu hạn. 1 - Quyết định tuần tự tối ƣu Các hệ thống động học thường là nhân quả theo thời gian. Ta xét các bài toán ra quyết định tuần tự đang ở trạng thái k với các giá trị trạng thái và hành động là xk, uk. Định nghĩa một chi phí tại thời điểm k là.
Như vậy, với E{.} là toán tử giá trị mong muốn thì: { | } (18) Định nghĩa chỉ số hiệu quả là tổng của các chi phí tương lai trong khoảng thời gian [k, k+T]: ∑ ∑ (19) Trong đó, là hệ số suy giảm làm giảm trọng lượng của các chi phí phát sinh trong tương lai.