Luận Văn Thạc Sĩ: Học Tăng Cường và Quyết Định Markov - Đại Học Bách Khoa Hà Nội

Luận văn về học tăng cường và quyết định Markov: Nghiên cứu sâu về thuật toán, ứng dụng trong thực tế và phân tích hiệu quả mô hình. Tìm hiểu ngay!

• Tác giả: Châu Mạnh Quang
• Người hướng dẫn: Ts. Nguyễn Linh Giang
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Xử Lý Thông Tin Và Truyền Thông
• Đề tài: Học Tăng Cường Và Quyết Định Markov
• Loại tài liệu: Luận Văn Thạc Sĩ Khoa Học
• Năm xuất bản: 2009
• Địa điểm: Hà Nội

Mục lục chi tiết

• CÁC TỪ THUẬT NGỮ VIẾT TẮT
• LỜI NÓI ĐẦU
• MỞ ĐẦU
• 1. HỌC TĂNG CƯỜNG CƠ BẢN
• 1.1. Các thành phần
• 1.2. Lý thuyết học tăng cường
• 1.2.1. Ation-Value method
• 1.2.2. Phương pháp Softmax
• 1.2.3. Incremental evaluation
• 1.2.4. Reinforcement comparison
• 1.2.5. Associative search
• 1.3. Các vấn dễ về học tăng cường
• 1.3.1. Agent-environment interface
• 1.3.2. Goal va reward
• 1.3.3. Giá trị Retumn
• 1.3.4. Markov Decision Process
• 1.4. Các giải pháp cơ bản cho học tăng cường
• 2. KẾT HỢP GIỮA HỌC TĂNG CƯỜNG VỚI THUẬT TOÁN DI TRUYỀN — Ant-Q
• 3. ỨNG DỤNG CỦA HỌC TĂNG CƯỜNG KẾT HỢP VỚI SUY DIỄN NGỮ PHÁP
• 3.1. Các khái niệm cơ bản
• 3.2. Mô hình ngữ pháp cho MDP
• 3.3. Simple Context-Free Markov decision process
• 3.4. Thuật toán RSG-QL
• 3.5. Ví dụ minh hoạ
• KẾT QUẢ THỰC NGHIỆM & KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Học Tăng Cường và Quyết Định Markov MDP

Học tăng cường (Reinforcement Learning - RL) là một phương pháp học máy, trong đó agent học cách hành động trong một môi trường để tối đa hóa một khái niệm về 'phần thưởng' tích lũy. Không giống như học có giám sát, RL không dựa trên các mẫu dữ liệu được gắn nhãn trước. Thay vào đó, agent học thông qua thử và sai, nhận được reward (hoặc hình phạt) cho các hành động của nó. Ý tưởng học bằng tương tác với môi trường là điều đầu tiên xuất hiện khi xem xét các quá trình học trong tự nhiên. Một đứa trẻ chơi, vẫy tay, nhìn xung quanh, mặc dù không ai dạy bảo, đứa trẻ vẫn tương tác với môi trường. Qua đó, trẻ thu nhận được nhiều thông tin về nguyên nhân và hệ quả, về những tác động của từng hành động, từ đó đứa trẻ có thể từng bước xác định làm thế nào để đạt được một mục đích nào đó. Phương pháp học này được gọi là học tăng cường, là phương pháp học cách hành động thích hợp để đáp ứng với tình huống sao cho giá trị reward thu được là tối ưu. Agent không được hướng dẫn trước cách hành động mà phải tự khám phá ra những hành động nào cho ra được giá trị reward lớn nhất bằng cách thử thực hiện chúng. Quá trình học tăng cường thường được áp dụng trong hoàn cảnh mà một agent phải học cách tương tác với môi trường để đạt đến mục đích của mình. Để làm được điều này, agent phải có khả năng cảm nhận được tình thế của mình trong môi trường và ở một chừng mực nào đó phải có khả năng thực thi các action để có thể thay đổi được tình thế. Như vậy, trong quá trình học tăng cường, có 3 yếu tố là nhận thức (sensation), hành động (action) và mục đích (goal). Trong một số trường hợp đặc biệt, action có thể ảnh hưởng đến không những giá trị reward tức thời mà còn cả những tình huống tiếp theo và dẫn đến ảnh hưởng cả những reward kế tiếp. Hai đặc tính này: trial-and-error search và delayed reward là hai đặc trưng riêng của học tăng cường.

1.1. Đặc Điểm Nổi Bật của Reinforcement Learning Học Tăng Cường

Học tăng cường khác với học có giám sát ở chỗ nó không học theo các mẫu tri thức đã được xác định trước, và ứng với mỗi mẫu input thì cho ra giá trị output nhất định. Với cách học này thì không thể đủ để học bằng cách chỉ thông qua việc tương tác với môi trường. Nguyên nhân là ở chỗ chỉ bằng cách tương tác với môi trường thì khó có thể xác định được các mẫu mà cho ra kết quả như ý cũng như không thể xác định hết tất cả các mẫu tình huống mà agent gặp phải trong cả quá trình hành động của mình. Một trong những vấn đề mà quá trình học tăng cường phải giải quyết là phải cân bằng được 2 quá trình khai thác (exploitation) và khám phá (exploration). Tại một thời điểm nếu agent hành động theo hướng này thì phải bỏ qua hướng kia. Để nhận được nhiều reward thì agent phải ưu tiên thực hiện các action mà đã gặp trong quá khứ mà cho ra nhiều reward (exploitation). Nhưng để khám phá ra được các action tốt thì agent buộc phải thử các action mà chưa được thử bao giờ (exploration). Nói cách khác agent phải đồng thời khai thác những kiến thức đã học được nhưng đồng thời cũng phải học hỏi cái mới. Vấn đề khác đối với học tăng cường là agent phải tương tác với môi trường không xác định. Theo tài liệu gốc, ý tưởng học thông qua tương tác với môi trường có lẽ là cái mà ta nghĩ đến đầu tiên khi xem xét đến các quá trình học trong tự nhiên. Khi một đứa trẻ chơi, vẫy tay, nhìn ngó xung quanh, lúc đó mặc dù không có ai dạy bảo, nhưng đứa trẻ có tương tác với môi trường. Qua đó, thu nhậu được rất nhiều thông tin về nguyên nhân và hệ quả, về những tác động của từng hành động và từ đó đứa trẻ có thể từng bước xác định được làm thế nào để đạt được một mục đích nào đó.

1.2. Markov Decision Processes MDPs Nền Tảng Lý Thuyết

Markov Decision Processes (MDPs) cung cấp một khuôn khổ toán học để mô tả môi trường trong RL. Một MDP bao gồm các trạng thái (states), hành động (actions), hàm chuyển đổi trạng thái (state transition function), và hàm phần thưởng (reward function). Tính chất Markov, một yếu tố quan trọng trong MDPs, quy định rằng trạng thái hiện tại chứa tất cả thông tin cần thiết để đưa ra quyết định, bỏ qua lịch sử quá khứ. Một MDP là một bộ (S, A, Pr, R), trong đó: S là một tập hợp các trạng thái. A là một tập hợp các hành động. Pr : S × A × S → [0, 1] là hàm xác suất chuyển trạng thái, tức là Pr(s, a, s') là xác suất chuyển từ trạng thái s sang trạng thái s' sau khi thực hiện hành động a. R : S × A → R là hàm phần thưởng, tức là R(s, a) là phần thưởng nhận được khi thực hiện hành động a trong trạng thái s. Theo tài liệu gốc, một MDP cung cấp một khuôn khổ lý thuyết vững chắc cho việc phân tích và thiết kế các thuật toán RL. Nó cho phép chúng ta mô hình hóa các bài toán ra quyết định tuần tự và áp dụng các phương pháp Dynamic Programming để tìm ra chính sách tối ưu.

II. Bài Toán Cân Bằng Exploration vs Exploitation trong RL

Trong học tăng cường, một trong những thách thức lớn nhất là sự cân bằng giữa exploration (khám phá) và exploitation (khai thác). Exploration liên quan đến việc thử các hành động mới để khám phá các khả năng chưa biết và có thể đạt được phần thưởng lớn hơn trong tương lai. Exploitation liên quan đến việc sử dụng kiến thức hiện có để chọn các hành động đã biết là mang lại phần thưởng cao. Cân bằng hai yếu tố này là rất quan trọng để đảm bảo rằng agent học được một chính sách tối ưu và không bị mắc kẹt trong một chính sách không tối ưu cục bộ. Tài liệu gốc nhấn mạnh rằng nếu agent hành động theo hướng này thì phải bỏ qua hướng kia. Để nhận được nhiều reward thì agent phải ưu tiên thực hiện các action mà đã gặp trong quá khứ mà cho ra nhiều reward (exploitation). Nhưng để khám phá ra được các action tốt thì agent buộc phải thử các action mà chưa được thử bao giờ (exploration).

2.1. Chiến Lược Exploration Hiệu Quả Trong Học Tăng Cường RL

Có nhiều chiến lược exploration khác nhau có thể được sử dụng trong RL. Một chiến lược phổ biến là epsilon-greedy, trong đó agent chọn hành động tốt nhất đã biết với xác suất 1-epsilon và chọn một hành động ngẫu nhiên với xác suất epsilon. Một chiến lược khác là upper confidence bound (UCB), trong đó agent chọn hành động có ước tính phần thưởng cao nhất cộng với một lượng không chắc chắn. Chiến lược exploration phù hợp phụ thuộc vào bài toán cụ thể và có thể yêu cầu thử nghiệm và điều chỉnh để đạt được hiệu suất tốt nhất. Ngoài ra, các kỹ thuật như Monte Carlo Tree Search (MCTS) cũng được sử dụng để exploration hiệu quả hơn trong các không gian trạng thái lớn.

2.2. Khai Thác Exploitation Tối Ưu Hóa Phần Thưởng Hiện Tại

Exploitation là quá trình sử dụng kiến thức hiện có để chọn các hành động đã biết là mang lại phần thưởng cao. Điều này thường được thực hiện bằng cách chọn hành động có giá trị ước tính cao nhất, dựa trên các kinh nghiệm trước đây. Tuy nhiên, việc chỉ tập trung vào exploitation có thể dẫn đến việc agent bỏ lỡ các cơ hội để khám phá các hành động mới có thể mang lại phần thưởng lớn hơn trong tương lai. Do đó, cần phải có một sự cân bằng giữa exploration và exploitation để đảm bảo rằng agent học được một chính sách tối ưu. Theo tài liệu gốc, để nhận được nhiều reward thì agent phải ưu tiên thực hiện các action mà đã gặp trong quá khứ mà cho ra nhiều reward.

III. Các Phương Pháp Giải Quyết Bài Toán Quyết Định Markov MDP

Có nhiều phương pháp khác nhau để giải quyết các bài toán Markov Decision Process (MDP) và tìm ra chính sách tối ưu. Các phương pháp này có thể được chia thành hai loại chính: Dynamic Programming và Monte Carlo methods. Dynamic Programming dựa trên việc sử dụng Bellman Equation để tính toán giá trị tối ưu của mỗi trạng thái. Monte Carlo methods dựa trên việc mô phỏng các episode và sử dụng kết quả để ước tính giá trị của các trạng thái và hành động.

3.1. Dynamic Programming Value Iteration và Policy Iteration

Dynamic Programming bao gồm hai phương pháp chính: Value Iteration và Policy Iteration. Value Iteration bắt đầu bằng việc khởi tạo giá trị của tất cả các trạng thái về 0 và lặp lại quá trình cập nhật giá trị cho đến khi hội tụ. Policy Iteration bắt đầu bằng việc khởi tạo một chính sách ngẫu nhiên và lặp lại quá trình đánh giá chính sách và cải thiện chính sách cho đến khi hội tụ. Cả hai phương pháp đều đảm bảo hội tụ đến chính sách tối ưu, nhưng Policy Iteration thường hội tụ nhanh hơn Value Iteration. Theo tài liệu gốc, khái niệm Generalized Policy Iteration (GPI) bao trùm cả Value Iteration và Policy Iteration, nhấn mạnh sự tương tác giữa đánh giá và cải thiện chính sách.

3.2. Monte Carlo Methods Ước Tính Giá Trị và Chính Sách

Monte Carlo methods dựa trên việc mô phỏng các episode và sử dụng kết quả để ước tính giá trị của các trạng thái và hành động. Các phương pháp này không yêu cầu mô hình môi trường và có thể được sử dụng để giải quyết các bài toán MDP với không gian trạng thái lớn. Có hai loại Monte Carlo methods chính: on-policy và off-policy. On-policy methods học chính sách đang được sử dụng để tạo ra các episode. Off-policy methods học một chính sách khác với chính sách đang được sử dụng để tạo ra các episode. Một ví dụ điển hình là thuật toán Monte Carlo Tree Search (MCTS), được sử dụng rộng rãi trong game playing.

IV. Temporal Difference TD Learning Sarsa và Q Learning

Temporal Difference (TD) learning là một phương pháp học tăng cường kết hợp các ý tưởng từ Dynamic Programming và Monte Carlo methods. TD learning học bằng cách cập nhật ước tính giá trị dựa trên sự khác biệt giữa ước tính hiện tại và ước tính trong tương lai. Điều này cho phép TD learning học nhanh hơn Monte Carlo methods và có thể được sử dụng để giải quyết các bài toán MDP với không gian trạng thái lớn. Hai thuật toán TD learning phổ biến nhất là Sarsa và Q-learning.

4.1. Sarsa On Policy Temporal Difference Control

Sarsa là một thuật toán on-policy TD control. Điều này có nghĩa là Sarsa học chính sách đang được sử dụng để chọn các hành động. Sarsa cập nhật ước tính giá trị của cặp trạng thái-hành động (state-action pair) dựa trên phần thưởng nhận được và ước tính giá trị của cặp trạng thái-hành động tiếp theo. Công thức cập nhật của Sarsa là: Q(s, a) = Q(s, a) + α [r + γ Q(s', a') - Q(s, a)], trong đó α là tốc độ học, γ là hệ số chiết khấu, s là trạng thái hiện tại, a là hành động được thực hiện, r là phần thưởng nhận được, s' là trạng thái tiếp theo, và a' là hành động được chọn trong trạng thái tiếp theo.

4.2. Q Learning Off Policy Temporal Difference Control

Q-learning là một thuật toán off-policy TD control. Điều này có nghĩa là Q-learning học một chính sách khác với chính sách đang được sử dụng để chọn các hành động. Q-learning cập nhật ước tính giá trị của cặp trạng thái-hành động dựa trên phần thưởng nhận được và giá trị tối đa của tất cả các hành động có thể được thực hiện trong trạng thái tiếp theo. Công thức cập nhật của Q-learning là: Q(s, a) = Q(s, a) + α [r + γ maxₐ' Q(s', a') - Q(s, a)], trong đó α là tốc độ học, γ là hệ số chiết khấu, s là trạng thái hiện tại, a là hành động được thực hiện, r là phần thưởng nhận được, s' là trạng thái tiếp theo, và maxₐ' Q(s', a') là giá trị tối đa của tất cả các hành động có thể được thực hiện trong trạng thái tiếp theo.

V. Học Tăng Cường Sâu Deep RL Kết Hợp Mạng Neural

Học tăng cường sâu (Deep Reinforcement Learning - Deep RL) kết hợp học tăng cường với mạng neural nhân tạo. Điều này cho phép agent học cách điều khiển các môi trường phức tạp với không gian trạng thái và hành động lớn. Các mạng neural được sử dụng để xấp xỉ hàm giá trị hoặc chính sách, cho phép agent khái quát hóa từ các kinh nghiệm trước đây và đưa ra các quyết định tốt trong các trạng thái chưa từng thấy. Deep RL đã đạt được thành công đáng kể trong nhiều lĩnh vực, bao gồm game playing, robotics, và autonomous driving.

5.1. Deep Q Networks DQN Ứng Dụng Mạng Neural trong Q Learning

Deep Q-Networks (DQN) là một thuật toán Deep RL kết hợp Q-learning với mạng neural. DQN sử dụng một mạng neural để xấp xỉ hàm Q, cho phép agent học cách điều khiển các môi trường phức tạp với không gian trạng thái lớn. DQN sử dụng các kỹ thuật như experience replay và target network để cải thiện sự ổn định và hiệu suất học tập.

5.2. Policy Gradient Methods Tối Ưu Hóa Trực Tiếp Chính Sách

Policy Gradient methods là một loại thuật toán Deep RL tối ưu hóa trực tiếp chính sách mà không cần xấp xỉ hàm giá trị. Các phương pháp này sử dụng mạng neural để xấp xỉ chính sách và sử dụng gradient descent để tìm ra chính sách tối ưu. Policy Gradient methods có thể được sử dụng để giải quyết các bài toán MDP với không gian hành động liên tục.

VI. Ứng Dụng Học Tăng Cường và Quyết Định Markov trong Thực Tế

Học tăng cường và Markov Decision Processes có rất nhiều ứng dụng thực tế. Chúng được sử dụng trong robotics để điều khiển robot, trong game playing để tạo ra các agent thông minh, và trong autonomous driving để điều khiển xe tự lái. Ngoài ra, chúng còn được sử dụng trong các lĩnh vực như tài chính, y tế, và năng lượng.

6.1. Ứng Dụng RL trong Robotics Điều Khiển và Tự Động Hóa

Học tăng cường được sử dụng rộng rãi trong robotics để điều khiển robot thực hiện các nhiệm vụ phức tạp. Ví dụ, RL có thể được sử dụng để huấn luyện robot đi bộ, chạy, hoặc leo trèo. RL cũng có thể được sử dụng để huấn luyện robot thao tác các đối tượng, chẳng hạn như gắp và đặt các vật thể.

6.2. Game Playing Phát Triển AI với Học Tăng Cường Reinforcement Learning

Học tăng cường đã đạt được thành công đáng kể trong game playing. Các agent RL đã đánh bại con người trong nhiều trò chơi, bao gồm cờ vua, cờ vây, và các trò chơi điện tử. RL cho phép agent học cách chơi trò chơi một cách tự động bằng cách thử và sai, mà không cần bất kỳ kiến thức nào về trò chơi.

Trích đoạn nội dung tài liệu

MỞ ĐẦU. 1 HOC TANG CUONG COB.1 Các thành phần: 12 Lý thuyết học tăng cường 2.1 Ation-Value method Phương phap Softmax 8 ia r Incremental evaluation, § h Rob Vấn đề về môi trường bat dinh (nonstalionary environment) 9 ch 5 Reinforcement comparison. - 11 bạ Aasocialive search 11 iv 1⁄3 Các vấn dễ về học tăng cường 1.31 Agent-environment interface: 12 1.2 Goal va reward - 13 1. Giá trị Retumn.

134 Markov Decision Process 1.2 Markev decision process. Value function Optimal value functio 19 1⁄4 Các giải pháp cơ bản cho học tăng cường.- POlicy ĐNAÍNGHGR. Palue eration vaccneemnmnennoninninemennnnneannunnnenannn dd CÁC TỪ THUẬT NGU VIET TAT Markov Decision Process POMDP: Partially Observable Markov Decision Process GPL Generalized Policy Iteration. PPR: Probability Policy Reuse MGE: Memory Guided ixploration.

CFG Context Free Grammar SG: Simple Grammar. VSG: Very Simple Grammar, RSG: Right-Unique Simple Grammer. PSG: Probabilistic Simple Grammar. USG: Unifiable Simple Grammar CÁC TỪ THUẬT NGU VIET TAT Markov Decision Process POMDP: Partially Observable Markov Decision Process GPL Generalized Policy Iteration.

PPR: Probability Policy Reuse MGE: Memory Guided ixploration. CFG Context Free Grammar SG: Simple Grammar. VSG: Very Simple Grammar, RSG: Right-Unique Simple Grammer. PSG: Probabilistic Simple Grammar.

USG: Unifiable Simple Grammar MỞ DAU Ý tưởng về việc học thông qua tương tác với môi trường có lẽ 14 cái mà ta nghi dén đầu tiên khi ta xem xét dến các quá trình học trong tự nhiên. Khi mot dứa trẻ chơi, vậy tay, nhìn ngỏ xung quanh, lủc đỏ mặc đủ không có ai dạy bảo nhưng, đứa trễ có tương tác với môi mường. Qua đó, thu nhậu được rất nhiều thông tin về nguyên nhân và hệ quả, vẻ những tác động của từng hành dòng vẻ từ đó dứa trẻ cỏ thể từng bước xác định được lam thể náo để đạt được một mục địch nào đó. Trong cuộc đời chúng ta, nhí tương tác với môi trường như vậy mang lại cho chúng †a nhiều kiến thức nhất vẻ mồi trường và bản thân, Bất ký lúc nào khi ta lãi xe hay nói chuyện thi ching ta đều nhận thức được môi trường đáp ứng lại mỗi hành động của chúng ta và chúng ta tìm cách điều chỉnh những sự việc có thể xây ra thông qua các hành động của mình.

Việc học thông qua tương tác với mỗi trường lả một trong, những ý tưởng cơ sở của lý thuyết máy học. Phương pháp học này được gọi là học lặng cường, Tigo ting cường là phương pháp học cách hành động thích hợp để đáp tng với tỉnh huồng sao cho giá trị reward thu được là tôi ưu. Người học không được hướng dan trước cách hành động như những, phương pháp học khác mà phải tự khám phá Ta những hành động nào thi cho ra duoc pia tri reward lớn nhất bằng cách thử thực tiện chúng. Trong một số tường hợp đặc biệt, action cd thé ảnh hưởng đến không những giá trị reward tức thời ma cẻn cả những tỉnh huồng tiếp theo và dân đến ánh hưởng cả những reward kế tiếp.

Hai đặc tính nay: trial-and-error search va delayed xoward là lai đặc trưng riêng của học tăng cường. Quả trịnh học tăng cường thưởng được áp dụng trong hoàn cảnh mả một agent xảo đỏ hợc cách tương tác với môi trường đề dạt dến được dịch của mình. Rõ rắng, Ja dé lam duoc điều nảy thi agent phải có khá năng cảm nhận được tình thể của minh trong môi trường và ở ruột chừng mực náo đó phải có khả năng thực thi các action để có thể thay đổi được tình thế. Như vậy là rong quả trình học tăng cường.

có 3 yêu tổ là nhận thức (sensation), hinh déng (action) va dich (goal) 222. Kết hợp giữa học tăng cường với thuật taán dan kiên — Ant-Q lẽ.4 Ứng dụng của học tăng cường kết hợp với suy diễn ngữ pháp. Các khái niệm cơ bản.42 Mô hình ngữ pháp cho MDP - 102 3. Smmple Context-Eree Markov đecision proeess.444 Thuật toán RSG-QL.

L0 245 Ví dụ minh hoạ - 11 KET QUA THUC NGHIEM & KET LUAN. a TAT LIEU THAM KHẢO. „ Tọc tăng cường khác với học cô giảm sắt (supervised leaning) ở chỗ là học có giám sát thí học theo các mẫu kiên thức đã dược xác định trước, vả ứng với mỗi mau input thi cho ra gia tri output nhat định. Với cách học này thì không thế đủ dé học bằng cách chí thông qua việc tương túc với muôi trường.

Nguyên nhấn là ở chỗ chi bing cach tương tác với môi trường thì khỏ có thể xác định được các mẫu mả cho ra kết quả nhì ý cũng như không thé xác định hết tất cả cáo mẫu tỉnh huống mà agent gặp phải trong, cả quá trình hành dộng của xuình. Môi trong những vẫn đề mà quả trình học tầng cường phải giải quyết là phải cân bằng dược 2 quả trình khai thác (exploitation) và khám pha (exploration). Tai một thời điểm nều agent hanh động theo hưởng nay thi phải bỏ qua hướng kia. Dé nhận được nhiều reward thì agenL phải ưu tiền thực hiện cáo nelion má đã gặp lrong, quá khử mà cho ra nhiều reward (exploitation).

Nhung dễ khám phá ra dược các action dé thí agent buộc phải thứ các actton má chưa được thứ bao giờ (explcration). Nói cách khác agent phải đẳng thời khai thác những kiến thức đã học được nhưng đồng thời cũng phải học hỏi cải moi. vấn đề khác đổi với học tăng cường là agenL phải tương tác với môi trường không xác dịnh.ý thuyết về học tăng cường đã lãm cho 2 Tình vực engineering va bi tuệ nhân tạo xich lại gân nhau hơu Truớc dây trí tuệ nhân tạo chỉ thuần tuý là các LISP programs, khéng lién quan nhiễu đến những thr nhu linear algebra, differential equation, và statistic. Nhung gan day, voi su phat didn cna neural network, intelligent control, va hợc tăng cường thì nhiều lĩnh vực của engineering bat dau được áp dụng trong trí tuệ nhân tạo.

Trong thưc tế, học tăng cường dược ra dời và dược thúc đây phát triển bới nhiều bài toán cần giải quyết cũng như từ sự quan sát các quả trinh học tự nhiên. Dưới đây là một số ví dụ điển hình: Người chơi bải: khi đánh quân bài thì sự lựa chọn quân bải thí sự lụa chọn quân bài đựa trên thông tin thụ nhận được từ 2 nguồn. Thứ nhát là sự kết hợp của việc lập kế hoạch (planming) và phóng đoán khá năng đáp trả của đổi phương, 4 (anticipation). Ngudn tha bai 1a ur vide danh giá tình bình một cách trục giác (intuitive).

Adaptive controller diéu chinh các thông số của nhà máy lọc dau: controller phái điều chính một cách thích hợp vá tôi wu các giá trị cua yield, cost, va quality cd cân nhắc đến ảnh hưởng lẫn nhau của các giá trị. Để công việc diéu chỉnh trên đạt thiệu quả cao thì controller không thể chỉ dựa vào các lập hợp các giá trị được định trước của kỷ sư. Con nai con khi mới ra đời phải tập cách giữ thang bing đề có thê đứng được trên 4 chân, để rồi 30 phút sau nó có thê chạy được với tốc độ 20 đặm/giờ. Mobile robot sử dụng năng lượng acquy khi hoạt động phải cân nhắc thực hiện công việc một cách có hiệu quá dựa theo lượng điện cón lại trong äcquy để cón đủ điện đễ quay trở về chỗ nạp điện.

Những vi dụ trên đều có chung một đặc điểm dễ nhịn thấy: đỏ là tất cá mọi agent déu phai lương tác với môi trường để từ đó agent. cd the tim cách đạt đến đích mặc dủ môi trường lả không xác định dỗi với agent. Cac action của agent có thẻ có anh hướng đến các bước quyết định tiếp theo (vi dụ: tiếp theo đánh quân bai nao, lương đầu trong các bể chứa, vị rí tiếp theo của robol), và từ đó ảnh hưởng đến các chọn lựa va co héi dat dén dich ctia agent trong giai doạn về sau. Để cỏ dược quyết định chính xác thì cần phải áp đụng các phương pháp dự đoán (foresight) và lập kế hoạch (plaming).

Tại mỗi thời điểm thì tác đông của các action đến giai đoạn tiếp theo chưa thể xác định và cũng không dễ gì tiên đoàn được. Do do, agent can phái thường xuyên quan sát môi trường và ra quyết định phủ hợp với môi trường ở mọi thời điểm. Agent đánh giá môi trường và khả uãng đạt đến đích một phân dựa vào những những kiến thức mả dã cảm nhận hoặc đánh giá được trong gia doạn trước. Ví dụ, người đánh bài nhìn vào những quân bài đá đánh có thể biết được họ cỏ thể thắng hoặc thua, controller biết được có bao nhiều dầu đã đuợc xử lý, mobile roboL biết còn bao nhiêu diện.

Những gi agent thu nhận dược qua sự tương tác với mỗi trường được gọi là experience. Những experience này được sử dụng để làm tăng hiệu quả của cáo nơtion theo thời giam. MỞ DAU Ý tưởng về việc học thông qua tương tác với môi trường có lẽ 14 cái mà ta nghi dén đầu tiên khi ta xem xét dến các quá trình học trong tự nhiên. Khi mot dứa trẻ chơi, vậy tay, nhìn ngỏ xung quanh, lủc đỏ mặc đủ không có ai dạy bảo nhưng, đứa trễ có tương tác với môi mường.

Qua đó, thu nhậu được rất nhiều thông tin về nguyên nhân và hệ quả, vẻ những tác động của từng hành dòng vẻ từ đó dứa trẻ cỏ thể từng bước xác định được lam thể náo để đạt được một mục địch nào đó. Trong cuộc đời chúng ta, nhí tương tác với môi trường như vậy mang lại cho chúng †a nhiều kiến thức nhất vẻ mồi trường và bản thân, Bất ký lúc nào khi ta lãi xe hay nói chuyện thi ching ta đều nhận thức được môi trường đáp ứng lại mỗi hành động của chúng ta và chúng ta tìm cách điều chỉnh những sự việc có thể xây ra thông qua các hành động của mình. Việc học thông qua tương tác với mỗi trường lả một trong, những ý tưởng cơ sở của lý thuyết máy học. Phương pháp học này được gọi là học lặng cường, Tigo ting cường là phương pháp học cách hành động thích hợp để đáp tng với tỉnh huồng sao cho giá trị reward thu được là tôi ưu.

Người học không được hướng dan trước cách hành động như những, phương pháp học khác mà phải tự khám phá Ta những hành động nào thi cho ra duoc pia tri reward lớn nhất bằng cách thử thực tiện chúng. Trong một số tường hợp đặc biệt, action cd thé ảnh hưởng đến không những giá trị reward tức thời ma cẻn cả những tỉnh huồng tiếp theo và dân đến ánh hưởng cả những reward kế tiếp. Hai đặc tính nay: trial-and-error search va delayed xoward là lai đặc trưng riêng của học tăng cường. Quả trịnh học tăng cường thưởng được áp dụng trong hoàn cảnh mả một agent xảo đỏ hợc cách tương tác với môi trường đề dạt dến được dịch của mình.