Chương 1 — Tổng quan: Giới thiệu tổng quan về đề tài, mục tiêu của đề tài và các đóng góp chính của luận văn. e Chương 2 — Các công trình liên quan: Trình bày các kiến thức nền tảng và hướng tiếp cận đề tài. e Chương 3 - Tác vụ Phân loại hình ảnh: Mô tả chi tiết về hướng tiếp cận Học tăng cường trong việc giải quyết tác vụ Phân loại hình ảnh và các thực nghiệm đã triển khai. e Chương 4 — Tác vụ Phát hiện đối tượng: Mô tả chi tiết về hướng tiếp cận Học tăng cường trong việc giải quyết tác vụ Phát hiện đối tượng và các thực nghiệm đã triển khai.
e Chương 5 — Kết luận: Trinh bày tính khả thi của hướng tiếp cận trong việc giải quyết một số vấn đề của Thị giác Máy tính và hướng phát triển trong tương lai. Chương 2 Các công trình liên quan 2. Day là một tap hợp các phương pháp Học máy có mô hình kiến trúc phức tạp hơn so với các kiến trúc Học máy thông thường. Điều này cho phép các phương pháp theo hướng tiếp cận Học sâu có thể giải quyết các bài toán với độ phức tạp cao hơn, tính thực tế nhiều hơn so với những phương pháp Học máy truyền thống.
Để có thể giải quyết các bài toán với độ phức tap và tính thực tế cao, những phương pháp dựa trên Học sâu đều được xây dựng theo kiến trúc Neural Net- work - mạng nơ-ron nhằm mô phỏng lại cách hoạt động của bộ não con người. Dựa trên cách xây dựng kiến trúc này, hướng tiếp cận Học sâu đã có thể mô phỏng lại các hành động thực tế của con người, từ đó giúp cho các bài toán thực tế có thể được máy tính giải quyết. Kiến trúc mạng nơ-ron bao gồm lớp đầu vào (input layer) gồm các nơ-ron thể hiện giá trị đầu vào, nhiều lớp ẩn (hidden layer) mỗi lớp gồm các nơ-ron thực hiện các thao tác tính toán và cuối cùng là lớp đầu ra (output layer) gồm các nơ-ron thể hiện kết quả đầu ra (Hình {2. Mỗi nơ-ron trong các lớp ẩn là một hàm toán học lay dữ liệu thong qua lớp đầu vào, sau quá trình thực hiện tính toán và kết hợp nhưng hàm kích hoạt như sigmoid, softmax, ReLU,.
các nơ-ron ở lớp ẩn sẽ xử lý và đưa kết quả tới các nơ-ron đầu ra. Với mục tiêu nhằm giải quyết các bài toán phức tạp, các phương pháp dựa trên Học sâu sẽ xây dựng Input Layer Hidden Layer #1 | | Hidden Layer #2 Output Layer Hình 2. Kiến trúc mang thần kinh nhân tao đơn giản kiến trúc mạng nơ-ron với số lượng lớp ẩn dày hơn, các liên kết giữa các nơ-ron với nhau cũng được thiết kế chỉ tiết, tỉ mỉ hơn so với phương pháp Học máy nhằm giúp cho quá trình trích xuất đặc trưng, tính toán để có thể biểu diễn các bài toán phức tạp cho máy tính xử lý hiệu quả hơn. Một kiến trúc mạng nơ-ron Học sâu được sử dụng phổ biến trong lĩnh vực Thị giác Máy tính chính là Convolutional Neural Network (CNNs) - Mạng nơ-ron tích chập.
Mô hình mạng tích chập chính là một kiến trúc mạng Học sâu tiên tiến đã góp phần không nhỏ trong việc xây dựng các hệ thống thông minh với độ chính xác cao như hiện nay. Bằng cách xây dựng lớp an bao gồm các lớp Convol- untional - tích chập xếp chồng lên nhau kết hợp với các hàm kích hoạt được sử dụng tại mỗi lớp tích chập nhằm giúp các tham số trong kiến trúc mạng có khả năng tự điều chỉnh trong quá trình huấn luyện giúp trích xuất ra các đặc trưng chỉ tiết của bức ảnh một cách hiệu quả, từ đó gia tăng được độ chính xác của mô hình. Chính nhờ những thiết kế đặc trưng này đã giúp cho Mạng nơ-rơn tích chập được sử dụng phổ biến và đã đạt nhiều thành tựu vượt trội trong các bài toán xử lý ảnh như Phân loại hình ảnh, Phát hiện đối tượng, Mô phỏng hành dong,. Khác với việc tổng quát hóa dựa trên những dữ liệu được cung cấp từ tập huấn luyện (training-set) như các phương pháp học có giám sát (supervised learning) hiện nay, các agents không được chỉ ra rằng nên thực hiện hành động nào trong những trường hợp khác nhau mà cần phải được tự khám phá ra trong quá trình huấn luyện.
Học tăng cường cũng khác với những phương pháp hoc không giám sát (unsupervised learning) ở chỗ thay vì tìm các kiến trúc ẩn có trong bộ dữ liệu chưa được gán nhãn thì các phương pháp Học tăng cường sẽ cố gắng khai thác những gì mà nó đã được huấn luyện để tối đa hóa phần thường nhận được. Có thể nói Học tăng cường là một nhánh độc lập trong các hướng tiếp cận học máy ngoài học có giám sát và học không giám sát. Với việc học bằng cách tương tác với môi trường thì đây được cho là phương pháp học mô phỏng lại sự học tập của con người một cách tự nhiên nhất. Ví dụ khi chúng ta học đi xe đạp, ta có thể hoàn toàn nhận thức được cách môi trường phản ứng với những hành động của chúng ta, từ việc đạp sao cho xe có thể di chuyển, đến việc né các vật cản xuất hiện trên đường.
Học từ sự tương tác là một khái niệm cơ bản làm nền tảng cho hầu hết các lý thuyết học tập và là nền tảng của Hoc tăng cường [23]. Đối với một bài toán về Học tăng cường, có hai thành phần thiết yếu cần phải định nghĩa rõ rang là tác nhân (Agent) và môi trường (Enviroment). Agent là được xem là một mô hình có nhiệm vụ quan sát môi trường và dựa vào trạng thái và phần thưởng trả về để đưa ra quyết định thực hiện các hành động nhất định. Môi trường là không gian xung quanh của Agent, nơi mà Agent tồn tại và tương tác với môi trường [26].
Hai thành phần cốt lõi này tương tác liên tục theo cách mà tác nhân cố gắng tác động đến môi trường thong qua các hành động (hay quyết định) và môi trường phản ứng lại với các hành động của tác nhân. Trong Hình miêu tả các đặc tính của Học tăng cường. Chu kỳ này bắt ENVIRONMENT (4) transition ‡ action Hình 2. Chu ky của Học tăng cường [23] đầu với việc các Agent quan sát môi trường và nhận về một trạng thái và phần thường từ môi trường (Bước 1).
Sau đó, Agent sẽ dựa vào trạng thái và phần thường này để quyết định hành động tiếp theo sẽ được thực hiện (Bước 2). Kế đến, Agent sẽ gửi tín hiệu hành động đến môi trường (Bước 3). Cuối cùng, môi trường chịu tác động bởi Agent sẽ thực hiện việc chuyển đổi trạng thái và trạng thái mới này là hệ quả của trạng thái và hành động trước đó từ Agent (Bước 4). Chu trình này sẽ lặp đi lặp lại cho đến trạng thái kết thúc (terminate).1 Markov Decision Processes (MDPs) - Quá trình quyết định Markov Quá trình quyết định Markov (Markov Decision Processes - MDPs) giúp chúng ta mô phỏng các van đề của Hoc tăng cường bằng việc cung cấp một nền tảng toán học để mô hình hóa việc đưa ra quyết định tại các trạng thái khác nhau mà kết quả là một phần ngẫu nhiên và một phần dưới sự điều khiển của một người ra quyết định.
Để đưa một bài toán nào đó về MDP thì đầu tiên các trạng thái trong bài toán đó phải thỏa mãn tính chất Markov (Markov Property): các trạng thái trong tương lai chỉ phụ thuộc vào trạng thái hiện tại mà không phụ thuộc vào các trạng thái trong quá khứ [4]. Bởi tính chất này ma quá trình Markov thường được gọi là quá trình không nhớ. Một MDP thường được xác định bởi 5 thành phan cơ bản sau [I9]: e Tập trạng thái (State) S: tập các trạng thái hoặc không gian quan sát của môi trường, so là trạng thái bắt đầu. e Tập hành dong (Action) A: là tập chứa các hành động ma Agent có thể lựa chọn thực hiện trong môi trường.
e Hàm chuyển đổi trạng thái (Transition) 7: hàm xác suất chuyển đổi T(s¿+1|s¿, a2), cu thể là xác suất chuyển từ trạng thái s; 6 9 sang trạng thái s¿¿¡ € S ứng với hành động a € A trong môi trường. e Hàm phần thưởng (Reward Function) R: hàm phần thưởng trong đó r¡_¡ = R(s¿, 8441) là phần thưởng nhận được khi thực hiện hành động a; của Agent tại một trạng thái s; sang trạng thái tiếp theo s;¿+1. e Hệ số chiết khấu +: giúp cho hàm phần thưởng có thể hội tụ và cũng thể hiện mức độ quan tâm của Agent tới phần thưởng, ở đây + € [0,1].A4,+,7, R), Agent chọn một hành động a; theo chính sách (Policy) (|s¿) tại trạng thái s;. Đặc biệt hơn, thuật toán của Agent để chọn một hành động a ở trạng thái hiện tại s, nói chung có thể được xem như là phân phối (a|s), được gọi là Policy (Strategy-chién lược).
Môi trường nhận hành động ø¡, tạo ra phần thưởng r;¡¡ và chuyển sang trạng thái kế tiếp s¿¿¡ theo xác suất chuyển tiếp 7{s¿. Quá trình tiếp tục cho đến khi Agent đạt đến trạng thái cuối hoặc bước thời gian tối đa. Trong RL, một bộ (s¿, ø;,7¿+1, s¿+1) được gọi là một bộ chuyển đổi (Transition). Một day đầy đủ (so, ao,r1, s1, đ1, ra, .) được gọi là một quỹ đạo (Trajectory).
Một Trajectory có độ dài hữu hạn 7 nào đó được gọi là một tap (Episode). Cho một MDP va một Policy 7, xác suất của quan sát (sọ, @0, 11, S1, đ1,7a,.) được gọi là phân phối quỹ đạo (Tracjectory Distribution) và được xác định như sau: Tx = | [ r(ailsi)T (serilse, ae) (2.1) t Mục tiêu của RL là tìm chính sách tối ưu z cho Agent để tối đa hóa phần thưởng tích lũy, được gọi là lợi nhuận (Return). Đối với mỗi Episode, Return được xác định như sau: T—I R= Sorin (2.2) t=0 Bởi vì chính sách gây ra Tracjectory Distribution, tối đa phan thưởng kỳ vọng 10 (Expected Reward) có thể được viết như sau: T-1 ny “7+ ^Ïri.3) ¿=0 Do đó, với MDP và chính sách z, phần thưởng kỳ vọng chiết khấu (Discounted Expected Reward) được xác định: T-1 G(r) =Eq, So yrist (2.4) t=0 Mục tiêu của RL là tìm một chính sách tối ưu z*, giúp tối da Discounted Expected Reward, nghĩa là G(7) —> max.2 Hàm V-Value va Q-Function Hàm V-Value được dùng để đánh giá một chính sách z tại trang thái s có hiệu quả hay không, được xác định như sau: V*(s) = Elr.5) Hàm Q-Function được dùng để xác định giá trị của hành động a; ở trạng thai s¿ theo chính sách z, được xác định như sau: (Q“(s¿, at) = es T(st41|8t, ae) [R(Se, 5141) + YV" (Se41)] (2.