Khóa luận tốt nghiệp khoa học máy tính khảo sát và nghiên cứu tính khả thi của hướng tiếp cận học tăng cường trong giải quyết các tác vụ thị giác máy tính

Khóa luận khảo sát tính khả thi của học tăng cường trong giải quyết tác vụ thị giác máy tính, mang đến cái nhìn sâu sắc về công nghệ hiện đại.

• Tác giả: Thái Trần Khánh Nguyên
• Người hướng dẫn: TS. Lê Minh Hưng
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Khảo Sát Tính Khả Thi Của Học Tăng Cường Trong Giải Quyết Tác Vụ Thị Giác Máy Tính
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu đề tài
• 1.2. Mô tả đề tài
• 1.3. Phạm vi và mục tiêu của đề tài
• 1.3.1. Phạm vi đề tài
• 1.3.2. Mục tiêu đề tài
• 1.4. Thách thức của đề tài
• 1.5. Đóng góp của đề tài
• 1.6. Cấu trúc luận văn
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH LIÊN QUAN
• 3. CHƯƠNG 3: TÁC VỤ PHÂN LOẠI HÌNH ẢNH
• 3.1. Tổng quan về Phân loại hình ảnh
• 3.1.1. Giới thiệu bài toán
• 3.1.2. Hướng tiếp cận Học sâu
• 3.1.3. Hướng tiếp cận Học tăng cường
• 3.2. Deep Reinforcement Learning for Imbalanced Classification
• 3.2.1. Chi tiết kiến trúc
• 3.2.2. Multi-Agent Image Classification via Reinforcement Learning
• 4. CHƯƠNG 4: TÁC VỤ PHÁT HIỆN ĐỐI TƯỢNG
• 4.1. Giới thiệu bài toán
• 4.2. Hướng tiếp cận Học sâu
• 4.3. Hướng tiếp cận Học tăng cường
• 4.3.1. Object Detection with Deep Reinforcement Learning
• 4.3.2. Chi tiết kiến trúc
• 4.3.3. Đánh giá hướng tiếp cận Học tăng cường
• 5. CHƯƠNG 5: KẾT LUẬN
• Danh sách hình vẽ
• Danh sách bảng
• Danh mục các ký hiệu, chữ viết tắt

Tóm tắt

I. Tổng quan về Khảo Sát Tính Khả Thi Của Học Tăng Cường

Học tăng cường (Reinforcement Learning) đã trở thành một trong những phương pháp quan trọng trong lĩnh vực Khoa học Máy tính, đặc biệt là trong giải quyết các tác vụ thị giác máy tính. Phương pháp này cho phép các mô hình học từ kinh nghiệm thông qua việc tương tác với môi trường. Khảo sát này nhằm mục đích đánh giá tính khả thi của học tăng cường trong việc giải quyết các bài toán như phân loại hình ảnh và phát hiện đối tượng.

1.1. Giới thiệu về Học Tăng Cường và Ứng Dụng

Học tăng cường là một phương pháp học máy cho phép các tác nhân học hỏi từ môi trường thông qua các hành động và phản hồi. Phương pháp này đã được áp dụng trong nhiều lĩnh vực như tự động hóa, trò chơi điện tử và đặc biệt là thị giác máy tính.

1.2. Mục tiêu của Khảo Sát

Mục tiêu của khảo sát này là phân tích và đánh giá các phương pháp học tăng cường trong việc giải quyết các tác vụ thị giác máy tính, từ đó đưa ra kết luận về tính khả thi và hiệu quả của chúng.

II. Vấn Đề và Thách Thức Trong Giải Quyết Tác Vụ Thị Giác Máy Tính

Mặc dù học tăng cường có nhiều tiềm năng, nhưng vẫn tồn tại nhiều thách thức trong việc áp dụng nó vào các tác vụ thị giác máy tính. Các vấn đề như độ chính xác, thời gian huấn luyện và khả năng tổng quát của mô hình là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Độ Chính Xác và Hiệu Suất

Một trong những thách thức lớn nhất là đảm bảo độ chính xác của mô hình trong các tác vụ như phân loại hình ảnh và phát hiện đối tượng. Các nghiên cứu cho thấy rằng độ chính xác của mô hình học tăng cường thường thấp hơn so với các phương pháp truyền thống.

2.2. Thời Gian Huấn Luyện và Tài Nguyên

Thời gian huấn luyện mô hình học tăng cường thường dài hơn so với các phương pháp khác. Điều này đòi hỏi nhiều tài nguyên tính toán và có thể gây khó khăn trong việc triển khai thực tế.

III. Phương Pháp Học Tăng Cường Trong Giải Quyết Tác Vụ Thị Giác

Các phương pháp học tăng cường đã được phát triển để giải quyết các tác vụ thị giác máy tính. Những phương pháp này bao gồm Deep Reinforcement Learning (DRL) và các thuật toán khác nhằm tối ưu hóa hiệu suất của mô hình.

3.1. Deep Reinforcement Learning DRL

DRL kết hợp giữa học tăng cường và học sâu, cho phép mô hình học từ dữ liệu lớn và cải thiện khả năng ra quyết định trong các tác vụ phức tạp như phân loại hình ảnh.

3.2. Các Thuật Toán Học Tăng Cường Khác

Ngoài DRL, còn có nhiều thuật toán học tăng cường khác như Q-learning và Policy Gradient, mỗi phương pháp đều có ưu điểm và nhược điểm riêng trong việc giải quyết các tác vụ thị giác.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu

Nghiên cứu đã chỉ ra rằng học tăng cường có thể mang lại những kết quả khả quan trong các tác vụ thị giác máy tính. Các ứng dụng thực tiễn bao gồm phân loại hình ảnh và phát hiện đối tượng, với nhiều kết quả đáng khích lệ.

4.1. Phân Loại Hình Ảnh

Học tăng cường đã được áp dụng thành công trong phân loại hình ảnh, cho phép mô hình học hỏi từ các ví dụ và cải thiện độ chính xác theo thời gian.

4.2. Phát Hiện Đối Tượng

Trong phát hiện đối tượng, học tăng cường cho phép mô hình nhận diện và phân loại các đối tượng trong hình ảnh một cách hiệu quả, mở ra nhiều cơ hội ứng dụng trong thực tế.

V. Kết Luận và Tương Lai Của Học Tăng Cường Trong Thị Giác Máy Tính

Khảo sát cho thấy học tăng cường có tiềm năng lớn trong việc giải quyết các tác vụ thị giác máy tính. Tuy nhiên, cần tiếp tục nghiên cứu để cải thiện độ chính xác và hiệu suất của các mô hình.

5.1. Tóm Tắt Kết Quả Nghiên Cứu

Kết quả nghiên cứu cho thấy học tăng cường có thể cải thiện hiệu suất trong các tác vụ thị giác máy tính, mặc dù vẫn còn nhiều thách thức cần giải quyết.

5.2. Hướng Phát Triển Tương Lai

Trong tương lai, việc phát triển các thuật toán học tăng cường mới và cải thiện khả năng tổng quát của mô hình sẽ là những hướng đi quan trọng để nâng cao hiệu quả trong các ứng dụng thực tế.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực Trí tuệ nhân tạo (AI) và Khoa học máy tính, các bài toán Thị giác máy tính (Computer Vision) như phân loại hình ảnh hay phát hiện đối tượng phần lớn được xây dựng dựa trên các kiến trúc Học sâu (Deep Learning) truyền thống, tiêu biểu là Mạng nơ-ron tích chập (CNNs) và Máy biến đổi (Transformer). Các mô hình này chủ yếu hoạt động theo hướng học có giám sát (Supervised Learning), dựa trên việc trích xuất đặc trưng từ các tập dữ liệu tĩnh có sẵn nhãn. Ngược lại, Học tăng cường (Reinforcement Learning - RL) và Học tăng cường sâu (Deep Reinforcement Learning - DRL) tiếp cận việc giải quyết bài toán theo hướng tuần tự: huấn luyện tác nhân (Agent) tự tương tác với môi trường (Environment), thực hiện cơ chế thử và sai nhằm tối ưu hóa hàm phần thưởng kỳ vọng (Reward).

Xuất phát từ bối cảnh đó, khóa luận tốt nghiệp "Khảo sát và nghiên cứu tính khả thi theo hướng tiếp cận học tăng cường trong giải quyết các tác vụ thị giác máy tính" của sinh viên Thái Trần Khánh Nguyên và Nguyễn Phạm Vĩnh Nguyên (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh) được thực hiện nhằm làm rõ khả năng ứng dụng của phương pháp Học tăng cường đối với các tác vụ thị giác máy tính cơ bản. Đề tài xác định 5 mục tiêu nghiên cứu cụ thể:

1. Nghiên cứu có hệ thống về các kỹ thuật học tăng cường và học tăng cường sâu.
2. Khảo sát, tổng hợp các hướng tiếp cận khác nhau dựa trên học tăng cường áp dụng cho các tác vụ thị giác máy tính.
3. So sánh hiệu quả của hướng tiếp cận học tăng cường với các phương pháp phổ biến dựa trên mạng tích chập và máy biến đổi.
4. Đưa ra kết luận về ưu điểm và nhược điểm của các phương pháp dựa trên học tăng cường.
5. Triển khai thực nghiệm trên các bộ dữ liệu khác nhau, tiến hành phân tích và đo đạc độ hiệu quả của các mô hình.

Về đối tượng và phạm vi nghiên cứu, khóa luận giới hạn trong:

• Tác vụ nghiên cứu: Tập trung vào 2 tác vụ cốt lõi của thị giác máy tính gồm Phân loại ảnh (Image Classification) và Phát hiện đối tượng (Object Detection).
• Phạm vi dữ liệu: Triển khai từ 3 đến 5 bộ dữ liệu kiểm chứng, điển hình là các bộ dữ liệu ảnh y khoa có tính chất mất cân bằng lớp.
• Phạm vi phương pháp: Khảo sát và thực nghiệm từ 6 đến 8 phương pháp khác nhau (trong đó có dưới 4 phương pháp theo hướng tiếp cận học tăng cường).
• Thời gian và không gian thực hiện: Đề tài được triển khai từ ngày 05/09/2022 đến ngày 25/12/2022 tại Khoa Khoa học Máy tính, Trường Đại học Công nghệ Thông tin, ĐHQG-HCM, dưới sự hướng dẫn của TS. Lê Minh Hưng.

Nhóm tác giả cũng chỉ rõ hai thách thức lớn khi thực hiện đề tài: thứ nhất, các giải pháp học tăng cường cho thị giác máy tính hiện chưa mang tính tổng quát hóa cao; thứ hai, nhiều công trình khoa học công bố tại các hội nghị lớn chưa cung cấp công khai mã nguồn hoàn chỉnh, gây khó khăn cho việc tái lập và đánh giá thực nghiệm.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết thông qua sự kết hợp giữa mô hình biểu diễn học sâu và lý thuyết toán học của học tăng cường:

• Mạng nơ-ron và Mạng nơ-ron tích chập (CNNs): Hoạt động dựa trên kiến trúc nhiều lớp (lớp đầu vào, các lớp ẩn tích chập Convolutional và Pooling, lớp liên kết đầy đủ Fully Connected) cùng các hàm kích hoạt (ReLU, Sigmoid, Softmax, Tanh) nhằm trích xuất ma trận đặc trưng không gian (Feature Map) của ảnh.
• Quá trình quyết định Markov (Markov Decision Processes - MDPs): Nền tảng toán học mô hình hóa bài toán học tăng cường bằng bộ 5 thành phần $(S, A, T, R, \gamma)$:
  • Tập trạng thái ($S$): Không gian quan sát của môi trường.
  • Tập hành động ($A$): Các hành động tác nhân có thể thực hiện.
  • Hàm chuyển đổi trạng thái ($T$): Xác suất chuyển sang trạng thái kế tiếp $T(s_{t+1}|s_t, a_t)$.
  • Hàm phần thưởng ($R$): Tín hiệu phản hồi $r_{t+1} = R(s_t, s_{t+1})$ đánh giá hành động của tác nhân.
  • Hệ số chiết khấu ($\gamma \in [0, 1]$): Đảm bảo sự hội tụ của chuỗi phần thưởng kỳ vọng theo thời gian.
  • Các hàm giá trị cốt lõi: Hàm giá trị trạng thái $V^\pi(s)$ và hàm giá trị hành động $Q^\pi(s, a)$, phục vụ mục tiêu tìm kiếm chính sách tối ưu $\pi^*$ để tối đa hóa lợi nhuận kỳ vọng chiết khấu $G(\pi) = \mathbb{E}{\pi} \left[ \sum{t=0}^{T-1} \gamma^t r_{t+1} \right]$.
• Phân loại thuật toán Học tăng cường:
  • Model-Based (Dựa trên mô hình): Bao gồm Monte Carlo Tree Search (MCTS), Value-Targeted Regression (UCRL-VTR), Model-Ensemble Trust-Region Policy Optimization (ME-TRPO), Model-Based Meta-Policy-Optimization (MB-MPO).
  • Model-Free (Không dùng mô hình): Bao gồm Value-Based (Deep Q-Network - DQN, Double DQN, Dueling DQN); Policy Gradient (thuật toán REINFORCE); Actor-Critic (Advantage Actor-Critic - A2C, Asynchronous Advantage Actor-Critic - A3C).

Phương pháp nghiên cứu thực tế được thực hiện bằng cách khảo sát hệ thống tài liệu từ các hội nghị và tạp chí chuyên ngành (CVPR, ICCV, WACV, NeurIPS, IEEE...), lựa chọn các thuật toán tiêu biểu để cài đặt lại. Quá trình huấn luyện và kiểm thử được tiến hành trên môi trường máy tính cá nhân kết hợp Google Colab. Các chỉ số đo lường hiệu năng bao gồm độ chính xác (Accuracy), điểm số F1 (F1-score), thời gian huấn luyện và mức tiêu thụ tài nguyên bộ nhớ.

Nội dung chính theo từng chương

Bố cục cuốn khóa luận được tổ chức thành 5 chương với nội dung chi tiết như sau:

Chương 1 — Tổng quan

Chương 1 giới thiệu tổng quan về sự phát triển của Trí tuệ nhân tạo và Khoa học máy tính, làm rõ sự khác biệt giữa phương pháp học tăng cường với học có giám sát và học không giám sát. Tác giả nhấn mạnh tính tuần tự trong việc giải quyết vấn đề của học tăng cường thông qua cơ chế thu thập thông tin trực tiếp từ tương tác thay vì phụ thuộc hoàn toàn vào dữ liệu dán nhãn tĩnh. Chương này xác định rõ phạm vi 2 tác vụ nghiên cứu, 5 mục tiêu cụ thể, 2 thách thức chính, 3 đóng góp khoa học của đề tài và trình bày cấu trúc tổng thể của toàn bộ báo cáo 67 trang.

Chương 2 — Các công trình liên quan

Chương 2 trình bày có hệ thống các kiến thức nền tảng về Học sâu và Học tăng cường sâu:

• Phân tích cấu trúc toán học của mạng nơ-ron nhân tạo và cơ chế trích xuất đặc trưng của mạng tích chập (CNN).
• Thiết lập cơ sở lý thuyết xác suất cho MDPs, định nghĩa khái niệm quỹ đạo (Trajectory), tập (Episode), phân phối quỹ đạo và các phương trình tối ưu Bellman cho hàm $V(s)$ và hàm $Q(s, a)$.
• Phân loại chi tiết các thuật toán DRL thành hai nhánh Model-Based và Model-Free. Trong nhánh Model-Free, tác giả so sánh cơ chế hoạt động, ưu và nhược điểm của nhóm Value-Based (khắc phục hiện tượng đánh giá quá cao giá trị Q qua Double DQN và phân tách giá trị qua Dueling DQN), Policy Gradient (tối ưu hóa trực tiếp tham số chính sách qua gradient Monte-Carlo), và Actor-Critic (kết hợp mạng Actor sinh hành động và mạng Critic ước lượng hàm giá trị để tăng tính ổn định và tốc độ hội tụ).

Chương 3 — Tác vụ Phân loại hình ảnh

Chương 3 tập trung vào việc áp dụng học tăng cường giải quyết tác vụ phân loại hình ảnh:

• Mô hình DRL cho dữ liệu mất cân bằng (imbDRL): Giải quyết tình trạng mất cân bằng lớp nghiêm trọng trong bài toán phân loại ảnh mà không cần áp dụng các kỹ thuật tiền xử lý phức tạp (như tăng cường dữ liệu hay oversampling). Mô hình đưa tác nhân vào môi trường duyệt ảnh tuần tự, sử dụng thuật toán Deep Q-learning kết hợp bộ nhớ Replay Memory $M$ và chính sách $\epsilon$-greedy.
  • Điểm cốt lõi là thiết kế hàm phần thưởng bất đối xứng: Nếu phân loại đúng mẫu lớp thiểu số ($s_t \in D_P$), phần thưởng là $+1$; nếu sai, hình phạt là $-1$ và kết thúc tập (terminal = True). Nếu phân loại đúng mẫu lớp đa số ($s_t \in D_N$), phần thưởng là $\lambda$; nếu sai, hình phạt là $-\lambda$, với $\lambda = |D_P| / |D_N| \in [0, 1]$.
  • Quá trình huấn luyện được cụ thể hóa thông qua hai thuật toán: Thuật toán 1 (Quy trình huấn luyện mạng imbDRL qua các bước gradient descent trên hàm mất mát hồi quy) và Thuật toán 2 (Môi trường tương tác hàm STEP trả về phần thưởng $r_t$ và trạng thái kết thúc).
• Mô hình phân loại đa tác nhân (Multi-Agent Image Classification via RL): Giải quyết hạn chế về không gian đặc trưng quá lớn của mạng tích chập thông thường. Phương pháp sử dụng nhiều tác nhân cùng hoạt động, mỗi tác nhân quan sát một vùng cục bộ của ảnh ở thời điểm $t$, chia sẻ thông tin đặc trưng qua mạng truyền thông tự trị, cập nhật niềm tin và dịch chuyển vị trí quan sát ở thời điểm $t+1$ để cùng đưa ra nhãn dự đoán cuối cùng.
• Thực nghiệm tác vụ: Kiểm chứng mô hình imbDRL trên 2 bộ dữ liệu y khoa mất cân bằng gồm Pneumothorax Binary Classification và Diabetic Retinopathy Detection, so sánh trực tiếp với các mô hình học sâu CNN (EfficientNet B2, XceptionNet, ResNet18).

Chương 4 — Tác vụ Phát hiện đối tượng

Chương 4 mở rộng phạm vi nghiên cứu sang tác vụ phát hiện đối tượng (Object Detection) - bài toán đòi hỏi đồng thời phân loại nhãn và định vị vị trí đối tượng (Bounding Box):

• Tổng quan các hướng tiếp cận học sâu phổ biến gồm mô hình hai giai đoạn (R-CNN) và mô hình một giai đoạn (YOLO).
• Khảo sát các hướng tiếp cận học tăng cường trong việc định vị và đề xuất vùng: phương pháp Object Detection with Deep Reinforcement Learning, Efficient Object Detection in Deep Reinforcement Learning, và mô hình drl-RPN (Deep Reinforcement Learning Region Proposal Network).
• Phân tích cơ chế tác nhân học tăng cường thực hiện chuỗi hành động phân lớp và quy hoạch động để co giãn, dịch chuyển khung tìm kiếm đối tượng tuần tự trên ảnh, thay thế cho cơ chế quét cạn hoặc mạng đề xuất vùng truyền thống.
• Đánh giá tổng hợp tính khả thi của hướng tiếp cận học tăng cường đối với tác vụ phát hiện đối tượng.

Chương 5 — Kết luận

Chương 5 đúc kết toàn bộ kết quả đạt được về tính khả thi của học tăng cường trong thị giác máy tính. Tác giả tổng hợp các ưu điểm nổi bật (khả năng xử lý dữ liệu mất cân bằng tốt qua hàm thưởng, khả năng tìm kiếm tuần tự) song song với các nhược điểm (độ phức tạp huấn luyện, yêu cầu tài nguyên, giới hạn bài toán nhị phân), đồng thời vạch ra các định hướng nghiên cứu tiếp theo cho lĩnh vực này.

Kết quả và đóng góp

Khóa luận đã thu được các kết quả thực nghiệm định lượng rõ ràng trên hai bộ dữ liệu ảnh y tế có sự mất cân bằng nghiêm trọng giữa các lớp:

• Bộ dữ liệu Pneumothorax Binary Classification: Dữ liệu X-quang tràn khí màng phổi gồm 1.597 ảnh có bệnh (Within Pneumothorax) và 430 ảnh không có bệnh (Without Pneumothorax), tỷ lệ mất cân bằng gần 4:1.
• Bộ dữ liệu Diabetic Retinopathy Detection: Dữ liệu ảnh chụp kỹ thuật số đáy mắt võng mạc ban đầu gồm hơn 36.000 ảnh phân thành 5 mức độ bệnh. Nhóm tác giả đã chuẩn hóa về bài toán phân loại nhị phân gồm 25.802 ảnh không nhiễm bệnh (Negative DR) và 9.610 ảnh nhiễm bệnh (Positive DR), số ảnh nhiễm bệnh chỉ chiếm 37,2% số ảnh bình thường.

Kết quả so sánh giữa phương pháp học tăng cường sâu (imbDRL) và các mạng học sâu tích chập truyền thống được tổng hợp trong bảng số liệu sau:

Phương pháp	Pneumothorax Binary (F1-score %)	Diabetic Retinopathy (F1-score %)
EfficientNet B2 (Không tăng cường)	77,85	~80
XceptionNet	< 77,85	< 80
ResNet18	< 77,85	< 80
EfficientNet B2 (Có tăng cường dữ liệu)	~85	-
imbDRL (Học tăng cường sâu)	82,59	~88

Ghi chú: Số liệu trích xuất từ Bảng kết quả thực nghiệm trong văn bản khóa luận.

Đóng góp của khóa luận được thể hiện qua các điểm chính:

1. Trình bày chi tiết giải pháp kỹ thuật xây dựng mô hình học tăng cường cho hai tác vụ thị giác máy tính cốt lõi (phân loại và phát hiện đối tượng).
2. Chứng minh trên thực nghiệm rằng cơ chế tối ưu hàm phần thưởng của imbDRL cho phép mô hình đạt F1-score cao vượt trội so với các kiến trúc CNN chuẩn (EfficientNet B2, ResNet18, XceptionNet) khi làm việc trực tiếp trên tập dữ liệu mất cân bằng mà không cần áp dụng kỹ thuật cân bằng hay tăng cường dữ liệu nhân tạo.
3. Cung cấp bức tranh tổng thể và khách quan về tính khả thi, phân tích ranh giới ưu - nhược điểm của DRL so với các hướng tiếp cận học sâu có giám sát trong thị giác máy tính.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận các hạn chế cụ thể từ góc độ kỹ thuật và phạm vi triển khai:

• Giới hạn về số lượng lớp phân loại: Phương pháp imbDRL chỉ áp dụng được cho bài toán phân loại nhị phân (2 lớp). Hệ số cân bằng $\lambda = |D_P| / |D_N|$ chưa được định nghĩa và thiết lập toán học cho các bài toán phân loại đa lớp (từ 3 lớp trở lên).
• Tính tổng quát hóa của thuật toán: Các thuật toán DRL trong thị giác máy tính hiện tại chưa đạt tính tổng quát cao, việc áp dụng còn mang tính đặc thù cho từng bài toán riêng biệt và khó thay thế hoàn toàn các mạng CNN chuẩn trên các tập dữ liệu tổng hợp quy mô lớn.
• Rào cản về mã nguồn và tài nguyên: Thiếu mã nguồn mở từ các công trình công bố gốc tại các hội nghị lớn dẫn đến việc tái lập gặp khó khăn. Quá trình huấn luyện các tác nhân thử - sai đòi hỏi thời gian lớn và chi phí tính toán cao.

Hướng nghiên cứu tiếp theo được nhóm tác giả xác định:

• Mở rộng cơ chế hàm phần thưởng và công thức hệ số cân bằng của mô hình imbDRL để xử lý bài toán phân loại đa lớp mất cân bằng.
• Hoàn thiện và mở rộng mô hình phân loại đa tác nhân (Multi-Agent), tối ưu hóa giao thức chia sẻ thông tin đặc trưng giữa các tác nhân.
• Nghiên cứu sâu hơn việc ứng dụng DRL vào việc tối ưu hóa đề xuất vùng cho các mô hình phát hiện đối tượng thời gian thực.

Giá trị tham khảo

Khóa luận là nguồn tài liệu học thuật phù hợp cho sinh viên, học viên cao học và nghiên cứu viên thuộc các ngành Khoa học máy tính, Kỹ thuật dữ liệu và Trí tuệ nhân tạo đang tìm hiểu về giao điểm giữa Học tăng cường (RL/DRL) và Thị giác máy tính (Computer Vision).

Phần đáng tham khảo nhất của tài liệu là nội dung Chương 2 (hệ thống hóa toàn diện lý thuyết MDPs, phân loại chi tiết các nhánh thuật toán Model-Based và Model-Free) và Chương 3 (thiết kế chi tiết thuật toán huấn luyện và hàm phần thưởng bất đối xứng của mô hình imbDRL trên dữ liệu ảnh y tế mất cân bằng). Cách tiếp cận này cung cấp giải pháp tham khảo hữu ích cho các đề tài xử lý bài toán mất cân bằng dữ liệu trong thực tế mà không muốn làm sai lệch phân phối dữ liệu gốc bằng các phương pháp can thiệp ảnh nhân tạo.

Câu hỏi thường gặp

Khóa luận tập trung nghiên cứu những tác vụ cụ thể nào của thị giác máy tính?
Khóa luận giới hạn phạm vi nghiên cứu vào 2 tác vụ cơ bản là Phân loại hình ảnh (Image Classification) và Phát hiện đối tượng (Object Detection).

Cơ chế hàm phần thưởng của mô hình imbDRL được thiết lập như thế nào để xử lý dữ liệu mất cân bằng?
Hàm phần thưởng của imbDRL gán trọng số ưu tiên cao cho lớp thiểu số ($D_P$) với phần thưởng $+1$ khi đoán đúng và phạt $-1$ (đồng thời ngắt tập huấn luyện) khi đoán sai. Đối với lớp đa số ($D_N$), phần thưởng và hình phạt giảm xuống mức $\lambda$ và $-\lambda$, với $\lambda$ bằng tỷ lệ giữa số lượng mẫu lớp thiểu số chia cho số lượng mẫu lớp đa số ($\lambda = |D_P| / |D_N|$).

Hai bộ dữ liệu y khoa nào được nhóm tác giả sử dụng trong thực nghiệm phân loại ảnh?
Khóa luận sử dụng bộ dữ liệu Pneumothorax Binary Classification (phân loại tràn khí màng phổi dựa trên ảnh X-quang) và bộ dữ liệu Diabetic Retinopathy Detection (phân loại bệnh võng mạc tiểu đường dựa trên ảnh chụp đáy mắt).

Hạn chế lớn nhất của mô hình imbDRL được nhóm tác giả thừa nhận là gì?
Hạn chế cốt lõi của imbDRL là mô hình chỉ thực hiện được cho các bài toán phân loại nhị phân 2 lớp, do tỷ lệ mất cân bằng $\lambda$ chưa được xác định về mặt toán học cho các bài toán phân loại đa lớp.

Mô hình Multi-Agent Image Classification giải quyết bài toán gì của hướng tiếp cận trích xuất đặc trưng truyền thống?
Mô hình này giải quyết vấn đề không gian biểu diễn vector đặc trưng quá lớn của mạng tích chập truyền thống gây tốn kém chi phí tính toán. Bằng cách phân chia cho nhiều tác nhân quan sát các vùng cục bộ và liên lạc chia sẻ thông tin với nhau, mô hình giúp giảm áp lực tính toán trên toàn bộ bức ảnh.

Kết luận

Khóa luận tốt nghiệp của sinh viên Thái Trần Khánh Nguyên và Nguyễn Phạm Vĩnh Nguyên đã khảo sát và hệ thống hóa tương đối toàn diện khả năng ứng dụng của Học tăng cường sâu trong hai bài toán cốt lõi của thị giác máy tính. Thông qua các phân tích toán học về MDPs cùng kết quả thực nghiệm trên mô hình imbDRL với dữ liệu ảnh y khoa mất cân bằng, công trình chứng minh DRL có thể đạt hiệu quả phân loại vượt trội so với các mạng CNN truyền thống nhờ cơ chế hàm phần thưởng thích ứng mà không cần phụ thuộc vào kỹ thuật tiền xử lý dữ liệu. Mặc dù vẫn còn rào cản về tính tổng quát hóa và khả năng mở rộng sang bài toán phân loại đa lớp, khóa luận đã cung cấp cơ sở tài liệu học thuật và thực nghiệm có giá trị cho hướng nghiên cứu kết hợp giữa học tăng cường và xử lý ảnh.

Trích đoạn nội dung tài liệu

Chương 1 — Tổng quan: Giới thiệu tổng quan về đề tài, mục tiêu của đề tài và các đóng góp chính của luận văn. e Chương 2 — Các công trình liên quan: Trình bày các kiến thức nền tảng và hướng tiếp cận đề tài. e Chương 3 - Tác vụ Phân loại hình ảnh: Mô tả chi tiết về hướng tiếp cận Học tăng cường trong việc giải quyết tác vụ Phân loại hình ảnh và các thực nghiệm đã triển khai. e Chương 4 — Tác vụ Phát hiện đối tượng: Mô tả chi tiết về hướng tiếp cận Học tăng cường trong việc giải quyết tác vụ Phát hiện đối tượng và các thực nghiệm đã triển khai.

e Chương 5 — Kết luận: Trinh bày tính khả thi của hướng tiếp cận trong việc giải quyết một số vấn đề của Thị giác Máy tính và hướng phát triển trong tương lai. Chương 2 Các công trình liên quan 2. Day là một tap hợp các phương pháp Học máy có mô hình kiến trúc phức tạp hơn so với các kiến trúc Học máy thông thường. Điều này cho phép các phương pháp theo hướng tiếp cận Học sâu có thể giải quyết các bài toán với độ phức tạp cao hơn, tính thực tế nhiều hơn so với những phương pháp Học máy truyền thống.

Để có thể giải quyết các bài toán với độ phức tap và tính thực tế cao, những phương pháp dựa trên Học sâu đều được xây dựng theo kiến trúc Neural Net- work - mạng nơ-ron nhằm mô phỏng lại cách hoạt động của bộ não con người. Dựa trên cách xây dựng kiến trúc này, hướng tiếp cận Học sâu đã có thể mô phỏng lại các hành động thực tế của con người, từ đó giúp cho các bài toán thực tế có thể được máy tính giải quyết. Kiến trúc mạng nơ-ron bao gồm lớp đầu vào (input layer) gồm các nơ-ron thể hiện giá trị đầu vào, nhiều lớp ẩn (hidden layer) mỗi lớp gồm các nơ-ron thực hiện các thao tác tính toán và cuối cùng là lớp đầu ra (output layer) gồm các nơ-ron thể hiện kết quả đầu ra (Hình {2. Mỗi nơ-ron trong các lớp ẩn là một hàm toán học lay dữ liệu thong qua lớp đầu vào, sau quá trình thực hiện tính toán và kết hợp nhưng hàm kích hoạt như sigmoid, softmax, ReLU,.

các nơ-ron ở lớp ẩn sẽ xử lý và đưa kết quả tới các nơ-ron đầu ra. Với mục tiêu nhằm giải quyết các bài toán phức tạp, các phương pháp dựa trên Học sâu sẽ xây dựng Input Layer Hidden Layer #1 | | Hidden Layer #2 Output Layer Hình 2. Kiến trúc mang thần kinh nhân tao đơn giản kiến trúc mạng nơ-ron với số lượng lớp ẩn dày hơn, các liên kết giữa các nơ-ron với nhau cũng được thiết kế chỉ tiết, tỉ mỉ hơn so với phương pháp Học máy nhằm giúp cho quá trình trích xuất đặc trưng, tính toán để có thể biểu diễn các bài toán phức tạp cho máy tính xử lý hiệu quả hơn. Một kiến trúc mạng nơ-ron Học sâu được sử dụng phổ biến trong lĩnh vực Thị giác Máy tính chính là Convolutional Neural Network (CNNs) - Mạng nơ-ron tích chập.

Mô hình mạng tích chập chính là một kiến trúc mạng Học sâu tiên tiến đã góp phần không nhỏ trong việc xây dựng các hệ thống thông minh với độ chính xác cao như hiện nay. Bằng cách xây dựng lớp an bao gồm các lớp Convol- untional - tích chập xếp chồng lên nhau kết hợp với các hàm kích hoạt được sử dụng tại mỗi lớp tích chập nhằm giúp các tham số trong kiến trúc mạng có khả năng tự điều chỉnh trong quá trình huấn luyện giúp trích xuất ra các đặc trưng chỉ tiết của bức ảnh một cách hiệu quả, từ đó gia tăng được độ chính xác của mô hình.