Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp kỹ sư ngành Công nghệ Phần mềm của tác giả Trần Văn Bảo (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh, năm 2023) tập trung vào đề tài "Phát hiện đối tượng định hướng trong không ảnh dựa trên học sâu" (Oriented object detection in aerial images based on deep learning). Nghiên cứu được đặt trong bối cảnh công nghệ cảm biến và phương tiện bay không người lái (UAV/drone), máy bay và vệ tinh phát triển mạnh mẽ, cung cấp nguồn dữ liệu không ảnh độ phân giải cao dồi dào. Các ảnh chụp từ trên cao này mở ra tiềm năng ứng dụng thị giác máy tính vào nhiều lĩnh vực thiết thực trong đời sống:

  • Giám sát môi trường: Theo dõi hiện trạng rừng, biển, các khu vực khó tiếp cận nhằm phát hiện sớm các hiện tượng bất thường như cháy rừng, ô nhiễm môi trường hoặc các hoạt động trái phép.
  • Hoạt động cứu hộ: Hỗ trợ tìm kiếm, nhận dạng và phân loại người, phương tiện hoặc động vật trong các tình huống khẩn cấp, giúp tối ưu hóa thời gian ra quyết định.
  • Quản lý và theo dõi giao thông: Nhận diện phương tiện di chuyển, biển báo giao thông trên đường bộ và đường sắt, cung cấp dữ liệu phục vụ điều tiết giao thông.
  • Tự động hóa phương tiện giao thông: Hỗ trợ phân tích tín hiệu và kiểm soát phương tiện di chuyển từ góc nhìn trên cao.

Về mặt phát biểu bài toán, nghiên cứu xác định:

  • Dữ liệu đầu vào: Không ảnh (ảnh chụp từ thiết bị bay không người lái - Drone).
  • Dữ liệu đầu ra: Vị trí hộp giới hạn định hướng (oriented bounding box) và nhãn phân loại tương ứng của các đối tượng xuất hiện trong ảnh.

Tác giả chỉ rõ các thách thức kỹ thuật đặc thù của bài toán phát hiện đối tượng trong không ảnh:

  • Thách thức bên ngoài: Điều kiện thời tiết bất lợi (mật độ sương mờ dày đặc, mưa, khói, độ chiếu sáng không đồng đều), sự thay đổi góc quay làm biến đổi hình dạng vật thể, đặc thù địa hình phức tạp, cùng hiện tượng rung lắc của thiết bị bay khiến ảnh bị nhòe và giảm sút độ nét.
  • Thách thức bên trong và dữ liệu: Sự đa dạng về bối cảnh, phân bố đối tượng không đồng đều, khoảng cách giữa các đối tượng biến thiên lớn, hình thái và màu sắc phong phú, các đối tượng thường xuyên che khuất lẫn nhau, cũng như độ tương phản và độ trung thực màu sắc bị suy giảm.
  • Thách thức thực tiễn: Mật độ đối tượng dày đặc và điều kiện thu nhận ảnh phức tạp khiến các mô hình phát hiện đối tượng thông thường khó áp dụng trực tiếp.

Mục tiêu nghiên cứu của khóa luận được phân định cụ thể gồm 6 nhiệm vụ:

  1. Tìm hiểu tổng quan về bài toán phát hiện đối tượng từ ảnh chụp bởi Drone dựa trên nghiên cứu đã được công bố (Oriented RepPoints for aerial object detection).
  2. Tìm hiểu bộ dữ liệu DOTA (A Large-scale Dataset for Object Detection in Aerial Images) và khảo sát những bộ dữ liệu được dùng cho bài toán tương tự.
  3. Nghiên cứu và cài đặt thực nghiệm những phương pháp phát hiện đối tượng sử dụng mạng học sâu trên bộ dữ liệu DOTA.
  4. Phân tích, so sánh kết quả thực nghiệm của các phương pháp.
  5. Xây dựng ứng dụng web demo phát hiện đối tượng từ không ảnh sử dụng mạng học sâu.
  6. Tổng hợp, đánh giá kết quả thực nghiệm và hoàn thiện báo cáo khóa luận.

Đối tượng nghiên cứu là các đối tượng trong không ảnh với đặc thù riêng về kích thước, hình dạng, mật độ, hướng xoay tùy ý trong không gian. Phạm vi nghiên cứu giới hạn ở việc khảo sát bộ dữ liệu DOTA và các tập dữ liệu không ảnh liên quan, đồng thời huấn luyện và đánh giá thực nghiệm các kiến trúc học sâu chuyên biệt trên tập dữ liệu này.

Các đóng góp chính được tác giả tổng kết bao gồm: hệ thống hóa cơ sở lý thuyết và xu hướng phát triển của bài toán phát hiện đối tượng định hướng trong không ảnh; khảo sát chi tiết bộ dữ liệu chuẩn DOTA cùng các bộ dữ liệu viễn thám tương đương; thực nghiệm huấn luyện và đánh giá các phương pháp học sâu tiêu biểu; tổng hợp kết quả để xây dựng ứng dụng web hoàn chỉnh phục vụ bài toán nhận diện trực quan.

Cơ sở lý thuyết và phương pháp

Khóa luận hệ thống hóa cơ sở lý thuyết thị giác máy tính từ các nhiệm vụ nền tảng: Phân loại hình ảnh (Object Classification), Định vị đối tượng (Object Localization), Phát hiện đối tượng (Object Detection) và Phân đoạn thực thể (Instance Segmentation). Trong bài toán phát hiện đối tượng truyền thống, thuật toán được phân loại thành hai nhóm chính:

  • Mô hình hai giai đoạn (Two-stage): Tiêu biểu là họ mạng R-CNN (Fast R-CNN, Faster R-CNN, Mask R-CNN), hoạt động bằng cách trích chọn các vùng tiềm năng (region proposals) qua anchor box, sau đó tiến hành phân loại và hồi quy hộp giới hạn ở giai đoạn tiếp theo. Mô hình có ưu thế về độ chính xác cao nhưng tốc độ xử lý chậm.
  • Mô hình một giai đoạn (One-stage / Single-stage): Gồm các mạng YOLO, SSD, RetinaNet, xem việc phát hiện đối tượng như bài toán hồi quy trực tiếp từ các hộp neo định sẵn, tối ưu hóa tốc độ xử lý thời gian thực nhưng độ chính xác có phần hạn chế hơn.

Về kỹ thuật mạng nơ-ron sâu, tác giả phân tích kiến trúc mạng nơ-ron nhân tạo (ANN), mạng nơ-ron sâu (DNN) và mạng nơ-ron tích chập (CNN). Kiến trúc CNN đóng vai trò cốt lõi trong rút trích đặc trưng ảnh thông qua ba thành phần chính:

  • Tầng tích chập (Convolution layer): Sử dụng các bộ lọc (filter map/kernel) trượt qua ảnh với các thông số bước trượt (stride), phần đệm (padding) để tạo ra bản đồ đặc trưng (feature map). Các hàm kích hoạt phi tuyến tính được áp dụng gồm ReLU và Sigmoid.
  • Tầng tổng hợp (Pooling layer): Làm giảm số chiều dữ liệu và lượng tham số tính toán, hạn chế hiện tượng quá khớp (overfitting), phổ biến với phương pháp MaxPooling (lấy giá trị lớn nhất) và AveragePooling (tính giá trị trung bình).
  • Tầng liên kết đầy đủ (Fully connected layer): Duỗi phẳng (flatten) ma trận đặc trưng thành vector một chiều để đưa ra phân lớp dự đoán ở đầu ra.

Đối với các mô hình phát hiện đối tượng hiện đại, văn bản phân tích ba đại diện:

  • YOLOv3: Sử dụng mạng xương sống Darknet-53 gồm 53 tầng tích chập, kết hợp mạng kim tự tháp đặc trưng (Feature Pyramid Networks - FPN) để dự đoán tại 3 tỷ lệ kích thước khác nhau và dùng hồi quy logistic để ước lượng độ tin cậy hộp giới hạn.
  • YOLOX: Đưa ra ba cải tiến cấu trúc: cơ chế không dùng neo (Anchor-free) giúp giảm tham số thiết kế; đầu tách rời (Decoupled head) tách riêng hai nhánh tích chập song song cho nhiệm vụ phân loại và hồi quy nhằm tăng tốc độ hội tụ; và chiến lược gán nhiều mẫu dương (Multiple positives / Center sampling) chọn vùng 3x3 ở tâm đối tượng để cân bằng dữ liệu huấn luyện.
  • PP-YOLOE: Mô hình một giai đoạn cải tiến từ PP-YOLOv2, áp dụng cơ chế anchor-free dựa trên FCOS, sử dụng kết nối dày đặc (Dense connections) dạng CSPNet kết hợp kết nối còn lại (Residual connections), đồng thời loại bỏ Deformable Convolutional Networks và Matrix NMS nhằm tối ưu hóa khả năng hỗ trợ phần cứng đa dạng.

Đối với bài toán chuyên biệt phát hiện đối tượng có định hướng trong không ảnh, khóa luận đi sâu vào ba phương pháp nghiên cứu thực nghiệm:

  1. Oriented RepPoints (OR) (Wentong Li, 2022): Không sử dụng cách tiếp cận hồi quy hộp giới hạn định hướng truyền thống, OR dùng cơ chế học điểm thích ứng (adaptive points learning) để tạo ra tập hợp các điểm biểu diễn (RepPoints) phản ánh hình học của đối tượng xoay bất kỳ. Cấu trúc gồm mạng trích xuất đặc trưng (CNN), mạng RepPoints (sinh tập hợp điểm đặc trưng qua các lớp tích chập và pooling), mạng góc (Angle Network - nhận đầu vào là các RepPoints để dự đoán góc xoay 3D), và 3 hàm chuyển đổi định hướng phục vụ phân loại và định vị.
  2. Learning High-Precision Bounding Box for Rotated Object Detection via Kullback-Leibler Divergence (KLD): Giải quyết hạn chế của hàm mất mát hồi quy khi đối tượng xoay có diện tích quá lớn hoặc quá nhỏ. KLD mô hình hóa hộp giới hạn xoay thành phân phối Gauss 2 chiều đối xứng $X \sim \mathcal{N}(\mu, \sigma^2)$ (với $\mu$ là trung bình và $\sigma$ là độ lệch chuẩn), sau đó tính toán khoảng cách phân kỳ Kullback-Leibler giữa phân phối dự đoán và phân phối nhãn thực tế thông qua hàm mất mát tổng hợp kết hợp hồi quy vị trí, hình dạng.
  3. Fully Convolutional One-Stage Object Detection (FCOS): Kiến trúc mạng tích chập hoàn toàn một giai đoạn, loại bỏ hoàn toàn các hộp neo định sẵn (anchor-free) và cơ chế đề xuất vùng. FCOS dự đoán trực tiếp nhãn và tọa độ trên từng điểm ảnh của feature map đa mức (multi-level), áp dụng kỹ thuật chia sẻ trọng số (weight sharing) và cơ chế giảm thiểu hiện tượng kiểm soát mức thấp (low-level suppression).

Phương pháp đánh giá thực nghiệm dựa trên các chỉ số chuẩn trong thị giác máy tính:

  • Chỉ số giao diện trên hội (Intersection over Union - IoU): Tỷ lệ diện tích chồng lấn giữa vùng dự đoán và vùng thực tế.
  • Độ chính xác (Precision) và Độ thu hồi (Recall).
  • Độ chính xác trung bình (Mean Average Precision - mAP).

Nguồn dữ liệu thực nghiệm chính là DOTA (Dataset for Object Detection in Aerial Images). Ngoài ra, tác giả khảo sát 4 bộ dữ liệu không ảnh viễn thám liên quan: SpaceNet (CosmiQ Works, dữ liệu RGB và độ sâu DSM), xView (In-Q-Tel và Maxar Technologies, hơn 1 triệu ảnh), NWPU VHR-10 (800 ảnh độ phân giải rất cao) và DLR 3K Munich Vehicle Dataset (hơn 3000 ảnh chuyên về theo dõi xe cộ).

Thiết kế và triển khai

Do khóa luận thuộc chuyên ngành Công nghệ Phần mềm, bên cạnh phần nghiên cứu lý thuyết và thực nghiệm mô hình học máy, tác giả thực hiện thiết kế và xây dựng một ứng dụng web demo hoàn chỉnh cho bài toán phát hiện đối tượng từ không ảnh (Chương 5 của khóa luận).

Các thành phần thiết kế hệ thống phần mềm bao gồm:

  • Thiết kế trường hợp sử dụng (Use case): Xác định các tác vụ tương tác giữa người dùng và hệ thống, bao gồm tải ảnh đầu vào, kích hoạt mô hình phát hiện đối tượng, hiển thị kết quả trực quan và xuất dữ liệu thông tin đối tượng.
  • Thiết kế luồng người dùng (User flow): Mô tả trình tự thao tác xuyên suốt từ màn hình chính ban đầu, tải tệp ảnh từ máy tính, đợi hệ thống xử lý nội bộ, đến khi hiển thị giao diện kết quả kèm thông số chi tiết.
  • Thiết kế kiến trúc phần mềm: Xây dựng hệ thống ứng dụng web kết nối giữa giao diện người dùng và mô hình học sâu suy luận đã huấn luyện tốt nhất.
  • Thiết kế giao diện (UI Design): Xây dựng giao diện trực quan hỗ trợ hiển thị ảnh gốc, ảnh kết quả có vẽ hộp giới hạn định hướng theo màu lớp, bảng chi tiết tọa độ và nút chức năng tải dữ liệu.

Các chức năng vận hành cụ thể của ứng dụng demo trên giao diện web:

  1. Tải ảnh đầu vào: Cho phép người dùng chọn và tải các bức ảnh chụp từ Drone lên hệ thống thông qua giao diện upload.
  2. Kích hoạt suy luận: Người dùng nhấn lệnh bắt đầu phát hiện đối tượng; hệ thống hiển thị màn hình thông báo trạng thái "demo đang xử lý".
  3. Trực quan hóa kết quả: Hiển thị hình ảnh đầu ra với các đối tượng được bao bọc bởi các hộp giới hạn xoay kèm nhãn phân loại tương ứng.
  4. Xem chi tiết thông số: Màn hình cho phép xem chi tiết từng đối tượng được phát hiện trên ảnh đầu ra.
  5. Xuất và lưu trữ dữ liệu: Cung cấp tính năng tải tệp văn bản định dạng .txt chứa toàn bộ thông tin tọa độ hộp giới hạn và nhãn của các đối tượng được phát hiện.

Hạ tầng kỹ thuật triển khai thực nghiệm mô hình được thiết lập trên môi trường phần cứng: GPU NVIDIA GeForce RTX 2080Ti với bộ nhớ chuyên dụng 11,018 MiB.

Nội dung chính theo từng chương

Báo cáo khóa luận được cấu trúc thành 6 chương chuyên biệt với các nội dung cụ thể sau:

Chương 1. Tổng quan đề tài

Trình bày động lực nghiên cứu dựa trên nhu cầu khai thác dữ liệu ảnh từ thiết bị bay không người lái (UAV) trong giám sát môi trường, cứu hộ và theo dõi giao thông. Tác giả phát biểu bài toán phát hiện đối tượng định hướng trong không ảnh, phân tích chi tiết các thách thức nội tại (độ đa dạng bối cảnh, mật độ, hình thái, sự che khuất) và ngoại cảnh (thời tiết, góc quay, độ rung lắc). Chương này xác định rõ 6 mục tiêu nghiên cứu cụ thể, phạm vi nghiên cứu xoay quanh tập dữ liệu DOTA cùng các mô hình học sâu, và nêu 4 đóng góp chính của khóa luận.

Chương 2. Các nghiên cứu liên quan

Khảo sát toàn diện cơ sở lý luận về thị giác máy tính và học sâu. Chương 2 phân định rõ các tác vụ phân loại, định vị, phát hiện đối tượng và phân đoạn thực thể; so sánh nguyên lý kiến trúc two-stage và one-stage. Tiếp đó, tác giả phân tích chi tiết nguyên lý hoạt động của mạng ANN, mạng nơ-ron sâu DNN và cấu trúc các tầng của mạng nơ-ron tích chập CNN (tầng tích chập với các hàm kích hoạt ReLU/Sigmoid, tầng tổng hợp MaxPooling/AveragePooling, tầng liên kết đầy đủ). Nội dung chương đi sâu vào các kiến trúc phát hiện đối tượng gồm YOLOv3 (với backbone Darknet-53, FPN), YOLOX (anchor-free, decoupled head, center sampling), PP-YOLOE (cải tiến từ PP-YOLOv2, CSPNet, residual/dense connections). Đặc biệt, chương 2 dành dung lượng lớn phân tích chuyên sâu 3 mô hình phát hiện đối tượng trong không ảnh: Oriented RepPoints (OR) với cơ chế RepPoints và mạng góc; KLD với phương pháp mô hình hóa hộp giới hạn thành phân phối Gauss 2-D và hàm mất mát khoảng cách Kullback-Leibler; cùng phương pháp FCOS không neo, một giai đoạn.

Chương 3. Bộ dữ liệu không ảnh

Giới thiệu chi tiết bộ dữ liệu chuẩn DOTA (Dataset for Object Detection in Aerial Images). Đây là tập dữ liệu không ảnh quy mô lớn gồm 2.806 ảnh, 188.282 đối tượng thuộc 15 lớp danh mục khác nhau với kích thước ảnh dao động từ 800x800 đến 4000x4000 pixel. Chương này làm rõ các đặc trưng của DOTA: tính đa dạng về kích thước và góc chụp, độ phân giải cao, danh mục đối tượng thực địa phong phú (nhà cửa, phương tiện giao thông, công trình, cầu đường, sông suối), tệp tin chú thích chi tiết, và tính tương đồng với môi trường chụp thực tế từ vệ tinh/máy bay. Tác giả cũng lưu ý thông tin vị trí chụp cụ thể không được công bố công khai nhằm đảm bảo tính riêng tư. Ngoài ra, chương 3 khảo sát và so sánh 4 bộ dữ liệu không ảnh tương tự gồm SpaceNet, xView, NWPU VHR-10 và DLR 3K Munich Vehicle Dataset.

Bộ dữ liệu Đơn vị phát triển / Đặc điểm chính Số lượng ảnh / Đối tượng Đặc điểm dữ liệu
DOTA Nghiên cứu học thuật chuẩn về không ảnh 2.806 ảnh, 188.282 đối tượng, 15 lớp Kích thước 800x800 đến 4000x4000 pixel; hộp giới hạn định hướng
SpaceNet CosmiQ Works Nhiều vùng địa lý toàn cầu Ảnh vệ tinh độ phân giải cao; gồm ảnh RGB và thông tin độ sâu DSM
xView In-Q-Tel & Maxar Technologies Hơn 1 triệu ảnh vệ tinh Độ phân giải cao; tập trung vào xe cộ, máy bay, nhà cửa, hồ nước
NWPU VHR-10 Nghiên cứu học thuật viễn thám 800 ảnh vệ tinh Độ phân giải rất cao; nhận diện 10 lớp đối tượng (xe, tàu, cầu, bể bơi...)
DLR 3K Munich Trung tâm Hàng không Vũ trụ Đức (DLR) Hơn 3.000 ảnh Ảnh chụp từ máy bay và vệ tinh; chuyên sâu về nhận diện và theo dõi xe cộ

Chương 4. Thực nghiệm và đánh giá

Trình bày thiết lập môi trường thực nghiệm với cấu hình phần cứng GPU GeForce RTX 2080Ti (bộ nhớ 11,018 MiB). Dữ liệu thực nghiệm từ bộ DOTA được chia thành tập huấn luyện gồm 1.411 ảnh và tập kiểm thử gồm 458 ảnh có gán nhãn đầy đủ. Chương này mô tả quy trình thực nghiệm huấn luyện cho cả 3 mô hình Oriented RepPoints, KLD và FCOS. Tác giả trình bày phương pháp đánh giá định lượng bằng các công thức tính chỉ số IoU, Precision, Recall và mAP. Kết quả thực nghiệm được tổng hợp trong Bảng 4-1 của khóa luận, đồng thời chương 4 trực quan hóa kết quả phát hiện bounding box của phương pháp OR và đối sánh ảnh kết quả giữa cả 3 phương pháp trên tập dữ liệu DOTA để đưa ra các nhận xét đánh giá.

Chương 5. Ứng dụng phát hiện đối tượng

Mô tả quy trình phân tích và thiết kế hệ thống phần mềm ứng dụng web demo phát hiện đối tượng không ảnh. Nội dung bao gồm thiết kế sơ đồ ca sử dụng (use case), sơ đồ luồng người dùng (user flow), thiết kế kiến trúc hệ thống và thiết kế chi tiết các màn hình giao diện: từ màn hình chính ban đầu, giao diện tải ảnh đầu vào, màn hình hiển thị tiến trình xử lý, giao diện hiển thị ảnh đầu ra kèm hộp giới hạn, màn hình xem thông tin chi tiết từng đối tượng, cho đến giao diện tải tệp tin văn bản .txt chứa kết quả định vị.

Chương 6. Kết luận và hướng phát triển

Tổng kết các kết quả chính khóa luận đã hoàn thành về mặt nghiên cứu lý thuyết, thực nghiệm mô hình học sâu trên tập dữ liệu DOTA và xây dựng ứng dụng web demo. Đồng thời, tác giả đề xuất các hướng mở rộng nghiên cứu tiếp theo trong tương lai.

Kết quả và đóng góp

Khóa luận đã hoàn thành các nội dung nghiên cứu và thực nghiệm theo đúng mục tiêu đặt ra với những dữ kiện kỹ thuật cụ thể:

  • Hoàn thành quy trình tiền xử lý và phân chia tập dữ liệu DOTA phục vụ huấn luyện với tỷ lệ: 1.411 ảnh thuộc tập huấn luyện và 458 ảnh thuộc tập kiểm thử có gán nhãn chi tiết.
  • Cài đặt và huấn luyện thành công 3 kiến trúc mạng học sâu phát hiện đối tượng định hướng trong không ảnh trên cùng cấu hình phần cứng GPU GeForce RTX 2080Ti (11,018 MiB), bao gồm: Oriented RepPoints (OR), Learning High-Precision Bounding Box via Kullback-Leibler Divergence (KLD), và Fully Convolutional One-Stage Object Detection (FCOS).
  • Tiến hành đánh giá định lượng bằng hệ thống chỉ số chuẩn IoU, Precision, Recall và mAP (Mean Average Precision); trực quan hóa kết quả dự đoán hộp giới hạn xoay của phương pháp OR và đối sánh trực quan kết quả giữa cả 3 phương pháp trên ảnh không ảnh thực tế.
  • Xây dựng thành công ứng dụng demo hoạt động trên nền tảng web, hiện thực hóa các chức năng tải ảnh đầu vào, hiển thị trạng thái xử lý, biểu diễn trực quan bounding box định hướng của các đối tượng phát hiện được, xem thông số chi tiết và cho phép người dùng tải tệp tin định dạng .txt lưu trữ thông tin đối tượng.
Phương pháp Loại kiến trúc Cơ chế định hướng / Hộp giới hạn Ưu điểm chính theo văn bản Nhược điểm / Thách thức theo văn bản
Oriented RepPoints (OR) Học điểm thích ứng (Adaptive points) Sử dụng tập điểm biểu diễn (RepPoints) và Mạng góc (Angle Network) dự đoán hướng 3D Xử lý hiệu quả ảnh không ảnh có góc nhìn, tỉ lệ phức tạp; hiệu suất vượt trội Phụ thuộc vào chất lượng chọn điểm RepPoints; kiến trúc mạng có giới hạn với đối tượng nhiễu
KLD Mô hình hóa xác suất dựa trên học sâu Chuyển đổi bounding box xoay thành phân phối Gauss 2 chiều $X \sim \mathcal{N}(\mu, \sigma^2)$ Tối ưu hóa độ chính xác qua phân kỳ KL; mô hình hóa tốt các đối tượng xoay kích thước bất thường Quá trình huấn luyện phức tạp, tốn nhiều thời gian và tài nguyên tính toán
FCOS Tích chập hoàn toàn một giai đoạn (FCN One-Stage) Dự đoán trực tiếp trên từng pixel của feature map, hoàn toàn không dùng anchor box Tốc độ phát hiện nhanh, tránh tính toán đè chồng phức tạp của anchor box Độ chính xác có thể bị giới hạn đối với các đối tượng kích thước quá nhỏ hoặc có cấu trúc phức tạp

Về mặt đóng góp khoa học và kỹ thuật tự nêu, khóa luận đã cung cấp một tài liệu tổng hợp hệ thống về bài toán phát hiện đối tượng định hướng trong không ảnh; so sánh các tiếp cận từ anchor-based sang anchor-free và adaptive points; đồng thời cầu nối giữa mô hình thuật toán học sâu và ứng dụng phần mềm thực tế thông qua việc đóng gói thành hệ thống demo web trực quan.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các phân tích đánh giá được trình bày trong văn bản khóa luận, các hạn chế và thách thức kỹ thuật bao gồm:

  • Về mặt thuật toán: Phương pháp Oriented RepPoints phụ thuộc chặt chẽ vào khả năng biểu diễn của các điểm RepPoints; nếu các điểm đại diện không tối ưu, độ chính xác định vị sẽ suy giảm. Phương pháp KLD đòi hỏi hàm mất mát phức tạp và tiêu tốn nhiều thời gian tính toán trong quá trình tối ưu phân kỳ xác suất. Trong khi đó, mô hình FCOS một giai đoạn gặp thách thức khi xử lý các đối tượng kích thước quá nhỏ hoặc các khu vực có nhiều ground-truth chồng lấn (overlap).
  • Về mặt dữ liệu: Việc thu thập và chuẩn bị dữ liệu gán nhãn hộp xoay chính xác cho không ảnh đòi hỏi nhiều công sức; các điều kiện thời tiết thực tế (sương mờ, mưa, khói, suy giảm tương phản) vẫn là rào cản lớn đối với chất lượng trích xuất đặc trưng của mạng nơ-ron. Ngoài ra, thông tin vị trí địa lý cụ thể của ảnh trong tập DOTA bị bảo mật khiến việc đánh giá đặc trưng theo từng vùng miền cụ thể gặp hạn chế.

Hướng nghiên cứu tiếp theo được tác giả định hướng:

  • Tiếp tục nghiên cứu và hoàn thiện các mô hình học sâu nhằm xử lý hiệu quả hơn các đối tượng phức tạp trong môi trường có độ nhiễu cao hoặc thời tiết bất lợi.
  • Nghiên cứu tối ưu hóa kiến trúc mạng để cải thiện tốc độ suy luận và nâng cao độ chính xác nhận diện đối với các đối tượng kích thước nhỏ trong không ảnh.
  • Nâng cấp và mở rộng ứng dụng demo để tích hợp vào các hệ thống xử lý thời gian thực trên các thiết bị bay không người lái (UAV/Drone) phục vụ bài toán giám sát thực địa.

Giá trị tham khảo

Khóa luận tốt nghiệp của tác giả Trần Văn Bảo là tài liệu học thuật có giá trị tham khảo thiết thực cho:

  • Sinh viên và học viên chuyên ngành Công nghệ Phần mềm, Khoa học Máy tính, Trí tuệ Nhân tạo và Hệ thống Thông tin đang làm đồ án, khóa luận hoặc đề tài nghiên cứu liên quan đến thị giác máy tính, nhận diện ảnh viễn thám và ảnh chụp từ thiết bị bay không người lái (UAV).
  • Các lập trình viên và kỹ sư phần mềm cần tài liệu tham khảo về quy trình tích hợp mô hình học máy (Machine Learning/Deep Learning) vào ứng dụng web thực tế, đặc biệt là cách thức tổ chức thiết kế use case, user flow và chức năng tương tác kết quả suy luận.

Các nội dung đáng tham khảo chuyên sâu trong tài liệu gồm:

  • Khung lý thuyết chi tiết tại Chương 2 về các kỹ thuật nâng cao trong phát hiện đối tượng như Decoupled Head, Center Sampling (YOLOX), mạng xương sống Darknet-53 (YOLOv3), và cơ chế chuyển đổi bounding box xoay thành phân phối Gauss 2 chiều (KLD).
  • Tổng quan cấu trúc và phương pháp tiếp cận bộ dữ liệu DOTA cùng danh mục các tập dữ liệu không ảnh viễn thám tiêu biểu (SpaceNet, xView, NWPU VHR-10, DLR 3K Munich Vehicle Dataset) tại Chương 3.
  • Quy trình thiết kế ứng dụng web demo nhận diện ảnh tại Chương 5, cung cấp cấu trúc mẫu chuẩn mực cho một khóa luận tốt nghiệp kỹ sư ngành công nghệ phần mềm kết hợp giữa nghiên cứu mô hình AI và phát triển phần mềm ứng dụng.

Câu hỏi thường gặp

1. Tại sao bài toán phát hiện đối tượng trong không ảnh lại cần sử dụng hộp giới hạn định hướng (Oriented Bounding Box) thay vì hộp giới hạn nằm ngang truyền thống?

Trong không ảnh chụp từ thiết bị bay (UAV) hoặc vệ tinh với góc chụp thẳng đứng từ trên xuống, các đối tượng như tàu thuyền, xe cộ, máy bay hay công trình xây dựng có thể quay theo mọi hướng bất kỳ trong không gian 2D/3D. Việc sử dụng hộp giới hạn nằm ngang (Horizontal Bounding Box) truyền thống sẽ bao trùm nhiều vùng không gian thừa của nền và gây ra sự chồng lấn diện tích rất lớn giữa các đối tượng nằm gần nhau, làm giảm độ chính xác của phân loại và định vị. Hộp giới hạn định hướng giúp bao bọc khít hình dạng thực tế của đối tượng theo đúng góc xoay của chúng.

2. Bộ dữ liệu DOTA được phân chia như thế nào trong quá trình thực nghiệm của khóa luận?

Trong tổng số 2.806 ảnh và 188.282 đối tượng thuộc 15 lớp của bộ dữ liệu DOTA, tác giả đã trích xuất và phân chia tập dữ liệu phục vụ lần thực nghiệm này gồm: tập dữ liệu huấn luyện (training set) gồm 1.411 ảnh và tập dữ liệu kiểm thử (testing set) gồm 458 ảnh có gán nhãn đầy đủ để đánh giá độ chính xác của các mô hình.

3. Phương pháp Oriented RepPoints (OR) xác định hướng xoay của đối tượng bằng cơ chế nào?

Phương pháp Oriented RepPoints không dùng cơ chế hồi quy trực tiếp các tham số góc xoay thông thường mà sử dụng kỹ thuật học điểm thích ứng để tạo ra một tập hợp các điểm biểu diễn (RepPoints) mang đặc trưng hình học của đối tượng. Sau đó, mô hình sử dụng một mạng nơ-ron chuyên biệt gọi là Mạng góc (Angle Network) nhận đầu vào là các RepPoints này để tính toán và dự đoán góc xoay của đối tượng trong không gian, kết hợp cùng 3 hàm chuyển đổi định hướng để đưa ra vị trí và nhãn chính xác.

4. Nguyên lý cốt lõi của phương pháp KLD trong việc phát hiện hộp giới hạn xoay là gì?

Phương pháp KLD giải quyết bài toán định vị hộp xoay bằng cách chuyển đổi hộp giới hạn định hướng thành phân phối xác suất Gauss 2 chiều $X \sim \mathcal{N}(\mu, \sigma^2)$. Sau đó, mô hình sử dụng phân kỳ Kullback-Leibler (KL Divergence) trong lý thuyết thông tin để đo lường sự sai khác giữa phân phối Gauss dự đoán và phân phối Gauss của nhãn thực tế. Mục tiêu huấn luyện là tối thiểu hóa khoảng cách KL này thông qua một hàm mất mát tổng hợp, giúp mô hình đạt độ chính xác cao ngay cả với các đối tượng có tỷ lệ khung hình cực đoan hoặc kích thước quá lớn/quá nhỏ.

5. Ứng dụng web demo của khóa luận hỗ trợ những thao tác tương tác nào cho người dùng?

Ứng dụng web demo cung cấp một quy trình khép kín: cho phép người dùng tải ảnh chụp từ Drone lên máy chủ, bấm lệnh thực hiện phát hiện đối tượng, theo dõi trạng thái hệ thống đang tính toán, xem ảnh kết quả trực quan với các bounding box định hướng có gán nhãn màu sắc, mở xem thông số chi tiết của từng đối tượng được nhận dạng, và tải về máy tính một tệp tin văn bản .txt chứa toàn bộ tọa độ và thông tin phân loại của các đối tượng phát hiện được.

Kết luận

Khóa luận tốt nghiệp của tác giả Trần Văn Bảo đã giải quyết toàn diện bài toán phát hiện đối tượng định hướng trong không ảnh thông qua việc hệ thống hóa cơ sở lý thuyết học sâu hiện đại, phân tích chuyên sâu các mô hình tiêu biểu gồm Oriented RepPoints, KLD và FCOS, cùng việc khảo sát bộ dữ liệu chuẩn DOTA. Toàn bộ quy trình thực nghiệm được triển khai nghiêm túc trên phần cứng GPU GeForce RTX 2080Ti với tập dữ liệu phân chia rõ ràng và được đánh giá bằng các chỉ số đo lường học thuật chuẩn xác. Kết quả nghiên cứu được hiện thực hóa bằng một ứng dụng web demo hoàn chỉnh với đầy đủ quy trình phân tích thiết kế phần mềm, đáp ứng đúng chuẩn đầu ra kỹ sư Công nghệ Phần mềm và tạo tiền đề vững chắc cho việc phát triển các hệ thống giám sát không ảnh tự động trong tương lai.