Bối cảnh và vấn đề nghiên cứu
Trong lĩnh vực thị giác máy tính và hải dương học, việc quan sát, theo dõi các đối tượng dưới nước (sinh vật biển, cấu trúc nhân tạo, thiết bị khảo sát, phương tiện tự hành ngầm) giữ vai trò then chốt đối với kỹ thuật biển, quản lý tài nguyên và bảo vệ môi trường sinh thái. Tuy nhiên, việc thu nhận và xử lý hình ảnh dưới biển đối mặt với nhiều rào cản kỹ thuật đặc thù:
- Sự suy giảm và tán xạ của ánh sáng trong môi trường nước dẫn đến hiện tượng sai lệch màu sắc, hình ảnh bị mờ đục và suy giảm độ tương phản nghiêm trọng.
- Các biến đổi môi trường theo độ sâu và cấu trúc đáy biển khiến vị trí, góc nhìn và kích thước của các đối tượng sinh vật có tính bất định cao, thường xuất hiện với kích thước nhỏ, nằm chồng lấn hoặc tập trung thành từng cụm dày đặc.
- Yêu cầu ứng dụng trên các phương tiện tự hành dưới nước (Autonomous Underwater Vehicles - AUVs) đòi hỏi mô hình vừa phải có độ chính xác cao đối với đối tượng nhỏ, vừa phải tối ưu hóa tài nguyên tính toán để đáp ứng yêu cầu xử lý thời gian thực.
Khóa luận tốt nghiệp chuyên ngành Khoa học Máy tính của tác giả Chóng Chí Dinh và Nguyễn Tô Thụy Anh (Trường Đại học Sư phạm TP. Hồ Chí Minh, năm 2024, do TS. Nguyễn Viết Hưng hướng dẫn) đặt ra các nhiệm vụ và phạm vi nghiên cứu cụ thể:
- Mục tiêu nghiên cứu: Xây dựng mô hình học sâu có khả năng phát hiện chính xác các đối tượng là sinh vật nhỏ trong môi trường biển; tiến hành thực nghiệm và đối sánh hiệu năng của mô hình trên các bộ dữ liệu tiêu chuẩn (benchmark).
- Đối tượng nghiên cứu: Dữ liệu hình ảnh quang học dưới nước chứa các loài sinh vật biển có kích thước nhỏ.
- Phạm vi nghiên cứu: Tập trung vào các tập dữ liệu phát hiện sinh vật nhỏ dưới môi trường nước mặn, trọng tâm là hai bộ dữ liệu UTDAC2020 và DUO.
- Nhiệm vụ nghiên cứu:
- Tổng hợp cơ sở lý thuyết về học sâu, cơ chế chú ý (Attention), các mô hình Transformer trong bài toán phát hiện đối tượng (DETR, Deformable DETR, DINO) và các kỹ thuật xử lý ảnh dưới nước.
- Phân tích các bộ dữ liệu benchmark tiêu chuẩn cho bài toán phát hiện đối tượng dưới nước (Underwater Object Detection - UOD).
- Đề xuất các cải tiến về kiến trúc, siêu tham số và hàm mất mát trên mô hình DINO nhằm giải quyết bài toán phát hiện sinh vật nhỏ, mờ và bị che khuất.
- Huấn luyện, đánh giá thực nghiệm và phân tích hiệu suất của mô hình đề xuất so với các phương pháp hiện hành.
Cơ sở lý thuyết và phương pháp
Khóa luận kết hợp giữa nghiên cứu lý thuyết hệ thống và phương pháp thực nghiệm mô hình học sâu:
Khung lý thuyết và mô hình cơ sở
- Kiến trúc Transformer cơ bản (Vaswani et al., 2017): Dựa trên cơ chế Self-Attention, Multi-Head Attention, Positional Encoding và các tầng Feed-Forward Network (FFN), cho phép mô hình hóa mối quan hệ toàn cục giữa các phần tử trong dữ liệu mà không phụ thuộc vào cấu trúc tuần tự.
- Mô hình DETR (DEtection TRansformer - Carion et al., 2020): Tiếp cận bài toán phát hiện đối tượng theo dạng dự đoán tập hợp (set prediction) từ đầu đến cuối (end-to-end), loại bỏ các thành phần thủ công truyền thống như tạo anchor boxes và thuật toán Non-Maximum Suppression (NMS), sử dụng thuật toán bipartite matching để gán nhãn dự đoán.
- Deformable DETR (Zhu et al., 2020): Khắc phục tốc độ hội tụ chậm và hạn chế nhận diện đối tượng nhỏ của DETR bằng cơ chế Deformable Attention (chỉ lấy mẫu một số điểm tham chiếu cục bộ trên bản đồ đặc trưng) và trích xuất đặc trưng đa tỷ lệ (Multi-scale Feature Maps).
- Mô hình DINO (DETR with Improved DeNoising Anchor Boxes - Zhang et al., 2022): Mô hình nền tảng được tác giả lựa chọn cải tiến, sở hữu 3 kỹ thuật cốt lõi:
- Contrastive DeNoising Training (CDN): Bổ sung các cặp mẫu nhiễu âm/dương vào decoder để mô hình phân biệt ranh giới bounding box và giảm nhiễu ghép cặp bipartite matching.
- Mixed Query Selection: Khởi tạo truy vấn vị trí từ các đặc trưng có độ tương đồng đối tượng cao nhất của encoder kết hợp với truy vấn nội dung học được.
- Look Forward Twice: Sử dụng thông tin offset từ các lớp decoder phía sau để tinh chỉnh và cập nhật bounding box cho các lớp phía trước.
Phương pháp nghiên cứu thực tế
- Quy trình tiền xử lý dữ liệu: Áp dụng chuẩn hóa pixel, cắt ảnh (cropping), biến đổi màu sắc (color augmentation), xoay/thu phóng (rotation & scaling), làm mịn ảnh (smoothing), chuyển đổi không gian màu, phát hiện biên (edge detection) và các kỹ thuật tăng cường dữ liệu (data augmentation).
- Tùy biến hàm mất mát và tối ưu kiến trúc: Thay thế hàm mất mát tọa độ $L_1$ bằng $\text{Smooth}L_1$ Loss; chuyển đổi hàm mất mát chồng lấn từ $\text{GIoU}$ sang $\text{DIoU}$ Loss; điều chỉnh phân bổ trọng số mất mát và tăng số lượng decoder queries.
Nguồn dữ liệu thực nghiệm
Tác giả đã tổng hợp và phân tích 6 bộ dữ liệu tiêu chuẩn trong lĩnh vực UOD trước khi lựa chọn nguồn dữ liệu huấn luyện chính thức:
| Tên bộ dữ liệu |
Số lượng ảnh huấn luyện (Train) |
Số lượng ảnh xác thực (Val) |
Số lượng ảnh kiểm tra (Test) |
Số lượng lớp (Classes) |
Đặc điểm chính |
| UTDAC2020 |
5.168 |
1.293 |
- |
4 |
4 độ phân giải (từ $586 \times 480$ đến $3840 \times 2160$), sinh vật nhỏ. |
| DUO |
6.671 |
1.111 |
- |
4 |
Bản nâng cấp của UTDAC2020, gồm 74.515 mẫu, đa dạng môi trường hơn. |
| UODD |
2.500 |
128 |
506 |
3 |
Đa dạng về hình dạng và kích thước đối tượng. |
| Brackish |
9.967 |
1.487 |
1.468 |
6 |
Môi trường nước lợ, độ phân giải $960 \times 540$. |
| TrashCan |
6.008 |
- |
1.204 |
16 |
Phân đoạn rác thải, thiết bị điều khiển từ xa (ROVs) và sinh vật. |
| WPBB |
720 |
- |
180 |
2 |
Phát hiện rác thải nhựa (túi nhựa và chai nhựa). |
Hai bộ dữ liệu chính được sử dụng xuyên suốt quá trình thực nghiệm là UTDAC2020 và DUO, tập trung vào 4 lớp sinh vật biển: nhím biển (echinus), hải sâm (holothurian), sao biển (starfish), và sò điệp (scallop).
Nội dung chính theo từng chương
Chương 1. Mở đầu
Chương này thiết lập nền tảng của đề tài thông qua việc phân tích bối cảnh tự nhiên của đại dương và các thách thức quang học dưới nước. Tác giả chỉ rõ các giới hạn của phương pháp truyền thống (như sóng âm sonar, radar, hệ thống xử lý ảnh cổ điển) và sự cần thiết phải áp dụng mô hình học sâu. Chương 1 xác định rõ mục tiêu, đối tượng, phạm vi nghiên cứu, phương pháp thực hiện và cấu trúc 6 chương của luận văn.
Chương 2. Tổng quan tình hình nghiên cứu
Chương 2 phân loại các hướng tiếp cận xử lý bài toán UOD thành các nhóm chính:
- Tăng cường dữ liệu: Phân tích kỹ thuật RoIMix của Lin et al. (sử dụng cơ chế proposal-fusion giữa nhiều ảnh để tạo dữ liệu mô phỏng chồng lấn và che khuất).
- Cải tiến trích xuất đặc trưng: Phân tích mạng SWIPENet (kết hợp Dilated Convolutions, Hyper Feature Maps và thuật toán IMA để giảm nhiễu) và Boosting R-CNN.
- Nâng cao chất lượng ảnh dưới nước (UIE): Khảo sát các mô hình Diffusion, SFGNet (tương tác tần số - không gian), thuật toán khử sương mù bù bước sóng của Chiang et al., mạng đối nghịch WaterGAN, UWCNN và thuật toán khôi phục màu sắc Sea-thru.
- Kết hợp đa miền: Phân tích mô hình Gated Cross-domain Collaborative (GCC), kết hợp song song đặc trưng từ miền ảnh tăng cường và miền ảnh gốc.
- Khảo sát tập dữ liệu tiêu chuẩn: Đánh giá chi tiết ưu - nhược điểm của UTDAC2020, DUO, UODD, Brackish, TrashCan và WPBB.
Chương 3. Cơ sở lý thuyết
Chương 3 trình bày cơ sở toán học và kiến trúc của các mạng nơ-ron:
- 12 phương pháp tiền xử lý và tăng cường ảnh số.
- Công thức Self-Attention, Multi-Head Attention, hàm Positional Encoding hình sin/cosin và khối Masked Attention trong kiến trúc Transformer tổng quát.
- Cấu trúc kiến trúc DETR, quy trình bipartite matching và cơ chế dự đoán tập hợp.
- Cơ chế Deformable Attention với công thức tính đặc trưng có trọng số dựa trên $K$ điểm lấy mẫu và $M$ attention heads, chiến lược học đa tỷ lệ và cơ chế tinh chỉnh lặp.
- 3 kỹ thuật nâng cao của mô hình DINO: Contrastive DeNoising Training, Mixed Query Selection và Look Forward Twice.
Chương 4. Phương pháp phát hiện đối tượng dưới nước sử dụng mô hình học sâu
Chương 4 trình bày các giải pháp cải tiến do nhóm tác giả trực tiếp thiết kế trên nền tảng DINO:
- Mở rộng số lượng truy vấn của Decoder (Decoder Queries): Nâng số lượng truy vấn từ 900 lên 950 queries nhằm tăng khả năng bao phủ khi ảnh có mật độ sinh vật dày và tập trung thành cụm.
- Giảm tham số
box_noise_scale trong DeNoising Training: Giảm biên độ nhiễu bổ sung vào các hộp ground truth, buộc mạng phải học cách tái tạo bounding box với dung sai nhỏ hơn, tối ưu cho việc phát hiện các sinh vật kích thước nhỏ.
- Chuyển đổi hàm mất mát tọa độ từ $L_1$ sang $\text{Smooth}L_1$ (Huber Loss):
$$\text{Smooth}L_1(x, y) = \begin{cases} 0.5(x - y)^2 & \text{khi } |x - y| < 1 \ |x - y| - 0.5 & \text{khi } |x - y| \ge 1 \end{cases}$$
Việc sử dụng $\text{Smooth}L_1$ giúp cân bằng giữa tính vững chắc trước giá trị ngoại lệ (robustness) và tính mượt mà khi sai số nhỏ, loại bỏ hiện tượng bùng nổ gradient của $L_2$ và độ nhạy quá mức với sai số lớn của $L_1$.
- Chuyển đổi hàm mất mát chồng lấn từ $\text{GIoU}$ sang $\text{DIoU}$ Loss:
$$\text{DIoU} = \text{IoU} - \frac{d^2}{c^2}$$
Trong đó $d$ là khoảng cách Euclid giữa tâm của hai hộp giới hạn, $c$ là độ dài đường chéo của hộp chữ nhật nhỏ nhất bao quanh cả hai hộp. $\text{DIoU}$ giúp định vị chính xác khoảng cách hình học giữa các hộp trong trường hợp không giao nhau hoặc giao nhau một phần.
- Tái cân bằng trọng số hàm mất mát: Giảm trọng số của thành phần bounding box loss và tăng trọng số của IoU loss để tập trung tối ưu hóa độ chính xác định vị vùng không gian thực tế của đối tượng.
Chương 5. Dữ liệu, Thực nghiệm và Đánh giá
Chương 5 thiết lập hệ thống thực nghiệm trên hai tập dữ liệu DUO và UTDAC2020:
- Mô tả cấu hình phần cứng huấn luyện, các siêu tham số tối ưu và các bước huấn luyện mạng.
- Đánh giá hiệu năng thông qua các chỉ số trung bình độ chính xác mAP (Mean Average Precision) và đường cong Precision-Recall (PR curve) trên từng nhóm đối tượng kích thước nhỏ, vừa và lớn.
- So sánh định lượng và định tính kết quả dự đoán giữa mô hình cải tiến với phương pháp GCC và nhãn gốc (ground truth).
- Phân tích chi tiết bảng so sánh độ phức tạp tính toán giữa các phương pháp.
Chương 6. Kết luận và hướng phát triển
Chương 6 tổng kết các kết quả kỹ thuật đạt được của mô hình DINO cải tiến, đánh giá mức độ đáp ứng mục tiêu đề ra, khẳng định ý nghĩa học thuật, giá trị ứng dụng thực tiễn trong quản lý biển và đề xuất các giải pháp kỹ thuật cần tiếp tục mở rộng.
Kết quả và đóng góp
Kết quả chính
- Mô hình DINO sau khi điều chỉnh cấu trúc truy vấn (950 queries), giảm
box_noise_scale, tích hợp $\text{Smooth}L_1$ Loss và $\text{DIoU}$ Loss đã cải thiện khả năng định vị và phân loại đối với 4 nhóm sinh vật biển (echinus, holothurian, starfish, scallop) trên cả hai tập dữ liệu DUO và UTDAC2020.
- Đường cong Precision-Recall (PR Curve) ghi nhận độ ổn định cao trên các đối tượng kích thước nhỏ và các mẫu bị suy giảm chất lượng quang học so với mô hình cơ sở.
Giải pháp và kiến nghị kỹ thuật của tác giả
- Khuyến nghị sử dụng $\text{DIoU}$ thay cho $\text{GIoU}$ trong các bài toán phát hiện đối tượng dưới nước do khả năng tính toán trực tiếp khoảng cách giữa hai tâm bounding box, giúp quá trình tối ưu diễn ra nhanh và chính xác hơn khi đối tượng bị che khuất một phần.
- Giảm biên độ nhiễu
box_noise_scale trong quá trình Contrastive DeNoising Training là kỹ thuật phù hợp khi chuyển giao các mô hình Transformer phát hiện đối tượng thông thường (như COCO) sang môi trường dưới nước có đối tượng mục tiêu nhỏ.
Đóng góp so với các nghiên cứu trước
- Tác giả đã chứng minh mô hình Transformer cải tiến (DINO tùy biến) có thể trực tiếp giải quyết tốt bài toán UOD mà không nhất thiết phải tích hợp thêm các nhánh mạng nâng cao chất lượng ảnh phức tạp (như mô hình hai miền GCC) hoặc các khối phục hồi ảnh phụ trợ tốn kém tài nguyên tính toán.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế được ghi nhận trong văn bản
- Hạn chế về dữ liệu: Tập dữ liệu UTDAC2020 còn hiện tượng trùng lặp hình ảnh trong tập xác thực, làm giảm tính đa dạng và có nguy cơ dẫn đến hiện tượng quá khớp (overfitting); các tập dữ liệu hiện có chưa bao quát đầy đủ mọi biến đổi về độ sâu, độ trong và màu nước thực tế.
- Tài nguyên tính toán: Kiến trúc dựa trên Transformer vẫn có độ phức tạp tính toán và dung lượng tham số tương đối lớn, đặt ra thách thức khi triển khai trên phần cứng nhúng của các thiết bị lặn AUVs yêu cầu xử lý thời gian thực.
Hướng phát triển trong tương lai
- Mở rộng thu thập và chuẩn hóa thêm dữ liệu hình ảnh dưới nước tại nhiều vùng biển, độ sâu và điều kiện chiếu sáng khác nhau nhằm tăng tính tổng quát hóa cho mô hình.
- Nghiên cứu tối ưu hóa kiến trúc mạng theo hướng nhẹ (light-weight transformer/CNN) nhằm giảm số lượng phép tính, phục vụ mục tiêu nhúng trực tiếp lên các phương tiện tự hành ngầm AUVs.
Giá trị tham khảo
Khóa luận là tài liệu tham khảo phù hợp cho:
- Sinh viên, học viên chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo và Thị giác Máy tính: Tham khảo quy trình tùy biến mô hình Detection Transformer (DINO/DETR) cho một bài toán thị giác máy tính chuyên biệt.
- Nghiên cứu sinh, kỹ sư trong lĩnh vực công nghệ biển và robot ngầm: Tham khảo bảng phân tích chi tiết về 6 bộ dữ liệu UOD chuẩn và kỹ thuật thiết lập hàm mất mát ($\text{Smooth}L_1$, $\text{DIoU}$) xử lý đối tượng nhỏ, mờ đục.
- Các đề tài nghiên cứu về tối ưu hàm mất mát trong Object Detection: Cung cấp cơ sở lý thuyết so sánh trực quan giữa $L_1, L_2, \text{Smooth}L_1$ và giữa $\text{GIoU}, \text{DIoU}$.
Câu hỏi thường gặp
1. Khóa luận lựa chọn mô hình học sâu nào làm nền tảng để cải tiến và lý do là gì?
Tác giả lựa chọn mô hình DINO (DETR with Improved DeNoising Anchor Boxes) được công bố năm 2022. Lý do là DINO sở hữu các cơ chế vượt trội so với DETR truyền thống: kỹ thuật Contrastive DeNoising Training giúp tăng tốc độ hội tụ và ổn định quá trình ghép cặp; kỹ thuật Mixed Query Selection kết hợp tối ưu thông tin vị trí từ encoder và nội dung học được; kỹ thuật Look Forward Twice tận dụng offset từ các lớp decoder sau để tối ưu các lớp trước.
2. Tác giả đã thực hiện những điều chỉnh cụ thể nào đối với mô hình DINO gốc?
Tác giả đã thực hiện 4 nhóm cải tiến kỹ thuật chính:
- Nâng số lượng decoder queries từ 900 lên 950 queries.
- Giảm giá trị siêu tham số
box_noise_scale trong quá trình DeNoising Training.
- Thay thế hàm mất mát bounding box từ $L_1$ Loss sang $\text{Smooth}L_1$ Loss.
- Thay thế hàm mất mát chồng lấn từ $\text{GIoU}$ Loss sang $\text{DIoU}$ Loss, đồng thời tăng trọng số của IoU loss và giảm trọng số của bbox loss.
3. Vì sao việc thay đổi sang $\text{Smooth}L_1$ Loss và $\text{DIoU}$ Loss lại quan trọng đối với sinh vật biển nhỏ?
$\text{Smooth}L_1$ Loss giúp làm mượt gradient xung quanh điểm sai số nhỏ và ít nhạy cảm với các sai số lớn bất thường so với $L_1$ thuần túy, giữ quá trình hội tụ ổn định trước độ biến động kích thước của sinh vật biển. $\text{DIoU}$ Loss đưa khoảng cách Euclid giữa tâm hai bounding box vào hàm mất mát, giúp mô hình định vị chính xác vị trí tâm của đối tượng ngay cả khi bounding box dự đoán và ground truth chưa chồng lấn tốt, giải quyết triệt để vấn đề đối tượng nhỏ gom cụm.
4. Hai bộ dữ liệu UTDAC2020 và DUO chứa những loài sinh vật nào và có quy mô ra sao?
Cả hai bộ dữ liệu đều tập trung vào 4 lớp đối tượng sinh vật biển: nhím biển (echinus), hải sâm (holothurian), sao biển (starfish), và sò điệp (scallop).
- UTDAC2020 gồm 5.168 ảnh huấn luyện và 1.293 ảnh xác thực với 4 tỷ lệ phân giải ($3840 \times 2160, 1920 \times 1080, 720 \times 405, 586 \times 480$).
- DUO là phiên bản mở rộng và cải tiến từ UTDAC2020, bao gồm 6.671 ảnh huấn luyện và 1.111 ảnh xác thực với tổng cộng 74.515 mẫu đối tượng, giảm thiểu tính trùng lặp và đa dạng hơn về môi trường.
Kết luận
Khóa luận tốt nghiệp của tác giả Chóng Chí Dinh và Nguyễn Tô Thụy Anh đã nghiên cứu và ứng dụng thành công các kỹ thuật học sâu tiên tiến dựa trên kiến trúc Transformer vào bài toán phát hiện đối tượng sinh vật nhỏ dưới nước. Thông qua việc tinh chỉnh số lượng decoder query, giảm tham số nhiễu box_noise_scale, và tái cấu trúc hàm mất mát sang $\text{Smooth}L_1$ kết hợp $\text{DIoU}$, mô hình DINO cải tiến đã giải quyết hiệu quả các thách thức đặc thù về tán xạ ánh sáng, hình ảnh mờ đục và đối tượng nhỏ chồng lấn. Các kết quả thực nghiệm trên hai tập benchmark UTDAC2020 và DUO mang lại giá trị học thuật rõ ràng trong việc tối ưu mạng Transformer cho môi trường biển, đồng thời tạo tiền đề thực tiễn cho việc phát triển các hệ thống quan sát ngầm trên thiết bị tự hành AUVs.
