Bối cảnh và vấn đề nghiên cứu

Trong xu thế hiện đại hóa nông nghiệp, mô hình nông trại thông minh (Smart Farming) đang trở thành giải pháp cốt lõi nhằm nâng cao năng suất, tiết kiệm sức lao động và tối ưu hóa quy trình canh tác. Một số công nghệ tự động hóa đã bước đầu được triển khai như máy kéo tự hành kết hợp hệ thống định vị vệ tinh toàn cầu (GNSS), hệ thống tưới tiêu tự động thông qua cảm biến kết nối vạn vật (IoT), hay thiết bị bay không người lái (UAV) phục vụ giám sát và bón phân. Tuy nhiên, phần lớn các giải pháp hiện nay vẫn vận hành theo quy trình cơ học lặp đi lặp lại, cố định và thiếu tính linh hoạt trước sự biến đổi phức tạp của môi trường đồng ruộng. Trong bối cảnh đó, các kỹ thuật học sâu (Deep Learning), đặc biệt là phân đoạn ngữ nghĩa (Semantic Segmentation), được kỳ vọng sẽ tạo ra bước tiến lớn giúp giải quyết bài toán giám sát, lập bản đồ và tự động hóa nông nghiệp với độ chính xác cao.

Khóa luận tốt nghiệp cử nhân ngành Khoa học Máy tính của sinh viên Võ Đăng Châu và Nguyễn Phương Bảo Ngọc (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh), dưới sự hướng dẫn của TS. Mai Tiến Dũng, tập trung nghiên cứu bài toán phân đoạn ngữ nghĩa cho ảnh đất nông nghiệp được chụp từ trên cao thông qua thiết bị bay không người lái hoặc vệ tinh. Bài toán được thiết lập cụ thể như sau:

  • Đầu vào (Input): Ảnh nông nghiệp chụp từ trên cao gồm 4 kênh thông tin (R, G, B và NIR - cận hồng ngoại), được kết hợp đồng bộ từ ảnh phổ khả kiến và ảnh phổ cận hồng ngoại cùng chụp một khu vực canh tác.
  • Đầu ra (Output): Ảnh bản đồ phân đoạn ngữ nghĩa gán nhãn từng điểm ảnh (pixel-wise) cho các lớp đối tượng nông nghiệp tương ứng. Ví dụ, trên tập dữ liệu Agriculture-Vision, dữ liệu được phân loại thành 9 lớp: lớp nền (background), cây trồng kép (double plant), cây khô héo (drydown), đầu hàng cây (endrow), thiếu hụt dinh dưỡng (nutrient deficiency), khoảng trống gieo hạt (planter skip), vũng nước (water), đường dẫn nước (waterway), và cụm cỏ dại (weed cluster).

Tác giả chỉ rõ ba thách thức lớn đặc thù của ảnh nông nghiệp chụp từ trên không mà các mô hình thị giác máy tính truyền thống (vốn phát triển cho xe tự hành hoặc y tế) không giải quyết hiệu quả:

  1. Thông tin không chỉ giới hạn trong phổ RGB: Các chỉ số sinh học quan trọng của cây trồng như hàm lượng nước, lượng đường và sức khỏe sinh trưởng không thể phản ánh đầy đủ qua phổ khả kiến RGB mà cần đến dải phổ cận hồng ngoại (NIR).
  2. Thiếu khả năng tham chiếu không gian do góc chụp từ trên xuống: Khác với ảnh phối cảnh thông thường (như trong xe tự hành với cấu trúc mặt đường ở dưới, bầu trời ở trên), ảnh chụp thẳng đứng từ trên cao bị thiếu chiều sâu, không có điểm tham chiếu cố định và hướng quay của camera quanh trục có thể thay đổi tự do mà không làm thay đổi ngữ nghĩa của khung cảnh.
  3. Mất cân bằng lớp nghiêm trọng: Các thực thể trong ảnh nông nghiệp chụp từ trên cao có độ chênh lệch kích thước cực kỳ lớn, từ những cánh đồng trải rộng cho đến những đối tượng rất nhỏ như bụi cỏ dại, máy móc hoặc rãnh nước hẹp.

Mục tiêu nghiên cứu của khóa luận được xác định gồm 3 nội dung:

  1. Khảo sát và đánh giá hệ thống các nghiên cứu liên quan đến phân đoạn ngữ nghĩa cho ảnh nông nghiệp chụp từ trên cao.
  2. Xây dựng mô hình đề xuất kết hợp khai thác dữ liệu đa quang phổ và giải quyết các đặc tính góc chụp, mất cân bằng lớp.
  3. Thực hiện các cải tiến về hàm mất mát và tăng cường dữ liệu nhằm nâng cao hiệu quả phân đoạn của mô hình đề xuất.

Đối tượng nghiên cứu là hình ảnh nông nghiệp được chụp từ trên cao, và phạm vi nghiên cứu tập trung vào các mô hình học sâu, thuật toán phân đoạn ngữ nghĩa, kỹ thuật chọn mẫu thích ứng và bất biến tăng cường dữ liệu. Đề tài được triển khai trong mốc thời gian từ ngày 10/09/2022 đến ngày 01/03/2023.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và các mô hình nền tảng

Khóa luận hệ thống hóa cơ sở lý thuyết của các kiến trúc phân đoạn ngữ nghĩa tiêu biểu trong thị giác máy tính và phân tích ưu, nhược điểm khi áp dụng vào miền dữ liệu ảnh chụp từ trên cao:

  • Fully Convolutional Network (FCN): Mô hình thay thế các lớp kết nối đầy đủ bằng phép tích chập, áp dụng cơ chế giảm mẫu (Downsampling qua Pooling) để cô đọng thông tin vị trí và cường độ, sau đó tăng mẫu (Upsampling qua Transposed Convolution). FCN sử dụng kết nối tắt (Skip Connection) kết hợp đặc trưng từ các tầng trung gian (FCN-32s, FCN-16s, FCN-8s) nhằm khôi phục chi tiết ranh giới phân đoạn.
  • UNet: Kiến trúc hình chữ U đối xứng gồm nhánh mã hóa (Encoder) trích xuất đặc trưng với các khối tích chập $3 \times 3$, ReLU, Max Pooling $2 \times 2$ (nhân đôi số kênh sau mỗi tầng) và nhánh giải mã (Decoder) tái tạo kích thước ảnh qua tích chập chuyển vị $2 \times 2$. UNet liên kết trực tiếp bản đồ đặc trưng tương ứng từ Encoder sang Decoder bằng phép ghép nối (concatenation) và sử dụng kỹ thuật đệm (Padding method). Mặc dù hiệu quả với vật thể nhỏ, UNet tiêu tốn tài nguyên và khó xử lý ảnh viễn thám có độ phân giải rất cao.
  • High-Resolution Network (HRNet): Duy trì luồng biểu diễn đặc trưng ở độ phân giải cao xuyên suốt chiều sâu của mạng, đồng thời mở rộng các nhánh song song có độ phân giải từ trung bình đến thấp qua các khối (Blocks). Cơ chế trao đổi thông tin đa mức lặp đi lặp lại (HRNetFusion) giúp mô hình lưu giữ được chi tiết không gian chính xác, song cấu trúc này chứa lượng tham số lớn và dễ dẫn đến hiện tượng quá khớp (overfitting).
  • SegFormer: Kiến trúc nền tảng được nhóm tác giả chọn lựa để phát triển mô hình đề xuất. SegFormer kết hợp giữa bộ mã hóa Mix Transformer (MiT, các phiên bản từ B0 đến B5) và bộ giải mã All-MLP Decoder nhẹ. Mô hình giải quyết bài toán tính toán trên ảnh phân giải cao thông qua ba kỹ thuật:
    • Efficient Self-Attention: Giảm độ dài chuỗi đầu vào theo hệ số $R$, hạ độ phức tạp tính toán từ $O(N^2)$ xuống $O(N^2/R)$ thông qua phép biến đổi tuyến tính ma trận khóa $K$.
    • Mix-FFN: Sử dụng tích chập $3 \times 3$ kết hợp hàm kích hoạt GELU trong tầng Feed-Forward Network để bổ sung thông tin vị trí thay cho Positional Encoding cố định, tránh suy giảm chất lượng khi kích thước ảnh thay đổi.
    • Overlap Patch Merging: Chia nhỏ ảnh thành các mảng $4 \times 4$ chồng lấn lên nhau nhằm bảo tồn tính liên tục không gian cục bộ giữa các vùng lân cận.

Xử lý dữ liệu đa quang phổ và hàm mất mát

  • Ảnh cận hồng ngoại (NIR): Bức xạ trong bước sóng $700\text{ nm} - 1\text{ mm}$ cho phép phản ánh sự chênh lệch nhiệt độ bề mặt đất, lượng nước trong tế bào thực vật và phân biệt các giống cây trồng tốt hơn ảnh RGB.
  • Phương pháp kết hợp đa phổ: Dựa trên các nguyên lý của kỹ thuật hợp nhất dữ liệu đa quang phổ tự động (Automated Fusion of Multi-spectral Data) và phân đoạn nông nghiệp chính xác (Precision Agriculture Segmentation), hệ thống thực hiện hiệu chỉnh hình học, chuẩn hóa và gộp 4 kênh (R, G, B, NIR) tạo thành tensor đầu vào duy nhất.
  • Hàm mất mát xử lý mất cân bằng lớp: Phân tích từ hàm Cross Entropy (CE) truyền thống sang hàm Focal Loss (FL): $$\text{FL}(p_t) = -\alpha_t (1 - p_t)^\gamma \log(p_t)$$ Trong đó $p_t$ là xác suất dự đoán của lớp mục tiêu, $\gamma$ là siêu tham số điều chỉnh nhằm làm giảm trọng số tổn thất của các mẫu dễ phân loại, và $\alpha$ đóng vai trò cân bằng tỷ lệ mẫu giữa các lớp thiểu số và đa số.

Phương pháp nghiên cứu và kỹ thuật đề xuất

Mô hình tổng thể được xây dựng dựa trên hướng tiếp cận AIAS (Augmentation Invariance and Adaptive Sampling) với xương sống SegFormer:

  1. Lấy mẫu thích ứng (Adaptive Sampling - AS): Thay vì chọn mẫu ngẫu nhiên hay cố định trước khi huấn luyện, thuật toán AS tính toán xác suất chọn lớp $c$ tại mỗi bước huấn luyện theo công thức: $$\text{AS}_c = \sigma\left((1 - \text{dist} \times \text{conf})^\gamma\right)$$ Trong đó $\text{dist}$ là mảng phân phối tỷ lệ điểm ảnh tĩnh toàn cục của các lớp trên toàn tập dữ liệu (chuẩn hóa Min-Max về đoạn $[0, 1]$), và $\text{conf}$ là độ tin cậy của mạng đối với từng lớp được cập nhật động bằng trung bình trượt hàm mũ (Exponential Moving Average - EMA) với hệ số làm mượt $\alpha$: $$\text{conf}t = \alpha \cdot \text{conf}{t-1} + (1 - \alpha) \cdot \text{conf}_t^*$$ Cơ chế này ưu tiên bốc ngẫu nhiên các ảnh chứa những lớp có tần suất xuất hiện thấp trên tập dữ liệu và mạng đang đạt độ tin cậy dự đoán thấp nhất.
  2. Bất biến tăng cường (Augmentation Invariance - AI): Đưa ảnh gốc $x$ và ảnh tăng cường $A(x)$ qua mạng trích xuất đặc trưng. Mô hình được tối ưu hóa đồng thời bằng hàm mất mát phân đoạn ngữ nghĩa $L_{\text{seg}}$ và hàm mất mát khoảng cách embedding $L_{\text{AI}}$ giữa hai biểu diễn đặc trưng, buộc mạng học được tính bất biến đối với các phép quay và lật góc chụp.
    • Tăng cường hình học: Lật ngang, lật dọc và xoay ngẫu nhiên các góc quanh trục thẳng đứng.
    • Tăng cường quang phổ: Biến đổi độ sáng, độ tương phản, độ bão hòa màu (Color Jitter).

Bộ dữ liệu và phương pháp đánh giá

  • Bộ dữ liệu thực nghiệm:
    • Agriculture-Vision: Bộ dữ liệu nông nghiệp chụp từ trên cao quy mô lớn, bao gồm đầy đủ 4 kênh quang phổ RGB và NIR, gán nhãn 9 lớp thực thể nông nghiệp.
    • DeepGlobe: Bộ dữ liệu quan sát bề mặt đất viễn thám chuẩn sử dụng phổ RGB.
  • Độ đo đánh giá: Độ đo giao trên hội trung bình (Mean Intersection over Union - mIoU), tiêu chuẩn cốt lõi trong đánh giá phân đoạn ngữ nghĩa hình ảnh.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 thiết lập nền tảng nghiên cứu thông qua việc phân tích thực trạng ứng dụng học sâu trong nông nghiệp thông minh so với các lĩnh vực xe tự hành và y tế. Tác giả chỉ ra rằng các hệ thống canh tác tự động hiện nay phần lớn chạy theo kịch bản cố định, do đó thị giác máy tính là công cụ quyết định để nâng cao tính linh hoạt. Khóa luận định nghĩa chi tiết bài toán phân đoạn ngữ nghĩa ảnh chụp từ trên cao, đồng thời phân tích bản chất ba trở ngại kỹ thuật: hạn chế quang phổ RGB, sự thiếu hụt tham chiếu không gian do góc nhìn thẳng đứng, và tình trạng phân bố mất cân bằng nghiêm trọng giữa các thực thể trên bề mặt đồng ruộng. Chương này cũng công bố mục tiêu nghiên cứu, đóng góp của đề tài và bố cục tài liệu.

Chương 2: Nghiên cứu liên quan

Chương 2 cung cấp bức tranh tổng quan về mặt lý thuyết và thực nghiệm của các giải pháp tiền nhiệm:

  • Đánh giá quá trình tiến hóa của các mô hình phân đoạn ngữ nghĩa: FCN (nguyên lý tích chập toàn phần và skip connection); UNet (cấu trúc đối xứng encoder-decoder không dùng lớp fully-connected, phù hợp dữ liệu y tế nhưng hạn chế trên ảnh phân giải lớn); HRNet (duy trì biểu diễn phân giải cao song song qua các khối đa mức); và SegFormer (sử dụng Transformer encoder với Efficient Self-Attention và All-MLP decoder).
  • Khảo sát các hướng tiếp cận phân đoạn ngữ nghĩa chuyên biệt cho ảnh chụp từ trên không: phương pháp hợp nhất tự động dữ liệu đa phổ (Automated Fusion of Multi-spectral Data) gồm 5 công đoạn (thu thập, tiền xử lý, hiệu chỉnh, hợp nhất, xử lý hậu kỳ); và phương pháp phân đoạn nông nghiệp chính xác (Precision Agriculture Segmentation) gồm 3 giai đoạn (phân đoạn nhị phân, trích xuất đốm màu ROI, và phân loại bằng CNN).
  • Phân tích cơ sở vật lý của quang phổ cận hồng ngoại (NIR, $700\text{ nm} - 1\text{ mm}$) trong việc phát hiện biến thiên nhiệt độ và cấu trúc cây trồng.
  • Phân tích toán học hai hàm mất mát: hàm Cross Entropy và các hạn chế khi gặp mẫu mất cân bằng, cùng cơ chế điều chỉnh trọng số mẫu khó thông qua hàm Focal Loss với các tham số $\gamma$ và $\alpha$.

Chương 3: Hướng tiếp cận trong khóa luận

Chương 3 trình bày chi tiết kiến trúc đề xuất và quy trình triển khai thuật toán:

  • Xây dựng luồng xử lý toàn diện trên đầu vào 4 kênh (RGB-NIR) tích hợp trên nền tảng SegFormer.
  • Đặc tả thuật toán Lấy mẫu thích ứng (Adaptive Sampling): thiết lập công thức tính xác suất $\text{AS}_c$, quy trình tiền xử lý mảng phân phối lớp $\text{dist}$, và cơ chế cập nhật liên tục mảng độ tin cậy $\text{conf}$ qua từng chu kỳ huấn luyện $t$.
  • Chi tiết hóa kỹ thuật Bất biến tăng cường (Augmentation Invariance): quy trình trích xuất đặc trưng cục bộ điểm ảnh $f_\theta(x)$, các phép biến đổi hình học (lật ngang, lật dọc, xoay ngẫu nhiên) nhằm triệt tiêu sự sai lệch do góc quay camera, kết hợp kỹ thuật tăng cường quang phổ Color Jitter. Thiết kế hàm mất mát phối hợp giữa $L_{\text{seg}}$ và $L_{\text{AI}}$.
  • Đề xuất các giải pháp cải tiến độc lập của nhóm nghiên cứu: cải tiến chiến lược tăng cường hình ảnh (mục 3.4.1) và cải tiến cấu trúc hàm mất mát (mục 3.4.2).

Chương 4: Thực nghiệm và đánh giá

Chương 4 tập trung vào việc hiện thực hóa mô hình, kiểm thử và phân tích định lượng trên các tập dữ liệu thực nghiệm:

  • Trình bày môi trường tính toán, ngôn ngữ cài đặt, cấu hình GPU và tham số huấn luyện.
  • Phương pháp đánh giá dựa trên thang đo mIoU trên từng lớp và toàn tập dữ liệu.
  • Phân tích kết quả thực nghiệm thông qua hệ thống bảng so sánh:
    • Khảo sát mức độ đóng góp của việc kết hợp phổ RGB và phổ NIR trên tập dữ liệu Agriculture-Vision.
    • Kiểm thử khả năng tổng quát hóa trên hệ RGB của tập dữ liệu viễn thám DeepGlobe.
    • Phân tích đóng góp thành phần (Ablation Study) của từng kỹ thuật: Adaptive Sampling và Augmentation Invariance khi tích hợp vào mạng cơ sở.
    • So sánh hiệu suất của các phương án cải tiến hàm mất mát và tăng cường hình ảnh do nhóm đề xuất so với mô hình gốc.

Chương 5: Kết luận

Chương 5 đúc kết các kết quả đạt được đối với bài toán phân đoạn ngữ nghĩa ảnh nông nghiệp chụp từ trên cao, đồng thời xác định các hạn chế kỹ thuật còn tồn đọng và đề xuất các hướng phát triển tiếp theo cho đề tài.

Kết quả và đóng góp

Kết quả thực nghiệm chính

Các kết quả định lượng và phân tích kiểm thử trong khóa luận được cấu trúc qua 4 nội dung thực nghiệm cụ thể:

Bảng thực nghiệm Nội dung kiểm chứng Tập dữ liệu thực nghiệm Độ đo sử dụng
Bảng 4.1 Thực nghiệm kết hợp phổ RGB với NIR Agriculture-Vision (Train & Val) mIoU
Bảng 4.2 Thực nghiệm hệ quang phổ RGB DeepGlobe (Train & Val) mIoU
Bảng 4.3 Đánh giá hiệu suất từng thành phần (Ablation study) Agriculture-Vision (Train & Val) mIoU
Bảng 4.4 So sánh hiệu suất các cải tiến so với mô hình gốc Agriculture-Vision mIoU

Các phát hiện kỹ thuật chính ghi nhận từ nội dung nghiên cứu bao gồm:

  • Việc mở rộng dữ liệu đầu vào từ 3 kênh RGB truyền thống sang 4 kênh tích hợp RGB-NIR cung cấp thêm các đặc trưng hấp thụ quang học của thảm thực vật, giúp mô hình phân định chính xác hơn các trạng thái sinh học phức tạp (như thiếu chất dinh dưỡng hay khô héo).
  • Thuật toán Adaptive Sampling đóng vai trò then chốt trong việc kéo dãn tần suất học các lớp thiểu số có kích thước điểm ảnh rất nhỏ trên tập dữ liệu Agriculture-Vision, giảm thiểu việc mạng bị thiên vị về các lớp chiếm diện tích lớn như lớp nền.
  • Cơ chế Augmentation Invariance huấn luyện song song ảnh gốc và ảnh biến đổi hình học giúp vector đặc trưng đầu ra duy trì tính ổn định ngữ nghĩa trước các góc xoay tự do của thiết bị bay không người lái.

Đóng góp của đề tài

  1. Khảo sát hệ thống: Khái quát hóa và làm rõ những khoảng trống công nghệ khi mang các mô hình thị giác máy tính thông thường áp dụng cho dữ liệu viễn thám nông nghiệp.
  2. Hiện thực hóa giải pháp AIAS: Tích hợp thành công kỹ thuật chọn mẫu thích ứng (Adaptive Sampling) và bất biến tăng cường (Augmentation Invariance) trên nền tảng mạng SegFormer xử lý dữ liệu 4 kênh RGB-NIR.
  3. Đề xuất các phương án cải tiến: Nghiên cứu và thử nghiệm cải tiến đối với chiến lược tăng cường dữ liệu và biến đổi cấu trúc hàm mất mát (kết hợp các biến thể của Focal Loss) nhằm gia tăng độ chính xác phân đoạn.
  4. Xây dựng công cụ kiểm thử: Xây dựng giao diện trực quan hỗ trợ tải ảnh và kiểm thử trực tiếp kết quả phân đoạn ngữ nghĩa trên ảnh nông nghiệp thực tế.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài

  • Phụ thuộc vào dữ liệu đa phổ chuẩn hóa: Mô hình yêu cầu sự đồng bộ hình học và không gian chính xác tuyệt đối giữa hai nguồn ảnh RGB và NIR; nếu thiết bị chụp bị lệch tâm hoặc điều kiện ánh sáng thay đổi quá nhanh giữa hai cảm biến, việc ghép kênh có thể gây nhiễu biên phân đoạn.
  • Độ phức tạp tính toán: Việc kết hợp kiến trúc Transformer (SegFormer) với kỹ thuật huấn luyện song song cặp ảnh (ảnh gốc và ảnh tăng cường trong Augmentation Invariance) đòi hỏi tài nguyên bộ nhớ GPU lớn và kéo dài thời gian hội tụ của mô hình.
  • Phạm vi kiểm nghiệm: Các thực nghiệm chủ yếu tập trung trên hai bộ dữ liệu chuẩn có sẵn (Agriculture-Vision và DeepGlobe), chưa bao quát hết sự đa dạng về chủng loại cây trồng và đặc thù địa hình canh tác nông nghiệp thực tế tại Việt Nam.

Hướng phát triển

  • Tối ưu hóa kiến trúc mạng để giảm tải số lượng tham số, hướng đến khả năng triển khai mô hình phân đoạn thời gian thực trực tiếp trên các thiết bị nhúng gắn trên UAV.
  • Mở rộng nghiên cứu các kỹ thuật tự động căn chỉnh và đăng ký ảnh đa cảm biến (Multi-sensor Image Registration) trước giai đoạn đưa vào mạng phân đoạn.
  • Thu thập và xây dựng tập dữ liệu ảnh chụp từ trên cao đặc thù cho các loại cây trồng và mô hình canh tác tại các vùng nông nghiệp Việt Nam.

Giá trị tham khảo

Khóa luận tốt nghiệp này là tài liệu tham khảo hữu ích cho các nhóm đối tượng nghiên cứu và kỹ thuật sau:

  • Sinh viên và học viên ngành Khoa học Máy tính, Trí tuệ Nhân tạo: Cung cấp tài liệu tổng thuật rõ ràng, chi tiết về các thế hệ mô hình phân đoạn ngữ nghĩa hình ảnh từ cổ điển đến hiện đại (FCN, UNet, HRNet và SegFormer), đặc biệt là phân tích toán học cơ chế Efficient Self-Attention và Mix-FFN.
  • Nhà nghiên cứu xử lý ảnh viễn thám và Nông nghiệp thông minh: Cung cấp giải pháp xử lý chuyên biệt cho bài toán ảnh chụp từ trên cao, đặc biệt là quy trình tích hợp kênh cận hồng ngoại NIR và giải thuật xử lý mất cân bằng lớp bằng Adaptive Sampling.
  • Kỹ sư triển khai hệ thống Computer Vision: Tham khảo chi tiết mã giả của thuật toán chọn mẫu thích ứng (Thuật toán 1 trong Chương 3), quy trình thiết lập hàm mất mát phân đoạn kết hợp với tổn thất bất biến biểu diễn đặc trưng, cùng phương pháp thiết lập ma trận thực nghiệm kiểm chứng thành phần (Ablation study).

Câu hỏi thường gặp

1. Tại sao ảnh màu RGB thông thường là chưa đủ đối với bài toán phân đoạn ngữ nghĩa ảnh nông nghiệp chụp từ trên cao?

Trong nông nghiệp, các đặc tính cốt lõi để đánh giá trạng thái sinh học của cây trồng bao gồm hàm lượng nước, hàm lượng đường và mức độ phát triển của tế bào chất diệp lục. Các yếu tố này khó phân biệt rõ ràng nếu chỉ dựa trên các dải sóng ánh sáng nhìn thấy của phổ RGB. Dải phổ cận hồng ngoại (NIR, bước sóng $700\text{ nm} - 1\text{ mm}$) có mức độ phản xạ và hấp thụ rất khác biệt giữa các mô thực vật khỏe mạnh, cây bị bệnh, đất khô hay vùng ngập nước, từ đó cung cấp thông tin phản ánh chi tiết và ổn định hơn.

2. Kỹ thuật Adaptive Sampling (AS) giải quyết vấn đề mất cân bằng lớp như thế nào?

Adaptive Sampling không chọn mẫu cố định mà tính toán xác suất chọn lớp mục tiêu $c$ theo công thức $\text{AS}_c = \sigma((1 - \text{dist} \times \text{conf})^\gamma)$. Trong đó, $\text{dist}$ là mảng phân phối tỷ lệ điểm ảnh tĩnh của từng lớp trên toàn bộ tập dữ liệu, còn $\text{conf}$ là độ tin cậy dự đoán trung bình của mạng đối với lớp đó tại thời điểm huấn luyện (được làm mượt bằng hàm EMA). Nhờ đó, thuật toán sẽ tự động ưu tiên bốc các mẫu thuộc các lớp có tần suất xuất hiện rất hiếm và mạng đang dự đoán kém nhất, hạn chế tối đa việc mô hình bị thiên lệch về các lớp chiếm diện tích áp đảo.

3. Nguyên nhân nào khiến ảnh chụp từ trên cao bị thiếu khả năng tham chiếu không gian và giải pháp của khóa luận là gì?

Ảnh chụp từ trên cao (góc nhìn vuông góc từ trên xuống) làm mất đi chiều sâu phối cảnh tự nhiên và không có các đường chân trời hay trục tham chiếu cố định như ảnh chụp mặt đất (ví dụ trong bài toán xe tự hành, mặt đường luôn ở dưới và bầu trời ở trên). Đồng thời, máy bay không người lái có thể quay tự do quanh trục thẳng đứng khiến cùng một khung cảnh có thể xuất hiện dưới nhiều góc xoay khác nhau. Khóa luận giải quyết vấn đề này bằng kỹ thuật Augmentation Invariance (AI): đưa cả ảnh gốc và ảnh qua phép biến đổi hình học (xoay, lật) qua mô hình, đồng thời tối thiểu hóa hàm mất mát khoảng cách embedding $L_{\text{AI}}$ giữa hai biểu diễn để buộc mạng học được tính bất biến về góc chụp.

4. Hai bộ dữ liệu được sử dụng trong phần thực nghiệm của khóa luận là những bộ dữ liệu nào?

Khóa luận tiến hành thực nghiệm trên hai bộ dữ liệu:

  1. Agriculture-Vision: Bộ dữ liệu chuyên biệt về nông nghiệp chụp từ trên cao, cung cấp ảnh 4 kênh kết hợp giữa phổ RGB và phổ NIR với 9 lớp đối tượng nông nghiệp được gán nhãn chi tiết.
  2. DeepGlobe: Bộ dữ liệu viễn thám bề mặt đất tiêu chuẩn sử dụng hệ ảnh phổ màu RGB thông thường.

5. Độ đo đánh giá hiệu năng chính được áp dụng xuyên suốt khóa luận là gì?

Nhóm tác giả sử dụng độ đo giao trên hội trung bình (Mean Intersection over Union - mIoU). Đây là chỉ số chuẩn trong bài toán phân đoạn ngữ nghĩa, được tính bằng cách lấy trung bình tỷ lệ giữa diện tích phần giao nhau và diện tích phần hợp lại giữa mặt nạ dự đoán (prediction mask) và mặt nạ sự thật nền tảng (ground truth mask) trên tất cả các lớp ngữ nghĩa.

Kết luận

Khóa luận tốt nghiệp của sinh viên Võ Đăng Châu và Nguyễn Phương Bảo Ngọc đã giải quyết trọn vẹn bài toán phân đoạn ngữ nghĩa ảnh nông nghiệp chụp từ trên cao bằng việc phân tích sâu sắc các đặc trưng dữ liệu viễn thám. Công trình đã hiện thực hóa thành công mô hình kết hợp phổ đa kênh RGB-NIR dựa trên kiến trúc SegFormer, đồng thời tích hợp hai kỹ thuật cốt lõi là Adaptive Sampling và Augmentation Invariance nhằm khắc phục tình trạng mất cân bằng lớp và sự thiếu hụt tham chiếu không gian. Các phân tích lý thuyết, thuật toán và kết quả thực nghiệm trên tập dữ liệu chuẩn đã chứng minh tính đúng đắn của phương pháp, tạo cơ sở khoa học tin cậy cho việc phát triển các ứng dụng giám sát cây trồng tự động trong nông trại thông minh.