Chương 1. TỔNG QUAN 7 trời ở phía trên. Thì đối với đữ liệu ảnh được chụp từ trên cao, điều này sẽ không đúng. Từ đó ta thấy nếu áp dụng các mô hình ban đầu cho dạng dữ liệu này, mô hình sẽ không đạt được hiệu quả như kỳ vọng.
Từ đây chúng tôi đặt ra kỳ vọng xây dựng một mô hình có tính bắt biến đối với những ảnh có cùng thông tin nhưng khác biệt về góc chụp.6: Anh được chụp từ trên cao có thể có nhiều góc nhìn khác nhau nhưng vẫn đều là một khung cảnh. Tuy vậy, các mô hình thông thường không được thiết kế với mong muốn có thể dịch chuyển các điểm trong ảnh sẽ cho ra kết quả đầu ra khác biệt nhau. Mô hình chúng tôi thiết kế với kỳ vọng học các cách biểu diễn ảnh linh hoạt và mạnh mẽ hơn, từ đó cho ra kết quả đầu ra bat biến với các trường hợp như vậy. Nguồn : Antonio Tavera, Edoardo Arnaudo, Carlo Masone, Barbara Caputo, "Augmentation Invariance and Adaptive Sampling in Semantic Segmentation of Agricultural Aerial Images", 2022 1.3 Mat cân bằng lớp nghiêm trong Mặc dù vấn dé về mat cân bằng lớp là khó khăn điển hình của bài toán phân đoạn ngữ nghĩa [18]; đối với ảnh được chụp từ trên cao, sự mat cân bằng lớp diễn ra đặc biệt nghiêm trọng.
Lý do bởi vì với ảnh chụp từ trên cao, sự phân bồ các thực thể trong ảnh sẽ nằm trong phạm vi từ rất nhỏ đến rất lớn, ví dụ một cánh đồng lớn với một chiếc xe tải nhỏ. Khi sự mắt cân bằng lớp diễn ra nghiêm trọng như vậy, các mô hình đòi hỏi phải được thiết kế phức tạp hơn. Đây là điều các mô hình truyền thống trước đây chưa đáp ứng được. TONG QUAN 8 HÌNH 1.7: Ví dụ về su mat cân bằng lớp nghiêm trọng trong ảnh được chụp từ trên cao Ảnh chụp từ trên cao bởi các thiết bị vệ tỉnh hay máy bay tự lái ngày càng trở nên phổ biến và đóng vai trò quan trọng trong phân đoạn ngữ nghĩa ảnh nông nghiệp.
Song các van dé trên lai rat ít được xem xét và nhắc đến. Điều này khiến các mô hình được thiết kế không tận dụng được toàn bộ dữ liệu và đem lại kết quả không hiệu quả. Từ đó động lực về một mô hình có thể xử lý tốt dang dữ liệu ảnh chụp từ trên cao là hoàn toàn cần thiết. Đó cũng là lý do nhóm chúng tôi thực hiện khóa luận này với mục đích xây dựng mô hình hiệu quả hơn cho phân đoạn ngữ nghĩa ảnh nông nghiệp được chụp từ trên cao.4 Mục tiêu khóa luận Thông qua khóa luận này, nhóm chúng tôi mong muốn đạt được những mục tiêu sau: ¢ Khảo sát và đánh giá được các nghiên cứu liên quan đến việc sử dụng phân đoạn ngữ nghĩa cho ảnh nông nghiệp được chụp từ trên cao.
e Thực hiện mô hình đề xuất cho bài toán. © Thực hiện cải tiến giúp tăng hiệu quả so với phương pháp đề xuất.5 Dong gop trong khoa luan ¢ Tim hiểu kỹ thuật Adaptive Sampling (AS) va Augmentation Invariance(A]) giúp tăng hiệu suất. e Đề xuất một số cải tiến cải thiện hiệu suất: — Cải tiến về tăng cường dữ liệu. — Cải tiến về thay đổi hàm mắt mát.6 Cấu trúc Khóa luận tốt nghiệp Nội dung Khóa luận tốt nghiệp được tổ chức như sau: ° Chương||giới thiệu tổng quan về khóa luận.
° Chương|2|chúng tôi trình bày các nghiên cứu liên quan đến bài toán này. ° ChươngJ|trình bày chỉ tiết các hướng tiếp cận của khóa luận. ¢ Chuong/4| chung tôi trình bày môi trường thực nghiệm, bộ dữ liệu, phương pháp đánh giá và kết quả thực nghiệm. e Chương B|là phần kết luận và hướng phát triển của khóa luận.
10 Chương 2 NGHIÊN CỨU LIÊN QUAN Tóm tắt Ở chương này chúng tôi trình bày tổng quan về các hướng giải quyết bài toán phân đoạn ngữ nghĩa cho ảnh nông nghiệp chụp từ trên cao. Trước tiên, chúng tôi sẽ giới thiệu về hướng tiếp cận để giải quyết bài toán phân đoạn ngữ nghĩa. Sau đó chúng tôi sẽ giới thiệu một hướng tiếp cận cải tiến của nó giải quyết bài toán đối với các hình ảnh được chụp từ trên cao. Với mỗi hướng tiếp cận, chúng tôi giới thiệu về các mô hình và phương pháp nổi trội được sử dụng để giải quyết những van dé cốt lõi của hướng tiếp cận đó.1 Phân đoạn ngữ nghĩa Hướng tiếp cận này bao gồm những phương pháp được sử dụng để giải quyết các bài toán phân đoạn ngữ nghĩa đang phổ biến trong lĩnh vực thị giác máy tính, bắt đầu từ phương pháp cơ bản nhất là Fully Convolutional Network (FCN) [24].
Sau đó chung tôi sé giới thiệu về một trong số những mô hình phổ biến là High Resolution Network (HRNet) [28]. Và cuối cùng, chúng tôi sẽ nói về một mô hình mới mẻ được giới thiệu trong thời gian gần đây là SegFormer [35].1 Fully Convoluntional Network Mục tiêu cơ bản của tác vụ phân đoạn ngữ nghĩa là gán nhãn cho mỗi pixel của bức ảnh đầu vào với từng lớp cụ thể. Tuy nhiên, néu sử dụng mạng CNN và thực hiện bài toán phân loại bình thường thì sẽ cần một số lượng lớn các tham số khiến cho việc tính toán trở nên phức tạp và tiêu tốn tài nguyên. Vì thế, mô hình Fully Convolutional Network được Chương 2.
NGHIÊN CUU LIÊN QUAN 11 giới thiệu. Mô hình sẽ học cách ánh xa từ hình anh đầu vào sang ban dé phân đoạn tương ứng của nó thông qua quá trình chuyển đổi liên tiếp các ánh xạ đặc trưng bằng phép tích chập. Trong quá trình huấn luyện, để có thể chat lọc được những thông tin có giá trị cao nhằm thu được một Feature Map mang giá trị thông tin về vị trí và cường độ của các pix- els, mô hình FCN được áp dụng phương pháp Downsampling (ví dụ bằng việc sử dụng Pooling). Feature Map này sau đó được áp dụng Upsampling bằng cách sử dụng các lớp transposed convolution để giải nén và kết quả cuối cùng thu được là một segmentation map có độ phân giải cao của bức ảnh đầu vào, với mỗi pixel đã được gắn nhãn vào lớp có tỉ lệ cao nhất.1: M6 hinh FCN[24] với Downsampling và Upsampling Phương pháp Downsampling Upsampling có nhược điểm là nó sẽ làm giảm nghiêm trong độ phân giải của ảnh đầu vào khiến cho thông tin bị mat mát, khiến cho quá trình tái tạo lại những chỉ tiết trong bức ảnh là rất khó khăn, và kết quả sẽ không có độ chính xác cao.
Để giải quyết van dé này, người ta đã áp dụng phương pháp Skip Connection. Y tưởng chính là chúng ta thực hiện predict output tại một lớp trong giai đoạn Downsam- pling để kết hợp với output. Kết quả đó sẽ được kết hợp cùng với output thô có được khi đi qua hết mô hình. Kết quả cuối cùng thu được là ranh giới phân đoạn của các lớp sẽ trở nên chính xác hơn.2 UNet Kiến trúc mang UNet [23], lần đầu tiên được áp dụng cho phân đoạn ảnh y tế, có cốt lõi là kĩ thuật Fully Convoluntional Network.
Đúng như tên gọi, kiến trúc tổng quát Chương 2. NGHIÊN CUU LIÊN QUAN 12 32x upsampled 2x upsampled 16x upsampled 2x upsampled 8x upsampled prediction (FCN-32s) prediction _ prediction (FCN-16s) _ prediction prediction (FCN-8s) ⁄ \ a % i pool? pool3 pool4 pool5 ị pod \_Ý. pool3 » Wf if image pool prediction prediction ¿ A —.2: Minh họa cach hoạt động của Skip Connection[24]. FCN-32s không thực hiện Skip Connection và Upsample ở stride 32; FCN-16s thực hiện Skip Connectionn ở lớp pool4, stride 16; FCN-8s thực hiện Skip Connectionn ở lớp pool3, stride 8; kết quả là mức độ chỉ tiết được tăng lên và ranh giới được xác định chính xác hơn.
của mô hình này giống như chữ "U" để có thể vừa thực hiện cùng lúc 2 chức năng: Downsampling-Upsampling và Skip Connection. Mang Unet bao gồm một nửa phía bên trái và một nửa phía bên phải. Nửa bên trái là một kiến trúc mạng tích chập thực hiện quá trình Downsampling. Nó bao gồm 2 lớp tích chập 3x3 cùng với hàm kích hoạt ReLU và một toán tử max pooling kích thước 2x2 cho mỗi tầng để giảm chiều của ảnh đầu vào.
Với mỗi bước Downsampling như vậy, số kênh đặc trưng được nhân đôi. Nửa bên phải của Unet thực hiện quá trình Upsampling bằng cách đảo ngược trình tự so với nửa bên trái. Mỗi bước sẽ bao gồm một lớp tích chập 2x2 để tăng chiều và chia đôi số lượng kênh đặc trưng. Ban dé đặc trưng đó sẽ được kết hợp cùng với feature map tương ứng của nua bên trái và 2 lớp tích chập 3x3 cùng với hàm kích hoạt ReLU.
Việc kết hợp này là cần thiết vì trong quá trình xử lý, các pixel biên thường biến mat. Lớp cuối cùng là một lớp tích chập 1x1 để ánh xạ các vector đặc trưng tới số lượng lớp mong muốn. So với những mô hình thị giác máy tính tiền nhiệm như Mask RCNN, Unet có những đặc điểm nổi bật như: ® toàn bộ kiến trúc không hề sử dụng một lớp fully connected nào. Đối với các mô hình end-to-end thông thường, lớp kế cuối của mạng sẽ là các lớp fully connected để kết nồi các đặc trưng đã phân tích được nhằm đưa ra kết quả dự đoán.
Tuy nhiên, ở kiến trúc U-net, việc kết nối các đặc trưng sẽ do nửa sau của mạng đóng vai trò là decoder đảm nhận, điều này giúp mạng không cần mạng fully connected, do đó có thể chấp nhận input với kích thước bắt kì. NGHIÊN CUU LIÊN QUAN 13 1 64 64 128 64 64 2 Input output image Ỳ 3x92 v3x90 3x8 v3x8 $ segmentation tile map 5x72 5x70 5x68 ¥ 108 128 256 128 | So fo) en) N a « ¥ 255 250 512 256 Jefe! | [+ + => conv 3x3, ReLU oo Ÿ se 512 1024 512 "stân h copy py and cro p © SÁT. 45 5 4 up-conv 2x2 (> 5 = Đó ca mo s => conv 1x1 N HINH 2.3: Minh họa mô hình của Unet{23]. Unet có hình chữ U với 2 nửa Nửa bên trái đảm nhận nhiệm vụ encoder với các phép nhân tích chập và padding để cô đặc đặc điểm của hình ảnh.
Nửa bên phải đảm nhận nhiệm vụ decoder nhằm tái tạo lại ảnh phân đoạn, được kết hợp với các feature map ở encoder nhằm nâng cao hiệu suất của mô hình. * U-net sử dụng Phương pháp đệm (Padding method), điều này giúp kiến trúc có thể phân đoạn hình ảnh được hoàn toàn. Phương pháp này đặc biệt quan trọng khi phân đoạn cho các hình ảnh, nếu không, độ phân giải có thể bị hạn chế bởi dung lượng của bộ nhớ GPU. Là một mô hình cơ bản để giải quyết bài toán phân đoạn ngữ nghĩa ảnh, Unet cũng có những mặt hạn chế nhất định.