Nghiên cứu ứng dụng CNN vào phân đoạn ảnh - Luận văn ThS. Lê Thị Ngọc Tú - ĐH Thái Nguyên

Nghiên cứu ứng dụng mạng nơron tế bào (CNN) trong phân đoạn ảnh. Giải pháp hiệu quả, tối ưu hóa quy trình xử lý ảnh. Tìm hiểu chi tiết!

• Tác giả: Lê Thị Ngọc Tú
• Người hướng dẫn: Ts. Vũ Đức Thái
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu ứng dụng công nghệ mạng nơron tế bào vào bài toán phân đoạn ảnh
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC CHỮ VIẾT TẮT
• DANH MỤC HÌNH VẼ
• I. Chương I: CÁC LÝ THUYẾT BỔ TRỢ
• 1. Mạng nơron tế bào
• 1. Kiến trúc mạng nơron tế bào CNN
• 1. Giới thiệu chung về mạng nơron tế bào
• 1. Kiến trúc mạng Nơron tế bào
• 1. Kiến trúc của máy tính mạng Nơron tế bào
• 1. Một số vấn đề cơ bản của CNN
• 2. Giới thiệu chung về xử lý ảnh
• 3. Ngôn ngữ Matlab
• 1. Giới thiệu chung về Matlab
• 2. Ngôn ngữ lập trình Matlab và ứng dụng trong mô phỏng
• 3. Các công cụ để cài đặt mô phỏng tính toán
• 4. Đọc và ghi dữ liệu ảnh
• 5. Lớp lưu trữ của file matlab
• 6. Truy vấn một file đồ hoạ
• 7. Hiển thị ảnh
• 4. Phần mềm mô phỏng CANDY
• II. Chương II: BÀI TOÁN PHÂN ĐOẠN ẢNH
• 1. Giới thiệu chung về phân đoạn ảnh
• 1. Các hướng tiếp cận phân đoạn ảnh
• 2. Các phương pháp dựa trên không gian đặc trưng
• 3. Các phương pháp dựa trên không gian ảnh
• 4. Các phương pháp dựa trên mô hình vật lý
• 5. Một số phương pháp phân đoạn ảnh
• 1. Phương pháp phân đoạn dựa vào ngưỡng cố định
• 6. Phương pháp phân đoạn dựa vào miền đồng nhất
• 1. Giới thiệu chung
• 2. Phương pháp tách cây tứ phân
• 3. Phương pháp tổng hợp
• 7. Giải pháp phân đoạn ảnh bằng công nghệ CNN
• 1. Xử lý ảnh dùng PDE
• 2. Công nghệ xử lý ảnh nhanh trên mạng CNN
• 3. Tính ưu việt và ý nghĩa
• 4. Tình hình nghiên cứu về xử lý ảnh dùng CNN trong nuớc
• 5. Kết quả xử lý ảnh dùng CNN
• 6. Hạn chế và giải pháp ứng dụng CNN
• 7. Mẫu và vai trò của mẫu
• 1. Giới thiệu chung
• 2. Thư viện mẫu CNN
• 3. Các phương pháp thiết kế mẫu cho CNN
• 8. Thuật toán phân đoạn ảnh trên CNN
• III. Chương III: MÔ PHỎNG THUẬT TOÁN PHÂN ĐOẠN ẢNH
• 1. Mô tả bài toán mô phỏng
• 2. Phát hiện biên
• 3. Phát hiện điểm
• 4. Phát hiện dòng
• 5. Phát hiện cạnh
• 6. Phát hiện biên Candy
• 7. Bài toán phân đoạn ảnh
• 1. Công thức cơ sở
• 2. Tăng trưởng miền ảnh
• 3. Tách và ghép miền
• 8. Cài đặt mô phỏng
• 1. Ví dụ: Đoạn mã lệnh
• 9. Đánh giá kết quả mô phỏng
• TÀI LIỆU THAM KHẢO
• MỞ ĐẦU

Tóm tắt

I. Tổng quan phân đoạn ảnh bằng mạng nơ ron tích chập CNN

Phân đoạn ảnh là một trong những nhiệm vụ cốt lõi và phức tạp nhất của lĩnh vực thị giác máy tính (computer vision). Mục tiêu của nó không chỉ dừng lại ở việc nhận diện toàn bộ ảnh mà là phân loại từng pixel trong ảnh vào một lớp đối tượng cụ thể. Theo định nghĩa trong luận văn của Lê Thị Ngọc Tú (2015), phân đoạn ảnh "nhằm phân tích ảnh thành các phần có cùng tính chất nào đó dựa theo biên hay các vùng liên thông". Quá trình này tạo ra một bản đồ chi tiết, cho phép máy tính "nhìn" và hiểu sâu sắc cấu trúc không gian của hình ảnh, tương tự như cách con người nhận thức. Sự ra đời và phát triển của mạng nơ-ron tích chập (Convolutional Neural Network - CNN) đã tạo nên một cuộc cách mạng trong xử lý ảnh kỹ thuật số, đặc biệt là với bài toán phân đoạn. Khác với các phương pháp truyền thống đòi hỏi việc trích xuất đặc trưng thủ công, các mô hình học sâu (deep learning) dựa trên CNN có khả năng tự động học các đặc trưng phân cấp từ dữ liệu thô. Từ các cạnh và góc đơn giản ở lớp đầu tiên đến các cấu trúc phức tạp hơn ở các lớp sâu hơn, CNN xây dựng một biểu diễn ngữ nghĩa phong phú của ảnh. Điều này cho phép các mô hình như FCN, U-Net, hay DeepLab thực hiện phân loại cấp độ pixel với độ chính xác vượt trội, mở ra vô số ứng dụng thực tiễn từ y tế đến công nghệ tự hành.

1.1. Semantic Instance và Panoptic Segmentation là gì

Phân đoạn ảnh được chia thành ba loại chính với mục tiêu khác nhau. Phân đoạn ảnh ngữ nghĩa (semantic segmentation) là dạng phổ biến nhất, có nhiệm vụ gán nhãn cho mỗi pixel trong ảnh với một danh mục đối tượng tương ứng (ví dụ: tất cả các pixel thuộc về 'ô tô', 'con người', 'cây cối'). Tuy nhiên, nó không phân biệt được các đối tượng riêng lẻ trong cùng một lớp. Nâng cao hơn, Instance Segmentation giải quyết vấn đề này bằng cách không chỉ phân loại pixel mà còn xác định và phân tách từng thực thể riêng biệt của cùng một lớp. Ví dụ, nó sẽ nhận diện được 'ô tô 1', 'ô tô 2', 'ô tô 3' là ba đối tượng khác nhau. Cuối cùng, Panoptic Segmentation là một hướng tiếp cận toàn diện, kết hợp cả hai phương pháp trên. Nó vừa thực hiện phân đoạn ngữ nghĩa cho các đối tượng nền (stuff - như 'bầu trời', 'cỏ', 'đường') vừa thực hiện phân đoạn thực thể cho các đối tượng có thể đếm được (things - như 'người', 'xe').

1.2. Vai trò của học sâu Deep Learning trong thị giác máy tính

Học sâu (deep learning) đã trở thành nền tảng của thị giác máy tính hiện đại. Trước đây, các hệ thống thị giác máy tính phụ thuộc rất nhiều vào các đặc trưng được thiết kế thủ công (hand-crafted features) như SIFT, HOG. Quá trình này tốn nhiều công sức, đòi hỏi chuyên môn sâu và thường không đủ mạnh để khái quát hóa trên các bộ dữ liệu đa dạng. Mạng nơ-ron sâu, đặc biệt là mạng nơ-ron tích chập, đã thay đổi hoàn toàn cuộc chơi. Bằng cách tự động học các biểu diễn phân cấp từ dữ liệu, các mô hình deep learning có thể nắm bắt được các mẫu phức tạp và tinh vi mà con người khó có thể định nghĩa bằng thuật toán. Điều này không chỉ cải thiện đáng kể hiệu suất trong các tác vụ như phân loại ảnh, phát hiện đối tượng mà còn là yếu tố then chốt giúp giải quyết bài toán phân đoạn ảnh ở cấp độ pixel.

1.3. Lịch sử phát triển từ Mạng Nơ ron Tế bào đến CNN hiện đại

Thuật ngữ CNN có thể gây nhầm lẫn do sự tồn tại của hai kiến trúc khác nhau. Luận văn gốc đề cập đến Mạng Nơ-ron Tế bào (Cellular Neural Network - CNN), được phát minh bởi Chua và Yang vào năm 1988. Đây là một hệ thống xử lý song song, trong đó các "tế bào" (bộ xử lý) chỉ tương tác với các lân cận gần nhất, rất phù hợp cho các tác vụ xử lý ảnh thời gian thực trên phần cứng chuyên dụng. Tuy nhiên, trong bối cảnh học sâu hiện đại, khi nói đến CNN, người ta hầu như luôn đề cập đến Mạng Nơ-ron Tích chập (Convolutional Neural Network). Kiến trúc này, được tiên phong bởi Yann LeCun, sử dụng các lớp tích chập, lớp gộp (pooling) và các lớp kết nối đầy đủ để học các đặc trưng từ dữ liệu. Dù cùng mang tên viết tắt CNN, Mạng Nơ-ron Tích chập đã chứng tỏ hiệu quả vượt trội trong các bài toán thị giác máy tính phức tạp và là công nghệ cốt lõi được thảo luận trong bài viết này.

II. Thách thức trong bài toán phân loại cấp độ pixel truyền thống

Trước khi các mô hình học sâu trở nên phổ biến, thuật toán phân đoạn ảnh truyền thống đối mặt với nhiều thách thức cố hữu. Các phương pháp này thường dựa trên các đặc tính cấp thấp của ảnh như màu sắc, cường độ sáng hoặc kết cấu. Ví dụ, phương pháp phân ngưỡng, được mô tả trong tài liệu gốc là "phương pháp phân đoạn dựa vào ngưỡng cố định", hoạt động bằng cách phân loại pixel dựa trên việc giá trị cường độ của chúng cao hơn hay thấp hơn một ngưỡng nhất định. Mặc dù đơn giản, phương pháp này rất nhạy cảm với sự thay đổi về điều kiện ánh sáng và không hiệu quả với các ảnh có histogram phức tạp. Một hướng tiếp cận khác là tăng trưởng vùng (region growing), bắt đầu từ các điểm "hạt giống" và mở rộng vùng bằng cách gộp các pixel lân cận có tính chất tương tự. Tuy nhiên, kết quả của phương pháp này lại phụ thuộc rất nhiều vào việc lựa chọn điểm bắt đầu và tiêu chí đồng nhất, dễ dẫn đến phân đoạn sai hoặc quá mức. Những kỹ thuật này đòi hỏi phải trích xuất đặc trưng và thiết lập quy tắc một cách thủ công, khiến chúng thiếu tính linh hoạt và khả năng khái quát hóa khi đối mặt với sự đa dạng của thế giới thực. Việc xử lý các đối tượng có hình dạng phức tạp, bị che khuất một phần, hoặc có ranh giới không rõ ràng vẫn là một rào cản lớn đối với các phương pháp xử lý ảnh kỹ thuật số cổ điển.

2.1. Khó khăn khi trích xuất đặc trưng thủ công trong xử lý ảnh

Quá trình trích xuất đặc trưng thủ công là nền tảng của các hệ thống thị giác máy tính truyền thống. Các kỹ sư phải thiết kế các bộ lọc hoặc thuật toán phức tạp để phát hiện các đặc điểm như cạnh, góc, hoặc các mẫu kết cấu (texture). Các bộ mô tả đặc trưng như SIFT, SURF, hay HOG đã từng rất thành công. Tuy nhiên, chúng có một nhược điểm lớn: mỗi bộ đặc trưng chỉ hoạt động tốt trong một số điều kiện nhất định và cho một số loại đối tượng cụ thể. Chúng không đủ mạnh để đối phó với sự biến dạng về góc nhìn, tỷ lệ, ánh sáng và sự lộn xộn trong các cảnh thực tế. Việc thiết kế một bộ đặc trưng toàn diện, có thể hoạt động hiệu quả trên mọi tình huống là gần như không thể, đòi hỏi sự tinh chỉnh liên tục và kiến thức chuyên môn sâu rộng về cả lĩnh vực ứng dụng và xử lý ảnh kỹ thuật số.

2.2. Hạn chế của các thuật toán phân đoạn ảnh không dùng học sâu

Các thuật toán phân đoạn ảnh truyền thống như phân ngưỡng Otsu, watershed, hay K-Means clustering trên không gian màu đều dựa trên giả định về sự đồng nhất của các vùng ảnh. Chúng hoạt động tốt trên các ảnh đơn giản, có độ tương phản cao và các đối tượng được xác định rõ ràng. Tuy nhiên, trong thực tế, ảnh thường chứa nhiễu, bóng mờ, và các đối tượng có màu sắc hoặc kết cấu không đồng nhất. Các phương pháp này thường thất bại trong việc phân tách chính xác các đối tượng có ranh giới mờ hoặc khi các đối tượng khác nhau có chung một số đặc điểm hình ảnh. Hơn nữa, chúng không có khả năng học hỏi ngữ cảnh. Ví dụ, chúng không thể sử dụng thông tin rằng một tập hợp pixel có hình dạng giống 'ô tô' thì nên được phân loại là 'ô tô', thay vì chỉ dựa vào màu sắc đơn thuần. Sự thiếu hiểu biết về ngữ nghĩa này là hạn chế lớn nhất ngăn cản chúng đạt được độ chính xác cao.

III. Các kiến trúc CNN phổ biến cho bài toán phân đoạn ảnh

Để giải quyết bài toán phân đoạn ảnh ngữ nghĩa, cộng đồng nghiên cứu học sâu đã phát triển nhiều kiến trúc mạng nơ-ron tích chập chuyên biệt. Không giống như các mạng CNN dùng cho phân loại ảnh (trả về một nhãn duy nhất), các kiến trúc này được thiết kế để tạo ra một đầu ra có cùng kích thước không gian với ảnh đầu vào, trong đó mỗi pixel được gán một nhãn lớp. Nền tảng cho các kiến trúc này là kiến trúc mã hóa-giải mã (encoder-decoder). Phần mã hóa (encoder) thường là một mạng CNN phân loại đã được huấn luyện trước (như VGG, ResNet), có nhiệm vụ thu nhỏ dần biểu diễn không gian của ảnh để nắm bắt thông tin ngữ nghĩa. Phần giải mã (decoder) sau đó sẽ thực hiện quá trình ngược lại, tăng kích thước (upsampling) biểu diễn này để khôi phục lại độ phân giải ban đầu và thực hiện phân loại cấp độ pixel. Các mô hình tiên phong như Mạng tích chập hoàn toàn (FCN) đã đặt nền móng cho hướng tiếp cận này. Các kiến trúc sau đó như kiến trúc U-Net, kiến trúc DeepLab, và mô hình Mask R-CNN đã liên tục cải tiến, đưa ra các giải pháp sáng tạo để tăng độ chính xác và hiệu quả, đặc biệt trong các lĩnh vực đòi hỏi sự chính xác cao như ảnh y tế hay xe tự lái.

3.1. Phân tích kiến trúc U Net và vai trò trong ảnh y tế

Kiến trúc U-Net là một trong những mô hình nổi bật nhất cho semantic segmentation, đặc biệt thành công trong lĩnh vực phân đoạn ảnh y tế. Tên gọi U-Net xuất phát từ kiến trúc đối xứng hình chữ U của nó. Giống như các mô hình khác, nó bao gồm một đường đi xuống (contracting path) để nắm bắt ngữ cảnh và một đường đi lên (expansive path) để cho phép bản địa hóa chính xác. Điểm đột phá của U-Net là việc sử dụng các kết nối tắt (skip connections) để nối trực tiếp các đặc trưng từ phần mã hóa sang phần giải mã ở cùng cấp độ. Điều này cho phép phần giải mã tận dụng các thông tin chi tiết, có độ phân giải cao từ các lớp nông, giúp khôi phục lại các ranh giới đối tượng một cách sắc nét. Khả năng hoạt động hiệu quả với số lượng mẫu huấn luyện hạn chế đã khiến U-Net trở thành lựa chọn hàng đầu cho việc phân tích hình ảnh y khoa.

3.2. Tìm hiểu mô hình Mask R CNN cho Instance Segmentation

Khác với U-Net, mô hình Mask R-CNN được thiết kế chuyên cho bài toán instance segmentation. Nó mở rộng từ mô hình phát hiện đối tượng Faster R-CNN. Quá trình hoạt động của Mask R-CNN gồm hai giai đoạn. Đầu tiên, nó xác định các vùng chứa đối tượng tiềm năng (regions of interest) và dự đoán khung bao (bounding box) cùng nhãn lớp cho mỗi đối tượng. Sau đó, song song với việc dự đoán này, một nhánh mạng nhỏ được thêm vào để tạo ra một mặt nạ nhị phân (binary mask) cho mỗi đối tượng trong khung bao đó. Bằng cách tách biệt việc phát hiện và việc tạo mặt nạ cho từng đối tượng, Mask R-CNN có thể phân tách chính xác các thực thể chồng chéo lên nhau, một nhiệm vụ mà các mô hình semantic segmentation truyền thống không thể thực hiện được. Đây là công cụ mạnh mẽ cho các ứng dụng cần đếm và theo dõi đối tượng riêng lẻ.

3.3. So sánh mô hình FCN và kiến trúc DeepLab tiên tiến

Mô hình FCN (Fully Convolutional Network) là một cột mốc quan trọng, lần đầu tiên đề xuất việc sử dụng mạng nơ-ron tích chập từ đầu đến cuối cho việc phân đoạn. Nó thay thế các lớp kết nối đầy đủ (fully connected layers) ở cuối mạng phân loại bằng các lớp tích chập, cho phép mạng xử lý ảnh đầu vào với kích thước bất kỳ và tạo ra bản đồ nhiệt (heatmap) tương ứng. Tuy nhiên, FCN gặp vấn đề về mất mát thông tin chi tiết do các thao tác gộp (pooling). Kiến trúc DeepLab, đặc biệt là các phiên bản sau này, giải quyết vấn đề này bằng cách sử dụng tích chập giãn (atrous/dilated convolution). Kỹ thuật này cho phép mở rộng trường tiếp nhận (receptive field) của bộ lọc mà không làm giảm độ phân giải không gian, giúp duy trì thông tin chi tiết trong khi vẫn nắm bắt được ngữ cảnh rộng. DeepLab cũng giới thiệu các module như Atrous Spatial Pyramid Pooling (ASPP) để nắm bắt ngữ cảnh ở nhiều tỷ lệ khác nhau, giúp cải thiện đáng kể độ chính xác phân đoạn.

IV. Hướng dẫn quy trình huấn luyện mô hình phân đoạn ảnh CNN

Huấn luyện một mô hình phân đoạn ảnh bằng mạng nơ-ron tích chập là một quy trình gồm nhiều bước đòi hỏi sự chuẩn bị kỹ lưỡng. Bước đầu tiên và quan trọng nhất là thu thập và chuẩn bị dữ liệu. Dữ liệu huấn luyện bao gồm các cặp ảnh đầu vào và mặt nạ (mask) tương ứng, trong đó mỗi pixel của mặt nạ được gán nhãn với một lớp cụ thể. Chất lượng và số lượng của dữ liệu này ảnh hưởng trực tiếp đến hiệu suất của mô hình. Sau khi có dữ liệu, bước tiếp theo là lựa chọn một kiến trúc phù hợp, chẳng hạn như U-Net hoặc DeepLab, thường dựa trên một mạng nền đã được huấn luyện trước trên bộ dữ liệu lớn như ImageNet (transfer learning) để tăng tốc độ hội tụ. Cấu trúc cốt lõi của các mô hình này là kiến trúc mã hóa-giải mã. Trong quá trình huấn luyện, mô hình sẽ cố gắng tối thiểu hóa một hàm mất mát, so sánh đầu ra dự đoán với mặt nạ thực tế. Các hàm mất mát chuyên dụng như Cross-Entropy, hàm mất mát Dice, hoặc Focal Loss thường được sử dụng. Cuối cùng, hiệu suất của mô hình được đánh giá bằng các chỉ số như chỉ số IoU (Intersection over Union) hay Dice Score để đo lường mức độ trùng khớp giữa vùng dự đoán và vùng thực tế. Toàn bộ quy trình này có thể được triển khai hiệu quả bằng các thư viện học sâu phổ biến.

4.1. Kiến trúc mã hóa giải mã Encoder Decoder hoạt động ra sao

Kiến trúc mã hóa-giải mã (encoder-decoder) là xương sống của hầu hết các mạng phân đoạn ảnh. Phần encoder có nhiệm vụ thu nhận ảnh đầu vào và nén nó thành một biểu diễn đặc trưng nhỏ gọn, giàu thông tin ngữ nghĩa. Nó thường bao gồm một chuỗi các lớp tích chập và lớp gộp, làm giảm dần kích thước không gian của bản đồ đặc trưng trong khi tăng chiều sâu (số kênh). Phần decoder nhận biểu diễn đặc trưng này và thực hiện nhiệm vụ ngược lại: khôi phục lại bản đồ đặc trưng về kích thước ban đầu của ảnh. Quá trình này được thực hiện thông qua các lớp giải tích chập (deconvolution) hoặc các phương pháp tăng mẫu (upsampling) như nội suy song tuyến tính. Mục tiêu của decoder là sử dụng thông tin ngữ nghĩa từ encoder để tái tạo lại một bản đồ phân đoạn chi tiết, trong đó mỗi pixel được gán nhãn chính xác.

4.2. Tối ưu mô hình với hàm mất mát Dice và chỉ số IoU

Việc lựa chọn hàm mất mát và chỉ số đánh giá là cực kỳ quan trọng trong phân đoạn ảnh, đặc biệt khi các lớp không cân bằng (ví dụ: đối tượng cần tìm chỉ chiếm một phần nhỏ của ảnh). Chỉ số IoU (Intersection over Union), hay chỉ số Jaccard, là một trong những thước đo phổ biến nhất. Nó tính toán tỷ lệ giữa diện tích phần giao và diện tích phần hợp của vùng dự đoán và vùng thực tế. Giá trị IoU càng gần 1 thì kết quả càng chính xác. Tương tự, hàm mất mát Dice (và chỉ số Dice) cũng đo lường sự trùng khớp, được tính bằng hai lần diện tích phần giao chia cho tổng diện tích của hai vùng. Cả hai chỉ số này đều hiệu quả hơn độ chính xác pixel thông thường vì chúng tập trung vào sự chồng chéo của hình dạng đối tượng, giúp mô hình học cách phân đoạn ranh giới tốt hơn.

4.3. Sử dụng TensorFlow PyTorch và OpenCV để triển khai

Các framework hiện đại giúp quá trình triển khai các mô hình phân đoạn ảnh trở nên dễ dàng hơn. TensorFlow và PyTorch là hai thư viện học sâu mã nguồn mở hàng đầu, cung cấp một hệ sinh thái phong phú với các công cụ để xây dựng, huấn luyện và triển khai mạng nơ-ron. Chúng cung cấp các API cấp cao (như Keras trong TensorFlow) cho phép định nghĩa nhanh các kiến trúc phức tạp như U-Net, cùng với các trình tối ưu hóa và hàm mất mát được cài đặt sẵn. Trong khi đó, OpenCV (Open Source Computer Vision Library) là một thư viện không thể thiếu cho các tác vụ xử lý ảnh kỹ thuật số. Nó được sử dụng rộng rãi cho các bước tiền xử lý dữ liệu (đọc, thay đổi kích thước, tăng cường dữ liệu) và hậu xử lý (làm mịn mặt nạ, tìm đường bao), đóng vai trò hỗ trợ quan trọng trong toàn bộ pipeline.

V. Ứng dụng thực tiễn của phân đoạn ảnh CNN trong công nghệ

Công nghệ phân đoạn ảnh dựa trên mạng nơ-ron tích chập đã vượt ra khỏi phạm vi phòng thí nghiệm và được ứng dụng rộng rãi trong nhiều ngành công nghiệp. Những tiến bộ này đang tạo ra tác động to lớn, từ việc cứu sống con người đến việc tự động hóa các quy trình phức tạp. Trong lĩnh vực y tế, các thuật toán phân đoạn giúp bác sĩ chẩn đoán bệnh nhanh hơn và chính xác hơn. Trong ngành công nghiệp ô tô, nó là công nghệ nền tảng cho xe tự lái, cho phép phương tiện nhận thức môi trường xung quanh một cách chi tiết. Ngay cả trong lĩnh vực nông nghiệp và môi trường, phân đoạn ảnh vệ tinh cũng đóng vai trò quan trọng trong việc giám sát cây trồng, theo dõi nạn phá rừng và quản lý tài nguyên thiên nhiên. Khả năng phân tích hình ảnh ở cấp độ pixel một cách tự động và chính xác của các mô hình học sâu đang mở ra một kỷ nguyên mới, nơi máy tính không chỉ nhìn thấy mà còn thực sự hiểu được thế giới hình ảnh. Những ứng dụng này chỉ là một vài ví dụ điển hình cho tiềm năng to lớn của thị giác máy tính trong việc giải quyết các vấn đề thực tiễn.

5.1. Phân đoạn ảnh y tế Chẩn đoán bệnh từ hình ảnh y khoa

Trong lĩnh vực y tế, phân đoạn ảnh y tế là một trong những ứng dụng có tác động lớn nhất. Các mô hình như kiến trúc U-Net có thể tự động xác định và khoanh vùng các cấu trúc giải phẫu hoặc các vùng bất thường trong ảnh chụp y khoa như MRI, CT scan, và X-quang. Ví dụ, chúng có thể phân đoạn chính xác các khối u não, giúp bác sĩ lập kế hoạch xạ trị; xác định thể tích của các buồng tim để đánh giá chức năng tim mạch; hoặc đếm số lượng tế bào trong ảnh kính hiển vi. Việc tự động hóa này không chỉ giúp tiết kiệm thời gian quý báu của các chuyên gia y tế mà còn giảm thiểu các sai sót chủ quan, mang lại kết quả chẩn đoán nhất quán và đáng tin cậy hơn, góp phần cải thiện chất lượng chăm sóc sức khỏe.

5.2. Vai trò quan trọng trong hệ thống xe tự lái và ảnh vệ tinh

Đối với hệ thống xe tự lái, semantic segmentation là một nhiệm vụ sống còn. Để có thể di chuyển an toàn, xe cần phải hiểu rõ môi trường xung quanh bằng cách phân loại từng pixel trong tầm nhìn của camera thành các lớp như 'đường đi', 'vỉa hè', 'người đi bộ', 'phương tiện khác', và 'chướng ngại vật'. Thông tin chi tiết này cho phép xe đưa ra các quyết định điều khiển chính xác, từ việc giữ đúng làn đường đến việc phanh khẩn cấp khi phát hiện nguy hiểm. Tương tự, trong lĩnh vực viễn thám, việc phân đoạn ảnh vệ tinh cho phép các nhà khoa học và nhà hoạch định chính sách giám sát Trái Đất ở quy mô lớn. Họ có thể sử dụng công nghệ này để lập bản đồ lớp phủ đất, theo dõi sự thay đổi của các dòng sông băng, phát hiện các khu vực canh tác bất hợp pháp hoặc đánh giá thiệt hại sau thiên tai.

VI. Tương lai của Semantic Segmentation và công nghệ học sâu

Lĩnh vực phân đoạn ảnh và học sâu đang phát triển với tốc độ chóng mặt, hứa hẹn nhiều đột phá hơn nữa trong tương lai. Một trong những hướng nghiên cứu chính hiện nay là phát triển các mô hình hiệu quả hơn, có thể chạy trên các thiết bị có tài nguyên hạn chế như điện thoại di động hoặc hệ thống nhúng mà không làm giảm đáng kể độ chính xác. Bên cạnh đó, các nhà nghiên cứu đang tìm cách giảm sự phụ thuộc vào dữ liệu gán nhãn thủ công tốn kém bằng các kỹ thuật như học bán giám sát (semi-supervised learning) và học yếu giám sát (weakly-supervised learning). Hướng đi hợp nhất các loại hình phân đoạn, điển hình là Panoptic Segmentation, cũng đang nhận được nhiều sự quan tâm, hướng tới một hệ thống thị giác máy tính toàn diện có khả năng hiểu cảnh vật một cách trọn vẹn. Tại Việt Nam, như đã được đề cập trong nghiên cứu từ năm 2015 về việc ứng dụng CNN trong xử lý ảnh, việc nắm bắt và phát triển các công nghệ này mở ra cơ hội lớn để giải quyết các bài toán đặc thù của quốc gia trong các lĩnh vực như nông nghiệp thông minh, quản lý giao thông và y tế cộng đồng, góp phần thúc đẩy sự phát triển của khoa học công nghệ trong nước.

6.1. Hướng phát triển của các mô hình Panoptic Segmentation

Panoptic Segmentation được xem là bước tiến tiếp theo trong bài toán phân đoạn ảnh. Thay vì giải quyết semantic segmentation và instance segmentation như hai nhiệm vụ riêng biệt, nó cung cấp một cái nhìn thống nhất và toàn diện hơn về cảnh vật. Các mô hình trong tương lai sẽ tập trung vào việc thiết kế các kiến trúc mạng đơn giản và hiệu quả hơn để có thể thực hiện đồng thời cả hai nhiệm vụ. Thách thức chính nằm ở việc cân bằng giữa việc nhận dạng các đối tượng nền (stuff) có kết cấu đa dạng và việc phân tách các đối tượng cụ thể (things) có thể chồng chéo lên nhau. Việc giải quyết thành công bài toán này sẽ đưa khả năng nhận thức của máy tính đến gần hơn với con người, mở ra các ứng dụng tiên tiến trong robot tương tác và thực tế tăng cường.

6.2. Thách thức và cơ hội cho lĩnh vực thị giác máy tính Việt Nam

Lĩnh vực thị giác máy tính tại Việt Nam đang đứng trước cả thách thức và cơ hội lớn. Thách thức lớn nhất bao gồm việc xây dựng các bộ dữ liệu quy mô lớn, chất lượng cao, đặc thù cho các vấn đề của Việt Nam (ví dụ: dữ liệu giao thông, cây trồng nhiệt đới) và nhu cầu về nguồn nhân lực có trình độ cao cũng như hạ tầng tính toán mạnh mẽ. Tuy nhiên, cơ hội cũng vô cùng rộng mở. Việc ứng dụng các mô hình học sâu tiên tiến vào các lĩnh vực như nông nghiệp công nghệ cao (phân tích sức khỏe cây trồng qua ảnh), y tế (hỗ trợ chẩn đoán), giao thông thông minh (phân tích lưu lượng và hành vi), và bảo tồn văn hóa (số hóa di sản) có thể mang lại giá trị kinh tế và xã hội to lớn. Việc thúc đẩy nghiên cứu và hợp tác giữa các viện, trường và doanh nghiệp sẽ là chìa khóa để Việt Nam có thể tận dụng cuộc cách mạng AI này.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Trong xã hội loài người ngôn ngữ là một phương tiện trao đổi thông tin phổ biến trong quá trình giao tiếp. Bên cạnh đó hình ảnh cũng là một cách trao đổi thông tin mang tính chính xác, biểu cảm khá cao và đặc biệt bị cảm giác chủ quan của đối tượng chi phối. Thông tin trên hình ảnh rất phong phú, đa dạng và có thể xử lý bằng máy tính. Chính vì vậy, trong những năm gần đây sự kết hợp giữa ảnh và đồ họa đã trở nên rất chặt chẽ trong lĩnh vực xử lý thông tin.

Cũng như xử lý dữ liệu hình ảnh bằng đồ họa, việc xử lý ảnh số là một lĩnh vực của tin học ứng dụng. Xử lý ảnh số thao tác trên các ảnh tự nhiên thông qua các phương pháp và kỹ thuật mã hóa. Phân đoạn ảnh là bước then chốt trong xử lý ảnh, giai đoạn này nhằm phân tích ảnh thành các phần có cùng tính chất nào đó dựa theo biên hay các vùng liên thông. Mục đích của phân đoạn ảnh là có thể miêu tả tổng hợp từ nhiều phần tử khác nhau cấu tạo nên ảnh thô.

Vì lượng thông tin chứa trong ảnh rất lớn, trong khi đó đa số các ứng dụng chỉ cần trích chọn một vài đặc trưng nào đó, do vậy cần có một quá trình để giảm lượng thông tin khổng lồ ấy. Quá trình này bao gồm phân vùng ảnh và trích chọn đặc tính chủ yếu. Tuy nhiên các phương pháp xử lý ảnh truyền thống lại đòi hỏi nhiều thời gian xử lý nhất là với những ảnh có kích thước lớn. Để đáp ứng yêu cầu đó người ta đã và đang tìm kiếm nhiều phương pháp xử lý ảnh song song khác nhau nhằm giảm thời gian xử lý.

Mạng nơron tế bào CNN là một trong những công cụ xử lý ảnh thời gian thực sự hữu hiệu và đang được quan tâm nghiên cứu rộng rãi trên thế giới do có nhiều ưu điểm trong đó có bản chất xử lý song song. Ảnh số là một mảng số thực hai chiều kích thước MxN trong đó mỗi phần tử ảnh là một tế bào C(i,j), i = 1, 2,., N, biểu thị mức xám của ảnh tại các vị trí (i,j) tương ứng. Ảnh được coi là ảnh nhị phân nếu C(i,j) Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 2 chỉ nhận giá trị 0 hoặc 1. Các đặc trưng của ảnh thường bao gồm các thành phần như: mật độ xám, phân bố xác suất, phân bố không gian, biên ảnh.

Được sự gợi ý của giáo viên hướng dẫn và nhận thấy tính thiết thực của vấn đề này, tôi đã chọn đề tài: “Nghiên cứu ứng dụng công nghệ mạng Nơron tế bào vào bài toán phân đoạn ảnh” để làm đề tài cho luận văn tốt nghiệp của mình Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 3 Chƣơng I CÁC LÝ THUYẾT BỔ TRỢ 1. Mạng nơron tế bào 1. Kiến trúc mạng nơron tế bào CNN 1. Giới thiệu chung về mạng nơron tế bào Công nghệ mạng nơron tế bào CNN (Cellular Neural Networks) đã được các nhà khoa học Mỹ và Hungary phát minh ra vào năm 1988 có tốc độ xử lý 1012 phép tính/giây và được áp dụng cho các hệ thống xử lý ảnh nhanh 10 - 50000 ảnh/giây.

Đây là bước đột phá về chất do cấu trúc của máy tính xử lý CNN là song song với hàng trục ngàn CPU được kết nối thành mạng trong một chip. Công nghệ này cho phép giải quyết nhiều bài toán xử lý phức tạp trong thời gian thực hiện mà các máy tính thông thường chưa làm được.[2] Sự ra đời của mạng nơron tế bào CNN đã mở ra một thời đại mới cho sự phát triển của khoa học tính toán tiếp cận đến các phương thức xử lý. Ta biết rằng các máy tính số hiện nay về cơ bản là loại máy logic với các dữ liệu rời rạc được mã hóa theo hệ nhị phân. Tính chất cơ bản của nó là khả năng thực hiện thuật toán theo chương trình được lưu trong bộ nhớ.

Ðây là loại máy tính vạn năng xử lý trên các số nguyên hay còn gọi là máy Turing. Các phép tính cơ bản của nó là các phép số học và logic. Thuật toán là các chuỗi logic của các phép tính cơ bản này. Sự ra đời của bóng bán dẫn năm 1948 và của các vi mạch tích hợp IC năm 1960 đã tạo ra các máy tính số có tính thực tiễn cao với giá thành rẻ và hiện nay đã trở thành một loại hàng hóa thông dụng.

Sự hoàn thiện chíp CNN đặc trưng bởi kích thước và chức năng một vài loại có mẫu cố định là 256 tế bào, một số loại khác có kích thước giới hạn là 30 tế bào. Hiện nay có loại chíp có thể lập trình có kích thước 1024 tế bào. Khả năng lập trình được và tốc độ cao làm cho CNN phù hợp tốt hơn với các xử lý phi tuyến, nó cho phép nhận được và xử lý tín hiệu phi tuyến. Tuy vậy Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 4 những ưu thế thực sự của CNN là nó tương đương với chíp có mật độ tích hợp lớn tiêu thụ nhiều năng lượng.

Một ứng dụng quan trọng của mạng nơron tế bào là xử lý ảnh. Chức năng cơ bản của mạng nơron tế bào trong quá trình xử lý ảnh là ánh xạ hoặc chuyển hình ảnh đầu vào tương ứng với hình ảnh đầu ra. Ngoài ứng dụng xử lý ảnh tốc độ cao ra công nghệ CNN còn được dùng để tối ưu hoá hệ thống truyền dữ liệu băng thông rộng, giải phương trình vi phân đạo hàm hàm riêng PDE. Ngược lại, với cấu trúc xử lý song song hoàn toàn, liên tục theo luồng theo thời gian, với việc cho phép triển khai nhiều mô hình toán học trong cả trường số thực và số phức người ta có thể xây dựng các mô hình CNN một lớp hoặc nhiều lớp trên phần cứng.Kiến trúc mạng Nơron tế bào - Có hai định nghĩa tổng quát của một CNN như sau: + Ðịnh nghĩa 1: Một mạng nơron tế bào CNN là một mảng 2, 3 hoặc n chiều của các hệ thống động lực học được gọi là các tế bào, hầu hết các hệ này là đồng nhất và thoả mãn hai thuộc tính:  Ảnh hưởng phổ biến là cục bộ trong phạm vi bán kính r.

 Tất cả các biến trạng thái là giá trị tín hiệu liên tục. + Ðịnh nghĩa 2: Một mạng nơron tế bào CNN là một mạch điện phi tuyến động lực học bậc cao được tạo nên bởi ghép nối liên kết cục bộ theo không gian các khối mạch điện giống nhau - mỗi khối mạch điện được gọi là một tế bào. Mạng được tạo thành có thể có kiến trúc bất kỳ như dạng lưới hình chữ nhật, 6 cạnh, 3 cạnh, hình cầu,. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.

Một số kiểu mạng CNN - Công nghệ CNN gồm tập các chíp (tế bào) có liên kết cục bộ với nhau tạo thành lưới với nhiều hình trạng khác nhau. Để đơn giản, ta xét kiến trúc chuẩn của CNN là một mảng hình chữ nhật kích thước MxN tế bào, mỗi tế bào ký hiệu là C(i,j), ứng với tọa độ (i,j) trong không gian Đề - Các hai chiều. Chỉ số i, j thỏa mãn điều kiện i=1. Kiến trúc mạng nơron tế bào chuẩn Trong đó, mỗi ô vuông biểu diễn cho một tế bào C(i,j) có liên kết trực tiếp về tín hiệu điện với các tế bào láng giềng.

- CNN là mạch điện phi tuyến động có kích thước lớn, được tạo bởi cặp các tế bào liên kết với nhau, phân bố đều không gian. Mạch này có cấu trúc hình chữ nhật, lục giác đều, hình cầu,. với những đặc trưng: + Luật tiếp hợp trong CNN biểu diễn sự tương tác từng cặp của tế bào C(i,j) với các tế bào láng giềng C(k,1) của nó. + Mỗi tế bào có điều kiện biên và điều kiện ban đầu.

Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 6 - Hệ CNN là ma trận n chiều của những phần tử động giống hệt nhau, mỗi phần tử là một mạch tích hợp gọi là tế bào, mỗi tế bào có hai thuộc tính: + Chỉ tương tác với các tế bào lân cận trong phạm vi bán kính là r (r là số nguyên dương) + Giá trị trạng thái của tế bào là những tín hiệu có giá trị liên tục. - Các phương trình quan trong mô tả cho hệ CNN là: + Phương trình trạng thái: xij   xij   C ( k ,l )Sr ( i , j ) A(i, j; k , l ) ykl   C ( k ,l )Sr ( i , j ) B(i, j; k , l )u kl  zij (1.1) xij  R, yij  R và zij  R được gọi là trạng thái: đầu ra, đầu vào, ngưỡng của tế bào C(i,j), A(i, j; k, l) và B(i, j; k, l) được gọi là toán tử phản hồi và toán tử dẫn nhập đầu vào. + Phương trình đầu vào Vuij=Eij với 1 ≤ i ≤ M; 1≤ j ≤ N (1.2) Giá trị Vuij tương ứng với giá trị ban đầu của phương trình vi phân khi áp dụng CNN để giải phương trình vi phân hoặc ảnh đầu vào đối với bài toán xử lý ảnh. + Phương trình đầu ra 1 1 yij  f ( xij )  xij  1  xij  1 (1.3) 2 2 + Phương trình mô tả các ràng buộc │vxij(O) │≤ 1 với 1≤ i≤ M; 1 ≤ j≤ N (1.5) + Phương trình tham số giả định A(i,j;k,l) = A(k,l;i,j) với 1≤ i≤ M; 1 ≤ j≤ N (1.6) + Điều kiện biên xác định và là các tế bào thuộc hiệu ứng cầu của các tế bào cạnh nhưng nằm ngoài mảng kích thước MxN Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 7 - Đối với ứng dụng CNN trong xử lý ảnh, đầu vào thường là cường độ điểm ảnh, thang độ xám kích thước MxN, -1 <ukl < +1 khi đó mức “trắng” được mã hóa là -1 và “đen” được mã hóa là +1.

- Đối với ảnh tĩnh, ukl là hằng số, đối với ảnh động (video) ukl là một hàm theo thời gian. A(i,j;k,l), B(i,j;k,l) và zij thay đổi theo vị trí (i,j) và thời gian t. Một số trường hợp khác có thể coi A(i,j; k,l), B(i,j; k,l) và zij không đổi theo không gian và thời gian. Mạng CNN bất biến không gian và đẳng hướng nếu các toán tử A(i,j;k,l), B(i,j;k,l) và toán tử ngưỡng zij không đổi theo không gian.