CHƯƠNG 1 : TỔNG QUAN VỀ PHÂN ĐOẠN ẢNH 1.1 Xử lý ảnh là gì Xử lý ảnh là quá trình khác thú vị khi biến đổi hình ảnh thông thường sang dạng kĩ thuật số, sau đó tận dụng để tạo ra những thông tin hữu ích. Để làm điều này, hệ thống xử lý ảnh thường xem mọi bức ảnh như một tín hiệu 2D và tiến hành các phép biến đổi dựa trên các kỹ thuật đã được xác định trước. Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng vai trò quan trọng nhất. Những năm trở lại đây với sự phát triển của phần cứng máy tính, xử lý ảnh và đồ hoạ đó phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống.
Xử lý ảnh và đồ hoạ đóng một vai trò quan trọng trong tương tác người máy. Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận.1 Quá trình xử lý ảnh Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như là đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của đối tượng trong không gian và nó có thể xem như một hàm n biến P(c1, c2,. Do đó, ảnh trong xử lý ảnh có thể xem như ảnh n chiều.
Sơ đồ tổng quát của một hệ thống xử lý ảnh minh họa như sau: Hình 1.2 Các bước cơ bản trong một hệ thống xử lý ảnh Phạm Thị Ngọc Anh _ CT2301M 10 1.2 Phân đoạn ảnh Phân đoạn ảnh ( hay còn gọi là phân vùng ảnh, tiếng Anh Image segmentation ) là quá trình phân chia ảnh thành các vùng hoặc đối tượng có tính chất thoả mãn một tiêu chí xác định ( có sự tương đồng về mức xám, kết cấu, màu sắc, v.v) Mức độ chi tiết của việc phân chia phụ thuộc vào từng bài toán cần giải quyết. Phân đoạn ảnh là một bài toán căn bản nhưng cũng rất phức tạp trong chuỗi xử lý và phân tích ảnh nói chung bởi sự đa dạng trong định nghĩa cũng như tính chất của vùng hoặc đối tượng quan tâm trong ảnh Thời kỳ đầu của thị giác máy tính, các giải thuật phân vùng ảnh chưa quan tâm nhiều đến ngữ nghĩa và thực thể đối tượng cần xem xét. Trong thời gian gần đây, phân vùng ảnh hướng đến phân tách ảnh thành các vùng, mỗi vùng có thể chứa một đối tượng hoặc các thực thể của một lớp đối tượng nào đó. Ba bài toán thường gặp trong quá trình phân vùng ảnh đó là: − Phát hiện đối tượng: tìm bao đóng chứa các đối tượng quan tâm (vd.
con người). − Phân vùng ngữ nghĩa (semantic segmentation): phân chia các điểm ảnh vào các lớp khác nhau. Các đối tượng cùng một lớp sẽ thuộc cùng một vùng (vd. mọi người trong ảnh thuộc một vùng).
− Phân vùng thực thể (instance segmentation): phân chia các điểm ảnh vào các lớp nhưng các đối tượng của cùng một lớp thì có nhãn khác nhau. Như vậy mỗi thực thể của một lớp đối tượng sẽ được xác định là một vùng riêng biệt (vd. mỗi người trong ảnh là một vùng). Phân vùng ảnh là bài toán được đề cập và giải quyết từ những năm 1970 trong các công bố của Brice và Fenema.
Năm 1974 Watanabe đề xuất kỹ thuật phân vùng ảnh dựa trên lấy ngưỡng. Năm 1978 Jack Sklandsky đề xuất kỹ thuật phân vùng ảnh dựa trên phát hiện biên. Kỹ thuật lan vùng xác định trực tiếp vùng bằng cách lan vùng từ một vị trí trong ảnh cho đến khi nào tiêu chí vùng vẫn còn thỏa mãn do Brice và Fennema đề xuất năm 1970, sau đó được cải tiến Phạm Thị Ngọc Anh _ CT2301M 11 bởi Pavlidis và các cộng sự năm 1990, R. Bischof – 1994, Zugaj và cộng sự năm 1998; Hojjatoleslami, S.
Năm 1979, Coleman và Andrews giới thiệu kỹ thuật phân vùng ảnh dựa trên phân cụm. Kỹ thuật Watershed coi ảnh là một bề mặt topo, khi đó việc phân vùng được xem là thực hiện phép biến đổi watershed để tìm ra các vùng ảnh quan tâm. Kỹ thuật này lần đầu tiên được giới thiệu bởi Digabel và Lantu´ejoul vào năm 1978, tiếp tục được cải tiến bởi S Beucher 1992, V Grau và các cộng sự năm 2004. Năm 2004, Rother và cộng sự đề xuất kỹ thuật Graph cuts.
Năm 2006, Kato và Pong đề xuất kỹ thuật Trường ngẫu nhiên markov có điều kiện. Kỹ thuật này coi bài toán phân vùng là bài toán gán nhãn và đi tìm lời giải theo hướng tiếp cận xác suất. Hiện nay, các giải thuật học sâu đã cho những kết quả ấn tượng trên rất nhiều bài toán liên quan đến phân tích và hiểu ảnh. Các giải thuật học sâu coi bài toán phân vùng ảnh là bài toán gán nhãn mức điểm ảnh và đưa ra các kết quả phân vùng thực thể ngữ nghĩa phục vụ cho nhiều bài toán sau đó.
Năm 2015, Long và cộng sự đề xuất Mạng tích chập đầy đủ (Fully Convolutional Networks) cho bài toán phân vùng ảnh bằng cách thay đổi kiến trúc mạng VGG- 16 và GoogleNet để xử lý các đầu vào và đầu ra có kích thước không cố định. Cũng vào năm này, No và cộng sự đề xuất Mô hình Tự mã hóa – giải mã cho phân vùng ảnh. Ren và cộng sự đề xuất mạng theo Mô hình mạng tích chập vùng (R-CNN) cho phân vùng thực thể. Năm 2016, Visin và cộng sự đề xuất mạng theo Mô hình hồi qui (Recurrent Neural Network - RNN) cho phép mô hình hóa quan hệ phục thuộc ngắn/dài hạn giữa các điểm ảnh để cải thiện chất lượng phân vùng ảnh.
Năm 2017, Lin và cộng sự đề xuất mạng FPN (Feature Pyramid Network) theo Mô hình đa phân giải và cấu trúc kim tự tháp, trong đó, cấu trúc phân cấp Phạm Thị Ngọc Anh _ CT2301M 12 đa tầng các mạng CNN được lồng ghép để tạo các đặc trưng đa phân giải nhằm phát hiện các đối tượng ở kích thước khác nhau trong ảnh. Năm 2018, Marcos và cộng sự đã đề xuất Mô hình mạng CNN kết hợp với mô hình biên động (active contour). Phân vùng ảnh được ứng dụng trong nhiều lĩnh vực khác nhau như phân tích ảnh y tế, xe tự hành, giám sát an ninh, thực tại tăng cường, tương tác người máy, v. − Phân tích ảnh y tế: phân vùng các khối u, các vùng tổn thương trên ảnh nội soi, ảnh CT, MRI − Xe tự hành: Phát hiện các biển báo giao thông, làn đường, xe cộ, trợ giúp lái cho xe tự hành − Giám sát an ninh: Phát hiện người truy nhập trái phép trong tòa nhà, phân vùng và định vị bất thường − Tương tác người máy: phân vùng bàn tay trong ảnh để điều khiển thiết bị trong phòng thông minh − Đa dạng sinh học: phát hiện và phân vùng ảnh cây cối phục vụ cho việc nhận dạng tự động, trợ giúp trong việc lưu trữ, bảo tồn bảo tàng cây thuốc, cây gỗ quý − Vệ tinh, viễn thám: khoanh vùng các vùng ảnh quan tâm (phân hoạch, giám sát diện rộng).
Phân vùng ảnh là một pha xử lý trung gian quan trọng trong chuỗi xử lý phân tích và hiểu ảnh. Bài toán phân vùng ảnh vẫn đối mặt với các thách thức cần phải giải quyết trong tương lai như sau: Các cơ sở dữ liệu thách thức hơn; Các mô hình học sâu có thể giải thích được; Các phương pháp học không giám sát hoặc ít giám sát; Mô hình thời gian thực cho các ứng dụng khác nhau; Phân vùng dựa trên đám mây điểm: hiện nay các thiết bị cho phép thu nhận dữ liệu Phạm Thị Ngọc Anh _ CT2301M 13 3D đang phổ biến. Việc phân vùng dựa trên đám mây điểm 3D cũng sẽ là một khuynh hướng phát triển trong tương lai gần. Hiện nay, tại Việt Nam, có nhiều phòng thí nghiệm, viện nghiên cứu, bộ môn hoặc các nhà nghiên cứu độc lập, các công ty đang theo đuổi và giải quyết các bài toán liên quan đến phân vùng ảnh phục vụ cho các ứng dụng khác nhau như phân vùng ảnh nội soi, ảnh X quang phục vụ các ứng dụng y tế (Viện MICA, Viện Điện tử Y Sinh – ĐHBK Hà Nội); phân vùng ảnh văn bản phục vụ tự động nhận dạng ký tự (Viện công nghẹ thông tin thuộc Viện Hàn lâm KHCNVN), phân vùng ảnh vệ tinh (Viện công nghẹ thông tin thuộc Viện Hàn lâm KHCNVN, Học viện Kỹ thuật Quân sự, Đại học Quốc gia Hà Nội); phân vùng ảnh giao thông trong điều hướng phân luồng (Công ty Biển Bạc), phân vùng ảnh người, tay trong ứng dụng giám sát hoặc tương tác người máy (Viện MICA, ĐHBK Hà Nội, Đại học Quốc gia HCM), v.3 Phân đoạn ảnh ngữ nghĩa 1.1 Phân đoạn ngữ nghĩa là gì Phân đoạn ngữ nghĩa là quá trình phân bổ nhãn ngữ nghĩa cho mọi pixel có trong hình ảnh.
Ví dụ: tính năng phát hiện biển báo giao thông nhằm mục đích phân loại từng pixel thành ô tô, người đi bộ hoặc biển báo đường bộ. Phân đoạn ngữ nghĩa nhằm mục đích giải quyết các vấn đề phân loại bằng thị giác máy tính thúc đẩy học sâu và mạng lưới thần kinh tích chập (CNN). Nó liên quan đến việc gắn nhãn cho từng pixel trong hình ảnh bằng nhãn danh mục hoặc lớp, chẳng hạn như “người”, “cây” hoặc “ô tô”. Phạm Thị Ngọc Anh _ CT2301M 14 Hình 1.3 Gán nhãn cho từng pixel trong ảnh Phân đoạn theo ngữ nghĩa khác với các tác vụ phân đoạn tiêu chuẩn vốn gắn nhãn các pixel theo đặc tính vật lý của chúng (tức là màu sắc của chúng).
Nó nhằm mục đích chú thích từng pixel bằng nhãn đối tượng của nó. Thuật toán xác định đối tượng hoạt động theo kiến trúc học tập của mạng lưới thần kinh. Phân đoạn theo ngữ nghĩa gần đây đã thu hút được nhiều sự chú ý hơn trong lĩnh vực thị giác máy tính và học sâu. Điều này là do ứng dụng ngày càng tăng của nó trong các ngành công nghiệp khác nhau.2 Các loại phân đoạn hình ảnh khác nhau Phân đoạn hình ảnh là quá trình phân chia một hình ảnh kỹ thuật số (hình ảnh tĩnh và hình ảnh video) thành nhiều phân đoạn.
Các phân khúc này là các khu vực đồng nhất về nội dung và đặc điểm. Phân đoạn được sử dụng trong các tác vụ xử lý hình ảnh và thị giác máy tính, chẳng hạn như nhận dạng đối tượng và hiểu cảnh. Các loại phân đoạn hình ảnh bao gồm: − Phân đoạn ngữ nghĩa − Phân đoạn tức thì Phạm Thị Ngọc Anh _ CT2301M 15 Phân đoạn ngữ nghĩa Phân đoạn ngữ nghĩa là một kỹ thuật học sâu phân loại các pixel hình ảnh thành các lớp được xác định trước.