Chương 1: Giới thiệu. Chương này trình bày tổng quan về vấn đề nghiên cứu của chúng tôi, cùng với thách thức, ứng dụng và động lực của bài toán và mục tiêu của khóa luận này. Ngoài ra, trong chương này, chúng tôi cũng trình bày tổng quan về cấu trúc của bài báo cáo khóa luận. 8 e Chương 2: Các hướng tiếp cận bài toán phân đoạn đối tượng trên video dựa vào chỉ dẫn tương tác.
Chương này trình bày các phương pháp tiếp cận hiện đại gần đây về phân đoạn đối tượng trên ảnh và video cùng với một số hướng tiếp cận phổ biến. e Chương 3: Phương pháp đề xuất. Chương này trình bày phương pháp chúng tôi đề xuất cho bài toán phân đoạn đối tượng trong video dựa vào chỉ dẫn tương tác. e Chương 4: Kết quả thực nghiệm.
Chương này thể hiện các kết quả thực nghiệm của chúng tôi và quá trình kiểm tra, đánh giá các thành phần ảnh hưởng trong phương pháp mà chúng tôi đề xuất. e Chương 5: Kết luận. Phần kết luận tổng hợp lại các vấn đề trong khóa luận của chúng tôi cùng với những đóng góp chính. Ngoài ra, chúng tôi cũng đề cập đến một số các hướng phát triển trong tương lai.
Chương 2 Các hướng tiép cận bài toán phân đoạn đối tượng trên video dựa vào chỉ dẫn tương tác 2.1 Phân đoạn hình ảnh dựa vào chỉ dẫn tương 2 tac 2.1 Tổng quan Phân đoạn đối tượng trong video dựa vào chỉ dan tương tác thực chất là quá trình phân đoạn đối tượng ở từng khung hình trong video theo những chỉ dẫn tương tác của người dùng. Vì vậy, các mô hình phân đoạn ảnh dựa vào chỉ dẫn tương tác là một thành phần rất quan trọng đối với tác vụ phân đoạn trên video. Một số các công trình nghiên cứu trước đó về chủ đề này thương tập trung vào van đề khôi phục hay cải thiện kết quả của các mặt nạ phân đoạn bằng cách sử dụng thêm các tham số tối uu và cơ chế lan truyền ngược để tinh chỉnh lại các 10 lược đồ tương tác. Mỗi phương pháp có ưu và nhược điểm riêng, tuy nhiên đều gặp chung vấn đề về thời gian tính toán và xử lý.2 Co chế tỉnh chỉnh bằng phương pháp lan truyền ngược Nhận thấy rằng kiến trúc mạng Bộ mã hóa - Bộ giải mã là một dạng cấu trúc có khả năng trích xuất và khôi phục lại các thông tin đặc trưng toàn cục và cục bộ, rất thích hợp để xây dựng các bài toán phân đoạn ảnh — bài toán yêu cầu tính cho tiết và độ chính xác cao về ranh giới của vật thể.
Do đó, nhóm hai nhà nghiên cứu Won-Dong Jang và Chang-Su Kim đã xây dựng một kiến trúc mạng phân đoạn ảnh nhận tương tác của người dùng để chỉ định một đối tượng mục tiêu trên ảnh theo phong cách Bộ mã hóa- Bộ giải mã. Ngoài ra, với ý định tỉnh chỉnh lại các mặt nạ phân đoạn dựa vào thông tin tương tac của người dùng, nhóm hai nhà nghiên cứu cũng thiết kế một cơ chế tỉnh chỉnh bằng phương pháp lan truyền ngược (Backpropagation Refinement Scheme) viết tắt là BRS [9] để lưu trữ và sàng lọc thông tin cũng như định hướng mô hình theo như ý muốn của người dùng.1 thể hiện tổng quan kiến trúc mang BRS. Encoder Coarse decoder Iinmpaugte Inmteracpios Skip connection Hình 2.1: Tổng quan về mô hình phan đoạn ảnh dựa vào chi dẫn tương tác thong qua cơ chế tinh chỉnh bằng phương pháp lan truyền ngược [9]. Kiến trúc mạng cho bài toán phân đoạn ảnh dựa vào chỉ dẫn tương tác được nhóm tác giả xây dụng theo lối kiến trúc Bộ mã hóa - Bộ giải mã.
Trong đó, bộ giải mã gồm 2 thành phần Bộ giải mã thô (Coarse Decoder) và Bộ giải mã tỉnh (Fine Decoder). Mô hình nhận đầu vào là một ảnh và 2 lược đồ tương tác của người dùng, một cho đối tượng đang muốn phân đoạn và một cho các đối 11 tượng khác hay vùng phông nền. Với Bộ mã hóa, nhóm tác giả sự dụng DenseNet để trích xuất các đặc trưng cấp cao cũng như các đặc trưng cấp thấp, sau đó áp dụng kết nối tắt (Skip Connection) để khôi phục và thu thập nhiều thông tin hơn về ranh giới của vat thể. Hai bộ giải mã thô và bộ giải mã tinh cho đầu ra là một lược đồ xác suất, xác suất ở vùng hay vị trí nào cao thì nơi đó khả năng là vùng phân đoạn vật thể đang chỉ định bởi người dùng cao hơn.
Tuy nhiên, nhiệm vụ chính của Bộ giải mã thô là dự đoán một mặt nạ phân đoạn thô cho đối tượng, còn Bộ giả mã tỉnh sẽ tiến hành tỉnh chỉnh cải thiện kết quả phân đoạn thô từ bộ giải mã thô. Bộ giải mã thô gồm 4 khối giải mã, mối khối gồm 3 lớp tích chập. Mô hình nhận kết quả từ bộ giải mã thô và nối (concatenate) với các thông tin đầu vào, sau đó được chuyển đời qua cho bộ giải mã tinh xử lý tinh chỉnh kết quả. Bộ giải mã tinh sử dụng tích chập atrous để mở rộng vùng tiếp nhận thông tin.
Một parametric rectified unit va batch normalization sẽ được thực hiện sau mỗi lớp tích chập trừ các lớp dùng để dự đoán như “Coarse ConvP” va “Fine ConvP”. Cơ chế tinh chỉnh bằng phương pháp lan truyền ngược. Mô hình phan đoạn ảnh dựa vào chỉ dẫn tương tác cho kết quả phân đoạn vật thể với chất lượng khá ổn. Tuy nhiên, mô hình này lại có một nhược điểm là không thể đảm bảo rằng những điểm ảnh mà người dùng thực hiện tương tác lên có kết quả phân đoạn ảnh đúng.
Do đó, cơ chế tinh chỉnh bằng phương pháp lan truyền ngược được áp dung dé bắt buộc những điểm ảnh này được gán nhãn một cách chính xác để kết quả phân đoạn tốt hơn nữa. Mô hình sẽ thực thi cơ chế tinh chỉnh bằng phương pháp lan truyền ngược cho đến khi tất cả các điểm ảnh do người dùng tương tác lên được phân đoạn chính xác. Người dùng thông thường sẽ tương tác nhiều lần để kết quả phân đoạn cải thiện dần dần. Việc chỉnh sửa kết quả phân đoạn này có thể thực hiện được bằng tỉnh chỉnh trực tiếp tham số của mô hình, tuy nhiên việc này lại làm mất đi thông tin mô hình đã được học trước đó.
Thay vì vậy có thể chỉnh sửa lại lược đồ tương tác ban đầu của người dùng. Mục tiêu của BRS là tối thiểu tinh chỉnh trong các lược đồ tương tác sao cho nhất quán với mặt nạ phân đoạn đối tượng. BRS sử dụng 2 hàm năng lượng là Corrective Energy tương ứng với tọa độ các điểm tương tác đầu vào và Inertial Energy nhằm giữ cho mô hình ổn định với những sự thay đổi nhỏ từ đầu vào. Ví dụ ƒ(z)„„ là đầu ra của mô hình với ảnh z và điểm tương tác là (u,v) với nhãn / thi ham năng lượng được tính toán bằng công thức (2.1): 12 AlAzlls * DL + Aa) — )Ÿ > min (2.1) BRS được áp dung sau lần tương tác thứ 2 của người dùng và sé được thực hiện đệ quy cho đến khi ngươi dùng dừng tương tác.
Với lối kiến trúc mạng Bộ giải mã-Bộ mã hóa cùng với cơ chế tỉnh chỉnh bằng phương pháp lan truyền ngược, mô hình cho bài toán phân đoạn ảnh dựa vào chỉ dẫn tương tác do nhóm tác giả Won-Dong Jang và Chang-Su Kim công b6 mang lại kết quả cải thiện đáng kể. Trên các bộ dữ liệu như GrabCut [18], Berkeley [14], DAVIS [16] và SBD [6], mô hình BRS cần số lần tương tác ít hơn để đạt kết quả đến 85% và 90% so với các phương pháp trước đó. Tuy nhiên, nhược điểm lớn nhất của BRS chính là tốn quá nhiều chi phí và thời gian tính toán do việc tinh chỉnh được thực hiện đệ quy và mỗi lần chỉnh sửa mặt nạ phân đoạn cần phải lan truyền ngược lại toàn cấu trúc mạng.3 Cơ chế tinh chỉnh các đặc trưng trung gian bang phương pháp lan truyền ngược OistMap-BRS. LBRS-B pm Per pone! opmmerahon 'wcale ard baw on the (AC: maps (128+12 chanwets) DeepLany3+ Y Decoder i i A = —— : RGB-BRS LBRS-A -BRS-C Toned per-pinel optimization sale and bias mm.
on the image Gott channehi) (128 channels} Hình 2.2: Tổng quan về mô hình phân đoạn ảnh dựa vào chi dẫn tương tác trong thông qua cơ chế tỉnh chỉnh các đặc trưng trung gian bằng phương pháp lan truyền ngược [20]. Cơ chế tỉnh chỉnh các đặc trưng trung gian bằng phương pháp lan truyền ngược (Feature-backpropagation Refinement Scheme) viết tắt là {BRS [20] là một cơ 15 chế tinh chỉnh mặt na phân đoạn ảnh giải quyết các van đề về tối ưu hóa thông qua các biến phụ trợ thay vì tỉnh chỉnh lại các lược đồ tương tác ở đầu vào của mạng. Phương pháp này yêu cầu chỉ cần lan truyền ngược về một đoạn ngắn của cau trúc mạng khác với BRS là cần phải lan truyền ngược cả về toàn mạng để chỉnh sửa đầu vào do đó cải thiện hiệu suất phân đoạn của mô hình. Với mục tiêu tăng tốc quá trình tối ưu hóa để cải thiện kết quả phân đoạn ảnh, việc lan truyền ngược để tính toán các hàm năng lượng sẽ không thực hiện qua toàn mạng mà chỉ thông qua một số đoạn của mô hình.
lộ f-BRS, mục tiêu tối ưu là các thành phan trong các tensor đặc trưng, việc tối ưu các thành phần này chỉ làm thay đổi rất nhỏ xung quang các điểm tương tác ở mặt nạ phân đoạn đối tượng, chung quy sẽ không làm ảnh hưởng quá lớn.2 mô tả tổng quan về mô hình f-BRS. BRS điều chỉnh lại hàm ƒ trong công thức tính toán tối ưu của BRS bằng cách them vào các biến phụ trợ. Ví dụ, gọi f(z, z) là hàm kết hợp giữa đầu vào x và biến phụ trợ z. Với biến phụ trợ được cố định z = p sao cho hàm được điều chỉnh sẽ tương đương với hàm gốc ƒ(z,p) = f(x).
Mục tiêu của £BRS là tìm giá trị Ap nhỏ sao cho giá trị của hàm f(x,p + Ap) tại điểm ảnh mà người dùng tương tác gần với nhãn mà người dùng cung cấp nhất. Hàm tối ưu được tính toán bằng công thức (2.2): n v—1 f-BRS chọn hai tham số đó là channel-wise scale va bias dé kích hoạt tai một trong các lớp cuối cùng của cấu trúc mạng vì scale và bias là bất biến với vi trí trong ảnh, do đó sẽ không làm ảnh hưởng nhiều đến kết quả toàn cục. Mặt khác chọn các tham số ở những lớp cuối cùng sẽ không cần phải lan truyền ngược lại cả toàn cấu trúc mạng mà chỉ cần một đoạn nhỏ trong đó. Tùy thuộc vào vị trí áp dụng hàm mục tiêu, {BRS có thể đánh đổi giữa độ chính xác và tốc độ.