Chương 1 — Tổng quan: Giới thiệu tổng quan về bài toán, mục tiêu của đề tài và các đóng góp chính của luận văn. e Chương 2 — Các nghiên cứu liên quan: Trình bày các ứng dụng tương tự, các kiến thức nền tang, nghiên cứu liên quan và hướng tiếp cận đề tài. e Chương 3 - Phương pháp thực nghiệm và ứng dụng: Mô tả chi tiết về ứng dụng và giải quyết bài toán đã đặt ra. e Chương 4 — Thực nghiệm và đánh giá: Trình bày một số đánh giá thực nghiệm dựa trên những khảo sát đã thu thập.
e Chương 5 — Kết luận: Trình bày kết quả đạt được sau khi xây dựng ứng dụng và hướng phát triển trong tương lai. Chương 2 Các nghiên cứu liên quan 2.1 Khảo sát các ứng dụng tương tự Hiện nay để di chuyển trên đường một cách an toàn, cũng đã có rất nhiều phương pháp cho việc đó như là gậy dò đường hay là chó dẫn đường. Đây là một số phương pháp truyền thống mà nhiều người vẫn thường hay sử dụng. Nhưng phương pháp này vẫn tồn đọng một số rủi ro và bất tiện như dùng gậy sẽ không né được những vật cản phía trên hay việc không kiểm soát được chú chó ,.
Trong cuộc sống hiện đại, công nghệ ngày càng phát triển, xu hướng ngày càng đi theo sự tiện ích của con người. Trên thị trường cũng có nhiều nghiên cứu để hỗ trợ cho người khiếm thị như kính Envision (hình 2.1) với một số tiện ích sau: đọc văn bản, gọi video và mô tả không gian,. WeWalk Smart Cane (hình hướng dẫn ta di chuyển đến một vị trí trên google map an toàn. Các sản phẩm công nghệ này áp dụng nhưng công nghệ tiên tiến, những kỹ thuật hiện đại giúp phục vụ những tác vụ hằng ngày của người khiếm thị trở nên dé dàng hơn.
Nó đã giúp ích rất nhiều cho cộng đồng người khiếm thị. Chính vi vậy, nhóm chúng tôi muốn nghiên cứu một giải pháp an toàn cho người khiếm thị có thể di chuyển trên đường dành cho người đi bộ. Một nghiên cứu ý nghĩa giúp ích phần nào cho cộng đồng và xã hội. CB envision |glasses Hình 2.2 Những nghiên cứu liên quan về bài toán 2.1 Bài toán phân đoạn ngữ nghĩa trên thời gian thực 2.1 Giới thiệu về bài toán Phân đoạn ngữ nghĩa là có nhiệm vụ phân loại từng điểm ảnh vào các lớp hay gan vào các nhãn đã được định nghĩa trước đó.
Mục tiêu của bài toán là từ một bức ảnh đầu vào với kích thước nhất định, đưa ra một ma trận có cùng kích thước với ảnh gốc và mỗi điểm ảnh của ma trận đầu ra ứng với lớp của điểm ảnh tương ứng ở ảnh gốc được dự đoán.1] minh hoa dau ra của bài toán phân đoạn ngữ nghĩa trên ảnh. Phân đoạn ngữ nghĩa được ứng dung nhiều vào cuộc sống để giải quyết những vấn đề phức tạp cần đến sự phân tích kĩ đến từng chi tiết của ảnh. Điển hình như ứng dung thị giác máy tính trên xe tự hành, phân đoạn ngữ nghĩa sẽ giúp chúng ta phân tích không gian trên đường, phát hiện đối tượng, các biển báo giao thông. đến mức chi tiết ở từng điểm ảnh.
Hay đối với những van đề trong y khoa như chan đoán mức độ ung thư, vì mức độ ác tính của căn bệnh sẽ phụ thuộc vào hình dáng chỉ tiết của khối u nên phân đoạn ngữ nghĩa sẽ giúp đưa ra hình dạng chính xác của khối u đó (hình 2.2) thông qua ảnh chụp cộng hưởng từ (MRI) hay ảnh chụp X-quang, ngoài ra còn tăng cường khả năng phân tích ảnh chụp X-quang cho các chuyên gia. Giúp việc chan đoán trở nên chính xác và tiết kiệm thời gian hơn. oa So oe Se Se Sas 5 er a “5s SSS eee ee Soo 3# s1: s3 3 3 6 SS 55:5 18. S33 6 SS 55S Saas oa aS 2 2-8 eo C68 a Reiss Sa 2S 2 SSS 55.
S 0 00 10 Ef pS Bes Ee Bag Bab 5. 4 + Cấp CẬP, Es ERE hót: hơi lab 2: Purse 3.ãT25ãrĩTTãiï 4: Sidewa 5zBffÌding/Structures BE 98.2850: 220 ah ae ah Input Semantic Labels Hình 2. Sử dụng phan đoạn ngữ nghĩa dé phân uùng các đối tượng Trước đây, khi chưa có sự xuất hiện của các mạng học sâu (Deep learning), bài toán phân đoạn hình ảnh sẽ được giải quyết bằng các thuật toán truyền thống. Tuy nhiên, nhược điểm lớn nhất của các thuật toán truyền thống sẽ không thể phân tích được các đặc trưng về ngữ nghĩa của hình ảnh, những thuật toán đó chỉ có thể phân vùng các đối tượng bằng những đặc trưng cơ bản như đặc trưng cạnh, đặc trưng màu sắc,.
nên không thé phân đoạn những hình ảnh có chỉ tiết phức tạp. Với sự xuất hiện của các mạng học sâu, các vấn đề đó đã được giải quyết. Cho đến nay, số lượng và cả chất lượng của các phương pháp phân đoạn Hình 2. Xác định vi tri va hành dạng khối u não nhờ phân đoạn ngữ nghĩa ngữ nghĩa ngày càng tăng, hình thể hiện sự ra đời của các phương pháp qua các mốc thời gian.
° ° IÑ encoder-decoder š ° * t9 + I naive-decoder 4 e architecture built kì ` * ¬ 8 with NAS Ps ® & @ hand crafted 3s Tớ architecture ae " = 3 2k s oes 4 g rar 2 + 5 8 Š = ae @ S 3 $K a 2 : 8 š E ° 8 ỹ aa củ 4a 2 § bạo z $4© hủ ea 5 2 £ i g a o a a Đ a = 6 8 3 ễ " ỗ H s $ Pe) z@ 3% 32H ° ° 8 2 & 8< o S 6:5 rs 9 £ 82 e 8 8 6 ãbị T T T T T T 2014 2015 2016 2017 2018 2019 date [first version on arXiv] Hình 2. Móc thời gian ra đời của các phương pháp phân đoạn ngữ nghĩa (2014 - 2019) [23]: FCN, [82]: DeepLabV1, [19]: DeconvNet, [37]: U-Net, [33]: DeepLabV2, [1ñ]: RefineNet, [17]: PSPNet, [30]: DeepLabV3, [31]: DeepLabV3+, [21]: HRNetV2 Các phương pháp trên đã có thể giải quyết tốt đối với bài toán phân đoạn ngữ nghĩa trên ảnh tĩnh với độ chính xác cao. Tuy nhiên để phục vụ cho nhu cầu phân đoạn ngữ nghĩa trên thời gian thực thì các phương pháp trên chưa thể đáp ứng được vì thời gian thực thi đối với một ảnh khá lâu. Vì vậy, cần một số hướng giải quyết có thể cân bằng được về độ chính xác và tốc độ thực thi để giải quyết được bài toán phân đoạn ngữ nghĩa trên thời gian thực.2 Giới thiệu về mô hình BiSeNet (Bilateral Segmentation Net- work) Giải thích một số thuật ngữ: e Spatial information e Receptive field Spatial information: Spatial information là những thong tin về vị trí của các điểm ảnh trong không gian.
Đối với các giải thuật xử lý ảnh truyền thống thì việc trích xuất đặc trưng sẽ không quan tâm nhiều đến spatial information mà chỉ quan tấm đến các đặc trưng cấp thấp (low-level) như đặc trưng cạnh, màu sắc,. hay những đặc trừng mang tính thống kê của chúng như trung bình (mean), phương sai (variance), độ lệch chuẩn (standard deviation),. Cách làm như thế gọi là không quan tâm đến spatial information. Ngược lại khi sử dụng mang CNN thì các thông tin về vị trí điểm ảnh trong không gian sẽ được bảo tồn nhờ tính chất bất biến (Location Invariance) của mang CNN.
Đối với các mạng MLP chang hạn thì với một bức ảnh sẽ được làm phẳng (flatten) thành một vector một chiều sau đó ấp dụng các tổ hợp tuyến tính và phi tuyến tính trong quá trình feed forward để đưa ra được các kết quả đầu ra. Còn đối với CNN thì chúng ta giữ nguyên sự phân bố các điểm ảnh của dữ liệu đầu vào và áp dụng các bộ lọc lên các điểm ảnh trong không gia gần nhau để trích xuất. Vì vậy trên các bộ loc (filters) cũng thể hiện được các Spatial information của partern mà chúng đang thể hiện (ví dụ các partern khuôn mặt, xe hơi,. Khi xếp chồng các bộ lọc và thông qua các phép tính tích chập thì tại mỗi bộ lọc sẽ chỉ ra sự tương quan giữa các điểm ảnh trên bộ lọc tương ứng với dữ liệu đầu vào.
Thông qua mạng CNN cũng làm mat đi một vài spatial information tai các lớp pooling. Việc áp dụng các thao tác pooling (max pooling, average pooling) làm cho mang CNN tránh được overfit với dữ liệu training đồng thời giúp cải thiện thời gian training. Nếu không có pooling thì một thay đổi nhỏ ở điểm ảnh đầu vào cũng làm ảnh hưởng đến spatial information của các lớp tiếp theo nên việc mat mát này không có quá nhiều ảnh hưởng xấu đến mô hình. 10 Receptive field: Day là một khái niệm được sử dung trong khi thiết kế mang CNN.
Khi đưa qua một bức ảnh qua một lớp tích chập, bộ lọc sẽ trượt qua từng vi trí trên bức ảnh để tính tích chập giữa phần tương ứng trên ảnh đầu vào và bộ lọc. Phần tương ứng đó được gọi là Receptive field (phần được tô đậm ở ma trận đầu vào trong hình b. tức là vùng mà một neural có thể nhìn thấy để đưa ra kết quả, và ma trận được cho ra bởi quá trình trên được gọi là feature map. 3x3 kernel HHHHNW | HHBHH Sita 3x3 kernel HHHHH Han —# HHHHH Ee HHHHH Hình 2.
Quá trình tính tích chập cho một ma trận Y tưởng chính của mô hình BiSeNet: Phân đoạn ngữ nghĩa là một bài toán yêu cầu cả yếu tố rich spatial information (hạn chế tối đa việc mất mát các thông tin về mặt không gian) và sizeable receptive field (tức là đa dạng kích thước về receptive field). Tuy nhiên với các phương pháp tiếp cận cho bài toán phân đoạn ảnh trên thời gian thực thì thường đánh đổi spatial information để đạt được tốc độ xử lý cao. Điều này khiến cho độ chính xác của phương pháp giảm sút. BiSeNet giải quyết vấn đề đó bằng cách sử dụng kiến trúc bao gồm hai backbone : Spatial Path và Context Path.
Spatial Path với bước nhảy nhỏ để bảo toàn spatial information giúp tìm được các đặc trưng tốt hơn. Context Path với chiến lược downsampling nhanh giúp thu được da dang receptive field. O mỗi phần nay, tác giả giới thiệu Feature Fusion Module giúp kết hợp các đặc trưng (features) từ kết quả đầu ra của hai thành phần trước đó. Kiến trúc này giúp cân bằng giữa độ chính xác và tốc độ xử lý.
Đặc biệt trên tập dit liệu Cityscape họ đạt được 64.8% Mean IOU với tốc độ 105FPS trên phần cứng NVIDIA Titan XP, nhanh hơn đáng kể so với các phương pháp trước đó với cùng độ chính xác. 11 Các hướng giải quyết: Cho đến thời điểm kiến trúc được công bố,theo tác giả có các hướng giải quyết sau cho bài toán phân đoạn ngữ nghĩa trên thời gian thực.