MỞ ĐẦU Trong những năm gần đây, nghiên cứu về Computer Vision luôn là đề tài nỗi bật và thu hút được sự chú ý của nhiều người thuộc lĩnh vực Công Nghệ Thông Tin. Với sự phát triển vượt bậc về trí tuệ nhân tạo (AI), các hệ thống với khả năng tự vận hành đang dần được phát triển phổ biến. Và để hệ thống có thể vận hành thuận lợi, việc xử lý thông tin đầu vào là quan trọng nhất, giống như não con người vậy. Vì thế phân vùng nội dung ảnh được khá nhiều nhà nghiên cứu tìm hiểu và đầu tư phát triển dé ứng dụng vào các lĩnh vực quan trọng trong đời sống: cảm biến địa lý (phân vùng các loại địa hình bằng hình ảnh từ vệ tinh), chân đoán hình ảnh y tế, và đặc biệt là xe tự hành.
4/2019 tại Việt Nam, FPT Software đã thử nghiệm thành công xe tự hành trong khu đô thị sử dụng công nghệ AI, Deep Learning, Behavior cloning nghĩa là xe sẽ học lái như con người đồng thời có thé nhận định vật cản và đưa ra quyết định lái xe. Bài toán về phân vùng ảnh có thể được giải quyết trên nhiều kiến trúc mạng Deep Learning khác nhau. Thường thấy nhất là kiến trúc Mask RCNN với khoảng 80 đối tượng trong bộ dữ liệu MS COCO. Ngoài ra, còn có kiến trúc PSPNet phân vùng nội dung ảnh chính xác với nhiều lớp đối tượng trong giao thông.
Và còn nhiều các kiến trúc mạng Deep Learning khác trong việc giải quyết bài toán. Tuy nhiên, bộ dữ liệu về các đối tượng giao thông kể trên có sự khác biệt về cấu trúc xây dụng cơ sở hạ tầng của Việt Nam, đặc biệt là dạng đường phong phú ở Việt Nam nên các bộ dữ liệu đã được gán nhãn bên nước ngoài sẽ không dùng được ở Việt Nam. Vì thế, mục tiêu của nhóm sẽ nghiên cứu về các mô hình đã được xây dựng (phát triển) như MobileNetV3, Resnet, Pix2Pix, ShuffleNet, VGG16, so sánh các mạng trên dé chọn lọc ứng dụng một kiến trúc mạng phù hợp nhất đề triển khai bài toán phân vùng mặt đường va các vật thể. Xây dựng bộ dữ liệu về đường xá Việt Nam sau đó cải thiện độ chính xác, thử nghiệm thời gian thực và ứng dụng vào board NVIDIA Jetson TX2 phục vụ như “bộ não” của xe tự hành.
Tinh hình nghiện cứu trên thé giới Ngày nay, lĩnh vực Computer Vision ngày càng phát triển và được nghiên cứu rộng rãi, nhất là thời điểm công nghệ AI đang đi lên chiếm dan xu thé của ngành IT. Các công nghệ hàng đầu như xe tự hành, xử lý ảnh vệ tinh thường phát trién ở những nước công nghệ cao, hiện đại. Và dé thiết kế được những hệ thong hiểu sâu về nội dung bức ảnh như trên thì ta cần tới thuật toán Image Segmentation. Nhiều kiến trúc mạng giải quyết cho bài toán này ngày càng được công bố công khai nhiều trên toàn thé giới.
PSPNet mang lại ky lục mới về độ chính xác mloU 85,4% trên PASCAL VOC 2012 và độ chính xác 80,2% trên Cityscapes. [7] ShuffleNet cung cấp mlou là 58,3% trong bộ thử nghiệm CityScapes. ShuffleNet chạy ở tốc độ 15,7 khung hình / giây trên NVIDIA Jetson TX2, điều này khiến nó có tiềm năng lớn cho các ứng dụng thời gian thực. Tuy nhiên độ chính xác là khá thấp.
[13] VGG-16 là một mô hình của Oxford - đã giành chiến thắng trong cuộc thi ImageNet năm 2013 với độ chính xác 92/7%. Nó sử dụng một chồng các lớp tích chập với các trường tiếp nhận nhỏ trong các lớp đầu tiên thay vì một vài lớp với các trường tiếp nhận lớn. [6] ResNet là một mô hình này của Microsoft, đã giành chiến thắng trong cuộc thi ImageNet năm 2016 với độ chính xác 96,4%. Nó được biết đến nhiều do độ sâu của nó (152 lớp) và sự ra đời của các khối du.
Các khối còn lại giải quyết van dé dao tạo một kiến trúc thực sự sâu băng cách giới thiệu các kết nối bỏ qua danh tính đề các lớp có thê sao chép đầu vào của chúng sang lớp tiếp theo. [6] MobileNet là một trong những kiến trúc được ưa chuộng va sử dụng phổ biến bởi độ chính xác và hiệu năng tính toán. Điểm mau chốt giúp cho các mô hình MobileNet giảm thiêu số lượng tính toán đó là áp dụng tích chập tách biệt chiều sâu. Đồng thời qua thời gian, nhóm tác giả MobileNet đã lồng ghép các ưu điểm từ những kiến trúc CNN khác vào mô hình của minh dé ngày càng cải thiện hơn về độ chính xác và hiệu năng.
Tình hình nghiên cứu trong nước Tuy Image Segmentation được ứng dụng rất nhiều bên nước ngoài, nhưng ở Việt Nam vẫn còn khá lạc hậu. Ngoài FPT đã có ứng dụng Deep Learning lên xe tự hành trong đô thị thì bài toán này còn khá mơ hồ ở nước ta. Thêm vào đó, dữ liệu để huấn luyện cho mô hình bên Việt Nam rất khan hiếm hoặc hầu như chưa được public nên khả năng nhóm phải làm lại từ đầu một bộ dữ liệu là rât cao. Những van đề còn tôn tai Tuy khá nhiều kiến trúc mạng đã được công bố có thé áp dụng vào bài toàn dé tài nhưng lựa chọn một mạng phải dựa trên những tiêu chí cốt yếu.
Vì mô hình cần chạy real-time trên board TX2 nên phải đảm bảo kiến trúc mạng khi nhúng lên sẽ cần phải đạt FPS tối ưu và độ chính xác cao nhất có thể. Mô hình dùng hỗ trợ cho xe tự hành nên FPS thấp có thé ảnh hưởng việc trích xuất trễ hoặc thiếu từng frame ảnh cho việc xử lý bên trong, cụ thể ở đây là điều khiển góc lái cho xe tự hành. Độ chính xác thấp sẽ ảnh hưởng việc điều khién góc lái chính xác cho xe.1 sau góp phần cho nhóm một lựa chọn kiến trúc mạng phù hợp.1: So sánh độ chính xác giữa các decoder và encoder [12] Decoder | Encoder | Coarse | mloU | Road | Sidewalk | Building | Sign | Sky | Person | Car | Bicycle | Truck SkipNet | MobileNet | No 613 | 95.9 SkipNet | ShuffleNet | No 55.6 UNet | ResNetl8 | No 57.2 | 314 UNet | MobileNet | No 61.0 | 413 UNet | ShuffleNet | No 57.9 |355 Dilation | MobileNet | No 57.8 |263 Dilation | ShuffleNet | No 53.2 | 233 SkipNet | MobileNet | Yes | 62.3 | 453 SkipNet | ShuffleNet | Yes ¡593 | 94.1 cho thấy sự so sánh các bộ decoder và encoder khác nhau về độ chính xác trên tập val của bộ dữ liệu CityScapes. Coarse cho biết liệu mạng đã được đào tạo trên thô trước hay chưa.
So sánh trên là từ một bài báo nghiên cứu “R7 Seg: Real- Time Semantic Segmentation Comparative Study” [12]. Trong bai báo này, tác gia trình bày cách tiếp cận nguyên tắc đầu tiên dé điểm chuan các mạng phân đoạn thời gian thực. Thiết kế tách rời của khung phân tách các mô-đun dé tốt hơn cho việc so sánh định lượng. Mô-đun đầu tiên bao gồm kiến trúc mạng khai thác tính năng, thứ hai là siêu kiến trúc cung cấp phương pháp decoder.
Ba kiến trúc meta khác nhau được đưa vào khuôn khổ của tác giả, bao gồm kiến trúc Skip, UNet và Dilation Frontend. Các kiến trúc mạng khác nhau dé trích xuất tính năng được bao gồm, đó là ShuffleNet, MobileNet, VGG16, va ResNet-18. Khung do điểm chuẩn của tác giả cung cấp cho các nhà nghiên cứu và các nhà thực hành như nhóm em một phương tiện để đánh giá thiết kế lựa chọn cho nhiệm vụ của nhóm.1, ta có thê thấy mạng MobileNet đạt độ chính xác cao nhất ở mỗi class đối tượng, là khả thi nhất trong các lựa chọn với độ chính xác tốt hơn ResNet và ShuffleNet. Tuy độ chính xác có thé không bằng VGG16 nhưng xét về FPS thì 6n hơn khá nhiều.2 sau là một bài kiểm thử sau khi train và test hai loại mạng của MobileNetV3 đã cho thấy rằng 72,6% mloU và 3,6 triệu parameters trên tập validation của Cityscapes, thử nghiệm trên một GPU V100 duy nhất với hình ảnh độ phân giải đầy đủ (1024 x 2048) làm đầu vào.
Nó chạy nhanh hơn khoảng bốn lần trên hình ảnh có độ phân giải một nửa (512 x 1024).2: Các thông số sau khi train của các mô hình sử dụng MobileNet [3] Model Segmentation Head Parameters miloU Inference TensorRT Weights? MobileV3Large LR-ASPP, F=256 3.7 FPS 4 MobileV3Large LR-ASPP, F=128 3.3 FPS 4 Mobi1eV35ma11 LR-ASPP, F=128 1.4 FPS S4 Mob41eV35ma11 LR-ASPP, F=64 1.9 FPS s4 Từ Bang 1.2, có thé thấy với mô hình MobileNetV3 va Segmentation Head là LR-ASPP, tốc độ FPS là vượt trội so với ShuffeNet và nếu chuyên sang TensorRT thì FPS còn được cải thiện tối ưu hơn nữa. Ngoài ra, giữa MobileNetV3Large và MobileNetV3Small thì tốc độ của Small nhanh hơn nhiều lần tuy độ chính xác có vẻ thấp hơn. Qua các đánh giá trên, nhóm quyết định dùng kiến trúc mạng MobileNetV3Small và LR-ASPP cho đề tài. Ngoài ra, vẫn còn vấn đề về tập dữ liệu.
Dữ liệu vê hệ thông đường tại Việt Nam không có sẵn mà không thê áp dụng bộ dữ liệu có sẵn như CityScapes, nên nhóm cần tiễn hành tự thu thập dữ liệu và tự label thủ công dé train cho mô hình của nhóm. Mục tiêu khóa luận Mục tiêu của đề tài là áp dụng được các kiến trúc mạng thích hợp dé giải quyết vấn đề, nhóm sẽ xây dựng lại bộ dữ liệu phù hợp cho cơ sở hạ tầng đường xá Việt Nam. Đồng thời xây dựng hệ thống phân vùng ảnh theo thời gian thực và nhúng lên board NVIDIA Jetson TX2 hiện thực hóa “bộ não” cho xe tự hành. Cụ thé các vấn dé cần tập trung giải quyết là: — Nghiên cứu và chọn lọc một kiến trúc mạng deep learning chạy phân vùng nội dung anh real time phù hợp trên board NVIDIA Jetson TX2.
— Tw tạo bộ dữ liệu riêng của nhóm với môi trường trong nước Việt Nam để train cho mô hình. — Phân vùng được các đối tượng: người, xe vả làn đường tại Việt Nam. — Nhúng thành công lên board NVIDIA Jetson TX2 và kiểm thử, cải thiện. Giới hạn đề tài — Kích thước dt liệu: 13000 ảnh (10000 train 3000 test), độ phân giải 512 x 512.
— Mô hình phân vùng được các đối tượng người, xe, đường. — Mô hình phân vùng đối tượng trên các đoạn đường đã được phủ nhựa. — Hoạt động tốt nhất trong điều kiện thời tiết tốt: sáng, trưa, chiều khi đủ ánh sáng, không có sương mù. — Mô hình đạt độ chính xác: e Trên 80% tại trường đại học công nghệ thông tin TPHCM.
e Trên 75% tại khu đô thị đại học quốc gia TPHCM. e Trên 50% tại các loại đường giao thông khác (không ké đường đất đỏ). — Sử dụng mạng pretrained và chuyên đổi lại dé thu dit liệu người và xe.