Mở đầu Trong những thập ky gần đây, khi máy móc ngày càng trở nên mạnh mẽ, trí thông minh của máy móc đã đạt được thành công lớn trong nhiều ứng dụng trong thé giới thực, chẳng hạn như hệ thống nhận dạng khuôn mặt, máy phiên dịch, xe tự lái, giám sát an toàn và AlphaGo, tất cả những ứng dụng này đang làm cho trí tuệ nhân tạo không thể thiếu trong cuộc sống hàng ngày của chúng ta (Một số ứng dụng về AI trong đời sống Hinh{L. Hưởng lợi từ sự phát triển của thiết bi di động, phương tiện truyền thông xã hội và mạng di động tốc độ cao, có số lượng dữ liệu hình ảnh ngày càng tăng lên theo cấp số nhân. Ví dụ, giám đốc phòng nghiên cứu AI của Facebook Yann LeCun đã từng nói rằng gần như 1 tỷ ảnh mới được đăng tải lên Facebook mỗi ngày trong năm 2016 || Điều này làm cho nó ngày càng khó khăn hơn cho con người để quản lý tất cả di liệu này theo cách thủ công. Do đó, thiết kế hệ thống máy tính để tự động xử lý và hiểu số lượng lớn dữ liệu trở thành một ý tưởng thực tế.
Tuy nhiên, người ta thường thừa nhận rằng, máy tính thực hiện các nhiệm vụ được xác định bởi các công thức và quy tắc trong toán học, như là tính toán, lưu trữ và tìm kiếm. Nhưng đó là thách thức đối với máy móc để giải quyết các vấn đề trực quan và trừu tượng, chẳng hạn như nhận dạng hình ảnh. Diéu này do cái gọi là khoảng cách ngữ nghĩa giữa con Thttps://www.com/watch?v=vlQomVlaNFg người và máy, tức là các tệp hình ảnh được lưu trữ dưới dạng dữ liệu pixel cấp thấp trên máy, nhưng thông tin ngữ nghĩa cấp cao được yêu cầu để phân tích hình ảnh. Và các nghiên cứu trong lĩnh vực thị giác máy tính hiện nay là tìm cách làm thế nào để thu hẹp khoảng cách này và dạy cho máy móc hiểu hình ảnh.
Trong đề tài này, chúng tôi sẽ tìm hiểu một số mô hình về bài toán phát hiện đối tượng. Phần mềm phân tích giao thông đường bộ và bộ đếm phương tiện. Hệ thống chuyên nghiệp cho quản lý giao thông Đô thị / Đường bộ (và Quản lý Đường cao tốc). Dé thu thập dữ liệu, phát hiện sự cố và lập kế hoạch cho an toàn đường bộ dựa trên thị giác nhân tạo (trí tuệ nhân tạo và xử lý video) biến bất kỳ camera giám sát giao thông nào thành một A.2 Tổng quan bài toán 1.1 Định nghĩa bài toán Phát hiện đối tượng là một nhiệm vụ quan trọng của máy tính được sử dụng để phát hiện các đối tượng trực quan thuộc các lớp nhất định (ví dụ: con người, động vật, ô tô, tòa nhà,.
Trong ảnh kỹ thuật số như ảnh hoặc video. Mục tiêu của phát hiện đối tượng là xây dựng mô hình tính toán cung cấp các thông tin cần thiết cơ bản nhất cho các ứng dụng thị giác máy tính. Phát hiện đối tượng là một trong những van đề cơ bản của thị giác máy tính. Nó tao cơ sở cho nhiều tác vụ thị giác máy tính khác, chẳng hạn như chú thích hình ảnh, theo dõi đối tượng,.
Các ứng dụng phát hiện đối tượng cụ thể bao gồm phát hiện người đi bộ, đếm người, nhận diện khuôn mặt, phát hiện văn bản, phát hiện tư thế hoặc nhận dạng biển số. Trong vài năm gần đây, những tiến bộ nhanh chóng của kỹ thuật học sâu đã thúc đẩy rất nhiều động lực phát hiện đối tượng. Với mạng học sâu và sức mạnh tính toán của GPU, hiệu suất của bộ phát hiện và theo dõi đối tượng đã được cải thiện đáng kể, đạt được những bước đột phá đáng kể trong phát hiện đối tượng. Do đó, Mang Convolutional Neural Networks (CNN) da tré thanh tiéu chuan để giải quyết nhiệm vu này, và có nhiều máy dò dua trên CNN đã được đề xuất [25].
Và từ day, các máy phát hiện đối tượng hiện đại dành được phân loại thành hai loại: phương pháp tiếp cận một giai đoạn và phương pháp tiếp cận hai giai đoạn. Phương pháp tiếp cận hai giai đoạn: Trong bộ phát hiện đối tượng hai giai đoạn, các vùng đối tượng được đề xuất bằng cách sử dụng các đặc trưng sâu (deep) trước khi các đặc trưng này được sử dụng cho việc phân loại cũng như các hộp giới hạn cho các đối tượng mục tiêu. e Kiến trúc hai giai đoạn liên quan đến việc đề xuất vùng đối tượng với các phương pháp thị giác thông thường hoặc mạng học sâu, tiếp theo là phân loại đối tượng dựa trên các tính năng được trích xuất từ vùng được đề xuất với hồi quy hộp giới hạn. e Phương pháp hai giai đoạn đạt được độ chính xác phát hiện cao nhất nhưng thường chậm hơn.
Do có nhiều bước suy luận trên mỗi hình ảnh, hiệu suất (khung hình trên giây) không tốt bằng máy dò một giai đoạn. e Các mô hình phát hiện hai giai đoạn khác bao gồm Region Convolutional Neural Network (R-CNN) với Faster R-CNN hoặc Mask R-CNN [17]. Sự phát triển mới nhất nhất của RCNN là Granulated R-CNN BI]. 400 Mask R-CNN X-152-32x8d 300 MTINFERSC, 200 100 YOLOv3-418: 29.000 OLD` SATS TTFNet YOLOv4-608 —®——*®————+ ~100 Jul'17 Jan'18 Jul 18 Jan'19 Jul'19 Jan '20 Jul '20 Jan '21 Jul'21 Other models -®- Models with lowest inference time, ms Hình 1.2: Điểm chuẩn của các mô hình phát hiện đối tượng thời gian thực theo thời gian suy luận, mô hình hoạt động hàng đầu gần đây nhất là YOLOv4 e Trong mô hình phát hiện đối tượng hai giai đoạn, đầu tiên nó sẽ tìm vùng quan tâm và sử dụng vùng đã cắt này để phân loại.
Tuy nhiên, các mô hình nhiều giai đoạn như vậy thường không thể đào tạo từ đầu đến cuối bởi vì việc cắt xén là một hoạt động không thể phân biệt được. Phương pháp tiếp cận một giai đoạn: Trong bộ phát hiện đối tượng một giai đoạn, mô hình sẽ dự đoán các hộp giới hạn trên hình ảnh mà không có bước đề xuất vùng. Quá trình này tiêu tốn ít thời gian hơn và do đó có thể được sử dụng trong các ứng dụng thời gian thực. e Máy dò đối tượng một giai đoạn uu tiên tốc độ suy luận nhanh nhưng không tốt trong việc nhận dạng các đối tượng có hình dạng bất thường hoặc một nhóm các đối tượng nhỏ.
e Các máy dò một giai đoạn phổ biến nhất bao gồm YOLO [33], SSD và RetinaNet [25]. Các công cụ phát hiện thời gian thực mới nhất là YOLOv4- Scaled [45] (2020) và YOLOR [đổ| (2021). Trong hơn một năm trở lại đây, có nhiều mô hình được hình thành ma không thuộc vào bất kỳ phương pháp nào đã kể trên. Đó chính là việc áp dụng mô hình Transformer [44] đã rất quen thuộc trong các bài toán xử lý ngôn ngữ tự nhiên vào để xử lý các nhiệm vụ về hình ảnh.
Đặc biệt là trong bài toán phát hiện đối tượng cái mà nhóm chúng tôi sẽ tìm hiểu trong khóa luận này.2 Thách thức Mặc dù hiệu suất tuyệt vời từ các mô hình Transformer và các tính năng nổi bật thú vị của chúng, có một số thách thức liên quan đến khả năng ứng dụng của chúng đối với ứng dụng trong thực tế. Các thử thách quan trọng nhất bao gồm yêu cầu về lượng lớn dit liệu đào tạo và chi phi tính toán cao liên quan và một số đặc tính liên quan tới mô hình Transformer. e Chỉ phí tính toán cao: Một thế mạnh của các mô hình Transformer là tính linh hoạt của chúng để mở rộng đến mô hình có độ phức tạp và tham số cao. Mặc dù đây là một đặc tính đáng chú ý cho phép đào tạo các mô hình có kích thước khổng lồ.
Do đó, điều này dẫn đến việc phát sinh chi phí huấn luyện mô hình và chi phí suy luận cao. e Yêu cầu dữ liệu lớn: Vì các kiến trúc Transformer vốn dĩ không mã hóa các độ lệch quy nạp (Inductive biad?) để xử lý dữ liệu trực quan. Do vậy, chúng thường yêu cầu lượng lớn dữ liệu để tìm ra các quy tắc cơ bản dành riêng cho phương thức. Ví dụ, một CNN có sẵn bản dịch bất biến, chia sẻ trọng số và bất biến quy mô một phần do hoạt động gộp hoặc khối xử lý Multi-scale.
Tuy nhiên, mang Transformer cần phải tự mình tìm ra các khái niệm cụ thể về hình ảnh này từ các ví dụ đào tạo. Điều này dẫn đến thời gian đào tạo dài hơn, yêu cầu tính toán tăng đáng kể và bộ dữ liệu lớn để xử lý.3 Lý do thực hiện đề tài Các trường hợp sử dụng liên quan đến phát hiện đối tượng rất đa dạng. Gần như không giới hạn những cách làm cho máy tính giống con người để tự động hóa các tác vụ thủ công hoặc tạo ra các sản phẩm và dịch vụ mới do AI hỗ trợ. Nó đã được thực hiện trong các chương trình thị giác máy tính được sử dụng cho một loạt các ứng dụng, từ sản xuất, thể thao đến phân tích năng suất.
Ngày nay, nhận dạng đối tượng là cốt lõi của hầu hết các phần mềm và chương trình AT dựa trên thị giác. Phát hiện đối tượng 2Induetive bias (hay learning bias) của một thuật toán học tập là tập hợp các giả định mà người học sử dụng để dự đoán kết quả đầu ra của các đầu vào nhất định mà nó chưa gặp phải. đóng một vai trò quan trọng trong việc tìm hiểu hiện trường, vốn phổ biến trong các trường hợp sử dung an ninh, giao thông, y tế và quân sự (Hình 1. e Phát hiện phương tiện với AI trong Giao thông vận tải.
Nhận dang đối tượng được sử dụng để phát hiện và đếm các phương tiện để phân tích giao thông hoặc để phát hiện 6 tô dừng ở khu vực nguy hiểm, chang hạn như trên đường ngang hoặc đường cao tốc. e Phát hiện tính năng y tế trong Chăm sóc sức khỏe. Phát hiện vật thể đã cho phép tạo ra nhiều đột phá trong cộng đồng y tế. Bởi vì chan đoán y tế chủ yếu dựa vào nghiên cứu hình ảnh, quét và chụp ảnh, phát hiện đối tượng liên quan đến chụp CT và MRI trở nên cực kỳ hữu ích để chấn đoán bệnh, ví du với thuật toán máy học để phát hiện khối u.
e Phát hiện đối tượng trong Bán lẻ. Các hệ thông đếm người được bố trí có chiến lược trong nhiều cửa hàng bán lẻ được sử dụng để thu thập thông tin về cách khách hàng dành thời gian và lượng khách hàng đặt chân đến. Phân tích khách hàng dựa trên AI để phát hiện va theo dõi khách hàng bằng camera giúp hiểu rõ về tương tác của khách hàng và trải nghiệm của khách hàng, tối ưu hóa bố cục cửa hàng và giúp hoạt động hiệu quả hơn.