MỞ ĐẦU 1. Tính cấp thiết Thị giác máy tính (Computer Vision) là một trong những lĩnh vực đã và đang nhận được nhiều quan tâm của cộng đồng nghiên cứu. Trong bất kỳ một hệ thống thị giác máy tính nào, thành phần phân tích nội dung ảnh/video để đưa ra những thông tin hữu ích đóng vai trò rất quan trọng. Ngày nay, với sự phát triển mạnh mẽ của các mô hình học máy, đặc biệt là học sâu thực sự đã đem lại những cải tiến đáng kể cho thành phần này.
Tuy nhiên, hiệu quả của các mô hình học máy lại chịu ảnh hưởng lớn bởi phương pháp trích chọn đặc trưng dữ liệu đầu vào. Chính vì vậy, nghiên cứu các phương pháp trích chọn đặc trưng hiệu quả luôn cần thiết. Bên cạnh đó, trong rất nhiều các bài toán của thị giác máy tính, tái định danh người thực sự là một bài toán được các nhà khoa học quan tâm, tuy rất nhiều thách thức nhưng lại mang tính ứng dụng cao. Tái định danh người có thể được hiểu đơn giản là so khớp các hình ảnh người được thu nhận bởi các cặp camera không có sự chồng lấn về trường quan sát.
Khởi nguồn từ năm 1966, Seymour Papert và Marvin Minsky, hai nhà tiên phong về trí tuệ nhân tạo, đã khởi động một dự án mang tên "Summer Vision Project" nhằm tạo ra một hệ thống máy tính có thể nhận dạng các vật thể trong ảnh. Vào thời điểm thực hiện dự án này, công nghệ chủ đạo được áp dụng chỉ là trí tuệ nhân tạo dựa trên tập luật (rule-based AI), bản chất là tìm ra các quy tắc để phát hiện ra đối tượng được con người xác lập dựa trên tri thức và kinh nghiệm. Hướng tiếp cận này đã không đem lại hiệu quả cao do không thể thiết kế được một quy tắc tổng quát cho những thể hiện đa dạng của đối tượng trong ảnh. Hướng tiếp cận khác là dựa trên học máy hoặc tiếp cận dựa trên nhận dạng mẫu.
Các giải thuật học máy được thiết kế để tìm ra các mẫu hoặc các quy luật tri thức từ dữ liệu, từ đó tự suy ra các luật và dự đoán cho các dữ liệu có dạng tương tự gặp được sau khi huấn luyện. Đây là phương pháp học dựa trên dữ liệu và buộc phải có dữ liệu hay các quan sát trước từ môi trường. Khác với phương pháp tiếp cận dựa trên luật ở trên, từ dữ liệu trong trường hợp cụ thể để suy ra các luật ẩn trong dữ liệu nhằm dự đoán và sử dụng cho trường hợp tổng quát hoặc các dữ liệu khác tương tự. Dựa trên các quan sát thu được về dữ liệu, học máy có thể cải thiện độ chính xác theo thời gian.
Đây là hướng tiếp cận chủ yếu của trí tuệ nhân tạo hiện nay. Gần đây, các mạng Nơ-ron nhân tạo học sâu (DNN - Deep Neural Network) đã tạo ra những đột phá mới, cho 1 phép cải tiến đáng kể hiệu năng cho nhiều bài toán. Nhờ những tiến bộ của các mạng học sâu, lĩnh vực thị giác máy tính cũng ngày càng có những bước phát triển nhảy vọt với các kết quả đáng kinh ngạc. Khi giải quyết các bài toán cơ bản của lĩnh vực thị giác máy tính bằng học máy, trích trọn đặc trưng ảnh/video là một trong những yếu tố đóng vai trò quan trọng, quyết định hiệu quả của hệ thống.
Trích chọn đặc trưng cho phép giữ lại các đặc điểm quan trọng nhất của đối tượng cần nhận dạng trên ảnh, từ đó có thể loại bỏ dư thừa, nhiễu cũng như tạo ra biểu diễn cô đọng hơn cho đối tượng thay vì các thông tin điểm ảnh như ban đầu. Một đặc trưng được gọi là hiệu quả nếu nó biểu diễn được các đặc điểm riêng mang tính phân biệt của đối tượng này so với các đối tượng khác. Hiện nay, có hai hướng tiếp cận chính cho bài toán trích chọn đặc trưng đối tượng trong ảnh/video: (1) trích chọn thủ công (hand-designed/handcrafted features) và (2) trích chọn tự động thông qua các mạng học sâu, hay còn được gọi là các đặc trưng học sâu (deep-learned features). Các phương pháp trích chọn đặc trưng thủ công có thể khai thác những thông tin về màu sắc (color), hình dạng (shape), hoặc kết cấu (texture).
của ảnh một cách tường minh. Chúng được trích chọn theo một giải thuật đã được thiết kế cố định từ trước dựa trên kinh nghiệm của các chuyên gia. Mặc dù các loại đặc trưng thủ công này đem lại nhiều kết quả tốt cho các hệ thống thị giác máy tính nhưng việc áp dụng các đặc trưng thủ công vẫn tồn tại một số hạn chế như: mỗi loại đặc trưng thủ công đều hướng tới khai thác một đặc điểm nào đó của đối tượng quan sát do đó đặc trưng này chỉ thực sự hiệu quả đối với một loại dữ liệu nhất định; số lượng các đặc trưng thủ công là có hạn trong khi dữ liệu thực tế là vô hạn và rất đa dạng do có sự biến đổi lớn trong thực tế; việc triển khai các hệ thống sử dụng các đặc trưng thủ công cần có nhiều kinh nghiệm của các chuyên gia trong việc lựa chọn loại đặc trưng phù hợp cho bài toán được triển khai. Trong khi đó, các mạng học sâu ra đời theo cách tương tự như việc con người học tập từ dữ liệu thực tế.
Nhờ đó máy tính có thể tự động tìm ra cách thức trích chọn đặc trưng phù hợp cho loại dữ liệu mới thay cho con người. Đặc trưng được trích chọn theo phương pháp này được gọi là đặc trưng học sâu. Hướng tiếp cận này đã giải quyết được một số hạn chế của đặc trưng thủ công khi không còn quá phụ thuộc vào kinh nghiệm của các chuyên gia trong quá trình trích chọn đặc trưng. Cùng với sự ra đời của các kiến trúc mạng học sâu, cách tiếp cận để giải quyết các bài toán cơ bản của thị giác máy tính cũng dần thay đổi.
Ví dụ như bài toán phát hiện đối tượng trên ảnh. Lịch sử phát triển các giải thuật phát hiện và nhận dạng đối tượng trên ảnh gắn liền với lịch sử phát triển của các giải thuật trích trọn đặc trưng. Điều này được thể hiện trong Hình 1 với những mốc thời gian quan trọng. Trong đó năm 2012 với sự ra đời của mạng AlexNet [1] có thể coi như là 2 Deep Learning for Generic Object Detection: A Survey 3 RCNN ResNet Efficient Subwindow Search (Lampert et al.) (Girshick et al.) (He et al.) FV GoogLeNet Region Covariance (Perronnin et al.) (Szegedy et al.) DenseNet (Tuzel et al.) Focus of this survey (Huang et al.) HOG AlexNet VGGNet and Jones) (Dalal and Triggs) et al.) (Krizhevsky et al.) (Simonyan and Zisserman) of Words HOG-LBP Selective Search (Sivic and Zisserman) (Wang et al.) (Van de Sande et al.) COCO et al.) Fast RCNN (Ross Girshick) Mask RCNN (He et al.) SURF VOC et al.) (Bay et al.) Faster RCNN (Ren et al.
4 Milestones of object detection and recognition, including feature representations [47, 52, 101, 140, 147, 178, 179, 212, 248, 252, 263, 276, 279], detection frameworks [74, 85, 239, 271, 276], and datasets [68, 166, 234]. The time period up to 2012 is dominated by handcrafted features, a transition took place in 2012 Hình 1: Các mốc lịch sử về phát hiện và nhận dạng đối tượng bao gồm các phương pháp trích chọn with the development of DCNNs for image classification by Krizhevsky et al. [140], with methods after 2012 dominated by related deep networks. Mostof the đặc trưng listed methods[2] are highly cited and won a major ICCV or CVPR prize.
Table 1 Summary of related object detection surveys since 2000.thời gianSurvey cho Title sự bắt đầu Monocular Pedestrian Detection: Survey and củaVenuecác đặc trưng Ref. Year học Content sâu. An evaluation of three pedestrian detectors 1 [66] 2009 PAMI Experiments Về cấu2 trúc, Survey of trong mỗi Pedestrian Detection mô hình for Advanced [79] 2010 họcPAMIsâuA survey đềuof pedestrian chứa một khối quan trọng phục detection for advanced driver assistance systems Driver Assistance Systems vụ cho việc 3 trích chọn đặc trưng[59]tự2012động Pedestrian Detection: An Evaluation of the State of The Art PAMI từ các dữ liệu đầu vào, được gọi chung A thorough and detailed evaluation of detectors in monocular images 4 Detecting Faces in Images: A Survey [294] 2002 PAMI First survey of face detection from a single image là mạng lõi 5 A(backbone). Survey on Face Detection in the Các tham Wild: Past, số của [301] 2015 CVIU mạngA survey nàyof facesẽdetection được cập nhật trong quá in the wild since 2000 Present and Future trình học6 từ Ontập dữDetection: Road Vehicle liệuA Review huấn [258] luyện.
2006 Dữ liệu PAMI A reviewhuấn luyện of vision based càng on-road vehicle detection nhiều, systems càng đa 7 Text Detection and Recognition in Imagery: A [295] 2015 PAMI A survey of text detection and recognition in color imagery dạng thì càng có khả Survey năng tạo ra được mộtRepresentative bộ tham số tốt cho mô hình. Các papers on object categorization, detection, and 8 Toward Category Level Object Recognition [215] 2007 Book segmentation thành phần 9 Thekhác Evolution ofcủa mô hình Object Categorization and the học sâu có thể là một bộ phân lớp, bộ phát hiện [56] 2009 Book A trace of the evolution of object categorization over four decades Challenge of Image Abstraction đối tượng10 hoặc bộ phân đoạn Context based Object Categorization: A Critical Survey ảnh,. tuỳ [78] 2010 CVIU vào từng ứng dụng cụ thể. Trong nhiều A review of contextual information for object categorization 11 50 Years of Object Recognition: Directions [5] 2013 CVIU A review of the evolution of object recognition systems over five decades trường hợp thuật ngữ Forward mô hình học sâu và mạng học sâu được sử dụng thay thế Instance and category object recognition techniques 12 Visual Object Recognition [91] 2011 Tutorial lẫn nhau.13 MặcObjectdùClasscác Detection:mạng A Survey học [310] sâu cóCSkhả năng 2013 ACM làm Survey of generic việcmethods object detection vớibefore hầu 2011 hết các loại Feature Representation for Statistical Learning Feature representation methods in statistical learning based object 14 [160] 2015 PR dữ liệu và15 bàiSalient toán khác nhau nhưng based Object Detection: A Review Object Detection: A Survey [19] 2014 trongdetection, arXiv thực tế, để có được những mô hình including handcrafted and deep learning based features A survey for salient object detection Representation Learning: A Review and New Unsupervised feature learning and deep learning, probabilistic models, học sâu phù 16 hợp với bài toán cụ Perspectives thể PAMI [13] 2013 cũng cóautoencoders,nhiều thách manifold learning, andthức.
deep networksHiện nay, Có 17 Deep Learning [149] 2015 Nature An introduction to deep learning and applications rất nhiều18 kiến A Survey trúc mạng on Deep Learning Analysis in Medicalhọc Image sâu khác nhau [170] 2017 MIA A survey cùng với of deep learning các for image biến classification, object thể segmentation and registration in medical image analysis detection, của chúng Recent Advances in Convolutional Neural A broad survey of the recent advances in CNN and its applications in đã được đề 19 xuất.