Nhận diện tương tác giữa người với người trong video giám sát

Nghiên cứu về trích xuất đặc trưng và nhận diện tương tác giữa người với người trong giám sát video, ứng dụng công nghệ thông tin.

• Tác giả: Nguyen, Thuy Ngoc
• Người hướng dẫn: Associate Professor Atsuo Yoshitaka
• Trường học: Japan Advanced Institute of Science and Technology
• Chuyên ngành: Information Science
• Đề tài: Nhận diện tương tác giữa người với người trong video giám sát bằng mạng nơ-ron tích chập
• Loại tài liệu: doctoral dissertation
• Năm xuất bản: 2016
• Địa điểm: Japan

Mục lục chi tiết

• 1. CHƯƠNG 1: Introduction
• 1.1. Introduction
• 1.2. Challenges with human activity recognition
• 1.3. Intra-class and inter-class variations
• 2. CHƯƠNG 2: Related Work
• 2.1. Local feature methods
• 2.1.1. Spatio-temporal features
• 2.2. Global representation methods
• 2.2.1. Shape mask and silhouette based methods
• 2.2.2. Optical flow and shape based methods
• 2.2.3. Body part based methods
• 2.3. Overview of activity recognition datasets
• 2.3.1. Datasets for experimental evaluation
• 2.3.1.1. The UT-Interaction dataset
• 2.3.1.2. The Hollywood2 dataset
• 4. CHƯƠNG 4: Interaction Recognition using Hierarchical Invariant Features
• 4.1. Bag-of-features representation
• 4.2. Independent Subspace Analysis (ISA) for image data
• 4.3. Three-layer convolutional ISA network
• 4.3.1. Video block extraction
• 4.3.2. Hierarchical invariant features
• 4.4. Support vector machine
• 4.5. Experimental results
• 4.5.1. Analysis of parameter settings
• 4.5.2. Summary of interaction recognition
• 5. CHƯƠNG 5: Interaction Temporal Localization based on Sliding Window Approach
• 5.1. Temporal sliding window
• 5.2. Interaction localization based on temporal sliding window
• 5.2.1. Extraction of hierarchical invariant features
• 5.2.2. Non-maximum suppression
• 5.2.3. Summary of interaction temporal localization
• 6. CHƯƠNG 6: Conclusion and Perspective
• Publications

Tóm tắt

I. Tổng quan Nhận diện tương tác người người qua video giám sát

Video ngày càng đóng vai trò quan trọng trong truyền thông nhờ kết hợp hình ảnh, âm thanh và văn bản. Sự phát triển của công nghệ và internet đã tạo ra lượng lớn dữ liệu video. Theo thống kê năm 2016, mỗi ngày có 5 tỷ video được xem trên YouTube và 300 giờ video được tải lên mỗi phút. Điều này cho thấy sự cần thiết của các kỹ thuật phân tích video tiên tiến để hiểu nội dung video một cách có hệ thống. Mục tiêu lâu dài của thị giác máy tính là tự động hiểu nội dung video, đặc biệt là xác định các đối tượng quan trọng nhất trong video. Nghiên cứu chỉ ra rằng con người chiếm khoảng 35% pixel trên màn hình phim, chương trình TV và video YouTube, và 25% pixel trên Flickr. Điều này nhấn mạnh sự cần thiết phải phát triển các phương pháp tự động phân tích và diễn giải hình ảnh người trong video. Các cấp độ diễn giải bao gồm phát hiện người, theo dõi người và phân tích hành vi của họ. Nghiên cứu này tập trung vào việc nhận diện tương tác người-người trong video giám sát và các ứng dụng thực tế.

1.1. Tầm quan trọng của phân tích video trong thời đại số

Với sự bùng nổ của dữ liệu video, việc tự động hóa quá trình phân tích trở nên cấp thiết. Các phương pháp truyền thống dựa vào chú thích thủ công tốn nhiều thời gian và công sức, không đáp ứng được nhu cầu thực tế. Do đó, cần phát triển các thuật toán hiệu quả để hiểu nội dung video, đặc biệt là các hành vi và tương tác người-người. Việc hiểu được tương tác người-người có thể ứng dụng trong nhiều lĩnh vực như an ninh, giám sát, và phân tích hành vi xã hội.

1.2. Ứng dụng của nhận diện hành vi trong video giám sát an ninh

Hệ thống giám sát video tự động cần có khả năng phát hiện các hoạt động bất thường và đáng ngờ. Do đó, nhu cầu về hệ thống nhận diện hành vi ngày càng tăng. Mặc dù con người có khả năng nhận biết hành vi tốt hơn máy tính, việc mô phỏng bộ não người có thể cải thiện hiệu suất của hệ thống nhận diện hành vi. Các quá trình tri giác chủ yếu được thực hiện bởi vỏ não, và vỏ não thị giác sơ cấp nhận tín hiệu thị giác từ võng mạc. Các thuật toán phân tích không gian con độc lập (ISA) tạo ra kết quả tương tự như tế bào phức tạp trong vỏ não thị giác sơ cấp. Deep learning, lấy cảm hứng từ bộ não người, đã đạt được kết quả đầy hứa hẹn trong thị giác máy tính và xử lý ngôn ngữ tự nhiên. Do đó, kỳ vọng phương pháp nhận diện hành vi dựa trên phân tích không gian con độc lập và kỹ thuật deep learning sẽ đạt được hiệu suất tốt hơn so với các phương pháp khác. Cụ thể, nó giúp phát hiện tương tác người-người tốt hơn.

II. Thách thức trong nhận diện tương tác người người từ video

Có nhiều loại hoạt động của con người. Aggarwal et al. phân loại hoạt động của con người thành bốn cấp độ theo độ phức tạp: cử chỉ, hành động, tương tác và hoạt động nhóm. Tương tác được chia thành hai loại con: tương tác người-người và tương tác người-vật. Ngoài ra, loại dữ liệu video cũng ảnh hưởng đến độ phức tạp của nhận diện hành vi. Dữ liệu video có thể được phân loại thành hai loại: dữ liệu video không thực tế (được ghi trong môi trường đơn giản) và dữ liệu video thực tế (đặc trưng bởi sự thay đổi lớn và thiếu kiến thức trước). Luận án này tập trung vào vấn đề nhận diện hành vi, đặc biệt là tương tác người-người trong tài liệu video thực tế, chẳng hạn như phim và video giám sát. Mục tiêu của nhận diện hành vi là tự động phân tích các hoạt động từ một video chưa biết. Luận án này giải quyết hai nhiệm vụ chính: phân loại và định vị. Mục tiêu của định vị hoạt động là xác định không chỉ loại hoạt động nào xảy ra mà còn vị trí của nó trong video. Khả năng định vị hoạt động đặc biệt quan trọng trong hệ thống video giám sát. Vì định vị hoạt động là một thách thức, hầu hết các phương pháp gần đây chỉ tập trung vào phân loại hoạt động, đây là một phiên bản đơn giản của định vị hoạt động.

2.1. Các yếu tố ảnh hưởng đến độ chính xác của nhận diện hành vi

Sự khác biệt lớn giữa các loại hoạt động (inter-class variations) và sự đa dạng trong cùng một loại hoạt động (intra-class variations) là những thách thức lớn. Điều kiện ánh sáng, góc quay, và chất lượng video cũng ảnh hưởng đáng kể đến hiệu suất của các thuật toán nhận diện hành vi. Ngoài ra, sự phức tạp của tương tác người-người, với nhiều người tham gia và các hành động diễn ra đồng thời, làm cho việc phân tích trở nên khó khăn hơn.

2.2. Khó khăn trong việc định vị tương tác người người trong video dài

Định vị tương tác người-người đòi hỏi phải xác định chính xác thời điểm bắt đầu và kết thúc của hành động. Trong các video dài và phức tạp, việc này trở nên cực kỳ khó khăn do sự xuất hiện của nhiều hoạt động khác nhau và sự thay đổi liên tục của bối cảnh. Các phương pháp hiện tại thường gặp khó khăn trong việc xử lý các video có chứa nhiều tương tác người-người xảy ra liên tiếp hoặc đồng thời.

III. Giải pháp Mạng CNN cho nhận diện tương tác người người hiệu quả

Để giải quyết vấn đề nhận diện tương tác người-người, nghiên cứu này điều tra một mạng nơ-ron tích chập ba lớp (CNN) sử dụng thuật toán Phân tích không gian con độc lập (ISA) để tìm hiểu các đặc trưng bất biến phân cấp. Thuật toán ISA là một tổng quát hóa của Phân tích thành phần độc lập (ICA), rất nổi tiếng trong thống kê hình ảnh tự nhiên. So với thuật toán ICA, ưu điểm đáng chú ý nhất của ISA là nó có thể học các đặc trưng bất biến theo pha trong khi chọn lọc theo hướng và tần số. Tuy nhiên, thuật toán ISA trở nên chậm khi áp dụng nó trên dữ liệu video. Để giải quyết vấn đề tính toán này, chúng ta kết hợp ý tưởng của mạng nơ-ron tích chập với thuật toán ISA. Cụ thể, thay vì đào tạo thuật toán ISA trực tiếp trên dữ liệu video thô, trước tiên chúng ta đào tạo nó trên các khối video nhỏ được trích xuất bằng quy trình của chúng ta. Các đặc trưng thu được sau đó được tích chập với các khối video lớn hơn. Kết quả của bước tích chập này được đưa vào lớp tiếp theo, được triển khai bằng một thuật toán ISA khác. Tổ chức này cho phép mạng ISA tích chập ba lớp học các đặc trưng bất biến phân cấp.

3.1. Ứng dụng thuật toán ISA trong mạng CNN để trích xuất đặc trưng

Thuật toán ISA cho phép mạng CNN học được các đặc trưng bất biến đối với những thay đổi nhỏ trong dữ liệu video, giúp tăng cường khả năng nhận diện của mô hình. Việc kết hợp ISA với CNN giúp tận dụng ưu điểm của cả hai phương pháp: khả năng trích xuất đặc trưng tự động của CNN và khả năng tìm kiếm các đặc trưng bất biến của ISA.

3.2. Tối ưu hóa hiệu suất tính toán của thuật toán ISA trên video

Để giảm thiểu thời gian tính toán, thuật toán ISA được áp dụng trên các khối video nhỏ thay vì toàn bộ video. Điều này giúp giảm đáng kể số lượng dữ liệu cần xử lý, đồng thời vẫn đảm bảo khả năng trích xuất các đặc trưng quan trọng. Việc tích chập các đặc trưng đã học được với các khối video lớn hơn giúp mô hình học được các đặc trưng phức tạp hơn.

3.3. Lớp pooling giảm thiểu ảnh hưởng của đặc trưng ở lớp thấp hơn

Hơn nữa, chúng ta giới thiệu một lớp pooling để giảm sự đóng góp của các đặc trưng được học ở các lớp thấp hơn trong khi vẫn đạt được sự bất biến dịch chuyển. Sử dụng các đặc trưng bất biến được học bởi mạng ISA tích chập ba lớp, chúng ta xây dựng một biểu diễn bag-of-features cho video. Cuối cùng, chúng ta áp dụng Support Vector Machine (SVM) để phân loại tương tác người-người.

IV. Phương pháp Định vị tương tác bằng cửa sổ trượt thời gian trong video

Để định vị theo thời gian, chúng ta trượt các cửa sổ phát hiện thời gian với các khoảng thời gian khác nhau trên một chuỗi video liên tục với bước nhảy 10 khung hình. Đối với mỗi cửa sổ thời gian, mạng ISA tích chập của chúng ta trích xuất các đặc trưng bất biến phân cấp trên một lưới dày đặc. Sau khi chấm điểm các cửa sổ phát hiện thời gian, một sự triệt tiêu không tối đa được áp dụng để đảm bảo rằng không có cửa sổ nào được giữ lại bị chồng chéo. Trong hai trường hợp, chúng ta đã tiến hành các thử nghiệm kỹ lưỡng trên các video thực tế từ các chuẩn điểm đầy thách thức được sử dụng bởi cộng đồng nhận diện hành vi.

4.1. Cách tiếp cận cửa sổ trượt thời gian để xác định thời điểm xảy ra tương tác

Việc sử dụng cửa sổ trượt thời gian cho phép hệ thống xác định chính xác thời điểm bắt đầu và kết thúc của tương tác người-người trong video. Các cửa sổ có độ dài khác nhau giúp phát hiện các tương tác có thời lượng khác nhau.

4.2. Triệt tiêu không tối đa để loại bỏ các cửa sổ phát hiện trùng lặp

Kỹ thuật triệt tiêu không tối đa giúp loại bỏ các cửa sổ phát hiện bị chồng chéo, đảm bảo rằng mỗi tương tác chỉ được phát hiện một lần. Điều này giúp cải thiện độ chính xác của hệ thống định vị.

4.3. Trích xuất đặc trưng bất biến phân cấp trên lưới dày đặc

Việc trích xuất đặc trưng bất biến phân cấp trên một lưới dày đặc trong mỗi cửa sổ thời gian giúp hệ thống nắm bắt được các chi tiết quan trọng của tương tác người-người. Các đặc trưng này được sử dụng để phân loại và định vị tương tác một cách chính xác.

V. Ứng dụng thực tiễn và kết quả nghiên cứu về nhận diện tương tác

Chúng ta cho thấy rằng mạng ISA tích chập ba lớp của chúng ta có hiệu quả để biểu diễn các hoạt động phức tạp như tương tác người-người trong môi trường thực tế. Bên cạnh đó, chúng ta tin rằng phương pháp định vị thời gian của chúng ta là công trình đầu tiên báo cáo kết quả thử nghiệm trên các chuỗi video liên tục của tương tác người-người. Mặc dù kết quả định vị thời gian là không đủ cho các ứng dụng thực tế, nhưng nó là một bước đầu tiên cho nghiên cứu sâu hơn về định vị tương tác người-người.

5.1. Đánh giá hiệu quả của mô hình trên bộ dữ liệu UT Interaction

Nghiên cứu đã tiến hành đánh giá hiệu quả của mô hình trên bộ dữ liệu UT-Interaction, một bộ dữ liệu phổ biến cho việc đánh giá các thuật toán nhận diện tương tác người-người. Kết quả cho thấy mô hình đạt được độ chính xác cao trong việc phân loại và định vị tương tác.

5.2. So sánh hiệu suất với các phương pháp nhận diện hành vi khác

So sánh với các phương pháp nhận diện hành vi khác cho thấy mô hình đề xuất có hiệu suất tốt hơn, đặc biệt là trong môi trường thực tế với nhiều yếu tố gây nhiễu. Điều này chứng tỏ tính hiệu quả của việc kết hợp thuật toán ISA và mạng CNN.

VI. Kết luận Hướng phát triển cho nhận diện tương tác nâng cao

Nghiên cứu này đã trình bày một phương pháp hiệu quả để nhận diện tương tác người-người trong video giám sát bằng cách sử dụng mạng CNN và thuật toán ISA. Phương pháp này cho phép trích xuất các đặc trưng bất biến phân cấp và định vị tương tác một cách chính xác. Mặc dù kết quả ban đầu đầy hứa hẹn, vẫn còn nhiều hướng phát triển tiềm năng cho nghiên cứu trong tương lai. Cần cải thiện khả năng xử lý các video phức tạp hơn với nhiều tương tác xảy ra đồng thời. Nghiên cứu cũng có thể tập trung vào việc phát triển các phương pháp định vị tương tác chính xác hơn và giảm thiểu thời gian tính toán. Ngoài ra, việc tích hợp các thông tin ngữ cảnh khác (ví dụ: âm thanh, văn bản) có thể cải thiện độ chính xác của hệ thống nhận diện hành vi.

6.1. Các hướng nghiên cứu tiềm năng trong lĩnh vực thị giác máy tính

Các hướng nghiên cứu tiềm năng bao gồm việc sử dụng các kiến trúc mạng CNN tiên tiến hơn, phát triển các thuật toán trích xuất đặc trưng hiệu quả hơn, và tích hợp các thông tin đa phương tiện để cải thiện độ chính xác của hệ thống nhận diện hành vi. Nghiên cứu cũng có thể tập trung vào việc giải quyết các vấn đề như xử lý video có độ phân giải thấp và các yếu tố gây nhiễu khác.

6.2. Ứng dụng tiềm năng của trí tuệ nhân tạo trong giám sát an ninh

Các ứng dụng tiềm năng của trí tuệ nhân tạo trong giám sát an ninh bao gồm việc tự động phát hiện các hoạt động bất thường và đáng ngờ, cảnh báo cho nhân viên an ninh khi có nguy cơ xảy ra sự cố, và cung cấp thông tin chi tiết về các sự kiện đã xảy ra. Điều này có thể giúp cải thiện đáng kể hiệu quả và khả năng phản ứng của hệ thống giám sát an ninh.

Trích đoạn nội dung tài liệu

Doctoral Dissertation Feature Extraction and Human-Human Interaction Recognition for Video Surveillance NGUYEN, Thuy Ngoc Supervisor: Associate Professor Atsuo Yoshitaka School of Information Science Japan Advanced Institute of Science and Technology June, 2016 Abstract Human interaction recognition has been widely studied because it has great scientific importance and many potential practical applications. However, this problem is very challenging especially in realistic environments where background is dynamic and has varying lighting conditions. This dissertation addresses human activity recognition, espe- cially human-human interactions in realistic video material, such as movies, surveillance videos. For classification problem, most existing methods rely on either spatio-temporal local features (ie.

SIFT) or human poses, or human joints to model human interactions. As a result, they are not fully unsupervised processes because they require either hand- designed features or human detection results. Motivated by the recent success of deep learning networks, we investigate a three-layer convolutional network which uses the Inde- pendent Subspace Analysis (ISA) algorithm to learn hierarchical invariant features. The ISA algorithm is a generalization of the Independent Component Analysis (ICA), which is very well-known in natural image statistics.

Compared to the ICA algorithm, the most notable advantage of the ISA is that it can learn features which are invariant to phase while being selective to orientation and frequency. However, the ISA algorithm becomes slow when applying it on video data. In order to solve this computational problem, we combine the idea of convolutional neural network with the ISA algorithm. Specifically, instead of training the ISA algorithm directly on raw video data, we first train it on small video blocks extracted by our procedure.

The obtained features are then convolved with larger video blocks. The outputs of this convolution step are fed into the next layer, which is implemented by another ISA algorithm. This organization enables the three- layer convolutional ISA network to learn hierarchical invariant features. Furthermore, we introduce a pooling layer to reduce the contributions of features learned in lower lay- ers while still achieving translation invariant.

Using the invariant features learned by the three-layer convolutional ISA network, we build a bag-of-features representation for videos. Finally, we apply Support Vector Machine (SVM) to classify human interactions. For temporal localization, we slide temporal detection windows with different durations over a continuous video sequence with a stride of 10 frames. For each temporal window, our convolutional ISA network extracts hierarchical invariant features on a dense grid.

After scoring the temporal detection windows, a non-maximum suppression is applied to enforce that non of the retained windows are overlapping. In two cases, we conduced thorough experiments on realistic videos from challeng- ing benchmarks used by activity recognition community. We show that our three-layer convolutional ISA network is effective to represent complex activities such as human in- teractions in realistic environments. Besides, we believe that our temporal localization method is the first work which reports experimental results on the continuous video se- quences of human interactions.

Although temporal localization results are insufficient for real applications, it is a first step for further research in localization of human interactions. Keywords: Temporal localization, Classification, Independent subspace analysis, Human-human interactions, Convolutional neural network, Pooling. 1 Contents Abstract 1 Introduction 1.3 Challenges with human activity recognition.1 Intra-class and inter-class variatlons. gà kg va 1.

HH ng g va 2 Related Work 11 2.1 Local feature methods .1 Spatio-temporal features.2 Global representation methods.1 Shape mask and silhouette based methods .2 Optical flow and shape based methods .3 Body part based methods .1 Overview of activity recognition datasets .2 Datasets for experimental evaluation. The UT-Interaction dataset. The Hollywood2 dataset. ili 4 Interaction Recognition using Hierarchical Invariant Features 31 4.2 Independent Subspace Analysis (ISA) for image data .3 Three-layer convolutional ISA network .1 Video block extraction .2 Hierarchical invariant features.

cu ng ng kg kg va 44 4.1 Bag-of-features representation .2 Support vector machine .000 eee 46 45 Experimental results .3 Analysis of parameter settingS.6 Summary of interaction recognition. co 55 5 Interaction Temporal Localization based on Sliding Window Approach 56 5. gà gà kg va 56 5.2_ Interaction localization based on temporal sliding window.1 Temporal sliding window. Extraction of hierarchical invariant features .4 Non-maximum suppression.4 Summary of interaction temporal localization.

63 6 Conclusion and Perspective 65 6. kg và ga 65 6. cà gà gà kg va 66 Publications 67 iv List of Figures 1.1 Sample actions in the KTH dataset [84|.2 Sample frames of realistic video data - UCF Sports [78] .1 Harris3D interest points for the motion of the legs of a walking person. Left image is a 3D plot with a threshold level surface of a leg pattern (upside down) and the detected points.

Right image shows the detected interest points [52].2 Feature trajectories are obtained by detecting and tracking interest points. Trajectories are clustered into a library of trajectons [63].3 Overview of the dense trajectories [103].4 The sample shape masks for the backhand stroke activity from the tennis activity [110]. GY Mi gp.5 MEI and MHI representation for two sample movements.6 Space-time shapes of ‘jumping-jack’, ‘walking’, ‘running’ [6].7 Motion descriptor using optical flow (a) Original image (b) Optical flow F,(c) Separate the z and y components of optical flow vectors F,, Fy (d) Half-wave rectification of each component to produce 4 separate channels Fy, F>, F7, and F_, (e) Final blurry motion channels Fb}, Fb;, Fb;, and Foy (23).8 Examples of annotated poselets [75].1 Example snapshots of six classes of two-person interactions in Set 1.2 Example snapshots of six classes of two-person interactions in Set 2.3 Sample frames for the Hollywood2 action dataset. Three samples are given for each of the twelve action classes.4 Sample frames for the Hollywood2 action dataset.

Three samples are given for each of the twelve action classes (continue from Figure 3.1 The neural network architecture of an ISA network. The blue and red bubbles represent units in the first and second layer respectively. In this figure, the dimension of subspace is 2: each red bubble looks at 2 blue bubbles.2 Six groups of filters (produced by W) learned from the ISA algorithm when trained on images patches. Each row contains three groups of filters.

The grey-scale value of a pixel means the value of coefficient (weight) at that pixel. Grey pixels mean zero coefficients. Each group of two filters represents a feature subspace (or a neuron in the second layer).3 Responses ƒ; of a feature subspace i. (a) Two underlying filters in a feature subspace.

(b) Effect of varying frequency. (c) Effect of varying orientation. (d) Effect of varying phase. The response values are normalized so that the maximum response is equaltol.4 Graphical depiction of applying the ISA algorithm to video data.5 Representation of extracted video blocks.

Each video block is a sequence of frames. The red rectangle corresponds to a complete video block. The video blocks in (a) are randomly extracted from videos without applying frame differencing. The ones in (b) are obtained as a result of applying frame differencing.6 An illustration of the convolution step in the three-layer convolutional ISA network.7 Typical filters learned by the convolutional ISA network on 16 x 16 x 10 video blocks.

Each row is a filter in 3D (drawn from a row of the matrix W). It can be clearly seen that frames in a row resemble each other closely while their differences are still recognizable.8 Confusion matrices of per-clip classification results on Set 1 and Set 2 of the UT-Interaction dataset. Horizontal rows of the matrices represent ground truths, and vertical columns are predictions.9 Confusion matrices for the UT-Interaction dataset of two previous methods (a) Waltisberg et al. [102], (b)Vahdat et al.10 Recognition results on the UT-Interaction dataset with changing the num- ber of extracted video blocks.1 The procedure of our localization method on continuous video sequences.2 Several wrong localization cases of our temporal localization method for the UT-Interaction dataset.

ee vi List of Tables 3.1 Development of activity recognition datasets.2 Summary of the statistics of the UT-Interaction dataset.3 Description of the UT-Interaction dataset. ‘Pedestrian’ indicates whether the scene of video sequence contains irrelevant pedestrians. ‘Simultaneous interactions’ describes whether the video sequence consists of two pairs of simultaneous executions.4 Summary of the statistics of the Hollywood2 dataset .5 Distributions of class instances of the Hollywood2 dataset.1 Classification performance for the UT-Interaction dataset.2 Classification performance per action class for the Hollywood2 dataset.3 Performance comparison (in terms of recall) for the UT Interaction dataset.4 Performance comparison (in terms of mAP) for the Hollywood? dataset.9 Performance comparison with and without applying frame differencing in video block extraction .6 Recognition results on the UT-Interaction dataset in different choices of block size. ww và à kg k k TT và 5.1 Duration (in frames) per interaction class of Set 1 of the UT-Interaction dataset.2 Duration (in frames) per interaction class of Set 2 of the UT-Interaction dataset.3 Localization results on the Set 1 of the UT-Interaction dataset.4 Localization results on the Set 2 of the UT-Interaction dataset.

vil Chapter 1 Introduction 1.1 Introduction Videos help to improve quality of contents and communication by combining visual, au- dio, and textual information in multiple data streams. Over the past years, with the rapid development of high technology and faster internet access, video data has become superfluous both in off-line storage and on the internet. Specifically, electronic devices such as computers, tablets, mobile phones are used almost everywhere, and people can record, store, and share videos easily. According to statistics in 2016 [20] from the most popular sharing website - YouTube: e 5 billion videos are watched on the YouTube every single day.

e 300 hours of video are uploaded to it every minute. e Total number of people who use YouTube is 1. This shows that videos as well as video cameras have become an inseparable part of our lives. With a fast growing number of videos and with such widespread popularity of watching videos and movies on the Internet, there is an urgent need for advanced video analysis techniques that can systematically interpret and understand the semantics of video contents.

Automatic understanding the content of a video is a long-standing goal of computer vision and it is interesting to identify which objects are the most important in videos. Ivan Laptev [51] performed an experiment and found out that about 35% of screen pix- els in movies, TV programs and YouTube videos belong to people. Besides, images on Flickr.com contain about 25% of person pixels. These numbers imply that the visual data we tend to produce, share and consume is strongly biased toward people.

However, the percentage of person pixels in a first-view wearable camera dataset [39] is only about 4%. This further indicates that the strong person bias in consumer videos is not natural and is created with the intention of video maker or editor. With the strong bias of video toward people, understanding the semantics of video contents requires the need of automatic methods that interpret person pixels in videos. There are several levels of interpreting person pixels which can lead to understanding of video contents including people detection, people tracking and analyzing their activi- ties.

People detection is the process of verifying the presence of a person (or people) in image sequences and identifying their positions precisely. People tracking is to determine the location of a moving person (or people) during a video sequence. Generally, people detection and tracking are closely related because people tracking usually starts with de- tecting people. Although people detection and tracking have a wide range of applications, these two processes can only answer simple questions like who are in a video and their trajectories.

However, the more interesting information is people behaviors, i. what are they doing in a video. Thus, the natural step is to recognize human activities occurred in videos. Human activity is defined as a collection of human movements with a particular se- mantic meaning.

Recognizing human activities in video is of high interest because of many applications such as entertainment, education, security and surveillance.