chương 1, luận án sẽ trình bày các vấn đề liên quan đến phương pháp biểu diễn dữ liệu trong không gian và biểu diễn đối tượng chuyển động dựa vào các kỹ thuật học máy. Đặc biệt là những khó khăn khi biểu diễn dữ liệu đối tượng chuyển động trong không gian mà luận án tập trung nghiên cứu.1 khái quát hóa các nội dung chính trong chương, bao gồm: Phần 1.1 trình bày các phương pháp biểu diễn dữ liệu trong không gian bằng cách khởi tạo không gian vectơ, ma trận, ten-xơ (tensor) đặc trưng.2 trình bày các phương pháp biểu diễn dữ liệu trong học máy như phương pháp xác định xác suất phân bố của dữ liệu, phương pháp biểu diễn dữ liệu tăng và giảm số chiều.3 là phương pháp biểu diễn đối tượng chuyển động trong không gian bằng cách sử dụng đại số hình học bảo giác. Cuối cùng là phần kết luận chương và nêu ra một số vấn đề quan trọng mà luận án đã tập trung giải quyết.1: Mô hình huấn luyện dữ liệu trong học máy 1.1 Phương pháp biểu diễn dữ liệu trong không gian Dữ liệu đầu vào trong các mô hình học máy thông thường là dữ liệu thô (dữ liệu ghi nhận từ các thiết bị đầu vào) có thể tồn tại ở các dạng khác nhau như văn bản (text), âm thanh (sound), hình ảnh (image) và phim (video). Các loại dữ liệu này sẽ 9 được biểu diễn theo những đặc điểm dữ liệu riêng như âm thanh có thể được biểu diễn dưới dạng tần số và cường độ, hình ảnh có thể biểu diễn dưới dạng mức sáng và màu (RGB) và phim thì có thể biểu diễn dưới dạng khung hình và màu hình….
Tuy nhiên, để xử lý cũng như thực hiện các tính toán trong học máy thì dữ liệu được biểu diễn lại dưới dạng không gian vectơ [78, 56], ma trận [31, 72] hoặc ten-xơ (tensor) [26] đầu vào của các thuật toán trong học máy [6, 36, 40, 85].1 Phương pháp biểu diễn dữ liệu bằng không gian vectơ Phương pháp biểu diễn dữ liệu bằng không gian vectơ là phương pháp ánh xạ một tập dữ liệu vào không gian vectơ nhiều chiều và được áp dụng trong hầu hết các lĩnh vực của khoa học máy tính. Một không gian vectơ chứa các dãy số, các giá trị trong dãy số được gọi là các phần tử của vectơ và có thể viết để chỉ phần tử thứ trong vectơ. Trong toán học, một vectơ cột được biểu diễn dưới dạng = ⋮ và vectơ hàng được biểu diễn dưới dạng =[ … ], trong đó , …, là các phần tử thứ đến thứ của vectơ và các phần tử này là số thực thì có thể ký hiệu ={ ∈ ℝ}, ∈ {1, … , }.2 Phương pháp biểu diễn dữ liệu bằng ma trận Phương pháp biểu diễn dữ liệu bằng ma trận là phương pháp sử dụng rất phổ biến trong xử lý ảnh và nhận dạng [12, 73]. Một ma trận được khái quát hóa để biểu diễn dữ liệu bằng hai trục gọi là hàng và cột.
Một ma trận ∈ ℝ × gồm hàng và cột có các phần tử là giá trị số thực, mỗi phần tử sẽ nằm ở hàng thứ ∈ {1, … , } và cột thứ ∈ {1, … , } của ma trận. Trong toán học, một ma trận có thể được biểu diễn như sau, … … = ⋮ ⋮ ⋱ ⋮ … 10 Trong ma trận ∈ ℝ × bất kỳ có số hàng bằng số cột ( = ) thì ma trận được gọi là ma trận vuông. Trong tính toán, có thể hoán đổi các hàng và cột của ma trận để có được ma trận chuyển vị được ký hiệu là , nếu = thì = với mọi và. Hai phương pháp biểu diễn dữ liệu đầu vào bằng ma trận có thể kể đến là mạng nơron tích chập [85] và thuật toán P.
Viola [72] trong nhận dạng hình ảnh.3 Phương pháp biểu diễn dữ liệu bằng Ten-xơ Ten-xơ (tensor) [1] là một khái niệm phổ biến sử dụng để biểu diễn dữ liệu nhiều chiều trong học máy. Ten-xơ số thực với bậc dạng tổng quát ∈ ⊗ ℝ ∈ {1, … , } trong không gian Euclid ℝ , trong trường hợp vectơ ( = 1) và ma trận ( = 2). Các phần tử trong ten-xơ được xác định bằng các chỉ số trên từng chiều của ten-xơ, trong trường hợp ten-xơ ba chiều được ký hiệu là ∈ℝ × × , mỗi phần tử sẽ nằm ở hàng thứ ∈ {1, … , }, cột thứ ∈ {1, … , } và chiều sâu ∈ {1, … , } của ten-xơ. Các dạng dữ liệu phổ biến được biểu diễn bằng ten-xơ: - Dữ liệu vectơ (vector data) là một ten-xơ hai chiều thường áp dụng trong các thuật toán học máy và có cấu trúc hàng và cột như (sample, feature).
Trong đó, sample là số chuỗi và feature là số đặc trưng của dữ liệu. - Dữ liệu chuỗi thời gian và dữ liệu chuỗi (time series and sequence data) là một cấu trúc dữ liệu gồm nhiều giá trị liên tiếp theo trình tự thời gian dạng ba chiều. Dữ liệu dạng này thường được ứng dụng rộng rãi trong nhiều lĩnh vực như quản lý quy trình chất lượng, phân tích thị trường chứng khoán và dự báo và phân tích kinh tế [20]. - Dữ liệu hình ảnh (image data) là một ten-xơ có cấu trúc thông thường chứa các thông tin độ sáng, điểm ảnh và kênh màu có dạng (sample, height, width, chanel).
Trong đó, sample là số hình ảnh, height là chiều cao của hình, width là chiều rộng của hình, chanel là số kênh màu. Ví dụ có 5000 hình có kích thước 200 × 200, đối với ảnh màu RGB là (5000, 200, 200, 11 3), ảnh trắng đen hay xám là (5000, 200, 200, 1) [5, 86]. - Dữ liệu video (video data) là một cấu trúc ten-xơ và mỗi video bao gồm nhiều khung hình (mỗi hung hình là một hình ảnh). Nên dữ liệu video sẽ có dạng (sample, frames, height, width, chanel) hoặc đơn giản hơn là dữ liệu dạng tọa độ 3 chiều của các đối tượng [95].
Ngày nay, lượng dữ liệu được sinh ra rất nhanh từ các giao dịch điện tử, dữ liệu âm thanh, hình ảnh và các ứng dụng của cảm biến trong Internet of Things. Lượng dữ liệu lớn đã thúc đẩy các nhà nghiên cứu chuyển từ thu, nhân dữ liệu sang nghiên cứu tích hợp ở mức cao hơn có khả năng phân tích, dự báo và nhận dạng các đối tượng. Vì vậy, cần phải lựa chọn phương pháp học máy phù hợp với dữ liệu đầu vào để biểu diễn dữ liệu và xây dựng mô hình huấn luyện nhằm nâng cao hiệu quả xử lý dữ liệu.2 Phương pháp biểu diễn đối tượng chuyển động trong học máy Học máy (tiếng Anh: Machine Learning) [14] có rất nhiều phương pháp và thuật toán khác nhau. Đồng thời cũng có nhiều cách để phân loại các thuật toán học máy, cách phân loại phổ biến nhất là chia học máy thành hai loại cơ bản là học có giám sát và học không giám sát: - Học có giám sát (Supervised learning) [14] là phương pháp học máy sử dụng bộ dữ liệu huấn luyện có gán nhãn.
Tức là dữ liệu bao gồm các cặp các đối tượng có đầu vào và đầu ra tương ứng. Một số thuật toán học có giám sát phổ biến như: máy vectơ hỗ trợ [12, 66], mô hình Markov ẩn 24, 53], mạng nơ-ron (NN) [54]. - Học không giám sát (Unsupervised learning) [96] là phương pháp học máy sử dụng tập dữ liệu không gán nhãn (gọi là tập dữ liệu quan sát), tức là không biết trước đầu ra tương ứng cho mỗi đối tượng. Một số phương pháp phổ biến trong học không giám sát như k-mean [71], Fuzzy C-means (FCM), Hierarchical Agglomerative Clustering (HAC) [47], Mô hình hỗn hợp Gauss (GMM) [40, 43].
12 Việc lựa chọn phương pháp học máy để biểu diễn dữ liệu phụ thuộc rất nhiều vào dữ liệu đầu vào và mục đích biểu diễn dữ liệu của hệ thống. Dưới đây, luận án giới thiệu một số phương pháp biểu diễn dữ liệu rất phổ biến như mô hình xác suất, phương pháp biểu diễn giảm và tăng chiều dữ liệu trong học máy.1 Biểu diễn dữ liệu dựa trên mô hình xác suất Mô hình xác suất [14] là một trong những mô hình quan trọng nhất của khoa học hiện đại và đặc biệt là học máy [10] bởi vì đa phần các thuật toán trong học máy đều dựa trên cơ sở xác suất. Trong các mô hình học máy thông thường dữ liệu đầu vào rất lớn, nếu chúng ta xử lý trên toàn bộ dữ liệu đầu vào này sẽ tốn rất nhiều chi phí tính toán và không gian lưu trữ. Vì vậy, sử dụng các tham số trong mô hình xác suất như trung bình, phương sai và độ lệch chuẩn để thay thế cho dữ liệu lớn sẽ làm giảm được chi phí tính toán và lưu trữ.
Trong phần này, luận án trình bày hai mô hình xác suất được áp dụng rất phổ biến là mô hình hỗn hợp Gauss để biểu diễn dữ liệu và HMM áp dụng phổ biến trong huấn luyện dữ liệu và nhận dạng.1 Mô hình hỗn hợp Gauss Mô hình hỗn hợp Gauss (tiếng Anh: Gaussian Mixture Model - GMM) [25, 40, 43] là một mô hình phân phối xác suất rất quan trọng và được sử dụng rất phổ biến trong các nghiên cứu về nhận dạng hình ảnh, nhận dạng tiếng nói và hành động [51, 89]. GMM được biểu diễn bởi tổng trọng số các hàm mật độ xác suất của phân phối Gauss [1] thành phần là , ,…, .1) trong đó, ∈ là vectơ đặc trưng của đối tượng cần biểu diễn trong không gian chiều, là các trọng số của hỗn hợp thoả mãn điều kiện 0 ≤ ≤ 1 và ∑ = 1, ∈ {1, … , } là số lượng các thành phần của hàm mật độ Gauss như Hình 1.2: Mô hình hỗn hợp Gauss của M phân phối thành phần Mỗi hàm mật độ xác suất Gauss ( | , ∑ ) [43] là một thành phần của hỗn hợp có vectơ trung bình là ∈ và hiệp phương sai là ∑. Hàm mật độ xác suất Gauss thành phần được biểu diễn như sau, 1 1 ( | ,∑ ) = exp − ( − ) ∑ ( − ) (1.2) (2 ) ‖∑ ‖ 2 Như vậy, GMM đầy đủ được mô tả bởi bộ có 3 tham số là ={ , , ∑ }. Việc huấn luyện dữ liệu được mô hình hóa bởi tham số , cần xác định hàm khả năng (likehood function - độ hợp lý) [14, 40], ( | ) = ( | ) (1.3) trong đó, ∈ {1, … , } là số lượng vectơ đặc trưng của dữ liệu huấn luyện.
Trên thực tế, dữ liệu được biểu diễn bởi tham số là hàm phi tuyến nên có thể sử dụng thuật toán cực đại kỳ vọng (Expectation Maximization - EM) [14, 40, 65] để xác định giá trị cực đại.
