Chương 1 TỔNG QUAN 1. Tổng quan về học sâu 1. Định nghĩa Học sâu là một phương thức trong lĩnh vực trí tuệ nhân tạo (AI), được sử dụng để dạy máy tính xử lý dữ liệu theo cách được lấy cảm hứng từ bộ não con người. Mô hình học sâu có thể nhận diện nhiều hình mẫu phức tạp trong hình ảnh, văn bản, âm thanh và các dữ liệu khác để tạo ra thông tin chuyên sâu và dự đoán chính xác.
Mô hình học sâu có mô hình tính toán lấy ý tưởng từ bộ não người được minh họa trong Hình 1. Công dụng của mô hình học sâu Mô hình học sâu có một số trường hợp sử dụng trong lĩnh vực ô tô, hàng không vũ trụ, sản xuất, điện tử, nghiên cứu y học và nhiều lĩnh vực khác. Sau đây là một vài ví dụ về học sâu: • Xe tự lái sử dụng các mô hình học sâu để tự động phát hiện biển báo giao thông và người đi bộ. • Hệ thống quốc phòng sử dụng mô hình học sâu để tự động gắn cờ các khu vực được quan tâm trong ảnh vệ tinh.
Lương Thị Thanh Minh KHMT-K20A Luận văn Thạc sỹ 11 Khoa học máy tính Hình 1.1: Minh họa mô hình học sâu dựa trên ý tưởng giống cách tính toán của não người. • Phân tích hình ảnh y khoa sử dụng học sâu để tự động phát hiện các tế bào ung thư trong chẩn đoán y tế. • Các nhà máy sử dụng ứng dụng học sâu để tự động phát hiện con người hoặc vật thể khi những đối tượng này đang nằm trong khoảng cách không an toàn của máy móc. Mạng nơ ron tích chập Mạng nơron tích chập (còn gọi là ConvNet/CNN) là một thuật toán Deep Learning có thể lấy hình ảnh đầu vào, gán độ quan trọng (các trọng số - weights và độ lệch - bias có thể học được) cho các đặc trưng/đối tượng khác nhau trong hình ảnh và có thể phân biệt được từng đặc trưng/đối tượng này với nhau.
Công việc tiền xử lý được yêu cầu cho mạng nơron tích chập thì ít hơn nhiều so với các thuật toán phân loại khác. Trong các phương thức sơ khai, các bộ lọc được thiết kế bằng tay (hand - engineered), với một quá trình huấn luyện để chọn ra các bộ lọc/đặc trưng phù hợp thì mạng nơron tích chập lại có khả năng tự học để chọn ra các bộ lọc/đặc trưng tối ưu nhất. Kiến trúc của nơron tích chập tương tự như mô hình kết nối của các nơron trong bộ não con người và được lấy cảm hứng từ hệ thống vỏ thị giác trong bộ não (visual cortex). Các Lương Thị Thanh Minh KHMT-K20A Luận văn Thạc sỹ 12 Khoa học máy tính Hình 1.2: Một trình tự CNN để phân loại các chữ số viết tay.
nơ-ron riêng lẻ chỉ phản ứng với các kích thích trong một khu vực hạn chế của trường thị giác được gọi là Trường tiếp nhận (Receptive Field). Một tập hợp các trường như vậy chồng lên nhau để bao phủ toàn bộ khu vực thị giác.2 minh họa kiến trúc của mạng CNN để nhận dạng các ký tự số viết tay. Tổng quan về ước lượng tư thế người 3D Ước lượng tư thế người trong không gian 3D là mối quan tâm nghiên cứu lớn trong khoa học máy tính, trí tuệ nhân tạo, thị giác máy tính. Kết quả của nó được áp dụng trong nhiều lĩnh vực như an ninh, giám sát, bảo vệ sức khỏe, đặc biệt là trong thể thao.
Trong luận văn này, tôi quan tâm đến vấn đề ước lượng tư thế người trong không gian 3D. Ước lượng tư thế người trong không gian 2D là ước lượng tư thế người trong hình ảnh màu thu được từ hình ảnh và video RGB bằng một camera. Quá trình ước lượng là quá trình dự đoán vị trí (x, y) của các khớp xương của khung xương người trong không gian 2D, như minh họa trong Hình 1. Ước lượng tư thế người 3D xác định vị trí của các khớp trên khung xương người, với mỗi khớp có tọa độ (x, y, z), như minh họa trong Hình 1.
Lương Thị Thanh Minh KHMT-K20A Luận văn Thạc sỹ 13 Khoa học máy tính Hình 1.3: Minh họa kết quả ước lượng tư thế/khung xương người trong không gian 2D và 3D. Bên trái là kết quả lượng tư thế người trên ảnh/không gian 2D, bên phải là kết quả ước lượng tư thế người trong không gian 3D. Việc ước lượng tư thế người 2D của một người có thể được chia thành phương pháp hồi quy trực tiếp và phương pháp dựa trên bản đồ nhiệt. Các phương pháp hồi quy trực tiếp là việc sử dụng mạng CNN từ đầu đến cuối (end-to-end) để tìm hiểu ánh xạ từ hình ảnh đầu vào để ước lượng các khớp/điểm chính 2D hoặc tham số của mô hình khung xương người.
Các phương pháp dựa trên bản đồ nhiệt dự đoán vị trí của các bộ phận cơ thể và khớp/điểm chính 2D từ xác suất bản đồ nhiệt. Các phương pháp dựa trên bản đồ nhiệt là dự đoán vị trí của các bộ phận cơ thể và các khớp/điểm chính 2D, trong đó phương pháp bản đồ nhiệt được sử dụng rộng rãi nhất hiện nay.4 minh họa kết quả của phương pháp sử dụng bản đồ nhiệt để dự đoán các khớp xương 2D trên ảnh. Ngoài ra, hai nghiên cứu khảo sát này đã trình bày chi tiết kết quả ước tính tư thế người 2D từ một camera theo một hướng nhìn. Ước lượng tư thế nhiều người hai chiều được thực hiện bằng phương pháp từ trên xuống hoặc phương pháp từ dưới lên.
Các phương pháp từ trên xuống là phát hiện và phân loại từng người trong ảnh, giới hạn họ bằng các hộp giới hạn (bounding box), sau đó ước lượng tư thế của từng người được phát hiện thông qua hộp giới hạn. Phương pháp từ dưới lên bao gồm hai bước chính: trích xuất các đặc trưng cục bộ bằng cách dự đoán các ứng cử viên khớp xương và các ứng cử viên khớp xương lắp ráp theo mô hình khung xương người cho các cơ thể riêng lẻ. Ước lượng tư thế người 3D cũng đã nhận được rất nhiều sự quan tâm nghiên cứu trong thập kỷ qua. Ước lượng tư thế người 3D thường được thực hiện dựa trên hai phương pháp Lương Thị Thanh Minh KHMT-K20A Luận văn Thạc sỹ 14 Khoa học máy tính Hình 1.4: Minh họa sử dụng bản đồ nhiệt để dự đoán các khớp khung xương người trên ảnh.
(a) kết quả bản đồ nhiệt khi độ lệch chuẩn của hàm Gaussian được đặt là 1. (b) kết quả bản đồ nhiệt khi độ lệch chuẩn của hàm Gaussian được đặt là 2. (c) kết quả bản đồ nhiệt khi độ lệch chuẩn của hàm Gaussian được đặt là 5. Về các phương pháp dựa trên DL, việc ước lượng tư thế người 3D của một người từ hình ảnh/video RGB bằng một mắt có thể được thực hiện dựa trên ba phương pháp [5], được minh họa trong Hình.5: Phương pháp đầu tiên là sử dụng mạng kết thúc đến kết thúc (End-to- end) CNN để ước lượng tư thế người 3D (M1 trong Hình.5); Thứ hai là sử dụng CNN để nâng tư thế người 2D thành tư thế người 3D (M2 trong Hình.5); Thứ ba là sử dụng CNN để hồi quy tư thế người 3D từ tư thế người 2D (M3 trong Hình.
Lương Thị Thanh Minh KHMT-K20A Luận văn Thạc sỹ 15 Khoa học máy tính Input 3D human pose M1 End-to-End CNN M2 Mapping to 3D human pose library CNN 2D human pose CNN-Based M3 Regression from kinematic model CNN 2D human pose Hình 1.5: Minh họa ba phương pháp ước lượng tư thế người 3D sử dụng CNN dựa trên hình ảnh/video Monocular RGB. Wang và các cộng sự [22] đã tiến hành một cuộc khảo sát đầy đủ về phương pháp ước lượng tư thế người 3D, bộ dữ liệu đánh giá, chỉ số, kết quả và ứng dụng. Trong luận văn này, tôi chỉ quan tâm đến các nghiên cứu ước lượng tư thế người 3D từ hình ảnh và video RGB thu được từ một camera. Theo nghiên cứu của Song và các cộng sự, vấn đề về tư thế người 3D từ hình ảnh và video RGB thu được từ một camera được giải quyết bằng hai nhóm phương pháp: ước lượng tư thế người 3D trực tiếp và chuyển tư thế người 2D sang không gian 3D.
Tuy nhiên, nghiên cứu của Wang và các cộng sự [22] giải quyết vấn đề ước lượng tư thế người 3D từ hình ảnh và video RGB thu được từ một camera bằng ba phương pháp: ước lượng tư thế người 3D trực tiếp, phương pháp chuyển tư thế người 2D sang không gian 3D và phương pháp dựa trên SMPL (Skinned Multi-Person Linear). Ước lượng tư thế người 3D trực tiếp là thiết kế một CNN đầu cuối để dự đoán tọa độ 3D của các khớp của tư thế người 3D từ hình ảnh. Phương pháp này bao gồm hai lớp: dựa trên phương pháp phát hiện và phương pháp dựa trên hồi quy. Ở đây tôi giới thiệu một số nghiên cứu điển hình về ước lượng tư thế người 3D.
Pavlakos và các cộng sự đã đề xuất mô hình CNN từ đầu đến cuối để huấn luyện mô hình ước lượng, bao gồm hai bước chính: Mạng kết hợp (ConvNet) để dự đoán vị trí khớp 2D và bước tối ưu hóa tiếp theo để khôi phục các khớp tọa độ 3D của tư thế người 3D. MPJE (Mean Per Joint Error - Lỗi trung bình trên mỗi khớp) (mm) trên Bộ dữ liệu Human 3.6M [9] là Lương Thị Thanh Minh KHMT-K20A Luận văn Thạc sỹ 16 Khoa học máy tính 51,9 mm và trên bộ dữ liệu HumanEva-I là 24,3 mm. Các ứng dụng của ước lượng tư thế người bao gồm một số lĩnh vực như nhận dạng hoạt động, ghi lại chuyển động và thực tế tăng cường, huấn luyện rô-bốt và theo dõi chuyển động cho bảng điều khiển. Stenum và các cộng sự [17] đã phát triển một ứng dụng đánh giá hoạt động của cơ thể người theo tuổi thọ dựa trên ước lượng tư thế của con người.
Đồng thời, các tác giả cũng phân tích những thách thức và hạn chế của các ứng dụng dựa trên tư thế người như vấn đề ẩn các bộ phận cơ thể, dữ liệu huấn luyện hạn chế, lỗi do quá trình chụp hạn chế, lỗi vị trí hạn chế và hạn chế về thiết bị ghi. Cơ sở dữ liệu đánh giá ước lượng tư thế người 3D Tập dữ liệu Human3.