Chương 1. TỔNG QUAN 24 13 Nhung thách thức Bài toán ước lượng tư thé người là một bài toán phức tạp với nhiều thách thức. Dưới đây là một số thách thức của bài toán.1 Người chồng chéo lên nhau Trong thé giới thực việc ảnh có nhiều người chồng chéo lên nhau là chuyện thường xuyên xảy ra. Ví dụ như việc bạn chụp ảnh cùng một đoàn người thì việc mọi người có chỗ đứng riêng là việc không thể.
Hay việc các cầu thủ khi đang chơi thể thao trên sân thì việc chụp ảnh chồng lên nhau là việc xảy ra rất thường xuyên. Đã có một số phương pháp giải quyết tiêu biểu là (Anh{1.5: Minh hoa cho việc anh có người chồng chéo lên nhau Pose2Seg: Detection Free Human Instance Segmen- tation 1.2 Tỉ lệ người rat nhỏ so với khung hình Một thách thức khác gặp phải của ước lượng tư thế người đó là việc người có kích thước nhỏ so với kích thước tâm hình làm cho việc ước lượng tư thế bị bỏ qua mất. Các ứng thực tế đòi hỏi việc phải xác Chương 1. TỔNG QUAN 25 định được tư thế người nhỏ, ví dụ như trong bóng đá khi đa số các máy quay đều ở xa và cầu thủ thường rất nhỏ so với khung hình, vậy HINH 1.6: Minh hoa cho việc giải quyết vấn dé về người nhỏ trong Deep High-Resolution Representation Learning for Human Pose Estimation 1.3 Chi phí tính toán Vì đây là một bài toán khó nên đa số các mô hình hiện tại đều tập trung vào độ chính xác, nên chi phí tính toán cũng như thời gian thực thi là rất lớn.
Như trong bài báo sử dụng kiến trúc đa nhánh và tập trung vào đặt trưng có độ phân giải cao nên tiêu tốn rất nhiều chỉ phí tính toán. Hiện tại thì tuy đã được quan tâm nhưng chưa có nhiều nghiên cứu nổi bật để giải quyết. Trong khóa luận này, chúng em tập trung giải quyết van dé về chi phí tính toán với mong muốn có thể giải quyết vấn dé chi phí tính toán cao giúp mô hình có thể áp dụng trong ước lượng tư thé người ở thời gian thực.4 Mục tiêu và dong gop cua khóa luận Đây là một van dé khó đòi hỏi phải giải quyết nhiều van dé khác nhau nhưng trong khóa luận này, chúng em sẽ tập trung vào viéc: e Thực hiện khảo sát các nghiên cứu liên quan đến ước lượng tu thế người. e Hiện thực hóa lại nghiên cứu liên quan để có thể hiểu rõ hơn về vấn đề chỉ phí tính toán đang gặp phải và các giải pháp liên quan.
® Mục tiêu cuối cùng là mong muốn có thể cải thiện mô hình giúp giảm chi phi tính toán cũng như thời gian thực thi để có thể đáp ứng nhu cau ước lượng tư thé người thời gian thực. Đóng góp mà khóa luận này mang lại được: e Thực hiện nghiên cứu và khảo sát các nghiên cứu liên quan đến ước lượng tư thế người. e Xây dựng một mô hình có chi phí tính toán thấp ma không đánh đổi nhiều về độ chính xác se Thực nghiệm mô hình trên hai bộ dữ liệu khác nhau đó là bộ dữ liệu COCO và CrowdPose 1.5 Câu trúc Khóa luận tot nghiệp Nội dung Khóa luận tốt nghiệp được tổ chức như sau: ° Chương| giới thiệu tổng quan về khóa luận. TONG QUAN 27 e Chương |2|chúng tôi trình bày các nghiên cứu liên quan đến bai toán này.
° ChươngJ3|trình bày chỉ tiết các hướng tiếp cận của khóa luận. se Chương|4|chúng tôi trình bày môi trường thực nghiệm, tập dữ liệu, phương pháp đánh giá và kết quả thực nghiệm. ° Chươngi|là phần kết luận và hướng phát triển của khóa luận. 28 Chương 2 NGHIÊN CỨU LIÊN QUAN Tom tat Ở chương nay, chúng em sé trình bày tổng quan về hướng tiếp cận của bài toán ước lượng tư thé người.
Ở đây có hai hướng tiếp cận chính đó là 2D Human Pose Estimation, nói về tổng quan hướng tiếp cận của bài toán ước lượng tư thé người và đồng thời cũng nói về mặt ưu điểm va hạn chế của các hướng tiếp cận đó. Hướng còn lại đó là Light Weight Model, cho chúng ta thông tin về mô hình nhẹ mà chúng em sẽ tiếp cận để giải quyết bài toán ước lượng tư thế người ở thời gian thực đồng thời giới thiệu về một bài toán ước lượng tư thế người áp dụng những mô hình gọn nhẹ này.1 2D Human Pose Estimation Ước lượng tư thế người 2D có mục tiêu chính đó là xác định các key- point (dau, vai, cù chỏ, đầu gối, v. Các keypoint này sau đó được kết hợp lại với nhau thành một bộ khung xương người. Hiện tại, bài Chương 2.
NGHIÊN CUU LIEN QUAN 29 toán nay đang có hai hướng tiếp cận chính đó là hướng tiếp cận top- down và hướng tiếp cận bottom-up. Ở hướng tiếp cận top-down (3) |6}{12)|15}/18), bước dau tiên sẽ thực hiện xác định được từng người riêng biệt trong tất cả các người có trong tam ảnh và cắt thành những tắm ảnh người riêng biệt. Bước tiếp theo sẽ là chạy xác định các keypoint có trong từng bức ảnh riêng biệt đó rồi kết hợp các keypoint đó thành các khung xương. Ta lặp lại với tất cả người có trong bức ảnh, sau đó kết hợp chúng lại với nhau và cho ra kết quả cuối cùng là tam ảnh với khung xương.
Ưu điểm chính của hướng tiếp cận top-down đó là dé hiểu về dé thực hiện với hai bước riêng biệt đó là xác định người và xác định keypoint. Nhưng cũng vì phải thực hiện hai bước như vậy nên hướng tiếp cận top-down sẽ bị van dé về chi phí tính toán [28|. (a) Human Proposals (b) Cropped Images (c) SPPE (d) Single-Person Pose (e) Multi-Person Poses HÌNH 2.1: Mô hình minh họa hướng tiếp can top-down Ngược lại ở hướng tiếp cận bottom-up 9) 13], chúng ta sẽ tiến hành xác định keypoint ngay mà không phải qua thêm một Chương 2. NGHIÊN CUU LIEN QUAN 30 bước xác định người như trong hướng tiếp cận top-down.
Vì vậy ta sẽ có một mô hình end-to-end với đầu vào là một ảnh và đầu ra là một ảnh có khung xương với mỗi người. Hai bước chính của hướng tiếp cận bottom-up đó là: xác định các keypoint và nhóm chúng lại thành một khung xương. Việc không phải xử lý thêm một bước như đã nói ở trên giúp cho các mô hình ở hướng tiếp cận này có phần nhanh hơn ở hướng tiếp cận top-down vì vậy nên việc áp dụng hướng tiếp cận này sẽ phù hợp hơn cho các ứng dụng đòi hỏi phải xử lý ở thời gian im nhanh | ate-of- the-art. Họ da thiết kế ra kiến trúc mang giúp cho kết hợp các đặc trưng ở các độ phân giải khác nhau, và đã được chứng minh rằng nó có hiệu quả rất tốt trong việc giải quyết van dé scale-variation trong bài toán ướng lượng tư thế người.
Tuy nhiên, kiến trúc mạng này lại đòi hỏi quá nhiều tài nguyên tính toán, nói cách khác đó là chi phí tinh toán quá cao (> 75 MACs trên tập dữ liệu COCO) nên việc áp dụng vào xử lý thời gian thực là bất khả thi. Vì vậy nên chúng em sẽ men Chương 2. NGHIÊN CUU LIEN QUAN 31 theo hướng tiếp cận HRNet này với mong muốn có thể giải quyết van dé về chi phí tính toàn đồng thời giữ lại được được độ chính xác của mô hình trên.2 Light Weight Model Với các bai toán đòi hỏi việc tính toán ở thời gian thực, không có gi tốt hơn việc áp dụng mô hình có số lượng tham số ít với ít các phép tính toán cộng trừ nhân chia hơn. Những mô hình như thế này có kích thước nhỏ, đồng thời chỉ phí tính toán cũng thấp nên nó rất phù hợp với các thiết bị có tài nguyên tính toán hạn chế.
MobileNet là một trong nhứng light weight model được ưa chuộng cũng như sử dụng rộng rãi trong rất nhiều ứng dụng thời gian thực khác nhau. Vì vậy đây là một mô hình lý tưởng để có thể áp dụng vào bài toán ước lượng tư thế người hiện tại. Mô hình Efficientpose đã thành công trong việc sử dụng Mo- bileNetv2 làm backbone trong bài toán ước lượng tư thé người giúp giảm chi phí tính toán đồng thời vẫn giữ được độ chính xác cho bài toán ước lượng tư thế người. Việc này giúp cho việc áp dụng vào các ứng dụng thời gian thực ngày càng khả thi hơn.
Vì vậy chúng em sẽ hướng theo hướng tiếp cận này với mong muốn kết hợp nó với HRNet để có thể đạt được mong muốn giúp ứng dụng xác định tư thế người vào thời gian thực. NGHIÊN CUU LIEN QUAN HÌNH 2.3: Anh về mô hình lightweight của bài báo 33 Chương 3 HƯỚNG TIẾP CAN TRONG KHÓA LUẬN Tóm tắt Trong chương này sẽ trình bày các hướng tiếp cận chính để giải quyết bài toán: ¢ Scale-Aware Multi-branch Achi ¢ Redundancy in High-Resolution Branches ® Fusion Deconv Head: Remove the Redundancy ¢ Mobile Backbone with Large Kernel Convs se Single Branch, High Efficiency 3.1 Multi-branch Architectures Multi-branch Architectures (kiến trúc mang đa nhánh) đã đạt được thành công tốt trong bài toán ước lượng tư thế người ở hướng tiếp cận bottom-up. Ví dụ điển hình đó là HigherHRNet l4, sử dụng kiến Chương 3. HƯỚNG TIẾP CẬN TRONG KHÓA LUẬN 34 trúc mạng đa nhánh để giúp kết hợp các đặc trưng đa độ phân giải với nhau giúp giảm đáng kể vấn đề scale variation.
Ý tưởng chính của kiến trúc mạng đa nhánh đó là nhìn một cách tổng quát và xác định cục bộ hay nói cách khác đó là giữ lại thông tin tổng quát của toàn bức ảnh và xác định các phần quan trọng một cách cục bộ.1: Hình ảnh về ảnh người có tỉ lệ nhỏ so với khung hình Ở hình 3.2Ìmiêu tả kiến trúc của mạng đa nhánh HRNet [18]. đầu tiên ta sẽ có một lớp stem ban đầu bằng cách thực hiện hai lần con- volution ảnh đầu vào. Phần tiếp theo sẽ bao gồm có 4 lớp. Ở lớp thứ n, ta sẽ có n nhánh với n đặc trưng đầu vào khác nhau với độ phân giải khác nhau tương ứng.
Khi xử lý tam ảnh đầu vào, đầu tiên mỗi nhánh sẽ trích xuất những đặc trưng tương ứng với nhánh đó bằng cách thực hiện convolution. Giữa các nhánh với nhau ta có thể thấy Chương 3. HƯỚNG TIẾP CẬN TRONG KHÓA LUẬN 35 được mũi tên lên xuống kết nối chúng. Các mũi tên này biểu thị cho việc thực hiện upsample sử dung nearest-neighbor kèm một convo- lution 1 x 1 với mũi tên đi lên và downsample với mũi tên đi xuống sử dụng striđe 3 x 3 covolution.
Việc này tượng chưng cho việc không những ta giảm độ phân giải để trích xuất đặt trưng mà ta còn đi lên ngược lại tăng độ phân giải lên.