Tài liệu: Luận văn hand detection segmentation and tracking from

Chuyên khảo phân tích Luận văn hand detection segmentation and tracking from egocentric vision, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Van-Tien Pham
• Người hướng dẫn: Tran Thi Thanh Hai, Associate Professor
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Information System and Communication
• Đề tài: Hand Detection, Segmentation and Tracking from Egocentric Vision
• Loại tài liệu: Master thesis
• Năm xuất bản: 2020
• Địa điểm: Hanoi

Tóm tắt

I. Giới thiệu về Phát hiện và Phân đoạn Tay từ Tầm nhìn Egocentric

Phát hiện tay (hand detection) và phân đoạn tay (hand segmentation) từ tầm nhìn egocentric là một lĩnh vực nghiên cứu quan trọng trong thị giác máy tính hiện đại. Tầm nhìn egocentric, hay còn gọi là tầm nhìn từ góc nhìn người thứ nhất, được đặc trưng bởi việc thu thập hình ảnh và video từ góc độ người dùng. Trong bối cảnh này, hai bàn tay con người đóng vai trò thiết yếu trong việc thực hiện các hành động hàng ngày. Luận văn này tập trung vào việc phát triển một thuật toán tự động có khả năng trích xuất vị trí và nhận dạng bàn tay từ các khung hình liên tiếp trong video egocentric. Các nghiên cứu trước đây cho thấy rằng việc theo dõi chuyển động của tay và quỹ đạo của chúng là những chỉ số chính để xác định và nhận dạng các hành động của con người trong môi trường thực tế.

1.1. Khái niệm Tầm nhìn Egocentric

Tầm nhìn egocentric là một lĩnh vực mới nổi trong thị giác máy tính, được đặc trưng bởi thu thập dữ liệu từ góc nhìn người thứ nhất. Khác với tầm nhìn thông thường từ góc nhìn bên ngoài, tầm nhìn egocentric cung cấp một quan điểm tự nhiên về cách mà người dùng tương tác với môi trường xung quanh. Điều này làm cho nó trở nên vô cùng hữu ích trong các ứng dụng như nhận dạng hành động, phân tích hành vi và hỗ trợ người dùng trong thực tế ảo.

1.2. Tầm quan trọng của Phát hiện Tay trong Ứng dụng

Phát hiện tay là nền tảng cơ bản cho nhiều ứng dụng thực tế như nhận dạng cử chỉ, theo dõi đối tượng và phân tích tương tác con người-máy. Trong bối cảnh egocentric, việc xác định vị trí chính xác của tay giúp hệ thống hiểu rõ hơn về ý định và hành động của người dùng. Điều này đặc biệt quan trọng trong các ứng dụng y tế, huấn luyện kỹ năng và nghiên cứu khoa học.

II. Phương pháp Tracking by Detection trong Hệ thống Phát hiện Tay

Tracking by detection là một phương pháp phổ biến gồm hai giai đoạn chính trong việc theo dõi đối tượng đa vật (multiple object tracking). Giai đoạn đầu tiên liên quan đến việc sử dụng thuật toán phát hiện hoặc phân đoạn để xác định các đối tượng trong mỗi khung hình. Giai đoạn thứ hai là liên kết các đối tượng phát hiện được với các đối tượng đã được theo dõi trước đó thông qua một thuật toán theo dõi chuyên biệt. Luận văn này sử dụng các mô hình RCNN và YOLO - những kiến trúc mạng lưới thần kinh sâu tiên tiến nhất hiện nay - kết hợp với SORT hoặc DeepSORT cho nhiệm vụ theo dõi đối tượng. Cách tiếp cận này cho phép hệ thống giữ lại nhận dạng nhất quán cho mỗi bàn tay trong suốt chuỗi video.

2.1. Các Mô hình Phát hiện RCNN và YOLO

RCNN (Region-based Convolutional Neural Networks) và YOLO (You Only Look Once) là hai họ mô hình phát hiện đối tượng hàng đầu trong ngành. RCNN cung cấp độ chính xác cao thông qua phương pháp phát hiện từng vùng, trong khi YOLO mang lại tốc độ xử lý nhanh bằng cách dự đoán toàn bộ hình ảnh trong một bước. Sự kết hợp giữa hai phương pháp này giúp hệ thống đạt được cân bằng giữa độ chính xác và hiệu suất.

2.2. Thuật toán SORT và DeepSORT

SORT (Simple Online and Realtime Tracking) là một thuật toán theo dõi đơn giản nhưng hiệu quả, sử dụng Kalman filter để dự đoán vị trí đối tượng tiếp theo. DeepSORT mở rộng SORT bằng cách kết hợp các bộ mô tả hình ảnh sâu (visual descriptors) để giảm số lần chuyển đổi nhận dạng và cải thiện hiệu suất tổng thể của hệ thống theo dõi.

III. Bộ Dữ liệu Micand32 và Đánh giá Hiệu suất

Luận văn này giới thiệu bộ dữ liệu hand tracking mới có tên Micand32, được thiết kế đặc biệt cho các nghiên cứu egocentric hand tracking trong tương lai. Bộ dữ liệu này bao gồm các video egocentric thực tế với chú thích chi tiết về vị trí bàn tay và nhận dạng. Việc đánh giá hiệu suất được thực hiện bằng cách sử dụng các chỉ số đánh giá tiêu chuẩn như MOTA (Multiple Object Tracking Accuracy) và IDDWITCH (Identity Switch). Kết quả cho thấy rằng hiệu suất của thuật toán phát hiện có tương quan chặt chẽ với hiệu suất tổng thể của hệ thống tracking-by-detection. Ngoài ra, việc sử dụng các bộ mô tả hình ảnh trong giai đoạn theo dõi có thể đáng kể giảm số lượng chuyển đổi nhận dạng.

3.1. Đặc điểm của Bộ Dữ liệu Micand32

Micand32 là một bộ dữ liệu hand tracking egocentric chứa các video thực tế từ góc nhìn người thứ nhất. Bộ dữ liệu này được chú thích chi tiết với thông tin về vị trí, ranh giới và nhận dạng của bàn tay trong mỗi khung hình. Nó cung cấp một nền tảng kiểm chuẩn quan trọng để đánh giá và so sánh các phương pháp phát hiện và theo dõi tay khác nhau.

3.2. Các Chỉ số Đánh giá Hiệu suất

MOTA (Multiple Object Tracking Accuracy) và IDDWITCH là những chỉ số đánh giá chính trong luận văn này. MOTA đo lường độ chính xác tổng thể của hệ thống theo dõi, trong khi IDDWITCH đếm số lần nhận dạng bị thay đổi lỗi. Các chỉ số này giúp định lượng hiệu suất và so sánh các phương pháp khác nhau một cách khoa học.

IV. Kết luận và Những Phát hiện Chính từ Luận văn

Luận văn hand detection, segmentation and tracking from egocentric vision của Văn Tiến Phạm đã đạt được nhiều kết quả quan trọng trong lĩnh vực thị giác máy tính egocentric. Một trong những phát hiện quan trọng nhất là khả năng của thuật toán phát hiện đối tượng có mối tương quan cao với hiệu suất tổng thể của hệ thống tracking-by-detection. Điều này chứng minh rằng việc đầu tư vào các mô hình phát hiện chất lượng cao là rất quan trọng cho sự thành công của toàn bộ hệ thống. Hơn nữa, luận văn cũng chứng minh rằng việc sử dụng bộ mô tả hình ảnh sâu trong giai đoạn theo dõi có thể tăng đáng kể hiệu suất bằng cách giảm số lần chuyển đổi nhận dạng. Bộ dữ liệu Micand32 mà luận văn này giới thiệu sẽ là tài nguyên quý báu cho cộng đồng nghiên cứu trong các năm tới.

4.1. Những Phát hiện Chính

Các kết quả chính từ luận văn bao gồm: (1) Tầm quan trọng của thuật toán phát hiện - mô hình phát hiện chất lượng cao là nền tảng cho hệ thống theo dõi hiệu quả; (2) Hiệu quả của bộ mô tả hình ảnh sâu - DeepSORT tỏ ra vượt trội so với SORT trong việc giảm lỗi nhận dạng; (3) Tầm quan trọng của dữ liệu chất lượng - bộ dữ liệu được chú thích tốt là cần thiết để huấn luyện và đánh giá các mô hình.

4.2. Hướng Phát triển Tương lai

Các nghiên cứu tương lai có thể tập trung vào: tối ưu hóa tốc độ xử lý thực thời, cải thiện khả năng xử lý các tình huống phức tạp như tay bị che phủ, mở rộng sang các tác vụ nhận dạng hành động cao cấp hơn, và phát triển các ứng dụng thương mại dựa trên các công nghệ này.

Trích đoạn nội dung tài liệu

Hand detcction, segmentation and tracking from egocentric vision by Van- [ien Pham Submitted to the School of InJornration ‘lechnology and Communication in partial fulfillment of the requirements for the degree of Master of Science in (uformation Syskem and Conununication at the HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY October 2020 @ Ilanoi University of Science and Technology 2020. All rights reserved.0 cece cece eee eee teen een r eee eee School of Information Technology and Communication October 10, 2020 6. eet n eee "Thi-'Vhanh-Ha: an Associate: Professor Thesis Supervisor Accepted by Chairman Chairman, Department Committee on Graduate Theses Hand detection, segmentation and tracking from egocentric vision by Van-Tien Pham Submitted to the School of Information ‘lechnology and Communication on October 10, 2020, in partial fulfillment of the requirements for the degree of Master of Sciencc in Information System and Communication Abstract. Multiple object tracking is the process of assigning unique and consistent identities to objects throughout a video sequence.

A popular approach to multiple object tracking is to use a method called tracking hy detection. Lracking by detection is a two-stage procedure: an object detection or segmentation algorithm first detects objects in a given frame, these detected objects are then associated with already uracked objects in a second slp by a tracking algorithm. Egocentrie vision is an emerging ficld of compmter vision that: is characterized by the acqnisition of images and viden from the first-person perspective. In egocentric view, the two human hands are essential in the execution of actions and characterizing their movements and trajectories are the principal cues to define and recognize actions.

Qne of the main concerns of this thesis is to devclop an automatic tracking by de tection algorithm that extracts hands positions and identities in consequence Iraines from egocentric surveillance video. The proposed framework consists of state-of-the- art detectors from RCNN and YOLO family models combined with the SORT or DeepSORT for object tracking task. The thesis aims ta explore how the stand-alone performance of the object: derection algorithm correlates with overall perfarmanca of a tracking-by-detection system. Finally, the thesis investigates how the use of visual descriptors of DecpSORT in the tracking stage of a tracking-by-detection system cf feels performance, Results presented in this vhesis suggest: that the capacity of the object detection al gorithm is highly indicative of the overall performance of the tracking-hy detection system.

Further, this thesis also shows how the use of visual descriptors in the track- ing stage can rednee the mmmbher of identity switches and thereby increase performance of the whole system. ‘his thesis also presents a new egocentric hand tracking dataset Micand32 for future researches ‘Thesis Supervisor: ‘I‘hi ‘Thanh Hai ‘Iran Title: Associate Professor Acknowledgments First of all, | might wont to offer my special thanks to my supervisor, Assce. ‘Tran Thi Thanh Hai. I'd really appreciate everything she’ve guided me all through this thesis.

I would like to thank my colleagues at Viettel Iligh Technology Industries Corpo- ration for supporting me in technical issues. Also, | might want to express gratitude toward Assoc. Prof, Vu Hai and olumni at MICA Institute, Hanoi University of Seicnve aud Techuclogy for giving ne siguilivant suggestivns. Deep inside my heart, I wish to show iny gralefuluess to my [amily for always inspiring and trusting me in every of my ates.

89 oe MORSE URES Se eee 89 Oe TAPES eA 8 Bae ae 89 [B-TTES detail results on Micand32E]. 90 90 = u 90 bik jo sions AAEM Ww, anes 90 ¬.-- 92 11 Proposed Framewor! [1 Proposed IrameworE: tracking by đefection|. ; ies © vee hoe eed g biên Sứ ha S chen £ B.ZT— Tramis đetection and segmentation modeR]. Z2 Traming deep appearance descriptor for DeepSORT).

Fie IMCCe RVARS) nwa raw a anes a ene Sane Ne Ae Ge 56 (3. WEDSMON S600 | cance Ws aN al Rie a wea a HER wR ETF, 58 [4 Experiments| 61 HT Evahationerterial.LT— ØBjcct đetection cvaluation metie].:‹: 227222752 < 64 2T Tzocentric hand đetection and scsmcntationresuH]. 64 2 ocentric hand tracking result]. eee 64 SO SCURION ows isg © Hae Show FUER RYO SR Hee Rew S 68 ject detection: tradeoff hetween accuracy and speci 68 [£32 “The superiority of Dee} C0) 4) 0".- 7 WEB Chagigiig nRBE] sa s nen bu 20 goi c nu vốn we 71 T5 T5 T5 76 pH TTR le ¡ z nai 2 han 6 ẺớÏPỶ g0 0 S1ả với 8 buya Si 76 Tables} 79 IEFimsi 83 .Ï Short-term tracking results on AHcand323].

6 THIS PAGE INTENTIONALLY LEFT BLANK THIS PAGE INTENTIONALLY LEFT BLANK 7_Wortlow of mierencesfage].- EL OveraTMOTA anTTDFT metric on Micand3ZE]. [E7 Tiustration oï hand oceluded by an obstacle. Pay attention fo the patient's right hand. Frames extracted From GHT0373 5 T281 2721 Tsing Fata RCNNT SORT, ordered trom Teli to Fight, up to downs DIO OTS, OG, STO, MOO) vee Ẻ.

aN Hee Oa weee ee 73 [E3_ Motion blur phenomenon due to hand's rapid movement, Frames fered trom lett to right: 19, 125, 130, lal, rand Tis]. 73 [ET Shape changing Mlustration. Frames extracted rom GHOTOS58_0_10208_1T)00 Tsing MaskRCNN7DeepSORT, ordered Irom Tel to right: 1582, 1502, tient’s left hand. Tames extracted from Te ising Fata RCNNTSORT, ordered trom Tet to ight, up to downs (T25, TI73, 1953, 1973, 1393, 1406), (407, 1408, 1400, 1410, Tit, TI 4k wSs ¥ SEE NOK RAGE WNSWK NOH R EOS A eESS 5-1 Schematic illustrationof an online annotation pipeline].- B-4 MS dctail resultson Micand33E].

B3 detail results on Micand32E)]. bị letailresults on Micand32E].- IBØ MD§ detaTresultson Micand32E]. 10 List of Figures Semi PT ONN GAT ee 2% ThearetietuegrEarROXNDT]. P7 ” Anita ES oo AARON HOTA a -T_ The Mask RONN famowork for stance segmentation].

4s 6 Upshots from TA Tamily đatasetS].-- 40 fand masks alter post-processing REET nan ng na 41 VEnsizatinssFEgoiamidiastTi].- S- 43 -J Randomly selected actions trom left to right respectively]. Left: Tabels istical visualization. Right: Tabels CORCIORTAMT] ee eee 45 (EIT Visualization of groundirath tracklets of patient's hands practicing, [____with cylinders. Frames extracted from GHOI0358_S8_S000_S8547,or- — ] dered trom left to right, up to down: 1, 31, 61, 01, 121, 151, 181, 211, TT, 27T, 3U1.

4 “=“ÔÔ aU RE FUME NCATE BP a HH Be 48 [FT “Overview of the proposed Trameworks D2D_ The x-axis represents the time How of Tstages. The y-axis shows the degree of abstraction levels of SURE 5.2 © Nig | SG EKO Eels # S8ie S Dae Wee a F 50 [E2 WorkIow oFTie framimg siage] .- 51 =3 Pictorial of đata augmentationsin tramimz batch]. 54 [ET TasfeRCNN—R—50_TPN_—3w Tossos visualization đuïng tramins time] 54 3-5 Images from the sell-generated egocentric hand re-identification dataset. mases m the same row have the same iđehHiy] .-- 55 [EB Lef: traming confguration ofDeepSORTS appearance đescriptor.

Right: curve of total loss and topl-error during training Toop]. 9 THIS PAGE INTENTIONALLY LEFT BLANK 7_Wortlow of mierencesfage].- EL OveraTMOTA anTTDFT metric on Micand3ZE]. [E7 Tiustration oï hand oceluded by an obstacle. Pay attention fo the patient's right hand.

Frames extracted From GHT0373 5 T281 2721 Tsing Fata RCNNT SORT, ordered trom Teli to Fight, up to downs DIO OTS, OG, STO, MOO) vee Ẻ. aN Hee Oa weee ee 73 [E3_ Motion blur phenomenon due to hand's rapid movement, Frames fered trom lett to right: 19, 125, 130, lal, rand Tis]. 73 [ET Shape changing Mlustration. Frames extracted rom GHOTOS58_0_10208_1T)00 Tsing MaskRCNN7DeepSORT, ordered Irom Tel to right: 1582, 1502, tient’s left hand.

Tames extracted from Te ising Fata RCNNTSORT, ordered trom Tet to ight, up to downs (T25, TI73, 1953, 1973, 1393, 1406), (407, 1408, 1400, 1410, Tit, TI 4k wSs ¥ SEE NOK RAGE WNSWK NOH R EOS A eESS 5-1 Schematic illustrationof an online annotation pipeline].- B-4 MS dctail resultson Micand33E]. B3 detail results on Micand32E)]. bị letailresults on Micand32E].- IBØ MD§ detaTresultson Micand32E]. 10 Contents 15 IP verview of object recognition and tracking from video].2/22 Background project and motivation|.: -: v22 2220 v22 6+ 19 [RI Vi si ecogiiion and aga.2 Hand gestures recognition relatediwork] .- 30 [4 for mulati Problem on }.

¬¬ 2 (io Contrbution) ss ves i see ae a a eee eae ee 22 [S— Tiekgiling: : :::›: : :::. Kanai a pata waa We 23 2 Methodology and Datasets] 25 "4. cocrmca ae 25 es ject detection and sepmentation asoithmsl.- 26 ST RƯNN modeTfamij].3" Object tracking algorithms] 36 SASSO 6 & ses m iets m aes @ FORE @ RENE Bi RUE HAE wo 36 TEEN. PT ¿ý sao 622 wei cae eee 37 (2.4 Egocentric vision datasetsl.- 40 ae ee BI 40 EETZ TgøoHands đafasi].

89 oe MORSE URES Se eee 89 Oe TAPES eA 8 Bae ae 89 [B-TTES detail results on Micand32E]. 90 90 = u 90 bik jo sions AAEM Ww, anes 90 ¬.-- 92 11 Proposed Framewor! [1 Proposed IrameworE: tracking by đefection|. ; ies © vee hoe eed g biên Sứ ha S chen £ B.ZT— Tramis đetection and segmentation modeR]. Z2 Traming deep appearance descriptor for DeepSORT).

Fie IMCCe RVARS) nwa raw a anes a ene Sane Ne Ae Ge 56 (3. WEDSMON S600 | cance Ws aN al Rie a wea a HER wR ETF, 58 [4 Experiments| 61 HT Evahationerterial.LT— ØBjcct đetection cvaluation metie].:‹: 227222752 < 64 2T Tzocentric hand đetection and scsmcntationresuH]. 64 2 ocentric hand tracking result]. eee 64 SO SCURION ows isg © Hae Show FUER RYO SR Hee Rew S 68 ject detection: tradeoff hetween accuracy and speci 68 [£32 “The superiority of Dee} C0) 4) 0".- 7 WEB Chagigiig nRBE] sa s nen bu 20 goi c nu vốn we 71 T5 T5 T5 76 pH TTR le ¡ z nai 2 han 6 ẺớÏPỶ g0 0 S1ả với 8 buya Si 76 Tables} 79 IEFimsi 83 .Ï Short-term tracking results on AHcand323].

6 THIS PAGE INTENTIONALLY LEFT BLANK Proposed Framewor! [1 Proposed IrameworE: tracking by đefection|. ; ies © vee hoe eed g biên Sứ ha S chen £ B.ZT— Tramis đetection and segmentation modeR]. Z2 Traming deep appearance descriptor for DeepSORT). Fie IMCCe RVARS) nwa raw a anes a ene Sane Ne Ae Ge 56 (3.

WEDSMON S600 | cance Ws aN al Rie a wea a HER wR ETF, 58 [4 Experiments| 61 HT Evahationerterial.LT— ØBjcct đetection cvaluation metie].:‹: 227222752 < 64 2T Tzocentric hand đetection and scsmcntationresuH]. 64 2 ocentric hand tracking result]. eee 64 SO SCURION ows isg © Hae Show FUER RYO SR Hee Rew S 68 ject detection: tradeoff hetween accuracy and speci 68 [£32 “The superiority of Dee} C0) 4) 0".- 7 WEB Chagigiig nRBE] sa s nen bu 20 goi c nu vốn we 71 T5 T5 T5 76 pH TTR le ¡ z nai 2 han 6 ẺớÏPỶ g0 0 S1ả với 8 buya Si 76 Tables} 79 IEFimsi 83 .Ï Short-term tracking results on AHcand323]. 89 oe MORSE URES Se eee 89 Oe TAPES eA 8 Bae ae 89 [B-TTES detail results on Micand32E].

90 90 = u 90 bik jo sions AAEM Ww, anes 90 ¬.-- 92 11 Proposed Framewor! [1 Proposed IrameworE: tracking by đefection|. ; ies © vee hoe eed g biên Sứ ha S chen £ B.ZT— Tramis đetection and segmentation modeR]. Z2 Traming deep appearance descriptor for DeepSORT). Fie IMCCe RVARS) nwa raw a anes a ene Sane Ne Ae Ge 56 (3.

WEDSMON S600 | cance Ws aN al Rie a wea a HER wR ETF, 58 [4 Experiments| 61 HT Evahationerterial.LT— ØBjcct đetection cvaluation metie].:‹: 227222752 < 64 2T Tzocentric hand đetection and scsmcntationresuH]. 64 2 ocentric hand tracking result]. eee 64 SO SCURION ows isg © Hae Show FUER RYO SR Hee Rew S 68 ject detection: tradeoff hetween accuracy and speci 68 [£32 “The superiority of Dee} C0) 4) 0".