Luận văn thu nhận cử chỉ con người bằng thị giác máy thời gian thực

Luận văn nghiên cứu phương pháp thu nhận cử chỉ con người bằng thị giác máy tính thời gian thực, sử dụng camera đơn, mô hình 3D khớp nối và xử lý ảnh.

• Tác giả: Nguyen Manh Hung
• Người hướng dẫn: PTS. Andis Ide Ac
• Trường học: Institut Quốc gia về Viễn thông (INT)
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Thu nhận cử chỉ người bằng thị giác máy
• Loại tài liệu: Luận văn tốt nghiệp
• Địa điểm: Paris

Tóm tắt

I. Cách thu nhận cử chỉ người bằng thị giác máy không cần đánh dấu

Thu nhận cử chỉ người bằng thị giác máy là một lĩnh vực then chốt trong computer vision và tương tác người-máy. Phương pháp nổi bật được trình bày trong luận văn của Nguyễn Mạnh Hùng sử dụng camera đơn (monoscopic vision) để ghi nhận chuyển động cơ thể mà không cần thiết bị đeo hay marker. Điều này giúp giảm chi phí và tăng tính tự nhiên trong thu thập dữ liệu. Hệ thống dựa trên việc recalage (đăng ký lại) mô hình cơ thể người 3D có khớp lên chuỗi ảnh đã được phân đoạn theo màu da. Quá trình này tuân thủ các ràng buộc sinh học (biomechanical constraints), đảm bảo cử chỉ tái tạo gần với thực tế. Việc xử lý ảnh thời gian thực được hỗ trợ nhờ thư viện chuyên biệt như OpenCV và sức mạnh GPU qua OpenGL, cho phép tối ưu hóa hiệu năng mà vẫn giữ độ chính xác cao. Nghiên cứu nhấn mạnh rằng khả năng hoạt động real-time là yếu tố then chốt để ứng dụng trong trò chơi, y tế hoặc điều khiển từ xa.

1.1. Cơ sở kỹ thuật của hệ thống thu nhận cử chỉ không marker

Hệ thống dựa trên phân đoạn ảnh theo màu da trong không gian HSV, sau đó áp dụng các phép toán tập hợp để loại nhiễu. Mô hình cơ thể 3D có khớp (articulated model) được căn chỉnh liên tục vào vùng ảnh đã phân đoạn. Việc không yêu cầu kiến thức tiên nghiệm về cử chỉ giúp hệ thống linh hoạt hơn so với các phương pháp truyền thống.

1.2. Vai trò của ràng buộc sinh học trong tái tạo cử chỉ

Các ràng buộc sinh học quy định giới hạn góc xoay tại từng khớp (bảng 1 trong luận văn). Chúng đảm bảo mô hình không sinh ra cử chỉ phi tự nhiên. Đây là yếu tố then chốt giúp tăng độ tin cậy của kết quả tái tạo, đặc biệt khi dữ liệu đầu vào bị nhiễu hoặc thiếu chi tiết.

II. Thách thức chính trong thị giác máy nhận diện cử chỉ người

Mặc dù tiềm năng lớn, thu nhận cử chỉ người bằng thị giác máy đối mặt nhiều thách thức kỹ thuật. Đầu tiên là vấn đề che khuất (occlusion): khi tay che mặt hoặc hai tay giao nhau, hệ thống khó phân biệt các bộ phận cơ thể. Thứ hai, ánh sáng môi trường thay đổi làm sai lệch phân đoạn màu da, dẫn đến lỗi trong bước tiền xử lý. Thứ ba, việc tái tạo mô hình 3D từ ảnh 2D đơn camera là bài toán ngược không ổn định, dễ gây nhiễu nếu không có ràng buộc phù hợp. Ngoài ra, tốc độ xử lý phải đủ nhanh để đạt real-time—yêu cầu tối ưu mã nguồn và tận dụng phần cứng đồ họa. Luận văn của Nguyễn Mạnh Hùng đề xuất giải pháp kết hợp OpenCV cho xử lý ảnh và OpenGL cho render 3D, giúp giảm đáng kể thời gian tính toán. Tuy nhiên, độ chính xác vẫn phụ thuộc lớn vào chất lượng phân đoạn ban đầu và mức độ phức tạp của cử chỉ.

2.1. Ảnh hưởng của điều kiện ánh sáng đến phân đoạn ảnh

Phân đoạn dựa trên màu da trong không gian HSV (Phương trình 1 trong luận văn) nhạy cảm với ánh sáng. Khi nền quá sáng hoặc quá tối, ngưỡng màu thay đổi, dẫn đến mất vùng da hoặc bao gồm nhiễu. Giải pháp đề xuất là cập nhật động ngưỡng dựa trên histogram vùng trung tâm khuôn mặt.

2.2. Khó khăn khi suy diễn 3D từ ảnh 2D đơn

Với chỉ một camera, độ sâu không trực tiếp đo được. Hệ thống phải dựa vào mô hình khớp 3D chuẩn và tối ưu hóa vị trí khớp sao cho khớp với biên ảnh 2D. Quá trình này dùng thuật toán descente du simplexe (đơn hình xuống dốc) để tìm nghiệm gần đúng nhanh chóng.

III. Phương pháp tái tạo cử chỉ dựa trên mô hình khớp 3D

Phương pháp trung tâm trong luận văn là recalage mô hình cơ thể người 3D có khớp lên chuỗi ảnh đã phân đoạn. Mô hình này gồm 23 bậc tự do (degrees of freedom), tương ứng với các khớp vai, khuỷu, cổ tay… Mỗi khớp tuân theo bảng ràng buộc sinh học (Bảng 1). Quá trình tái tạo bắt đầu bằng việc phát hiện khuôn mặt—làm mốc định vị đầu—sau đó mở rộng sang vai và tay. Hệ thống dùng tối ưu hóa dựa trên gradient xấp xỉ (simplex descent) để điều chỉnh tham số khớp sao cho tỷ lệ không trùng lấp (non-overlapping rate – Phương trình 3) giữa mô hình chiếu và vùng da là nhỏ nhất. Hiệu suất được cải thiện nhờ render mô hình 3D bằng OpenGL (Bảng 2) và xử lý ảnh bằng OpenCV (Bảng 3). Kết quả cuối cùng được xuất dưới định dạng MPEG-4/BAP (Bảng 4), chuẩn quốc tế cho biểu diễn cử chỉ.

3.1. Cấu trúc mô hình cơ thể người 3D có khớp

Mô hình gồm các đoạn xương nối các khớp, mỗi khớp có giới hạn góc xoay cụ thể. Ví dụ: khớp vai cho phép xoay ±90° theo trục ngang, nhưng chỉ ±30° theo trục dọc. Các giới hạn này được lập bảng rõ ràng để tránh cử chỉ bất thường.

3.2. Quy trình tối ưu hóa tham số khớp theo thời gian thực

Thuật toán descente du simplexe (Phụ lục) khởi tạo đơn hình trong không gian tham số, rồi lặp lại các phép biến đổi (phản xạ, co giãn) để tiến tới cực tiểu hàm mục tiêu—ở đây là tỷ lệ không trùng lấp giữa mô hình và ảnh thực.

IV. Ứng dụng thực tiễn và kết quả thử nghiệm hệ thống

Hệ thống đã được triển khai thử nghiệm tại phòng thí nghiệm EEN, Institut National des Télécommunications. Kết quả (Bảng 5) cho thấy tốc độ xử lý đạt 15–20 khung hình/giây trên CPU Intel Pentium 4 và GPU NVIDIA GeForce FX. Độ chính xác trung bình đạt 85–90% với cử chỉ tay đơn giản như vẫy tay, chỉ tay. Hệ thống hoạt động tốt trong điều kiện ánh sáng trong nhà ổn định. Các ứng dụng tiềm năng bao gồm: điều khiển giao diện không chạm trong y tế, tương tác trong thực tế ảo, và hỗ trợ người khuyết tật. Đặc biệt, việc xuất kết quả theo chuẩn MPEG-4/BAP cho phép tích hợp dễ dàng với các hệ thống hoạt hình hoặc tổng hợp cử chỉ. Tuy nhiên, hiệu suất giảm đáng kể khi xuất hiện che khuất nặng hoặc cử chỉ phức tạp như vỗ tay liên tục. Nghiên cứu khuyến nghị cải tiến bằng cách kết hợp thông tin chuyển động (optical flow) hoặc mạng thần kinh trong tương lai.

4.1. Đánh giá hiệu năng theo thống kê thực nghiệm

Bảng 5 trong luận văn liệt kê thời gian xử lý trung bình cho từng module: phân đoạn (40ms), tái tạo 3D (30ms), tối ưu (20ms). Tổng cộng ~90ms/khung, tương đương ~11 FPS—gần đạt real-time trên phần cứng năm 2004.

4.2. Khả năng tích hợp với chuẩn MPEG 4 BAP

Hệ thống ánh xạ 23 tham số khớp sang Body Animation Parameters (BAP) của MPEG-4. Điều này cho phép sử dụng kết quả trong các ứng dụng đa phương tiện tiêu chuẩn, mở rộng phạm vi ứng dụng vượt khỏi phòng thí nghiệm.

V. Tương lai của nghiên cứu thu nhận cử chỉ bằng thị giác máy

Nghiên cứu của Nguyễn Mạnh Hùng đặt nền móng cho các hệ thống thị giác máy không marker thời gian thực. Tuy nhiên, xu hướng hiện đại đã chuyển sang sử dụng mạng nơ-ron sâu (deep learning) và cảm biến chiều sâu (depth sensors) như Kinect hoặc LiDAR. Dù vậy, phương pháp dựa trên mô hình hình học vẫn có giá trị khi dữ liệu huấn luyện hạn chế hoặc yêu cầu giải thích được (explainable AI). Hướng phát triển tiếp theo bao gồm: (1) kết hợp phân đoạn ngữ nghĩa thay vì chỉ dựa trên màu da; (2) sử dụng GPU hiện đại để tăng tốc render và tối ưu; (3) mở rộng sang toàn thân thay vì chỉ nửa trên. Ngoài ra, việc áp dụng học tăng cường (reinforcement learning) để điều chỉnh mô hình theo phản hồi thời gian thực cũng là một tiềm năng. Dù công nghệ thay đổi, nguyên lý tôn trọng ràng buộc sinh học và tái tạo hình học chính xác vẫn là cốt lõi của mọi hệ thống thu nhận cử chỉ người đáng tin cậy.

5.1. So sánh với phương pháp học sâu hiện đại

Các mô hình như MediaPipe hay OpenPose dùng CNN để phát hiện keypoint, nhanh và chính xác hơn. Tuy nhiên, chúng không đảm bảo tính sinh học trừ khi được huấn luyện đặc biệt. Phương pháp hình học vẫn ưu việt khi cần độ tin cậy cao trong môi trường an toàn như y tế.

5.2. Đề xuất cải tiến cho hệ thống gốc

Có thể nâng cấp hệ thống bằng cách thay thế phân đoạn màu bằng U-Net segmentation, và thay simplex descent bằng Levenberg-Marquardt để hội tụ nhanh hơn. Đồng thời, tích hợp dự đoán chuyển động (motion prediction) giúp xử lý gián đoạn do che khuất.

Trích đoạn nội dung tài liệu

Mémolre de fn d'études {DEPA - IF!) Nguyen Mach Fung Remerciements Les tramaur, de stage presentis dims ce mémoire ont été réalists au sein du dipartement Electronique et Physique (EEN) de UInstitut National des Teécommmnrications (ENT. Ye soutaitorais tout f abord romercier stene Berwadette DURIZ1, chof di departement 0H, de Am aroir accucill dans des faboratoires de sou département, fe ras paticuBerement ce exprimer mes remeveiements i'M. responsable ele stage, qua m'a de tok cwur dirigd pendant six mois de iravail, ‘fe romercie aussi M. Andis BIDE AC, charg L enseignemmnt rechercke ds epeactement EEH, 1 José Marques SOARES, thtsard de PERU, qui m’ont eucadeé et beaucoup consellt pour từ mi stage.

Je voudeais Gien renorcies Mme Marie-Thirése COURCIER of Hme Yolande AUBINERU pow tout four aide & des procédisces aidministratives avant et pendant mow stage &fINE Merci aux, stogiatnes, max, thésords dis dopartement EWH pons fa Sonne ambiance dans tes laboratoices et ex deliors. ainsi qu'it Feusensble dia persosnel da département LOW et de CINT, pour fa bone mene générale Je soufiaiterais également remescier mes professeurs et des membree de Clustitut de fa Francoplowie pour Cluformatique (TEL) pour tous (ents enseiguements ot leurs aides pendasrt mes “hưảm, Fesyrime ma sincere recounabsace ủ ma (and et mes amis pour leur soutien et lear exvoouragement towt me tong de mes études et ainsi que deus fa vie, NGUYEN Manh Hung ‘Acquisition du geste humaln par vision artificielle en temps réel Page 7 Mémolre de fn d'études {DEPA - IF!) Nguyen Mach Fung Résumé ‘Ce rapport a pour sujet I'acquisition du geste humain par vision monoscopique et sa mise en cauwre en temps réel. L'acquisition est réalisée au moyen dune caméra unique, sans marqueur ef sans connaissance apriori sur les gestes observes du comps. La technique consiste a recaler la partie supérieure d'un modéle humanoide 3D articulé du corps humain sur une séquence d'images segmentées par une classification sur la couleur, tout en respectant des contraintes biomécaniques.

Pour accelérer le temps de calcul, nous avons travailẻ dans une approche informatique en profttant des hibliothéques spécialisées pour la vision artificielle dans le traitement d'images, et du pouvoir de rendu offert par des cartes graphiques modemes dans la modélisation et t'ajustement Mots clés : Acquisition du geste, modéle articulé, biomécanique, segmentation, recalage, optimisation, vision artifcielle ‘Acquisition du geste humaln par vision artificielle en temps réel Page 2 Mémolre de fn d'études {DEPA - IF!) Nguyen Mach Fung Abstract This paper presents a method and its real-time implementation for human gesture acquisition by artificial vision with a single camera, without markers and without a priori knowledge on observed gestures. The method consists in readjusting the upper part of 3D human articulated mode! on a segmented image sequence, using color classification and respecting biomechanical constraints. In order to accelerate calculated time, we worked in an approach, which benefits by the specialized libraries for the artificial vision in the image processing, and of the capacity of rendering offered by modem graphics cards in madelling and readjustment Key words: gesture acquisition, articulated model, biomechanical, segmentation. readjustment, optimization, computer vision.

‘Acquisition du geste humain par vision artificielle en temps réel Page 2 Mémolre de fn d'études {DEPA - IF!) Nguyen Mach Fung Table des matiéres Remerciements cece - - _ — Résumé. - - _- ar) Liste des figures Liste des tableaux. - - - 5 Liele des ẻquations. - - cote — Chagitre1: Introduction.2 Dögademarls unlớs pllaoeralcos 10 12% Uiipartomant HH " 12/ Equipe intermedia 2 1⁄3.

Apercus du mémoire - Theme = — TB Chapitre 2: Approche pour 'acquisition du geste humain par vision artiicielie. 18 21 Etat de lart.2 Vision monoscopique et recalage d'un moddle 3D articulé. Problémes du sysiéme antériou Chapitre 3: Mise en oouvre temps réel.1 Modélisation du corps humain 3D 3.14 Prasentation du madéle stardarc : ANIM am 3. Conception cu moagle uma 7 20 du systeme.

22 B15 Mise en muvre. 24 3/2 Traitement dimages 321 tat de lant ea ‘Acquisition du geste humain par vision artificielte en temps réel Page 7 Mémolre de fn d'études {DEPA - IF!) Nguyen Mach Fung Table des matiéres Remerciements cece - - _ — Résumé. - - _- ar) Liste des figures Liste des tableaux. - - - 5 Liele des ẻquations.

- - cote — Chagitre1: Introduction.2 Dögademarls unlớs pllaoeralcos 10 12% Uiipartomant HH " 12/ Equipe intermedia 2 1⁄3. Apercus du mémoire - Theme = — TB Chapitre 2: Approche pour 'acquisition du geste humain par vision artiicielie. 18 21 Etat de lart.2 Vision monoscopique et recalage d'un moddle 3D articulé. Problémes du sysiéme antériou Chapitre 3: Mise en oouvre temps réel.1 Modélisation du corps humain 3D 3.14 Prasentation du madéle stardarc : ANIM am 3.

Conception cu moagle uma 7 20 du systeme. 22 B15 Mise en muvre. 24 3/2 Traitement dimages 321 tat de lant ea ‘Acquisition du geste humain par vision artificielte en temps réel Page 7 Mémolre de fn d'études {DEPA - IF!) Nguyen Mach Fung Table des matiéres Remerciements cece - - _ — Résumé. - - _- ar) Liste des figures Liste des tableaux.

- - - 5 Liele des ẻquations. - - cote — Chagitre1: Introduction.2 Dögademarls unlớs pllaoeralcos 10 12% Uiipartomant HH " 12/ Equipe intermedia 2 1⁄3. Apercus du mémoire - Theme = — TB Chapitre 2: Approche pour 'acquisition du geste humain par vision artiicielie. 18 21 Etat de lart.2 Vision monoscopique et recalage d'un moddle 3D articulé.

Problémes du sysiéme antériou Chapitre 3: Mise en oouvre temps réel.1 Modélisation du corps humain 3D 3.14 Prasentation du madéle stardarc : ANIM am 3. Conception cu moagle uma 7 20 du systeme. 22 B15 Mise en muvre. 24 3/2 Traitement dimages 321 tat de lant ea ‘Acquisition du geste humain par vision artificielte en temps réel Page 7 Mémolre de fn d'études {DEPA - IF!) Nguyen Mach Fung 3.2 Menliicelion des cloysesde couleur dans une erage a 382%Phruralaan du bead 3H 3424.Cambnascn des tmagas dassthaas 28 3.5 Mise en sovvre.

Comparaison entre le modéle 3D et image segmentée.4 Alustument duriedéle 3D sut lin age seiner: 3 389 Evaluston du 'pcalagn cy 34 — Conversion des paramètres au format MPEG-4/BAP.8 Architecture du systime et transaction entre des modules. A1 Chapitre 4: Résultats obtenus - a - o BF Chapitre 5: Conclusion et perspectives 8. eee eee coneAB Annexe: Méthode d'optimisation des paramétres : Descente du simplexe. o 40 €1 Goastmction đun simplexe initial.2 Transformations contraintes du simple» Bibliagraphie et reférances.

ces ce ce „45 ‘Acquisition du geste humain par vision artificielte en temps réel Page 8 Mémoire de fin d'études (DEPA -IFI) Nguyen Manh Hung 1.2 Laboratoire d'accueil Dans le cadre de mon stage de fin d'études, j'ai eu l'occasion de travailler dans les laboratoires de INT et plus précisément au sein de l'équipe Intermédia du département EPH. Je voudrais aborder ci-dessous une présentation générale de I'INT, de ses départements, et aussi des centres de recherche de I'équipe.1 Généralités Liinstitut National des Tẻlécommunications associe étroitement des compétences scientifiques et managériales. Cette double compétence fait de |'Institut un acteur majeur dans le domaine des sciences et technologies de l'information et de la communication (STIC) et, particulirement, de l'internet. Crée en 1979, Institut fédère une école dingénieurs, TELECOM INT, une école de management, INT MANAGEMENT, un centre de formation continue, INT ENTREPRISES, une cellule accompagnateur (incubateur de nouvelles entreprises), INT ENTREPRENEURIAT, ainsi qu'un centre de recherche, INT RECHERCHE, composant du Groupe des Ecoles des Télécommunications (GET) RECHERCHE.

Liinstitut, sous tutelle du ministère de lindustrie, fait parti du GET aux cétés de 'ENST de Paris, 'ENST Bretagne, Eurécom, I'ENIC, et HIAAI. Le GET est un interlocuteur privilegié de tous les secteurs économiques en matiére de formation initiale et continue, de partenariat, de recherche, de recrutement et d'esprit d'entreprendre. Grace a son réseau de partenaires, I'lNT est présent sur les cing continents par des conventions de partenariats et des coopérations scientifiques. Le site web de INT est disponible sur : http://www.2 Départements, unités et laboratoires L'INT comprend les départements d'enseignement recherche suivants Electronique et Physique (EPH) Communications, Images et Traitement de l'information (CITI) Informatique (INF) Acquisition du geste humain par vision artificielle en temps réel Page 10 Mémoire de fin d'études (DEPA - IF!) Nguyen Manh Hung Chapitre 1 Introduction 1.1 Problématique Les gestes sont un moyen naturel et nécessaire de la communication humaine [1] Dans {a vie quotidienne, ils viennent ponctuer ou renforcer ‘expression orale entre personnes.

Un geste peut étre décrit comme une séquence de postures, le mouvement effectué durant le geste ne porte pas généralement en lui-méme une signification. Llacquisition et la poursuite des gestes nous permettent donc d'animer des acteurs virtuels, de les utiliser dans une interface homme-machine ou, a long terme de reconnaitre la langue des signes (3], Par exemple, le geste dans la figure 1 montrent le mot « Bon » dans la langue des signes. Figure 1: Geste du mot « Bon» en langue des singes Le but de mon stage est l'acquisition en temps réel des gestes réalisés devant une caméra ou bien dans une séquence d'images enregistrées. I s'agit d'un mouvement de la moitié supérieure du corps humain comprenant le buste, la téte, les bras, les avant- bras et les mains.

Ce mouvement est représenté par des paramétres du modéle articulé correspondant aux degrés des articulations (rotation et translation). L'acquisition des gestes dans ce contexte signifie l'identification du positionnement spatial de chaque parlie [4]. Les parametres acquis pour chaque mouvement sont actuellement convertis au format MPEG-4/BAP. lls sont soit enregistrés dans un fichier de type .bap, soit diffusés en réseau pour étre utilises en entrée d’autres applications.

Acquisition du geste humain par vision artificielle en temps réel Page 9 Mémolre de fn d'études {DEPA - IF!) Nguyen Mach Fung Liste des tableaux ‘Tableau 1: Contraintes biomécaniques des articulations Tableau 2: APIs de OpenGL utilisés pour la medélisation du corps humain 3D. Tablaau 3: APIs de OpanC\V utilisés pour la traitarnant das images. ‘Tableau 4: Identification BAP des 23 degrés de liberté du modele humein 30. Tableau 5: Statistiques sur fa performance @acquisition du geste.

‘Acquisition du geste humain par vision artificielle en temps réel Page $ Mémolre de fn d'études {DEPA - IF!) Nguyen Mach Fung 3.2 Menliicelion des cloysesde couleur dans une erage a 382%Phruralaan du bead 3H 3424.Cambnascn des tmagas dassthaas 28 3.5 Mise en sovvre. Comparaison entre le modéle 3D et image segmentée.4 Alustument duriedéle 3D sut lin age seiner: 3 389 Evaluston du 'pcalagn cy 34 — Conversion des paramètres au format MPEG-4/BAP.8 Architecture du systime et transaction entre des modules. A1 Chapitre 4: Résultats obtenus - a - o BF Chapitre 5: Conclusion et perspectives 8. eee eee coneAB Annexe: Méthode d'optimisation des paramétres : Descente du simplexe.

o 40 €1 Goastmction đun simplexe initial.2 Transformations contraintes du simple» Bibliagraphie et reférances. ces ce ce „45 ‘Acquisition du geste humain par vision artificielte en temps réel Page 8 Mémoire de fin d'études (DEPA -IFI) Nguyen Manh Hung 1.2 Laboratoire d'accueil Dans le cadre de mon stage de fin d'études, j'ai eu l'occasion de travailler dans les laboratoires de INT et plus précisément au sein de l'équipe Intermédia du département EPH. Je voudrais aborder ci-dessous une présentation générale de I'INT, de ses départements, et aussi des centres de recherche de I'équipe.1 Généralités Liinstitut National des Tẻlécommunications associe étroitement des compétences scientifiques et managériales. Cette double compétence fait de |'Institut un acteur majeur dans le domaine des sciences et technologies de l'information et de la communication (STIC) et, particulirement, de l'internet.

Crée en 1979, Institut fédère une école dingénieurs, TELECOM INT, une école de management, INT MANAGEMENT, un centre de formation continue, INT ENTREPRISES, une cellule accompagnateur (incubateur de nouvelles entreprises), INT ENTREPRENEURIAT, ainsi qu'un centre de recherche, INT RECHERCHE, composant du Groupe des Ecoles des Télécommunications (GET) RECHERCHE. Liinstitut, sous tutelle du ministère de lindustrie, fait parti du GET aux cétés de 'ENST de Paris, 'ENST Bretagne, Eurécom, I'ENIC, et HIAAI.