Luận văn: Nghiên cứu ứng dụng mạng học sâu tích chập 3D trong nhận dạng cử chỉ tay

Luận văn trình bày ứng dụng mạng học sâu tích chập 3D (3D CNN) trong nhận dạng cử chỉ tay. Khám phá mô hình, phương pháp xử lý và đánh giá kết quả.

• Tác giả: Nguyễn Duy Cương
• Người hướng dẫn: Tiến Sĩ Đinh Viết Sang
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Ứng dụng Mạng 3D CNN trong Nhận dạng Cử chỉ tay
• Loại tài liệu: Luận văn tốt nghiệp cao học
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Mạng 3D CNN và Nhận dạng Cử chỉ Tay

Mạng 3D CNN (Convolutional Neural Network 3 chiều) là một công nghệ học sâu tiên tiến trong lĩnh vực thị giác máy tính. Kỹ thuật này kết hợp khả năng xử lý không gian ba chiều với các đặc trưng học sâu, cho phép máy tính nhận diện và phân loại các cử chỉ tay của con người một cách chính xác. Nhận dạng cử chỉ tay là một trong những bài toán quan trọng trong giao diện người-máy, ứng dụng rộng rãi trong các hệ thống điều khiển không tiếp xúc, thực tế ảo, và các ứng dụng tương tác. Sự phát triển của trí tuệ nhân tạo và học sâu đã tạo ra những đột phá lớn trong việc giải quyết các bài toán phức tạp này. Luận văn này tập trung vào việc ứng dụng mạng neural tích chập 3D để xây dựng một hệ thống nhận dạng cử chỉ tay hiệu quả.

1.1. Khái niệm cơ bản về Mạng 3D CNN

Mạng 3D CNN là sự mở rộng của mạng tích chập hai chiều, cho phép xử lý dữ liệu video và chuỗi hình ảnh. Nó sử dụng các bộ lọc ba chiều để trích xuất đặc trưng từ không gian-thời gian, giúp mô hình hiểu được chuyển động và sự thay đổi theo thời gian trong cử chỉ tay.

1.2. Tầm quan trọng trong ứng dụng thực tế

Ứng dụng nhận dạng cử chỉ tay có giá trị cao trong các lĩnh vực như giao tiếp không dây, điều khiển thiết bị thông minh, và hỗ trợ người khuyết tật. Độ chính xác cao của C3D giúp cải thiện trải nghiệm người dùng trong các ứng dụng tương tác.

II. Cơ Sở Lý Thuyết của Mạng Neural Tích Chập

Mạng neural tích chập (CNN) là kiến trúc học sâu được thiết kế đặc biệt cho các bài toán xử lý hình ảnh và video. Phép toán tích chập là thành phần cốt lõi, giúp trích xuất các đặc trưng cục bộ từ dữ liệu đầu vào. Các lớp tích chập hoạt động bằng cách áp dụng một tập hợp các bộ lọc (filter) trên toàn bộ hình ảnh, tạo ra các bản đồ đặc trưng (feature maps). Tiếp theo là các lớp max-pooling giúp giảm kích thước dữ liệu và trích xuất các đặc trưng quan trọng nhất. Mạng CNN chuẩn thường kết hợp các lớp tích chập, pooling, và các lớp kết nối đầy đủ (fully connected layers) để phân loại hoặc nhận dạng các đối tượng.

2.1. Phép toán tích chập và trích xuất đặc trưng

Phép tích chập áp dụng bộ lọc trên dữ liệu đầu vào để tạo ra các bản đồ đặc trưng. Mỗi bộ lọc học được các đặc trưng khác nhau từ dữ liệu huấn luyện, từ các cạnh đơn giản đến các mẫu phức tạp. Quá trình này cho phép mô hình tự động học các biểu diễn hữu ích.

2.2. Các lớp chính trong kiến trúc CNN

Lớp tích chập trích xuất đặc trưng, lớp pooling giảm chiều dữ liệu, và lớp fully connected thực hiện phân loại cuối cùng. Kết hợp các lớp này tạo nên một mô hình mạnh mẽ có khả năng nhận dạng cử chỉ tay với độ chính xác cao.

III. Mạng C3D Giải Pháp cho Nhận Dạng Cử Chỉ Tay

Mạng C3D (3D Convolutional Neural Network) là một tiến bộ vượt bậc so với CNN hai chiều truyền thống. Thay vì xử lý các hình ảnh tĩnh, C3D có khả năng xử lý các chuỗi hình ảnh (video frames) bằng cách áp dụng các bộ lọc ba chiều. Điều này cho phép mô hình học các đặc trưng không gian-thời gian từ video, rất phù hợp để nhận dạng các cử chỉ tay động. Kiến trúc C3D nguyên bản được xây dựng với các lớp tích chập 3D xen kẽ với các lớp pooling 3D, tạo nên một hệ thống hiệu quả. Các nghiên cứu đã chứng minh rằng C3D đạt hiệu suất cao trên các bộ dữ liệu nhận dạng hành động và cử chỉ tay, vượt trội so với các phương pháp truyền thống.

3.1. Kiến trúc chi tiết của mạng C3D

Mạng C3D bao gồm các khối tích chập 3D với các bộ lọc kích thước 3x3x3, xử lý không gian hai chiều và một chiều thời gian. Các lớp pooling 3D giảm kích thước dữ liệu đồng thời bảo toàn các đặc trưng quan trọng liên quan đến chuyển động trong cử chỉ tay.

3.2. Ưu điểm của C3D trong ứng dụng thực tế

C3D vượt trội vì khả năng học các mẫu chuyển động phức tạp từ video. So với các phương pháp truyền thống dùng đặc trưng được thiết kế bằng tay, C3D tự động học các biểu diễn tối ưu, giúp nhận dạng cử chỉ tay chính xác cao hơn trong các điều kiện khác nhau.

IV. Ứng Dụng Thực Nghiệm và Kết Quả Đạt Được

Quá trình thử nghiệm bao gồm các bước chủ yếu: tiền xử lý dữ liệu, xây dựng mô hình C3D, huấn luyện mô hình, và đánh giá kết quả. Dữ liệu được thu thập từ viện nghiên cứu MICA, Đại học Bách Khoa Hà Nội, bao gồm các video cử chỉ tay từ nhiều người khác nhau. Tiền xử lý liên quan đến việc chuẩn hóa kích thước hình ảnh, xóa nhiễu, và augmentation dữ liệu để tăng độ robust của mô hình. Quá trình huấn luyện sử dụng các kỹ thuật tối ưu hóa hiện đại như Adam optimizer. Kết quả cho thấy mô hình C3D đạt được độ chính xác cao trên bộ dữ liệu, chứng minh hiệu quả của phương pháp này trong nhận dạng cử chỉ tay.

4.1. Quy trình tiền xử lý dữ liệu

Tiền xử lý dữ liệu là bước quan trọng để đảm bảo chất lượng đầu vào cho mô hình. Các video được chuẩn hóa về kích thước, frame rate, và độ sáng. Data augmentation được áp dụng để tạo ra các biến thể của dữ liệu, giúp mô hình C3D tổng quát hóa tốt hơn.

4.2. Kết quả và đánh giá hiệu suất mô hình

Mô hình C3D được đánh giá bằng các độ đo như độ chính xác (accuracy), precision, recall, và F1-score. Kết quả thử nghiệm cho thấy hệ thống đạt được hiệu suất tốt, với độ chính xác cao trong nhận dạng các loại cử chỉ tay khác nhau, khẳng định tính hiệu quả của mạng 3D CNN.

Trích đoạn nội dung tài liệu

TRƯỜNG ĐẠI IIỌC BÁCTI KHOA ITÀ NỘI VIEN CONG NGHE THONG TIN VA TRUYEN THONG * LUAN VAN TOT NGHIEP CAO HOC NGANH CONG NGHE THONG TIN NGHIEN CUU UNG DUNG MANG HỌC SÂU TICH CHAP 3D TRONG NHAN DANG CỬ CHỈ TAY Học viên thực hiện: Nguyễn Duy Cương Lớp 17ADNTT Giảng viên hướng dẫn: TS. Đinh Viết Sang HA NOT 10 - 2019 LOT NOT DAU Ilgc may (Machine leaming) củng với học sâu (Deep leaming) 14 2 lĩnh vục tiêu biên trong ngảnh trí tuệ nhân tạo (Actificial Intelligent) gây nên cơn sốt công nghệ trên toàn thé trong vải năm nay. Trong giới họo thuật, mỗi nấm có hàng ngàn bải bảo khoa học về ài này. Trong lĩnh vực công nghiệp, từ các công ty lớn như Google, Faccbook, Amazon nhiễu các công ty khởi nghiệp đêu đầu tư vào trí trệ nhân tạo.

Hàng loạt các img dụng sử dụng trí tuệ nhân tạo ra đời trên mọi lĩnh vục của cuộc sóng, từ khoa học máy tính đến những ngành íL liên quan hơn như vật lý, hóa học, y học, chính trị. Trong ngành thủ giác máy tinh (Computer Vision), trí tuệ nhân tạo đã tạo ra một búc đột phá, rất nhiều bài toán khỏ của thị giác máy tính dược giải quyết tốt nhờ áp dụng kỹ thuật học sâu (Deep leaming). Một trong sé đó là bải toán Nhận đạng cử chỉ tay người (hand pesture recognition}. ‘lrong phạm vi luận văn này tôi xui đễ xuất một ứng dụng của một mö hình học sâu - mạng reural tích chập 3 chiều C3D đề giải quyết cho bài loàn trên.

Bằng việc áp dựng C3D cùng với một số kỹ thuật hiện đại trong xứ lý ánh và thị giác máy tính, mỏ hình của lôi dã đạt được kết quả khả tốt trên bô dữ liệu được thu thập được tại viên nghiên cứu MICA, đại học Bách Khoa Hả Nội Tôi xin được gửi lời câm em sâu sắc nhất tới thây giáo — Tiên sĩ Đính Việt Sang — Giảng viên bộ muôn Khoa học rnáy tình, Viện Công nghệ thông tin vá Truyền thông, Trường Đại học Bách Khoa Hà Nội. Cảm ơn thấy vì dã hưởng dẫn tận tình, kiên nhẫn và tạo động lực che tôi trang khoảng thời gian thực hiện đỗ án tốt nghiện nay Tiếp theo, tôi xin chân thành cảm em các thấy cô trong Viện Công nghệ thông tin và truyền thông, Viện đảo tạo sau đại học, Viện nghiẻn cúu MICA, Trường Dai hoc Bach Khoa Ha Nội đã tạo điều kiện cho lôi trong quá trình học tập và nghiên cứu tại trường, Cuối cùng, tôi xin bay t6 long cam on tới những người thân trong gia dinh, bạn bè đã đảng viên và giúp đỡ để tôi hoàn thành bản luận văn này. To thời gian và kiến thúc có lưm nên không tránh khỏi những thiểus định Tôi rất mong nhận được sự thông cảm và đồng gớp quý bản của thy 6d va civ ban Cuỗi cùng, tôi xm gửi lời chúc sức khỏc, hạnh phúc tới thấy cô, gia dinh va ban be. Hà Nội, ngày.

năm 2019 Học viên LỜI NÓI DẢU MỤC LỤC wl DANII MUC KY HIEU, CAC COC VIET TAT 3 DANH MỤC CÁC BẰNG. 4 CHUONG 1: DAT VAN DE 7 1.1, Bài toán nhận dạng cử chỉ tay - 1. Mục tiêu và bố cục luận văn § CHƯƠNG 2: CƠ SỞ LÝ THUYỀT.1, Một só khải niệm cơ băn của học máy. nh HH Hee ¬.

lạc quá khép (overtiting), Tige chua hop ‘(Onderfittng) và học vừa khớp (Goodiiting). uv 213 Các độ đo (Mebie) định gia mồ hình sen kehree ¬—-- 13 2. Téng quan vé mang neural nhan tao (Artificial neural network) 14 2. Mang neural tich chap (CNN) 14 CHƯNG 3: DE XUÄT PHƯƠNG PHÁP GIẢI QUYẾT BÀI TOÁN NHẬN DẠNG CỬ cut 22 3.

Các nghiên cứu liên quan đên bài toàn nhận đạng cử chỉ tay. Hướng tiếp cân biểu điễn hoạt động đựa trên đặc trưng được thiết kế bằng tay (hand-crafled features) 2 3. Hướng tiếp cận biểu diễn hoại động đựa trêu kỹ thuật học sâu 33 3. Một số kiến trúc của ƠNN cho bải toán nhận dựng cử chỉ.

Mạng tích chập C3D. 26 CHƯƠNG 4: THỬ NGHIÊM VÀ ĐÁNH GIÁ 39 41. Tiên xử lý dữ liệu. sexy S11 HH n1 xe 35 43.

Huấn luyện môhình. 37 4A, Kết quả và đánh giá. nh ng HH nghe he re 40 4. Phương pháp sử đụng C3D ¬guyên bản trên bộ đữ liệu gốc 40 1 DANH MỤC HÌNH VẼ, DÒ THỊ Tlinh1.

Bé dit ligu chit viét tay mmist 10 11inh 2. Linh biểu diễn mô hình học chưa khớp (bên trái), học vừa khớp (ở giữa) và học quả khớp (bên phái). + 12 Hình 3, Minh hợa thực hiện pháp toán nhân chập 15 Hình 4. Câu trủc mạng CNN co bin 16 Hình 5.

Mô tả trường tiếp nhận cục bộ 5x5 H ghen ưe 17 Hình 6. Tạo neural đầu tiên trong lớp ẩn 1 18 Hình 7. Dịch bộ loe (filter) qua một cột để tạo được neura] ấn thử 2 18 Hình 8. Minh họa cho max-pooling 19 Hình 9.

Minh họa mang CNN don gidn véi lép FC gém 10 neural tuong img véi 10 nhan đâu ra 20 Ilinh 10. Cac bude xir ly trong hệ thẳng nhận đạng sử dụng đặc trung được thiết kế bằng, m. Ví dụ về bộ loc majority filter 24 Hình 12. Minh họa phép toán tích chập 3 chiều [1].

Kiến trúc chỉ tiết mạng C3D nguyên bán [1] kehree 28 Hình 14. Giải pháp thu thập dữ liệu cử chỉ sử đạng camera `. Minh họa cách thực hiện các cổ chỉ 30 Hình 16. Cử chỉ l_ON_OFF.

31 Hình 17 32 Hình 18 5 32 Hình 19. Cử chỉ 4 LEFT 32 Tlinh 20. Cir chi $ RIGIIT 33 Hình 21. Cử chỉ 6 PUSH.

Cử chỉ 7 PULL. s2 thun HH0 mg mu ree 33 Hình 23. Cử chỉ 10 SCTSSORS UP. 34 Hinh 26, Cit chi 11_SCISSORS RIGHT H ghen ưe 35 Hình 27.

Cử chỉ 12 SCISSORS LEFT 35 Hình 28. Ví dụ về đồ thị hàm lỗi khí luần luyện 39 Hình 29. Ví dụ về đồ thị biểu điển độ chính xác của mô inh trong lúc huấn luyện 39 Hình 30. Xóa nhiễu (người) ở background 42 Hình 31.

Các động tác sai khi thuc Ign eft chi 5_RIGHT cita di lượng Tân 43 Hình 32. Một số hành động trong bộ dữ liệu UCFLOI[] 48 11inh 33. Tiển xử lý đữ liệu bằng cách cho vủng bản tay của đối tượng vào giữa khung hình 44 DANH MỤC CÁC BẰNG Bang1. Vidu vé ma tran nhằm lẫn.

Số lượng mẫu của bộ dữ liêu5 cử chỉ 30 Dáng 3. Chuẩn hóa số lượng frame trong mỗi cũ chỉ. Kat qua C3D nguyên Dân rên bộ dỡ liệu sốc 5 cử ‘chi, Bon vi. Kél qui C3D nguyên bản trén bé dit ligu gée 12 cit chi.

Don vi % 4l Bang 7. Ma trận nhằm lần với bộ dữ liệu 12 cử chỉ, góc nhìn K1, đối tượng Thủy. Kết quả 3D trên bộ dữ liệu đã được làm sạch. Kết quả C3D trên bộ dữ liệu 5 ữ chỉ đã được làm sạch và tiên xử lý.

Két quả C3D trên bộ đứ liệu 12 cử chỉ sau khi tiền xử lý. Kết quả C3D trên bộ đứ liệu tăng cường 5 cử chi. Kết quả C3D với đữ liệu video đã phân vùng bản tay. So sánh kết quả C3D qua các phương pháp 1) Làm sạch dữ liệu, II) phương pháp 1 + kéo vững bản tay ra giữa, LII) phương pháp 1l + tăng cường dữ liệu, IV) phương pháp THỊ + phân doạn ảnh.

Két qua C3D khi FC6, _FC? chỉ gòn 1024 neuưel. Kết quả 3D khi số bộ lọc rong conv2s chỉ còn 64. Đen vị 49 Bang 17. Két quả C3D với FŒ6, FC7 có 2048 đẳng thời kích thước đâu vào là 97.

Bon viz % 30 Bảng 18. Kết quả C3D với đữ liệu đầu vào 65x65. Đon vị: t2 si Bảng 19. Kết quả C3D với FC6, FC7 2048 và num_frame =14.

Don vi: % s2 Bang 20. Kết quả C3D với FC6, PC7 =2048 va num frame =12. So sah két quả thứ nghiệm của các phương pháp I) C312 nguyên bản, 11) với số lượng neural ở các FC6, HC? bằng 204, 1) giống như l1 + kích thước đầu vào là 97x97, 1V) giống như HI + chỉ sử dụng 12 ñrames dâu vào. Mục tiêu và bố cục luận văn Trận văn này sẽ nghiên cửa kỹ thuật này trên ca sở đánh pia tinh hiệu quả của nó trên một loại dữ liệu về cử chí động của bản tay người, đồng thời trả lới hai cầu hỏi đặt ra: (1) M6 hinh C3D d& được thủ nghiệm đạt hiệu năng khá cao trên bộ đữ liệu lần nw UCF 101, SportIM.

Liệu nó có còn tốt với bộ dữ liệu nhỏ như bộ dĩ liệu 3 cử chỉ với 3 góc nhìn khác nhau hay 12 cử clủ và 5 góc nhìn không? Liệu có các phương pháp nào biến đổi dữ liệu phù hop dé C3D hoe tot hon không? (3) Có thể giảm nhẹ cấu trúc Cãl2 nguyễn bản cho việc tỗi uu hiệu năng của hệ thẳng không? Ngoài ra Gỗ nâng cao hiệu năng ũa C3D, luận văn cũng đã nghiên cửu và thực hiện một số cải tiền trong cách lấy mau cdc frames va tién u cũng như tống cuờng dữ liệu. Các thực nghiêm được thực hiện trên hai bộ đữ Lượng thực hiện 5 loại cử chỉ dưới 3 góc nhìn khác nhau, 2) 6 đối tượng thực hiện 12 loại cử chỉ đưới 3 góc nhìn khác nhau. Kết quả cho thấy các phương pháp biến đối dữ liệu để xuất thực sự giúp tăng độ chính xác của hộ thông, đồng thời giảm nhẹ được kích thước mô hình mả vẫn cho két quả tốt. Tuy vậy, C3D mới cho kết quả khả quan trên cũng góc nhìn với các bộ đữ liệu kể trên.

Cần thu thập thêm nhiễu mẫu huần luyện hơn nữa nếu muốn cải thiện chất lượng mê hinh với các góc nhín khác nhau. Để tài được thực hiện tại viện nghiên cứu MICA dưới sự hướng đẫn của TS. Đinh Viết Sang. Cầu trúc của luận văm grêm 4 chương trình bày những vẫn đề sau: + Chương l: Dặt vẫn để, giới thiện mục tiên và bố cục luận văn.

+ Chương *: Giới thiệu các cơ sở lý thuyết (học máy, mạng neural, mang neural tich chấp) + Chương 3: Giới thiệu các nghiên cứu liên quan đến bải toán nhận dạng cử chỉ tay va mang nieurat lich hap C31. + Chương 4: Các kết quả thực nghiệm trên mé hinh C3D. Dau tién sé diva ra mé 14 dit liệu thử nghiêm, môi trường thục nghiêm, các phương pháp tiên xử lý dữ liệu, dê do đánh giá và các công nghệ sử dụng, Sau đỏ đánh giá kết quá giữa các thứ nghiệm với nhau. «_ Kết luận: đưa ra kết luận những kết quá đạt được trong luận văn và định hướng phát triển cho bài toán.