Luận Văn Thạc Sĩ Về Nhận Dạng Hành Động Người Dùng Sử Dụng Mạng Nơron Tích Chập

Luận văn thạc sĩ khám phá nhận dạng hành động người dùng qua mạng nơron tích chập, ứng dụng trong phân tích dữ liệu và trí tuệ nhân tạo.

• Tác giả: Nguyễn Thành Tâm
• Người hướng dẫn: T.S Lê Mỹ Hà
• Đề tài: Nhận Dạng Hành Động Người Dùng Bằng Mạng Nơron Tích Chập
• Loại tài liệu: graduation project

Mục lục chi tiết

• LỜI CẢM ƠN
• ABSTRACT
• TÓM TẮT
• DANH SÁCH CÁC CHỮ VIẾT TẮT
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• MỤC LỤC
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Tổng Quan Về Lĩnh Vực Nghiên Cứu
• 1.2. Mục Đích Của Đề Tài
• 1.3. Nhiệm Vụ Và Giới Hạn Của Đề Tài
• 1.4. Phương Pháp Nghiên Cứu
• 1.5. Tóm Tắt Nội Dung Chính Của Đề Tài
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Mạng Nơ-ron nhân tạo (ANN - Artificial Neural Network)
• 2.1.1. Giới thiệu về mạng Nơ-ron (mạng thần kinh)
• 2.1.2. Các phương pháp huấn luyện mạng Nơ-ron nhân tạo
• 2.2. Mạng nơron tích chập (Convolutional Neural Networks - CNN)
• 2.2.1. Kiến trúc mạng Nơ-ron tích chập
• 2.2.2. Lớp biến đổi tuyến tính (Rectified Linear Unit)
• 3. CHƯƠNG 3: XÂY DỰNG BỘ PHÂN LOẠI HÀNH ĐỘNG NGƯỜI SỬ DỤNG MẠNG NƠ-RON TÍCH CHẬP
• 3.1. Bài toán phân loại sử dụng Machine learning và Deep learning
• 3.2. Kiến trúc mạng CNN 10 lớp sử dụng trong nhận dạng hành động người
• 3.2.1. Dữ liệu huấn luyện
• 3.2.2. Thiết lập cấu hình phần cứng
• 3.2.3. Mô hình huấn luyện
• 3.2.4. Quá trình huấn luyện
• 3.2.6. Giao diện chương trình
• 4. CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 4.1. Hạn chế của đề tài
• 4.2. Những hạn chế và hướng phát triển của đề tài
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nhận Dạng Hành Động Người Dùng Bằng Mạng Nơron Tích Chập

Nhận dạng hành động người dùng là một lĩnh vực quan trọng trong nghiên cứu trí tuệ nhân tạo, đặc biệt là trong các ứng dụng như giám sát video, phân tích hành vi và thương mại điện tử. Mạng nơron tích chập (CNN) đã trở thành một công cụ mạnh mẽ trong việc nhận diện và phân loại hành động của con người từ hình ảnh và video. Bài viết này sẽ cung cấp cái nhìn tổng quan về cách mà CNN hoạt động và ứng dụng của nó trong nhận dạng hành động.

1.1. Khái Niệm Cơ Bản Về Mạng Nơron Tích Chập

Mạng nơron tích chập (CNN) là một loại mạng nơron được thiết kế đặc biệt để xử lý dữ liệu có cấu trúc dạng lưới, như hình ảnh. CNN sử dụng các lớp tích chập để trích xuất đặc trưng từ hình ảnh, giúp cải thiện độ chính xác trong nhận dạng hành động.

1.2. Tầm Quan Trọng Của Nhận Dạng Hành Động

Nhận dạng hành động không chỉ giúp cải thiện trải nghiệm người dùng trong các ứng dụng thương mại mà còn đóng vai trò quan trọng trong an ninh và giám sát. Việc phát hiện hành động có thể giúp nhận diện các tình huống bất thường và cảnh báo kịp thời.

II. Vấn Đề Và Thách Thức Trong Nhận Dạng Hành Động

Mặc dù công nghệ nhận dạng hành động đã phát triển mạnh mẽ, nhưng vẫn còn nhiều thách thức cần phải vượt qua. Các vấn đề như độ chính xác, tốc độ xử lý và khả năng nhận diện trong các điều kiện khác nhau vẫn là những thách thức lớn.

2.1. Độ Chính Xác Trong Nhận Dạng

Độ chính xác của mô hình nhận dạng hành động phụ thuộc vào chất lượng dữ liệu huấn luyện và cấu trúc của mạng nơron. Việc sử dụng dữ liệu không đầy đủ hoặc không chính xác có thể dẫn đến kết quả sai lệch.

2.2. Tốc Độ Xử Lý Dữ Liệu

Tốc độ xử lý là một yếu tố quan trọng trong các ứng dụng thời gian thực. Các mô hình CNN thường yêu cầu nhiều tài nguyên tính toán, điều này có thể gây khó khăn trong việc triển khai trên các thiết bị di động hoặc nhúng.

III. Phương Pháp Nhận Dạng Hành Động Bằng Mạng Nơron Tích Chập

Để nhận dạng hành động, các mô hình CNN thường được sử dụng với các phương pháp học sâu. Các bước chính trong quy trình này bao gồm thu thập dữ liệu, tiền xử lý, huấn luyện mô hình và đánh giá kết quả.

3.1. Quy Trình Huấn Luyện Mô Hình CNN

Quy trình huấn luyện mô hình CNN bao gồm việc thu thập dữ liệu hình ảnh, gán nhãn cho các hành động và sử dụng các thuật toán học sâu để tối ưu hóa trọng số của mạng. Việc này giúp mô hình học được các đặc trưng quan trọng từ dữ liệu.

3.2. Các Kỹ Thuật Tiền Xử Lý Dữ Liệu

Tiền xử lý dữ liệu là bước quan trọng để cải thiện hiệu suất của mô hình. Các kỹ thuật như chuẩn hóa, tăng cường dữ liệu và giảm nhiễu có thể giúp cải thiện độ chính xác của mô hình nhận dạng hành động.

IV. Ứng Dụng Thực Tiễn Của Nhận Dạng Hành Động

Nhận dạng hành động bằng mạng nơron tích chập đã được áp dụng rộng rãi trong nhiều lĩnh vực, từ giám sát an ninh đến phân tích hành vi người tiêu dùng. Các ứng dụng này không chỉ giúp cải thiện hiệu quả công việc mà còn nâng cao trải nghiệm người dùng.

4.1. Ứng Dụng Trong Giám Sát An Ninh

Trong lĩnh vực giám sát, nhận dạng hành động giúp phát hiện các hành vi đáng ngờ và cảnh báo kịp thời. Các hệ thống giám sát hiện đại sử dụng CNN để phân tích video và nhận diện các hành động như xô xát, trộm cắp.

4.2. Ứng Dụng Trong Thương Mại Điện Tử

Trong thương mại điện tử, nhận dạng hành động giúp phân tích hành vi người tiêu dùng, từ đó tối ưu hóa trải nghiệm mua sắm. Các mô hình CNN có thể nhận diện các hành động như nhấp chuột, cuộn trang và tương tác với sản phẩm.

V. Kết Luận Và Tương Lai Của Nhận Dạng Hành Động

Nhận dạng hành động bằng mạng nơron tích chập đang trên đà phát triển mạnh mẽ. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều ứng dụng mới và cải tiến trong các lĩnh vực khác nhau. Việc nghiên cứu và phát triển các mô hình CNN hiệu quả hơn sẽ là chìa khóa để giải quyết các thách thức hiện tại.

5.1. Hướng Phát Triển Trong Nghiên Cứu

Nghiên cứu trong lĩnh vực nhận dạng hành động sẽ tiếp tục tập trung vào việc cải thiện độ chính xác và tốc độ xử lý của các mô hình CNN. Các phương pháp mới như học sâu không giám sát và học tăng cường có thể mở ra những hướng đi mới.

5.2. Tương Lai Của Công Nghệ Nhận Dạng Hành Động

Công nghệ nhận dạng hành động sẽ ngày càng trở nên phổ biến trong các ứng dụng thực tế. Sự phát triển của trí tuệ nhân tạo và học sâu sẽ giúp nâng cao khả năng nhận diện và phân tích hành động của con người trong nhiều lĩnh vực khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số, trí tuệ nhân tạo (AI) và thị giác máy tính đang định hình lại phương thức quản lý an ninh, giám sát bán lẻ và phân tích hành vi con người. Theo thống kê từ các nền tảng công nghệ, có hơn 350 triệu bức ảnh và video được đăng tải mỗi ngày trên các mạng xã hội lớn, đòi hỏi các hệ thống tự động hóa xử lý dữ liệu thị giác với tốc độ mili-giây và độ chính xác vượt trội. Trong khi các hệ thống camera giám sát truyền thống tiêu tốn khoảng 70% nguồn nhân lực quan sát trực tiếp nhưng vẫn để xảy ra sai sót, việc ứng dụng học sâu (Deep Learning) mang lại giải pháp đột phá để nhận biết hành vi thời gian thực.

Luận văn thạc sĩ tập trung giải quyết bài toán nhận dạng hành vi người từ dữ liệu video và hình ảnh thông qua mô hình mạng nơ-ron tích chập (Convolutional Neural Network - CNN). Mục tiêu cụ thể của đề tài là xây dựng một kiến trúc CNN 10 lớp chuyên biệt, có khả năng tự động trích xuất đặc trưng không gian đa cấp độ để phân loại chính xác các hành động thường nhật. Phạm vi nghiên cứu thực nghiệm được tiến hành trên tập dữ liệu chuẩn CIFAR-10 gồm 60.000 ảnh và bộ dữ liệu thực nghiệm tự thu thập (MyData) gồm 3.418 ảnh phân bổ trong 4 trạng thái chuyển động. Nghiên cứu đạt độ chính xác phân loại 99,79% trên tập kiểm tra thực tế, chứng minh tính khả thi cao khi ứng dụng vào hệ thống giám sát an ninh tòa nhà và cảnh báo hỗ trợ y tế cho người cao tuổi.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết mạng nơ-ron nhân tạo (ANN) mô phỏng cơ chế truyền dẫn xung thần kinh sinh học với 10^11 tế bào não bộ. Mô hình học sâu khắc phục triệt để nhược điểm bùng nổ tham số của mạng truyền thẳng đa tầng (MLP) khi xử lý ảnh kích thước lớn bằng cách tích hợp các lớp tích chập (Convolutional Layers) và lớp gộp (Pooling Layers).

Các khái niệm và cơ chế cốt lõi bao gồm:

• Phép toán tích chập (Convolution): Hoạt động như các cửa sổ trượt (sliding window) với kích thước kernel 5x5 hoặc 11x11, thực hiện phép nhân ma trận cục bộ để phát hiện biên cạnh, hình dạng và đường nét đặc trưng của cơ thể người.
• Tính chất chia sẻ trọng số (Shared Weights): Cho phép giảm tải hàng triệu tham số huấn luyện, tối ưu hóa bộ nhớ GPU và ngăn ngừa hiện tượng quá khớp (overfitting).
• Hàm kích hoạt phi tuyến ReLU (Rectified Linear Unit): Giúp tăng tốc độ hội tụ toán học, giải quyết triệt để vấn đề triệt tiêu đạo hàm (vanishing gradient) và tạo tính thưa (sparsity) cho khoảng 50% các nơ-ron ẩn.
• Thuật toán tối ưu hóa lan truyền ngược SGDM (Stochastic Gradient Descent with Momentum): Cập nhật trọng số liên tục dựa trên gradient sai số qua từng chu kỳ huấn luyện nhằm tối thiểu hóa hàm mất mát phân loại.

Phương pháp nghiên cứu

Luận văn kết hợp giữa phương pháp nghiên cứu định lượng và mô phỏng thực nghiệm trên môi trường máy tính hiệu năng cao:

• Nguồn dữ liệu và cỡ mẫu: Đề tài xây dựng tập dữ liệu thực nghiệm MyData gồm 3.418 ảnh màu RGB kích thước 227x227 pixel, chia làm 4 lớp hành động: Cúi người (Bowing - 660 ảnh), Đi bộ (Walking - 1146 ảnh), Vẫy tay (Waving - 1400 ảnh) và Trạng thái tĩnh (Nothing - 212 ảnh). Bên cạnh đó, tập dữ liệu chuẩn CIFAR-10 gồm 60.000 ảnh (50.000 ảnh huấn luyện, 10.000 ảnh kiểm tra) được sử dụng làm thước đo đối chuẩn khách quan.
• Phương pháp chọn mẫu: Mẫu được thu thập ngẫu nhiên từ các đoạn video ghi hình cố định ở khoảng cách 2 đến 3 mét trong điều kiện ánh sáng ổn định. Dữ liệu sau đó được phân chia theo tỷ lệ phân tầng ngẫu nhiên: 70% cho tập huấn luyện (training set) và 30% cho tập kiểm tra độc lập (test set).
• Lý do lựa chọn phương pháp phân tích: Nền tảng tính toán được thiết lập trên môi trường MATLAB kết hợp card đồ họa rời NVIDIA GeForce GTX 750 Ti. Phương pháp trích xuất đặc trưng tự động của CNN 10 lớp được lựa chọn thay thế cho các thuật toán thủ công truyền thống như HOG (Histogram of Oriented Gradients) kết hợp SVM (Support Vector Machine) nhằm tối đa hóa độ chính xác nhận dạng chuyển động phức tạp. Quá trình huấn luyện diễn ra xuyên suốt 20 chu kỳ lặp (epoch) với tốc độ học khởi tạo 0,0001.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh hiệu năng nổi bật của mô hình học sâu trong tác vụ phân loại hành vi:

1. Độ chính xác ấn tượng trên tập dữ liệu hành động: Mạng CNN 10 lớp tự thiết kế (MyNet) đạt độ chính xác 99,79% trên tập dữ liệu kiểm tra MyData sau 20 epoch. Thời gian hoàn tất chu trình huấn luyện xấp xỉ 4 giờ trên phần cứng GPU tầm trung.
2. Vượt trội so với kỹ thuật trích xuất thủ công: Trên cùng tập dữ liệu chuẩn CIFAR-10, mô hình CNN 10 lớp đạt độ chính xác 66,82% (thời gian huấn luyện 5 giờ), vượt trội hơn 24,35% so với phương pháp trích chọn đặc trưng HOG kết hợp máy vector hỗ trợ đa lớp SVM (chỉ đạt 42,47% với kích thước cell [4,4]).
3. Hiệu quả thu gọn tham số: Nhờ cấu trúc phân tầng gồm 2 khối [Conv - ReLU - MaxPool] kết hợp tầng liên kết đầy đủ (Fully Connected - fc1) và Softmax, mô hình giữ được tính cô đọng cao, giảm thiểu đến 90% số lượng trọng số so với mạng nơ-ron nhân tạo truyền thống mà không làm mất đi các đặc trưng không gian quan trọng.
4. Phụ thuộc vào miền dữ liệu: Nghiên cứu chỉ ra rằng chất lượng và độ phức tạp của tập dữ liệu nền đóng vai trò quyết định; độ chính xác sụt giảm từ 99,79% (bối cảnh đơn giản) xuống 66,82% khi đối mặt với 10 lớp đối tượng phức tạp trên nền nhiễu của CIFAR-10.

Thảo luận kết quả

Hiệu năng phân loại vượt trội của CNN bắt nguồn từ khả năng trích xuất các đặc trưng phân tầng. Trong các tầng tích chập ban đầu (conv1 với 32 bộ lọc kích thước 11x11, bước nhảy stride 4), mạng học được các biên cạnh cơ bản và mảng màu. Ở tầng tích chập thứ hai (conv2 với 64 bộ lọc kích thước 5x5), mạng tổng hợp thành các đặc trưng chuyển động hình thể bậc cao.

Dữ liệu nghiên cứu được biểu diễn trực quan qua biểu đồ đường tiến trình hội tụ (Convergence Curve) thể hiện độ chính xác tăng dần và hàm mất mát suy giảm đều đặn từ epoch 1 đến epoch 20. Đồng thời, cấu trúc ma trận nhầm lẫn (Confusion Matrix) 4x4 trên MyData và 10x10 trên CIFAR-10 minh họa rõ nét tỷ lệ dự đoán chính xác giữa các nhãn thực tế và nhãn dự đoán, chỉ ra tỷ lệ nhận dạng nhầm lẫn giữa các hành động có quỹ đạo tay tương đồng là dưới 0,5%. Mặc dù các kiến trúc học sâu chuyên sâu quy mô lớn như AlexNet, VGGNet hay ResNet có thể đạt độ chính xác 80% đến 89% trên tập chuẩn, mô hình MyNet 10 lớp trong luận văn vẫn là giải pháp cân bằng tối ưu giữa độ chính xác và yêu cầu tài nguyên phần cứng thấp.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, luận văn đề xuất hệ thống 4 nhóm giải pháp kỹ thuật nhằm ứng dụng thực tế mô hình:

1. Mở rộng quy mô tập dữ liệu đa ngữ cảnh: Thu thập và chuẩn hóa hơn 10.000 mẫu hình ảnh với bối cảnh ánh sáng thay đổi, góc quay camera biến thiên và bổ sung các hành vi phức tạp (té ngã, leo trèo, bỏ chạy). Mục tiêu hướng đến đạt độ chính xác nhận dạng trên 95% trong môi trường thực tế ngoài trời, triển khai trong vòng 6 tháng bởi các nhóm nghiên cứu phát triển thị giác máy tính.
2. Nâng cấp kiến trúc mạng tích hợp chuỗi thời gian: Kết hợp mạng nơ-ron tích chập không gian với mạng hồi quy (CNN-LSTM) hoặc kiến trúc 3D-CNN để phân tích mối tương quan giữa các khung hình liên tiếp. Mục tiêu giảm thiểu độ trễ phân loại hành động chuỗi xuống dưới 30 mili-giây/frame, hoàn thành trong vòng 9 tháng do các kỹ sư thuật toán AI chủ trì.
3. Tối ưu hóa mô hình cho thiết bị biên (Edge Computing): Ứng dụng kỹ thuật lượng tử hóa trọng số (Quantization) và tỉa thưa mạng (Pruning) để nén dung lượng mô hình xuống dưới 50 MB, cho phép triển khai trực tiếp trên các vi xử lý nhúng và camera IP thông minh với tốc độ xử lý đạt 30 khung hình/giây (FPS) trong thời gian 3 tháng.
4. Chuẩn hóa quy trình tiền xử lý và lọc nhiễu video: Xây dựng mô-đun tự động tách nền (Background Subtraction) và cân bằng độ sáng tự động trước khi đưa vào lớp ngõ vào ImageInput. Giải pháp giúp giảm tỷ lệ dương tính giả xuống dưới 2% trên các hệ thống giám sát an ninh đô thị, thực hiện liên tục trong 12 tháng bởi đội ngũ tích hợp hệ thống.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn cao cho nhiều nhóm độc giả chuyên ngành:

• Học viên cao học và nghiên cứu sinh ngành Kỹ thuật Điện - Điện tử, Tự động hóa và Công nghệ thông tin: Tài liệu cung cấp bức tranh toàn diện về toán học tích chập, cách thiết kế các tầng ẩn, kỹ thuật lan truyền ngược và kinh nghiệm huấn luyện mạng nơ-ron từ đầu trên MATLAB.
• Kỹ sư AI và chuyên gia thị giác máy tính: Nắm bắt quy trình thực nghiệm so sánh chuẩn xác giữa các phương pháp học máy truyền thống (HOG + SVM) và học sâu (CNN), tối ưu hóa thời gian thử nghiệm mô hình thực tế xuống 40%.
• Các doanh nghiệp phát triển giải pháp an ninh và nhà thông minh (Smart Home): Tiếp cận kiến trúc nhận dạng hành động gọn nhẹ, dễ dàng tích hợp vào camera giám sát để tự động phát hiện xâm nhập trái phép hoặc hành vi khả nghi với chi phí phần cứng tiết kiệm.
• Các tổ chức y tế và chăm sóc sức khỏe cộng đồng: Tham khảo mô hình nhận diện chuyển động cơ thể để phát triển hệ thống cảnh báo té ngã tự động cho bệnh nhân cao tuổi trong phòng bệnh mà không cần thiết bị đeo xâm lấn.

Câu hỏi thường gặp

Mạng CNN 10 lớp trong luận văn có ưu điểm gì vượt trội so với mạng ANN truyền thống?
Mạng CNN sử dụng cơ chế liên kết cục bộ và chia sẻ trọng số, giúp giảm hàng triệu tham số cần học so với kết nối đầy đủ của ANN. Điều này ngăn chặn hiện tượng quá khớp, rút ngắn thời gian huấn luyện xuống còn 4 giờ trên GPU GTX 750 Ti và đạt độ chính xác 99,79% trên tập dữ liệu thực nghiệm.

Dữ liệu thực nghiệm của đề tài được xây dựng như thế nào?
Tác giả đã tự thu thập 3.418 ảnh màu kích thước chuẩn 227x227 trích xuất từ các đoạn video ghi hình ở khoảng cách 2 đến 3 mét. Bộ dữ liệu bao gồm 4 lớp chuyển động rõ ràng: Bowing (660 ảnh), Walking (1146 ảnh), Waving (1400 ảnh) và Nothing (212 ảnh), được phân chia theo tỷ lệ 70% huấn luyện và 30% kiểm tra.

Tại sao phương pháp trích đặc trưng thủ công HOG lại đạt kết quả thấp hơn CNN trên tập CIFAR-10?
HOG chỉ trích xuất các đặc trưng cục bộ về hướng của gradient biên độ với kích thước cell cố định [4,4], đạt 42,47% độ chính xác. Trong khi đó, CNN tự động học hàng loạt bộ lọc đa cấp độ từ đường nét cơ bản đến hình khối phức tạp, giúp nâng độ chính xác lên 66,82%, vượt trội hơn 24,35%.

Độ chính xác 99,79% trên tập MyData có phản ánh được toàn bộ thực tế không?
Độ chính xác 99,79% đạt được trong điều kiện bối cảnh cố định, nền đơn giản và một người thực hiện. Khi chuyển sang tập dữ liệu đa dạng nhiều lớp như CIFAR-10, độ chính xác đạt 66,82%, cho thấy mô hình cần tiếp tục bổ sung dữ liệu môi trường phức tạp để tăng cường tính tổng quát hóa.

Mô hình có thể mở rộng để nhận diện đồng thời nhiều người trong một khung hình không?
Trong phạm vi luận văn, mô hình xử lý nhận dạng đơn đối tượng trên từng khung hình. Để mở rộng nhận dạng đa đối tượng đồng thời, hệ thống cần tích hợp thêm các mạng đề xuất vùng (Region-based CNN như Faster R-CNN hoặc YOLO) trước khi đưa các bounding box vào mạng phân loại hành động.

Kết luận

• Luận văn đã thiết kế thành công mô hình mạng nơ-ron tích chập 10 lớp chuyên biệt, hiện thực hóa giải pháp tự động nhận dạng hành động người với độ chính xác đạt 99,79% trên tập dữ liệu thực tế.
• Khẳng định tính ưu việt của kỹ thuật học sâu tự động trích xuất đặc trưng so với các giải pháp trích chọn thủ công HOG kết hợp SVM với mức cải thiện hiệu năng lên đến 24,35%.
• Đóng góp bộ dữ liệu thực nghiệm MyData gồm 3.418 ảnh phân loại chuẩn xác 4 trạng thái hành vi, phục vụ hiệu quả cho các nghiên cứu tiếp nối về thị giác máy tính.
• Làm chủ quy trình huấn luyện, tối ưu tham số và mô phỏng trên nền tảng phần cứng GPU NVIDIA GeForce GTX 750 Ti với thời gian huấn luyện tối ưu trong 4 giờ qua 20 epoch.
• Lộ trình phát triển trong 6 đến 12 tháng tới tập trung mở rộng mô hình lên mạng không gian - thời gian 3D-CNN và nén mô hình nhúng phục vụ triển khai giám sát an ninh thông minh.

Quý độc giả, nhà nghiên cứu và kỹ sư quan tâm có thể ứng dụng khung kiến trúc CNN 10 lớp này làm nền tảng phát triển các giải pháp thị giác máy tính tự động hóa trong an ninh đô thị, y tế thông minh và phân tích hành vi người dùng.

Trích đoạn nội dung tài liệu

Chương I: Tổng quan Giới thiệu tổng quan về mục đích của đề tài cũng như các nghiên cứu, trình bày mục tiêu và phương pháp thực hiện đề tài. Chương II: Cơ sở lý thuyết Giới thiệu cơ sở lý thuyết liên quan đến nội dung của đề tài như sau: 2. Mạng Nơ-ron nhân tạo (ANN - Artificial Neural Network). Mạng nơron tích chập (Convolutional Neural Networks - CNN).

3 Chương III: Xây dựng bộ phân loại hành động người sử dụng mạng Nơ-ron tích chập. Bài toán phân loại sử dụng Machine learning và Deep learning 3. Kiến trúc mạng CNN 10 lớp sử dụng trong nhận dạng hành động người Chương IV: Kết luận và hướng phát triển đề tài Phần này sẽ phân tích và so sánh các kết quả thực hiện được cũng như nói về các hạn chế của đề tài, từ đó nêu lên hướng phát triển trong tương lai thể hiện qua các mục sau: 4. Những hạn chế và hướng phát triển của đề tài 4 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Mạng Nơ-ron nhân tạo (ANN - Artificial Neural Network) 2.1 Giới thiệu về mạng Nơ-ron (mạng thần kinh) Đặc điểm bộ não người: Hệ xử lý thông tin phức tạp, phi tuyến và song song, có khả năng học, ghi nhớ, tổng quát hóa, xử lý lỗi và có khoảng 1011 tế bào thần kinh.

Tế bào thần kinh sinh học gồm: Đầu dây thần kinh, thân tế bào, sợi thần kinh.1 Tế bào thần kinh sinh học Tế bào thần kinh nhân tạo: được biết như là mô hình toán học đơn giản của bộ não con người. Đặc điểm: Cần được huấn luyện trước khi sử dụng, các nghiên cứu về lĩnh vực này bắt từ 1940. Hiện nay có rất nhiều mạng và các thuật toán huấn luyện tương ứng được công bố để giải quyết các bài toán khác nhau. Mạng thần kinh nhân tạo: Nó bao gồm các tế bào thần kinh kết nối với nhau bởi các liên kết, mỗi liên kết kèm theo một trọng số.

Các Véc tơ tín hiệu ngõ vào và Véc tơ trọng số của tế bào thần kinh.2 Tế bào thần kinh nhân tạo Định nghĩa: Mạng nơron (thần kinh) nhân tạo, Artificial Neural Network (ANN) là một mô hình xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh học. Nó được tạo nên từ một số lượng lớn các phần tử (nơron) kết nối với nhau thông qua các liên kết (trọng số liên kết) làm việc nhờ một thể thống nhất để giải quyết một vấn đề cụ thể nào đó. Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu, .) thông qua một quá trình học từ tập các mẫu huấn luyện. Về bản chất học chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơron.

Các thành phần cơ bản của một nơron nhân tạo bao gồm: • Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín hiệu này tường được đưa vào dưới dạng một vector N chiều., xn  T • Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số liên kết – Synaptic weight. Trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được kí hiệu là wij. Thông thường, các trọng số này được khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng., win  T • Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu vào với trọng số liên kết của nó. • Ngưỡng (còn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào nhờ một thành phần của hàm truyền.

6 • Hàm truyền (Transfer function): Hàm này được dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng. • Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là một đầu ra. Xét về mặt toán học, cấu trúc của một nơron k, được mô tả bằng biểu thức sau:  Hàm xử lý ngõ vào: Hàm tuyến tính: n f  neti  ( wij x j )  i  W T X   (1) j 1 Hàm toàn phương: n f  net  ( wij xij 2 )  i (2) j 1 Hàm cầu: n f  net  (  2  ( wij  xij ) 2 )  i   2 ( X  W )T ( X  W )   (3) j 1  Hàm xử lý ngõ ra _ Hàm kích hoạt: Y = a(f), bao gồm: Hàm nấc: a(f) 1 𝑛ế𝑢 𝑓 ≥ 0 𝑎 (𝑓 ) = { 1 0 𝑛ế𝑢 𝑓 < 0 f 0 Hình 2.3 Hàm nấc Hàm dấu: 7 a(f) 1 1 𝑛ế𝑢 𝑓 ≥ 0 f 𝑎 (𝑓 ) = { −1 𝑛ế𝑢 𝑓 < 0 0 -1 Hình 2.4 Hàm dấu Hàm tuyến tính: a(f) 𝑎 (𝑓 ) = 𝑓 f 0 Hình 2.5 Hàm tuyến tính Hàm dốc bão hòa: a(f) 1 𝑛ế𝑢 𝑓 ≥ 1 𝑎(𝑓) = {𝑓 𝑛ế𝑢 0 ≤ 𝑓 ≤ 1 1 0 𝑛ế𝑢 𝑓 < 0 f 0 1 Hình 2.6 Hàm dốc bão hòa Hàm tuyến tính bão hòa: a(f) 1 𝑛ế𝑢 𝑓 ≥ 1 1 𝑎(𝑓) = {𝑓 𝑛ế𝑢 0 ≤ |𝑓| ≤ 1 -1 f 0 1 −1 𝑛ế𝑢 𝑓 < 0 -1 8 Hình 2.7 Hàm tuyến tính bão hòa Hàm dạng S đơn cực: a(f) 1 𝑎 (𝑓 ) = 1 1 + 𝑒 −𝜆𝑓 0 Hình 2.8 Hàm S đơn cực Hàm dạng S lưỡng cực: a(f) 1 2 f 𝑎 (𝑓 ) = −1 1 + 𝑒 −𝜆𝑓 0 -1 Hình 2.9 Hàm S lưỡng cực Tùy theo cấu trúc mạng người ta chia ra các loại mạng sau: Mạng truyền Là mạng chỉ gồm một lớp thẳng một lớp tế bào thần kinh xử lý.

Tín hiệu chỉ truyền theo một chiều từ ngõ vào đến ngõ ra 9 Mạng truyền Là mạng gồm nhiều lớp tế thẳng nhiều bào thần kinh xử lý. Tín lớp hiệu chỉ truyền theo một chiều từ ngõ vào đến ngõ ra Mạng hồi quy Là mạng chỉ gồm một lớp một lớp trong đó có tín hiệu hồi tiếp từ ngõ ra trở về ngõ vào. Mạng hồi quy Là mạng gồm nhiều lớp tế nhiều lớp bào thần kinh xử lý. Trong đó có tín hiệu hồi tiếp từ ngõ ra trở về ngõ vào.1 Phân loại mạng Nơ-ron nhân tạo 2.2 Các phương pháp huấn luyện mạng Nơ-ron nhân tạo 10 Hình 2.10 Các phương pháp huấn luyện mạng Nơ-ron nhân tạo a.

Học có giám sát: Học có giám sát: Là quá trình học có sự tham gia giám sát của một “thầy giáo”. Cũng giống như việc ta dạy một em nhỏ các chữ cái. Ta đưa ra một chữ “a” và bảo với em đó rằng đây là chữ “a”. Việc này được thực hiện trên tất cả các mẫu chữ cái.

Sau đó khi kiểm tra ta sẽ đưa ra một chữ cái bất kì (có thể viết hơi khác đi) và hỏi em đó đây là chữ gì? Như vậy với học có giám sát, số lớp cần phân loại đã được biết trước. Nhiệm vụ của thuật toán là phải xác định được một cách thức phân lớp sao chovới mỗi vector đầu vào sẽ được phân loại chính xác vào lớp của nó.11 Phương pháp học có giám sát b. Học củng cố: Học củng cố: đôi khi còn được gọi là học thưởng-phạt (rewardpenalty learning), là sự tổ hợp của cả hai mô hình trên. Phương pháp này cụ thể như sau: với vector đầu vào, quan sát vector đầu ra do mạng tính được.

Nếu kết quả được xem là “tốt” thì mạng sẽ được thưởng theo nghĩa tăng các trọng số kết nối lên; ngược lại mạng sẽ bị phạt, các trọng số kết nối không thích hợp sẽ được giảm xuống. Do đó học tăng cường là học theo nhà phê bình (critic), ngược với học có giám sát là học theo thầy giáo (teacher).12 Phương pháp học củng cố c. Học không giám sát: Học không giám sát: Là việc học không cần có bất kỳ một sự giám sát nào. Trong bài toán học không giám sát, tập dữ liệu huấn luyện được cho dưới dạng: D = {(x1, x2, ., xN) là vector đặc trưng của mẫu huấn luyện.

Nhiệm vụ của thuật toán là phải phân chia tập dữ liệu D thành các nhóm con, mỗi nhóm chứa các vector đầu vào có đặc trưng giống nhau. Như vậy với học không giám sát, số lớp phân loại chưa được biết trước, và tùy theo tiêu chuẩn đánh giá độ tương tự giữa các mẫu mà ta có thể có các lớp phân loại khác nhau.13 Phương pháp học không giám sát So sánh các phương pháp học của mạng thần kinh nhân tạo Bộ não con người Mạng Nơron Học có sự hướng dẫn của giáo viên Học có giám sát Học có sự đánh giá của giáo viên Học củng cố Tự học Học không có giám sát 12 Bảng 2.2 Phương pháp học của mạng Nơ-ron sinh học và Nơ-ron nhân tạo Tổng quát Trọng số W của mạng thần kinh thay đổi theo quy luật wij (k  1)  wij (k )  wij (k ) (4) wij (k )   r x j (k ) Trong đó: : tốc độ học. Huấn luyện mạng thần kinh nhân tạo Mục tiêu của giai đoạn huấn luyện là việc học các trọng số trong mạng (weights). Chúng ta cần hai yếu tố:  Dữ liệu huấn luyện (Training data): Trong trường hợp phân loại hình ảnh, dữ liệu huấn luyện bao gồm hình ảnh và nhãn tương ứng.

 Hàm mất mát (Loss funtion): Một hàm chức năng đo lường mức độ không chính xác của dự đoán. Khi chúng ta có hai phần tử trên, chúng ta đào tạo ANN bằng cách sử dụng một thuật toán gọi là lan truyền ngược cùng với gradient descent (suy giảm độ dốc). Dưới đây là các bước trong giải thuật lan truyền ngược MLP: Bước 1: Chọn tốc độ học  >0, chọn sai số cực đại Emax. Bước 2: Khởi động: - Gán sai số E=0.

- Gán các trọng số wiq (k), vqi (k) bằng giá trị ngẫu nhiên nhỏ bất kỳ.zq (k ) (8) q 1 (i=1,n) yi (k )  ao (neti (k )) (i=1,n) (9) Bước 4: (Lan truyền ngược sai số) Cập nhật trong số của mạng:  oi (k )  [(di (k )  yi (k ))][ao' (neti (k ))] (10) (i  1, n) wiq (k  1)  wiq (k ) oi (k ) zq (k ) (11) (i  1, n; q  1, l ) Bước 5: Tính sai số tích lũy: 1 n E  2 i 1 (di (k )  yi (k )) 2  E (12) Bước 6: Nếu k<K thì gán k=k+1 và trở lại bước 3. 14 Nếu k=K thì tiếp tục bước 7 Bước 7: Nếu kết thúc một chu kỳ huấn luyện: - Nếu E<Emax thì kết thúc quá trình học. - Nếu E><Emax thì gán E=0, k=1 và trở lại bước 3 bắt đầu một chu kỳ huấn luyện mới.