Tổng quan nghiên cứu

Sự bùng nổ của cuộc cách mạng công nghiệp lần thứ tư cùng mạng lưới camera giám sát đa góc nhìn đặt ra yêu cầu cấp thiết về việc tự động hóa xử lý và phân tích dữ liệu video. Trong các hệ thống an ninh hiện đại, hơn 75% khối lượng công việc giám sát vẫn phụ thuộc vào con người, dẫn đến tình trạng quá tải và giảm sút độ chính xác khi số lượng điểm quay tăng cao. Bài toán nhận dạng hành động người (Human Action Recognition - HAR) đóng vai trò then chốt trong việc xây dựng các hệ thống giám sát thông minh, tương tác người - máy (HCI), nhà thông minh và phân tích hành vi tự động.

Tuy nhiên, các phương pháp tiếp cận góc nhìn đơn (single-view) thường suy giảm hiệu năng từ 30% đến 45% khi góc quan sát trong giai đoạn thử nghiệm bị thay đổi so với dữ liệu huấn luyện. Để khắc phục hạn chế này, hướng tiếp cận đa góc nhìn (multi-view) được triển khai nhằm khai thác thông tin bổ trợ giữa các camera. Phương pháp cơ sở kết hợp đặc trưng cục bộ với mô hình túi từ thị giác (Bag-of-Words - BoW) truyền thống dù mang lại tính ổn định nhưng bộc lộ hai nhược điểm cốt lõi: thiếu hụt hoàn toàn tọa độ không gian - thời gian của các từ thị giác và suy giảm mạnh độ chính xác khi chủ thể thực hiện hành động ở hướng đứng tự do.

Luận văn thạc sĩ chuyên ngành Hệ thống thông tin của học viên Lê Tuấn Dũng, thực hiện dưới sự hướng dẫn của Tiến sĩ Nguyễn Thị Oanh và Tiến sĩ Trần Thị Thanh Hải tại Trường Đại học Bách Khoa Hà Nội (giai đoạn 2017-2018), tập trung giải quyết bài toán nâng cao hiệu năng nhận dạng hành động người đa góc nhìn. Mục tiêu cụ thể của nghiên cứu là xây dựng khung cải tiến tích hợp kỹ thuật gộp không gian - thời gian (Spatial-Temporal Pooling) vào mô hình BoW, đồng thời đề xuất kỹ thuật dịch chuyển góc nhìn vòng lặp (Cyclical View Shifting) trong pha kiểm thử. Nghiên cứu thực nghiệm trên 2 bộ cơ sở dữ liệu chuẩn quốc tế gồm Western Virginia University (WVU) với 8 camera đồng bộ và Northwestern-UCLA (N-UCLA) với 3 camera Kinect, giúp cải thiện độ chính xác nhận dạng từ 68.36% ở mô hình cơ sở lên mức 92.28%, vượt qua nhiều phương pháp tiên tiến cùng thời điểm.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên ba trụ cột lý thuyết chính trong thị giác máy tính và học máy:

  1. Lý thuyết biểu diễn đặc trưng không - thời gian cục bộ (STIP - Spatio-Temporal Interest Points): Sử dụng bộ dò Harris 3D để phát hiện các điểm có sự biến thiên cường độ sáng lớn theo cả không gian và thời gian. Tại mỗi điểm quan tâm, vector mô tả được xây dựng bằng cách ghép nối biểu đồ hướng gradient (HOG) và biểu đồ quang thông (HOF) trong các khối lân cận không - thời gian, tạo thành vector đặc trưng 162 chiều (bao gồm 72 giá trị HOG và 90 giá trị HOF) phản ánh cả hình dạng lẫn vận tốc chuyển động.
  2. Mô hình túi từ thị giác cải tiến (Spatial/Temporal Bag-of-Words): Nhằm khắc phục tình trạng mất mát thông tin cấu trúc cơ thể, nghiên cứu đề xuất hai biến thể gộp đặc trưng:
    • Mô hình S-BoW (Spatial Bag-of-Words): Áp dụng thuật toán trừ nền để xác định vùng chuyển động (Region of Interest - ROI). Hộp bao (bounding box) của đối tượng được phân chia thành 3 hoặc 4 phần theo chiều cao, hoặc 6 phần không gian dựa trên tọa độ trọng tâm cơ thể. Các từ thị giác được lượng tử hóa riêng biệt trên từng vùng trước khi nối lại thành vector tổng hợp.
    • Mô hình T-BoW (Temporal Bag-of-Words): Phân chia thời lượng video thành 2 hoặc 3 phân đoạn thời gian kế tiếp nhau để nắm bắt trình tự xuất hiện của các pha chuyển động.
  3. Lý thuyết bất biến góc nhìn và kỹ thuật dịch chuyển góc nhìn vòng lặp (View Shifting): Mô hình hóa sự hoán vị vòng quanh trục quan sát với $M$ cấu hình camera khác nhau. Khi kết hợp với thuật toán máy học véc-tơ hỗ trợ (Support Vector Machine - SVM) sử dụng hàm nhân Chi-bình phương ($\chi^2$), hệ thống áp dụng chiến lược dung hợp muộn (Late Fusion) để tính trung bình xác suất hậu nghiệm (posterior probabilities) trên toàn bộ các góc nhìn và chọn ra nhãn hành động có độ tin cậy cực đại.

Phương pháp nghiên cứu

  • Nguồn dữ liệu thực nghiệm:
    • Bộ dữ liệu WVU: Bao gồm 12 lớp hành động (vỗ tay, vẫy một tay, vẫy hai tay, đấm, chạy bộ, nhảy dạng tay chân, đá, cúi nhặt, ném, ném bóng bowling, gật đầu, đứng yên) được ghi lại bởi 8 camera đồng bộ với độ phân giải $640 \times 480$ pixel. Tập huấn luyện có hướng thực hiện cố định, trong khi tập kiểm tra có góc đứng tự do. Nghiên cứu sử dụng 11 lớp vận động cho huấn luyện và nhận dạng lớp đứng yên qua mật độ điểm STIP.
    • Bộ dữ liệu N-UCLA: Gồm 10 lớp hành động thực hiện bởi 10 diễn viên, được thu nhận từ 3 camera Kinect cung cấp dữ liệu RGB, độ sâu và khung xương.
  • Phương pháp lấy mẫu và xây dựng từ điển: Để huấn luyện từ điển thị giác cho từng hành động, nghiên cứu áp dụng phương pháp chọn mẫu ngẫu nhiên thu thập 1.000 vector STIP dương (positive) từ hành động mục tiêu và 1.000 vector STIP âm (negative) từ các hành động khác. Mô hình Rừng ngẫu nhiên (Random Forest) gồm 10 cây quyết định với độ sâu tối đa 5 tầng ($2^5 = 32$ lá/cây) được sử dụng để sinh ra từ điển thị giác kích thước chuẩn hóa 320 bin. Nhằm đảm bảo tính khách quan và triệt tiêu tính ngẫu nhiên, nghiên cứu thiết lập và đánh giá trên 3 bộ từ điển độc lập (D1, D2, D3).
  • Phương pháp phân loại và đánh giá: Phân lớp nhị phân theo chiến lược One-vs-All bằng SVM nhân $\chi^2$ với tham số phạt điều hòa $C=1.0$, kết hợp trọng số cân bằng lớp (balanced class weight) và hiệu chuẩn xác suất Platt Scaling. Quy trình kiểm định chéo 10 phần (10-fold cross-validation) được áp dụng trên tập dữ liệu N-UCLA để đảm bảo kết quả đánh giá không bị thiên lệch.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu mang lại 4 phát hiện thực nghiệm quan trọng được minh chứng qua các chỉ số định lượng:

  1. Hiệu quả đột phá của mô hình kết hợp trên bộ dữ liệu WVU: Mô hình BoW cơ sở chỉ đạt độ chính xác trung bình 68.36% trên 3 bộ từ điển (D1: 68.05%, D2: 66.20%, D3: 70.83%). Khi ứng dụng kỹ thuật phân vùng không gian 6 phần kết hợp dịch chuyển góc nhìn vòng lặp (S-BoW + View Shifting), độ chính xác trung bình tăng vọt lên 92.28% (tăng 23.92% so với baseline). Đáng chú ý, trên bộ từ điển D3, độ chính xác đạt mức tối đa 96.67%.
  2. Tác động vượt trội của gộp không gian so với gộp thời gian:
    • Mô hình T-BoW phân đoạn thời gian ($t=2$) chỉ mang lại mức cải thiện khiêm tốn 3.09%, đạt 71.45%, và giảm xuống 69.75% khi chia thành $t=3$ đoạn do các chuỗi hành động ngắn bị phân mảnh quá mức.
    • Mô hình S-BoW phân đoạn không gian 4 phần ($s=4$) nâng độ chính xác lên 80.25% (tăng 11.89% so với baseline), giúp phân biệt rõ ràng giữa các nhóm hành động vận động chi trên và chi dưới.
  3. Hiệu năng của kỹ thuật dịch chuyển góc nhìn độc lập: Khi chỉ áp dụng View Shifting trên mô hình BoW gốc ($s=1$) mà không cần thêm thông tin không gian, độ chính xác trên tập WVU đã tăng từ 68.36% lên 81.94% (mức tăng thuần 13.58%). Điều này chứng minh rằng việc lệch hướng đứng của đối tượng là nguyên nhân chính gây suy giảm hiệu năng đa góc nhìn.
  4. Giới hạn hình học của View Shifting trên bộ dữ liệu góc hẹp N-UCLA: Trên tập N-UCLA, mô hình S-BoW 6 phần nâng độ chính xác từ 57.81% (baseline) lên 63.24% (tăng 5.43%). Tuy nhiên, khi kết hợp thêm View Shifting, độ chính xác bị sụt giảm xuống còn 60.61% (giảm 2.63% so với S-BoW thuần túy).

Thảo luận kết quả

Khi biểu diễn dữ liệu qua ma trận nhầm lẫn (Confusion Matrix), kết quả trực quan hóa giải thích rõ ràng cơ chế hoạt động của các phương pháp đề xuất. Trong mô hình cơ sở, hệ thống nhầm lẫn nghiêm trọng giữa 2 nhóm hành động: nhóm 1 gồm vỗ tay (clapping), vẫy một tay và vẫy hai tay; nhóm 2 gồm đấm (punching), đá (kicking), ném (throwing) và chơi bowling do quỹ đạo biến thiên quang thông của cánh tay và cẳng chân có sự tương đồng lớn khi chiếu lên không gian 2D.

Bảng so sánh hiệu năng các phương pháp trên tập dữ liệu WVU thể hiện rõ ưu thế vượt trội:

Phương pháp nghiên cứu Độ chính xác nhận dạng (%)
HOG-SVM 82.00%
LMEI (Localized Motion Energy Image) 90.00%
ConvNet LSTM (Mạng nơ-ron học sâu) 90.00%
Mô hình cơ sở Baseline BoW 68.36%
Mô hình đề xuất (S-BoW $s=6$ + View Shifting) 92.28%

Khi phân chia 4 vùng không gian theo chiều cao, tỷ lệ nhận dạng chính xác của các cặp hành động nhầm lẫn (như vỗ tay so với đá chân) tăng từ dưới 60% lên trên 85%. Việc phân đoạn không gian đã tái tạo lại cấu trúc giải phẫu người mà đặc trưng STIP bỏ sót.

Sự sụt giảm hiệu năng của kỹ thuật View Shifting trên tập N-UCLA được luận văn làm sáng tỏ: Bộ dữ liệu N-UCLA chỉ có 3 camera bao phủ một cung góc hẹp chứ không phân bố đối xứng $360^\circ$ như hệ thống 8 camera của WVU. Khi thực hiện phép dịch chuyển vòng lặp, hệ thống gán nhầm các chuỗi video hiện có cho các góc nhìn không tồn tại trong thực tế, dẫn đến xác suất hậu nghiệm bị sai lệch. Phát hiện này cung cấp hướng dẫn quan trọng: Kỹ thuật View Shifting chỉ phát huy hiệu quả tối đa khi hệ thống camera được bố trí gần như phân bố đều xung quanh tâm quan sát.

Đề xuất và khuyến nghị

Dựa trên các kết quả thực nghiệm đạt được, luận văn đề xuất 4 giải pháp cụ thể cho việc triển khai và tối ưu hóa hệ thống nhận dạng hành động đa góc nhìn:

  1. Chuẩn hóa quy trình phân đoạn không gian ROI trong hệ thống giám sát: Các kỹ sư phát triển phần mềm thị giác máy tính cần tích hợp mô-đun trừ nền tự động và phân chia hộp bao thành 4 đến 6 vùng cục bộ theo chiều cao và trọng tâm. Mục tiêu kỹ thuật là đạt tốc độ xử lý thời gian thực trên 30 khung hình/giây (FPS) với mức cải thiện độ chính xác tối thiểu 10.0% trong giai đoạn 3 tháng đầu triển khai.
  2. Thiết lập cơ chế kiểm tra tính đối xứng camera trước khi kích hoạt View Shifting: Nhóm phát triển hệ thống cần cài đặt thuật toán kiểm tra cấu hình góc quay. Chỉ kích hoạt kỹ thuật dịch chuyển góc nhìn vòng lặp khi hệ thống có từ 6 đến 8 camera bao phủ trọn vẹn $360^\circ$ xung quanh khu vực theo dõi, nhằm ngăn chặn triệt để nguy cơ sụt giảm 2.63% độ chính xác như đã ghi nhận trên cấu hình camera góc hẹp trong quý II.
  3. Nâng cấp phương pháp tạo từ điển thị giác bằng cơ chế khai phá mẫu âm có chọn lọc (Selective Hard Negative Mining): Các nhóm nghiên cứu AI tại các viện và doanh nghiệp cần chuyển đổi từ phương pháp lấy mẫu âm ngẫu nhiên sang việc chủ động chọn lọc các mẫu âm khó cho mô hình Random Forest. Giải pháp này hướng tới việc nâng độ chính xác nhận dạng vượt mốc 95.00% trong vòng 6 tháng tới.
  4. Xây dựng kiến trúc lai kết hợp đặc trưng hình học thủ công và học sâu (Hybrid Deep Learning): Các nhà nghiên cứu cần kết hợp đặc trưng không gian S-BoW với mạng tích chập 3D (3D-CNN) hoặc Vision Transformer để tăng cường năng lực nhận diện các hành động tĩnh hoặc có biên độ vận động cực nhỏ, giảm tỷ lệ cảnh báo sai lệch xuống dưới 2.0% trong lộ trình 12 tháng.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

  1. Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính, Trí tuệ nhân tạo và Hệ thống thông tin: Tài liệu cung cấp phương pháp luận nghiên cứu thực nghiệm hoàn chỉnh, từ quy trình xử lý dữ liệu video đa góc nhìn, trích xuất đặc trưng STIP đến các mô hình phân lớp SVM và kỹ thuật dung hợp muộn (Late Fusion).
  2. Kỹ sư phát triển hệ thống giám sát an ninh thông minh (Smart Surveillance Systems): Tài liệu cung cấp giải pháp thuật toán khả thi để nâng cao độ chính xác phát hiện hành vi bất thường từ mạng lưới 8-16 camera tại sân bay, nhà ga, ngân hàng mà không phụ thuộc vào hướng di chuyển của đối tượng.
  3. Chuyên gia thiết kế hệ thống tương tác người - máy và thiết bị nhà thông minh (HCI & Smart Home): Ứng dụng giải pháp S-BoW để xây dựng hệ thống điều khiển thiết bị thông qua cử chỉ cơ thể từ nhiều vị trí đứng khác nhau với cấu hình phần cứng gọn nhẹ (chỉ cần CPU Intel Core i5 và 8GB RAM).
  4. Giảng viên và nhà nghiên cứu tại các trường đại học: Sử dụng làm giáo trình tham khảo chuyên sâu cho các môn học Xử lý ảnh, Thị giác máy tính nâng cao và Khai phá dữ liệu đa phương tiện.

Câu hỏi thường gặp

1. Tại sao kỹ thuật gộp không gian (S-BoW) lại cho hiệu quả vượt trội hơn hẳn gộp thời gian (T-BoW)? Mô hình S-BoW chia hộp bao đối tượng thành 4-6 vùng giúp khôi phục tọa độ vị trí tương đối giữa tay, chân và thân mình, giúp tăng độ chính xác thêm 11.89%. Ngược lại, các chuỗi video hành động thường có thời lượng ngắn (dưới 5 giây), việc chia nhỏ miền thời gian ($t=3$) dễ làm đứt gãy sự liên tục của chuyển động và chỉ cải thiện khoảng 1.4% đến 3.0%.

2. Kỹ thuật dịch chuyển góc nhìn (View Shifting) giải quyết vấn đề gì trong nhận dạng đa camera? Trong thực tế, người thực hiện hành động thường đứng ở các góc tự do khác với góc quay đối diện camera chuẩn lúc huấn luyện. View Shifting hoán vị vòng lặp $M$ cấu hình camera trong pha kiểm thử để tự động tìm ra sự tương đồng hướng quay cao nhất, giúp tăng 13.58% độ chính xác trên tập WVU mà không cần hiệu chuẩn camera phức tạp.

3. Vì sao không nên áp dụng View Shifting cho các hệ thống có ít camera hoặc góc quay hẹp? Trên bộ dữ liệu N-UCLA với 3 camera góc hẹp, View Shifting làm giảm độ chính xác từ 63.24% xuống 60.61% (giảm 2.63%). Nguyên nhân do kỹ thuật này yêu cầu mạng lưới camera phân bố đều xung quanh đối tượng; khi thiếu góc nhìn, thuật toán phải dùng dữ liệu góc khác thay thế, gây ra sai lệch lớn trong phân loại.

4. Hệ thống xử lý thế nào đối với các hành động tĩnh như "đứng yên"? Do bộ dò STIP chỉ trích xuất các điểm có biến thiên vận tốc và hình dạng lớn, các hành động tĩnh sẽ sinh ra rất ít hoặc không có vector STIP. Luận văn giải quyết vấn đề này bằng cách đếm trực tiếp số lượng đặc trưng STIP trích xuất được để phân lớp ngay hành động đứng yên mà không cần chuyển qua bộ phân loại SVM.

5. Giải pháp trong luận văn có yêu cầu hạ tầng phần cứng đắt tiền như GPU chuyên dụng không? Không. Khác với các mô hình học sâu đòi hỏi hệ thống GPU đắt đỏ, toàn bộ thuật toán trong luận văn được lập trình tối ưu bằng Python, OpenCV và Scikit-learn, thực thi mượt mà trên phần cứng văn phòng phổ thông (CPU Intel Core i5 2.60 GHz, 8GB RAM), giúp tiết kiệm hơn 60% chi phí đầu tư thiết bị.

Kết luận

  • Luận văn đã giải quyết thành công bài toán nhận dạng hành động người đa góc nhìn bằng việc kết hợp gộp thông tin không gian (S-BoW) và kỹ thuật dịch chuyển góc nhìn vòng lặp (View Shifting).
  • Đạt độ chính xác ấn tượng 92.28% trên tập dữ liệu chuẩn quốc tế WVU, vượt qua cả các kiến trúc mạng học sâu phức tạp như ConvNet LSTM (90.00%) và mô hình không gian LMEI (90.00%).
  • Chứng minh tính ứng dụng cao khi vận hành hiệu quả trên nền tảng phần cứng phổ thông với cấu hình CPU Intel Core i5 và 8GB RAM.
  • Xác lập rõ ràng điều kiện áp dụng của kỹ thuật View Shifting, chỉ ra sự phụ thuộc mật thiết vào tính đối xứng không gian của mạng lưới camera.
  • Lộ trình 12 tháng tiếp theo sẽ mở rộng kiểm thử trên các tập dữ liệu đa góc nhìn quy mô lớn (như PKU-MMD, NTU RGB+D) và tích hợp cơ chế chọn mẫu âm có chọn lọc để tối ưu hóa từ điển Random Forest.

Quý độc giả, giảng viên và các nhà phát triển hệ thống quan tâm có thể khai thác các đóng góp học thuật và mã nguồn thực nghiệm của luận văn để ứng dụng vào các dự án thị giác máy tính thực tế.