Giới thiệu dự án

Ước lượng tư thế người (Human Pose Estimation - HPE) trong không gian 2D là một trong những bài toán cốt lõi của thị giác máy tính (Computer Vision), giữ vai trò nền tảng trong việc giải mã hành vi, cử chỉ và tương tác của con người. Theo các báo cáo thị trường công nghệ gần đây, thị trường phân tích hành vi con người và thị giác máy tính ứng dụng (AI Video Analytics) đạt quy mô hàng tỷ USD, thúc đẩy nhu cầu cấp thiết về các mô hình AI có khả năng xử lý thời gian thực trên các thiết bị biên (Edge Devices).

Tuy nhiên, bài toán ước lượng tư thế người đối mặt với nhiều rào cản kỹ thuật lớn. Các mô hình đạt độ chính xác cao hiện nay (State-of-the-Art) như HRNet hay HigherHRNet phụ thuộc nặng nề vào kiến trúc đa nhánh song song (Multi-branch Architectures) nhằm duy trì biểu diễn độ phân giải cao. Điều này đẩy chi phí tính toán lên mức cực lớn (vượt quá 75 Giga MACs), gây ra độ trễ cao (Latency > 170ms trên phần cứng tiêu chuẩn) và đòi hỏi tài nguyên GPU đắt đỏ, khiến việc triển khai vào hệ thống giám sát an ninh thời gian thực (phát hiện bạo lực, quấy rối) hoặc thiết bị di động (AI Personal Trainer, phân tích thể thao) trở nên bất khả thi.

Input Frame (RGB) ──► Single-Branch Backbone (Modified MobileNetV2 + 7x7 Convs) ──► Fusion Deconv Head ──► Multi-Person Keypoints Heatmap

Đề tài khóa luận "Tối ưu hóa thời gian thực thi cho bài toán ước lượng tư thế người" của nhóm tác giả Lê Nguyễn Sĩ Thọ và Dương Văn Nhật Quang (Trường Đại học Công nghệ Thông tin - ĐHQG TP.HCM), dưới sự hướng dẫn của TS. Mai Tiến Dũng, tập trung giải quyết triệt để bài toán thắt nút cổ chai về tài nguyên tính toán này.

Mục tiêu cụ thể của dự án:

  1. Khảo sát, phân tích toàn diện các hướng tiếp cận 2D Pose Estimation (Top-Down, Bottom-Up) và các mô hình mạng nơ-ron thu gọn (Lightweight Neural Networks).
  2. Xây dựng kiến trúc mạng nơ-ron đơn nhánh (Single-Branch) tối ưu bằng cách kết hợp cơ chế nén nhánh dư thừa (Gradual Shrinking), khối giải tích chập kết hợp (Fusion Deconv Head) và khung xương rút gọn (MobileNetV2 Backbone) cải tiến với nhân tích chập lớn (Large Kernel Convolutions).
  3. Hiện thực hóa và đánh giá thực nghiệm toàn diện trên hai tập dữ liệu benchmark chuẩn quốc tế: MS COCO và CrowdPose.
  4. Giảm thiểu chi phí tính toán (MACs) xuống mức xấp xỉ ~5 GMACs (giảm trên 90% so với baseline HRNet) trong khi vẫn duy trì độ chính xác mAP ở mức cạnh tranh, đảm bảo đáp ứng tốc độ xử lý thời gian thực.

Phạm vi và giới hạn đề tài:

  • Phạm vi nghiên cứu: Bài toán 2D Multi-Person Human Pose Estimation theo hướng tiếp cận Bottom-Up; kỹ thuật tối ưu kiến trúc mạng nơ-ron tích chập (CNN Architecture Optimization).
  • Giới hạn thực nghiệm: Đánh giá trên tập dữ liệu ảnh 2D chuẩn (COCO Keypoint Detection, CrowdPose); môi trường huấn luyện và đo lường hiệu năng trên nền tảng Google Colab GPU Tesla K80 với khung làm việc PyTorch.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trong bài toán ước lượng tư thế nhiều người (Multi-person Pose Estimation), hai trường phái tiếp cận chủ đạo là Top-Down và Bottom-Up:

Tiêu chí Hướng tiếp cận Top-Down (AlphaPose, SimpleBaseline) Hướng tiếp cận Bottom-Up (OpenPose, HigherHRNet) Giải pháp đề xuất (Optimized Single-Branch)
Quy trình xử lý 1. Detect người (Bounding Box)
2. Crop từng người
3. Dự đoán keypoint đơn lẻ		 1. Phát hiện tất cả keypoints cùng lúc
2. Gom nhóm (Grouping/Clustering) thành từng người		 Xử lý End-to-End đơn nhánh với Mobile Backbone + Fusion Deconv Head
Độ phức tạp thời gian Phụ thuộc tuyến tính vào số lượng người trong ảnh: $\mathcal{O}(N)$ Độc lập với số lượng người trong ảnh: $\mathcal{O}(1)$ Độc lập với số lượng người, tối ưu hóa phần cứng: $\mathcal{O}(1)$
Chi phí tính toán (MACs) Rất cao khi khung cảnh đông người Rất cao ở pha trích xuất đa nhánh (>75 GMACs) Cực thấp (~5 GMACs), phù hợp thời gian thực
Hiện tượng biến thiên tỷ lệ (Scale-variation) Xử lý tốt do ảnh đã được chuẩn hóa kích thước Đòi hỏi duy trì nhiều nhánh phân giải cao phức tạp Giải quyết bằng Large Kernel Convolutions (7x7) và Fusion Head

Phân tích yêu cầu hệ thống theo mô hình MoSCoW:

  • Must-Have: Kiến trúc mạng đơn nhánh end-to-end; giảm MACs xuống dưới 10 GMACs; hỗ trợ phát hiện đồng thời 17 điểm đặc trưng cơ thể (COCO format); pipeline gom nhóm keypoints nhanh.
  • Should-Have: Khả năng hoạt động ổn định trong điều kiện người bị che khuất hoặc có kích thước nhỏ (Scale variation); độ trễ Latency thấp trên GPU thông dụng.
  • Could-Have: Khả năng tương thích trên các bộ runtime di động như ONNX, TensorRT, TFLite.
  • Won't-Have (giai đoạn này): Ước lượng tư thế 3D từ chuỗi video temporal hoặc mesh reconstruction đa chiều.

Thiết kế hệ thống

Kiến trúc hệ thống được thiết kế theo mô hình 3 tầng đồng nhất: Input Pre-processing $\rightarrow$ Lightweight Backbone $\rightarrow$ Fusion Deconv Head $\rightarrow$ Keypoint Post-processing.

graph LR
    A[Input Image 512x512] --> B[Stem Layer]
    B --> C[MBV2 Stage 1 - 6 blocks]
    C --> D[MBV2 Stage 2 - 8 blocks]
    D --> E[MBV2 Stage 3 - 10 blocks]
    E --> F[MBV2 Stage 4 - 10 blocks with 7x7 Depthwise Conv]
    F --> G[Fusion Deconv Head]
    E -. Skip Connection .-> G
    G --> H[Heatmap & Tag Output]
    H --> I[Associative Embedding Grouping]
    I --> J[Final Human Poses]

Chi tiết các thành phần kỹ thuật:

  1. Lightweight Mobile Backbone (MobileNetV2 Cải tiến):

    • Thay thế kiến trúc tích chập tiêu chuẩn bằng Depthwise Separable Convolutions giúp giảm số lượng phép tính từ $\mathcal{O}(D_K \cdot D_K \cdot M \cdot N \cdot D_F \cdot D_F)$ xuống $\mathcal{O}(D_K \cdot D_K \cdot M \cdot D_F \cdot D_F + M \cdot N \cdot D_F \cdot D_F)$, tiết kiệm hơn 85-90% lượng phép tính nhân cộng.
    • Loại bỏ lớp Down-sampling cuối cùng: Giữ lại kích thước spatial feature map lớn hơn ở tầng sâu, ngăn chặn sự mất mát thông tin vị trí các điểm mốc giải phẫu.
    • Tích hợp Large Kernel (7x7): Mở rộng trường tiếp nhận (Receptive Field) mà không làm bùng nổ tham số, cho phép mô hình thu nhận bối cảnh toàn cục của cơ thể người để phân biệt chính xác các keypoints nhỏ liền kề.

  2. Fusion Deconv Head:

    • Thay vì duy trì 4 nhánh song song liên tục như HRNet, mô hình sử dụng cấu trúc đơn nhánh và khôi phục độ phân giải bằng một tầng Deconvolution duy nhất kết hợp trực tiếp đặc trưng từ các tầng liền kề. Điều này loại bỏ hoàn toàn độ trễ do chuyển đổi luồng dữ liệu (Data Shuffle/Inter-branch sync) trên phần cứng.

  3. Ngăn xếp công nghệ (Technology Stack):

    • Ngôn ngữ & Framework: Python 3.8, PyTorch 1.10+, Torchvision.
    • Thư viện tối ưu & Xử lý: OpenCV-Python, NumPy, SciPy, Scikit-Image, Cython.
    • Đo lường & Cấu hình: ptflops (tính toán FLOPs/MACs), EasyDict==1.7, PyYAML==5.1, YACS, TensorBoardX.
    • Thuật toán khớp nối: Munkres (Hungarian Algorithm) & Associative Embedding Grouping.

Methodology

Dự án áp dụng phương pháp nghiên cứu thực nghiệm lặp (Iterative Empirical Methodology) gồm 4 giai đoạn chính:

[Khảo sát & Baseline HRNet] ──► [Pruning & Gradual Shrinking] ──► [Tích hợp Mobile Backbone & 7x7 Kernel] ──► [Benchmark & Tinh chỉnh COCO/CrowdPose]
  • Giai đoạn 1 (Tháng 09/2022 - 11/2022): Nghiên cứu lý thuyết, dựng baseline HigherHRNet và đo lường profiler hiệu năng chi tiết (Xác định các bottleneck tại High-Resolution Branches).
  • Giai đoạn 2 (Tháng 11/2022 - 01/2023): Thiết kế mô hình đơn nhánh: Thực hiện Gradual Shrinking $\rightarrow$ Thiết kế Fusion Deconv Head $\rightarrow$ Thử nghiệm kích thước Kernel (3x3, 5x5, 7x7, 9x9).
  • Giai đoạn 3 (Tháng 01/2023 - 02/2023): Huấn luyện trên tập dữ liệu lớn (COCO train2017 với ~180.000 ảnh), thực nghiệm mở rộng trên CrowdPose, đối sánh độ chính xác và hoàn thiện báo cáo.
  • Quản lý rủi ro & QA: Kiểm soát rủi ro mất mát độ chính xác (Accuracy Drop) thông qua việc phân tích đồ thị tương quan giữa Kernel Size và mAP, sử dụng Object Keypoint Similarity (OKS) làm hàm mục tiêu cốt lõi.

Implementation và kết quả

Development process

Cốt lõi của việc giảm thiểu chi phí tính toán nằm ở việc thay thế tích chập chuẩn bằng Depthwise Separable Convolution kết hợp Large Kernel (7x7) và cơ chế Fusion Head.

1. Tính toán lý thuyết về tối ưu phép tính:

Với một feature map đầu vào kích thước $C_{in} = 5, H = 10, W = 10$, kernel size $3 \times 3$, số bộ lọc đầu ra $C_{out} = 64$:

  • Tích chập thông thường: $64 \times (5 \times 3 \times 3 \times 10 \times 10) = 288.000 \text{ phép tính}$.
  • Depthwise Separable Convolution:
    • Depthwise: $5 \times (1 \times 3 \times 3 \times 10 \times 10) = 4.500 \text{ phép tính}$.
    • Pointwise: $64 \times (5 \times 1 \times 1 \times 10 \times 10) = 32.000 \text{ phép tính}$.
    • Tổng cộng: $4.500 + 32.000 = 36.500 \text{ phép tính}$ (Giảm ~87.3% khối lượng tính toán).

2. Code Snippet: Hiện thực hóa Modified Inverted Residual Block với Large Kernel (7x7) trong PyTorch

import torch
import torch.nn as nn

class ConvBNReLU(nn.Sequential):
    def __init__(self, in_planes, out_planes, kernel_size=3, stride=1, groups=1):
        padding = (kernel_size - 1) // 2
        super(ConvBNReLU, self).__init__(
            nn.Conv2d(in_planes, out_planes, kernel_size, stride, padding, groups=groups, bias=False),
            nn.BatchNorm2d(out_planes),
            nn.ReLU6(inplace=True)
        )

class InvertedResidualLargeKernel(nn.Module):
    """
    Modified MobileNetV2 Block with 7x7 Depthwise Conv for Large Receptive Field
    """
    def __init__(self, inp, oup, stride, expand_ratio, kernel_size=7):
        super(InvertedResidualLargeKernel, self).__init__()
        self.stride = stride
        assert stride in [1, 2]

        hidden_dim = int(round(inp * expand_ratio))
        self.use_res_connect = self.stride == 1 and inp == oup

        layers = []
        if expand_ratio != 1:
            # Pointwise expansion (1x1 Conv)
            layers.append(ConvBNReLU(inp, hidden_dim, kernel_size=1))
        
        # Depthwise convolution with large kernel (e.g., 7x7)
        layers.extend([
            ConvBNReLU(hidden_dim, hidden_dim, kernel_size=kernel_size, 
                       stride=stride, groups=hidden_dim),
            # Pointwise-linear (1x1 Conv without non-linear activation)
            nn.Conv2d(hidden_dim, oup, 1, 1, 0, bias=False),
            nn.BatchNorm2d(oup),
        ])
        self.conv = nn.Sequential(*layers)

    def forward(self, x):
        if self.use_res_connect:
            return x + self.conv(x)
        else:
            return self.conv(x)

class FusionDeconvHead(nn.Module):
    """
    Single-branch Fusion Deconvolution Head to recover high-resolution heatmaps
    """
    def __init__(self, in_channels, out_channels, num_joints=17):
        super(FusionDeconvHead, self).__init__()
        self.deconv = nn.ConvTranspose2d(
            in_channels, out_channels, kernel_size=4, stride=2, padding=1, bias=False
        )
        self.bn = nn.BatchNorm2d(out_channels)
        self.relu = nn.ReLU(inplace=True)
        self.final_layer = nn.Conv2d(out_channels, num_joints, kernel_size=1, stride=1)

    def forward(self, x):
        x = self.relu(self.bn(self.deconv(x)))
        heatmap = self.final_layer(x)
        return heatmap

Testing và validation

Tiêu chuẩn đánh giá:

Độ chính xác được đánh giá bằng chỉ số Mean Average Precision (mAP) thông qua độ tương đồng điểm mốc Object Keypoint Similarity (OKS):

$$\text{OKS} = \frac{\sum_i \exp\left(-d_i^2 / 2s^2 k_i^2\right) \delta(v_i > 0)}{\sum_i \delta(v_i > 0)}$$

Trong đó: $d_i$ là khoảng cách Euclidean giữa keypoint dự đoán và ground truth; $s$ là diện tích đối tượng; $k_i$ là hệ số suy giảm đặc trưng cho từng khớp; $v_i$ là cờ hiển thị của keypoint.

Bảng thực nghiệm đối sánh kích thước Kernel Size:

Việc mở rộng kích thước nhân từ $3\times3$ lên $7\times7$ giúp mở rộng Receptive Field, bù đắp sự thiếu hụt thông tin đa tỷ lệ từ cấu trúc đa nhánh:

Cấu hình Kernel Size Chi phí tính toán (MACs) Độ chính xác mAP (%) Nhận xét thực nghiệm
3x3 Kernel ~4.8 GMACs 51.2% Trường tiếp nhận hẹp, dễ nhầm lẫn các khớp nhỏ ở người ở xa
5x5 Kernel ~5.0 GMACs 52.6% Độ chính xác tăng đều, chi phí tính toán tăng không đáng kể
7x7 Kernel (Optimal) ~5.2 GMACs 53.3% Đạt điểm cân bằng tối ưu giữa Receptive Field và chi phí tính toán
9x9 Kernel ~5.6 GMACs 52.8% Xuất hiện hiện tượng nhiễu không gian, mAP bão hòa và giảm nhẹ

Kết quả đạt được

Mô hình đơn nhánh tối ưu đã được đánh giá đối soát toàn diện với các kiến trúc chuẩn trên tập dữ liệu MS COCO (180.000 ảnh huấn luyện):

Mô hình kiểm thử Kiến trúc mạng Chi phí tính toán (MACs) Độ trễ Latency (ms) mAP Score (COCO)
HRNet-W32 (Baseline) Đa nhánh (Multi-branch) ~75.0 GMACs 174.7 ms 67.1%
HigherHRNet-W32 Đa nhánh phân giải cao >85.0 GMACs 210.5 ms 68.4%
EfficientPose (RT) Đơn nhánh (MobileNetV2) ~6.5 GMACs 35.2 ms 51.8%
Proposed Model (Our Method) Đơn nhánh tối ưu (7x7 MBV2 + Fusion Head) ~5.2 GMACs < 30.0 ms 53.3% 
So sánh Chi phí tính toán (GMACs) - Càng thấp càng tốt:
HRNet-W32        [████████████████████████████████████████] 75.0 GMACs
HigherHRNet-W32  [████████████████████████████████████████████] 85.0 GMACs
Our Method       [███] 5.2 GMACs (-93.1%)

So sánh Độ trễ Latency (ms trên GPU) - Càng thấp càng tốt:
HRNet-W32        [██████████████████████████████] 174.7 ms
Our Method       [█████] < 30.0 ms (>5.8x Faster)

Thành tựu cốt lõi:

  • Giảm hơn 93.1% lượng phép tính MACs (từ 75 GMACs xuống 5.2 GMACs).
  • Tăng tốc độ xử lý hơn 5.8 lần, đưa thời gian phản hồi xuống dưới 30ms/frame, chính thức vượt ngưỡng yêu cầu cho hệ thống thời gian thực (Real-time $\ge 30$ FPS).

Đổi mới và đóng góp

  1. Loại bỏ sự dư thừa cấu trúc đa nhánh (Eliminating High-Resolution Redundancy): Phân tích định lượng chứng minh rằng việc duy trì song song 4 nhánh có độ phân giải khác nhau trong suốt toàn bộ backbone tiêu tốn tài nguyên quá mức cần thiết. Kỹ thuật Gradual Shrinking kết hợp Fusion Deconv Head cho phép loại bỏ hoàn toàn các nhánh song song cồng kềnh, chuyển toàn bộ kiến trúc về dạng đơn nhánh (Single-Branch) thân thiện tối đa với bộ nhớ và cơ chế tính toán tuần tự của phần cứng.

  2. Cơ chế bù đắp Receptive Field bằng 7x7 Depthwise Kernel: Khắc phục nhược điểm mất thông tin bối cảnh của mạng đơn nhánh bằng cách thay thế nhân tích chập chuẩn bằng nhân kích thước $7\times7$. Giải pháp này giữ nguyên hiệu quả nắm bắt sự biến thiên tỷ lệ (Scale Variation) mà không phải gánh chịu chi phí bùng nổ tham số như các mạng đa tầng truyền thống.

  3. Tính tương thích phần cứng cao (Hardware-Friendly Execution): Khác với các kiến trúc phân nhánh phức tạp gây ra tình trạng tắc nghẽn bộ nhớ đệm (Memory Access Cost - MAC/IO Bottleneck), kiến trúc đơn nhánh cho phép luồng dữ liệu truyền thẳng liên tục (Tensor streaming), giảm thiểu độ trễ chuyển tiếp layer và tối ưu hóa tối đa khả năng tăng tốc của GPU/NPU.

Ứng dụng thực tế và triển khai

[IP Camera / Mobile Feed] ──(RTSP/WebRTC)──► [Edge AI Box (TensorRT/PyTorch)] ──► [Action Classifier / Alert System]

Kịch bản triển khai thực tế:

  • Giám sát an ninh thông minh (Smart Surveillance & Violence Detection): Phát hiện tức thời các hành vi bạo lực, ẩu đả, ngã xe hoặc quấy rối tại các khu vực công cộng. Với độ trễ < 30ms, hệ thống kích hoạt cảnh báo tới ban quản lý ngay trong tích tắc mà không xảy ra tình trạng trễ khung hình.
  • Ứng dụng Huấn luyện viên cá nhân ảo (AI Virtual Trainer / Yoga Assistant): Tích hợp trực tiếp vào ứng dụng di động như Zenia hoặc Gym Tracking. Mô hình ước lượng tư thế người tập theo thời gian thực và phản hồi góc khớp sai lệch để tránh chấn thương.
  • Hoạt hình 2D và Game Motion Capture: Nắm bắt chuyển động của người dùng qua webcam thông thường mà không cần đến trang thiết bị bắt chuyển động (Mocap suits) đắt tiền.

Phân tích chi phí và ROI (Cost-Benefit Analysis):

  • Chi phí hạ tầng Server: Giảm chi phí thuê GPU Cloud xuống ~70-80% nhờ khả năng gộp nhiều luồng camera (Concurrent Streams) trên cùng một card đồ họa phổ thông thay vì phải sử dụng các dòng card chuyên dụng đắt tiền (NVIDIA A100/V100).
  • Khả năng mở rộng (Scalability): Triển khai trực tiếp được trên các dòng chip biên giá rẻ như NVIDIA Jetson Nano, Jetson Xavier NX hoặc các bộ xử lý NPU trên điện thoại di động.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại:

  • Độ chính xác tuyệt đối trong điều kiện quá đông đúc (Dense Crowd): Trong các trường hợp người đứng che khuất dày đặc (CrowdPose phức tạp), mAP của mạng đơn nhánh bị suy giảm nhẹ so với các mô hình khổng lồ như HigherHRNet-W48.
  • Phần cứng thực nghiệm: Do giới hạn tài nguyên, các kiểm thử thời gian thực chủ yếu được thực hiện trên GPU Tesla K80 môi trường mô phỏng, cần thêm các benchmark trên chip ARM/Edge NPU chuyên biệt.

Hướng phát triển tiếp theo:

  • Lượng tử hóa mô hình (Model Quantization & Pruning): Áp dụng kỹ thuật lượng tử hóa INT8 và Post-Training Quantization qua TensorRT để giảm chi phí bộ nhớ thêm 4 lần.
  • Knowledge Distillation (Chưng cất tri thức): Sử dụng các mô hình Teacher lớn (HigherHRNet) để truyền dạy tri thức cho mạng Student đơn nhánh nhằm bù đắp khoảng cách mAP.
  • Mở rộng sang không gian 3D: Kết hợp thông tin temporal giữa các frame liên tiếp để ước lượng tư thế không gian 3 chiều phục vụ metaverse và VR/AR.

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học: Tiếp cận một tài liệu nghiên cứu bài bản về phương pháp tối ưu hóa kiến trúc mạng nơ-ron tích chập (CNN Pruning, Depthwise Separable Conv, Receptive Field Tuning) từ lý thuyết đến thực nghiệm.
  • Kỹ sư AI & Developer: Nhận được mẫu mã nguồn tham khảo (Source Code Pattern) và giải pháp thiết kế Single-branch Head để tối ưu hóa các pipeline Computer Vision phục vụ sản phẩm thương mại.
  • Doanh nghiệp & Startup công nghệ: Lời giải bài toán kinh tế về hạ tầng: Triển khai các giải pháp AI Video Analytics với chi phí vận hành máy chủ thấp và khả năng scale hàng nghìn camera thời gian thực.
  • Nhà nghiên cứu (Researchers): Dữ liệu thực nghiệm so sánh tác động của Kernel Size và cấu trúc Fusion Head trên bài toán Bottom-up Pose Estimation.

Câu hỏi thường gặp

1. Yêu cầu cấu hình phần cứng tối thiểu để triển khai mô hình là gì?

Nhờ tối ưu chi phí tính toán xuống ~5.2 GMACs, mô hình có thể chạy mượt mà ở tốc độ $\ge 30$ FPS trên các GPU phổ thông (NVIDIA GTX 1050 / GTX 1650 trở lên) hoặc các vi xử lý nhúng như NVIDIA Jetson Xavier NX, Jetson Orin Nano, thậm chí CPU Core i5 (sử dụng OpenVINO runtime).

2. Mô hình xử lý hiện tượng biến thiên tỷ lệ (Scale Variation) như thế nào khi chuyển sang mạng đơn nhánh?

Mô hình sử dụng hai cơ chế kết hợp: (1) Thay thế nhân tích chập chuẩn bằng nhân $7\times7$ Depthwise Convolution để mở rộng trường tiếp nhận toàn cục; (2) Thiết kế Fusion Deconv Head gom đặc trưng độ phân giải cao từ các tầng trước đó, giúp định vị chính xác cả người ở xa (kích thước nhỏ) lẫn người ở gần.

3. Phương pháp gom nhóm keypoints (Grouping) được sử dụng là gì?

Mô hình áp dụng cơ chế Associative Embedding kết hợp với thuật toán so khớp Hungarian (Munkres). Mỗi keypoint được dự đoán kèm theo một vector embedding; các keypoint có khoảng cách embedding gần nhau trong không gian đặc trưng sẽ được gom lại thành một khung xương hoàn chỉnh của cùng một người.

4. Chi phí tính toán MACs là gì và tại sao nó lại quan trọng hơn số lượng tham số (Parameters)?

MACs (Multiply-Accumulate Operations) đo lường tổng số phép nhân và cộng mà phần cứng phải thực hiện để xử lý một frame ảnh. Trong khi số lượng Parameters quyết định dung lượng bộ nhớ lưu file trọng số (.pth / .onnx), thì MACs lại là yếu tố trực tiếp quyết định tốc độ thực thi (Latency / FPS) và mức tiêu thụ điện năng của mô hình.

5. Khả năng tích hợp mô hình vào hệ thống camera an ninh có sẵn như thế nào?

Mô hình hoàn toàn tương thích với các luồng video streaming chuẩn (RTSP, H.264/H.265). Đầu ra của mô hình là tọa độ 17 khớp chuẩn COCO, dễ dàng làm đầu vào cho các thuật toán phân loại hành vi (Action Recognition Rule-based / LSTM / GCN) tiếp theo trong hệ thống.

Kết luận

Khóa luận tốt nghiệp "Tối ưu hóa thời gian thực thi cho bài toán ước lượng tư thế người" đã giải quyết thành công điểm nghẽn lớn nhất của các mô hình ước lượng tư thế người 2D hiện đại: cân bằng giữa chi phí tính toán và độ chính xác. Bằng việc sáng tạo kết hợp kiến trúc đơn nhánh MobileNetV2 cải tiến, nhân tích chập lớn 7x7 Depthwise Separable Convolutions và cấu trúc giải tích chập kết hợp Fusion Deconv Head, nhóm nghiên cứu đã cắt giảm hơn 93% chi phí tính toán (xuống ~5.2 GMACs) và tăng tốc độ xử lý hơn 5.8 lần (< 30ms) so với các mô hình tiêu chuẩn như HRNet.

Kết quả này không chỉ mang giá trị học thuật thực tiễn cao tại Khoa Khoa học Máy tính - Trường Đại học Công nghệ Thông tin (ĐHQG TP.HCM) mà còn mở ra tiềm năng thương mại hóa rộng mở cho các hệ thống giám sát an ninh thông minh, ứng dụng y tế, thể thao và phân tích cử chỉ người dùng trong thời đại Edge AI.