Hệ thống theo dõi và phát hiện té ngã thông qua mô hình trí tuệ nhân tạo

Đồ án hệ thống theo dõi và phát hiện té ngã bằng mô hình AI tại ĐH Sư phạm Kỹ thuật TP.HCM

• Tác giả: Lê Minh Nhanh
• Người hướng dẫn: TS. Huỳnh Thế Thiện
• Trường học: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật máy tính
• Đề tài: Hệ thống theo dõi và phát hiện té ngã thông qua mô hình trí tuệ nhân tạo
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Tổng quan về hệ thống theo dõi và phát hiện té ngã bằng AI

Hệ thống theo dõi và phát hiện té ngã bằng AI tại ĐH Sư phạm Kỹ thuật TP.HCM là công trình nghiên cứu thuộc Khoa Điện – Điện tử. Đề tài do sinh viên Lê Minh Nhanh và Phạm Quốc Tuấn thực hiện dưới sự hướng dẫn của TS. Huỳnh Thế Thiện vào tháng 1 năm 2025. Nghiên cứu tập trung giải quyết bài toán an toàn cho người cao tuổi và bệnh nhân trong không gian sống hiện đại. Hệ thống sử dụng camera giám sát kết hợp với các mô hình trí tuệ nhân tạo tiên tiến để xử lý hình ảnh trực tiếp. Thiết bị tự động ghi nhận khung hình, trích xuất dữ liệu tư thế và phân tích hành vi chuyển động liên tục. Khi phát hiện người gặp sự cố té ngã, hệ thống lập tức kích hoạt chuông cảnh báo và gửi tín hiệu cứu trợ đến người thân. Toàn bộ quy trình diễn ra tự động trong vài giây, giảm thiểu tối đa độ trễ phản ứng. Giải pháp này giúp loại bỏ sự phụ thuộc vào các thiết bị đeo tay vướng víu hoặc thao tác bấm nút cơ học truyền thống. Sự phối hợp giữa phần cứng tối ưu và phần mềm thông minh mang lại hiệu quả bảo vệ sức khỏe vượt trội.

1.1. Bối cảnh nghiên cứu đề tài tại HCMUTE

Trường Đại học Sư phạm Kỹ thuật TP.HCM luôn chú trọng đề tài nghiên cứu gắn liền thực tiễn xã hội. Đồ án tốt nghiệp ngành Công nghệ Kỹ thuật Máy tính xuất phát từ xu hướng già hóa dân số nhanh chóng. Người cao tuổi thường sinh hoạt đơn độc và đối mặt rủi ro trượt ngã bất ngờ. Chấn thương có thể trở nên nghiêm trọng nếu nạn nhân không nhận được hỗ trợ kịp thời. Nhóm nghiên cứu nhận thấy nhu cầu cấp bách về thiết bị y tế thông minh với giá thành hợp lý. Mục tiêu của công trình là xây dựng hệ thống giám sát tự động, độ chính xác cao và vận hành ổn định trong môi trường gia đình.

1.2. Mục tiêu kỹ thuật và phạm vi phát triển

Mục tiêu của đề tài bao gồm thiết kế phần cứng và lập trình giải thuật thị giác máy tính toàn diện. Hệ thống xử lý luồng video thời gian thực từ camera quan sát thông thường mà không cần cảm biến phụ trợ. Thuật toán phân tích tọa độ cơ thể người nhằm phát hiện tư thế ngã ngay khi biến cố xảy ra. Ngoài chức năng phát hiện té ngã, hệ thống còn tích hợp chức năng giám sát không gian an toàn. Người quản trị có thể thiết lập các vùng cấm hoặc vùng an toàn trên giao diện màn hình. Khi đối tượng vượt qua ranh giới quy định, cảnh báo tự động gửi về điện thoại di động thông qua máy chủ đám mây. Kiến trúc này mang lại giải pháp quản lý trực quan và bảo vệ toàn diện.

II. Phân tích thách thức theo dõi và phát hiện té ngã bằng AI

Các phương pháp giám sát té ngã truyền thống bộc lộ nhiều điểm hạn chế lớn. Cảm biến gia tốc đeo trên cơ thể gây cảm giác khó chịu và vướng víu cho người già. Người dùng thường xuyên quên đeo thiết bị khi đi vệ sinh hoặc lúc thức dậy giữa đêm. Nút bấm khẩn cấp cố định trên tường lại vô dụng khi nạn nhân ngất xỉu hoặc mất khả năng vận động sau cú va chạm mạnh. Phương pháp sử dụng camera thị giác máy tính mở ra giải pháp không xâm lấn. Tuy nhiên, xử lý hình ảnh camera trong môi trường gia đình phải đối mặt với nhiều rào cản kỹ thuật phức tạp. Ánh sáng thay đổi liên tục giữa ngày và đêm làm sai lệch độ nhận diện của mô hình. Góc che khuất bởi bàn ghế, rèm cửa hay đồ dùng sinh hoạt khiến các điểm mốc cơ thể bị đứt gãy. Tình trạng báo động giả thường phát sinh khi đối tượng ngồi nhanh xuống ghế hoặc cúi người nhặt vật thể. Bài toán đặt ra là cần xây dựng mô hình AI vừa có tốc độ phản hồi tức thời vừa có khả năng phân biệt hành vi chính xác cao.

2.1. Hạn chế từ các giải pháp cảm biến thông thường

Cảm biến mang trên người như vòng đeo thông minh đòi hỏi quy trình sạc pin liên tục. Người lớn tuổi rất dễ quên sạc hoặc tháo bỏ thiết bị do cảm giác bức bí trên da. Trong các tình huống ngã khi đang tắm hoặc ngủ, cảm biến thường không được mang theo. Thiết bị nút nhấn khẩn cấp gắn cố định tại các góc phòng cũng bộc lộ nhược điểm chí mạng. Sau khi ngã, nạn nhân thường bị choáng váng hoặc bất tỉnh, không thể tự bò đến vị trí nút bấm. Các cảm biến sàn nhà hoặc hồng ngoại thụ động lại có chi phí lắp đặt đắt đỏ và độ nhạy kém. Những hạn chế thực tế này thúc đẩy việc ứng dụng công nghệ camera quan sát kết hợp trí tuệ nhân tạo.

2.2. Vấn đề tài nguyên phần cứng trong xử lý thị giác

Các mô hình học sâu truyền thống thường yêu cầu máy tính có cấu hình phần cứng rất mạnh. Việc triển khai các mạng nơ-ron phức tạp trên máy tính cá nhân hoặc thiết bị nhúng gây tốn kém chi phí lớn. Hiện tượng nghẽn cổ chai xử lý dữ liệu dễ dẫn đến tình trạng trễ khung hình khi truyền phát. Độ trễ cao làm giảm tính kịp thời của hệ thống cảnh báo nguy hiểm. Nếu sự cố té ngã không được phát hiện sau vài giây, rủi ro biến chứng sức khỏe sẽ tăng cao. Ngoài ra, việc duy trì hệ thống chạy liên tục 24/7 đòi hỏi mức tiêu thụ năng lượng thấp và độ bền cao. Nghiên cứu tại HCMUTE đã trực tiếp giải quyết bài toán cân bằng giữa độ chính xác và tài nguyên tính toán.

III. Giải pháp công nghệ trong hệ thống phát hiện té ngã bằng AI

Nhóm tác giả tại HCMUTE đã lựa chọn mô hình kiến trúc MobileNet SSD để xử lý thị giác máy tính. Mô hình kết hợp giữa mạng trích xuất đặc trưng MobileNet và kỹ thuật Single Shot MultiBox Detector. Cấu trúc mạng gồm 14 lớp tích chập với các tầng tích chập tách rời theo chiều sâu (depthwise separable convolution). Phương pháp bộ nhân chiều rộng (Width Multiplier) được áp dụng để cắt giảm đáng kể số lượng tham số tính toán. Nhờ vậy, kích thước mô hình được thu nhỏ tối đa nhưng vẫn giữ vững độ chính xác khi phát hiện dáng người. Bên cạnh nhận diện tư thế ngã, hệ thống còn áp dụng thuật toán Ray Casting để giám sát không gian. Người dùng có thể thiết lập các vùng cấm hoặc vùng an toàn dạng đa giác tùy ý trên màn hình điều khiển. Hệ thống liên tục tính toán tọa độ trọng tâm của đối tượng từ hộp bao nhận diện. Thuật toán kiểm tra số lần giao cắt giữa tia xuất phát từ trọng tâm với các cạnh đa giác. Nếu số giao cắt là số lẻ, đối tượng được xác định đang nằm bên trong vùng quy định. Dữ liệu trạng thái lập tức đồng bộ lên nền tảng Firebase và gửi cảnh báo khẩn cấp đến thiết bị di động.

3.1. Kiến trúc MobileNet SSD tối ưu hóa nhận dạng

Kiến trúc MobileNet SSD là giải pháp then chốt giúp tối ưu năng lực tính toán. Mạng nơ-ron thay thế các phép tích chập thông thường bằng tích chập tách rời theo chiều sâu. Sự phân tách thành tích chập sâu và tích chập điểm giúp cắt giảm mạnh mẽ chi phí toán học. Hệ số alpha trong Width Multiplier giúp tinh chỉnh linh hoạt số lượng kênh trên mỗi tầng. Các lớp cuối cùng của mạng được tinh gọn để tập trung nhận dạng dáng người té ngã. Mô hình duy trì tốc độ xử lý khung hình cao ngay trên phần cứng phổ thông. Nhờ vậy, hệ thống có thể nhận diện hành vi ngã với độ trễ tính bằng mili-giây. Đây là yếu tố sống còn cho các ứng dụng cảnh báo nguy hiểm thời gian thực.

3.2. Thuật toán Ray Casting và đồng bộ dữ liệu Firebase

Thuật toán Ray Casting đảm nhiệm vai trò xác định vị trí mục tiêu trong không gian hai chiều. Hệ thống tính toán điểm trung tâm E(X5, Y5) của đối tượng từ tọa độ hộp bao quanh cơ thể. Một tia ảo được phóng từ điểm trung tâm theo phương cố định để kiểm tra số giao điểm với các cạnh bao quanh. Nếu số giao điểm là lẻ, mục tiêu nằm hoàn toàn trong vùng giới hạn. Ngay khi phát hiện xâm nhập vùng cấm hoặc rời khỏi vùng an toàn, khối xử lý trung tâm đẩy tọa độ lên cơ sở dữ liệu thời gian thực Firebase. Nền tảng đám mây kích hoạt dịch vụ thông báo đẩy đến ứng dụng di động của người giám sát. Quy trình truyền dữ liệu diễn ra liên tục, đảm bảo tính bảo mật và sự phản hồi chuẩn xác.

IV. Đánh giá ứng dụng thực tiễn hệ thống giám sát té ngã bằng AI

Hệ thống theo dõi và phát hiện té ngã bằng AI do sinh viên ĐH Sư phạm Kỹ thuật TP.HCM phát triển mở ra hướng đi đầy tiềm năng trong ngành y tế thông minh. Giải pháp tích hợp thành công giữa nhận diện tư thế ngã và khoanh vùng không gian cảnh báo an toàn. Kết quả thử nghiệm thực tế chứng minh hệ thống hoạt động ổn định, độ trễ truyền dữ liệu thấp và độ tin cậy vượt trội. Thiết bị vận hành hoàn toàn tự động, giải phóng gánh nặng theo dõi cho người nhà và điều dưỡng viên. Ứng dụng có thể triển khai rộng rãi tại các viện dưỡng lão, trung tâm phục hồi chức năng và nhà ở cá nhân. Việc số hóa quy trình giám sát giúp giảm thiểu tối đa tai biến thương tật do té ngã gây ra ở người cao tuổi. Trong tương lai, mô hình có thể mở rộng để phân tích nhiều hành vi bất thường khác như ngất xỉu, co giật hoặc đột quỵ. Công trình là minh chứng cụ thể cho năng lực nghiên cứu ứng dụng trí tuệ nhân tạo của sinh viên khối kỹ thuật. Sự hoàn thiện này đặt nền móng vững chắc cho việc thương mại hóa các sản phẩm công nghệ chăm sóc sức khỏe tại Việt Nam.

4.1. Khả năng nhân rộng tại các cơ sở dưỡng lão

Tại các viện dưỡng lão, tỷ lệ nhân viên chăm sóc trên số lượng người cao tuổi thường mất cân đối. Đội ngũ y tế khó lòng quan sát mọi hành vi của từng bệnh nhân cùng lúc. Hệ thống giám sát tự động bằng AI đóng vai trò như một trợ lý an ninh trực ban liên tục. Hệ thống không gây cảm giác khó chịu vì không yêu cầu đeo cảm biến phức tạp trên người. Việc thiết lập vùng an toàn hỗ trợ quản lý hiệu quả các bệnh nhân sa sút trí tuệ hay đi lạc. Mọi sự cố ngã hay vi phạm ranh giới đều được ghi lại và gửi cảnh báo tức thì. Điều này nâng cao chất lượng phục vụ và đảm bảo an toàn tuyệt đối cho người cao tuổi.

4.2. Hướng phát triển nâng cấp mô hình tương lai

Hệ thống sở hữu tiềm năng nâng cấp to lớn để thích ứng với nhiều điều kiện môi trường khác nhau. Nhóm tác giả hướng tới việc tích hợp các mô hình ước lượng tư thế 3D nhằm nâng cao độ chính xác nhận diện. Việc bổ sung camera hồng ngoại hoặc cảm biến chiều sâu sẽ giúp quan sát hiệu quả trong bóng tối hoàn toàn. Bên cạnh đó, hệ sinh thái có thể tích hợp trực tiếp với các thiết bị nhà thông minh để bật đèn hoặc tự động mở cửa cứu hộ khi tai nạn xảy ra. Thuật toán phân tích dự đoán hành vi nguy cơ trước khi ngã cũng là hướng nghiên cứu hứa hẹn. Những cải tiến này sẽ hoàn thiện giải pháp an ninh y tế toàn diện cho cộng đồng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp tập trung giải quyết bài toán an toàn sinh hoạt trong môi trường gia đình đối với hai nhóm đối tượng dễ bị tổn thương: người cao tuổi và trẻ nhỏ. Theo phân tích của tác giả, người cao tuổi thường gặp khó khăn trong việc vận động, tiềm ẩn nguy cơ té ngã cao khi ở nhà một mình mà không có sự trợ giúp kịp thời. Trong khi đó, trẻ em với tính cách hiếu động, tò mò nhưng thiếu nhận thức về mối nguy hiểm xung quanh rất dễ tiếp cận các khu vực mất an toàn trong nhà. Trong bối cảnh công nghệ của thời đại 4.0, việc ứng dụng trí tuệ nhân tạo (AI) và thị giác máy tính vào hệ thống camera giám sát được tác giả xác định là giải pháp thiết thực nhằm tự động hóa quá trình theo dõi, phát hiện rủi ro và gửi cảnh báo tức thì đến người quản lý hoặc phụ huynh qua thiết bị di động.

Mục tiêu tổng quát của đề tài là xây dựng hoàn chỉnh một hệ thống theo dõi và giám sát người già và trẻ em trong gia đình với các chức năng cụ thể:

1. Nhận diện và phát hiện kịp thời trạng thái té ngã của đối tượng.
2. Giám sát không gian di chuyển, phát hiện khi đối tượng xâm nhập vào vùng cấm hoặc rời khỏi vùng an toàn đã được thiết lập trước.
3. Gửi cảnh báo tức thì về ứng dụng di động của người dùng khi có sự cố.
4. Cho phép người dùng quan sát hình ảnh trực tiếp từ camera và chủ động tùy chỉnh các vùng giám sát trên giao diện điện thoại.

Để đạt được các mục tiêu trên, nhóm tác giả đề ra 7 nhiệm vụ nghiên cứu:

1. Tìm hiểu các thuật toán xử lý ảnh để tìm ra giải pháp tối ưu cho hệ thống.
2. Nghiên cứu, tìm và phân tích các giải thuật nhận dạng phục vụ đề tài.
3. Nghiên cứu và thiết kế chức năng vẽ khu vực cấm/an toàn và thuật toán nhận diện đối tượng tương tác với khu vực.
4. Thiết kế ứng dụng di động trên hệ điều hành Android và tích hợp truyền nhận dữ liệu với nền tảng đám mây Firebase.
5. Lựa chọn thiết bị phần cứng phù hợp để đảm bảo năng lực tính toán cho khối xử lý trung tâm.
6. Nghiên cứu và triển khai mô hình học sâu.
7. Thực hiện thử nghiệm thực tế, nghiệm thu, phân tích đánh giá và tối ưu hệ thống.

Về phạm vi và giới hạn nghiên cứu, đề tài được triển khai thử nghiệm trong không gian sinh hoạt gia đình với luồng dữ liệu từ một camera quan sát duy nhất. Các giới hạn kỹ thuật được tác giả chỉ rõ bao gồm: hệ thống chưa hỗ trợ xử lý đồng thời nhiều luồng camera đầu vào; độ trễ xử lý của phần cứng còn đáng kể; chất lượng đường truyền hình ảnh phụ thuộc vào băng thông mạng Internet; và hệ thống yêu cầu cấu hình máy tính xử lý trung tâm đủ mạnh để duy trì tốc độ phân tích thời gian thực.

Cơ sở lý thuyết và phương pháp

Cơ sở lý thuyết của khóa luận dựa trên nền tảng thị giác máy tính (Computer Vision) và học sâu (Deep Learning), trọng tâm là cấu trúc mạng nơ-ron tích chập (CNN). Tác giả hệ thống hóa các thành phần cốt lõi của CNN bao gồm:

• Lớp tích chập (Convolutional Layer) với các bộ lọc kích thước $3 \times 3$, $5 \times 5$, $7 \times 7$ cùng hai kỹ thuật đệm: valid padding và same padding.
• Lớp kích hoạt phi tuyến: ReLU ($f(x) = \max(0, x)$) cùng các hàm Sigmoid và Tanh.
• Lớp lấy mẫu (Pooling Layer): Max Pooling và Average Pooling với các kích thước $2 \times 2$, $3 \times 3$ và bước nhảy (stride).
• Lớp kết nối đầy đủ (Fully Connected Layer) kết hợp kỹ thuật điều chuẩn Dropout (tỷ lệ thường ở mức 0.5) nhằm hạn chế hiện tượng quá khớp (overfitting).
• Hàm chuyển đổi xác suất Softmax và hàm mất mát Cross-Entropy.
• Các thuật toán tối ưu hóa tham số mạng: Gradient Descent, Stochastic Gradient Descent (SGD), Mini-batch Gradient Descent, Momentum và Adam, vận hành dựa trên các tham số Epoch, Batch size và Iterations.

Về mô hình phát hiện đối tượng, nghiên cứu phân tích kiến trúc MobileNet SSD. Mô hình này kết hợp giữa mạng đường trục MobileNet và thuật toán phát hiện đối tượng đơn pha SSD (Single Shot MultiBox Detector). MobileNet sử dụng phép tích chập tách rời theo chiều sâu (Depthwise Separable Convolution) gồm hai bước riêng biệt: Depthwise Convolution (tích chập theo từng kênh) và Pointwise Convolution (tích chập $1 \times 1$ kết hợp các kênh), đồng thời sử dụng hai hệ số thu nhỏ là bộ nhân chiều rộng (Width Multiplier) và bộ nhân độ phân giải (Resolution Multiplier). Mạng MobileNet gồm 14 lớp chập liên tiếp; trong đồ án, tác giả tích hợp tầng 12 (bộ lọc $1 \times 1 \times 512 \times 512$, độ sâu 512) và tầng 14 (độ sâu 1024) vào SSD để trích xuất đặc trưng đa cấp độ. Thuật toán SSD phân tích các khung bao mặc định (default boxes, 4 hoặc 6 hộp mỗi vị trí) và áp dụng phương pháp triệt tiêu phi cực đại (Non-maximum suppression - NMS) cho hai nhiệm vụ: phân loại (Classification) và hồi quy tọa độ (Regression).

Về mô hình ước lượng tư thế, tác giả ứng dụng thư viện MediaPipe với mô hình BlazePose. Mô hình gồm hai phần:

• Pose Detector: Dựa trên mạng BlazeFace nhẹ và nhanh, tập trung nhận diện khuôn mặt và dự đoán 2 điểm ảo trung tâm cơ thể để căn chỉnh vùng quan tâm (ROI) theo phương thẳng đứng chỉ trong vài mili-giây.
• Pose Tracker: Sử dụng bản đồ nhiệt (heat maps) và bản đồ bù (offset maps) kết hợp mạng hồi quy để theo dõi liên tục 33 điểm mốc tọa độ 3 chiều ($x, y, z$) trên cơ thể người. Các tham số cấu hình chính gồm: static_image_mode, smooth_landmarks, min_detection_confidence (mặc định 0.5) và min_tracking_confidence (đặt ở mức 0.8).

Về giải thuật không gian, tác giả sử dụng thuật toán phóng tia (Ray Casting) để xác định vị trí tương đối giữa đối tượng và khu vực giám sát (vùng cấm hoặc vùng an toàn). Điểm kiểm tra là trung tâm đối tượng $E(X_5, Y_5)$, tính toán từ các điểm biên: $X_5 = \frac{X_1 + X_4}{2}$, $Y_5 = \frac{Y_1 + Y_4}{2}$. Thuật toán vẽ một tia xuất phát từ điểm $E$ theo một hướng cố định và đếm số giao điểm với các cạnh của đa giác 4 đỉnh $ABCD$. Nếu số giao điểm là số lẻ, điểm $E$ nằm bên trong đa giác; nếu số giao điểm là chẵn, điểm nằm ngoài đa giác.

Phương pháp nghiên cứu thực nghiệm được áp dụng thông qua việc tích hợp phần cứng và phần mềm, thu thập luồng video thực tế từ Camera IP và tiến hành kiểm thử chức năng trong các kịch bản môi trường ánh sáng tiêu chuẩn và ánh sáng yếu.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo cấu trúc module hóa phân tán, bao gồm 4 khối chức năng chính tương tác qua mạng:

[Camera IP] --(RTSP)--> [Khối xử lý trung tâm (PC)] <--(Internet)--> [Firebase Realtime DB] <--(Internet)--> [Ứng dụng Android]

Chi tiết nhiệm vụ kỹ thuật và công nghệ triển khai của từng khối:

• Khối nhận dữ liệu: Sử dụng Camera IP truyền luồng video thời gian thực về máy tính trung tâm thông qua giao thức truyền thông RTSP (Real-Time Streaming Protocol). Thiết bị camera hoạt động độc lập qua mạng Internet/LAN.
• Khối xử lý trung tâm: Đặt trên máy tính cá nhân, thực hiện thu nhận các khung hình (frame) từ giao thức RTSP, nạp mô hình BlazePose để trích xuất 33 điểm mốc tư thế nhằm xác định biến cố té ngã. Đồng thời, khối tính toán tọa độ trung tâm $E$ của đối tượng, đối chiếu với tọa độ vùng cấm hoặc vùng an toàn nhận từ cơ sở dữ liệu bằng thuật toán Ray Casting.
• Khối truyền thông và lưu trữ Internet: Khai thác dịch vụ thời gian thực của nền tảng Google Firebase. Firebase đóng vai trò trung gian lưu trữ tọa độ 4 điểm của vùng giám sát do người dùng thiết lập, đồng thời nhận cờ trạng thái cảnh báo từ khối xử lý trung tâm để đồng bộ hóa xuống thiết bị di động mà không cần xây dựng máy chủ trung gian.
• Khối ứng dụng di động: Phát triển trên nền tảng Android, cung cấp giao diện trực quan cho phép người dùng đăng ký tài khoản, đăng nhập hệ thống, cấu hình địa chỉ IP Camera và mật khẩu kết nối. Ứng dụng hỗ trợ hiển thị luồng video trực tiếp và cung cấp công cụ tương tác cho phép người dùng chạm 4 điểm trên màn hình để tạo đa giác vùng cấm hoặc vùng an toàn.

Hệ thống vận hành theo 2 chế độ chính:

• Chế độ 1 (Giám sát vùng cấm kết hợp phát hiện té ngã): Đa giác được định nghĩa là vùng nguy hiểm (hiển thị màu xanh dương). Cảnh báo được kích hoạt khi đối tượng bước vào bên trong đa giác này hoặc khi xuất hiện trạng thái té ngã.
• Chế độ 2 (Giám sát vùng an toàn kết hợp phát hiện té ngã): Đa giác được định nghĩa là khu vực an toàn (hiển thị màu xanh lá). Cảnh báo được kích hoạt khi đối tượng di chuyển ra khỏi phạm vi đa giác hoặc khi xuất hiện trạng thái té ngã.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày tính cấp thiết của đề tài xuất phát từ thực trạng tai nạn té ngã ở người cao tuổi và các nguy cơ mất an toàn ở trẻ nhỏ khi thiếu sự giám sát của người lớn. Tác giả xác định rõ mục tiêu nghiên cứu là phát triển một giải pháp tích hợp AI trên camera giám sát gia đình, hỗ trợ phát hiện té ngã và cảnh báo xâm phạm khu vực. Chương này công bố 7 nhiệm vụ kỹ thuật, chỉ rõ các giới hạn về năng lực phần cứng, số lượng camera và sự phụ thuộc vào đường truyền mạng, đồng thời phác thảo bố cục tài liệu gồm 5 chương.

Chương 2: Cơ sở lý thuyết

Chương 2 tổng hợp toàn bộ nền tảng toán học và mô hình thị giác máy tính phục vụ đề tài. Tác giả phân tích chi tiết cấu tạo mạng nơ-ron tích chập CNN từ các phép tính trích xuất đặc trưng của lớp Convolution, lớp Pooling, hàm kích hoạt ReLU, hàm Softmax, đến các thuật toán tối ưu lan truyền ngược như Adam, Momentum. Chương đi sâu vào cơ chế tối ưu tính toán của mạng MobileNet SSD thông qua Depthwise Separable Convolution kết hợp với bộ nhân chiều rộng và bộ nhân độ phân giải. Tiếp đó, nguyên lý hoạt động của framework MediaPipe cùng mô hình BlazePose được làm rõ, bao gồm cơ chế phát hiện khuôn mặt của BlazeFace để định vị 2 điểm trung tâm cơ thể và phương pháp hồi quy xác định 33 điểm mốc 3D.

Chương 3: Thiết kế hệ thống

Chương 3 trình bày các yêu cầu thiết kế hệ thống, sơ đồ khối chức năng và lưu đồ thuật toán chi tiết. Bốn khối thành phần (Nhận dữ liệu, Internet, Xử lý trung tâm, Ứng dụng di động) được phân tích rõ về mặt kỹ thuật truyền thông và giao thức dữ liệu (RTSP, Firebase SDK). Tác giả mô tả chi tiết giải thuật Ray Casting áp dụng cho việc kiểm tra tọa độ tâm đối tượng $E(X_5, Y_5)$ so với vùng đa giác 4 đỉnh do người dùng xác lập trên ứng dụng. Chương cũng trình bày các lưu đồ thuật toán điều khiển của chương trình máy tính chính và ứng dụng Android cho các tiến trình: đăng ký/đăng nhập, kết nối camera, hiển thị hình ảnh, vẽ vùng giám sát và xử lý logic cảnh báo theo chế độ.

Chương 4: Kết quả

Chương 4 công bố toàn bộ kết quả triển khai thực tế của hệ thống. Về giao diện, hệ thống hoàn thiện đầy đủ các chức năng đăng ký, đăng nhập, kết nối camera và vẽ vùng tương tác trên ứng dụng di động cũng như phần mềm máy tính. Về khả năng nhận diện, hệ thống ghi nhận kết quả nhận dạng chính xác các tư thế: đứng, ngồi, ngồi trong điều kiện thiếu sáng và trạng thái bất thường (té ngã). Kết quả kiểm thử tính năng định vị không gian được thực hiện đầy đủ trên cả Chế độ 1 (vùng cấm) và Chế độ 2 (vùng an toàn) trong cả hai môi trường: ánh sáng bình thường và môi trường thiếu sáng. Đồng thời, tác giả ghi nhận hai trường hợp nhận diện sai thực tế: hệ thống mất dấu khi phần đầu đối tượng bị che khuất và hiện tượng nhận diện nhầm vật thể tĩnh thành người.

Chương 5: Kết luận và hướng phát triển

Chương 5 tóm tắt các kết quả đạt được: hoàn thành hệ thống nhận diện té ngã và quản lý vùng an toàn/vùng cấm qua camera IP kết hợp AI và ứng dụng Android. Tác giả nêu rõ các định hướng phát triển tiếp theo bao gồm: mở rộng khả năng tiếp nhận và xử lý đồng thời nhiều luồng camera, tối ưu hóa thuật toán để giảm tải phần cứng, hạ thấp độ trễ thời gian thực và nâng cao độ chính xác nhận diện trong các bối cảnh môi trường phức tạp hoặc khi đối tượng bị che khuất một phần cơ thể.

Kết quả và đóng góp

Khóa luận đã hoàn thành việc xây dựng và tích hợp thành công mô hình phần cứng kết hợp phần mềm theo đúng mục tiêu thiết kế ban đầu. Các kết quả chức năng cụ thể được ghi nhận qua thực nghiệm:

• Xây dựng ứng dụng di động Android kết nối thành công với Camera IP thông qua giao thức RTSP, truyền nhận dữ liệu tọa độ và cảnh báo thời gian thực với máy tính xử lý trung tâm thông qua nền tảng Firebase.
• Nhận diện chính xác trạng thái người dùng trong các tình huống vận động cơ bản (đứng, ngồi) và tình huống té ngã.
• Kiểm thử thành công thuật toán Ray Casting trong việc phát hiện đối tượng xâm nhập vùng cấm (Chế độ 1) hoặc rời vùng an toàn (Chế độ 2), duy trì hoạt động ngay cả trong điều kiện ánh sáng yếu.

Bảng tổng hợp các kịch bản kiểm nghiệm thực tế của hệ thống được ghi nhận trong báo cáo:

STT	Kịch bản kiểm nghiệm	Môi trường thử nghiệm	Kết quả ghi nhận trong báo cáo
1	Tư thế đứng bình thường	Đủ sáng	Hệ thống nhận diện chính xác tư thế
2	Tư thế ngồi bình thường	Đủ sáng / Thiếu sáng	Hệ thống nhận diện chính xác tư thế
3	Trạng thái té ngã	Đủ sáng	Phát hiện bất thường và gửi cảnh báo
4	Đối tượng ngoài/trong vùng cấm (Chế độ 1)	Đủ sáng / Thiếu sáng	Xác định đúng vị trí tâm và kích hoạt cảnh báo khi vào vùng
5	Đối tượng trong/ngoài vùng an toàn (Chế độ 2)	Đủ sáng / Thiếu sáng	Xác định đúng vị trí tâm và kích hoạt cảnh báo khi ra khỏi vùng
6	Hoạt động đồng thời di động và máy tính	Mạng Internet	Đồng bộ hóa dữ liệu tọa độ vùng vẽ qua Firebase
7	Che khuất phần đầu/mặt	Môi trường thực tế	Thất bại: Không nhận diện được do mất dấu BlazeFace
8	Vật thể lạ không phải người	Môi trường thực tế	Sai số: Nhận diện sai đối tượng không phải con người

Về mặt đóng góp kỹ thuật, đồ án đã hiện thực hóa giải pháp tích hợp các mô hình học sâu hiện đại (MobileNet SSD, MediaPipe BlazePose) vào thiết bị camera giám sát dân dụng với chi phí hợp lý. Nhóm tác giả đề xuất cơ chế phân vùng giám sát tùy biến trực tiếp trên màn hình cảm ứng di động, kết hợp thuật toán hình học Ray Casting để xử lý logic không gian, mang lại giải pháp an ninh gia đình tiện ích mà không yêu cầu người dùng phải can thiệp kỹ thuật phức tạp.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các kết quả thực nghiệm và phân tích của nhóm tác giả, hệ thống còn tồn tại một số hạn chế kỹ thuật:

• Hệ thống chỉ mới tiếp nhận và xử lý tín hiệu từ một camera IP duy nhất, chưa thể đồng thời quản lý nhiều đầu vào video để bao quát toàn bộ không gian sống.
• Độ trễ phần cứng trong quá trình tính toán mô hình học sâu còn tương đối lớn, ảnh hưởng đến tốc độ phản hồi thời gian thực của cảnh báo.
• Chất lượng hình ảnh truyền qua mạng RTSP đôi khi suy giảm, tác động trực tiếp đến độ chính xác của các thuật toán thị giác máy tính.
• Khâu phát hiện đối tượng phụ thuộc chặt chẽ vào mô hình BlazeFace; do đó, khi phần đầu hoặc khuôn mặt của đối tượng bị vật cản che khuất, hệ thống hoàn toàn mất khả năng nhận diện các điểm mốc tư thế.
• Mô hình còn ghi nhận sai số khi nhận diện nhầm các vật thể tĩnh trong môi trường là con người.

Các hướng phát triển được tác giả đề xuất:

• Nâng cấp thuật toán và kiến trúc hệ thống để hỗ trợ xử lý song song nhiều luồng dữ liệu từ nhiều camera.
• Tối ưu hóa mô hình AI nhằm giảm thiểu yêu cầu tài nguyên phần cứng, rút ngắn thời gian xử lý trên mỗi khung hình.
• Nâng cao độ chính xác và khả năng thích ứng của mô hình nhận diện trong điều kiện che khuất cục bộ hoặc môi trường có nhiều vật thể gây nhiễu.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo phù hợp cho sinh viên và học viên thuộc các ngành: Công nghệ Kỹ thuật Máy tính, Công nghệ Thông tin, Điện tử - Viễn thông và Kỹ thuật Điều khiển & Tự động hóa đang nghiên cứu các đề tài về thị giác máy tính ứng dụng và hệ thống IoT giám sát thông minh.

Các nội dung có giá trị tham khảo chuyên môn cao bao gồm:

• Cơ sở lý thuyết học sâu: Cách hệ thống hóa toán học các lớp mạng CNN, kỹ thuật tích chập tách rời theo chiều sâu của MobileNet, cấu trúc SSD và mô hình theo dõi 33 điểm mốc cơ thể của BlazePose (Chương 2).
• Kiến trúc tích hợp hệ thống: Phương pháp thiết lập kết nối luồng RTSP từ Camera IP vào Python, cấu hình cơ sở dữ liệu thời gian thực Firebase để đồng bộ dữ liệu giữa máy tính và ứng dụng Android (Chương 3).
• Ứng dụng thuật toán hình học trong thị giác máy tính: Quy trình tính toán điểm trung tâm cơ thể và kỹ thuật cài đặt thuật toán Ray Casting để kiểm tra điều kiện tương tác vùng đa giác tùy chỉnh (Chương 3).

Câu hỏi thường gặp

1. Tại sao hệ thống mất khả năng nhận diện tư thế khi đối tượng bị che khuất phần đầu?
Theo nguyên lý của mô hình BlazePose trình bày trong đồ án, module Pose Detector sử dụng mô hình BlazeFace để phát hiện khuôn mặt đầu tiên nhằm xác định vị trí ban đầu và định vị 2 điểm ảo tượng trưng cho trung tâm cơ thể. Khuôn mặt là vùng có đặc trưng tương phản ổn định nhất. Nếu phần đầu hoặc mặt bị che khuất, BlazeFace không thể nhận diện được điểm mốc neo, dẫn đến việc toàn bộ quy trình xoay vùng quan tâm (ROI) và trích xuất 33 điểm mốc của Pose Tracker phía sau bị gián đoạn.

2. Thuật toán Ray Casting thực hiện nhiệm vụ gì trong hệ thống?
Thuật toán Ray Casting được sử dụng để giải quyết bài toán điểm nằm trong đa giác (point-in-polygon). Trong hệ thống, người dùng vẽ một vùng đa giác 4 đỉnh $ABCD$ trên màn hình (vùng cấm hoặc vùng an toàn). Hệ thống tính toán tọa độ tâm cơ thể của đối tượng $E(X_5, Y_5)$ và phóng một tia theo hướng cố định. Bằng cách đếm số giao điểm của tia với các cạnh đa giác (số lẻ là nằm trong, số chẵn là nằm ngoài), hệ thống xác định chính xác đối tượng đang ở trong hay ngoài khu vực quy định để kích hoạt cảnh báo.

3. Khối truyền thông Internet sử dụng nền tảng nào và có vai trò gì?
Hệ thống sử dụng cơ sở dữ liệu đám mây của nền tảng Google Firebase. Firebase đóng vai trò cầu nối dữ liệu: nhận và lưu trữ tọa độ 4 đỉnh do người dùng vẽ từ ứng dụng Android, truyền dữ liệu này sang chương trình Python trên máy tính; đồng thời nhận cờ tín hiệu cảnh báo (té ngã, vi phạm vùng) từ máy tính để cập nhật tức thì xuống thiết bị di động của người dùng.

4. Hai chế độ vận hành (Chế độ 1 và Chế độ 2) khác nhau như thế nào?
Sự khác biệt nằm ở ngữ nghĩa của vùng đa giác được vẽ:

• Chế độ 1 (Vùng cấm): Vùng đa giác được hiển thị màu xanh dương. Hệ thống sẽ kích hoạt cảnh báo khi đối tượng đi vào bên trong đa giác này hoặc bị té ngã.
• Chế độ 2 (Vùng an toàn): Vùng đa giác được hiển thị màu xanh lá. Hệ thống sẽ kích hoạt cảnh báo khi đối tượng di chuyển ra khỏi phạm vi đa giác hoặc bị té ngã.

5. Tầng 12 và tầng 14 của MobileNet có vai trò gì khi tích hợp vào SSD?
Trong kiến trúc kết hợp MobileNet SSD của đồ án, MobileNetv1 đóng vai trò mạng xương sống (backbone) thay thế VGG16. Tầng 12 với bộ lọc $1 \times 1 \times 512 \times 512$ tạo ra bản đồ đặc trưng có độ sâu 512, chịu trách nhiệm cung cấp các đặc trưng cơ bản ở mức trung bình cao với độ phân giải tốt. Tầng 14 với độ sâu 1024 cung cấp các đặc trưng chi tiết cấp cao hơn, hỗ trợ mô hình nhận diện chính xác các đối tượng có kích thước và hình thái phức tạp.

Kết luận

Đồ án tốt nghiệp của sinh viên Lê Minh Nhanh và Phạm Quốc Tuấn đã xây dựng thành công hệ thống giám sát an toàn gia đình ứng dụng trí tuệ nhân tạo, hướng tới bảo vệ người cao tuổi và trẻ nhỏ. Công trình tích hợp đồng bộ các mô hình thị giác máy tính hiện đại gồm MobileNet SSD và MediaPipe BlazePose trên luồng dữ liệu camera IP qua giao thức RTSP, kết hợp thuật toán hình học Ray Casting và cơ sở dữ liệu đám mây Firebase. Kết quả thực nghiệm đã chứng minh tính khả thi của hệ thống trong việc tự động phát hiện tai nạn té ngã và cảnh báo vi phạm phân vùng không gian trên ứng dụng di động trong cả điều kiện đủ sáng lẫn thiếu sáng. Báo cáo cũng chỉ rõ các hạn chế về phụ thuộc khuôn mặt và độ trễ phần cứng, tạo tiền đề định hướng nghiên cứu mở rộng trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan • Chương 2: Cơ sở lý thuyết • Chương 3: Thiết kế hệ thống • Chương 4: Kết quả, phân tích và đánh giá • Chương 5: Kết luận và hướng phát triển. 2 Chương 2 CƠ SỞ LÝ THUYẾT Đề tài được thiết kế tập trung vào việc ứng dụng công nghệ AI để xác định khu vực cấm và sau đó sẽ kiểm tra có đội tượng nào đi vào khu vực cấm đã được cài đặt hay không hoặc phát hiện có đối tượng nào bị té không, nếu có thì lập tức cảnh báo tới người dùng thông qua cơ sở dữ liệu trên Firebase hoặc ứng dụng trên điện .1 TỔNG QUAN VỀ THỊ GIÁC MÁY TÍNH Thị giác máy tính (Computer Vision) là một mảng trong lĩnh vực AI và khoa học máy tính, nghiên cứu cách để máy tính có thể hiểu và phân tích thông tin từ hình ảnh và video. Mục tiêu chính là giúp máy tính "nhìn" được thế giới xung quanh, từ đó nhận diện và xử lý các đối tượng, hành động và sự kiện trong các hình ảnh, video. Ví dụ như hình 2.1: Ứng dụng của thị giác máy tính.

Thị giác máy tính được áp dụng trong rất nhiều lĩnh vực. Trong y tế, công nghệ này giúp phân tích hình ảnh y khoa như X-quang và MRI, hỗ trợ bác sĩ chẩn đoán các bệnh lý một cách chính xác. Trong an ninh, hệ thống giám sát tích hợp công nghệ nhận diện đối tượng( khuôn măt, kích thước,.) để xác định danh tính người hoặc phát hiện hành vi bất thường. Trong ngành giao thông, hệ thống tự động lái của ô tô có sử dụng thị giác máy tính để có thể tự lái mà không nhờ đến sự tác động của con người.

3 Một lĩnh vực khác của thị giác máy tính là thực tế tăng cường (AR) và thực tế ảo (VR). AR kết hợp hình ảnh thực với các yếu tố ảo, cho phép người dùng tương tác với môi trường xung quanh một cách sống động. VR sử dụng hình ảnh máy tính để tạo ra các thế giới ảo, cung cấp những trải nghiệm trực quan phong phú. Công nghệ thị giác máy tính chủ yếu sử dụng các kỹ thuật học sâu (deep learning), đặc biệt là mạng nơ-ron tích chập (CNN), để nhận diện và phân biệt các đối tượng cụ thể được nhắm đến.

Các thuật toán này có thể tự động học từ dữ liệu, cải thiện độ chính xác theo thời gian. Thị giác máy tính cũng gặp phải một số thách thức lớn. Việc thu thập và xử lý dữ liệu hình ảnh có thể gặp khó khăn do sự đa dạng của môi trường và chất lượng hình ảnh. Ngoài ra, yêu cầu về hiệu suất tính toán cũng rất cao, đặc biệt đối với các ứng dụng đòi hỏi xử lý thời gian thực.

Vấn đề về bảo mật là vấn đề quan trọng khi được sử dụng trong các hệ thống an ninh hoặc xác định khuôn mặt.2 GIỚI THIỆU MẠNG NƠ-RON TÍCH CHẬP Mạng nơ-ron tích chập (Convolutional Neural Network - CNN) như hình 2.2 là một loại mô hình học sâu (deep learning) được thiết kế đặc biệt để xử lý và phân tích dữ liệu có cấu trúc dạng lưới, chẳng hạn như hình ảnh. CNN được cấu thành từ ba lớp chính: lớp tích chập, lớp pooling và lớp kết nối đầy đủ.2: Mạng tích chập (CNN)[18]. Lớp tích chập dùng những bộ lọc nhỏ (filters hoặc kernels) để di chuyển qua ảnh đầu vào. Quá trình này tạo ra các bản đồ đặc trưng (feature maps), trong đó mỗi bộ lọc chịu trách nhiệm phát hiện ra các đặc điểm như cạnh, góc hoặc kết cấu.

Việc này giúp CNN có khả năng trích xuất và nhận diện các thông tin cần thiết một cách chính xácxác và hiệu quả.