Luận văn ThS Kỹ thuật phần mềm: Phát hiện ngã người đi bộ bằng cảm biến điện thoại

Luận văn thạc sĩ Kỹ thuật phần mềm: Phát triển hệ thống phát hiện ngã cho người đi bộ sử dụng cảm biến điện thoại di động hiệu quả.

• Tác giả: Phí Bá Chiến
• Người hướng dẫn: PGS. TS Nguyễn Hà Nam
• Trường học: Đại học Công nghệ, Đại học Quốc gia Hà Nội
• Chuyên ngành: Kỹ thuật phần mềm
• Đề tài: Nghiên cứu và xây dựng hệ thống phát hiện hành động ngã của người đi bộ dựa trên cảm biến của điện thoại di động
• Loại tài liệu: Luận văn Thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về hệ thống phát hiện ngã qua cảm biến điện thoại

Hệ thống phát hiện ngã qua cảm biến điện thoại di động là giải pháp công nghệ giúp nhận diện hành động té ngã của người đi bộ. Hệ thống sử dụng các cảm biến gia tốc kế và con quay hồi chuyển tích hợp sẵn trong smartphone. Công nghệ này có tính ứng dụng cao trong chăm sóc sức khỏe người cao tuổi. Nghiên cứu của Phí Bá Chiến (2020) tại Đại học Công nghệ, ĐHQGHN đã xây dựng mô hình phát hiện ngã hiệu quả. Hệ thống hoạt động dựa trên nguyên lý thu thập dữ liệu chuyển động từ cảm biến. Các thuật toán máy học được áp dụng để phân loại hành động. Quá trình xử lý dữ liệu bao gồm tiền xử lý, trích xuất đặc trưng và phân lớp. Phương pháp sử dụng cửa sổ dữ liệu để chia nhỏ chuỗi thời gian liên tục. Kích thước cửa sổ và tỉ lệ chồng dữ liệu ảnh hưởng lớn đến độ chính xác. Kết quả nghiên cứu cho thấy Random Forest đạt hiệu suất tốt nhất trong việc phát hiện ngã.

1.1. Khái niệm phát hiện ngã bằng cảm biến

Phát hiện ngã là quá trình nhận diện thời điểm một người bị té ngã bất ngờ. Cảm biến gia tốc kế đo gia tốc ba trục X, Y, Z của thiết bị di động. Con quay hồi chuyển ghi lại góc quay và hướng chuyển động. Dữ liệu cảm biến được thu thập theo chuỗi thời gian liên tục. Mỗi mẫu dữ liệu chứa thông tin về cường độ và hướng chuyển động. Hệ thống phân biệt giữa hành động ngã và hoạt động bình thường như đi bộ, chạy bộ. Đây là bài toán phân loại nhị phân trong học máy.

1.2. Tầm quan trọng của phát hiện ngã tự động

Té ngã là nguyên nhân hàng đầu gây chấn thương nghiêm trọng ở người cao tuổi. Theo thống kê, hơn 30% người trên 65 tuổi bị ngã mỗi năm. Thời gian phát hiện và cấp cứu nhanh chóng giúp giảm tỷ lệ tử vong. Hệ thống phát hiện ngã tự động loại bỏ sự phụ thuộc vào người giám sát. Công nghệ sử dụng smartphone có chi phí triển khai thấp. Người dùng không cần mua thiết bị chuyên dụng đắt tiền. Giải pháp này phù hợp với điều kiện kinh tế tại Việt Nam.

II. Phân tích dữ liệu cảm biến và bài toán nhận dạng ngã

Dữ liệu cảm biến điện thoại có đặc điểm phức tạp và nhiễu cao. Bài toán nhận dạng ngã đòi hỏi kỹ thuật tiền xử lý dữ liệu chuyên biệt. Dữ liệu thô từ cảm biến chứa nhiều thành phần nhiễu ngẫu nhiên. Quá trình chuẩn hóa dữ liệu giúp loại bỏ sai lệch và tối ưu đầu vào. Phương pháp trích xuất đặc trưng trên miền thời gian và tần số được áp dụng rộng rãi. Thuộc tính thời gian bao gồm giá trị trung bình, độ lệch chuẩn, giá trị cực đại. Thuộc tính tần số sử dụng biến đổi Fourier để phân tích phổ tần số. Tham số Hjorth cung cấp thông tin về tính di động và phức tạp của tín hiệu. Kích thước cửa sổ dữ liệu ảnh hưởng trực tiếp đến chất lượng phân loại. Tỉ lệ chồng dữ liệu giúp tăng cường mẫu huấn luyện cho mô hình học máy. Bài toán phân loại đa lớp gồm các trạng thái: đi bộ, đứng, chạy, ngồi và ngã.

2.1. Kỹ thuật tiền xử lý dữ liệu thời gian thực

Tiền xử lý dữ liệu là bước quan trọng đầu tiên trong pipeline xử lý. Dữ liệu cảm biến được thu thập liên tục theo chuỗi thời gian. Kỹ thuật cửa sổ trượt chia dữ liệu thành các đoạn nhỏ có độ dài cố định. Tỉ lệ chồng dữ liệu thường đặt ở mức 25%, 50% hoặc 75%. Mục đích nhằm tăng số lượng mẫu huấn luyện cho mô hình. Dữ liệu được chuẩn hóa về phạm vi [0,1] hoặc [-1,1]. Các giá trị ngoại lệ và nhiễu được loại bỏ bằng bộ lọc thông thấp.

2.2. Phương pháp trích xuất đặc trưng từ cảm biến

Trích xuất đặc trưng biến đổi dữ liệu thô thành vector đặc trưng có ý nghĩa. Trên miền thời gian, các đặc trưng gồm trung bình, phương sai, độ lệch chuẩn. Giá trị cực đại, cực tiểu và khoảng biến thiên cũng được sử dụng. Trên miền tần số, biến đổi Fourier nhanh (FFT) phân tích phổ tần số. Năng lượng tần số và tần số trung bình là đặc trưng quan trọng. Tham số Hjorth đo tính di động và phức tạp của tín hiệu sinh học. Sự kết hợp đặc trưng từ hai miền tăng cường khả năng phân loại.

III. Xây dựng mô hình phát hiện ngã bằng thuật toán học máy

Nghiên cứu áp dụng ba thuật toán học máy chính để phân loại hành động ngã. Random Forest (RF) sử dụng tập hợp nhiều cây quyết định để đưa ra dự đoán. Mô hình RF hoạt động dựa trên cơ chế voting đa số giữa các cây riêng lẻ. Artificial Neural Network (ANN) mô phỏng mạng nơ-ron thần kinh sinh học. ANN gồm ba tầng: Input Layer, Hidden Layer và Output Layer. Support Vector Machine (SVM) tìm siêu phẳng tối ưu phân tách các lớp dữ liệu. Quá trình tối ưu mô hình sử dụng thuật toán PSO để cải thiện hiệu suất. Kết quả thực nghiệm cho thấy RF đạt F-measure cao nhất với giá trị 0.875. Mô hình ANN cho kết quả F-measure đạt 0.653 tại cửa sổ 2 giây. SVM đạt F-measure 0.657 với cửa sổ 5 giây và chồng dữ liệu 50%. Quá trình đánh giá sử dụng ma trận nhầm lẫn và biểu đồ ROC-AUC.

3.1. Mô hình Random Forest và tối ưu bằng PSO

Random Forest xây dựng nhiều cây quyết định từ các mẫu bootstrap ngẫu nhiên. Mỗi cây sử dụng tập con ngẫu nhiên các biến để giảm tương quan. Cơ chế voting đa số tổng hợp kết quả từ tất cả cây quyết định. Thuật toán PSO (Particle Swarm Optimization) tối ưu siêu tham số của RF. PSO tìm kiếm tổ hợp tham số tối ưu trong không gian nghiệm. Quá trình tối ưu tập trung cải thiện độ chính xác phát hiện hành động ngã. Kết quả cho thấy RF sau tối ưu cho hiệu suất vượt trội hơn ANN và SVM.

3.2. Mô hình ANN và SVM cho bài toán phân loại ngã

ANN cấu trúc nhiều tầng nơ-ron xử lý phi tuyến dữ liệu phức tạp. Dữ liệu đầu vào chạy qua các node trong mạng và cho kết quả đầu ra. Mỗi kết quả được so sánh với dữ liệu huấn luyện để điều chỉnh trọng số. SVM tìm siêu phẳng có lề lớn nhất để phân tách các lớp hành động. Hàm kernel giúp SVM xử lý dữ liệu không tuyến tính hiệu quả. Cả hai mô hình đều nhạy cảm với kích thước cửa sổ dữ liệu. Thử nghiệm cho thấy ANN và SVM kém hơn RF trên bộ dữ liệu nghiên cứu.

IV. Kết luận và ứng dụng thực tế của hệ thống phát hiện ngã

Nghiên cứu đã xây dựng thành công hệ thống phát hiện ngã dựa trên cảm biến điện thoại. Mô hình Random Forest kết hợp tối ưu PSO cho kết quả tốt nhất. Hệ thống có khả năng phân biệt giữa hành động ngã và hoạt động bình thường. Độ chính xác phát hiện ngã được cải thiện đáng kể sau quá trình tối ưu. Ứng dụng thực tế bao gồm giám sát sức khỏe người cao tuổi tại nhà. Hệ thống có thể tích hợp vào ứng dụng di động chăm sóc sức khỏe. Giải pháp phù hợp triển khai trong bệnh viện và viện dưỡng lão. Chi phí triển khai thấp do tận dụng smartphone có sẵn. Hệ thống cảnh báo ngã tự động giúp rút ngắn thời gian cấp cứu. Nghiên cứu mở ra hướng phát triển mới cho công nghệ y tế thông minh tại Việt Nam. Công nghệ này có tiềm năng ứng dụng rộng rãi trong lĩnh vực IoT và smart home.

4.1. Đánh giá hiệu suất mô hình phân lớp

Hiệu suất mô hình được đánh giá bằng F-measure, precision và recall. Ma trận nhầm lẫn cho thấy chi tiết số mẫu phân loại đúng và sai. Biểu đồ ROC và độ đo AUC đánh giá khả năng phân biệt tổng thể. Random Forest đạt F-measure cao nhất 0.875 trên bộ dữ liệu thử nghiệm. ANN đạt 0.653 và SVM đạt 0.657 trong điều kiện tối ưu. Kết quả cho thấy RF phù hợp nhất cho bài toán phát hiện ngã. Độ chính xác phát hiện ngã luôn thấp hơn độ chính xác trung bình các hành động khác.

4.2. Tiềm năng ứng dụng trong chăm sóc sức khỏe

Hệ thống phát hiện ngã có ứng dụng rộng rãi trong chăm sóc sức khỏe người cao tuổi. Cảnh báo tự động gửi đến người thân hoặc dịch vụ cấp cứu khi phát hiện ngã. Ứng dụng di động giúp người dùng mang theo thiết bị mọi lúc mọi nơi. Hệ thống tích hợp vào smart home để giám sát liên tục 24/7. Viện dưỡng lão sử dụng để theo dõi tình trạng sức khỏe bệnh nhân. Chi phí triển khai thấp hơn nhiều so với thiết bị chuyên dụng. Giải pháp góp phần nâng cao chất lượng cuộc sống người cao tuổi.

Trích đoạn nội dung tài liệu

Chương 1: Trình bày các kiến thức nền tảng về học máy. Giới thiệu một số khái niệm về các hoạt động của con người và một số phương pháp cũng như nghiên cứu trước đây về chủ đề này. Từ đó đề xuất giải pháp phát thiện hành động ngã dựa trên dữ liệu cảm biến gia tốc trên điện thoại Chương 2: Tìm hiểu và phân tích quy trình chuẩn bị dữ liệu, tiền xử lý dữ liệu. Tìm hiểu các phương pháp phân lớp cũng như ưu nhược điểm của từng phương pháp.

Đồng thời nêu ra những phương pháp đánh giá phân lớp, lựa chọn các trọng số để có thể đánh giá chính xác nhất độ tốt của một phương pháp phân lớp. Chương 3: Đề xuất hệ thống phát hiện hành động ngã dựa trên dữ liệu cảm biến thu được từ điện thoại thông minh. Tiến hành thực nghiệm và đánh giá. Áp dụng thuật toán tham số để tối ưu mô hình phân lớp.

TỔNG QUAN VỀ NHẬN DẠNG HÀNH ĐỘNG 1.1 Giới thiệu Ngày nay, nhận dạng hành động và ứng dụng vào y tế, thể thao là một trong những vấn đề được quan tâm trên toàn thế giới. Rất nhiều công trình khoa học, ứng dụng liên quan đến vấn đề này được ứng dụng vào thực tế và đem lại những thành công nhất định. Bên cạnh đó hiện nay, có rất nhiều trường hợp xảy ra những sự cố như đột quỵ, ngã gây ra những hậu quả nghiêm trọng khi không được phát hiện và can thiệp y tế kịp thời. Điện thoại thông minh hiện nay đã gắn liền với hoạt động thường ngày của rất nhiều người.

Kèm theo đó là sự đa dạng về chủng loại, tính năng, hiệu năng và nhiều loại cảm biến khác nhau trên điện thoại thông minh. Cảm biến gia tốc được tích hợp trên hầu hết các loại điện thoại thông minh hiện nay. Loại cảm biến này có độ nhạy, độ chính xác cao trên từ những điện thoại thông minh tầm trung đến cấp cao. Do vậy, chương này chúng tôi sẽ làm rõ những khái niệm về hành động, hành vi cũng như xác định bài toán phân tích hành động của người đi bộ thông qua những dữ liệu thu thập được từ dữ liệu gia tốc trên điện thoại thông minh.2 Một số khái niệm cơ bản Hành động là việc làm cụ thể của con người nhằm mục đích nhất định [1].

Hành vi bất thường của con người là những phản ứng hoặc cách cư xử khác với bình thường bị tác động bởi các yếu tố khách quan hoặc chủ quan trong cuộc sống thường ngày [1]. Việc nhận biết được các loại hành động, hành vi của con người là cơ sở để đánh giá hành vi đó là bình thường hoặc bất thường. Cụ thể trong khuôn khổ luận văn này, chúng tôi phân làm hai loại: hành động bình thường và ngã. 4 Hành động bình thường: - Đứng: đứng với một vài cử động nhẹ nhàng - Đi bộ: đi bộ bình thường - Chạy bộ - Nhảy: nhảy liên tục - Lên cầu thang - Xuống cầu thang - Ngồi xuống - Ngồi trên ghế - Đứng lên: từ ngồi chuyển sang đứng - Bước vào xe ô tô - Ra khỏi xe ô tô - Nằm Các kiểu ngã: - Ngã về phía trước: ngã về phía trước khi đang đứng, sử dụng tay để chống ngã.

- Ngã đập đầu gối: Ngã về phía trước khi đang đứng, đầu gối tiếp xúc với đất đầu tiên. - Ngã từ ghế: ngã ngửa trong khi đang ngồi trên ghế. - Ngã nghiêng: ngã nghiêng về một bên trong khi đang đứng, gập chân.3 Các phương pháp nhận diện hành động Ngày nay khi khoa học công nghệ càng phát triển, nó đã được ứng dụng vào nhiều lĩnh vực trong cuộc sống. Nhận diện hành động cũng nhận được nhiều sự quan tâm và ứng dụng vào thực thế.

Có nhiều phương pháp cũng như cách thức nhận diện hành động được giới thiệu trên thế giới. Nhưng mỗi phương pháp lại có ưu, nhược điểm khác nhau cũng như sự phù hợp với môi trường, thực tiễn của từng khu vực. Nhận diện hành động qua hình ảnh được áp dụng ở nhiều nước tiên tiến trên thế giới. Một vài siêu thị lớn trên thế giới sử dụng phương pháp này để giám sát 5 cũng như đảm bảo an ninh, tránh thất thoát tài sản trong siêu thị.

Kèm theo đó siêu thị cũng có thể biết được khách hàng thường quan tâm đến những sản phẩm nào hơn. Một vài quốc gia trên thế giới có hệ thống camera phủ sóng trên các con đường, trung tâm thương mại và những nơi đông người để kiểm soát an ninh. Các cơ quan chức năng có thể nhanh chóng can thiệp nếu xảy ra sự cố. Nhận dạng hành động qua hình ảnh ưu điểm là dễ kiểm soát, tập trung.

Có thể chủ động được tính ổn định của thiết bị giám sát. Nhưng những hệ thống này thường rất phức tạp và có chi phí lắp đặt cũng như vận hành cao. Nhận diện hành động qua radar được sử dụng nhiều trong quân sự. Có độ chính xác cao nhưng đi kèm theo đó là lượng điện năng tiêu thụ lớn và các hệ thống rất phức tạp.

Nhận điện hành động sử dụng cảm biến của điện thoại thông minh đang là một đề tài được đặc biệt quan tâm hiện nay. Từ những điều đơn giản nhất như nắm bắt giấc ngủ, giờ sinh hoạt của từng người sử dụng đến phức tạp như phân tích hành động, tính toán trong hoạt động thể thao của người sử dụng. Với những ưu điểm có rất nhiều loại cảm biến được tích hợp trong điện thoại như cảm biến gia tốc, cảm biến tiệm cận, cảm biến nhịp tim, cảm biến ánh sáng.4 Một số nghiên cứu liên quan Thu thập dữ liệu và nhận diện hành động đang là một chủ để được nhiều nhóm nghiên cứu quan tâm. Có rất nhiều bài báo cũng như các công trình nghiên cứu được công bố về vấn đề này.

Yan Wang và cộng sự đã thực hiện một cuộc khảo sát về phương thức cảm biến có thể đeo được trên cổ tay tập trung vào việc ghi nhận hoạt động chăm sóc sức khỏe của con người [2]. Adnan Nadeem và cộng sự đã xây dựng tập dữ liệu sử dụng cảm biến đo lường quán tính và điện tâm đồ có thể đeo được để nhận dạng hoạt động, phát hiện ngã và hệ thống phát hiện bất thường về tim cơ bản [3]. 6 Henry Friday Nweke và cộng sự đã chỉ ra các khó khăn và thách thức khi sử dụng các thuật toán học sâu để nhận dạng hoạt động của con người bằng cách sử dụng mạng cảm biến di động và có thể đeo được [4]. Emma Stack và cộng sự có một công trình nghiên cứu xác định sự suy giảm khả năng thăng bằng ở những người bị bệnh Parkinson bằng cách sử dụng video và cảm biến có thể đeo được [5].

Nethra Ganesh Chigateria và cộng sự đã sử dụng gia tốc kế để đo hoạt động của người già [6]. Yinfeng Wu và cộng sự đề xuất hệ thống phát hiện trước khi va chạm dựa trên cảm biến có thể đeo được với bộ phân loại thứ bậc [7]. Charissa Ann Ronao và Sung-Bae Cho đề xuất các giải pháp nhận biết các hoạt động của con người từ các cảm biến của điện thoại thông minh bằng cách sử dụng các mô hình Markov ẩn liên tục phân cấp [8].5 Sử dụng dữ liệu cảm biến để phân tích hành động Điện thoại thông minh hiện nay được tích hợp rất nhiều loại cảm biến đi kèm. Những loại cảm biến phổ biến như cảm biến vân tay, biến tiệm cận, cảm biến nhiệt, cảm biến ánh sáng, cảm biến từ kế, cảm biến hình ảnh, cảm biến gia tốc, cảm biến con quay hồi chuyển.

Những loại cảm biến này thường được kết hợp với nhau để áp dụng vào bài toán phân tích hành vi. Nhưng có một điều bất cập là sự giới hạn của tốc độ xử lý cũng như nguồn pin của điện thoại. Khi kết hợp càng nhiều loại cảm biến cùng một lúc sẽ gây ra hiện tượng quá tải của điện thoại, kèm theo đó là tuổi thọ của pin điện thoại sẽ không được cao. Vì vậy trong khuôn khổ luận văn này, chúng tôi sử dụng cảm biến gia tốc của điện thoại thông minh.

Cảm biến gia tốc được dùng để ghi nhận lại sự chuyển đổi vị trí của điện thoại. Nó có ưu điểm là tốn ít tài nguyên của thiết bị, tránh làm ảnh hưởng đến hiệu năng của điện thoại cũng như trải nghiệm của người dùng. Cảm biến gia tốc cũng có độ nhạy rất cao và chính xác, được tích hợp trên hầu hết các điện thoại thông minh hiện nay. Khi sử dụng cảm biến gia tốc, dữ liệu thu được là một chuỗi dữ liệu liên tục theo thời gian.

Mỗi thời điểm, dữ liệu gia tốc thu được có hai thuộc tính là thời gian, 7 véc-tơ được xác định bởi ba trục tọa độ thiết bị X, Y, Z. Khi thiết bị được di chuyển hoặc có sự thay đổi về vị trí, véc-tơ tương ứng với ba trục X, Y, Z cũng sẽ thay đổi. Vì vậy để kết quả được chính xác, các thiết bị nên tránh bị đổi hướng, nên để cố định ở một vị trí như túi áo, hoặc túi quần. Nếu trong quá trình chuyển động, có sự thay đổi vị trí đặt điện thoại rất dễ gây ra những sự xáo trộn và nhầm lẫn giữa các trục X, Y, Z.

Dữ liệu càng chứa nhiều nhiễu thì độ chính xác càng giảm. Từ những luận điểm trên, trong khuôn khổ luận văn về phân tích hành động, hành vi thì sử dụng cảm biến gia tốc để thu thập dữ liệu là hoàn toàn phù hợp.6 Kết luận chương Trong chương này, chúng tôi đã tìm hiểu và nghiên cứu các khái niệm cơ bản và những phương pháp nhận diện hành động được sử dụng rộng rãi hiện nay. Chúng tôi cũng khảo sát và tìm hiểu các công trình nghiên cứu liên quan đến nhận dạng hành động. Để từ đó lựa chọn được hướng đi và phương pháp phù hợp cho bài toán cụ thể trong luận văn.

MỘT SỐ KỸ THUẬT KHAI PHÁ DỮ LIỆU CHUỖI THỜI GIAN 2.1 Giới thiệu Để có được kết quả phân lớp tốt phải sử dụng và kết hợp nhiều kỹ thuật như tiền xử lý dữ liệu, biến đổi dữ liệu, xây dựng bộ dữ liệu đặc trưng. Từ bộ dữ liệu đã được xử lý sẽ áp dụng vào mô hình để ra kết quả phân lớp. Trong chương này, chúng tôi sẽ giới thiệu về các kỹ thuật xử lý dữ liệu và các kỹ thuật, phương pháp phân lớp được sử dụng phổ biến. Kèm theo đó là các phương pháp đánh giá phân lớp cũng như mục đích của từng phương pháp.2 Đặc điểm và một số cách xử lý dữ liệu thời gian thực 2.1 Tiền xử lý dữ liệu Tiền xử lý dữ liệu là một bước quan trọng trong khai phá dữ liệu.