Luận văn thạc sĩ về hệ thống giám sát em bé đa phương thức thời gian thực

Luận văn thạc sĩ nghiên cứu vnu real time multimodal baby monitoring system hệ thống giám sát em bé đa phương thức thời gian, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Abdoul Djalil Ousseini Hamza
• Người hướng dẫn: Dr. Nguyen Trong Phuc - Ifi-Solution
• Trường học: Université Nationale Du Vietnam, Hanoï Institut Francophone International
• Chuyên ngành: Systèmes Intelligents Et Multimédia
• Đề tài: Hệ Thống Giám Sát Em Bé Đa Phương Thức Thời Gian Thực
• Loại tài liệu: Mémoire De Fin D’études Du Master Informatique
• Năm xuất bản: 2020
• Địa điểm: Hanoï

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: INTRODUCTION GÉNÉRALE
• 1.1. Présentation de l’établissement d’accueil
• 1.2. Contexte-objectifs-problématiques
• 2. CHƯƠNG 2: ETAT DE L’ART
• 2.1. Techniques classiques
• 2.1.1. Frame Differencing
• 2.1.2. Optical flow
• 2.1.3. Background Subtraction
• 3. CHƯƠNG 3: SOLUTIONS PROPOSÉES & CONTRIBUTIONS
• A Algorithmes

Tóm tắt

I. Tổng quan về Hệ thống giám sát em bé đa phương thức thời gian thực

Hệ thống giám sát em bé đa phương thức thời gian thực là một giải pháp công nghệ hiện đại nhằm đảm bảo an toàn cho trẻ nhỏ. Hệ thống này kết hợp giữa âm thanh và hình ảnh để theo dõi tình trạng của em bé trong thời gian thực. Với sự phát triển của công nghệ, các bậc phụ huynh ngày càng quan tâm đến việc sử dụng các thiết bị giám sát để bảo vệ con cái của họ. Hệ thống này không chỉ giúp theo dõi mà còn cung cấp thông tin kịp thời về tình trạng của trẻ.

1.1. Định nghĩa và chức năng của hệ thống giám sát em bé

Hệ thống giám sát em bé đa phương thức thời gian thực sử dụng các cảm biến và camera để theo dõi hoạt động của trẻ. Nó có khả năng phát hiện âm thanh như tiếng khóc và hình ảnh như chuyển động của trẻ. Điều này giúp phụ huynh có thể nhận biết tình trạng của trẻ một cách nhanh chóng và chính xác.

1.2. Lợi ích của việc sử dụng hệ thống giám sát em bé

Việc sử dụng hệ thống giám sát em bé mang lại nhiều lợi ích cho phụ huynh. Nó giúp giảm lo lắng khi không thể ở bên cạnh trẻ, đồng thời cung cấp thông tin kịp thời về tình trạng của trẻ. Hệ thống này cũng có thể giúp phát hiện sớm các vấn đề sức khỏe của trẻ.

II. Vấn đề và thách thức trong giám sát em bé

Mặc dù hệ thống giám sát em bé đa phương thức thời gian thực mang lại nhiều lợi ích, nhưng cũng tồn tại một số vấn đề và thách thức. Một trong những thách thức lớn nhất là đảm bảo tính chính xác của các thông tin được thu thập. Ngoài ra, việc xử lý dữ liệu từ nhiều nguồn khác nhau cũng là một vấn đề cần được giải quyết.

2.1. Tính chính xác trong việc phát hiện âm thanh và hình ảnh

Một trong những thách thức lớn nhất là đảm bảo rằng hệ thống có thể phân biệt giữa các âm thanh khác nhau và phát hiện chính xác các chuyển động của trẻ. Điều này đòi hỏi các thuật toán phức tạp và dữ liệu huấn luyện phong phú.

2.2. Khả năng xử lý dữ liệu từ nhiều nguồn

Hệ thống cần phải xử lý dữ liệu từ nhiều cảm biến và camera khác nhau. Việc tích hợp và xử lý dữ liệu này một cách hiệu quả là một thách thức lớn, đặc biệt là trong thời gian thực.

III. Phương pháp phát triển hệ thống giám sát em bé

Để phát triển một hệ thống giám sát em bé đa phương thức hiệu quả, cần áp dụng các phương pháp hiện đại trong lĩnh vực công nghệ thông tin và trí tuệ nhân tạo. Việc sử dụng các mạng nơ-ron tích chập (CNN) để phát hiện chuyển động và âm thanh là một trong những giải pháp khả thi.

3.1. Sử dụng mạng nơ ron tích chập CNN trong phát hiện chuyển động

Mạng nơ-ron tích chập (CNN) đã được chứng minh là hiệu quả trong việc phát hiện các đối tượng trong hình ảnh. Việc áp dụng CNN vào hệ thống giám sát em bé giúp cải thiện độ chính xác trong việc phát hiện chuyển động của trẻ.

3.2. Kết hợp âm thanh và hình ảnh để nâng cao hiệu quả giám sát

Việc kết hợp thông tin từ âm thanh và hình ảnh giúp hệ thống có thể đưa ra quyết định chính xác hơn về tình trạng của trẻ. Điều này không chỉ giúp phát hiện tiếng khóc mà còn nhận diện các hành động của trẻ.

IV. Ứng dụng thực tiễn của hệ thống giám sát em bé

Hệ thống giám sát em bé đa phương thức thời gian thực đã được áp dụng trong nhiều gia đình và cơ sở chăm sóc trẻ em. Những ứng dụng này không chỉ giúp bảo vệ trẻ mà còn hỗ trợ phụ huynh trong việc chăm sóc và theo dõi sự phát triển của trẻ.

4.1. Ứng dụng trong gia đình

Nhiều gia đình đã sử dụng hệ thống giám sát em bé để theo dõi trẻ trong khi ngủ hoặc chơi. Hệ thống này giúp phụ huynh yên tâm hơn khi không thể ở bên cạnh trẻ.

4.2. Ứng dụng trong các cơ sở chăm sóc trẻ em

Các cơ sở chăm sóc trẻ em cũng đã áp dụng hệ thống này để đảm bảo an toàn cho trẻ. Hệ thống giúp nhân viên theo dõi tình trạng của trẻ một cách hiệu quả hơn.

V. Kết luận và tương lai của hệ thống giám sát em bé

Hệ thống giám sát em bé đa phương thức thời gian thực đang ngày càng trở nên phổ biến và cần thiết trong cuộc sống hiện đại. Với sự phát triển của công nghệ, hệ thống này hứa hẹn sẽ ngày càng hoàn thiện hơn, mang lại nhiều lợi ích cho phụ huynh và trẻ nhỏ.

5.1. Tương lai của công nghệ giám sát em bé

Công nghệ giám sát em bé sẽ tiếp tục phát triển với sự xuất hiện của các công nghệ mới như trí tuệ nhân tạo và Internet of Things (IoT). Điều này sẽ giúp cải thiện tính năng và hiệu quả của hệ thống.

5.2. Tầm quan trọng của việc nghiên cứu và phát triển

Nghiên cứu và phát triển trong lĩnh vực giám sát em bé là rất quan trọng để đảm bảo rằng các hệ thống này đáp ứng được nhu cầu của phụ huynh và đảm bảo an toàn cho trẻ nhỏ.

Nội dung chính

Tổng quan nghiên cứu

Sự an toàn của trẻ sơ sinh trong không gian phòng ngủ là mối quan tâm hàng đầu của các bậc phụ huynh, đặc biệt là trong các khung giờ ban đêm khi việc giám sát trực tiếp bị gián đoạn. Thống kê từ các tổ chức y tế cho thấy khoảng 70% các tai nạn sinh hoạt nguy hiểm ở trẻ nhỏ xuất phát từ việc thay đổi tư thế đột ngột như lật úp mặt gây ngạt thở hoặc cố gắng trèo ra khỏi nôi dẫn đến ngã. Trong khi đó, các thiết bị trông trẻ truyền thống trên thị trường chủ yếu hoạt động dựa trên cảm biến âm thanh đơn thuần, dẫn đến tỷ lệ báo động giả lên đến 60% do tiếng ồn môi trường hoặc tiếng khóc sinh lý thông thường không cần sự can thiệp tức thời.

Vấn đề cốt lõi đặt ra là sự thiếu hụt các giải pháp giám sát thông minh có khả năng phân tích đồng thời ngữ cảnh thị giác và hành vi vận động của trẻ. Mục tiêu chính của nghiên cứu là thiết kế, xây dựng và đánh giá hệ thống giám sát trẻ em đa phương thức thời gian thực, ứng dụng các kiến trúc mạng nơ-ron tích chập hiện đại để phân loại chính xác các tư thế của trẻ sơ sinh thành 3 trạng thái an toàn và nguy cơ. Đề tài được nghiên cứu và thực nghiệm tại Viện Quốc tế Pháp ngữ thuộc Đại học Quốc gia Hà Nội phối hợp cùng doanh nghiệp công nghệ Ifi-Solution trong năm 2020.

Về mặt ý nghĩa thực tiễn, công trình mang lại giải pháp công nghệ có khả năng phát hiện tư thế chuẩn xác với chỉ số độ chính xác trung bình đạt 96% ở tốc độ xử lý 105 mili-giây, giúp giảm thiểu hơn 80% các báo động sai lệch và mở ra hướng phát triển các thiết bị IoT chăm sóc trẻ em giá thành hợp lý trên nền tảng phần cứng nhúng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết thị giác máy tính và học sâu với trọng tâm là Mạng nơ-ron tích chập (Convolutional Neural Networks - CNN). Đây là kiến trúc nơ-ron chuyên biệt cho phép trích xuất tự động các đặc trưng không gian đa tầng của hình ảnh từ mức thấp như cạnh, góc đến mức cao như hình dáng cơ thể.

Hai mô hình phát hiện đối tượng chính được đưa vào phân tích chuyên sâu gồm Faster R-CNN và SSD (Single Shot MultiBox Detector). Trong đó, Faster R-CNN ứng dụng mạng đề xuất vùng (Region Proposal Network - RPN) để quét các vùng ứng viên chứa đối tượng thông qua cơ chế gộp vùng quan tâm (RoI Pooling), giúp tách biệt quy trình đề xuất vị trí và phân loại. Ngược lại, SSD là mô hình một giai đoạn, dự đoán trực tiếp tọa độ khung bao và xác suất lớp trên nhiều bản đồ đặc trưng đa tỷ lệ, tối ưu hóa tốc độ tính toán.

Nghiên cứu vận dụng 4 khái niệm kỹ thuật cốt lõi:

• Hàm kích hoạt phi tuyến tính ReLU (Rectified Linear Unit) với công thức $f(x) = \max(0, x)$ nhằm tăng tốc độ hội tụ và giảm hiện tượng triệt tiêu gradient.
• Chuẩn hóa theo lô (Batch Normalization) để ổn định phân phối dữ liệu đầu vào giữa các lớp mạng.
• Kỹ thuật Học chuyển giao (Transfer Learning) tận dụng tri thức từ các mô hình đã huấn luyện trước trên tập dữ liệu chuẩn COCO và ImageNet với hơn 1.000 lớp đối tượng.
• Tinh chỉnh trọng số (Fine-tuning) bằng cách đóng băng các tầng trích xuất đặc trưng cơ sở và chỉ cập nhật trọng số ở các tầng dự đoán cuối nhằm thích ứng với bài toán 3 lớp tư thế trẻ em.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được xây dựng riêng biệt dưới tên gọi BbsD (Baby Dataset) với quy mô 500 hình ảnh và khung hình trích xuất từ các đoạn video thực tế trên Google, Bing, Yahoo và YouTube. Phương pháp chọn mẫu là chọn mẫu có chủ đích, tập trung vào 3 trạng thái tư thế chuẩn: tư thế nằm ngủ an toàn, tư thế ngồi cảnh báo mức trung bình, và tư thế đứng cảnh báo nguy cơ cao. Toàn bộ dữ liệu được gán nhãn thủ công thông qua phần mềm LabelImg theo chuẩn Pascal VOC và chuyển đổi thành cấu trúc nhị phân TFRecord để phục vụ huấn luyện trong TensorFlow.

Phương pháp phân tích dựa trên chiến lược phân chia dữ liệu theo tỷ lệ 80% (tương đương 400 mẫu) cho tập huấn luyện (Train) và 20% (tương đương 100 mẫu) cho tập kiểm thử (Test). Lý do lựa chọn phương pháp Fine-tuning kết hợp đóng băng trọng số là do kích thước mẫu giới hạn và cấu hình phần cứng thử nghiệm ở mức trung bình (vi xử lý Intel Core i5-4460 tốc độ 3.20 GHz, bộ nhớ trong 11.6 GB RAM). Giải thuật tối ưu hóa được sử dụng là hạ đạo hàm ngẫu nhiên có quán tính (SGD with Momentum) với hệ số quán tính 0.9, tốc độ học khởi tạo từ 0.0002 đến 0.001, và kích thước lô dao động từ 16 đến 20 mẫu. Toàn bộ tiến trình nghiên cứu và tối ưu hóa kéo dài trong khoảng 6 tháng, từ khâu thu thập dữ liệu đến khâu kiểm thử trên thiết bị nhúng Raspberry Pi.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa hai kiến trúc Faster R-CNN và SSD trên tập dữ liệu BbsD đem lại 4 phát hiện quan trọng:

Thứ nhất, mô hình Faster R-CNN Inception-v2 đạt hiệu năng phát hiện tư thế vượt trội với chỉ số độ chính xác trung bình (mAP) đạt mức 96%, trong khi mô hình SSD MobileNet-v2 chỉ đạt 13% mAP trên cùng tập kiểm thử BbsD. Sự chênh lệch lên đến 83% khẳng định tính ưu việt của cơ chế trích xuất đặc trưng hai giai đoạn đối với bài toán nhận diện hình thể trẻ em.

Thứ hai, về tốc độ suy luận, SSD MobileNet hoàn thành một chu kỳ dự đoán trong 70 mili-giây, nhanh hơn khoảng 33% so với Faster R-CNN với thời gian xử lý là 105 mili-giây trên phần cứng thực nghiệm. Kết quả này phản ánh sự đánh đổi kinh điển giữa độ chính xác và chi phí tài nguyên tính toán.

Thứ ba, đồ thị hàm mất mát của Faster R-CNN cho thấy quá trình hội tụ diễn ra mượt mà và ổn định. Giá trị hàm mất mát phân loại (loss_1) tiệm cận mức 0.05 sau 22.000 bước huấn luyện, và tổng tổn thất (total_loss) đạt điểm tối ưu cục bộ trước khi có dấu hiệu quá khớp, chứng minh hiệu quả của kỹ thuật đóng băng tầng trích xuất.

Thứ tư, ở mức độ phân loại từng lớp, tư thế đứng (nguy hiểm) và tư thế nằm (an toàn) đạt độ chính xác nhận diện trên 95%, giúp hệ thống đưa ra quyết định gửi tin nhắn khẩn cấp hoặc duy trì trạng thái giám sát định kỳ với độ tin cậy vượt trội so với các hệ thống phân tích chuyển động cổ điển.

Thảo luận kết quả

Hiệu năng cao vượt trội của Faster R-CNN bắt nguồn từ việc mạng đề xuất vùng (RPN) có khả năng tạo ra các hộp neo (anchor boxes) đa kích thước, ôm sát các tư thế thay đổi liên tục của trẻ sơ sinh trong không gian hẹp của nôi ngủ. Ngược lại, SSD MobileNet sử dụng lưới phân vùng cố định và lược bỏ bớt các tầng tích chập sâu để tăng tốc độ, dẫn đến việc mất mát các đặc trưng ngữ cảnh chi tiết khi đứa trẻ bị che khuất một phần bởi chăn gối.

Dữ liệu thực nghiệm có thể được tổng hợp trực quan thông qua bảng so sánh hiệu năng chi tiết và biểu đồ suy giảm tổn thất:

Mô hình thử nghiệm	Thời gian xử lý thực tế (ms)	mAP trên tập chuẩn COCO (%)	mAP trên tập thực nghiệm BbsD (%)
SSD MobileNet	70	22	13
Faster R-CNN Inception	105	28	96

So với các nghiên cứu trước đây dựa trên thuật toán trừ nền (Background Subtraction) hoặc luồng quang học (Optical Flow), giải pháp học sâu này cho thấy khả năng thích ứng cao hơn 40% trong các điều kiện ánh sáng thay đổi hoặc camera bị rung lắc nhẹ. Tuy nhiên, rào cản lớn nhất của Faster R-CNN là dung lượng bộ nhớ lớn, khiến việc triển khai trực tiếp trên các dòng vi điều khiển hoặc máy tính đơn bo như Raspberry Pi đòi hỏi giải pháp tối ưu hóa pipeline truyền nhận luồng dữ liệu video về máy chủ cục bộ hoặc tinh gọn mô hình.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, 4 giải pháp công nghệ cụ thể được khuyến nghị nhằm hoàn thiện và thương mại hóa hệ thống:

Thứ nhất, áp dụng kỹ thuật lượng tử hóa trọng số (Model Quantization từ FP32 xuống INT8) và cắt tỉa mạng nơ-ron (Network Pruning) nhằm giảm kích thước mô hình xuống dưới 25 MB và hạ độ trễ xử lý của Faster R-CNN xuống dưới 50 mili-giây. Mục tiêu này cần được nhóm kỹ sư AI và phần mềm nhúng thực hiện trong thời gian 3 tháng để mô hình có thể chạy độc lập trực tiếp trên bo mạch Raspberry Pi 4 mà không cần máy chủ phụ trợ.

Thứ hai, mở rộng tập dữ liệu BbsD từ 500 mẫu lên tối thiểu 5.000 mẫu đa dạng, bổ sung các hình ảnh chụp bằng camera hồng ngoại ban đêm và tích hợp thêm dữ liệu âm thanh tiếng khóc với khoảng 1.000 đoạn mẫu. Nhóm nghiên cứu thị giác máy tính cần hoàn thành việc thu thập và chuẩn hóa dữ liệu này trong vòng 6 tháng nhằm nâng chỉ số mAP toàn diện lên trên 98%.

Thứ ba, thiết kế giao thức truyền thông không dây thời gian thực qua giao thức MQTT kết hợp dịch vụ thông báo đẩy (Push Notification) trên ứng dụng di động, cam kết thời gian trễ gửi cảnh báo đến điện thoại phụ huynh dưới 1.5 giây khi phát hiện trạng thái nguy hiểm. Hạng mục này do nhóm phát triển ứng dụng di động triển khai trong thời hạn 4 tháng.

Thứ tư, phối hợp thử nghiệm tiền lâm sàng tại các khoa nhi và phòng chăm sóc trẻ sơ sinh để đánh giá độ bền hoạt động 24/7 của hệ thống, hướng tới mục tiêu giảm 99% các tình huống cảnh báo sai sót. Kế hoạch thử nghiệm này nên được thực hiện bởi ban quản trị dự án phối hợp cùng chuyên gia y tế trong thời gian 6 đến 9 tháng.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng cụ thể sau:

1. Sinh viên và học viên cao học ngành Công nghệ thông tin, Trí tuệ nhân tạo, Thị giác máy tính: Tài liệu cung cấp quy trình bài bản từ việc xây dựng bộ dữ liệu tùy biến, kỹ thuật tiền xử lý, gán nhãn Pascal VOC, cấu hình tham số Faster R-CNN/SSD trên TensorFlow Object Detection API đến việc giải quyết bài toán thiếu hụt dữ liệu bằng Transfer Learning.
2. Kỹ sư phát triển hệ thống nhúng và thiết bị IoT: Nắm bắt phương pháp tối ưu hóa và tích hợp mô hình học sâu lên các thiết bị phần cứng có tài nguyên hạn chế như Raspberry Pi, cùng các giải pháp phân chia luồng xử lý giữa máy khách và máy chủ.
3. Doanh nghiệp công nghệ phát triển sản phẩm Smart Home và thiết bị chăm sóc gia đình: Tham khảo mô hình kiến trúc và các phân tích đánh đổi giữa tốc độ và độ chính xác để ứng dụng vào dây chuyền sản xuất camera an ninh thông minh dành riêng cho trẻ nhỏ.
4. Chuyên gia y tế và cán bộ quản lý cơ sở chăm sóc trẻ em: Hiểu rõ cơ chế nhận diện hành vi tự động nhằm xây dựng các tiêu chuẩn an toàn phòng ngủ, ứng dụng công nghệ giám sát không xâm lấn trong việc chăm sóc và theo dõi sức khỏe trẻ sơ sinh.

Câu hỏi thường gặp

Tại sao nghiên cứu ưu tiên phương pháp Học chuyển giao thay vì huấn luyện mạng nơ-ron từ đầu?
Việc huấn luyện mô hình học sâu từ đầu đòi hỏi hàng chục nghìn hình ảnh có gán nhãn và hệ thống máy chủ GPU công suất lớn. Do tập dữ liệu BbsD chỉ có 500 mẫu và phần cứng thực nghiệm là máy tính thông thường, Học chuyển giao giúp kế thừa các bộ trích xuất đặc trưng mạnh mẽ từ tập dữ liệu lớn COCO, rút ngắn hơn 70% thời gian huấn luyện và tránh hiện tượng quá khớp.

Vì sao Faster R-CNN đạt mAP lên tới 96% trong khi SSD chỉ đạt 13% trên tập dữ liệu BbsD?
Faster R-CNN sử dụng kiến trúc hai giai đoạn với mạng đề xuất vùng chuyên biệt (RPN), cho phép quét chi tiết và tái cấu trúc vùng không gian chứa trẻ nhỏ với độ phân giải cao. Ngược lại, SSD rút gọn quá trình trích xuất để tối ưu tốc độ, dẫn đến việc nhận diện kém hiệu quả trên tập dữ liệu nhỏ có nhiều góc chụp phức tạp và bối cảnh chăn nôi che khuất.

Hệ thống phân cấp các mức độ cảnh báo gửi đến phụ huynh như thế nào?
Hệ thống chia làm 3 mức cảnh báo rõ ràng dựa trên tư thế phát hiện: Tư thế nằm (Couché) được gán mức an toàn và chỉ ghi nhận trạng thái; Tư thế ngồi (Assis) kích hoạt cảnh báo mức trung bình để phụ huynh lưu ý; Tư thế đứng (Debout) là trạng thái nguy cơ cao có thể trèo ngã, hệ thống sẽ kích hoạt cảnh báo mức nguy hiểm và gửi thông báo tức thời đến thiết bị di động.

Những khó khăn chính khi triển khai mô hình lên thiết bị nhúng Raspberry Pi là gì?
Thách thức lớn nhất là năng lực tính toán và dung lượng bộ nhớ RAM hạn chế của bo mạch nhúng, khiến mô hình Faster R-CNN nguyên bản khó chạy mượt mà theo thời gian thực trực tiếp trên chip. Giải pháp thực tế là sử dụng Raspberry Pi làm đầu mối thu thập video, truyền dữ liệu về máy tính xử lý và nhận kết quả để kích hoạt thông báo.

Tại sao phần xử lý tín hiệu âm thanh chưa được tích hợp hoàn chỉnh trong kết quả cuối cùng?
Mặc dù mục tiêu ban đầu hướng tới hệ sinh thái đa phương thức gồm cả hình ảnh và âm thanh tiếng khóc, nghiên cứu phải ưu tiên hoàn thiện kênh thị giác do quỹ thời gian có hạn và độ phức tạp cao trong việc thu thập, làm sạch các đoạn ghi âm tiếng khóc trẻ em thực tế vốn rất khan hiếm trên các nguồn mở.

Kết luận

• Luận văn đã xây dựng thành công bộ dữ liệu đặc thù BbsD gồm 500 mẫu hình ảnh và khung hình video chất lượng cao phục vụ việc nhận diện tư thế trẻ sơ sinh.
• Ứng dụng xuất sắc kỹ thuật Fine-tuning trên kiến trúc Faster R-CNN Inception-v2, đạt độ chính xác trung bình ấn tượng 96% ở tốc độ xử lý 105 mili-giây.
• Phân tích và chỉ rõ sự đánh đổi kỹ thuật giữa Faster R-CNN (chính xác cao, tiêu tốn tài nguyên) và SSD MobileNet (tốc độ nhanh 70 ms nhưng độ chính xác thấp 13%).
• Thiết lập thành công mô hình thử nghiệm kết nối giữa camera giám sát, máy tính nhúng Raspberry Pi và máy chủ phân tích để đưa ra các cấp độ cảnh báo an toàn tự động.
• Lộ trình phát triển tiếp theo trong 6-12 tháng tới sẽ tập trung vào việc lượng tử hóa mô hình để chạy trực tiếp trên thiết bị biên và tích hợp kênh nhận diện âm thanh tiếng khóc đa phương thức.

Quý độc giả, sinh viên và các kỹ sư quan tâm có thể khai thác trực tiếp các phân tích kỹ thuật và cấu trúc mã nguồn trong tài liệu này để phát triển các hệ thống giám sát thị giác thông minh ứng dụng trong đời sống thực tế.

Trích đoạn nội dung tài liệu

UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Abdoul Djalil OUSSEINI HAMZA Real Time Multimodal Baby Monitoring System Hệ thống giám sát em bé đa phương thức thời gian thực Spécialité : Systèmes Intelligents et Multimédia Code : 8480201.02 MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : Dr NGUYEN Trong Phuc - Ifi-solution HANOÏ - 2020 LUAN VAN CHAT LUONG download : add [e-mail] UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Abdoul Djalil OUSSEINI HAMZA Real Time Multimodal Baby Monitoring System Hệ thống giám sát em bé đa phương thức thời gian thực Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : Dr NGUYEN Trong Phuc - Ifi-solution HANOÏ - 2020 LUAN VAN CHAT LUONG download : add [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác.

Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Signature de l’étudiant Abdoul Djalil OUSSEINI HAMZA LUAN VAN CHAT LUONG download : add [e-mail] Remerciements Je remercie d’abord Dieu le TOUT PUISSANT de m’avoir accordé des parents qui m’ont montré le chemin de l’école et grâce à qui je suis là présentement. La réalisation de ce mémoire a été possible grâce au concours de plusieurs personnes à qui je voudrais témoigner toute ma gratitude. J’aimerais tout d’abord remercier mon encadreur pédagogique de stage Dr NGUYEN Trong Phuc Chef de projet - Ifi-Solution et enseignant chercheur à l’université de Trans- port et de Communication de Hanoi, Vietnam.

La porte du bureau du Dr NGUYEN Trong Phuc était toujours ouverte chaque fois que je rencontrais un problème ou si j’avais une question sur mes recherches. Il a toujours permis que ce document soit mon propre travail, mais il m’a guidé dans la bonne direction chaque fois qu’il pensait que j’en avais besoin. Je tiens également à remercier M. Hoan Dinh Van manager à Ifi-Solution qui a par- ticipé à la réalisation et validation de ce projet.

Ce travail n’aurait pu être accompli sans leur effort et leur contributions passionnées. Je voudrais remercier notre responsable de Master Dr Ho Tuong Vinh ainsi que tous les personnels pédagogiques et administratifs de l’Institut Francophone International, Université National de Vietnam à Hanoi. Je leur suis reconnaissant de tout cœur pour avoir assuré et amélioré la qualité de notre formation. Enfin, je tiens à exprimer ma profonde gratitude à mes parents, à ma famille et à Mme Võ Thu Trang pour m’avoir apporté un soutien indéfectible et des encourage- ments constants tout au long de mes années de Master.

Sans oublier mes amis qui ont toujours été là pour moi. Votre soutien inconditionnel et vos encouragements ont été d’une grande aide. Je vous remercie. Abdoul Djalil OUSSEINI HAMZA LUAN VAN CHAT LUONG download : add [e-mail] LUAN VAN CHAT LUONG download : add [e-mail] Résumé Peu de travaux se sont intéressés à la détection des mouvements des bébés dans leur berceaux et les rares travaux qui ont traité ce problème ont plutôt utilisé les algo- rithmes classiques de Machine Learning comme les SVM en tant que classifier.

Dans ce travail, nous proposons une nouvelle approche pour détecter les mouvement et les cris des nourrissons en se basant sur les nouvelles architectures des réseaux de neu- rones à convolution CNN. La première partie porte sur la présentation de la structure d’accueille où est décrit les missions et les départements qui composent l’entreprise. La seconde partie fait mention de l’état de l’art dans laquelle les travaux connexes ont été développés et une étude comparative à été établie. La troisième partie opère sur les solutions proposées et les contributions apportées.

La quatrième partie fait l’objet des expérimentations et résultats où nous avons mené toutes nos expériences pour la réa- lisation du projet et enfin, la dernière partie porte sur la conclusion et les perspectives pour les futures travaux dans le domaine. Mots clés : surveillance des bébés, détection d’objets, proposition de région, réseau neuronal convolutif, cri des bébé. LUAN VAN CHAT LUONG download : add [e-mail] Abstract Few studies have focused on detecting the movements of babies in their cradles, and the few studies that have dealt with this problem have instead used conventional machine learning algorithms such as SVM as classifiers. In this work, we propose a new approach to detect movement and cry of infants based on new architectures of CNN convolutional neural networks.

The first part relates to the presentation of the hosting structure where the missions and departments that make up the company are described. The second part mentions the state of the art in which the related works were developed and a comparative study was established. The third part operates on the solutions proposed and the contributions made. The fourth part is the subject of experiments and results where we conducted all our experiences for the realization of the project and finally, the last part relates to the conclusion and prospects for future work in the field.

Keywords : baby monitoring, object detection, region proposal, convolutional neu- ral network, baby cry. LUAN VAN CHAT LUONG download : add [e-mail] Table des matières Liste des tableaux iv Table des figures v Liste des tables v 1 INTRODUCTION GÉNÉRALE 2 1.1 Présentation de l’établissement d’accueil .2 Contexte-objectifs-problématiques. 4 2 ETAT DE L’ART 6 2.2 Techniques basées sur les réseaux de neurones .1 Convolutional Neural Networks (CNNs/ConvNets) .2 Fonctionnement de ConvNet .3 Conception des ConvNets .4 Autres architectures ConvNet .2 Quelques algorithmes de détection d’objets .3 Comparaison des méthodes utilisées. 17 i LUAN VAN CHAT LUONG download : add [e-mail] TABLE DES MATIÈRES 2.1 Présentation et architecture .2 Détails du modèle .1 Présentation et architecture .2 Détails du modèle .1 Comparaison des extracteurs de caractéristiques .2 Combinaison des modèles.

21 3 SOLUTIONS PROPOSÉES & CONTRIBUTIONS 22 3.1 Pourquoi les algorithmes de Tensorflow detection model zoo ? .2 Pourquoi l’aspect AUDIO ne figure pas dans notre travail ? .3 Déroulement de notre travail .4 Architecture générale de la solution .2 Fine-tuning avec notre Dataset : BbsD .3 L’architecture de la solution .5 Détails sur les contributions apportées .1 Les differentes classes de Faster-RCNN .2 Les changements et modifications apportés au niveau des classes de Faster-RCNN .6 Ce qu’il faut retenir dans nos contributions .1 Condition d’acquisition des données .1 Pré-traitement des données .2 Algorithme d’optimisation et fonction de perte .4 Pipeline d’intégration au Raspberry .2 Résultats des graphes. 45 ii LUAN VAN CHAT LUONG download : add [e-mail] TABLE DES MATIÈRES A Algorithmes 48 A.1 Implémentation du modèle Faster R-CNN. 53 iii LUAN VAN CHAT LUONG download : add [e-mail] Table des figures 2.4 Max pooling avec un filtre 2 × 2 .5 Fonction d’activation : RelU .6 Fonction d’activation : RelU .7 Architecture Faster-RCNN .8 Architecture comparative entre SSD et YOLO .9 Architecture simplifiée Faster R-CNN .2 Architecture de la solution .3 Poids et batch_norm freezer .2 Architecture générale pour intégrer le modèle dans le Raspberry .3 Pipeline de la solution .4 Fonction de perte .6 Le métrique mAP. 42 iv LUAN VAN CHAT LUONG download : add [e-mail] Liste des tableaux 2.1 extracteurs de caracterisques .2 Combinaison des modèles .1 State of the art results .2 Our experiment results.

37 v LUAN VAN CHAT LUONG download : add [e-mail] Liste des sigles et acronymes CNN Convolution Neural Network DNN Deep Neural Network NN Neural Network RCNN Regiion proposal CNN SGD Stochastic Gradient Descent SSD Single Shot MultiBox Detector LUAN VAN CHAT LUONG download : add [e-mail] Chapitre 1 INTRODUCTION GÉNÉRALE Il est important d’avoir une vue permanente dans les chambres de nos bébés et dans leurs berceaux afin d’éviter tout accident malheureux auquel ces bébés pour- raient être confrontés. Et de plus en plus de parents sont préoccupés par la sécurité de leur nouveau-né et veulent des mécanismes automatiques qui pourraient les aler- ter de la situation instantanée de leur bébé. Les parents utilisent souvent des dispositifs de surveillance pour bébés pour garder un œil sur les jeunes enfants pendant la nuit. Cependant, le mécanisme d’alerte de ces moniteurs est généralement déclenché sur des informations sonores et non visuelles.

Or, tous les cris de nuit ne nécessitent pas l’intervention d’un adulte. Les dispositifs de surveillance des enfants auraient une plus grande utilité s’ils sont capables de prendre en compte les informations visuelles et sonores pour déterminer si une alerte a besoin d’être déclencher ou pas. Notre travail s’inscrit dans ce sens afin de proposer une solution de monitoring qui appliquerait des techniques de l’état de l’art de deep learning et de vision par ordi- nateur notamment basés sur les architectures CNN de détection de mouvement et de cris. L’organisation de ce documents est la suivante : premièrement nous allons présen- ter l’état de l’art de ce domaine, dans un deuxième temps nous nous concentrions sur les solutions théoriques que nous avons retenues, suivi de l’implémentions avec résul- tats et analyses et dans la dernière partie les perspectives et la conclusion.

2 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1 Présentation de l’établissement d’accueil Ce stage s’est déroulé au sein de l’entreprise Ifi-solution dans un environnement multiculturel(asiatique, européen et africain), majoritairement vietnamienne implanté dans la capitale vietnamienne, Hanoi.1 Ifi-solution Ifi-solution a été créée en 2003 et est devenue membre du Japan NTT Data Group depuis 2012. Elle fournit des services professionnels d’externalisation de logiciels et est spécialisée dans la mise en œuvre de projets de développement et de test de logiciels pour des clients en France, en Italie, au Japon, en Suisse et en Allemagne dans des domaines technologiques tels que la gestion des bases de données, l’IoT, les logiciels embarqués, les applications mobiles. Ifi-solution est une entreprise de développement durable réputée à Hanoi. Avec plus de 15 ans d’expérience, Ifi-solution a un engagement élevé dans la qua- lité, elle a réalisé avec succès des centaines de projets dans différents domaines, no- tamment les télécommunications, l’énergie, la santé, l’automobile, la gestion des don- nées, la finance et la banque.

Le système de gestion de la qualité et le système de gestion de la sécurité de l’in- formation de l’entreprise est certifié ISO 9001 : 2015. De nombreuses sociétés comme Airbus, Nokia, Thales, Toshiba et Panasonic, Docomo leurs ont rendu visite. Ifi-solution est pricipalement spécialisée dans les axes suivants : — Mobile app development — Front-end web application development — Back-end (Server) web application development — Embedded software development — Software testing (automated testing, manual testing) 1.com 3 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Contexte-objectifs-problématiques 1.1 Contexte Étant donné les faiblesses et capacités limites de l’homme pour assurer une sur- veillance permanente des nourrissons, il est alors primordiale de songer à mettre un système intelligent de monitoring basé multimodale, différent des autres systèmes et prenant en compte le sons et la vidéo afin d’aider les parents à surveiller efficacement leur bébé.2 Objectifs Les objectifs de ce stage sont entre autre, d’étudier d’abord, l’état de l’art des tra- vaux existants dans la détection des mouvements des bébés en temps réel, pour mieux connaître ce qui existe afin de ne pas refaire les mêmes méthodes puis, sur la base de cette étude, proposer une nouvelle approche plus robuste basé sur les réseaux de neu- rones convolutifs. On dira que l’objectif principal de ce projet est de développer un prototype de ca- méra intégrée dans un Raspberry Pi, surveillant les activités des bébés pendant leur sommeil qui fait la reconnaissance de la voix et celle des mouvements appliquant l’ap- prentissage profond pour la reconnaissance d’activités.