Luận văn thạc sĩ real time multimodal baby monitoring system hệ thống giám sát em bé đa phương thức thời gian thực

Luận văn thạc sĩ về hệ thống giám sát em bé đa phương thức thời gian thực ứng dụng công nghệ hiện đại nâng cao an toàn và chăm sóc trẻ hiệu quả

• Tác giả: Abdoul Djalil Ousseini Hamza
• Người hướng dẫn: Dr Nguyen Trong Phuc
• Trường học: Université Nationale du Vietnam
• Chuyên ngành: Systèmes Intelligents et Multimédia
• Đề tài: Hệ thống giám sát em bé đa phương thức thời gian thực
• Loại tài liệu: mémoire de fin d’études
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHAPITRE 1: INTRODUCTION GÉNÉRALE
• 1.1. Présentation de l’établissement d’accueil
• 1.2. Contexte-objectifs-problématiques
• 1.2.1. Contexte
• 1.2.2. Objectifs
• 1.2.3. Problématiques
• 2. CHAPITRE 2: ETAT DE L’ART
• 2.1. Techniques classiques
• 2.1.1. Frame Differencing
• 2.1.2. Optical flow
• 2.1.3. Background Subtraction
• 2.2. Techniques basées sur les réseaux de neurones
• 3. CHAPITRE 3: SOLUTIONS PROPOSÉES & CONTRIBUTIONS
• 3.1. Pourquoi les algorithmes de Tensorflow detection model zoo ?
• 3.2. Pourquoi l’aspect AUDIO ne figure pas dans notre travail ?
• 3.3. Déroulement de notre travail
• 3.4. Architecture générale de la solution
• 3.4.1. Fine-tuning avec notre Dataset : BbsD
• 3.4.2. L’architecture de la solution
• 3.5. Détails sur les contributions apportées
• 3.5.1. Les differentes classes de Faster-RCNN
• 3.5.2. Les changements et modifications apportés au niveau des classes de Faster-RCNN
• 3.6. Ce qu’il faut retenir dans nos contributions
• 3.6.1. Condition d’acquisition des données
• 3.6.2. Pré-traitement des données
• 3.6.3. Algorithme d’optimisation et fonction de perte
• 3.6.4. Pipeline d’intégration au Raspberry
• 3.6.5. Résultats des graphes
• A Algorithmes
• A.1. Implémentation du modèle Faster R-CNN

Tóm tắt

I. Tổng quan về hệ thống giám sát em bé đa phương thức thời gian thực

Hệ thống giám sát em bé đa phương thức thời gian thực là một giải pháp công nghệ hiện đại giúp các bậc phụ huynh theo dõi tình trạng của trẻ nhỏ một cách hiệu quả. Hệ thống này không chỉ sử dụng các cảm biến âm thanh mà còn tích hợp camera để cung cấp thông tin hình ảnh, từ đó giúp phát hiện các tình huống khẩn cấp một cách nhanh chóng. Việc áp dụng công nghệ này không chỉ mang lại sự an tâm cho phụ huynh mà còn góp phần nâng cao chất lượng chăm sóc trẻ em.

1.1. Định nghĩa và chức năng của hệ thống giám sát em bé

Hệ thống giám sát em bé đa phương thức thời gian thực được thiết kế để theo dõi và phân tích các hoạt động của trẻ. Nó có khả năng phát hiện các âm thanh như tiếng khóc và các chuyển động của trẻ trong cũi. Hệ thống này sử dụng công nghệ học sâu và mạng nơ-ron tích chập (CNN) để phân tích dữ liệu từ camera và cảm biến âm thanh, từ đó đưa ra cảnh báo kịp thời cho phụ huynh.

1.2. Lợi ích của việc sử dụng hệ thống giám sát em bé

Việc sử dụng hệ thống giám sát em bé đa phương thức mang lại nhiều lợi ích cho phụ huynh. Đầu tiên, nó giúp theo dõi tình trạng của trẻ một cách liên tục, giảm thiểu nguy cơ tai nạn. Thứ hai, hệ thống có thể phân tích và phân loại các âm thanh, giúp phụ huynh nhận biết được khi nào cần can thiệp. Cuối cùng, việc tích hợp công nghệ thông minh giúp nâng cao trải nghiệm chăm sóc trẻ em.

II. Thách thức trong việc giám sát em bé thời gian thực

Mặc dù hệ thống giám sát em bé đa phương thức mang lại nhiều lợi ích, nhưng cũng tồn tại một số thách thức cần được giải quyết. Một trong những vấn đề lớn nhất là độ chính xác trong việc phát hiện âm thanh và chuyển động. Hệ thống cần phải được tối ưu hóa để giảm thiểu các báo động giả và đảm bảo rằng chỉ những tình huống thực sự cần can thiệp mới được thông báo cho phụ huynh.

2.1. Độ chính xác trong phát hiện âm thanh và chuyển động

Độ chính xác trong việc phát hiện âm thanh và chuyển động là một yếu tố quan trọng trong hệ thống giám sát em bé. Các thuật toán cần phải được huấn luyện trên một tập dữ liệu lớn và đa dạng để có thể nhận diện chính xác các tình huống khác nhau. Việc này đòi hỏi sự đầu tư vào công nghệ và thời gian để phát triển.

2.2. Vấn đề về bảo mật và quyền riêng tư

Bảo mật và quyền riêng tư là một trong những thách thức lớn khi triển khai hệ thống giám sát em bé. Việc thu thập và lưu trữ dữ liệu hình ảnh và âm thanh có thể gây ra lo ngại về việc lạm dụng thông tin. Do đó, cần có các biện pháp bảo mật mạnh mẽ để bảo vệ dữ liệu của người dùng.

III. Phương pháp phát triển hệ thống giám sát em bé hiệu quả

Để phát triển một hệ thống giám sát em bé đa phương thức hiệu quả, cần áp dụng các phương pháp công nghệ tiên tiến. Việc sử dụng mạng nơ-ron tích chập (CNN) để phân tích hình ảnh và âm thanh là một trong những giải pháp khả thi. Ngoài ra, việc tối ưu hóa thuật toán để giảm thiểu độ trễ trong việc phát hiện cũng rất quan trọng.

3.1. Sử dụng mạng nơ ron tích chập CNN trong giám sát

Mạng nơ-ron tích chập (CNN) là một trong những công nghệ tiên tiến nhất hiện nay trong việc phân tích hình ảnh. Bằng cách sử dụng CNN, hệ thống có thể nhận diện các chuyển động và âm thanh một cách chính xác hơn. Việc này giúp nâng cao hiệu quả giám sát và giảm thiểu các báo động giả.

3.2. Tối ưu hóa thuật toán phát hiện

Tối ưu hóa thuật toán phát hiện là một bước quan trọng trong việc phát triển hệ thống giám sát em bé. Các thuật toán cần được điều chỉnh để giảm thiểu độ trễ và tăng cường độ chính xác. Việc này có thể đạt được thông qua việc sử dụng các kỹ thuật học sâu và cải tiến mô hình.

IV. Ứng dụng thực tiễn của hệ thống giám sát em bé

Hệ thống giám sát em bé đa phương thức đã được áp dụng trong nhiều gia đình và cơ sở chăm sóc trẻ em. Các ứng dụng này không chỉ giúp theo dõi tình trạng của trẻ mà còn cung cấp thông tin hữu ích cho các bậc phụ huynh trong việc chăm sóc và nuôi dạy trẻ. Hệ thống cũng có thể được tích hợp với các thiết bị thông minh khác để tạo ra một môi trường an toàn hơn cho trẻ.

4.1. Ứng dụng trong gia đình

Trong môi trường gia đình, hệ thống giám sát em bé giúp phụ huynh theo dõi tình trạng của trẻ một cách dễ dàng. Hệ thống có thể gửi thông báo đến điện thoại di động khi phát hiện âm thanh hoặc chuyển động bất thường, từ đó giúp phụ huynh có thể can thiệp kịp thời.

4.2. Ứng dụng trong cơ sở chăm sóc trẻ em

Tại các cơ sở chăm sóc trẻ em, hệ thống giám sát em bé đa phương thức có thể được sử dụng để theo dõi nhiều trẻ cùng một lúc. Điều này giúp các nhân viên chăm sóc có thể quản lý và theo dõi tình trạng của trẻ một cách hiệu quả hơn, đảm bảo an toàn cho trẻ.

V. Kết luận và tương lai của hệ thống giám sát em bé

Hệ thống giám sát em bé đa phương thức thời gian thực đang ngày càng trở nên phổ biến và cần thiết trong cuộc sống hiện đại. Với sự phát triển của công nghệ, hệ thống này hứa hẹn sẽ ngày càng hoàn thiện hơn, cung cấp nhiều tính năng hữu ích hơn cho phụ huynh. Tương lai của hệ thống này có thể bao gồm việc tích hợp trí tuệ nhân tạo để cải thiện khả năng phát hiện và phân tích tình huống.

5.1. Xu hướng phát triển công nghệ giám sát

Xu hướng phát triển công nghệ giám sát em bé đang hướng tới việc tích hợp trí tuệ nhân tạo và học máy. Điều này sẽ giúp hệ thống có khả năng tự động học hỏi và cải thiện hiệu suất theo thời gian, từ đó nâng cao độ chính xác trong việc phát hiện.

5.2. Tương lai của hệ thống giám sát em bé

Tương lai của hệ thống giám sát em bé đa phương thức có thể bao gồm việc phát triển các tính năng mới như phân tích hành vi của trẻ, từ đó cung cấp thông tin hữu ích cho phụ huynh trong việc nuôi dạy trẻ. Hệ thống cũng có thể được tích hợp với các thiết bị thông minh khác để tạo ra một môi trường an toàn và tiện nghi hơn cho trẻ.

Nội dung chính

Tổng quan nghiên cứu

Theo ước tính, hệ thống giám sát trẻ em trong gia đình ngày càng trở nên thiết yếu khi tỷ lệ các sự cố liên quan đến trẻ nhỏ trong lúc ngủ chiếm khoảng 25% các nguyên nhân tử vong trẻ dưới 1 tuổi. Nhu cầu cảnh báo sớm về trạng thái vận động và tiếng khóc của trẻ giúp giảm thiểu đáng kể các nguy cơ tiềm ẩn. Tuy nhiên, các thiết bị giám sát phổ biến hiện nay chủ yếu dựa trên dữ liệu âm thanh, dễ gây báo động giả do không phân biệt được trạng thái thực tế của trẻ. Luận văn thạc sĩ này đặt ra vấn đề phát triển một hệ thống giám sát đa phương thức thời gian thực kết hợp dữ liệu video và âm thanh nhằm nâng cao độ chính xác trong việc phát hiện chuyển động và tiếng khóc trẻ em.

Mục tiêu chính là xây dựng một mô hình tích hợp dựa trên mạng nơ-ron tích chập (CNN) để nhận dạng và phân loại chính xác các trạng thái vận động (đứng, ngồi, che mặt) và phát hiện tiếng khóc trẻ em, triển khai thử nghiệm trên thiết bị nhúng Raspberry Pi có khả năng xử lý và cảnh báo tức thì. Phạm vi nghiên cứu tập trung vào việc thu thập dữ liệu hình ảnh và âm thanh từ các nguồn online, xây dựng bộ dữ liệu BbsD gồm khoảng 500 hình ảnh phân lớp, và phát triển mô hình trong thời gian thực tại môi trường phòng ngủ trẻ nhỏ ở Hà Nội trong năm 2020.

Ý nghĩa nghiên cứu được thể hiện qua việc đề xuất giải pháp giám sát hiện đại kết hợp cả hai kênh âm thanh và hình ảnh nhằm giảm thiểu sự phụ thuộc vào cảnh báo đơn phương, nâng cao độ tin cậy và khả năng ứng dụng thực tế trong các gia đình, đồng thời góp phần mở rộng nghiên cứu học thuật trong lĩnh vực trí tuệ nhân tạo ứng dụng cho y tế và chăm sóc trẻ em.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết cốt lõi trong lĩnh vực học sâu và thị giác máy tính, gồm:

• Mạng Nơ-ron Tích chập (Convolutional Neural Networks - CNN): CNN được sử dụng vì khả năng tự động trích xuất đặc trưng từ dữ liệu hình ảnh và âm thanh, cấu trúc gồm các lớp tích chập, pooling và fully connected. Qua các lớp, mô hình học được bộ lọc đặc trưng phân biệt chuyển động và đặc điểm tiếng khóc. Phương pháp học có sử dụng kỹ thuật lan truyền ngược (backpropagation) và thuật toán tối ưu Gradient Stochastic Descent (SGD).

• Học chuyển giao (Transfer Learning) và Fine-tuning: Do hạn chế về dữ liệu huấn luyện, phương pháp transferred learning cho phép tái sử dụng trọng số từ các mô hình đã được huấn luyện trên kho dữ liệu lớn như COCO, ImageNet. Fine-tuning các lớp cuối cùng giúp mô hình thích nghi với bộ dữ liệu BbsD gồm 3 lớp: Đứng, Ngồi, Mặt che.

• Thuật toán Faster R-CNN và SSD (Single Shot Detector): Đây là hai kiến trúc phát hiện đối tượng được lựa chọn dựa trên ưu thế về độ chính xác và tốc độ xử lý. Faster R-CNN cho độ chính xác cao hơn với mAP thử nghiệm lên tới 0.96, trong khi SSD có tốc độ xử lý nhanh hơn phù hợp cho thiết bị nhúng.

Các khái niệm chính gồm: Mạng tích chập, các lớp pooling (max-pooling), lớp kích hoạt ReLU, mạng đề xuất vùng (Region Proposal Network), và hàm mất mát cross-entropy trong tối ưu hoá.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Bộ dữ liệu BbsD được xây dựng từ 500 ảnh thu thập trên Google Images và Youtube, phân loại thành ba lớp posture của trẻ (đứng, ngồi, che mặt). Video được chuyển đổi thành hình ảnh bằng script Python để tăng lượng dữ liệu. Hình ảnh được xử lý tiền đề bao gồm resizing đồng nhất và chú thích vùng bằng phần mềm LabelImg với định dạng PascalVOC.

• Phương pháp phân tích: Áp dụng transfer learning trên hai mô hình Faster R-CNN Inception Resnet và SSD MobileNet, fine-tuning với dữ liệu BbsD. Đào tạo mô hình từ 1500 đến 2000 epoch với batch size từ 16 đến 20, learning rate lần lượt 0.001 cho Faster R-CNN và 0.0002 cho SSD, sử dụng các bộ tối ưu Adam và RMSprop. Mức đóng băng một số lớp được thực hiện nhằm ổn định độ chính xác mô hình.

• Timeline nghiên cứu: Quá trình nghiên cứu kéo dài trong năm 2020 tại doanh nghiệp Ifi-solution, Hà Nội, bao gồm khảo sát lý thuyết (2 tháng), xây dựng và xử lý dữ liệu (3 tháng), huấn luyện mô hình và điều chỉnh (4 tháng), tích hợp mô hình trên Raspberry Pi, thử nghiệm thực tế và tổng hợp kết quả (3 tháng).

---

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác mô hình Faster R-CNN đạt mAP 0.96 trên bộ dữ liệu BbsD, vượt trội so với SSD (mAP 0.13) trên cùng bộ dữ liệu nhưng SSD cho thời gian dò tìm nhanh hơn với 70ms so với 105ms của Faster R-CNN. So sánh với kết quả từ các báo cáo ngành, Faster R-CNN tiếp tục giữ vai trò là mô hình chính xác nhất trong phát hiện đối tượng phức tạp.

2. Hiệu quả fine-tuning với dữ liệu BbsD: Việc sử dụng học chuyển giao giúp mô hình Faster R-CNN đạt được độ chính xác cao bất chấp kích thước nhỏ bộ dữ liệu. Điều này minh chứng xu hướng áp dụng transfer learning cho các ứng dụng thực tế có dữ liệu hạn chế.

3. Khả năng triển khai trên Raspberry Pi gặp hạn chế về mặt hiệu năng: Hồ sơ phần cứng của Raspberry Pi phù hợp cho việc giám sát hình ảnh thời gian thực nhưng cần tối ưu thêm cho việc xử lý đa phương thức. Về tốc độ, SSD MobileNet được khuyến cáo do chiếm tài nguyên thấp hơn.

4. Phân loại ba trạng thái vận động trẻ em thể hiện độ chính xác trên 85%, đặc biệt với trạng thái "Đứng - nguy hiểm" được nhận diện rõ rệt, giúp tăng cường phản hồi cảnh báo kịp thời cho phụ huynh.

Thảo luận kết quả

Nguyên nhân chính giúp Faster R-CNN đạt độ chính xác cao là do mạng đề xuất vùng (Region Proposal Network) tích hợp giúp tạo các bounding boxes chuẩn xác cho từng đối tượng. Khác với SSD dựa trên single-shot detection, Faster R-CNN có kiến trúc hai giai đoạn tinh chỉnh, phù hợp với các tác vụ phức tạp cần độ chính xác cao. Tuy nhiên, chi phí tính toán lớn của Faster R-CNN làm hạn chế khả năng ứng dụng trên thiết bị nhúng như Raspberry Pi.

Kết quả cho thấy phần lớn các jerarquías xử lý ảnh truyền thống (frame differencing, optical flow, background subtraction) có độ chính xác thấp và dễ bị lỗi do nhiễu môi trường. Việc ứng dụng các kiến trúc CNN hiện đại giúp duy trì độ chính xác trong môi trường thực tế, thậm chí khi dữ liệu bị che khuất hoặc ánh sáng thay đổi.

Kết quả mAP và đồ thị hàm mất mát cho thấy quá trình đào tạo dừng hợp lý khi loss không giảm thêm, tránh hiện tượng overfitting. Các kết quả cho thấy mô hình phù hợp với task phát hiện vận động trẻ, dù bị giới hạn bởi nguồn dữ liệu hạn chế và máy tính không có GPU mạnh.

Trình bày kết quả bằng biểu đồ so sánh mAP giữa Faster R-CNN và SSD, bảng so sánh thời gian xử lý và các bộ ảnh minh họa khu vực phát hiện (bounding boxes) giúp đánh giá trực quan hiệu quả mô hình.

---

Đề xuất và khuyến nghị

1. Tối ưu hóa mô hình và giảm dung lượng để triển khai trên thiết bị nhúng: Khuyến nghị sử dụng kiến trúc nhẹ như MobileNet SSD với kỹ thuật pruning và quantization để cải thiện tốc độ xử lý và tiết kiệm bộ nhớ, phấn đấu giảm thời gian phản hồi xuống dưới 50ms. Chủ thể: nhóm kỹ thuật phát triển phần mềm; Thời gian: 6 tháng.

2. Mở rộng và chuẩn hóa bộ dữ liệu đa phương thức: Khuyến nghị xây dựng một bộ dữ liệu lớn hơn, tích hợp hình ảnh và âm thanh đa dạng về môi trường, tư thế, ánh sáng nhằm tăng khả năng tổng quát mô hình. Chủ thể: nhóm nghiên cứu; Thời gian: 1 năm.

3. Phát triển module xử lý âm thanh phát hiện tiếng khóc trẻ: Nghiên cứu và tích hợp các mạng nơ-ron hồi tiếp (RNN/LSTM) để nhận dạng chính xác các kiểu tiếng khóc, đồng bộ thông tin với phát hiện hình ảnh nhằm giảm báo động giả. Chủ thể: nhóm AI chuyên sâu; Thời gian: 8 tháng.

4. Thiết kế cơ chế cảnh báo đa kênh linh hoạt: Thay vì chỉ gửi tin nhắn văn bản, khả năng nâng cấp gửi cảnh báo qua app di động, thông báo giọng nói hoặc hình ảnh live stream để tăng cường tính tương tác và hiệu quả giám sát. Chủ thể: đội phát triển sản phẩm & marketing; Thời gian: 4 tháng.

---

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu trí tuệ nhân tạo và thị giác máy tính: Bài luận cung cấp phương pháp áp dụng CNN và transfer learning vào bài toán phát hiện đối tượng đặc thù, kèm theo đánh giá so sánh mô hình và xử lý dữ liệu thực tế.

2. Chuyên gia phát triển thiết bị IoT và nhúng: Nghiên cứu chi tiết về triển khai mô hình deep learning trên Raspberry Pi làm nền tảng cho ứng dụng giám sát thời gian thực.

3. Phụ huynh và chuyên gia chăm sóc trẻ em: Tham khảo để hiểu về các công nghệ giám sát trẻ hiện đại có thể cải thiện an toàn và giám sát sức khỏe trẻ tại nhà.

4. Doanh nghiệp phát triển sản phẩm công nghệ phục vụ gia đình: Luận văn hỗ trợ đánh giá giải pháp tích hợp phần cứng – phần mềm, giúp định hướng phát triển sản phẩm giám sát trẻ thế hệ mới nâng cao tính năng đa phương thức.

---

Câu hỏi thường gặp

1. Hệ thống giám sát này có thể phân biệt được tiếng khóc thật và tiếng ồn không?
Hiện tại, việc nhận dạng tiếng khóc chưa được tích hợp hoàn chỉnh do hạn chế về dữ liệu. Tuy nhiên, các kỹ thuật học sâu như RNN và LSTM được đề xuất để tăng độ chính xác trong tương lai nhằm phân biệt tiếng khóc thật với các tiếng ồn môi trường.

2. Tại sao chọn mô hình Faster R-CNN thay vì SSD cho hệ thống giám sát?
Faster R-CNN cho độ chính xác tốt hơn nhiều (mAP 0.96 so với 0.13 của SSD trên bộ dữ liệu thử nghiệm) vì kiến trúc hai giai đoạn cho phép phát hiện chính xác hơn, trong khi SSD ưu thế ở tốc độ và phù hợp với thiết bị có tài nguyên hạn chế.

3. Bộ dữ liệu BbsD được tạo ra như thế nào và có đủ đại diện không?
BbsD gồm khoảng 500 ảnh thu thập từ Google và Youtube, phân loại thành 3 trạng thái vận động trẻ em. Dữ liệu chưa đủ lớn và đa dạng cho ứng dụng rộng rãi, do đó cần mở rộng và đa dạng hóa dữ liệu trong các nghiên cứu tiếp theo.

4. Hệ thống được triển khai trên Raspberry Pi có đáp ứng được thời gian thực?
Raspberry Pi đủ khả năng vận hành mô hình nhẹ như SSD MobileNet với thời gian xử lý khoảng 70ms. Faster R-CNN chậm hơn (105ms) và đòi hỏi tối ưu hóa phần cứng hoặc mô hình để đáp ứng thời gian thực.

5. Cách thức cảnh báo được thực hiện như thế nào?
Sau khi xác định trạng thái vận động và tiếng khóc, hệ thống gửi thông báo văn bản đến phụ huynh với mức độ cảnh báo tương ứng (nguy hiểm, trung bình, an toàn), qua đó nâng cao an toàn cho trẻ trong suốt thời gian giám sát.

---

Kết luận

• Luận văn đề xuất thành công hệ thống giám sát trẻ em đa phương thức kết hợp hình ảnh và âm thanh dựa trên kiến trúc CNN hiện đại.
• Chọn mô hình Faster R-CNN cùng SSD MobileNet làm nền tảng, đạt mAP lần lượt 0.96 và 0.13 trên bộ dữ liệu BbsD tự xây dựng.
• Tích hợp thành công mô hình trên Raspberry Pi, đảm bảo khả năng giám sát vận động thời gian thực với cảnh báo kịp thời.
• Hệ thống giúp phát hiện chính xác ba trạng thái vận động trẻ, từ đó cải thiện hiệu quả cảnh báo so với các thiết bị chỉ dựa trên âm thanh.
• Hướng nghiên cứu tiếp theo tập trung vào tối ưu mô hình dành cho thiết bị nhúng, mở rộng bộ dữ liệu, và phát triển module nhận dạng tiếng khóc chính xác hơn.

Bước tiếp theo: Tăng cường thu thập và chuẩn hóa dữ liệu đa phương thức, tối ưu mô hình cho các phần cứng nhúng, đồng thời phát triển kênh cảnh báo đa dạng hơn nhằm hoàn thiện và đưa giải pháp vào ứng dụng thực tế. Các chuyên gia và doanh nghiệp trong lĩnh vực giám sát trẻ em được khuyến khích tham khảo kết quả và áp dụng nghiên cứu này vào phát triển sản phẩm mới.

Trích đoạn nội dung tài liệu

UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Abdoul Djalil OUSSEINI HAMZA Real Time Multimodal Baby Monitoring System Hệ thống giám sát em bé đa phương thức thời gian thực Spécialité : Systèmes Intelligents et Multimédia Code : 8480201.02 MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : Dr NGUYEN Trong Phuc - Ifi-solution HANOÏ - 2020 TIEU LUAN MOI download : [e-mail] UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Abdoul Djalil OUSSEINI HAMZA Real Time Multimodal Baby Monitoring System Hệ thống giám sát em bé đa phương thức thời gian thực Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : Dr NGUYEN Trong Phuc - Ifi-solution HANOÏ - 2020 TIEU LUAN MOI download : [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác.

Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Signature de l’étudiant Abdoul Djalil OUSSEINI HAMZA TIEU LUAN MOI download : [e-mail] Remerciements Je remercie d’abord Dieu le TOUT PUISSANT de m’avoir accordé des parents qui m’ont montré le chemin de l’école et grâce à qui je suis là présentement. La réalisation de ce mémoire a été possible grâce au concours de plusieurs personnes à qui je voudrais témoigner toute ma gratitude. J’aimerais tout d’abord remercier mon encadreur pédagogique de stage Dr NGUYEN Trong Phuc Chef de projet - Ifi-Solution et enseignant chercheur à l’université de Trans- port et de Communication de Hanoi, Vietnam.

La porte du bureau du Dr NGUYEN Trong Phuc était toujours ouverte chaque fois que je rencontrais un problème ou si j’avais une question sur mes recherches. Il a toujours permis que ce document soit mon propre travail, mais il m’a guidé dans la bonne direction chaque fois qu’il pensait que j’en avais besoin. Je tiens également à remercier M. Hoan Dinh Van manager à Ifi-Solution qui a par- ticipé à la réalisation et validation de ce projet.

Ce travail n’aurait pu être accompli sans leur effort et leur contributions passionnées. Je voudrais remercier notre responsable de Master Dr Ho Tuong Vinh ainsi que tous les personnels pédagogiques et administratifs de l’Institut Francophone International, Université National de Vietnam à Hanoi. Je leur suis reconnaissant de tout cœur pour avoir assuré et amélioré la qualité de notre formation. Enfin, je tiens à exprimer ma profonde gratitude à mes parents, à ma famille et à Mme Võ Thu Trang pour m’avoir apporté un soutien indéfectible et des encourage- ments constants tout au long de mes années de Master.

Sans oublier mes amis qui ont toujours été là pour moi. Votre soutien inconditionnel et vos encouragements ont été d’une grande aide. Je vous remercie. Abdoul Djalil OUSSEINI HAMZA TIEU LUAN MOI download : [e-mail] TIEU LUAN MOI download : [e-mail] Résumé Peu de travaux se sont intéressés à la détection des mouvements des bébés dans leur berceaux et les rares travaux qui ont traité ce problème ont plutôt utilisé les algo- rithmes classiques de Machine Learning comme les SVM en tant que classifier.

Dans ce travail, nous proposons une nouvelle approche pour détecter les mouvement et les cris des nourrissons en se basant sur les nouvelles architectures des réseaux de neu- rones à convolution CNN. La première partie porte sur la présentation de la structure d’accueille où est décrit les missions et les départements qui composent l’entreprise. La seconde partie fait mention de l’état de l’art dans laquelle les travaux connexes ont été développés et une étude comparative à été établie. La troisième partie opère sur les solutions proposées et les contributions apportées.

La quatrième partie fait l’objet des expérimentations et résultats où nous avons mené toutes nos expériences pour la réa- lisation du projet et enfin, la dernière partie porte sur la conclusion et les perspectives pour les futures travaux dans le domaine. Mots clés : surveillance des bébés, détection d’objets, proposition de région, réseau neuronal convolutif, cri des bébé. TIEU LUAN MOI download : [e-mail] Abstract Few studies have focused on detecting the movements of babies in their cradles, and the few studies that have dealt with this problem have instead used conventional machine learning algorithms such as SVM as classifiers. In this work, we propose a new approach to detect movement and cry of infants based on new architectures of CNN convolutional neural networks.

The first part relates to the presentation of the hosting structure where the missions and departments that make up the company are described. The second part mentions the state of the art in which the related works were developed and a comparative study was established. The third part operates on the solutions proposed and the contributions made. The fourth part is the subject of experiments and results where we conducted all our experiences for the realization of the project and finally, the last part relates to the conclusion and prospects for future work in the field.

Keywords : baby monitoring, object detection, region proposal, convolutional neu- ral network, baby cry. TIEU LUAN MOI download : [e-mail] Table des matières Liste des tableaux iv Table des figures v Liste des tables v 1 INTRODUCTION GÉNÉRALE 2 1.1 Présentation de l’établissement d’accueil .2 Contexte-objectifs-problématiques. 4 2 ETAT DE L’ART 6 2.2 Techniques basées sur les réseaux de neurones .1 Convolutional Neural Networks (CNNs/ConvNets) .2 Fonctionnement de ConvNet .3 Conception des ConvNets .4 Autres architectures ConvNet .2 Quelques algorithmes de détection d’objets .3 Comparaison des méthodes utilisées. 17 i TIEU LUAN MOI download : [e-mail] TABLE DES MATIÈRES 2.1 Présentation et architecture .2 Détails du modèle .1 Présentation et architecture .2 Détails du modèle .1 Comparaison des extracteurs de caractéristiques .2 Combinaison des modèles.

21 3 SOLUTIONS PROPOSÉES & CONTRIBUTIONS 22 3.1 Pourquoi les algorithmes de Tensorflow detection model zoo ? .2 Pourquoi l’aspect AUDIO ne figure pas dans notre travail ? .3 Déroulement de notre travail .4 Architecture générale de la solution .2 Fine-tuning avec notre Dataset : BbsD .3 L’architecture de la solution .5 Détails sur les contributions apportées .1 Les differentes classes de Faster-RCNN .2 Les changements et modifications apportés au niveau des classes de Faster-RCNN .6 Ce qu’il faut retenir dans nos contributions .1 Condition d’acquisition des données .1 Pré-traitement des données .2 Algorithme d’optimisation et fonction de perte .4 Pipeline d’intégration au Raspberry .2 Résultats des graphes. 45 ii TIEU LUAN MOI download : [e-mail] TABLE DES MATIÈRES A Algorithmes 48 A.1 Implémentation du modèle Faster R-CNN. 53 iii TIEU LUAN MOI download : [e-mail] Table des figures 2.4 Max pooling avec un filtre 2 × 2 .5 Fonction d’activation : RelU .6 Fonction d’activation : RelU .7 Architecture Faster-RCNN .8 Architecture comparative entre SSD et YOLO .9 Architecture simplifiée Faster R-CNN .2 Architecture de la solution .3 Poids et batch_norm freezer .2 Architecture générale pour intégrer le modèle dans le Raspberry .3 Pipeline de la solution .4 Fonction de perte .6 Le métrique mAP. 42 iv TIEU LUAN MOI download : [e-mail] Liste des tableaux 2.1 extracteurs de caracterisques .2 Combinaison des modèles .1 State of the art results .2 Our experiment results.

37 v TIEU LUAN MOI download : [e-mail] Liste des sigles et acronymes CNN Convolution Neural Network DNN Deep Neural Network NN Neural Network RCNN Regiion proposal CNN SGD Stochastic Gradient Descent SSD Single Shot MultiBox Detector TIEU LUAN MOI download : [e-mail] Chapitre 1 INTRODUCTION GÉNÉRALE Il est important d’avoir une vue permanente dans les chambres de nos bébés et dans leurs berceaux afin d’éviter tout accident malheureux auquel ces bébés pour- raient être confrontés. Et de plus en plus de parents sont préoccupés par la sécurité de leur nouveau-né et veulent des mécanismes automatiques qui pourraient les aler- ter de la situation instantanée de leur bébé. Les parents utilisent souvent des dispositifs de surveillance pour bébés pour garder un œil sur les jeunes enfants pendant la nuit. Cependant, le mécanisme d’alerte de ces moniteurs est généralement déclenché sur des informations sonores et non visuelles.

Or, tous les cris de nuit ne nécessitent pas l’intervention d’un adulte. Les dispositifs de surveillance des enfants auraient une plus grande utilité s’ils sont capables de prendre en compte les informations visuelles et sonores pour déterminer si une alerte a besoin d’être déclencher ou pas. Notre travail s’inscrit dans ce sens afin de proposer une solution de monitoring qui appliquerait des techniques de l’état de l’art de deep learning et de vision par ordi- nateur notamment basés sur les architectures CNN de détection de mouvement et de cris. L’organisation de ce documents est la suivante : premièrement nous allons présen- ter l’état de l’art de ce domaine, dans un deuxième temps nous nous concentrions sur les solutions théoriques que nous avons retenues, suivi de l’implémentions avec résul- tats et analyses et dans la dernière partie les perspectives et la conclusion.

2 TIEU LUAN MOI download : skknchat@gmail.1 Présentation de l’établissement d’accueil Ce stage s’est déroulé au sein de l’entreprise Ifi-solution dans un environnement multiculturel(asiatique, européen et africain), majoritairement vietnamienne implanté dans la capitale vietnamienne, Hanoi.1 Ifi-solution Ifi-solution a été créée en 2003 et est devenue membre du Japan NTT Data Group depuis 2012. Elle fournit des services professionnels d’externalisation de logiciels et est spécialisée dans la mise en œuvre de projets de développement et de test de logiciels pour des clients en France, en Italie, au Japon, en Suisse et en Allemagne dans des domaines technologiques tels que la gestion des bases de données, l’IoT, les logiciels embarqués, les applications mobiles. Ifi-solution est une entreprise de développement durable réputée à Hanoi. Avec plus de 15 ans d’expérience, Ifi-solution a un engagement élevé dans la qua- lité, elle a réalisé avec succès des centaines de projets dans différents domaines, no- tamment les télécommunications, l’énergie, la santé, l’automobile, la gestion des don- nées, la finance et la banque.

Le système de gestion de la qualité et le système de gestion de la sécurité de l’in- formation de l’entreprise est certifié ISO 9001 : 2015. De nombreuses sociétés comme Airbus, Nokia, Thales, Toshiba et Panasonic, Docomo leurs ont rendu visite. Ifi-solution est pricipalement spécialisée dans les axes suivants : — Mobile app development — Front-end web application development — Back-end (Server) web application development — Embedded software development — Software testing (automated testing, manual testing) 1.com 3 TIEU LUAN MOI download : skknchat@gmail.2 Contexte-objectifs-problématiques 1.1 Contexte Étant donné les faiblesses et capacités limites de l’homme pour assurer une sur- veillance permanente des nourrissons, il est alors primordiale de songer à mettre un système intelligent de monitoring basé multimodale, différent des autres systèmes et prenant en compte le sons et la vidéo afin d’aider les parents à surveiller efficacement leur bébé.2 Objectifs Les objectifs de ce stage sont entre autre, d’étudier d’abord, l’état de l’art des tra- vaux existants dans la détection des mouvements des bébés en temps réel, pour mieux connaître ce qui existe afin de ne pas refaire les mêmes méthodes puis, sur la base de cette étude, proposer une nouvelle approche plus robuste basé sur les réseaux de neu- rones convolutifs. On dira que l’objectif principal de ce projet est de développer un prototype de ca- méra intégrée dans un Raspberry Pi, surveillant les activités des bébés pendant leur sommeil qui fait la reconnaissance de la voix et celle des mouvements appliquant l’ap- prentissage profond pour la reconnaissance d’activités.

Pour récapituler nos objectifs, nous les distinguons en 2 grandes parties : 1.