BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH HỆ THỐNG NHÚNG VÀ IOT XÂY DỰNG HỆ THỐNG ĐIỀU KHIỂN THIẾT BỊ TRONG NHÀ BẰNG NHẬN DIỆN CỬ CHỈ TAY SỬ DỤNG MÔ HÌNH YOLOv8 GVHD: ThS. TRƯƠNG QUANG PHÚC SVTH: TRẦN MINH ĐÔ SKL013341 Tp. Hồ Chí Minh, tháng 6 năm 2024 TR¯âNG Đ¾I HäC S¯ PH¾M KỸ THU¾T TP. Hà CHÍ MINH KHOA ĐIÞN ĐIÞN Tþ BÞ MÔN KỸ THU¾T MÁY TÍNH - VIÄN THÔNG Đâ ÁN TàT NGHIÈP XÂY DĀNG HÞ THÞNG ĐIÀU KHIÂN THI¾T Bâ TRONG NHÀ B¾NG NH¾N DIÞN Cþ CHà TAY Sþ DĀNG MÔ HÌNH YOLOv8 NGÀNH HÞ THÞNG NHÚNG VÀ IOT Sinh viên: TRÀN MINH ĐÔ MSSV: 20142623 H°ãng d¿n: ThS.
TR¯¡NG QUANG PHÚC TP. Hâ CHÍ MINH – 06/2024 TR¯äNG Đ¾I HàC S¯ PH¾M KĀ THUÀT THÀNH PHà Hâ CHÍ MINH KHOA ĐIÈN ĐIÈN TĀ Bà MÔN KĀ THUÀT MÁY TÍNH - VIÆN THÔNG Đâ ÁN TàT NGHIÈP XÂY DĀNG HÞ THÞNG ĐIÀU KHIÂN THI¾T Bâ TRONG NHÀ B¾NG NH¾N DIÞN Cþ CHà TAY Sþ DĀNG MÔ HÌNH YOLOv8 NGÀNH HÞ THÞNG NHÚNG VÀ IOT Sinh viên: TRÀN MINH ĐÔ MSSV: 20142623 H°ãng d¿n: ThS. TR¯¡NG QUANG PHÚC TP. Hâ CHÍ MINH – 6/2024 LâI CÀM ¡N Tr°ãc tiên vãi lòng biÁt ¢n chân thành, tôi xin gāi đÁn vãi ThÁy Tr°¢ng Quang Phúc låi cÁm t¿ sâu sÃc.
Suát thåi gian qua, thÁy đã dành tâm huyÁt và tÁn tình h°ãng d¿n, đãng hành cùng tôi trong quá trình hoàn thiÉn đã án tát nghiÉp: " Xây dựng hÉ tháng điÃu khiÅn thiÁt bß trong nhà bằng nhÁn diÉn cā chỉ tay sā dăng mô hình YOLO v8". Dù tôi còn nhiÃu h¿n chÁ và kiÁn thćc, nh°ng nhå sự góp ý, trā giúp tÁn tình cąa thÁy, tôi đã v°āt qua mái thā thách và đ¿t đ°āc kÁt quÁ đáng mÿng. Tôi xin bày tß lòng biÁt ¢n sâu sÃc đÁn đái ngũ giÁng viên khoa ĐiÉn - ĐiÉn tā, những ng°åi đã nÃn tÁng tri thćc vững chÃc đÅ tôi có thÅ tiÁn đÁn ngày hôm nay. Đãng thåi, tôi cũng bày tß lòng tri ân sâu sÃc đÁn Tr°ång Đ¿i hác S° Ph¿m Kā ThuÁt Thành Phá Hã Chí Minh, đã t¿o dựng nên môi tr°ång hác tÁp lý t°çng, phù hāp vãi triÁt lý "Nhân bÁn - Sáng t¿o - Hái nhÁp".
Cuái cùng, tôi xin gāi låi cÁm ¢n chân thành đÁn gia đình, b¿n bè và những ng°åi thân yêu, những ng°åi luôn dõi theo, đáng viên và ąng há tôi suát chÁng đ°ång. Tôi xin chúc thÁy, nhà tr°ång và quý thÁy cô luôn m¿nh khße, gÁt hái thêm nhiÃu thành công trong sự nghiÉp và cuác sáng. Tôi xin trân thành cÁm ¢n! TP. Hã Chí Minh, tháng 6 năm 2024 Sinh viên thực hiÉn đà tài TrÁn Minh Đô i LâI CAM ĐOAN Đà tài nghiên cću " Xây dựng hÉ tháng điÃu khiÅn thiÁt bß trong nhà bằng nhÁn diÉn cā chỉ tay sā dăng mô hình YOLO v8" là kÁt quÁ cąa quá trình nghiên cću đác lÁp cąa tôi d°ãi sự h°ãng d¿n tÁn tình cąa ThÁy Tr°¢ng Quang Phúc.
Tôi đã dành nhiÃu công sćc và thåi gian đÅ thực hiÉn đà tài, bao gãm viÉc tham khÁo nhiÃu nguãn tài liÉu và công trình nghiên cću khác nhau đÅ tìm hiÅu kiÁn thćc chuyên môn và bå sung thông tin cÁn thiÁt. Tôi cam đoan rằng không có b¿t kỳ hành vi gian lÁn nào tÿ các nguãn tài liÉu khác. NÁu có b¿t cć sai ph¿m nào, tôi xin hoàn toàn chßu trách nhiÉm. Hã Chí Minh, tháng 6 năm 2024 Sinh viên thực hiÉn đà tài TrÁn Minh Đô ii TÓM TÀT Sự phát triÅn cąa công nghÉ thông tin và điÉn tā đã t¿o ra nhiÃu cách thćc mãi đÅ t°¢ng tác và điÃu khiÅn thiÁt bß trong cuác sáng hằng ngày.
Trong đó, viÉc sā dăng nhÁn diÉn cā chỉ tay là mát giÁi pháp thông minh và tiÉn lāi, cho phép ng°åi dùng điÃu khiÅn các thiÁt bß gia dăng chỉ bằng các đáng tác cąa bàn tay. ĐÃ tài "Xây dựng hÉ tháng điÃu khiÅn thiÁt bß trong nhà bằng nhÁn diÉn cā chỉ tay sā dăng mô hình YOLO v8" tÁp trung nghiên cću và phát triÅn mát hÉ tháng nh° vÁy. Mô hình YOLO v8 là phiên bÁn mãi, cung c¿p khÁ năng nhÁn diÉn cā chỉ tay mát cách nhanh chóng và chính xác, đáp ćng yêu cÁu cąa các ćng dăng thực tÁ. ViÉc ćng dăng YOLO v8 vào hÉ tháng s¿ mang l¿i nhiÃu tiÉn ích cho ng°åi dùng, giúp tăng trÁi nghiÉm sā dăng và mang l¿i sự thông minh, tự đáng hóa cao.
ThiÁt kÁ giao diÉn trực quan cũng đóng vai trò quan tráng, giúp ng°åi dùng dÇ dàng hiÅu và t°¢ng tác vãi hÉ tháng. Giao diÉn s¿ đ°āc xây dựng hiÉn đ¿i, đÁm bÁo tính trực quan, dÇ sā dăng và thân thiÉn. Ng°åi dùng s¿ có thÅ quan sát và điÃu khiÅn các thiÁt bß gia dăng trong nhà thông qua giao diÉn này mát cách đ¢n giÁn và linh ho¿t. Trong tiÅu luÁn này, tôi s¿ trình bày và quá trình xây dựng hÉ tháng điÃu khiÅn thiÁt bß trong nhà bằng nhÁn diÉn cā chỉ tay, bao gãm thiÁt kÁ kiÁn trúc hÉ tháng, triÅn khai mô hình YOLO v8 cho nhiÉm vă nhÁn diÉn, và tích hāp các mô-đun điÃu khiÅn đÅ hoàn thiÉn hÉ tháng.
KÁt quÁ cąa nghiên cću này s¿ là mát giÁi pháp thông minh, hß trā ng°åi có h¿n chÁ và khÁ năng vÁn đáng, tiÉn lāi và có khÁ năng ćng dăng ráng rãi trong các gia đình hiÉn đ¿i. iii MỤC LỤC LäI CÀM ¡N. iii DANH MĂC HÌNH ÀNH. vii DANH MĂC BÀNG BIÄU.
ix CH¯¡NG 1 TäNG QUAN .3 TÌNH HÌNH NGHIÊN CĆU TRONG VÀ NGOÀI N¯âC .1 Tình hình nghiên cću ngoài n°ãc .2 Tình hình nghiên cću trong n°ãc .4 PH¯¡NG PHÁP NGHIÊN CĆU.6 CH¯¡NG 2 C¡ Sæ LÝ THUYÀT .1 NHÀN DIÈN ĐàI T¯ĀNG .2 TÌM HIÄU V MÔ HÌNH YOLO .2 Non-max suppression .3 Các chỉ sá đánh giá .3 TäNG QUAN V MÔ HÌNH YOLO V8 .1 KiÁn trúc mô hình YOLO v8 .2 Tính năng cąa YOLO v8 .3 PHÀN MÂM THIÀT KÀ GIAO DIÈN QT5 .4 PHÀN MÂM ARDUINO IDE .15 CH¯¡NG 3 THIÀT KÀ VÀ THI CÔNG .1 YÊU CÀU HÈ THàNG .2 ĐÀC TÀ HÈ THàNG .1 Chćc năng cąa hÉ tháng .2 Mô hình tång quát cąa hÉ tháng.3 S¢ đã khái và nguyên lí ho¿t đáng.3 THIÀT KÀ PHÀN CĆNG .2 Mô-đun r¢-le .3 S¢ đã nguyên lý kÁt nái Arduino R3 và mô-đun r¢-le 4 kênh .4 THIÀT KÀ PHÀN MÂM .1 ThiÁt kÁ mô hình nhÁn diÉn cā chỉ tay .2 ThiÁt kÁ giao diÉn điÃu khiÅn cąa hÉ tháng .36 CH¯¡NG 4 KÀT QUÀ VÀ ĐÁNH GIÁ HÈ THàNG .1 KÀT QUÀ PHÀN CĆNG .2 KÀT QUÀ MÔ HÌNH .3 KÀT QUÀ GIAO DIÈN .4 ĐÁNH GIÁ HÈ THàNG .1 Đánh giá phÁn cćng .2 Đánh giá phÁn mÃm .3 Đánh giá tång quan .48 CH¯¡NG 5 KÀT LUÀN VÀ H¯âNG PHÁT TRIÄN .2 H¯âNG PHÁT TRIÄN .49 PHĂ LĂC Mà NGUâN CH¯¡NG TRÌNH .51 TÀI LIÈU THAM KHÀO .52 vi DANH MĀC HÌNH ÀNH Hình 2.1 NhÁn diÉn đái t°āng .2 S¢ đã kiÁn trúc m¿ng YOLO .3 Nguyên lí ho¿t đáng nhÁn diÉn cąa YOLO.5 HiÉu su¿t cąa YOLO v8 so vãi phiên bÁn tr°ãc .6 KiÁn trúc mô hình YOLO v8. 7 Các phiên bÁn cąa YOLOv8 đ°āc đánh giá theo COCO .9 PhÁn mÃm Arduino IDE .1 Mô hình tång quát cąa hÉ tháng.2 S¢ đã khái cąa hÉ tháng .3 Arduino UNO R3 trong thực tÁ .4 Mô-đun r¢-le điÃu khiÅn có 4 kênh .5 S¢ đã nguyên lí cąa mô-đun r¢-le 4 kênh .6 S¢ đã nguyên lí kÁt nái Arduino R3 và mô-đun r¢-le 4 kênh.7 L°u đã cho toàn hÉ tháng. 8 L°u đã thu thÁp và xā lí tÁp dữ liÉu .9 Các cā chỉ tay t°¢ng ćng vãi 4 kênh điÃu khiÅn .10 Hình Ánh gán nhãn "on2" trên công că MakeSense .11 Các phiên bÁn tăng c°ång dữ liÉu .12 Phân chia tÁp dữ liÉu. 13 L°u đã lựa chán và hu¿n luyÉn mô hình.14 KiÁn trúc mô hình YOLOv8n theo th° viÉn ultralytics .15 Resize Ánh và kích th°ãc 640x640.
16 L°u đã điÃu khiÅn thiÁt bß vãi cā chỉ t°¢ng ćng .17 L°u đã cho hàm hiÅn thß .1 Tång quan mô hình hoàn thiÉn và cång đÁu ra điÃu khiÅn .2 KÁt nái giữa máy tính và mô hình .3 PhÁn cćng bên trong mô hình .5 Đã thß PR-Curve .8 Giao diÉn khi nhÁn d¿ng đ°āc và các thiÁt bß đ°āc bÁt .9 Giao diÉn khi nhÁn d¿ng đ°āc và các thiÁt bß đ°āc tÃt. 10 Các cā chỉ tay đ°āc nhÁn diÉn chính xác. 11 NhÁn diÉn nhÁm l¿n hoÁc không nhÁn diÉn đ°āc. 12 Nhãn cā chỉ nhÁn diÉn trùng vãi cā chỉ khác .47 viii DANH MĀC BÀNG BIÂU BÁng 3.1 Thông sá kā thuÁt cąa Arduino UNO R3.1 Thực nghiÉm đánh giá hiÉu su¿t nhÁn diÉn các nhãn khoÁng cách 0.2 Thực nghiÉm đánh giá hiÉu su¿t nhÁn diÉn các nhãn khoÁng cách 1.
45 ix CÁC TĆ VI¾T TÀT RCNN Region-Based Convolutional Neural Networks CNN Convolutional Neural Networks YOLO You Only Look Once AP Average Precision IoU Intersection over Union x CH¯¡NG 1 TâNG QUAN 1.1 GIàI THIÞU Trong thåi đ¿i công nghÉ phát triÅn nhanh chóng, trí tuÉ nhân t¿o đã phát triÅn v°āt bÁc, làm thay đåi nhiÃu khía c¿nh trong đåi sáng và sinh ho¿t cąa con ng°åi, tÿ đó t°¢ng tác giữa con ng°åi và máy tính đã trç thành mát lĩnh vực nghiên cću đÁy tiÃm năng. Mát trong những ćng dăng nåi bÁt cąa sự tiÁn bá này là khái niÉm "nhà thông minh". Nhà thông minh không chỉ đ¢n thuÁn là tự đáng hóa các thiÁt bß điÉn tā mà còn tích hāp các hÉ tháng nhÁn diÉn và điÃu khiÅn tiên tiÁn nh° giáng nói, cā chỉ và thÁm chí là biÅu cÁm khuôn mÁt, mang l¿i những trÁi nghiÉm hoàn toàn mãi cho ng°åi dùng. Nhà thông minh, hay "smart home", là mát hÉ tháng các thiÁt bß kÁt nái vãi nhau qua internet, cho phép ng°åi dùng điÃu khiÅn và giám sát tÿ xa thông qua điÉn tho¿i di đáng hoÁc máy tính bÁng.
HÉ tháng này bao gãm các thiÁt bß nh° đèn chiÁu sáng, điÃu hòa nhiÉt đá, hÉ tháng an ninh, thiÁt bß nhà bÁp, và nhiÃu thiÁt bß khác. Những tiÉn ích mà nhà thông minh mang l¿i không chỉ dÿng ç viÉc tái °u hóa năng l°āng và tiÁt kiÉm chi phí, mà còn góp phÁn nâng cao ch¿t l°āng cuác sáng, đem đÁn sự thoÁi mái và tiÉn nghi cho ng°åi sā dăng. Mát trong những ph°¢ng pháp điÃu khiÅn các thiÁt bß trong nhà thông minh đang nhÁn đ°āc sự quan tâm lãn tÿ cáng đãng nghiên cću và ng°åi dùng cuái là điÃu khiÅn bằng cā chỉ tay. So vãi các ph°¢ng pháp truyÃn tháng nh° nút b¿m hoÁc điÃu khiÅn tÿ xa, viÉc điÃu khiÅn bằng cā chỉ tay mang l¿i sự trực quan và tự nhiên h¢n, đãng thåi t¿o ra trÁi nghiÉm ng°åi dùng thân thiÉn h¢n.
ĐÁc biÉt, đái vãi ng°åi cao tuåi hoÁc ng°åi khuyÁt tÁt, ph°¢ng pháp này cung c¿p mát cách t°¢ng tác dÇ dàng và tiÉn lāi h¢n, giúp há thực hiÉn các thao tác mà không cÁn tiÁp xúc vÁt lý vãi thiÁt bß.