BÞ GIÁO DþC VÀ ĐÀO T¾O TR¯àNG Đ¾I HàC QUÀN LÝ VÀ CÔNG NGHÞ HÀI PHÒNG ---------------------------------------------- Đà ÁN TÞT NGHIÞP NGÀNH: CÔNG NGHÞ THÔNG TIN Sinh viên : Ph¿m Thị Ngọc Anh GiÁng viên h°ßng d¿n: TS. Ngô Tr°áng Giang HÁi Phòng -2023 Ph¿m Thị Ngọc Anh _ CT2301M 1 BÞ GIÁO DþC VÀ ĐÀO T¾O TR¯àNG Đ¾I HàC QUÀN LÝ VÀ CÔNG NGHÞ HÀI PHÒNG ----------------------------------- ĐÀ TÀI : PHÂN ĐO¾N NGĂ NGH)A SĀ DþNG M¾NG N¡-RON TÍCH CHÀP Đà ÁN TÞT NGHIÞP Đ¾I HàC HÞ CHÍNH QUY NGÀNH : CÔNG NGHÞ THÔNG TIN Sinh viên : Ph¿m Thị Ngọc Anh GiÁng viên h°ßng d¿n: TS. Ngô Tr°áng Giang HÁi Phòng – 2023 Ph¿m Thị Ngọc Anh _ CT2301M 2 BÞ GIÁO DþC VÀ ĐÀO T¾O TR¯àNG Đ¾I HàC QUÀN LÝ VÀ CÔNG NGHÞ HÀI PHÒNG ---------------------------------------------- NHIÞM Vþ ĐÀ TÀI TÞT NGHIÞP Sinh viên : Ph¿m Thị Ngọc Anh - MSV : 1912111012 Lßp : CT2301M Ngành : Công nghá thông tin Tên đÁ tài : Phân đo¿n ngā ngh*a sÿ dāng m¿ng n¢-ron tích chÁp Ph¿m Thị Ngọc Anh _ CT2301M 3 LàI CÀM ¡N Trong quá trình làm đß án vừa qua vì đ°ÿc sự chỉ d¿n nhiát tình cÿa thÁy TS. Ngô Tr°áng Giang – Tr°áng Đ¿i học QuÁn lý và Công nghá HÁi Phòng, em đã hoàn thành đß án cÿa mình.
Mặc dù em đã cố gắng vßi sự tÁn tâm cÿa thÁy, nh°ng vì thái gian và khÁ năng nên đß án cÿa em v¿n còn không tránh đ°ÿc nhāng điÅu thiÃu sót. Em xin chân thành và bày tỏ lòng biÃt ¢n sâu sắc đÃn thÁy Ngô Tr°áng Giang vì đã tÁn tình chỉ bÁo, h°ßng d¿n và giành thái gian quý báu cÿa mình cho em trong thái gian qua để em có thể hoàn thành đß án cÿa mình đúng thái h¿n. Em xin cÁm ¢n t¿t cÁ thÁy cô giáo trong khoa Công nghá thông tin vì đã truyÅn đ¿t cho em r¿t nhiÅu các kiÃn thāc nÅn tÁng, chuyên ngành, chuyên môn và chuyên sâu cực kì vāng chắc trong nhāng năm qua để em có thể hoàn thành đ°ÿc đß án này. Em xin cÁm ¢n Tr°áng Đ¿i học QuÁn lý và Công nghá HÁi Phòng vì không ngừng hỗ trÿ và đào t¿o nhāng điÅu kián tốt nh¿t trong nhāng năm vừa qua để em có thể học và thực hián tốt đß án.
Em xin cÁm ¢n gia đình, b¿n bè đã hỗ trÿ và cá vũ cho em trong suốt quá trình học tÁp cũng nh° làm đß án để em có thể hoàn thành khoá học và đß án theo quy định. Em xin chân thành cÁm ¢n ! Ph¿m Thị Ngọc Anh _ CT2301M 4 MþC LþC LàI CÀM ¡N. 1 DANH MĀC HÌNH VÀ. 9 CH¯¡NG 1 : TàNG QUAN VÄ PHÂN ĐO¾N ÀNH .1 Xÿ lý Ánh là gì .3 Phân đo¿n Ánh ngā ngh*a .1 Phân đo¿n ngā ngh*a là gì .2 Các lo¿i phân đo¿n hình Ánh khác nhau.4 Một số āng dāng.
17 CH¯¡NG 2: M¾NG N¡ RON NHÂN CHÀP .1 KiÃn trúc m¿ng n¢ ron .3 M¿ng n¢ ron tích chÁp ( Convolutional Neural Netwwork – CNN ) .1 Định ngh*a m¿ng n¢ ron tích chÁp .2 Các lßp c¢ bÁn cÿa m¿ng CNN.4 KiÃn trúc m¿ng CNN .5 Một số c¿u trúc m¿ng CNN .1 KiÃn trúc LeNet-5 .2 KiÃn trúc AlexNet .3 KiÃn trúc VGG-16 .4 KiÃn trúc Inception ( GoogLeNet) .2 KiÃn trúc U-Net. 42 CH¯¡NG 3: ĀNG DĀNG CNN CHO PHÂN ĐO¾N NGĀ NGH)A .1 Môi tr°áng và cài đặt .2 Cài đặt môi tr°áng Google Colab .3 Các th° vián sÿ dāng.2 Lựa chọn mô hình thÿ nghiám .1 Xây dựng tÁp dā liáu thÿ nghiám. 47 Ph¿m Thị Ngọc Anh _ CT2301M 5 3.2 B°ßc hu¿n luyán và l°u mô hình .3 Đánh giá mô hình .1 KÃt quÁ kiểm thÿ trong tÁp dā liáu test .2 Kiểm thÿ trên một Ánh. 55 TÀI LIàU THAM KHÀO.
57 Ph¿m Thị Ngọc Anh _ CT2301M 6 DANH MþC HÌNH VẼ Hình 1.1 Quá trình xÿ lý Ánh .2 Các b°ßc c¢ bÁn trong một há thống xÿ lý Ánh .3 Gán nhãn cho từng pixel trong Ánh .4 NhÁn d¿ng khuôn mặt .1 Mô tÁ m¿ng n¢ ron sinh học .2 Mô hình perceptron .3 Đß thị hàm singmoid .4 Mô hình perceptron chi tiÃt .5 KiÃn trúc m¿ng n¢ ron .7 Max pooling và Average pooling .9 M¿ng n¢ ron thông th°áng ( trái ) và CNN ( phÁi ) .10 KiÃn trúc m¿ng CNN .11 Ví dā vÅ phép tích chÁp.12 Hình Ánh minh ho¿ ma trÁn đÁu vào sau khi thêm padding = 1 vßi giá trị bằng 0 .13 Hình Ánh RGB và Ánh xám .14 Phép gộp l¿y giá trị lßn nh¿t .15 Ví dā minh ho¿ khi làm phẳng feature map để đ°a vào lßp kÃt nối đÁy đÿ .16 Sự phát triển cÿa m¿ng n¢-ron tích chÁp .17 Mô hình kiÃn trúc LeNet-5.18 Mô hình kiÃn trúc AlexNet .19 Hình mô tÁ cách thāc ho¿t động cÿa VGG-16. 38 Ph¿m Thị Ngọc Anh _ CT2301M 7 Hình 2.20 Mô hình kiÃn trúc AGG-16 .21 Mô hình d¿ng cell cÿa kiÃn trúc Inception.22 Mô hình kiÃn trúc Inception .23 KiÃn trúc mô hình U-Net .25 KiÃn trúc mô hình U-Net .3 Ành đ°ÿc gán nhãn .4 Một số cặp Ánh cùng nhãn .7 KÃt quÁ test 1 Ánh riêng. 54 Ph¿m Thị Ngọc Anh _ CT2301M 8 Mâ ĐÀU Phân đo¿n ngā ngh*a (semantics segmentation) là bài toán gán nhãn đối t°ÿng cho từng điểm Ánh và từ đó có thể phân biát chính xác Ánh cÿa đối t°ÿng cÁn quan tâm so vßi Ánh cÿa các đối t°ÿng khác hoặc Ánh nÅn. Māc tiêu là phân tích một Ánh thành các đối t°ÿng có ý ngh*a, để máy tính dß dàng hiểu đ°ÿc các thông tin chāa trong Ánh.
CNN là từ viÃt tắt cÿa cām Convolutional Neural Network hay là m¿ng n¢ ron tích chÁp. Đây là mô hình vô cùng tiên tiÃn đ°ÿc áp dāng nhiÅu trong l*nh vực học sâu Deep learning. M¿ng CNN cho phép ng°ái dùng xây dựng nhāng há thống phân lo¿i và dự đoán vßi độ chính xác cực cao. Hián nay, m¿ng CNN đ°ÿc āng dāng nhiÅu h¢n trong xÿ lý Ánh, cā thể là nhÁn dián đối t°ÿng trong Ánh.
Tích chÁp là một khái niám trong xÿ lý tín hiáu số nhằm biÃn đái thông tin đÁu vào thông qua một phép tích chÁp vßi bộ lọc để trÁ vÅ đÁu ra là một tín hiáu mßi. Tín hiáu này sÁ làm giÁm nhāng đặc tr°ng mà bộ lọc không quan tâm và chỉ giā nhāng đặc tr°ng chính. M¿ng n¢ ron tích chÁp chúng r¿t hāu ích trong viác phân lo¿i hình Ánh vì chúng có thể trích xu¿t các đặc điểm liên quan từ hình Ánh, điểu này có lÿi cho viác phân lo¿i và nhÁn d¿ng hình Ánh. Biểu m¿u mßi dß xÿ lý h¢n mà không làm m¿t đi các đặc điểm quan trọng để đ°a ra dự đoán chính xác.
Công nghá CNN có khÁ năng phát triển m¿nh mÁ trong t°¢ng lai. Đây là lý do em chọn đÅ tài <Phân đo¿n ngā ngh*a sÿ dāng m¿ng n¢ ron tích chÁp = để triển khai. ĐÅ tài này sÁ tìm hiểu mô hình phân đo¿n ngā ngh*a Ánh sÿ dāng kiÃn trúc m¿ng n¢-ron tích chÁp sâu vßi các kỹ thuÁt liên quan và āng dāng, nội dung cÿa đß án bao gßm: Ch°¢ng 1 : Táng quan vÅ phân lo¿i Ánh Ch°¢ng 2 : M¿ng n¢ ron nhân chÁp Ch°¢ng 3 : Āng dāng CNN cho phân đo¿n ngā ngh*a Ph¿m Thị Ngọc Anh _ CT2301M 9 CH¯¡NG 1 : TỔNG QUAN VÀ PHÂN ĐO¾N ÀNH 1.1 Xā lý Ánh là gì Xÿ lý Ánh là quá trình khác thú vị khi biÃn đái hình Ánh thông th°áng sang d¿ng k* thuÁt số, sau đó tÁn dāng để t¿o ra nhāng thông tin hāu ích. Để làm điÅu này, há thống xÿ lý Ánh th°áng xem mọi bāc Ánh nh° một tín hiáu 2D và tiÃn hành các phép biÃn đái dựa trên các kỹ thuÁt đã đ°ÿc xác định tr°ßc.
Con ng°ái thu nhÁn thông tin qua các giác quan, trong đó thị giác đóng vai trò quan trọng nh¿t. Nhāng năm trã l¿i đây vßi sự phát triển cÿa phÁn cāng máy tính, xÿ lý Ánh và đß ho¿ đó phát triển một cách m¿nh mÁ và có nhiÅu āng dāng trong cuộc sống. Xÿ lý Ánh và đß ho¿ đóng một vai trò quan trọng trong t°¢ng tác ng°ái máy. Quá trình xÿ lý Ánh đ°ÿc xem nh° là quá trình thao tác Ánh đÁu vào nhằm cho ra kÃt quÁ mong muốn.
KÃt quÁ đÁu ra cÿa một quá trình xÿ lý Ánh có thể là một Ánh <tốt h¢n= hoặc một kÃt luÁn.1 Quá trình xÿ lý Ánh Ành có thể xem là tÁp hÿp các điểm Ánh và mỗi điểm Ánh đ°ÿc xem nh° là đặc tr°ng c°áng độ sáng hay một d¿u hiáu nào đó t¿i một vị trí nào đó cÿa đối t°ÿng trong không gian và nó có thể xem nh° một hàm n biÃn P(c1, c2,. Do đó, Ánh trong xÿ lý Ánh có thể xem nh° Ánh n chiÅu. S¢ đß táng quát cÿa một há thống xÿ lý Ánh minh họa nh° sau: Hình 1.2 Các b°ßc c¢ bÁn trong một há thống xÿ lý Ánh Ph¿m Thị Ngọc Anh _ CT2301M 10 1.2 Phân đo¿n Ánh Phân đo¿n Ánh ( hay còn gọi là phân vùng Ánh, tiÃng Anh Image segmentation ) là quá trình phân chia Ánh thành các vùng hoặc đối t°ÿng có tính ch¿t thoÁ mãn một tiêu chí xác định ( có sự t°¢ng đßng vÅ māc xám, kÃt c¿u, màu sắc, v.v) Māc độ chi tiÃt cÿa viác phân chia phā thuộc vào từng bài toán cÁn giÁi quyÃt. Phân đo¿n Ánh là một bài toán căn bÁn nh°ng cũng r¿t phāc t¿p trong chuỗi xÿ lý và phân tích Ánh nói chung bãi sự đa d¿ng trong định ngh*a cũng nh° tính ch¿t cÿa vùng hoặc đối t°ÿng quan tâm trong Ánh Thái kỳ đÁu cÿa thị giác máy tính, các giÁi thuÁt phân vùng Ánh ch°a quan tâm nhiÅu đÃn ngā ngh*a và thực thể đối t°ÿng cÁn xem xét.
Trong thái gian gÁn đây, phân vùng Ánh h°ßng đÃn phân tách Ánh thành các vùng, mỗi vùng có thể chāa một đối t°ÿng hoặc các thực thể cÿa một lßp đối t°ÿng nào đó. Ba bài toán th°áng gặp trong quá trình phân vùng Ánh đó là: − Phát hiện đối tượng: tìm bao đóng chāa các đối t°ÿng quan tâm (vd. − Phân vùng ngữ nghĩa (semantic segmentation): phân chia các điểm Ánh vào các lßp khác nhau. Các đối t°ÿng cùng một lßp sÁ thuộc cùng một vùng (vd.
mọi ng°ái trong Ánh thuộc một vùng). − Phân vùng thực thể (instance segmentation): phân chia các điểm Ánh vào các lßp nh°ng các đối t°ÿng cÿa cùng một lßp thì có nhãn khác nhau. Nh° vÁy mỗi thực thể cÿa một lßp đối t°ÿng sÁ đ°ÿc xác định là một vùng riêng biát (vd. mỗi ng°ái trong Ánh là một vùng).
Phân vùng Ánh là bài toán đ°ÿc đÅ cÁp và giÁi quyÃt từ nhāng năm 1970 trong các công bố cÿa Brice và Fenema. Năm 1974 Watanabe đÅ xu¿t kỹ thuÁt phân vùng Ánh dựa trên lấy ngưỡng. Năm 1978 Jack Sklandsky đÅ xu¿t kỹ thuÁt phân vùng Ánh dựa trên phát hiện biên.