Luận văn Thạc sĩ: Thưa hóa mạng học sâu và ứng dụng trong phát hiện đối tượng

Nghiên cứu chuyên sâu Luận văn thưa hóa mạng học sâu và ứng dụng trên YOLO góp phần nâng cao kiến thức chuyên ngành và ứng dụng cho giáo dục đào tạo

• Tác giả: Dương Việt Hùng
• Người hướng dẫn: TS. Đinh Viết Bằng
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Thưa hóa mạng học sâu và ứng dụng trên YOLO
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Tóm tắt

I. Khái Niệm Về Thưa Hóa Mạng Học Sâu

Thưa hóa mạng học sâu là một kỹ thuật quan trọng trong lĩnh vực học máy và trí tuệ nhân tạo. Phương pháp này nhằm giảm số lượng tham số trong mạng nơ-ron nhân tạo mà vẫn duy trì độ chính xác cao. Kỹ thuật thưa hóa giúp tối ưu hóa hiệu năng tính toán, giảm bộ nhớ lưu trữ và tăng tốc độ thực thi của các mô hình mạng nơ-ron sâu. Trong bối cảnh các mô hình học sâu ngày càng phức tạp, việc áp dụng thưa hóa mạng trở nên cần thiết để triển khai thực tế trên các thiết bị có tài nguyên hạn chế. Luận văn này tập trung vào phương pháp Dropout biến phân - một kỹ thuật hiệu quả cho việc thưa hóa mạng nơ-ron và ứng dụng của nó trong các mô hình phát hiện đối tượng hiện đại.

1.1. Định Nghĩa Thưa Hóa Mạng Nơ Ron

Thưa hóa mạng nơ-ron là quá trình loại bỏ hoặc làm giảm tầm quan trọng của các kết nối và tham số trong mạng học sâu. Kỹ thuật này giảm độ phức tạp của mô hình, làm cho mô hình trở nên nhẹ hơn và dễ triển khai. Các phương pháp thưa hóa phổ biến bao gồm cắt tỉa trọng số, dropout và các kỹ thuật tối ưu hóa khác nhằm đạt được cân bằng tối ưu giữa hiệu suất và độ chính xác.

1.2. Ứng Dụng Của Thưa Hóa Trong Deep Learning

Ứng dụng thưa hóa mạng mang lại nhiều lợi ích thiết thực. Giảm kích thước mô hình giúp triển khai trên thiết bị di động, IoT và các hệ thống nhúng. Cải thiện tốc độ suy luận, giảm tiêu thụ năng lượng, và làm giảm chi phí tính toán là những lợi ích chính. Trong các bài toán thực tế như phát hiện đối tượng, thưa hóa cho phép các mô hình YOLO chạy hiệu quả hơn mà vẫn giữ độ chính xác cao.

II. Phương Pháp Dropout Biến Phân Trong YOLO

Dropout biến phân (Variational Dropout) là một phương pháp tiên tiến trong việc thưa hóa mạng học sâu, đặc biệt hiệu quả khi áp dụng vào các mô hình phát hiện đối tượng như YOLOv3, YOLOv4 và YOLOv5. Phương pháp này sử dụng cơ chế ngẫu nhiên để loại bỏ các kết nối không cần thiết trong mô hình, từ đó giảm số lượng tham số. Không giống như dropout thông thường, dropout biến phân áp dụng cùng một mặt nạ (mask) cho toàn bộ thời gian hoặc tầng, giúp bảo toàn thông tin cấu trúc. Khi kết hợp với các mô hình YOLO hiện đại, phương pháp này cho phép giảm đáng kể độ phức tạp tính toán mà chỉ mất một lượng nhỏ độ chính xác trong phát hiện đối tượng.

2.1. Nguyên Lý Hoạt Động Của Dropout Biến Phân

Dropout biến phân hoạt động bằng cách áp dụng các mặt nạ dropout nhất quán trên các chiều khác nhau của dữ liệu. Khác với dropout tiêu chuẩn, phương pháp này duy trì sự thưa hóa theo một mô hình cố định, giúp mô hình học được các đặc trưng tương quan tốt hơn. Quá trình này giảm quá khớp trong mạng nơ-ron, đồng thời cải thiện khả năng tổng quát hóa của mô hình.

2.2. Ứng Dụng Với Các Mô Hình YOLO

Các mô hình YOLOv3, YOLOv4, YOLOv5 là những kiến trúc tiên tiến cho phát hiện đối tượng. Khi áp dụng dropout biến phân, các mô hình này được thưa hóa ở các mức khác nhau (50%, 80%, 90%, 95%, 98%). Kết quả thí nghiệm cho thấy, thưa hóa 50% giữ nguyên độ chính xác gần như tuyệt đối, trong khi thưa hóa mức cao hơn vẫn duy trì hiệu suất tốt. Phương pháp này đặc biệt hiệu quả cho phát hiện người và phát hiện phương tiện.

III. Kỹ Thuật Thưa Hóa Nâng Cao Cho Mạng Nơ Ron

Ngoài dropout biến phân, luận văn cũng khám phá các phương pháp thưa hóa mạng nơ-ron khác như cắt tỉa theo biên độ (magnitude pruning). Các kỹ thuật này hoạt động bằng cách xác định và loại bỏ các tham số có trọng số nhỏ, những tham số ít đóng góp vào kết quả dự đoán của mạng học sâu. Sự kết hợp các phương pháp thưa hóa khác nhau tạo ra một cách tiếp cận toàn diện để tối ưu hóa mô hình. Những kỹ thuật này đặc biệt hữu ích trong phát hiện đối tượng khi cần chạy các mô hình trên thiết bị phần cứng có tài nguyên hạn chế, từ đó cải thiện tốc độ thực thi mà vẫn đảm bảo độ chính xác cao.

3.1. Cắt Tỉa Theo Biên Độ Trong Thực Tế

Cắt tỉa theo biên độ là một phương pháp đơn giản nhưng hiệu quả để thưa hóa mạng nơ-ron. Phương pháp này loại bỏ các kết nối có trọng số dưới một ngưỡng nhất định, giảm số lượng tham số mà không ảnh hưởng đáng kể đến hiệu suất. Kỹ thuật này thường được áp dụng sau khi huấn luyện mô hình, làm cho quá trình tối ưu hóa trở nên linh hoạt hơn.

3.2. Tối Ưu Hóa Mô Hình Phát Hiện Đối Tượng

Khi áp dụng các phương pháp thưa hóa vào YOLO và các mô hình phát hiện đối tượng khác, cần cân bằng giữa tốc độ xử lý và độ chính xác. Luận văn chứng minh rằng thưa hóa 50% vẫn giữ được độ chính xác cao, trong khi thưa hóa 80-95% vẫn cho kết quả chấp nhận được. Điều này mở ra khả năng triển khai mạng học sâu trên các thiết bị di động và hệ thống nhúng.

IV. Kết Quả Thí Nghiệm Và Đánh Giá Hiệu Suất

Luận văn thực hiện các thí nghiệm toàn diện trên hai bộ dữ liệu chính: phát hiện người và phát hiện phương tiện. Các mô hình YOLOv3, YOLOv4, YOLOv5 được áp dụng dropout biến phân ở các mức thưa hóa khác nhau. Kết quả cho thấy, thưa hóa 50% giữ được 98% độ chính xác ban đầu, thưa hóa 80% giữ 95%, và thưa hóa 90% vẫn đạt 92%. Thậm chí với thưa hóa 98%, mô hình vẫn duy trì độ chính xác chấp nhận được. Các kết quả này chứng minh hiệu quả của phương pháp thưa hóa mạng trong việc giảm kích thước mô hình và thời gian suy luận mà không ảnh hưởng quá nhiều đến hiệu suất dự đoán.

4.1. Đánh Giá Độ Chính Xác Mô Hình Thưa Hóa

Việc đánh giá độ chính xác của các mô hình YOLO sau thưa hóa được thực hiện bằng các chỉ số như Precision, Recall, F1-Score. Bảng kết quả cho thấy các mô hình duy trì hiệu suất cao ngay cả khi thưa hóa ở mức 80-90%. Điều này cho thấy tính khả thi của phương pháp dropout biến phân trong thực tế.

4.2. Ứng Dụng Thực Tiễn Và Triển Khai

Với các kết quả tích cực, thưa hóa mạng học sâu có thể được triển khai trên các thiết bị phần cứng giới hạn. Các mô hình YOLO được tối ưu hóa có khả năng chạy nhanh hơn 3-5 lần với bộ nhớ giảm 50-80%. Ứng dụng trong hệ thống giám sát, phát hiện người, phát hiện phương tiện trở nên khả thi và hiệu quả hơn.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 11 Giới thiệu 'Vào năm 1998, Yann LeCun céng bố mô hình mạng LeNet-5 [1]. Kế từ đó đến nay tĩnh vực học sâu ngày cảng được biết đến nhiều hơn. Những năm gân đây với sự phát triển của năng lực tính toán củng lượng đờ liệu đổi đảo và ngày cảng, nhiều người nghiên cứu lĩnh vục học sâu hơn, các mô hình mạng mới đã liên tục được ra đời. Vào nam 2012, AlexNet [2] với những phát hign vé ham Sigmoid va Dropout trong mang học sâu đã lao tiên ruột bước ngoặt ruới cho hướng nghiên cửu này.

Tiếp theo dó, hai mô hình GaogleNet [3] và VGGNet [| là hai cột mốc tiếp theo trong lĩnh vục mạng, Tioeron nhân tạo, hai mô hình này là cơ sở cho rất nhiêu bài bảo nghiền cửu và ứng, dụng sau nảy. Hai mô hình đã chứng mình dược việc sử dụng cảng nhiều lớp tích chập, tăng cường độ sâu của rạng sẽ đem lại kết quả tốt hơn. Tuy nhiên việc tăng độ sâu của mạng mang đến mét van dé khac, dé 1a gradient disappearance va gradient explosion. M6 Linh ResNet [5] ra doi mam 2015 da gidi quyét van để này với một kiến trúc mới duge goi 14 Residual block.

Tiếp theo đỏ hàng loạt các mô hình khác được sáng tạo ra nhằm mục đích tôi giản mạng no-ron, giảm năng lực tỉnh toán cũng, thư lưu trú của mạng rhhư ShufTfleNet và MobileNel [6] Ngày nay công nghệ học máy, học sâu đã không còn xa lạ với mọi người. Học sâu đang ngày một chứng minh được khả năng vượt trội của mình trong các bài toán ninr xử lý ảnh, xử lý ngôu ngữ tự nhuên, xử lý tiếng nói. Để đại được kết quả ấn tượng đó kích trước mô hình cũng ngày một lớn lên, cộng thêm với lượng đữ liệu ngày một đôi đào. Số hượng tham số của các mô hình học sâu trong xửlý ảnh hiện nay có thế lên tới cả trăm triệu thaun số, với mô hình xử lý ngôn ngữ tự nhiên có thể lên tới 175 tỉ tham số như mô hình GP1-3 [7].

Điều nay khiến cho tải nguyên tính toán để huấn lưyện cũng như ứng đụng cáo mô hình trên vào thực tế ngày oàng trở nên tốn kém hơn. Thưa hóa mạng trong những năm sân đây đang là một phương pháp rât hiệu quả để giải quyết vẫn đề trên. 12 Khải niệm thưa hóa mang Thưa hóa mạng là một trong nhiêu kĩ thuật tôi ru hóa. Mie tiêu cửa việc tối ưu là giúp giảm kích thước tuô hình và ng tốc độ xử lý Thưa hóa mạng là phương pháp làm cho một phần lớn các số lượng tham số trong, inang vé gid iri 0, từ đó có thế dưa những tham số này ra khỏi mạng trong khi không làm ánh hướng quả nhiều tới độ chính xác của mồ hình, Nhờ đỏ mô hình học sâu có thé bé qua nhiều kết nội trong mạng, giảm được dung lượng lưu trủ, cùng với việc thổ trợ từ phần cứng [8] sẽ giúp mô hình tăng tốc đáng kế.

Điều này rất có ý nghĩa trong việc ứng dụng các mô ảnh học sâu vào thực tế, khú ebi phi cũng như tải nguyên tinh toan là hạn chế. Thưa hóa mạng có thể cha thành bai loại, thưa hóa có cầu trúc (glruetired sparsity) và thưa hóa không có cầu trúc (ưnstructured sparsity). Thưa hóa có cầu trúc tập trung, vào việc xóa bỏ toàn bộ lớp mạng hay khái trong câu trúc tham số; trang khi đó thưa 1 CHƯƠNG 2.1 Giới thiệu học sâu Trong những năm qua, thuật ngữ "deep learning" (học sâu) đã dần len lỏi trong các cuộc hội thảo khi bản về trí tuệ nhân tạo (AI), dữ liêu lớn (Big Data) và phân tích (Analyties). Đây lả một cách tiếp cận đây hứa hẹn tới AI khi phát triển các hệ thông tựtrị, tự học, những thử đang cách mạng hỏa nhiêu ngảnh công nghiệp.

Trí tuệ nhân tạo Mọi kỹ thuậtcho phép máy tính bắt chướchành vi cia con người Học máy Tập hợp các kỹ thuật AI sử dụng nhiều phương pháp thống KÊ cho phép máy tinh tự cải thiện bằng kinh nghiệm Học sâu Một phần nhỏ của học máy, với mục đích biến việc tính toán của các mạng thần kinh. đa lớp trở nên khả thì Hinh 2.1 Giới thiệu học sâu Neu coi ta hoc may (machine leaming) la céng nghé tién tien nhat, thì học sâu là "tiên tiền của tiên tiền". Học máy lây một vải ý tưởng cót lõi của trí tuê nhân tạo và tập trung vào việc giải quyết các vẫn đề thể giới thực với các mạng thần kinh được thiết kế đề bắt chước khả năng đưa ra quyết định của chúng ta. Học sâu, đủng như tên gọi của nó, đi sâu hơn nữa vảo một tập hợp các cỏng cụ va kỹ thuật học máy, từ đó ap dụng chúng đề giải quyết bất kỳ vấn đề nào đỏi hỏi "khả năng tư duy" — con người hay nhân tạo.

Vẻ cơ bản, học sâu là cho một hệ thông máy tính tiêu thụ rất nhiều dữ liệu, đề chúng có thể sử dụng và đưa ra các quyết định vẻ những dữ liệu khác. Dữ liêu này được nap thông qua các mạng thân kinh, tương tự như học máy. mang Jui nay — các cầu trúc logic yêu cầu một loạt các câu hỏi đúng/sai, hoặc trích xuất một giả trị số, của mỗi bịt dữ liệu đi qua chúng vả phân loại theo các câu trả lời nhận được Vi công việc của học sâu lả tập trung phát triển những mạng lưới nảy, chúng đã trở thành "mạng thân kinh sâu" — những mang logic phức tạp cần thiết để xử lý các bộ dữ liệu lớn, như thư viên hình ảnh của Google hay Instagram. Với các bộ dữ liệu toàn điện như vậy, và các mạng logic phức tạp đẻ xử lý phân loại chúng, việc một chiếc mảy tính lây một hình ảnh và nhận dạng với độ chính xác cao trở nên "quá đối bình thường".

thực nghiêm; sau đó là đánh giá nhận xét kết quả đạt được. Chương 5 luận vẫn sẽ ra các kết luận đạt được của nghiên cứu cũng như các hưởng nghiên cửu tiếp theo của bài toán.1 Giới thiệu học sâu Trong những năm qua, thuật ngữ "deep learning" (học sâu) đã dần len lỏi trong các cuộc hội thảo khi bản về trí tuệ nhân tạo (AI), dữ liêu lớn (Big Data) và phân tích (Analyties). Đây lả một cách tiếp cận đây hứa hẹn tới AI khi phát triển các hệ thông tựtrị, tự học, những thử đang cách mạng hỏa nhiêu ngảnh công nghiệp. Trí tuệ nhân tạo Mọi kỹ thuậtcho phép máy tính bắt chướchành vi cia con người Học máy Tập hợp các kỹ thuật AI sử dụng nhiều phương pháp thống KÊ cho phép máy tinh tự cải thiện bằng kinh nghiệm Học sâu Một phần nhỏ của học máy, với mục đích biến việc tính toán của các mạng thần kinh.

đa lớp trở nên khả thì Hinh 2.1 Giới thiệu học sâu Neu coi ta hoc may (machine leaming) la céng nghé tién tien nhat, thì học sâu là "tiên tiền của tiên tiền". Học máy lây một vải ý tưởng cót lõi của trí tuê nhân tạo và tập trung vào việc giải quyết các vẫn đề thể giới thực với các mạng thần kinh được thiết kế đề bắt chước khả năng đưa ra quyết định của chúng ta. Học sâu, đủng như tên gọi của nó, đi sâu hơn nữa vảo một tập hợp các cỏng cụ va kỹ thuật học máy, từ đó ap dụng chúng đề giải quyết bất kỳ vấn đề nào đỏi hỏi "khả năng tư duy" — con người hay nhân tạo. Vẻ cơ bản, học sâu là cho một hệ thông máy tính tiêu thụ rất nhiều dữ liệu, đề chúng có thể sử dụng và đưa ra các quyết định vẻ những dữ liệu khác.

Dữ liêu này được nap thông qua các mạng thân kinh, tương tự như học máy. mang Jui nay — các cầu trúc logic yêu cầu một loạt các câu hỏi đúng/sai, hoặc trích xuất một giả trị số, của mỗi bịt dữ liệu đi qua chúng vả phân loại theo các câu trả lời nhận được Vi công việc của học sâu lả tập trung phát triển những mạng lưới nảy, chúng đã trở thành "mạng thân kinh sâu" — những mang logic phức tạp cần thiết để xử lý các bộ dữ liệu lớn, như thư viên hình ảnh của Google hay Instagram. Với các bộ dữ liệu toàn điện như vậy, và các mạng logic phức tạp đẻ xử lý phân loại chúng, việc một chiếc mảy tính lây một hình ảnh và nhận dạng với độ chính xác cao trở nên "quá đối bình thường". hóa không có cấu trắc gỏ tỉnh lnh hoạt hơn, chỉ xóa bố các than số đơn lề, không, cần thiết trong mạng.

J2o dõ thưa hóa không có cấu trúc sẽ giúp cho mô hình không, tị ảnh hưởng về độ chính xác quá nhiều, nhưng sẽ làm giảm tính hiệu quả trong tính toan sang song cũng như việc hỗ trợ của các thư viên học sâu cũng bị hạn chế.3 Ung dung cita việc thưa hóa DNN Ngày nay các mô hình mạng học sâu đang ngảy cảng, chính xác hơn và đạt được nhiều kết quả rất ân tượng, Kéo theo đó kích thước các mô hình cũng đang ngày một lớn. thơn, đôi hỏi cần nhiều nắng lực tính toán, xử lý và lưu trữ. Phương pháp thưa hóa mô tủnh mạng học sâu trong những năm gần day đang được tập trung nghiền cứu nhiều thon như một giải pháp cho van dé trên. Thưa hỏa mạng giúp cho các mô hình học sâu giãm được kích thước, tăng tốc độ xử lý, tối mà lài nguyên phan cứng trong khi đô chính xác của mô hình giảm không dàng kể, Các hãng phần cứng cũng như phần xnểm trong những năm gan day đang tập trung khá nhiều nguồn lực cho bài toán nảy, + Google gân đây cho ra mắt TenscrFlow Model Optimization Toolkit, một công cụ hễ trợ chuyên biệt cho pruning mô hình vả lượng tử hóa mô hình.

Với pruning mô hình hiện tại công cụ này mới chí ở mức giảm kich thước mô hình, còn vấn đề cài thiện tốc độ hiện vẫn đang trong lộ trình. «_ Xilinx dã mua lại một công ty khởi nghiệp của Trung Quốc chuyên về nên mô hình họo sâu là Deephi. Xiinx hiện đang cưng cap DNNDK™ (Deep Neural Network Development Kit) dé chuyén đổi và triển khai các mồ hình mạng học sâu lên chip FPGA của hãng. Công cụ nảy cũng bao gồm cá phần thưa hóa và nén mô hình mạng, vừa giảm kích thước mô hình, vừa tầng tốc tỉnh toàn.

+ _ NVIDLA cũng cưng cấp tính năng thua hỏa vả nén mạng học sâu qua bộ công, cu NVIDIA Transfer Learning Toolkit. Dang chip GPU [8] Ampere thé ha mới của hãng cũng đã được thiết kế và hỗ trợ tăng tốc xử lý cho các mạng thưa hóa 1⁄4.