Sử Dụng Mạng Học Sâu Cho Nhận Diện Tập Hợp Mở

Khóa luận tốt nghiệp khoa học máy tính nghiên cứu ứng dụng mạng học sâu trong nhận diện tập hợp mở, mang lại giải pháp hiệu quả cho bài toán này.

Chuyên ngành

Khoa học máy tính

Tác giả

Nguyễn Thị Ly

Người đăng

Ẩn danh

Thể loại

Khóa luận tốt nghiệp

2022

66
3
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CAM ĐOAN

LỜI CẢM ƠN

1. CHƯƠNG 1: TỔNG QUAN

1.1. Giới thiệu

1.2. Mô tả bài toán

1.3. Ứng dụng

1.4. Những thách thức

1.5. Mục tiêu, nội dung cụ thể và phương pháp thực hiện

1.5.1. Mục tiêu

1.5.2. Nội dung cụ thể

1.5.3. Đóng góp

1.6. Cấu trúc Khóa luận tốt nghiệp

2. CHƯƠNG 2: NGHIÊN CỨU LIÊN QUAN

2.1. Phương pháp Discriminative

2.2. Phương pháp tái tạo

3. CHƯƠNG 3: HƯỚNG TIẾP CẬN TRONG KHÓA LUẬN

3.1. Maximum Softmax Probability (MSP), Maximum Logit Score (MIS), Adversarial Reciprocal Point Learning (ARPL)

4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ

4.1. Môi trường và ngôn ngữ cài đặt

4.2. Mô hình huấn luyện, Kiến trúc MobileNetv3, Phương pháp đánh giá

4.3. Tập dữ liệu thực nghiệm

4.3.1. Chia dữ liệu

4.4. Xây dựng chương trình minh họa

4.4.1. Kiến trúc hệ thống

4.4.2. Giao diện chương trình

4.5. Thảo luận

5. CHƯƠNG 5: KẾT LUẬN

5.1. Kết luận

5.2. Hướng phát triển

PHỤ LỤC

A.1. Source code

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về Ứng Dụng Mạng Học Sâu Trong Nhận Diện Tập Hợp Mở

Mạng học sâu đã trở thành một công cụ mạnh mẽ trong việc nhận diện hình ảnh và phân loại đối tượng. Trong bối cảnh nhận diện tập hợp mở, các mô hình này phải đối mặt với thách thức lớn khi gặp phải các lớp chưa biết. Việc áp dụng mạng học sâu cho nhận diện tập hợp mở không chỉ giúp cải thiện độ chính xác mà còn mở rộng khả năng nhận diện cho các lớp không xác định.

1.1. Khái niệm về Nhận Diện Tập Hợp Mở

Nhận diện tập hợp mở (Open Set Recognition) là khả năng phân loại các đối tượng không nằm trong tập huấn luyện. Điều này đặc biệt quan trọng trong các ứng dụng thực tế, nơi mà các lớp mới có thể xuất hiện bất cứ lúc nào.

1.2. Tầm Quan Trọng của Mạng Học Sâu

Mạng học sâu cung cấp khả năng học tập từ dữ liệu lớn, giúp cải thiện độ chính xác trong việc nhận diện các lớp đã biết và chưa biết. Điều này mở ra nhiều cơ hội cho các ứng dụng trong lĩnh vực an ninh, y tế và tự động hóa.

II. Những Thách Thức Trong Nhận Diện Tập Hợp Mở

Mặc dù mạng học sâu mang lại nhiều lợi ích, nhưng việc nhận diện tập hợp mở vẫn gặp phải nhiều thách thức. Các mô hình thường bị giới hạn bởi các lớp đã biết, dẫn đến việc đưa ra dự đoán sai khi gặp phải lớp chưa biết.

2.1. Vấn Đề Dự Đoán Sai

Khi mô hình gặp phải lớp chưa biết, nó có thể đưa ra dự đoán sai lầm, gây ra hậu quả nghiêm trọng trong các ứng dụng thực tế. Điều này đòi hỏi các phương pháp mới để cải thiện khả năng nhận diện.

2.2. Giới Hạn của Dữ Liệu Huấn Luyện

Các mô hình học sâu thường được huấn luyện trên một tập dữ liệu cố định. Khi dữ liệu thực tế thay đổi, mô hình có thể không hoạt động hiệu quả, dẫn đến việc cần thiết phải cập nhật và cải tiến mô hình thường xuyên.

III. Phương Pháp Cải Tiến Mạng Học Sâu Cho Nhận Diện Tập Hợp Mở

Để giải quyết các thách thức trong nhận diện tập hợp mở, nhiều phương pháp đã được đề xuất. Các phương pháp này nhằm cải thiện khả năng của mạng học sâu trong việc nhận diện các lớp chưa biết.

3.1. Maximum Softmax Probability MSP

Phương pháp MSP giúp cải thiện độ chính xác bằng cách điều chỉnh ngưỡng dự đoán cho các lớp chưa biết. Điều này cho phép mô hình từ chối các dự đoán không chắc chắn.

3.2. Adversarial Reciprocal Point Learning ARPL

ARPL là một phương pháp mới giúp cải thiện khả năng nhận diện bằng cách sử dụng các điểm đối kháng để tăng cường khả năng phân loại của mô hình.

IV. Ứng Dụng Thực Tiễn Của Mạng Học Sâu Trong Nhận Diện Tập Hợp Mở

Mạng học sâu đã được áp dụng rộng rãi trong nhiều lĩnh vực, từ an ninh đến y tế. Việc nhận diện tập hợp mở giúp cải thiện độ chính xác và độ tin cậy của các hệ thống này.

4.1. Ứng Dụng Trong An Ninh

Trong lĩnh vực an ninh, việc nhận diện các đối tượng không xác định có thể giúp phát hiện các mối đe dọa tiềm ẩn, từ đó nâng cao khả năng bảo vệ.

4.2. Ứng Dụng Trong Y Tế

Trong y tế, mạng học sâu có thể giúp phát hiện các bệnh mới hoặc các triệu chứng chưa được biết đến, từ đó cải thiện chất lượng chăm sóc sức khỏe.

V. Kết Luận và Tương Lai Của Nhận Diện Tập Hợp Mở

Nhận diện tập hợp mở là một lĩnh vực đầy tiềm năng và thách thức. Việc cải tiến các mô hình mạng học sâu sẽ mở ra nhiều cơ hội mới trong việc nhận diện và phân loại đối tượng.

5.1. Tương Lai Của Mạng Học Sâu

Với sự phát triển không ngừng của công nghệ, mạng học sâu sẽ tiếp tục được cải tiến để đáp ứng nhu cầu ngày càng cao trong việc nhận diện tập hợp mở.

5.2. Hướng Nghiên Cứu Tiếp Theo

Các nghiên cứu tiếp theo sẽ tập trung vào việc phát triển các phương pháp mới và cải tiến các mô hình hiện tại để nâng cao khả năng nhận diện trong các tình huống thực tế.

Tóm tắt và mô tả trên trang này được tạo với sự hỗ trợ của AI. Nếu bạn thấy nội dung không chính xác hoặc có vấn đề, vui lòng Báo lỗi nội dung.

10/07/2025
Khóa luận tốt nghiệp khoa học máy tính sử dụng mạng học sâu cho nhận diện tập hợp mở

Trích đoạn nội dung tài liệu

Chương 1. TỔNG QUAN 7 HINH 1.4: Thách thức một số phương pháp cơ bản như Classification-reconstruction learning for open- set recognition (Yoshihashi et al.,2019 {19) và Class conditioned auto-encoder for open-set recognition (Oza Patel, 2019 (15) 1.5 Mục tiêu, nội dung cụ thé va phương pháp thực hiện 1.51 Mục tiêu Bài toán nhận diện tập hợp mở là một nút thắt quan trọng trong công cuộc đưa trí tuệ nhân tạo, máy học áp dụng vào cuộc sống thực tiễn của con người. Trong phạm vi khóa luận, em đặt ra mục tiêu cho ban thân 3 mục tiêu: thit nhất, tìm hiểu nghiên cứu 3 phương pháp giải quyết bài toán nhận diện tập mở đó là MSP, MLS, ARPL; thứ hai, thực nghiệm các phương pháp trên với bộ dữ liệu mới đó là Caltech101; thứ ba, phân tích và đánh giá kết quả trên thang đo AUROC và Accuracy.2 Nội dung cụ thé ¢ Tìm hiểu nội dung phương pháp: em sử dụng 4 lớp thuộc bộ di liệu Cal- tech101 huấn luyện mô hình với kiến trúc VGG32 và Mobilenetv3 cho cả 3 phương pháp MLS, MSP va ARPL sau đó sử dụng đồng thời bộ dữ liệu Ci- far100 và Caltech101 để đánh giá mô hình trên độ đó Acuracy và AUROC. Trong nội dung khóa luận em sẽ tìm hiểu các kiến thức nêu trên ® So sánh đánh giá: em chạy mô hình huấn luyện trên 4 lớp của bộ dữ liệu Caltech101 sau đó thực nghiệm mô hình trên một số lớp còn lại khác 4 lớp đã được lấy để huấn luyện và một phần của bộ dữ liệu Cifar100.

Sau đó tiền hành thu thập kết quả, đánh giá kết quả mô hình trên bộ dữ liệu mới từ đó nhật xét ưu nhược điểm của 3 phương pháp. ¢ Minh họa: em xây dung một ứng dung API demo, cho phép người dùng đưa vào 1 ảnh người dùng có thể điều chỉnh ngưỡng cho từng phương pháp để quyết định ảnh có thuộc về lớp được dự đoán hay không.3 Dong góp Xuyên suốt 6 tháng nghiên cứu về bài toán nhận diện tập mở em đã tiến hành thực nghiệm trên một bộ dữ liệu mới cho bài toán là Caltech101. Em đã tăng số lượng ảnh và số lớp unknown trong mỗi lần thực nghiệm với mục đích đánh giá mô hình trên số lượng lớp khác nhau. Sau khi thu kết quả thì em tiếp tục thay đổi mô hình rút trích đặc trưng từ VGG32 sang sử dụng MobileNetv3.

Cuối cùng em phân tích, đánh giá kết quả từ đó đề xuất hướng phát triển trong tương lai.6 Cấu trúc Khóa luận tốt nghiệp Nội dung Khóa luận tốt nghiệp được tổ chức như sau: Chương 1. TỔNG QUAN 9 hương 1|giới thiệu tổng quan về khóa luận. hương 2|em trình bày các nghiên cứu liên quan đến bài toán này. a hương 3|trình bay chỉ tiết các hướng tiếp cận của khóa luận.

ec hương Alem trình bay môi trường thực nghiệm, tập dữ liệu, phương pháp đánh giá và kết quả thực nghiệm. ec hương Bllà phan kết luận và hướng phát triển của khóa luận. 10 Chương 2 NGHIÊN CỨU LIÊN QUAN Tóm tắt Ở chương này em trình bày tổng quan vé các hướng giải quyết bài toán sử dụng mạng học sâu. Theo BL bài toán nhận diện tập mở được chia thành 2 hướng, đi chính đó là : phương pháp Discriminative và phương pháp Generative.

Với mỗi hướng tiếp cận, em giới thiệu một số phương pháp cơ bản.1 Phương pháp Discriminative Điểm chung của các phương pháp Discriminative đó là dựa trên dữ liệu huấn luyện để huấn luyện mô hình. Phương pháp này được chia thành 2 hướng tiếp cận: sử dụng các mô hình máy học truyền thống (13), 20] , (9| và sử dụng các mô hình hoc sâu QI.1: Sơ đồ chung của các phương pháp phân biệt đối xử Chương 2. NGHIÊN CUU LIÊN QUAN 11 2.1 Học máy truyền thong Bài báo đã giới thiệu một mô hình Compact Abating Probability (CAP) để phát hiện các vật thể không biết. Model: Compact Abating Probability Prob.

from kernel Monotonically machine varies locally decreasing prob. with distance to ) bound training points — xo POW) > O50 P&|2) < Bx ? 'W-SVM thresholded region Class ‘y’ CC CAP thresholded region HÌNH 2.2: Mô hình CAP(13] Mô hình CAP ước tính xác suất giới hạn của không gian tính năng phân rã khỏi dữ liệu đào tạo. Trong một mô hình CAP , xác suất thành viên của lớp đã biết giảm khi điểm dữ liệu chuyển từ khu vực đã biết ( không gian kín) sang không gian mở , điểu này giúp không gian không biết được tách biệt với không gian đã biết. Bằng cách tan dung mô hình CAP và lý thuyết giá trị cực đoan thông kê để ước tính xác suất, W-SVM mới cung cấp các giải pháp cho phân loại đa lớp phi tuyến tính trong một kịch bản được thiết lập mở.

Bài báo giới thiệu một thuật toán mới đó là SROSR , đây là một bước cải tiến từ thuật toán SRC fig}. SRC được mở rộng công thức để nhận dạng tập hợp. Phương pháp này dựa trên EVT thống kê và bao gồm hai giai đoạn chính. Trong giai đoạn đầu tiên, các phân phối cuối của các lỗi tái thiết phù hợp và tổng các lỗi tái thiết không phù hợp được mô hình hóa bằng EVT để đơn giản hóa van dé nhận dạng tập hợp mở thành 2 giả thuyết thực nghiệm.

Trong giai đoạn thứ hai, các lỗi tái thiết tương ứng với một mẫu thử nghiệm từ mỗi lớp được tính toán Chương 2. NGHIÊN CUU LIÊN QUAN 12 aa Số S<& Classk* Open HINH 2.3: Thuật toán SROSRÍ20] và điểm số 3 độ tin cậy dựa trên hai phân phối đuôi được hợp nhất để xác định danh tính của mẫu thử.6| đưa ra một cái nhìn tổng quan về thuật toán nhận dạng mở (SROSR) dựa trên biểu diễn thưa thớt được đề xuất.2 Mô hình học sâu Bài báo [2] đề xuất một gải pháp mới cho bài toán đó là thay thế lớp Softmax bằng một lớp gọi Là Openmax. OpenMax cho phép từ chối các hình ảnh đánh lừa và không liên quan đến các hình ảnh được trình bày cho hệ thống; OpenMax làm giảm đáng kể số lượng lỗi rõ ràng được thực hiện bởi một mạng sâu. Tác giả đã chứng minh rằng khái niệm OpenMax cung cấp rủi ro không gian mở bi rang buộc, do đó chính thức cung cấp một giải pháp nhận dạng tập hợp mở.3 Hạn chế Hiện tại các phương pháp này đa số còn mang tính cục bộ, chưa giải quyết hoàn toàn bài toán.

Các phương phap còn hạn chế và gặp khó khăn trong quá trình triển khai. NGHIÊN CUU LIÊN QUAN 13 2.2 Phương pháp tái tạo Không giống như các mô hình phân biệt đối xử, các phương pháp tái tạo tạo các mẫu chưa biết hoặc đã biết bằng cách sử dung GANS [7] , autoencoders và mô hình d flow-based (21) để giúp phân loại ranh giới quyết định giữa các mẫu đã biết và chưa biết. Ge và những cộng sự [6] đề xuất G-Openmax, một phan mở rộng trực tiếp của OpenMax, sử dụng các mô hình tổng quát để tổng hợp các mẫu chưa biết để đào tạo mạng.4: Minh hoa quá trình dao tạo của NET .Hình ảnh tổng h dựa trên GAN được sử dụng như một nhãn đào tạo bổ sung K+1 i. G-Openmax là một giải pháp trực quan, ước tính trực tiếp xác suất của lớp chưa biết.

Điều này được thực hiện bằng cách sử dụng hình ảnh tổng hợp như một nhãn đào tạo bổ sung ngoài các nhãn đã biết. Do đó, thách thức của giải pháp đó là làm thế nào để tạo ra các mẫu hợp lý để chúng đáp ứng các tiêu chí khác biệt với các lớp đã biết, trong khi chúng được đại diện tốt cho không gian mở. Tương tự như ý tưởng trong Yoshihashi(19] và cộng sự đã để xuất mô hình CROSR, kết hợp dự đoán đã học được giám sát và đại diện tiềm ẩn tái tạo không giám sát để phân phối lại phân phối xác suất. CROSR sử dụng các biểu Chương 2.

NGHIÊN CUU LIÊN QUAN 14 b) Classification-Reconstruction learning - << ara San aT >. for Open-Set Recognition (CROSR) / Input Reconstructed\ N+lway é - class Unknown jClosed-sct |" probabilities detector | classifier HINH 2.5: Minh họa thuật toán CROSR diễn tiềm ẩn để tái thiết và cho phép phát hiện đối tượng không xác định mà không ảnh hưởng tới độ chính xác phân loại lớp đã biết. Các thí nghiệm mở rộng tiết lộ rằng phương pháp được đẻ xuất vượt trội so với các phân loại bộ mở sâu hiện có trong nhiều bộ dữ liệu tiêu chuẩn và mạnh mẽ với các ngoại lệ khác nhau[19]. (11) dé xuất mô hình C2AE cho OSR, sử dụng các bộ điều chỉnh tự động có điều kiện để có được ranh giới quyết định từ các lỗi tái thiết của EVT.

1, Closed- set Trainning : Encoder (F) va Classifier (C) được đào tạo với tổn thất phân loại truyền thống. 2) Open-set Training: để đào tạo mô hình nhận dạng cài đặt mở, auto-encoder network (F) với trọng số và Decoder (G), được đào tạo để tái tạo lại hình ảnh. Các lỗi tái thiết sau đó được mô hình hóa bằng cách sử dụng phân phối giá trị cực trị để tìm ngưỡng hoạt động của phương thức. 3) Open-set Testing: mô hình nhận dạng bộ mở tạo ra dự đoán phân loại (Vprea và các lỗi tái tạo K, được điều hòa với từng vectơ điều kiện.

Nếu lỗi tái thiết tối thiểu nằm dưới giá trị ngưỡng thu được từ mô hình EVT, mẫu thử được phân loại là một trong các lớp K, nếu không thì nó được phân loại là chưa biết. NGHIÊN CUU LIÊN QUAN 15 HÌNH 2.6: Minh họa thuật toán C2AE 16 Chương 3 HƯỚNG TIẾP CẬN TRONG KHÓA LUẬN Tóm tắt Trong nội dung chương 3 em sẽ trình bày một số phương pháp thuộc hướng tiếp cận Discriminative được đánh giá có hiểu suất cao trong việc nhận diện tập đóng cũng như là nhận diện tập mở. Các phương pháp được giới thiệu là : ¢ Maximum Softmax Probability(MSP) ¢ Maximum Logit Score(MLS) ¢ Adversarial Reciprocal Point Learning(ARPL) 3.1 Maximum Softmax Probability(MSP) Maximum Softmax Probability(MSP) hay xác suất mềm tối da là một hướng tiếp cận không còn mới trong vấn để OSR. Xác suất mềm tối đa là kết quả của hàm SoftMax trong mạng học sâu sử dụng lớp SoftMax để tạo cho mỗi hình ảnh đầu vào các giá trị xác suất phân loại tướng ứng với các lớp đã biết.

Trong quá trình huấn luyện, tất cả các đầu vào được cho là thuộc về một trong k lớp đã biết Chương 3. HƯỚNG TIẾP CẬN TRONG KHÓA LUẬN 1 song tại thời điểm thử nghiệm, dữ liệu thử nghiệm có thé tới từ những lớp khác k. Với mỗi mau x được đưa vào mô hình, xác suất P(y;|x) cho mỗi lớp y; được mô hình trả về. Giá trị xác suất cao nhất sẽ được lựa chọn và gán với nhãn tương ứng forchunn: SoftMax Predict Linear Saga 0 HINH 3.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ