NGHIÊN CỨU PHÁT TRIỂN CÁC PHƯƠNG PHÁP CẬP NHẬT BẢNG QUYẾT ĐỊNH PHỦ ĐỘNG VÀ XỬ LÝ MẤT CÂN BẰNG DỮ LIỆU DỰA TRÊN TẬP THÔ MỜ
Trường đại học
Viện Khoa Học và Công Nghệ Quân SựChuyên ngành
Cơ sở toán học cho tin họcNgười đăng
Ẩn danhThể loại
Luận Án Tiến Sĩ2025
126
0
0
Phí lưu trữ
30 PointMục lục chi tiết
Tóm tắt
I. Tổng Quan Bảng Quyết Định Phủ Động và Tập Thô Mờ 55
Lý thuyết tập thô do Pawlak đề xuất đã chứng minh hiệu quả trong khai phá dữ liệu và khám phá tri thức. Dữ liệu được biểu diễn dưới dạng bảng thông tin, với các hàng là đối tượng và cột là thuộc tính. Cách tiếp cận chính dựa trên mối quan hệ không phân biệt được, tạo ra các tập xấp xỉ: tập xấp xỉ dưới (chắc chắn thuộc tập hợp) và tập xấp xỉ trên (có khả năng thuộc tập hợp). Tuy nhiên, tập thô nguyên thủy giả định dữ liệu đầy đủ, điều không phải lúc nào cũng đúng trong thực tế. Do đó, cần mở rộng lý thuyết tập thô để xử lý dữ liệu không đầy đủ và các vấn đề phát sinh. Luận án này đi sâu vào việc phát triển các phương pháp cập nhật bảng quyết định và xử lý mất cân bằng dữ liệu dựa trên tập thô mờ, một hướng đi đầy tiềm năng. Các nhà khoa học đã có nhiều nghiên cứu mở rộng tập thô để giải quyết bài toán này.
1.1. Mô Hình Tập Thô Truyền Thống và Ứng Dụng 54
Mô hình tập thô truyền thống là nền tảng cho nhiều ứng dụng trong khai phá dữ liệu và học máy. Tuy nhiên, nó có những hạn chế khi đối mặt với dữ liệu không chắc chắn hoặc không đầy đủ. Các khái niệm cơ bản như quan hệ không phân biệt được, tập xấp xỉ trên và dưới đóng vai trò quan trọng trong việc hiểu và xử lý dữ liệu. "Cách tiếp cận chính của lý thuyết Tập thô dựa trên mối quan hệ không phân biệt được cùng với việc đưa ra hai tập 'rõ' (scrip), là các tập xấp xỉ của tập đối tượng cần quan sát." Sự phát triển của lý thuyết tập thô đã mở ra nhiều hướng nghiên cứu mới trong lĩnh vực khai phá dữ liệu.
1.2. Tập Thô Mờ Mở Rộng để Xử Lý Dữ Liệu Bất Định 52
Tập thô mờ là một mở rộng quan trọng của lý thuyết tập thô truyền thống, cho phép xử lý dữ liệu không chắc chắn và không chính xác. Việc kết hợp lý thuyết tập mờ với tập thô giúp mô hình hóa các khái niệm mơ hồ và không rõ ràng trong dữ liệu. Fuzzy rough set cung cấp một công cụ mạnh mẽ để phân tích và khai thác tri thức từ các nguồn dữ liệu phức tạp. Nghiên cứu này tập trung vào việc ứng dụng tập thô mờ để cập nhật bảng quyết định và xử lý mất cân bằng dữ liệu.
II. Thách Thức Xử Lý Mất Cân Bằng Dữ Liệu 58
Một trong những thách thức lớn trong phân loại dữ liệu là vấn đề mất cân bằng dữ liệu. Khi số lượng mẫu trong các lớp khác nhau quá lớn, các thuật toán học máy thường bị thiên vị đối với lớp đa số, dẫn đến hiệu suất kém trên lớp thiểu số. Điều này đặc biệt nghiêm trọng trong các ứng dụng như phát hiện gian lận, chẩn đoán bệnh hiếm gặp. Để giải quyết vấn đề này, cần có các phương pháp xử lý mất cân bằng dữ liệu hiệu quả. Các phương pháp này có thể bao gồm oversampling (tăng số lượng mẫu của lớp thiểu số), undersampling (giảm số lượng mẫu của lớp đa số) hoặc kết hợp cả hai. Luận án này tập trung vào việc phát triển một phương pháp cân bằng dữ liệu dựa trên tập thô mờ.
2.1. Các Phương Pháp Cân Bằng Dữ Liệu Phổ Biến 50
Oversampling và undersampling là hai phương pháp cơ bản để xử lý mất cân bằng dữ liệu. Oversampling tạo ra các mẫu mới cho lớp thiểu số, trong khi undersampling loại bỏ các mẫu từ lớp đa số. SMOTE là một kỹ thuật oversampling phổ biến, tạo ra các mẫu mới bằng cách nội suy giữa các mẫu hiện có của lớp thiểu số. "Đã có nhiều nghiên cứu dùng các ưu điểm của lý thuyết tập thô để nâng cao hiệu suất phân lớp khi cân bằng dữ liệu". Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của từng tập dữ liệu.
2.2. Hạn Chế của Phương Pháp Truyền Thống 53
Mặc dù oversampling và undersampling có thể cải thiện hiệu suất phân loại, chúng cũng có những hạn chế. Oversampling có thể dẫn đến overfitting, trong khi undersampling có thể làm mất thông tin quan trọng. Các phương pháp truyền thống thường không xem xét đến cấu trúc dữ liệu và mối quan hệ giữa các thuộc tính. Luận án này đề xuất một phương pháp cân bằng dữ liệu dựa trên tập thô mờ để khắc phục những hạn chế này. Các thuật toán cần được cải tiến để có thể giải quyết bài toán cân bằng dữ liệu trong hệ thống mất cân bằng.
III. Cập Nhật Bảng Quyết Định Phủ Động Tăng Cường 59
Trong môi trường dữ liệu động, bảng quyết định cần được cập nhật liên tục để phản ánh những thay đổi trong dữ liệu. Việc cập nhật bảng quyết định một cách thủ công là tốn kém và mất thời gian. Do đó, cần có các phương pháp cập nhật tăng cường, cho phép cập nhật bảng quyết định một cách tự động và hiệu quả. Các phương pháp này cần có khả năng xử lý các thay đổi như thêm, xóa hoặc sửa đổi các đối tượng và thuộc tính. "Kỹ thuật này thường sử dụng các kết quả khai thác thu được từ cơ sở dữ liệu đầu tiên để làm điều kiện bảo trì và cập nhật lại các kiến thức trong cơ sở dữ liệu động mà không cần khai thác lại từ đầu."
3.1. Cập Nhật Quyết Định Ba Nhánh Trong Hệ Thống Động 55
Lý thuyết quyết định ba nhánh cung cấp một khung nhìn linh hoạt để đưa ra quyết định trong môi trường không chắc chắn. Việc cập nhật các quyết định ba nhánh trong hệ thống động đòi hỏi phải theo dõi và điều chỉnh các ngưỡng quyết định khi dữ liệu thay đổi. Luận án này đề xuất một phương pháp cập nhật tăng cường để cập nhật các quyết định ba nhánh một cách hiệu quả khi có sự thay đổi về đối tượng hoặc thuộc tính.
3.2. Các Phương Pháp Cập Nhật Gia Tăng Tiêu Biểu 52
Các phương pháp cập nhật gia tăng cho phép cập nhật các mô hình học máy mà không cần phải huấn luyện lại từ đầu. Các phương pháp này thường dựa trên việc lưu trữ thông tin về các thay đổi trong dữ liệu và sử dụng thông tin này để điều chỉnh mô hình. Tuy nhiên, việc áp dụng các phương pháp cập nhật gia tăng cho bảng quyết định phủ động vẫn còn nhiều thách thức.
IV. Thuật Toán Cân Bằng Dữ Liệu Mờ Tối Ưu Ngưỡng 58
Luận án đề xuất một thuật toán cân bằng dữ liệu dựa trên tập thô mờ, kết hợp với kỹ thuật tối ưu hóa ngưỡng. Thuật toán này sử dụng tập thô mờ để chọn các đối tượng quan trọng từ cả lớp đa số và lớp thiểu số, sau đó điều chỉnh ngưỡng để đạt được sự cân bằng tốt nhất. Kỹ thuật tối ưu hóa ngưỡng giúp cải thiện hiệu suất của thuật toán, đặc biệt là trong các tập dữ liệu phức tạp. "Phương pháp này sử dụng các ngưỡng khác nhau cho các lớp đa số và thiểu số để chọn được nhiều đối tượng hơn từ các lớp thiểu số."
4.1. Trích Chọn Đối Tượng Bằng Tập Thô Mờ 53
Tập thô mờ được sử dụng để đánh giá mức độ quan trọng của từng đối tượng trong tập dữ liệu. Các đối tượng có mức độ quan trọng cao hơn sẽ được ưu tiên chọn để giữ lại hoặc sao chép. Phương pháp này giúp giảm nhiễu và cải thiện chất lượng của dữ liệu sau khi cân bằng.
4.2. Tối Ưu Hóa Ngưỡng để Cân Bằng Hiệu Quả 55
Việc lựa chọn ngưỡng phù hợp là rất quan trọng để đạt được sự cân bằng tốt nhất giữa lớp đa số và lớp thiểu số. Thuật toán đề xuất sử dụng các kỹ thuật tối ưu hóa để tìm ra ngưỡng tối ưu cho từng tập dữ liệu cụ thể. Điều này giúp thuật toán thích ứng tốt hơn với các đặc điểm khác nhau của dữ liệu. Hiện tại, việc chọn ngưỡng của phương pháp này vẫn thực hiện thủ công vì vậy chưa tối ưu.
V. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu 54
Các phương pháp cập nhật bảng quyết định và cân bằng dữ liệu được đề xuất trong luận án có nhiều ứng dụng thực tiễn trong các lĩnh vực khác nhau. Ví dụ, chúng có thể được sử dụng trong khai phá dữ liệu y tế để chẩn đoán bệnh, trong khai phá dữ liệu tài chính để phát hiện gian lận, hoặc trong khai phá dữ liệu marketing để phân tích hành vi khách hàng. Kết quả nghiên cứu cho thấy các phương pháp đề xuất có hiệu suất tốt hơn so với các phương pháp truyền thống.
5.1. Thử Nghiệm và So Sánh Với Các Thuật Toán Khác 56
Các thuật toán đề xuất được thử nghiệm trên nhiều bộ dữ liệu khác nhau từ kho dữ liệu UCI. Kết quả thử nghiệm cho thấy thuật toán có hiệu suất tốt hơn so với các thuật toán cân bằng dữ liệu khác như SMOTE và undersampling. So sánh và đánh giá kết quả thực nghiệm với kết quả nghiên cứu lý thuyết. Từ đó kết luận tính đúng đắn của kết quả nghiên cứu.
5.2. Đánh Giá Hiệu Năng và Độ Tin Cậy 50
Hiệu năng của các thuật toán được đánh giá bằng các chỉ số như độ chính xác, độ phủ, F1-score và AUC. Độ tin cậy của các kết quả nghiên cứu được đảm bảo bằng cách sử dụng các phương pháp thống kê phù hợp.
VI. Kết Luận và Hướng Phát Triển Trong Tương Lai 58
Luận án đã trình bày các phương pháp cập nhật bảng quyết định phủ động và xử lý mất cân bằng dữ liệu dựa trên tập thô mờ. Các phương pháp này có nhiều ưu điểm so với các phương pháp truyền thống và có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực. Trong tương lai, có thể tiếp tục nghiên cứu để cải thiện hiệu suất của các thuật toán và mở rộng phạm vi ứng dụng của chúng. Nghiên cứu về bài toán cập nhật tăng cường và giảm sự mất cân bằng dữ liệu có ý nghĩa trên cả hai phương diện khoa học và thực tiễn.
6.1. Tóm Tắt Đóng Góp Của Luận Án 49
Luận án đã đóng góp vào lĩnh vực nghiên cứu bằng cách đề xuất các phương pháp mới để cập nhật bảng quyết định và cân bằng dữ liệu, giải quyết các vấn đề còn tồn tại trong các phương pháp truyền thống. Chương trình cài đặt này có thể kế thừa để xây dựng các phương pháp giảm mất cân bằng dữ liệu trong tương lai.
6.2. Hướng Nghiên Cứu Mở Rộng 46
Các hướng nghiên cứu mở rộng có thể bao gồm việc áp dụng các thuật toán đề xuất cho các loại dữ liệu khác nhau, phát triển các phương pháp tối ưu hóa hiệu quả hơn và tích hợp các thuật toán với các hệ thống khai phá dữ liệu hiện có.
13/05/2025
TÀI LIỆU LIÊN QUAN
Bạn đang xem trước tài liệu:
Nghiên cứu phát triển các phương pháp cập nhật bảng quyết định phủ động và xử lý mất cân bằng dữ liệu dựa trên tập thô mờ