Chương 1 bài luận văn giới thiệu tổng quan về khái niệm sự kiện hiếm, các sự kiện hiếm trong tự nhiên và xã hội cùng tác động của nó đến cuộc sống con người. Tiếp đó, chương này sẽ trình bày ý nghĩa và tầm quan trọng của bài toán dự báo trước sự kiện hiếm và một số nghiên cứu khoa học nổi bật về các sự kiện hiếm gặp trong thực tế. KHÁI NIỆM VỀ SỰ KIỆN HIẾM 1. Định nghĩa sự kiện hiếm Các sự kiện hiếm là các sự kiện xuất hiện một cách riêng biệt, được quan sát không thường xuyên xảy ra.
Đây là các sự kiện xảy ra với tần suất rất thấp và thường có tác động lan rộng và có thể làm mất ổn định toàn bộ hệ thống, gây ra các hậu quả nghiêm trọng. Các phân tích và nghiên cứu khoa học về các sự kiện hiếm thường tập trung vào các sự kiện gây ra tác động tiêu cực đáng kể đến xã hội, thường là thiệt hại về mặt kinh tế hoặc ảnh hưởng tới sức khỏe và tính mạng con người. Thông thường, dựa vào tần suất xảy ra của sự kiện, chúng ta phân loại các sự kiện hiếm thành 3 loại: sự kiện hiếm, sự kiện rất hiếm và sự kiện cực hiếm. Sự kiện hiếm (tương đối hiếm): Số mẫu dương tính có tần suất xuất hiện từ 5-10% tổng số mẫu.
Sự kiện rất hiếm: Số mẫu dương tính có tần suất xuất hiện từ 1-5% tổng số mẫu. Sự kiện cực hiếm: Số mẫu dương tính có tần suất xuất hiện từ nhỏ hơn 1% tổng số mẫu. Đối với các sự kiện tương đối hiếm, các mô hình và phương pháp phân loại và dự báo truyền thống thông qua quá trình xử lý mẫu vẫn cho một độ chính xác tương đối, còn với các sự kiện rất hiếm hay cực hiếm các mô hình mạng nơ-ron truyền thống hầu như rất khó học được từ các mẫu dương tính luan an 15 trong quá trình đào tạo. Chính vì thế đối với các sự kiện cực hiếm này chúng ta cần xây dựng một mô hình khác hợp lý hơn để dự báo.
Các sự kiện hiếm trong tự nhiên và xã hội Trong đời sống, chúng ta chứng kiến rất nhiều sự kiện hiếm xảy ra cả trong tự nhiên và xã hội. Trong các hiện tượng tự nhiên, điển hình nhất cho các sự kiện hiếm được nhiều nhà nghiên cứu quan tâm là các hiện tượng thiên tai như: động đất, sóng thần, bão lũ, núi lửa, đại dịch, sét đánh. Đây là những sự kiện rất ít khi xảy ra, có khi hàng chục năm mới lại có một lần. Tuy nhiên một khi những sự kiện này xuất hiện thì thường gây ra thiệt hại về kinh tế vô cùng to lớn và có thể gây nên mất mát to lớn về con người nếu chúng không được cảnh báo kịp thời.
Sức tàn phá khủng khiếp của các sự kiện thiên tai này trong một số năm gần đây được thể hiện qua những thống kê dưới đây: Năm 2008, một trận động đất mạnh 8.0 độ richter ở Tứ Xuyên, Trung Quốc đã làm gần 380.000 người chết, hàng triệu người mất việc làm, thiệt hại kinh tế trực tiếp hơn 3 tỷ đô-la và kéo theo mất mát hàng chục tỉ đô-la các năm sau đó để hồi phục. Năm 2011, trận động đất 9.0 độ richter ở ngoài khơi Nhật Bản đã gây ra sóng thần dọc bờ biển Thái Bình Dương, ảnh hưởng trực tiếp tới hơn 20 quốc gia. Đồng thời trận động đất sóng thần này gây ra sự cố rò rỉ phóng xạ ở nhà máy điện hạt nhân tại Fukushima, Nhật Bản. Cuộc khủng hoảng kép này đã làm hơn 15.000 người chết, 125.000 căn nhà bị phá hủy, chất phóng xạ rò rỉ ra một khu vực rộng lớn, ảnh hưởng kinh tế ước tính lên tới hàng trăm tỉ đô-la.
Hàng năm, trên vành đai lửa Thái Bình Dương xảy ra hàng chục vụ phun trào núi lửa, trong đó có nhiều vụ rất nghiêm trọng gây ra cái chết hàng chục nghìn người do không được kịp thời dự báo trước để di tản cư dân trong khu vực. Dịch bệnh Covid-19 ảnh hưởng tới tất cả các quốc gia trên thế giới, hàng triệu người nhiễm bệnh, hàng trăm nghìn người chết, nền kinh tế của tất cả các nước đều sụt giảm nghiêm trọng, ước tính thiệt hại kinh tế trên toàn thế giới lên tới hàng chục nghìn tỷ đô-la. luan an 16 Bên cạnh những hiện tượng hiếm gây nhiều thiệt hại về người và của, trong tự nhiên cũng có nhiều sự kiện hiếm ít gây ra tổn thất hơn nhưng cũng được nhiều nhà khoa học quan tâm nghiên cứu, điển hình như các hiện tượng thiên văn học: nhật thực, nguyệt thực, sự sáp nhập các sao, hố đen… Trong xã hội cũng có rất nhiều sự kiện hiếm khi xuất hiện nhưng một khi xảy ra cũng gây ra những thiệt hại rất to lớn về kinh tế như chiến tranh, sự sụp đổ thị trường tài chính, sự cố hàng không, nổ nhà máy hạt nhân … Thường các sự kiện này rất hiếm khi xảy ra, có thể hàng thập kỷ mới lại xuất hiện, tuy nhiên khi xảy ra cũng gây rất nhiều thiệt hại, cả về con người lẫn vật chất. Một số sự kiện hiếm trong xã hội gây ra rất nhiều mất mát có thể kể đến như: Chiến tranh thế giới thứ 2 (1937-1945) gây ra cái chết hơn 61 triệu người, thiệt hại kinh tế hàng nghìn tỉ đô-la.
Thảm họa hạt nhân Chernobyl năm 1986 gây ra cái chết 31 người trực tiếp, sơ tán hơn 330.000 người, ước tính hàng chục ngàn người chết do ảnh hưởng phóng xạ các năm sau đó. 2 vụ rơi máy bay Boeing 737-Max 8 năm 2018-2019 do lỗi thiết kế đã gây ra cái chết toàn bộ hành khách và phi hành đoàn, mất nhiều tháng mới tìm được nguyên nhân lỗi. Boeing thiệt hại hàng chục đến hàng trăm tỉ đô-la. Sự sụp đổ thị trường chứng khoán phố Wall 1929 bắt đầu cho cuộc đại khủng hoảng kinh tế kéo dài 12 năm, kéo theo hàng chục triệu người thất nghiệp, vô số doanh nghiệp phá sản.
Đối với phạm vi một doanh nghiệp, chúng ta cũng thấy rất nhiều sự kiện hiếm, thường là các sự cố xảy ra trong cơ quan, nhà máy, đặc biệt rất nhiều trong các dây chuyền sản xuất công nghiệp. Các sự cố này có thể gây ngừng hoạt động của cả nhà máy trong thời gian dài, ảnh hưởng rất lớn tới sức khỏe, tính mạng và kinh tế của doanh nghiệp. BÀI TOÁN DỰ BÁO TRƯỚC SỰ KIỆN HIẾM Do các sự kiện hiếm cả trong tự nhiên lẫn xã hội thường gây ra thiệt hại và mất mát về vật chất và sinh mạng vô cùng to lớn nên việc dự báo trước sự kiện hiếm [13] có ý nghĩa rất to lớn. Nếu có thể dự báo trước các sự kiện bất thường không mong muốn này, con người sẽ có thời gian để chuẩn bị ứng phó, từ đó giảm bớt được rất nhiều thiệt hại về kinh tế cũng như sức khỏe, tính mạng mọi người.
Đối với các bộ dữ liệu cân bằng về số lượng mẫu trong mỗi lớp, một trong những phương pháp phân lớp và dự báo thành công và hiệu quả nhất là sử dụng các mô hình mạng nơ-ron nhân tạo (Artificial neural networks - ANN), đặc biệt là các mạng học sâu. Tuy nhiên khi áp dụng các mô hình dự báo truyền thống này vào bộ dữ liệu về sự kiện hiếm, hầu hết các mô hình này lại gặp rất nhiều khó khăn và trở nên rất không chính xác. Nguyên nhân chính của việc này được chỉ ra là do tần suất xảy ra vô cùng thấp của sự kiện hiếm dẫn đến số lượng mẫu có nhãn dương tính cũng vô cùng ít ỏi so với số mẫu dán nhãn âm tính. Chính vì sự mất cân bằng này quá lớn, trong quá trình huấn luyện mạng, các mô hình dự báo thường rất dễ dàng học tập từ các mẫu âm tính và bỏ qua không học các mẫu dương tính, dẫn tới việc dự báo của mô hình không hiệu quả.
Chính vì thế để dự báo trước sự kiện hiếm, đặc biệt là các sự kiện cực hiếm (có xác suất dưới 1%) các nhà nghiên cứu khoa học đã nghiên cứu và đề xuất ra nhiều thuật toán và phương pháp xử lý đặc thù. Một số nghiên cứu về bài toán về sự kiện hiếm cả trong tự nhiên và xã hội nổi bật được nêu ra dưới đây: Trong cuốn sách “Modelling extremal events: For insurance and finance” [14] nhóm tác giả Embrechts P. đã nghiên cứu và mô hình hóa các sự kiện hiếm, sự kiện cực đoan trong với ngành bảo hiểm và tài chính. Trong bài báo khoa học “Extreme events: Dynamics, statistics and prediction.” [15] nhóm tác giả Ghil M.
đã phân tích, thống kê và dự đoán các sự kiện cực đoan, tập trung nghiên cứu và áp dụng vào dự đoán các chấn động luan an 18 địa lý. Trong cuốn sách “Extreme events and natural hazards: The complexity perspective.” [2] nhóm tác giả Sharma S. đã phân tích nguyên nhân các khó khăn, phức tạp và đề ra một số phương pháp giải quyết khi nghiên cứu các sự kiện cực hiếm trong tự nhiên gây nguy hiểm cho con người. Ngoài ra còn có rất nhiều tác giả với nhiều bài báo khoa học nghiên cứu về các sự kiện cực hiếm khác.1 bài luận văn sẽ trình bày cụ thể nội dung các phương pháp chính đã và đang được nghiên cứu trên thế giới để dự báo các sự kiện hiếm.
luan an 19 CHƯƠNG 2. PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN HIẾM Chương 2 bài luận văn sẽ đi sâu nghiên cứu và trình bày về một số phương pháp đã và đang được sử dụng để giải quyết các bài toán dự báo sự kiện hiếm trong các bài nghiên cứu trên thế giới. Tiếp theo đó trong mục 2.2, bài luận văn sẽ trình bày về mô hình bộ mã hóa tự động Autoencoder, một mô hình vô cùng hiệu quả đã được ứng dụng vào rất nhiều lĩnh vực công nghệ thông tin khác nhau và phương pháp ứng dụng mô hình Autoencoder để phát hiện và dự báo trước các sự kiện cực hiếm. TÌM HIỂU CÁC PHƯƠNG PHÁP PHÁT HIỆN SỰ KIỆN HIẾM Trong mục 1.2, nguyên nhân chính gây khó khăn cho việc dự đoán sự kiện hiếm trong các mô hình ANN được chỉ ra là do sự mất cân bằng giữa số lượng mẫu mỗi lớp: tỉ lệ mẫu dương tính rất nhỏ so với số mẫu âm tính.
Chính vì thế các nhà nghiên cứu khoa học đã đề xuất ra các phương pháp nhằm cân bằng lại số lượng các mẫu dương tính và mẫu âm tính. Các kết quả thực nghiệm đã chứng minh các giải pháp này đã cải thiện đáng kể tính hiệu quả của các mô hình dự báo sự kiện hiếm.