Chương 1 TỔNG QUAN Trong chương này chúng tôi giới thiệu tổng quan về bài toán "Phát hiện mối quan hệ nhân quả trong bộ dữ liệu chuỗi thời gian sự kiện". Đồng thời chúng tôi cũng trình bày về mục tiêu, phương pháp thực hiện và những đóng góp của chúng tôi trong khóa luận này.1 Giới thiệu dé tài Với sự phát triển của số hoá đi kèm với nhu cầu về lưu trữ và khai thác phân tích dtr liệu ngày một cao. Điều đó đã thúc đẩy cho việc sử dụng phân tích dữ liệu vào các bài toán thực tế nhằm mục đích giúp con người phát triển và cải thiện cuộc sống đặc biệt là trong các lĩnh vực vẻ y tế, giao thông , chứng khoán,. Tìm mối quan hệ nhân quả từ dữ liệu chuỗi thời gian đã được nghiên cứu chuyên sâu qua rất nhiều năm trên nhiều lĩnh vực thực tế.
Kết quả của mối quan hệ nhân quả phù hợp với các lĩnh đang phát triển như trí tuệ nhân tạo và sinh thái học[7]. Trong khóa luận tốt nghiệp này, chúng tôi xây dựng lại bài toán tìm mối quan hệ nhân quả với dữ liệu chuỗi thời gian trên 2 tập dữ liệu Beijing Multi-Site Air- Quality Dataset dataset[14] và Metro Interstate Traffic Volume đatasetf8]. Trong đó tập dữ liệu Metro Interstate Traffic Volume dataset là dữ liệu đời thực đến từ New York bao gồm lưu lượng giao thông là hệ quả và các hiện tượng thời tiết khác nhau là nguyên nhân. Mục tiêu là đánh giá các sự kiện khí tượng, thời tiết khác nhau nhưng có ảnh hưởng đến cường độ giao thông.
Các cặp nhân quả này sẽ được đánh giá dựa trên một bộ sự thật cơ bản được tham khảo từ các nguồn tài liệu có liên quan để xác định được mối liên hệ cơ bản của các sự kiện. TONG QUAN 2 Bộ thứ hai Beijing Multi-Site Air-Quality Dataset một tập dữ liệu ở Trung Quốc. Tập dữ liệu này bao gồm các sự kiện thời tiết khác nhau như mưa , nắng , gió ,.1 sự kiện nguyên nhân va nồng độ của các hat PM10, P2.5 trong không khí là sự kiện hệ quả. Thử nghiệm này nhằm để tìm ra sự ảnh hưởng của các yếu tố thời tiết tới chất lượng không khí.
Từ đó đánh giá từng cặp này dựa trên tài liệu về ảnh hưởng của các yếu tố thời tiết lên lưu lượng giao thông, từ đó xây dựng bộ Ground truth cho bộ dataset Beijing Multi-Site Air-Quality Dataset (14). Từ hai bộ dữ liệu trên chúng tôi tìm hiểu tổng quan các phương pháp , các điểm tính CEAs và thuật toán đánh giá khi áp dụng vào trong bài toán.2 Giới thiệu bài toán Thời đại hiện nay đang có một nền công nghệ càng ngày phát triển với bộ dữ liệu chuỗi thời gian đồi dào về các hệ thống mà con người có thể đo lường được như hiện tượng thời tiết, tình trạng xe cộ, chứng khoán,.Bộ dữ liệu sẽ chứa đựng các sự kiện có liên quan với nhau. Tại hội nghị các tác giả của bài báo "Cause-Effect Association between Event Pairs in Event Datasets" [3] đã đề xuất các giải pháp bao gồm hệ số tính toán va phương pháp đo lường độ chính xác về các cặp sự kiện có quan hệ nhân quả. Sau khi được công bồ bài toán đã được mở rộng ra rat nhiều tài liệu khác.
Chính vì lợi ích và thành tựu của nhóm nghiên cứu đã mang lại được những kết quả và là tiên đề cho nhiều bài toán đằng sau. Bài toán của chúng tôi sẽ biểu diễn mối quan hệ giữa các sự kiện bằng mô hình đồ thị. Từ đó, phát hiện mối quan hệ nhân quả giữa trên các sự kiện trong tập dữ liệu chuỗi thời gian sự kiện. Trong đó : © Đầu vào: o Tập hợp các dữ liệu ghi nhận được các sự kiện có chứa các thuộc tính theo một lĩnh vực nhất định theo thời gian.
o Các sự kiện cần xác định mối quan hệ nhân quả. © Dau ra: o Các cặp sự kiện có mối quan hệ nhân quả. TONG QUAN 3 Ví dụ : © Đối với chủ đề về giao thông , bộ dữ liệu của chúng ta cần chứa các sự kiện phụ thuộc thời gian và có chứa thuộc tính tương đương như là ngày lễ , thời tiết, tai nạn ,. Day là các sự kiện có khả năng ảnh hưởng đến giao thông.1: Hình ảnh minh hoạ về bài toán.
Vi dụ về bài toán Chúng ta xét 3 sự kiện: pin yếu, máy tính tắt, trình phát video không hoạt động. Sự kiện “pin yếu” là nguyên nhân của “máy tính tất” và “trình phát video không hoạt động”. Sự kiện “máy tính tắt” và “trình phát video không hoạt động” có mối tương quan với nhau nhưng không có quan hệ nhân quả bởi vì việc một trong 2 sự kiện này xảy ra hoàn toàn không ảnh hưởng tới sự kiện kia. TONG QUAN 4 Runs out of battery causation Jo causation correlation Computer shuts | Video player won't work 1.3 Tổng quan tiếp cận bài toán Bài toán được tiếp cận dựa trên các lý thuyết về xác suất thống kê.
Dé có thể xử lý bài toán, dữ liệu phải có giá trị rời rạc, tuy nhiên dữ liệu gốc là các biến có miền giá trị liên tục. Giải pháp chúng tôi đưa ra là xử lý miễn giá trị rời rạc sang liên tục bằng phương pháp chia cụm. Để tìm ra các cặp sự kiện có quan hệ nhân quả, chúng tôi sử dụng các độ đo để xem xét mức độ nhân quả của các cặp sự kiện, các cặp sự kiện có điểm càng cao thì khả năng cặp sự kiện đó có quan hệ nhân quả càng lớn. Chúng tôi sử dụng độ đo Hits@K để đánh giá kết quả dựa trên bộ Ground Truth Dưới đây là sơ đồ minh hoạ tổng quan về bài toán của chúng tôi.
TONG QUAN 5 Bộ dữliệu Tính toán Xử lý dữ liệu Score của các Các cặp sự cặp dữ liệu kiện cần đánh giá Đưa ra các cặp Dùng hits@K sự kiện có quan đánh giá các hệ nhận quả score HÌNH 1.2: Hình ảnh minh hoa tổng quan vẻ bài toán.4 THÁCH THUC, MỤC TIÊU VÀ PHAM VI 1.41 Thách thức Trong quá trình thực hiện khoá luận và chúng tôi gặp phải những thách thức chính sau: - Tập dữ liệu chuỗi thời gian để phục vụ cho bài toán còn hạn chế. Việc tự tạo bộ đữ liệu rất khó khăn. Vậy nên chúng tôi chọn 2 bộ dữ liệu là Beijing Multi-Site Air-Quality Dataset và Metro Interstate Traffic Volume Dataset để áp dụng vào khoá luận tốt nghiệp này. - Việc áp dụng bài toán quan hệ nhân quả vào thực tế là vô cùng khó khăn vì việc đánh giá cần có bộ ground truth chính xác và lý thuyết về mối quan hệ nhân quả chưa được rộng rãi trong nước và ít nguồn tham khảo công khai.42 Mục tiêu Chúng tôi có dé ra 3 mục tiêu cho khóa luận : ¢ Tim được 2 bộ dữ liệu phù hợp để tiến hành thực nghiệm bài toán.
TONG QUAN 6 ¢ Triển khai thực hiện va tìm hiểu bài toán với các độ đo có sẵn. Trong đó có độ đo CIRy sẽ cần hiện thực lại bài toán xây dựng đồ thị cho các sự kiện, từ đó tìm tập hợp các sự kiện là nút cha của sự kiện cần xét. ¢ Xây dung được các mối quan hệ nhân quả va từ đó hỗ trợ kết quả cho các bài toán dự báo.43 Pham vi Trong phạm vi khóa luận tốt nghiệp , tương ứng với mục tiêu , chúng tôi tap trung giải quyết các nội dung sau : * Tìm hiểu về khái niệm mối quan hệ nhân quả , cách xây dựng định nghĩa và score đánh giá hiện có. ® Xây dựng được các mối quan hệ nhân quả từ bộ dit liệu.
Từ đó so sánh và đánh giá mức độ cải thiện so với bài toán dự báo.5 Đóng gop của khoá luận Một số đóng góp của khóa luận: *_ Tìm hiểu các thuật toán và kỹ thuật liên quan tới tìm mối quan hệ nhân quả. ¢ Thực nghiệm lại bài toán tim quan hệ nhân quả giữa các sự kiện. s Xây dựng bộ ground truth ( cách sử dung ground truth sao cho phù hợp với bộ dữ liệu). © Thực thi và đánh giá so sánh giữa các độ đo hiện tại để giải quyết bài toán mối quan hệ nhân quả.1 Nội dung thực hiện Nội dung 1: Tìm hiểu phương pháp xây dựng mô hình đồ thị thể hiện mối liên quan giữa các sự kiện.
¢ Tìm hiểu phương pháp xây dựng mô hình đồ thi thể hiện quan hệ giữa các sự kiện. TONG QUAN 7 ¢ Từ mô hình đồ thị, tìm các sự kiện là nút cha trong dé thị cho một sự kiện dé áp dung tính toán cho score CIRM. ¢ Thực nghiệm trên bộ dữ liệu thực tế và đánh giá, so sánh kết quả. Nội dung 2: Tìm hiểu và đánh giá các phương pháp liên quan » Biểu diễn mối quan hệ giữa các sự kiện bằng mô hình đồ thị.
¢ Tim hiểu, phân tích các phương pháp đánh giá mối quan hệ nhân quả giữa hai sự kiện. ¢ Đánh giá và lựa chọn phương pháp phù hợp với năng lực và khả năng tính toán.6 Cấu trúc Khóa luận tốt nghiệp Khoá luận có cấu trúc như sau: Chương1 : Giới thiệu tổng quan vẻ đề tài. Chương 2: Trình bày cơ sở lý thuyết các thuật toán mối quan hệ nhân quả và một số kỹ thuật liên quan. Chương 3: Áp dụng các phương pháp tính toán cho bài toán tìm mối quan hệ nhân quả trong dw liệu thời gian Chương 4: Trình bày kết quả thực nghiệm và phân tích các phương pháp đã thực hiện.
Chương 6: Trình bày kết luận và các hướng phát triển trong tương lai. Chương 2 Trình bày cơ sở lý thuyết các thuật toán mối quan hệ nhân quả và một số ky thuật liên quan Trong chương này, chúng tôi trình bày một số kiến thức nền tảng liên quan đến bài toán "Phát hiện quan hệ nhân quả trong bộ dữ liệu chuỗi thời gian sự kiện" với các định nghĩa về suy luận nhân quả, kiến thức toán học.1 Cơ sở lý thuyết về suy luận nhân qua Để tìm hiểu rõ về bài toán suy luận nhân quả , chúng ta sẽ đi tìm hiểu một số định nghĩa cơ bản xung quanh suy luận nhân quả.1 Cơ sở lý thuyết xác suất ¢ Việc tìm ra mối quan hệ nhân quả can liên quan nhiều đến lý thuyết xác suất. Lý thuyết xác suất là lĩnh vực toán học xác định các hàm xác suất được sử dụng. Ký hiệu P(x) là xác suất của x.
Được xác định bằng số lần xuất hiện của X trên tập dữ liệu chia cho kích thước dữ liệu. P(x) =) ® Xác suất có điều kiện là xác xuất của su kiénx chứa điều kiện y so trên toàn bộ tập dữ liệu.