Đặt vấn đề Những tiến bộ trong các công nghệ CSDL và các kỹ thuật thu thập dữ liệu nhƣ đọc mã số mã vạch, viễn thám, ghi nhận thông tin từ các vệ tinh,… đã thu gom đƣợc một lƣợng lớn dữ liệu trong các CSDL khổng lồ. Việc dữ liệu tăng lên một cách dữ dội đòi hỏi phải đƣợc khai phá để trích chọn ra các tri thức hữa ích phục vụ cho công tác chuyên môn. Chính điều này đã dẫn đến sự ra đời của một lĩnh vực mới đầy hứa hẹn gọi là khai phá dữ liệu hay khai phá tri thức trong các CSDL. Khai phá tri thức trong các CSDL có thể đƣợc định nghĩa là khai phá tri thức đáng quan tâm, tiềm ẩn và chƣa biết trƣớc trong các CSDL lớn [21].
Khai phá dữ liệu là sự kết hợp của một số lĩnh vực bao gồm học máy, các hệ thống CSDL, thể hiện dữ liệu, thống kê và lý thuyết thông tin. Đã có nhiều nghiên cứu về khai phá dữ liệu trong các CSDL quan hệ và giao dịch, nhƣng đối với các CSDL không gian vấn đề khai phá dữ liệu vẫn còn là những thách thức cần đƣợc giải quyết. Dữ liệu không gian là dữ liệu liên quan đến các đối tƣợng trong không gian. Một CSDL không gian lƣu trữ các đối tƣợng không gian bao gồm các kiểu dữ liệu không gian và các quan hệ không gian giữa các đối tƣợng.
Dữ liệu không gian mang thông tin hình học và khoảng cách thƣờng đƣợc tổ chức theo các cấu trúc chỉ mục không gian và truy cập bằng các phƣơng pháp truy cập không gian. Chính các đặc trƣng khác biệt này của các CSDL không gian đã đặt ra nhiều trở ngại nhƣng cũng mang đến nhiều cơ hội cho khai phá tri thức từ CSDL không gian. Khai phá dữ liệu không gian hay khai phá tri thức trong CSDL không gian là trích trọn ra các tri thức tiềm ẩn, các quan hệ không gian hay các mẫu chƣa rõ lƣu trữ trong các CSDL không gian [21]. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 2 Các nghiên cứu trƣớc đây về học máy, các hệ thống CSDL và thống kê đã đặt nền móng cho nghiên cứu khai phá tri thức trong các CSDL.
Và những tiến bộ của các CSDL không gian nhƣ cấu trúc dữ liệu không gian, lập luận không gian, tính toán hình học,… đã mở đƣờng cho khai phá dữ liệu không gian. Trở ngại lớn nhất trong khai phá dữ liệu không gian là hiệu quả của các thuật toán khai phá dữ liệu không gian do lƣợng dữ liệu không gian khổng lồ, các kiểu dữ liệu không gian và các phƣơng pháp truy cập không gian phức tạp. Các phƣơng pháp khai phá dữ liệu không gian tập trung theo ba hƣớng chính là khai phá luật kết hợp không gian, phân lớp không gian và phân cụm không gian. Với mong muốn nghiên cứu về khai phá luật kết hợp không gian, luận văn đi sâu tìm hiểu một lĩnh vực nhỏ trong không gian đó là không gian địa lý.
Mục tiêu của luận văn Luận văn tập trung nghiên cứu về các kỹ thuật khai phá luật kết hợp không gian trong CSDL địa lý nhằm trích rút ra các dữ liệu địa lý có ích tiềm ẩn bên trong các kho tri thức địa lý khổng lồ. Cụ thể luận văn hƣớng vào các công việc: - Thu thập một số lớp dữ liệu bản đồ (bao gồm cả dữ liệu hình học và dữ liệu thuộc tính) để thử nghiệm với thuật toán khai phá luật kết hợp không gian. - Nghiên cứu một vài thuật toán tiền xử lý dữ liệu phục vụ cho khai phá dữ liệu không gian và một vài thuật toán khai phá luật kết hợp truyền thống để mở rộng áp dụng trên dữ liệu địa lý. - Cài đặt chƣơng trình thử nghiệm thuật toán lựa chọn nhằm khai phá luật kết hợp với dữ liệu hình học và dữ liệu thuộc tính của một số lớp bản đồ.
Tóm tắt nội dung luận văn Phần còn lại của luận văn đƣợc tổ chức nhƣ sau: Chƣơng 1: Tổng quan về dữ liệu không gian và khai phá luật kết hợp không gian. Bao gồm các phần nhƣ: Giới thiệu khái quát về dữ liệu địa lý, luật kết hợp, Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 3 luật kết hợp không gian, những vấn đề khó khăn trong khai phá luật kết hợp không gian. Chƣơng 2: Một số thuật toán khai phá luật kết hợp không gian. Bao gồm: các phƣơng pháp tiền xử lý dữ liệu không gian phục vụ khai phá dữ liệu và các phƣơng pháp khai phá luật kết hợp không gian trên cả dữ liệu hình học và dữ liệu thuộc tính.
Chƣơng 3: Cài đặt chương trình thử nghiệm. Bao gồm mô tả bài toán, xây dựng dữ liệu thử nghiệm, thiết kế chƣơng trình, cài đặt thuật toán và đánh giá kết quả thử nghiệm. Kết luận trình bày những nghiên cứu về khai phá luật kết hợp không gian, những đóng góp của luận văn và những định hƣớng nghiên cứu sắp tới. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 4 CHƢƠNG 1: TỔNG QUAN VỀ DỮ LIỆU KHÔNG GIAN VÀ KHAI PHÁ DỮ LIỆU KHÔNG GIAN 1.
Cơ sở dữ liệu địa lý CSDL địa lý lƣu trữ các thực thể trong thế giới thực hay còn gọi là các đối tƣợng địa lý thuộc một vùng nghiên cứu nào đó. Các đối tƣợng địa lý chứa cả các thuộc tính không gian (tọa độ địa lý x,y) và các thuộc tính phi không gian (tên, dân số,…). Đó là hai thành phần chính của dữ liệu không gian. Dữ liệu địa lý của các đối tƣợng địa lý thƣờng đƣợc lƣu trữ trong các CSDL quan hệ hoặc CSDL quan hệ đối tƣợng.1 thể hiện dữ liệu địa lý đƣợc lƣu trữ trong CSDL quan hệ, trong đó các đối tƣợng địa lý nhƣ đƣờng, nguồn nƣớc và siêu thị là các quan hệ khác nhau (các bảng CSDL), chúng có cả các thuộc tính không gian (dữ liệu hình học) và các thuộc tính phi không gian (dữ liệu thuộc tính).
a) Duong Gid Name Shape 1 Trần Duy Hưng Multiline[(x1,y1),(x2,y2),.] b) NguonNuoc Gid Name Shape 1 Hồ Hoàn Kiếm Multiline[(x1,y1),(x2,y2),.] 2 Sông Tô Lịch Multiline[(x1,y1),(x2,y2),.] c) SieuThi Gid Name Shape 1 Big C Thăng Long Point[(x1,y1)] 2 Plaza Tràng Tiền Point[(x1,y1)] Hình 1.1: Lưu trữ dữ liệu địa lý trong các CSDL quan hệ Ví dụ đặc trƣng không gian Siêu thị Big C Thăng Long có dữ liệu hình học là điểm đƣợc biểu diễn trong CSDL là cặp tọa độ, dữ liệu thuộc tính có thể là số loại mặt hàng kinh doanh, doanh thu hàng ngày. của cửa hàng. Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 5 Ví dụ khác là đặc trƣng không gian đƣờng phố Trần Duy Hƣng (Hà Nội), có dữ liệu hình học là tập các điểm để tạo nên đƣờng gấp khúc, dữ liệu thuộc tính có thể là số làn xe, chiều dài của đƣờng phố. Các thuộc tính không gian của các đối tƣợng địa lý (hình 1.1) có các quan hệ không gian: gần (close), xa (far), chứa (contains), cắt (intersects).
Do đó, các đối tƣợng gần nhau trong thế giới thực thƣờng có ảnh hƣởng lẫn nhau hay phụ thuộc lẫn nhau. Đây chính là đặc trƣng của dữ liệu địa lý trong khai phá dữ liệu và cũng là sự khác biệt của việc khai phá dữ liệu không gian so với các phƣơng pháp khai phá dữ liệu truyền thống. Quá trình trích chọn quan hệ không gian sẽ tạo ra rất nhiều kết hợp không gian mà có thể đƣợc ngƣời sử dụng quan tâm hoặc không quan tâm.2 là ví dụ về các quan hệ không gian tiềm ẩn giữa các siêu thị, các trạm ATM và các đƣờng phố, không có một mối quan hệ rõ ràng nào giữa các dữ liệu này. Tuy nhiên, trong thực tế những ngƣời đi mua hàng ở siêu thị hay tìm đến các các trạm ATM gần đó để rút tiền nên việc trích chọn ra các quan hệ không gian giữa các trạm ATM, các siêu thị và đƣờng sẽ đƣợc quan tâm trong quá trình khai phá dữ liệu.
Nói cách khác, chúng có sự phụ thuộc địa lý giữa các đối tƣợng không gian.2: Quan hệ không gian tiềm ẩn Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.3 là hai ví dụ về các quan hệ không gian trong đó thể hiện các phụ thuộc địa lý đã biết.3 (trái) cho thấy cầu vƣợt luôn cắt đƣờng còn cầu luôn cắt các sông, trong đó cả cầu vƣợt và cầu đều có cùng ngữ nghĩa là nối các đƣờng.3 (phải) có một phụ thuộc địa lý đã biết là mỗi siêu thị đều nằm trên ít nhất một đƣờng.3: Quan hệ không gian có các phụ thuộc địa lý đã biết Khác biệt chính giữa các ví dụ ở hình 1.3 chứa các quan hệ không gian đã biết.2 chứa các quan hệ không gian tiềm ẩn có thể đƣợc quan tâm trong quá trình khai phá dữ liệu. Các phụ thuộc địa lý đã biết là các quan hệ không gian bắt buộc thể hiện các ràng buộc toàn vẹn không gian đƣợc sử dụng để đảm bảo sự thống nhất của dữ liệu. Chúng thƣờng đƣợc thể hiện rõ trong các lƣợc đồ CSDL địa lý. Quan hệ không gian và ràng buộc toàn vẹn không gian Có ba kiểu quan hệ không gian chính là: quan hệ khoảng cách, quan hệ hƣớng và quan hệ topo.
Quan hệ khoảng cách dựa trên khoảng cách Euclid giữa 2 đối tƣợng địa lý (hình 1. Đặt dist là hàm khoảng cách, operator là toán tử thuộc tập {<, >,<=, >=, Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 7 =}, d là một số thực, A và B là hai đối tƣợng địa lý. Khi đó khoảng cách giữa A và B đƣợc biểu diễn bởi hàm dist(A,B) có giá trị là d. Quan hệ hướng thể hiện vị trí của đối tƣợng này so với các đối tƣợng khác trong quan hệ không gian (hình 1.
Quan hệ topo có kiểu đặc trƣng điển hình là giao giữa hai đối tƣợng địa lý và chúng bất biến trên các phép biến đổi hình học nhƣ quay và co giãn. Có nhiều phƣơng pháp để xác định các quan hệ topo giữa các điểm, đƣờng, vùng. Hầu nhƣ, chúng đều dựa trên mô hình giao nhau nhƣ: bên trong và đƣờng bao hoặc bên trong, bên ngoài và đƣờng bao [15]. Phép giao là sự phối hợp của các toán tử logic và( ) và or( ).
Các mô hình giao nhau xác định 8 quan hệ topo nhị phân là: cắt (crosses), chứa (contains), trong (within), bao (covers), bao bở (-coveredBy), trùng (equals), không nối (disjoint), chồng (overlaps) [28]. Quan hệ topo cũng có thể đƣợc xác định theo phƣơng pháp tích phân hoặc phƣơng pháp mở rộng chiều. Các phƣơng pháp này xác định 6 quan hệ không gian là: crosses, contains, within, equals, disjoint, overlaps (hình 1. Quan hệ topo mức cao là không nối (disjoint) và nối (connected).