Nghiên Cứu Hệ Thống Cơ Sở Dữ Liệu Tại Đại Học Giao Thông Vận Tải Hà Nội

Dữ liệu thường được coi là dãy các bit, số, ký hiệu hoặc các đối tượng với ý nghĩa nhất định. Tri thức có thể xem là thông tin thích hợp, bao gồm các sự kiện và mối quan hệ giữa chúng. Sử dụng thông tin hiệu quả là yếu tố thành công trong mọi lĩnh vực nghiệp vụ. Quá trình phát hiện tri thức trong cơ sở dữ liệu (KDD) cho phép lấy ra những thông tin tiềm ẩn có giá trị mà trước đó chưa được phát hiện, tìm ra xu hướng phát triển và các yếu tố tác động. Kỹ thuật khai phá dữ liệu (Data mining) là một phần quan trọng của KDD, giúp trích xuất tri thức từ dữ liệu.

Quá trình phát hiện tri thức (KDD) nhằm rút ra tri thức từ dữ liệu trong cơ sở dữ liệu lớn. Quá trình này bao gồm nhiều giai đoạn lặp lại, có thể xảy ra ở bất kỳ thời điểm nào cần thiết. Các bước chính bao gồm: tìm hiểu lĩnh vực ứng dụng và hình thành bài toán, thu thập và xử lý thô dữ liệu (tiền xử lý), khai phá dữ liệu (trích xuất mẫu hoặc mô hình tiềm ẩn), nắm hiểu tri thức đã tìm được và chuẩn bị cho ứng dụng. Quá trình này mang tính tương tác giữa người sử dụng và các công cụ tin học.

Khai phá dữ liệu là quá trình trích xuất thông tin có giá trị tiềm ẩn từ các nguồn dữ liệu lớn. Các thuật ngữ tương tự bao gồm khai phá tri thức từ cơ sở dữ liệu, trích lọc dữ liệu, phân tích dữ liệu/mẫu, khảo cổ dữ liệu, nạo vét dữ liệu. Một quá trình khai phá dữ liệu (KPDL) bao gồm năm giai đoạn chính: tìm hiểu nghiệp vụ và dữ liệu, chuẩn bị dữ liệu, mô hình hóa dữ liệu, hậu xử lý và đánh giá mô hình, triển khai tri thức. Quá trình này có thể lặp lại nhiều lần hoặc nhiều giai đoạn dựa trên phản hồi từ kết quả của các giai đoạn sau.

Trong KPDL, các bài toán có thể phân thành bốn loại chính. Bài toán phổ biến nhất là phân lớp, sử dụng tập dữ liệu huấn luyện để tạo bộ phân loại. Dự đoán tạo ra các bộ dự đoán dựa trên thông tin hiện có. Tìm luật liên kết tìm kiếm các mối liên kết giữa các phần tử dữ liệu. Phân cụm nhóm các đối tượng dữ liệu có tính chất giống nhau vào cùng một nhóm. Các kỹ thuật này thường được vận dụng trong vấn đề phân hoạch dữ liệu tiếp thị hay khảo sát sơ bộ các dữ liệu.

Khai phá dữ liệu là một bước lớn trong quá trình phát hiện tri thức từ số lượng lớn dữ liệu được lưu trữ trong CSDL, kho dữ liệu hoặc các nơi lưu trữ khác. Kết quả của bước này là những mẫu đáng quan tâm được đưa đến cho người dùng hoặc lưu giữ như là tri thức mới trong cơ sở tri thức. Kiến trúc của hệ thống khai phá dữ liệu có thể có các thành phần chính sau: CSDL, kho dữ liệu hoặc kho lưu trữ khác, cơ sở tri thức, các hệ thống khám phá tri thức, đánh giá mẫu, giao diện đồ họa.

Giải thuật khai phá dữ liệu gồm 3 thành phần chính: biểu diễn mô hình, đánh giá mô hình, tìm kiếm mô hình. Biểu diễn mô hình: Mô hình được biểu diễn bằng một ngôn ngữ nào đó để mô tả các mẫu có thể khai thác được. Đánh giá mô hình: Đánh giá là xem xét xem một mẫu có thể đáp ứng được các tiêu chuẩn của quá trình phát hiện tri thức hay không. Tìm kiếm mô hình: Phương pháp tìm kiếm bao gồm 2 thành phần: Tìm kiếm tham số và Tìm kiếm mô hình.

Phương pháp suy diễn logic nhằm rút ra thông tin là kết quả logic của các thông tin trong CSDL. Phương pháp suy diễn dựa trên các sự kiện chính để suy ra các tri thức mới từ các thông tin cũ. Mẫu kết xuất thu được bằng cách sử dụng phương pháp này thường là các luật suy diễn. Phương pháp quy nạp suy ra các thông tin được sinh ra từ CSDL. Các thông tin mà phương pháp này đem lại là các thông tin hay tri thức cấp cao diễn tả về các đối tượng trong CSDL.

Cây quyết định là một mô tả tri thức dạng đơn giản nhằm phân các đối tượng dữ liệu thành một số lớp nhất định. Các nút của cây được gắn nhãn là tên các thuộc tính, các cành được gắn các giá trị có thể của các thuộc tính, các lá mô tả các lớp khác nhau. Các thuộc tính được phân theo lớp các đường đi trên cây, qua các cành tương ứng với giá trị thuộc tính của đối tượng lá. Cây quyết định được dùng trong bài toán phân đoạn dữ liệu theo một tiêu chuẩn nào đó dựa trên mức độ khác nhau của thuộc tính.

Các luật kết hợp là một dạng biểu diễn tri thức, hay chính xác hơn là dạng mẫu để hình thành tri thức. Phương pháp này nhằm phát hiện ra các luật kết hợp giữa các thành phần dữ liệu trong CSDL. Mẫu đầu ra của giải thuật khai phá dữ liệu là tập luật kết hợp tìm được. Khi thiết kế dữ liệu dùng cho kỹ thuật luật kết hợp cần lưu ý để giảm thiểu số lượng các thuộc tính đầu vào bởi không gian tìm kiếm các luật sẽ tăng theo hàm mũ của số lượng các thuộc tính đầu vào.

Kỹ thuật phân nhóm và phân đoạn là những kỹ thuật phân chia dữ liệu sao cho mỗi phần hoặc mỗi nhóm giống nhau theo một số tiêu chí nào đó. Mối quan hệ thành viên của các nhóm có thể dựa trên mức độ giống nhau của các thành viên trong nhóm. Một kỹ thuật phân nhóm khác là xây dựng thành các hàm đánh giá các thuộc tính của các thành phần như hàm của các tham số của các thành phần. Phương pháp này được gọi là phương pháp phân hoạch tối ưu.

Sử dụng các mẫu mô tả từ CSDL để tạo nên một mô hình dự đoán các mẫu mới bằng cách rút ra các thuộc tính tương tự như các mẫu đã biết trong mô hình. Các kỹ thuật bao gồm phân lớp theo láng giềng gần nhất, các giải thuật hồi quy và các hệ thống suy diễn dựa trên tình huống. Mô hình phụ thuộc dựa trên đồ thị xác suất: các mô hình đồ thị xác định sự phụ thuộc xác suất giữa các sự kiện thông qua các quan hệ trực tiếp theo các cung đồ thị.

Trong khi các mẫu kết xuất bằng các luật suy diễn và cây quyết định gắn chặt với các mệnh đề logic thì mô hình học quan hệ sử dụng... (Nội dung bị cắt trong tài liệu gốc, cần bổ sung thông tin để hoàn thiện phần này).