CHƯƠNG 1 CƠ SỞ LÝ LUẬN VỀ PHÂN CỤM DỮ LIỆU VÀ GIAN LẬN BÁO CÁO TÀI CHÍNH 1. Khai phá dữ liệu 1. Tổng quan về khai phá dữ liệu 1. Định nghĩa Khoảng hơn một thập kỷ trở lại đây, khoa học công nghệ không ngừng phát triển và lượng thông tin được lưu trữ trên các thiết bị điện tử không ngừng tăng lên.
Sự tích lũy dữ liệu này xảy ra với tốc độ bùng nổ. Một cách hình ảnh là chúng ta đang “ngập” trong dữ liệu nhưng lại “đói tri thức”. Câu hỏi đặt ra là liệu chúng ta có thể khai thác gì từ “núi” dữ liệu ấy không? “Necessity is the mother of invention” (Plato, 348 TCN) – Data mining ra đời như một hướng giải quyết hữu hiệu cho câu hỏi vừa đặt ra ở trên. Khá nhiều định nghĩa về Data mining và sẽ được đề cập sau, tuy nhiên có thể hiểu rằng Data mining như là một công nghệ tri thức giúp khai thác những thông tin hữu ích từ những kho dữ liệu được tích trữ trong suốt quá trình hoạt động của một công ty hay tổ chức nào đó.
Khai phá dữ liệu được định nghĩa như quá trình chắt lọc hay khai phá tri thức từ một lượng lớn dữ liệu. Thuật ngữ “data mining” chỉ việc tìm kiếm một tập hợp nhỏ có giá trị từ một lượng lớn dữ liệu thô. “Data mining” được ví dụ như việc “đãi cát tìm vàng” trong một tập hợp lớn các dữ liệu cho trước. Hiện nay có nhiều thuật ngữ được sử dụng tương tự với “data mining” như “knowledge mining” (khai phá tri thức), “knowledge extraction” (chắt lọc tri thức), “data/pattern analysis” (phân tích dữ liệu/mẫu), “data dredging” (nạo vét dữ liệu)…(Han và Kamber, 2006) [11].
Khai phá dữ liệu là một tập hợp các kỹ thuật được sử dụng để tự động khai thác và tìm ra các mối quan hệ lẫn nhau của dữ liệu trong một tập hợp dữ liệu khổng lồ và phức tạp, đồng thời cũng tìm ra các mẫu tìm ẩn trong tập dữ liệu đó. Khai phá dữ liệu là một bước trong 7 bước của quá trình khai phá dữ liệu (Knowledge Discovery in Database - KDD) và KDD bao gồm 7 quá trình khác nhau theo thứ tự như sau: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1: Quy trình khai phá dữ liệu từ kho dữ liệu (Nguồn: Han and Kamber, 2006 [11]. Data mining: Concepts and Techniques) 1. Làm sạch dữ liệu (data cleaning): loại bỏ nhiễu và các dữ liệu không cần thiết; 2.
Tích hợp dữ liệu (data integration): quá trình hợp nhất dữ liệu thành những kho dữ liệu (data warehouse) sau khi đã làm sạch và tiền xử lý (data preprocessing); 3. Trích chọn dữ liệu (data selection): trích chọn dữ liệu từ những kho dữ liệu lớn ban đầu theo những tiêu chí nhất định; 4. Biến đổi dữ liệu (data transformation): là bước chuẩn hóa và làm mịn dữ liệu để đưa dữ liệu về dạng thuận lợi nhất nhằm phục vụ cho các kỹ thuật khai phá ở bước sau; 5. Khai phá dữ liệu (data mining): là bước áp dụng các kỹ thuật phân tích nhằm khai phá dữ liệu, trích chọn được những mẫu thông tin, những mối liên hệ đặc biệt trong dữ liệu.
Đây được xem là bước quan trọng và tốn thời gian nhất của toàn quá trình KDD; 6. Đánh giá mẫu (pattern evaluation): quá trình đánh giá các kết quả tìm được qua các thước đo nào đó; 7. Biểu diễn tri thức (knowledge presentation): quá trình này sử dụng các kỹ thuật để biểu diễn và thể hiện trực quan cho người sử dụng. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.
Các kỹ thuật tiếp cận trong khai phá dữ liệu Nếu đứng trên quan điểm của học máy (Machine learning) thì các kỹ thuật trong Data mining bao gồm: Học có giám sát (Supervised learning): Là quá trình gán nhãn lớp cho các phần tử trong cơ sở dữ liệu dựa trên một tập các ví dụ huấn luyện và các thông tin về nhãn lớp đã biết. Học không có giám sát (Unsupervised learning): Là quá trình phân chia một tập dữ liệu thành các lớp hay là cụm dữ liệu tương tự nhau mà chưa biết trước các thông tin về lớp hay tập các ví dụ huấn luyện. Học nửa giám sát (Semi – Supervised learning): Là quá trình phân chia một tập dữ liệu thành các lớp dựa trên một tập nhỏ các ví dụ huấn luyện và một số các thông tin về một số nhãn lớp đã biết trước. Nếu căn cứ vào lớp các bài toán cần giải quyết thì Data mining bao gồm các kỹ thuật sau: Phân lớp và dự đoán (Classification & Prediction) Là việc xếp các đối tượng vào một trong các lớp đã biết trước.
Phân lớp là lĩnh vực rất quan trọng trong khai phá dữ liệu, phân lớp còn được gọi là học có giám sát, hướng tiếp cận này thường được sử dụng một số kỹ thuật của học máy như cây quyết định (decision tree), mạng nơ ron nhân tạo (neural network), v.v Phân tích luật kết hợp (Association rule) Luật kết hợp là luật biểu diễn tri thức ở dạng tương đối đơn giản. Mục tiêu của phương pháp này là phát hiện và đưa ra các mối quan hệ giữa các giá trị dữ liệu trong cơ sở dữ liệu. Luật kết hợp có khả năng ứng dụng trong nhiều lĩnh vực khác nhau như kinh doanh, y học, tài chính, thị trường chứng khoán, phân tích quyết định, phân tích thị trường, v. Tuy luật kết hợp là một dạng luật khá đơn giản nhưng lại mang rất nhiều ý nghĩa.
Thông tin mà dạng luật này đem lại rất có lợi trong các hệ hỗ trợ ra quyết định. Tìm kiếm được những luật kết hợp đặc trưng và mang nhiều thông tin từ cơ sở dữ liệu tác nghiệp là một trong những hướng tiếp cận chính trong lĩnh vực khai phá dữ liệu. Khai thác mẫu tuần tự (sequential/temporal patterns) Tương tự như khai thác luật kết hợp nhưng có thêm tính thứ tự và tính thời gian. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 9 Một luật mô tả mẫu tuần tự có dạng tiêu biểu X Y phản ánh sự xuất hiện của biến cố X sẽ dẫn đến việc xuất hiện kế tiếp biến cố Y.
Hướng tiếp cận này có tính dự báo cao. Phân nhóm – đoạn (Clustering/Segmentation) Mục tiêu chính của việc phân nhóm dữ liệu là nhóm các đối tượng tương tự nhau trong tập dữ liệu vào các nhóm sao cho mức độ tương tự giữa các đối tượng trong cùng một nhóm là lớn nhất và mức độ tương tự giữa các đối tượng nằm trong các nhóm khác nhau là nhỏ nhất. Các nhóm có thể tách nhau hoặc phân cấp gối lên nhau và số lượng các nhóm là chưa biết trước. Một đối tượng có thể vừa thuộc nhóm này, nhưng cũng có thể vừa thuộc nhóm khác.
Không giống như phân lớp dữ liệu không đòi hỏi phải định nghĩa trước các mẫu dữ liệu. Vì thế có thể xem phân nhóm dữ liệu là một cách học bằng quan sát (learning by observation), trong khi phân lớp dữ liệu là học bằng ví dụ (learning by example). Phân nhóm còn được gọi là học không có giám sát (unsupervised learning). Phân nhóm dữ liệu được sử dụng nhiều trong các ứng dụng về phân đoạn thị trường, phân đoạn khách hàng, nhận dạng mẫu, phân loại trang web, v.
Ngoài ra phân nhóm dữ liệu còn có thể được sử dụng như một bước tiền xử lý cho các thuật toán khai phá dữ liệu khác. Ứng dụng của khai phá dữ liệu Tại Việt Nam, khai phá dữ liệu là hướng tiếp cận khá mới. Tuy nhiên đây là lĩnh vực thu hút được rất nhiều sự quan tâm của các nhà nghiên cứu trên thế giới và nó đã phát triển nhờ vào những ứng dụng của nó như: o Phân tích dữ liệu và ra quyết định (data analysis & decision support); o Điều trị y học (medical treatment); o Tin – sinh (bio-informations); o Tài chính và thị trường chứng khoán (finance & stock market); o Bảo hiểm (insurance); o Nhận dạng (pattern recognition); o Marketing: xác định nhóm khách hàng (khách hàng tiềm năng, khách hàng giá trị, phân loại và dự đoán hành vi khách hàng, v.v) sử dụng sản phẩm hay dịch vụ của công ty để công ty có chiến lược kinh doanh hiệu quả hơn. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 10 Như vậy, khai phá dữ liệu đã được ứng dụng trong nhiều lĩnh vực kinh tế, xã hội, y học, khoa học, v.
Tuy nhiên, ứng dụng những kỹ thuật này trong lĩnh vực kiểm toán BCTC còn rất hạn chế. Khai phá dữ liệu có thể giúp khám phá kiến thức tiềm ẩn, mối quan hệ không ngờ của các dữ liệu trong khối dữ liệu khổng lồ. Với chức năng này kỹ thuật khai phá dữ liệu được ứng dụng để kiểm toán gian lận và nhầm lẫn trên BCTC. Để thực hiện chức năng này kỹ thuật khai phá dữ liệu mô tả được sử dụng.
Kỹ thuật này dễ dàng ứng dụng trên khối dữ liệu chưa được biết trước. Kỹ thuật khai phá dữ liệu mô tả bao gồm luật liên kết, phân tích cụm và kỹ thuật phát hiện bất thường. Trong phạm vi luận văn, tác giả đi sâu phân tích kỹ thuật phân cụm dữ liệu. Phân cụm dữ liệu 1.
Định nghĩa Phân cụm dữ liệu là tên của nhóm kỹ thuật đa biến có mục tiêu chính là phân loại các đơn vị dựa vào một số các đặc tính của chúng. Các kỹ thuật này nhận diện và phân loại các đối tượng hay các biến sao cho các đối tượng trong cùng một cụm tương tự nhau xét theo các đặc tính được chọn để nghiên cứu. Nội bộ trong các cụm sẽ đồng nhất cao trong khi giữa các cụm có sự khác biệt lớn. Các cụm được gom có chất lượng cao khi chúng tương tự cao trong lớp (intra-class) và tương tự thấp giữa các lớp (inter-class).
Điều đó có nghĩa là các đối tượng trong cùng một nhóm có sự giống nhau hoặc gần giống nhau càng nhiều thì chất lượng gom cụm sẽ càng cao.2: Mô phỏng sự phân cụm dữ liệu (Nguồn: Tác giả tổng hợp và mô phỏng) 1. Yêu cầu của phân cụm dữ liệu Việc thiết kế và sắp xếp các cụm cần thỏa mãn các yêu cầu sau đây: LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 11 Yêu cầu về tính sẵn sàng cao (Availability): các tài nguyên mạng phải luôn sẵn sàng trong khả năng cao nhất để cung cấp và phục vụ cho người dùng cuối cùng và giảm thiểu sự ngưng hoạt động hệ thống ngoài ý muốn; Yêu cầu về độ tin cậy cao (Realiability): độ tin cậy của cụm được hiểu là khả năng giảm thiểu tần số xảy ra sự cố và nâng cao khả năng chịu đựng sai sót của hệ thống; Yêu cầu về khả năng mở rộng được (Scalability): hệ thống phải có khả năng dễ dàng cho việc nâng cấp, mở rộng tương lai.