MỞ ĐẦU 1. Lý do chọn đề tài Cùng với sự phát triển nhƣ vũ bão của công nghệ thông tin (CNTT), lƣợng thông tin của nhân loại đƣợc lƣu trữ trên các thiết bị điện tử ngày một tăng. Nguồn dữ liệu khổng lồ ấy đƣợc tích lũy với tốc độ bùng nổ từ rất nhiều lĩnh vực: khoa học, kinh doanh, giao dịch, thƣơng mại, chứng khoán,…Vậy chúng ta có thể khai thác và xác minh tính đúng của những thông tin từ những “núi” dữ liệu ấy không? Khai phá dữ liệu (Data Mining – DM) ra đời phần nào đó đã giải quyết hữu hiệu cho câu hỏi đặt ra ở trên. Và thế nào là khai phá dữ liệu? Khai phá dữ liệu là một quá trình khám phá, chắt lọc các tri thức mới và các tri thức có ích ở dạng tiềm năng cũng nhƣ xác minh tính đúng đắn của những thông tin trong nguồn dữ liệu đã có của một công ty, đơn vị, tổ chức nào đó, từ đó giúp cho chúng ta có đƣợc quyết định sáng suốt trong điều hành và kiểm toán.
Khai phá dữ liệu là một hƣớng tiếp cận mới, tuy nhiên đã thu hút đƣợc rất nhiều sự quan tâm của các nhà nghiên cứu và phát triển nhờ vào những ứng dụng thực tiễn của chúng nhƣ: phân tích dữ liệu và hỗ trợ ra quyết định; điều trị y học; tin sinh học; tài chính và thị trƣờng chứng khoán; quản lý quan hệ khách hàng, chăm sóc sức khỏe; hoạt động kiểm toán,. Trong khai phá dữ liệu, kết quả nghiên cứu tri thức và ứng dụng về phần tử ngoại lai đã giải quyết đƣợc nhiều bài toán thực tế nhƣ phát hiện những thẻ bất thƣờng trong hệ thống ngân hàng, quản lý tài chính, sản xuất kinh doanh, những tuyến đƣờng bất ổn không hợp lý trong giao thông, ứng dụng trong hệ thống an ninh, dự báo thời tiết, trong thị trƣờng chứng khoán, trong lĩnh vực thể thao,… đang đƣợc quan tâm. Tuy nhiên, với số lƣợng dữ liệu đƣợc tập trung và lƣu trữ trong cơ sở dữ liệu (CSDL) ngày càng lớn thì việc tìm kiếm các dữ liệu ngoại lai (bất thƣờng) đã trở nên cấp thiết. ix Từ nhu cầu thực tế đó, học viên đã lựa chọn đề tài “Nghiên cứu phần tử ngoại lai đối với các dạng phụ thuộc hàm đặc biệt và ứng dụng trong hoạt động kiểm toán” cho luận văn tốt nghiệp với mục đích là ứng dụng các tri thức về khai phá dữ liệu để nâng cao chất lƣợng trong hoạt động kiểm toán ví dụ nhƣ kiểm tra tiền thuế nhập khẩu phải nộp của các đơn vị xuất nhập khẩu hàng công nghiệp hay kiểm tra các thành phần phân bón cần xuất kho trong từng ngày, phát hiện sai sót về tỷ lệ đầu tƣ vốn nƣớc ngoài vào các ngành nghề ở Việt Nam,.
Đề tài đi sâu nghiên cứu một mảng kỹ thuật khai thác dữ liệu nhằm hỗ trợ cho mục đích sử dụng khác nhau. Có mục đích tìm các nhân tố tích cực, có mục đích tìm các lỗi lƣu trữ trong tập dữ liệu, có mục đích tìm kiếm nhận dạng tội phạm, gian lận tài chính hoặc cũng có thể làm dự báo, phân tích thị trƣờng,… Việc nghiên cứu phần tử ngoại lai đối với phụ thuộc hàm đặc biệt trong CSDL đã mang ý nghĩa khoa học rất lớn là một trong nội dung của khám phá tri thức trong CSDL. Đề tài sẽ thực hiện với hy vọng sẽ đóng góp một phần nghiên cứu khoa học nhất định trong việc tổng hợp, đánh giá, phát hiện những tri thức có ý nghĩa thực tiễn lớn. Mặc dù việc nghiên cứu lý thuyết về phần tử ngoại lai đối với các dạng phụ thuộc hàm nói chung, các dạng phụ thuộc hàm đặc biệt nói riêng, cũng không phải là vấn đề còn mới nhƣng việc nghiên cứu chuyên sâu về mặt lý thuyết và ứng dụng nó còn chƣa nhiều trên thị trƣờng, đặc biệt ở Việt Nam, trong các hoạt động kiểm toán cũng là một trong những lý do để học viên chọn đề tài này.
Mục tiêu nghiên cứu Luận văn sẽ đƣợc thực hiện với các mục tiêu chính sau: - Làm rõ mối quan hệ đặc biệt (dạng phụ thuộc hàm đặc biệt) giữa các dữ liệu trong bảng dữ liệu để tìm ra các sai sót do con ngƣời cố ý hay vô ý tạo ra. - Thực nghiệm thành công khả năng ứng dụng tri thức về khai phá dữ liệu trong công tác quản lý. Đối tƣợng và phạm vi nghiên cứu Đối tƣợng nghiên cứu trong luận văn là phần tử ngoại lai đối với các dạng phụ thuộc hàm dạng đặc biệt loại đơn giản (dạng bằng nhau và dạng tỷ lệ). Phạm vi nghiên cứu của đề tài là chỉ tập trung vào các thuật toán phát hiện phần tử ngoại lai đối với các dạng phụ thuộc hàm đặc biệt cùng với một số ứng dụng cụ thể trong hoạt động kiểm toán.
Phƣơng pháp nghiên cứu Đề tài đƣợc thực hiện trên cơ sở lý thuyết về: + Phụ thuộc hàm trong CSDL quan hệ và phần tử ngoại lai. + Các tiêu chuẩn nhận biết phần tử ngoại lai. + Các thuật toán xác định phần tử ngoại lai đối với các dạng phụ thuộc hàm nói chung và dạng đặc biệt nói riêng. Bố cục của luận văn Bố cục của luận văn đƣợc chia làm 3 chƣơng: Chƣơng 1: Tổng quan về phụ thuộc hàm trong CSDL quan hệ và phần tử ngoại lai.
Chƣơng 2: Các thuật toán xác định phần tử ngoại lai đối với các phụ thuộc hàm dạng đặc biệt. Chƣơng 3: Một số ứng dụng trong hoạt động kiểm toán. xi CHƢƠNG 1 TỔNG QUAN VỀ PHỤ THUỘC HÀM TRONG CSDL QUAN HỆ VÀ PHẦN TỬ NGOẠI LAI 1. Khái niệm về phụ thuộc hàm trong CSDL quan hệ 1.
Định nghĩa quan hệ [3,4,6] Cho R ={a1, a2 ,., an} là một tập hữu hạn, không rỗng các thuộc tính. Mỗi thuộc tính ai có một miền giá trị là Dai. Khi đó r - một tập các bộ {h1, h2,., hm} đƣợc gọi là một quan hệ trên R, với hj (j =1, 2,.,m) là một hàm: h j : R D ai sao cho: hj (ai) Dai a i R Có thể biểu diễn quan hệ r ở dạng bảng: Bảng 1. Biểu diễn quan hệ dạng bảng a1 a2.
hm (an) Nhận xét: - Định nghĩa này là quan trọng. Toàn bộ lý thuyết cơ sở dữ liệu dựa trên định nghĩa này. Nó đƣợc coi là hạt nhân của cơ sở dữ liệu quan hệ [4]., hm là các thành phần trong tập hợp quan hệ trong r. Trong mô hình quan hệ, không chấp nhận hai bản ghi trùng nhau trong một file dữ liệu.
Ví dụ: Để lƣu giữ thông tin về các mặt hàng, cần sử dụng bảng thiết bị nhƣ sau: 1 Bảng 1. Biểu diễn quan hệ THIETBI [4] Mã thiết bị Tên thiết bị Mô tả Đơn giá Kho Bộ vi xử lý Pentium IV 3.0C GHz CPUSK478P30 240 A Pentium 4 (Box/512Kb/Bus800) VIA chipset/SK478/Bus533 VGA/Sound/NIC Bo mạch chủ ASUSP4V533MX onboard, support 54 B Pentium 4 DDRAM, Huper threading có AGP mở rộng Card màn VGA8 VGA 8Mb (2X) Ati 10 C hình Maxtor Quantum 30Gb HDDQ30 Ổ đĩa cứng 53 D 5400rpm Có thể quy định kích thƣớc cho các thuộc tính (các trƣờng) nhƣ sau: Bảng 1. Bảng thuộc tính của quan hệ THIETBI Tên thuộc tính Kiểu Kích thƣớc Mã thiết bị Ký tự 15 Tên thiết bị Ký tự 30 Mô tả Ký tự 100 Đơn giá Số 5 Kho Ký tự 2 Chúng ta có tập thuộc tính: THIẾT BỊ = {Mã thiết bị, Tên thiết bị, Mô tả, Đơn giá, Kho} Ở đây: - DMã thiết bị là tập các xâu ký tự độ dài không quá 15 - DT ên thiết bị là tập các xâu ký tự độ dài không quá 30 2 - DMô tả là tập các xâu ký tự độ dài không quá 100 - DĐơn giá là tập các số có độ dài không quá 5 - DKho là tập các xâu ký tự độ dài không quá 2 Khi đó chúng ta có các quan hệ r = {h1, h2, h3, h4}, ở đây đối với bản ghi thứ nhất (dòng thứ nhất) chúng ta có: h1(Mã thiết bị) = CPUSK478P30 h1(Tên thiết bị) = Bộ vi xử lý Pentium 4 h1(Mô tả) = Pentium IV 3.0C GHz (Box/512Kb/Bus800) h1(Đơn giá) = 240 h1(Kho) = A Khi viết R(a1,a2,…,an) ta có một lƣợc đồ quan hệ R 1. Định nghĩa phụ thuộc hàm Khái niệm về phụ thuộc hàm trong một quan hệ là rất quan trọng trong việc thiết kế mô hình dữ liệu.F Codd đã mô tả phụ thuộc hàm trong mô hình dữ liệu quan hệ, nhằm giải quyết việc phân rã không mất thông tin [6].an } là tập hợp các thuộc tính, r = {h1, h2,…., hm} là một quan hệ trên R, và A, B là các tập con của R (A, B R).
Khi đó chúng ta nói A là xác định cho B hay B phụ thuộc hàm vào A trong r. f Ký hiệu là: A B nếu: r (hi, hjr) ((aA)( hi(a) = hj (a)) (bB) (hi(b)=hj(b)) Đặt Fr = f ( A, B ) : A, B R , A B r Khi đó Fr đƣợc gọi là họ đầy đủ các phụ thuộc hàm của quan hệ r. Nhận xét: Ta có thể thấy rằng B mà phụ thuộc hàm vào A, nếu hai dòng bất kỳ mà các giá trị của tập thuộc tính A mà bằng nhau từng cặp một, thì kéo theo các giá trị trên tập thuộc tính B cũng phải bằng nhau từng cặp một. 3 Ví dụ: Xét quan hệ THISINH [4]: Bảng 1.
Quan hệ THISINH Khu Sbd Hoten Điachi Tinh vực MO711001 Nguyễn Thái Bình 12 Bản Nhàn Lạng Sơn 0 MO 711002 Trần Nam Ninh 3 Kim Mã Hà Nội 3 MO 711003 Lê Thanh Hoa 53 Hai Bà Trƣng Hà Nội 3 MO 711004 Vũ Thúy Hồng 89 Đồng Đăng Lạng Sơn 0 MO 711005 Phạm Nhƣ Em 40 Trần Hƣng Đạo Hải Dƣơng 2 Trong quan hệ THISINH, dựa vào định nghĩa phụ thuộc hàm của quan hệ ta có: {tinh} {khuvuc} {sbd} {hoten, diachi, tinh, khuvuc} Ý nghĩa: Khái niệm phụ thuộc hàm miêu tả một loại ràng buộc (phụ thuộc dữ liệu) xảy ra tự nhiên nhất giữa các tập thuộc tính. Hệ tiên đề Armstrong Gọi F là tập xác định các phụ thuộc hàm đối với lƣợc đồ quan hệ R và X Y là một phụ thuộc hàm. Nói rằng X Y được suy diễn logic từ F nếu mối quan hệ r trên R đều thoả mãn phụ thuộc hàm của F thì cũng thoả mãn X Y. Chẳng hạn: F ={A B, B C} thì A C suy ra từ F.
Gọi F+ là bao đóng (closure) của F, tức là tập tất cả các phụ thuộc hàm đƣợc suy diễn logic từ F. Nếu F = F+ thì F là họ đầy đủ (full family) của các phụ thuộc hàm [1,6,8].