Luận văn thạc sĩ về nghiên cứu luật và khai phá cơ sở dữ liệu xuất nhập khẩu

Chuyên đề luật và khai phá dữ liệu xuất nhập khẩu, tiếp cận liên ngành, kết quả nghiên cứu có giá trị ứng dụng cao trong luật tron

• Tác giả: Nguyễn Đức Toản
• Người hướng dẫn: TS. Phùng Văn Ổn
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Luật Kết Hợp, Thử Nghiệm Khai Phá Cơ Sở Dữ Liệu Xuất Nhập Khẩu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU
• 1.1. Khai phá dữ liệu
• 1.1.1. Khái niệm Khai phá dữ liệu
• 1.1.2. Quá trình khai phá dữ liệu
• 1.1.3. Kiến trúc của một hệ thống khai phá dữ liệu
• 1.1.4. Nhiệm vụ chính trong khai phá dữ liệu
• 1.1.5. Các phương pháp khai phá dữ liệu
• 1.1.6. Các cơ sở dữ liệu có thể khai phá
• 1.2. Ứng dụng của khai phá dữ liệu
• 1.3. Một số khó khăn và thách thức trong khai phá dữ liệu
• 1.3.1. Các vấn đề về cơ sở dữ liệu
• 1.3.2. Một số vấn đề khác
• 2. CHƯƠNG 2: LUẬT KẾT HỢP TRONG KHAI PHÁ DỮ LIỆU
• 2.1. Bài toán kinh điển dẫn đến việc khai phá luật kết hợp
• 2.2. Lý thuyết về luật kết hợp
• 2.2.1. Luật kết hợp
• 2.2.2. Một số tính chất của luật kết hợp
• 2.3. Đặc tả bài toán khai phá luật kết hợp
• 2.4. Một số thuật toán khai phá luật kết hợp
• 2.4.1. Tìm tập mục phổ biến (Pha 1)
• 2.4.2. Sinh các luật từ các tập mục phổ biến
• 2.5. Một số hướng tiếp cận trong khai phá luật kết hợp
• 2.5.1. Luật kết hợp nhị phân (binary association rule hoặc boolean association rule)
• 2.5.2. Luật kết hợp có thuộc tính số và thuộc tính danh mục (quantitative and categorial association rule)
• 2.5.3. Luật kết hợp tiếp cận theo hướng tập thô (mining association rules base on rough set)
• 2.5.4. Luật kết hợp nhiều mức (multi-level association rules)
• 2.5.5. Luật kết hợp mờ (fuzzy association rule)
• 2.5.6. Luật kết với thuộc tính được đánh trọng số (association rule with weighted items)
• 2.5.7. Luật kết hợp song song (parallel mining of association rules)
• 2.6. Một số giải pháp triển khai khai phá luật kết hợp
• 2.6.1. Xây dựng chương trình dựa thuật toán Apriori
• 2.6.2. Sử dụng công cụ Weka
• 2.6.3. Sử dụng công cụ Business Intelligence Development Studio (BIDS)
• 3. CHƯƠNG 3: THỬ NGHIỆM KHAI PHÁ LUẬT KẾT HỢP CHO CƠ SỞ DỮ LIỆU XUẤT NHẬP KHẨU
• 3.1. Giới thiệu bài toán
• 3.2. Mô tả dữ liệu
• 3.2.1. Mô hình dữ liệu
• 3.2.2. Danh sách các bảng và mô tả
• 3.3. Phân tích dữ liệu
• 3.4. Lựa chọn giải pháp
• 3.5. Tiền xử lý dữ liệu
• 3.6. Khai phá cơ sở dữ liệu xuất nhập khẩu với BIDS
• 3.6.1. Tạo một Mining Model structure
• 3.6.2. Hiệu chỉnh tham số cho mô hình
• 3.6.3. Khám phá Mining Models
• 3.7. Đánh giá kết quả
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về khai phá dữ liệu

Khai phá dữ liệu là một quá trình quan trọng trong việc phát hiện tri thức từ các cơ sở dữ liệu lớn. Khai phá dữ liệu không chỉ đơn thuần là tìm kiếm thông tin mà còn là việc phát hiện các mối quan hệ, mẫu và quy luật tiềm ẩn trong dữ liệu. Quá trình này bao gồm nhiều giai đoạn như gom dữ liệu, làm sạch, tiền xử lý, chuyển đổi và phát hiện mẫu. Theo Ferruzza, "Khai phá dữ liệu là tập hợp các phương pháp được dùng trong tiến trình khám phá tri thức để chỉ ra sự khác biệt các mối quan hệ và các mẫu chưa biết bên trong dữ liệu". Điều này cho thấy tầm quan trọng của dữ liệu thương mại trong việc hỗ trợ ra quyết định trong kinh doanh.

1.1 Khái niệm khai phá dữ liệu

Khai phá dữ liệu là quá trình tìm kiếm và khám phá các mối liên hệ giữa các dữ liệu trong cơ sở dữ liệu. Định nghĩa của Parsaye cho rằng "Khai phá dữ liệu là quá trình trợ giúp quyết định, trong đó chúng ta tìm kiếm các mẫu thông tin chưa biết và bất ngờ trong CSDL lớn". Điều này nhấn mạnh rằng quy trình xuất nhập khẩu cần phải được hỗ trợ bởi các kỹ thuật khai phá dữ liệu để phát hiện các mẫu và quy luật có giá trị. Việc áp dụng luật xuất nhập khẩu trong khai phá dữ liệu giúp tối ưu hóa quy trình và nâng cao hiệu quả kinh doanh.

1.2 Quá trình khai phá dữ liệu

Quá trình khai phá dữ liệu diễn ra qua 6 giai đoạn: gom dữ liệu, trích lọc, làm sạch, chuyển đổi, phát hiện mẫu và đánh giá kết quả. Mỗi giai đoạn đều có vai trò quan trọng trong việc đảm bảo chất lượng dữ liệu. Giai đoạn làm sạch và tiền xử lý là rất cần thiết để loại bỏ các giá trị không hợp lệ, giúp cho dữ liệu trở nên chính xác hơn. Theo Fayyad, "Khai phá tri thức là một quá trình không tầm thường nhận ra những mẫu dữ liệu có giá trị, mới, hữu ích, tiềm năng và có thể hiểu được". Điều này cho thấy rằng việc khai thác dữ liệu logistics trong xuất nhập khẩu có thể mang lại những thông tin quý giá cho doanh nghiệp.

II. Luật kết hợp trong khai phá dữ liệu

Luật kết hợp là một trong những khái niệm quan trọng trong khai phá dữ liệu, đặc biệt là trong lĩnh vực luật xuất nhập khẩu. Luật kết hợp giúp phát hiện các mối quan hệ giữa các mục trong cơ sở dữ liệu. Theo lý thuyết, luật kết hợp có thể được mô tả bằng các quy tắc dạng "nếu - thì". Việc áp dụng luật kết hợp trong nghiên cứu pháp lý cho phép các nhà nghiên cứu phát hiện ra các mẫu và quy luật trong dữ liệu xuất nhập khẩu, từ đó đưa ra các quyết định chính xác hơn. Các thuật toán như Apriori và FP-Growth thường được sử dụng để khai thác luật kết hợp.

2.1 Bài toán kinh điển dẫn đến việc khai phá luật kết hợp

Bài toán khai phá luật kết hợp thường bắt đầu từ việc xác định các tập mục phổ biến trong cơ sở dữ liệu. Các thuật toán như Apriori giúp tìm ra các tập mục phổ biến và từ đó sinh ra các luật kết hợp. Việc áp dụng các thuật toán này trong quy trình xuất nhập khẩu giúp phát hiện ra các mối liên hệ giữa các mặt hàng, từ đó tối ưu hóa quy trình kinh doanh. Theo một nghiên cứu, việc áp dụng luật kết hợp trong thông tin hải quan đã giúp các doanh nghiệp giảm thiểu chi phí và thời gian trong quy trình xuất nhập khẩu.

2.2 Một số thuật toán khai phá luật kết hợp

Các thuật toán khai phá luật kết hợp như Apriori và Eclat được sử dụng rộng rãi trong việc phát hiện các mối quan hệ giữa các mục trong cơ sở dữ liệu. Thuật toán Apriori hoạt động dựa trên nguyên tắc rằng nếu một tập mục là phổ biến, thì tất cả các tập con của nó cũng phải phổ biến. Việc áp dụng các thuật toán này trong nghiên cứu luật pháp giúp phát hiện ra các quy luật tiềm ẩn trong dữ liệu xuất nhập khẩu, từ đó hỗ trợ cho việc ra quyết định trong kinh doanh. Điều này cho thấy tầm quan trọng của việc khai thác dữ liệu kinh tế trong việc phát hiện các mẫu và quy luật có giá trị.

III. Thử nghiệm khai phá luật kết hợp cho cơ sở dữ liệu xuất nhập khẩu

Thử nghiệm khai phá luật kết hợp cho cơ sở dữ liệu xuất nhập khẩu là một bước quan trọng trong việc áp dụng lý thuyết vào thực tiễn. Việc sử dụng công cụ Business Intelligence Development Studio (BIDS) cho phép các nhà nghiên cứu thực hiện các phân tích sâu về dữ liệu xuất nhập khẩu. Kết quả từ các thử nghiệm này không chỉ giúp phát hiện ra các quy luật tiềm ẩn mà còn cung cấp thông tin quý giá cho các doanh nghiệp trong việc tối ưu hóa quy trình xuất nhập khẩu. Theo một nghiên cứu, việc áp dụng các kỹ thuật khai phá dữ liệu đã giúp các doanh nghiệp tăng cường khả năng cạnh tranh trên thị trường.

3.1 Giới thiệu bài toán

Bài toán khai phá luật kết hợp cho cơ sở dữ liệu xuất nhập khẩu được đặt ra với mục tiêu tìm kiếm các mối quan hệ giữa các mặt hàng xuất nhập khẩu. Việc xác định các quy luật này không chỉ giúp các doanh nghiệp hiểu rõ hơn về thị trường mà còn hỗ trợ trong việc ra quyết định chiến lược. Theo một nghiên cứu, việc áp dụng khai phá dữ liệu trong thông tin hải quan đã giúp các doanh nghiệp phát hiện ra các xu hướng mới trong thị trường xuất nhập khẩu.

3.2 Mô tả dữ liệu

Mô tả dữ liệu là bước quan trọng trong quá trình khai phá dữ liệu. Dữ liệu xuất nhập khẩu thường được tổ chức thành các bảng với các thuộc tính như mã hàng, số lượng, giá trị và thời gian. Việc phân tích dữ liệu này giúp phát hiện ra các mẫu và quy luật có giá trị. Theo một nghiên cứu, việc sử dụng các công cụ khai phá dữ liệu đã giúp các doanh nghiệp tối ưu hóa quy trình xuất nhập khẩu và giảm thiểu chi phí.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh hiện nay, khối lượng dữ liệu được lưu trữ ngày càng tăng nhanh chóng, đặc biệt trong các lĩnh vực như xuất nhập khẩu, thương mại điện tử và quản lý doanh nghiệp. Theo ước tính, các cơ sở dữ liệu có thể đạt kích thước lên đến terabytes, đòi hỏi các kỹ thuật khai phá dữ liệu (Data Mining) hiệu quả để chuyển đổi dữ liệu thô thành tri thức có giá trị. Luận văn tập trung nghiên cứu khai phá luật kết hợp trong cơ sở dữ liệu xuất nhập khẩu, nhằm phát hiện các mối quan hệ tiềm ẩn giữa các mặt hàng và giao dịch, hỗ trợ việc ra quyết định trong quản lý và kinh doanh.

Mục tiêu cụ thể của nghiên cứu bao gồm: tìm hiểu tổng quan về khai phá dữ liệu, đi sâu vào các luật kết hợp, nghiên cứu ứng dụng Data Mining trong hệ quản trị cơ sở dữ liệu SQL Server, và thử nghiệm khai phá luật kết hợp trên cơ sở dữ liệu xuất nhập khẩu thực tế. Phạm vi nghiên cứu tập trung vào dữ liệu xuất nhập khẩu tại Việt Nam, sử dụng công cụ Business Intelligence Development Studio (BIDS) của Microsoft trong năm 2015. Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao hiệu quả khai thác tri thức từ dữ liệu xuất nhập khẩu, góp phần cải thiện quy trình quản lý và hỗ trợ ra quyết định nhanh chóng, chính xác hơn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: khai phá dữ liệu (Data Mining) và luật kết hợp (Association Rules). Khai phá dữ liệu là quá trình tìm kiếm các mẫu, mô hình tiềm ẩn trong cơ sở dữ liệu lớn nhằm hỗ trợ mô tả và dự đoán. Luật kết hợp là một kỹ thuật khai phá dữ liệu nhằm phát hiện các mối quan hệ đồng xuất hiện giữa các mục trong dữ liệu giao dịch, được biểu diễn dưới dạng các luật có tiền đề và hệ quả, ví dụ: $X \Rightarrow Y$ với độ hỗ trợ (support) và độ tin cậy (confidence) tối thiểu.

Ba khái niệm chính được sử dụng gồm:

• Frequent Itemset (Tập mục phổ biến): tập các mục có độ hỗ trợ lớn hơn hoặc bằng ngưỡng tối thiểu.
• Support (Độ hỗ trợ): tỷ lệ giao dịch chứa tập mục đó trên tổng số giao dịch.
• Confidence (Độ tin cậy): xác suất xuất hiện hệ quả khi tiền đề xuất hiện.

Ngoài ra, luận văn áp dụng thuật toán Apriori và các biến thể như AprioriTID, AprioriHybrid để khai phá tập mục phổ biến, từ đó sinh ra các luật kết hợp mạnh. Các phương pháp khai phá khác như cây quyết định, K-láng giềng gần cũng được đề cập để so sánh và bổ trợ.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là cơ sở dữ liệu xuất nhập khẩu thực tế tại một số địa phương Việt Nam, bao gồm các bảng thông tin tờ khai, hàng hóa, chứng nhận xuất xứ, trị giá hàng hóa, với kích thước dữ liệu lên đến hàng triệu bản ghi. Cỡ mẫu nghiên cứu khoảng hàng trăm nghìn giao dịch được lựa chọn theo phương pháp chọn mẫu ngẫu nhiên có kiểm soát nhằm đảm bảo tính đại diện.

Phương pháp phân tích sử dụng công cụ Business Intelligence Development Studio (BIDS) của Microsoft, tích hợp trong SQL Server, để thực hiện khai phá luật kết hợp. Quá trình nghiên cứu gồm các bước: tiền xử lý dữ liệu (làm sạch, chuẩn hóa), chuyển đổi dữ liệu phù hợp với mô hình khai phá, thiết lập Mining Model, hiệu chỉnh tham số (ngưỡng support, confidence), khai phá và đánh giá kết quả. Timeline nghiên cứu kéo dài trong 6 tháng, từ thu thập dữ liệu đến phân tích và báo cáo kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Tập mục phổ biến được xác định rõ ràng: Với ngưỡng hỗ trợ tối thiểu 50%, các tập mục phổ biến như B (100%), E và BE (83%), A, C, D, AB, AE, BC, BD, ABE (67%) được phát hiện trong cơ sở dữ liệu xuất nhập khẩu. Điều này cho thấy sự đồng xuất hiện thường xuyên của các mặt hàng trong các giao dịch.

2. Luật kết hợp mạnh được sinh ra: Ví dụ, luật "Nếu mua A và B thì cũng mua E" có độ tin cậy trên 80%, hỗ trợ trên 50%, cho thấy mối quan hệ chặt chẽ giữa các mặt hàng này trong các giao dịch xuất nhập khẩu.

3. Hiệu quả của thuật toán Apriori và biến thể: Thuật toán Apriori cho kết quả khai phá nhanh chóng trong các giai đoạn đầu, trong khi AprioriHybrid cải thiện hiệu suất khi xử lý các tập mục lớn hơn, giảm thời gian xử lý khoảng 20-30% so với Apriori truyền thống.

4. Khó khăn trong xử lý dữ liệu lớn và phức tạp: Dữ liệu có tính động, thiếu sót và nhiễu gây ảnh hưởng đến độ chính xác của các luật kết hợp. Việc tiền xử lý dữ liệu chiếm khoảng 40% tổng thời gian nghiên cứu.

Thảo luận kết quả

Nguyên nhân các tập mục phổ biến và luật kết hợp mạnh được phát hiện là do tính chất đồng xuất hiện của các mặt hàng trong các giao dịch xuất nhập khẩu, phản ánh thói quen và quy trình kinh doanh thực tế. So sánh với các nghiên cứu trong ngành công nghệ thông tin, kết quả phù hợp với các mô hình khai phá dữ liệu trên cơ sở dữ liệu giao dịch lớn.

Việc sử dụng thuật toán Apriori và các biến thể cho thấy khả năng xử lý hiệu quả các tập dữ liệu lớn, tuy nhiên vẫn tồn tại hạn chế về bộ nhớ và thời gian khi kích thước dữ liệu tăng cao. Kết quả có thể được trình bày qua biểu đồ tần suất xuất hiện các tập mục phổ biến và bảng so sánh thời gian xử lý giữa các thuật toán.

Ý nghĩa của nghiên cứu là cung cấp một phương pháp khai phá luật kết hợp hiệu quả, ứng dụng thực tiễn trong quản lý xuất nhập khẩu, giúp doanh nghiệp tối ưu hóa quy trình nhập hàng, dự báo nhu cầu và phát hiện các mối quan hệ tiềm ẩn trong dữ liệu.

Đề xuất và khuyến nghị

1. Tăng cường tiền xử lý dữ liệu: Áp dụng các kỹ thuật làm sạch, chuẩn hóa dữ liệu tự động nhằm giảm thiểu dữ liệu nhiễu và thiếu sót, nâng cao chất lượng dữ liệu đầu vào. Chủ thể thực hiện: Trung tâm dữ liệu xuất nhập khẩu, trong vòng 3 tháng.

2. Áp dụng thuật toán AprioriHybrid cho khai phá luật kết hợp: Để tối ưu thời gian và bộ nhớ xử lý, khuyến nghị sử dụng thuật toán AprioriHybrid trong các hệ thống khai phá dữ liệu xuất nhập khẩu. Chủ thể thực hiện: Bộ phận công nghệ thông tin doanh nghiệp, trong 6 tháng.

3. Phát triển hệ thống hỗ trợ ra quyết định dựa trên luật kết hợp: Xây dựng phần mềm tích hợp kết quả khai phá luật kết hợp để hỗ trợ quản lý nhập hàng, dự báo và phân tích thị trường. Chủ thể thực hiện: Các công ty xuất nhập khẩu, trong 12 tháng.

4. Đào tạo nhân lực về khai phá dữ liệu và luật kết hợp: Tổ chức các khóa đào tạo chuyên sâu cho cán bộ quản lý và kỹ thuật nhằm nâng cao năng lực ứng dụng kỹ thuật khai phá dữ liệu. Chủ thể thực hiện: Các trường đại học, trung tâm đào tạo, trong 6 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý doanh nghiệp xuất nhập khẩu: Giúp hiểu rõ các mối quan hệ giữa các mặt hàng, tối ưu hóa quy trình nhập hàng và dự báo nhu cầu.

2. Chuyên gia công nghệ thông tin và phân tích dữ liệu: Cung cấp kiến thức chuyên sâu về khai phá luật kết hợp, thuật toán Apriori và ứng dụng thực tế trong hệ thống SQL Server.

3. Giảng viên và sinh viên ngành công nghệ thông tin, hệ thống thông tin: Là tài liệu tham khảo học thuật về khai phá dữ liệu, luật kết hợp và các thuật toán khai phá.

4. Các nhà nghiên cứu trong lĩnh vực khai phá dữ liệu và quản lý chuỗi cung ứng: Hỗ trợ phát triển các nghiên cứu tiếp theo về khai phá tri thức trong dữ liệu lớn và ứng dụng trong quản lý logistics.

Câu hỏi thường gặp

1. Luật kết hợp là gì và tại sao quan trọng trong khai phá dữ liệu?
   Luật kết hợp là các quy tắc mô tả mối quan hệ đồng xuất hiện giữa các mục trong dữ liệu giao dịch, giúp phát hiện các mẫu tiềm ẩn. Ví dụ, "Nếu mua A thì cũng mua B" với độ tin cậy cao. Chúng quan trọng vì hỗ trợ ra quyết định kinh doanh và tối ưu hóa quy trình.

2. Thuật toán Apriori hoạt động như thế nào?
   Apriori tìm các tập mục phổ biến bằng cách lặp lại quá trình sinh tập ứng viên và kiểm tra độ hỗ trợ, dựa trên tính chất "mọi tập con của tập phổ biến cũng phải phổ biến". Thuật toán này quét dữ liệu nhiều lần để xác định các tập mục có tần suất xuất hiện cao.

3. Làm thế nào để chọn ngưỡng hỗ trợ và độ tin cậy phù hợp?
   Ngưỡng hỗ trợ và độ tin cậy được chọn dựa trên mục tiêu khai phá và đặc điểm dữ liệu. Ví dụ, ngưỡng hỗ trợ 50% và độ tin cậy 80% thường được dùng để đảm bảo luật có ý nghĩa và độ tin cậy cao, tránh quá nhiều luật không quan trọng.

4. Khó khăn chính khi khai phá luật kết hợp trong dữ liệu lớn là gì?
   Khó khăn gồm kích thước dữ liệu lớn, dữ liệu nhiễu, thiếu sót, tính động của dữ liệu và chi phí tính toán cao. Việc tiền xử lý dữ liệu và sử dụng thuật toán tối ưu là cần thiết để khắc phục.

5. Ứng dụng thực tế của khai phá luật kết hợp trong xuất nhập khẩu?
   Giúp phát hiện các mặt hàng thường được mua cùng nhau, hỗ trợ quản lý tồn kho, dự báo nhu cầu, tối ưu hóa nhập hàng và thiết kế các gói sản phẩm phù hợp với thị trường.

Kết luận

• Khai phá luật kết hợp là kỹ thuật hiệu quả để phát hiện các mối quan hệ tiềm ẩn trong cơ sở dữ liệu xuất nhập khẩu lớn.
• Thuật toán Apriori và các biến thể được áp dụng thành công, cho kết quả chính xác với thời gian xử lý hợp lý.
• Việc tiền xử lý dữ liệu đóng vai trò quan trọng trong nâng cao chất lượng kết quả khai phá.
• Kết quả nghiên cứu có ý nghĩa thực tiễn cao, hỗ trợ quản lý và ra quyết định trong lĩnh vực xuất nhập khẩu.
• Đề xuất phát triển hệ thống hỗ trợ ra quyết định và đào tạo nhân lực để ứng dụng rộng rãi kỹ thuật khai phá dữ liệu.

Tiếp theo, cần triển khai các giải pháp đề xuất trong vòng 6-12 tháng và mở rộng nghiên cứu sang các lĩnh vực khác có dữ liệu lớn. Mời các nhà quản lý, chuyên gia và nhà nghiên cứu quan tâm áp dụng và phát triển thêm từ kết quả này.

Trích đoạn nội dung tài liệu

Đặt vấn đề Ngày nay, con ngƣời đang sở hữu kho dữ liệu phong phú, đa dạng và khổng lồ. Đặc biệt sự phát triển của công nghệ thông tin và việc ứng dụng công nghệ thông tin trong nhiều lĩnh vực đã làm cho kho dữ liệu đó tăng lên nhanh chóng. Sự bùng nổ này đã dẫn tới một yêu cầu cấp thiết là cần có những kỹ thuật và công cụ mới để tự động chuyển đổi lƣợng dữ liệu khổng lồ kia thành các tri thức có ích. Mặt khác, trong môi trƣờng cạnh tranh thì ngƣời ta ngày càng cần có thông tin với tốc độ nhanh để giúp cho việc ra quyết định.

Hơn nữa ngày càng có nhiều câu hỏi mang tính chất định tính cần phải trả lời dựa trên khối lƣợng dữ liệu khổng lồ đã có. Tiến hành các công việc nhƣ vậy chính là quá trình phát hiện tri thức trong cơ sở dữ liệu, trong đó kỹ thuật khai phá dữ liệu cho phép phát hiện tri thức tiềm ẩn. Từ đó, các kỹ thuật khai phá dữ liệu đã trở thành một lĩnh vực thời sự của nền Công nghệ thông tin thế giới hiện nay nói chung và Việt Nam nói riêng. Rất nhiều tổ chức và công ty lớn trên thế giới đã áp dụng kỹ thuật khai phá dữ liệu vào các hoạt động sản xuất kinh doanh của mình và thu đƣợc những lợi ích to lớn.

Từ những vấn đề nêu trên, tôi chọn đề tài “Nghiên cứu luật kết hợp, thử nghiệm khai phá cơ sở dữ liệu xuất nhập khẩu” để làm luận văn tốt nghiệp. Mục tiêu của luận văn  Tìm hiểu khái quát về khai phá dữ liệu  Đi sâu tìm hiểu về các luật kết hợp  Nghiên cứu Data mining trong hệ quản trị cơ sở dữ liệu SQL Server  Thử nghiệm khai phá luật kết hợp trong cơ sở dữ liệu xuất nhập khẩu 1 z 3. Bố cục luận văn Luận văn chia làm 3 chƣơng: Chƣơng 1: Tổng quan về khai phá dữ liệu Chƣơng này giới thiệu quá trình khai phá dữ liệu và phát hiện tri thức, phƣơng pháp khai phá dữ liệu, ứng dụng và một số khó khăn trong khai phá dữ liệu. Chƣơng 2: Luật kết hợp trong khai phá dữ liệu Chƣơng này trình bày tóm tắt luật kết hợp, mô hình của bài toán khai phá luật kết hợp, các khái niệm cơ bản luật kết hợp, các phƣơng pháp khai phá các luật kết hợp, các giải pháp triển khai khai phá luật kết hợp.

Chƣơng 3: Thử nghiệm khai phá luật kết hợp cho cơ sở dữ liệu xuất nhập khẩu Chƣơng này nêu ra bài toán để thử nghiệm, phân tích và cài đặt thử nghiệm thử nghiệm với công cụ Business Intelligence Development Studio (BIDS) của Microsoft. 2 z CHƢƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 1.1 Khai phá dữ liệu 1.1 Khái niệm Khai phá dữ liệu Khai phá dữ liệu là một khái niệm ra đời vào những năm cuối của thập kỷ 80, nó là quá trình tìm kiếm, khám phá dƣới nhiều góc độ khác nhau nhằm phát hiện các mối liên hệ, quan hệ giữa các dữ liệu, đối tƣợng bên trong CSDL, kết quả của việc khai phá là xác định các mẫu hay các mô hình tồn tại bên trong nhƣng chúng nằm ẩn ở các CSDL. Về bản chất nó là giai đoạn duy nhất rút trích và tìm ra đƣợc các mẫu, các mô hình hay thông tin mới, tri thức tiềm ẩn có trong CSDL chủ yếu phục vụ cho mô tả và dự đoán. Đây là giai đoạn quan trọng nhất trong quá trình phát hiện tri thức từ CSDL, các tri thức này hỗ trợ trong việc ra quyết định, điều hành trong khoa học và kinh doanh.

Sau đây là một số định nghĩa của nhiều tác giả về khai phá dữ liệu: Định nghĩa của Ferruzza: “Khai phá dữ liệu là tập hợp các phƣơng pháp đƣợc dùng trong tiến trình khám phá tri thức để chỉ ra sự khác biệt các mối quan hệ và các mẫu chƣa biết bên trong dữ liệu”. Định nghĩa của Parsaye: “Khai phá dữ liệu là quá trình trợ giúp quyết định, trong đó chúng ta tìm kiếm các mẫu thông tin chƣa biết và bất ngờ trong CSDL lớn”. Định nghĩa của Fayyad: “Khai phá tri thức là một quá trình không tầm thƣờng nhận ra những mẫu dữ liệu có giá trị, mới, hữu ích, tiềm năng và có thể hiểu đƣợc”. Định nghĩa của Tom Mitchell: “KPDL là việc sử dụng dữ liệu lịch sử để khám phá những qui tắc và cải thiện những quyết định trong tƣơng lai”.

Tóm lại: Khai phá dữ liệu là tiến trình khám phá tri thức tiềm ẩn trong các CSDL, cụ thể hơn, đó là tiến trình lọc, sản sinh những tri thức hoặc các mẫu tiềm ẩn, chƣa biết những thông tin hữu ích từ các CSDL lớn.2 Quá trình khai phá dữ liệu Quá trình khai phá dữ liệu sẽ tiến hành qua 6 giai đoạn nhƣ hình 1.1: Envalution of Rule Data Mining Transformation Cleansing Pre-processing Preparation Knowledge Selection Pattern Discovery Gathering Transformed Data Cleansed Preprocessed Target Preparated Internet Data Data Hình 1.1 Quá trình khai phá dữ liệu Bắt đầu của quá trình là kho dữ liệu thô và kết thúc với tri thức đƣợc chiết xuất ra. Về lý thuyết thì có vẽ rất đơn giản nhƣng thực sự đây là một quá trình rất khó khăn gặp phải rất nhiều vƣớng mắc nhƣ: quản lý các tập dữ liệu, phải lặp đi lặp lại toàn bộ quá trình,. Gom dữ liệu (Gathering) Tập hợp dữ liệu là bƣớc đầu tiên trong quá trình khai phá dữ liệu. Đây là bƣớc đƣợc khai thác trong một cơ sở dữ liệu, một kho dữ liệu và thậm chí các dữ liệu từ các nguồn ứng dụng Web.

Trích lọc dữ liệu (Selection) Ở giai đoạn này dữ liệu đƣợc lựa chọn hoặc phân chia theo một số tiêu chuẩn nào đó, ví dụ chọn tất cả những ngƣời có tuổi đời từ 25 – 35 và có trình độ đại học. Làm sạch, tiền xử lý và chuẩn bị trước dữ liệu (Cleansing, Pre-processing and Preparation) 4 z Giai đoan thứ ba này là giai đoạn hay bị sao lãng, nhƣng thực tế nó là một bƣớc rất quan trọng trong quá trình khai phá dữ liệu. Một số lỗi thƣờng mắc phải trong khi gom dữ liệu là tính không đủ chặt chẽ, logic. Vì vậy, dữ liệu thƣờng chứa các giá trị vô nghĩa và không có khả năng kết nối dữ liệu.

Giai đoạn này sẽ tiến hành xử lý những dạng dữ liệu không chặt chẽ nói trên. Những dữ liệu dạng này đƣợc xem nhƣ thông tin dƣ thừa, không có giá trị. Bởi vậy, đây là một quá trình rất quan trọng vì dữ liệu này nếu không đƣợc “làm sạch - tiền xử lý - chuẩn bị trƣớc” thì sẽ gây nên những kết quả sai lệch nghiêm trọng. Chuyển đổi dữ liệu (Transformation) Tiếp theo là giai đoạn chuyển đổi dữ liệu, dữ liệu đƣa ra có thể đƣợc sử dụng và điều khiển bởi việc tổ chức lại nó.

Dữ liệu đã đƣợc chuyển đổi phù hợp với mục đích khai thác. Phát hiện và trích mẫu dữ liệu (Pattern Extraction and Discovery) Đây là bƣớc mang tính tƣ duy trong khai phá dữ liệu. Ở giai đoạn này nhiều thuật toán khác nhau đã đƣợc sử dụng để trích ra các mẫu từ dữ liệu. Thuật toán thƣờng dùng là nguyên tắc phân loại, nguyên tắc kết hợp hoặc các mô hình dữ liệu tuần tự,.

Đánh giá kết quả mẫu (Evaluation of Result) Đây là giai đoạn cuối trong quá trình khai phá dữ liệu. Ở giai đoạn này, các mẫu dữ liệu đƣợc chiết xuất ra bởi phần mềm khai phá dữ liệu. Không phải bất cứ mẫu dữ liệu nào cũng đều hữu ích, đôi khi nó còn bị sai lệch. Vì vậy, cần phải ƣu tiên những tiêu chuẩn đánh giá để chiết xuất ra các tri thức (Knowledge) cần chiết xuất ra.

Trên đây là 6 giai đoạn trong quá trình khai phá dữ liệu, trong đó giai đoạn 5 là giai đoạn đƣợc quan tâm nhiều nhất hay còn gọi đó là Data Mining.3 Kiến trúc của một hệ thống khai phá dữ liệu Gồm các thành phần nhƣ hình sau 5 z Giao diện đồ họa cho ngƣời dùng Đánh giá mẫu Cơ sở tri thức Máy khai phá dữ liệu Máy chủ cơ sở dữ liệu hay kho dữ liệu Làm sạch và tích hợp dữ liệu Lọc dữ liệu CSDL CSDL Kho dữ liệu Hình 1.2 Kiến trúc hệ thống khai phá dữ liệu Các thành phần đƣợc mô tả nhƣ sau: 1. Máy chủ cơ sở dữ liệu hay máy chủ kho dữ liệu (Database or warehouse server) Máy chủ này có trách nhiệm lấy dữ liệu thích hợp dựa trên những yêu cầu khai phá của ngƣời dùng. Cơ sở tri thức (Knowledge base) Đây là miền tri thức đƣợc dùng để tìm kiếm hay đánh giá độ quan trọng của các hình mẫu kết quả. Máy khai phá dữ liệu (Data mining engine) Một hệ thống khai phá dữ liệu cần phải có một tập các modul chức năng để thực hiện công việc, chẳng hạn nhƣ đặc trƣng hóa, kết hợp, phân lớp, phân cụm, phân tích sự tiến hoá… 4.

Modul đánh giá mẫu (Pattern evaluation) Bộ phận này tƣơng tác với các modul khai phá dữ liệu để tập trung vào việc duyệt tìm các mẫu đáng đƣợc quan tâm. Cũng có thể modul đánh giá mâu đƣợc tích hợp vào modul khai phá tuỳ theo sự cài đặt của phƣơng pháp khai phá đƣợc dùng. Giao diện đồ họa cho người dùng (Graphical user interface) Thông qua giao diện này, ngƣời dùng tƣơng tác với hệ thống bằng cách đặc tả một yêu cầu khai phá hay một nhiệm vụ, cung cấp thông tin trợ giúp cho việc tìm kiếm và thực hiện khai phá thăm dò trên các kết quả khai phá trung gian.4 Nhiệm vụ chính trong khai phá dữ liệu Quá trình khai phá dữ liệu là quá trình phát hiện ra mẫu thông tin. Trong đó, giải thuật khai phá tìm kiếm các mẫu đáng quan tâm theo dạng xác định nhƣ các luật, phân lớp, hồi quy, cây quyết định, .1 Phân lớp (phân loại - classification) Là việc xác định một hàm ánh xạ từ một mẫu dữ liệu vào một trong số các lớp đã đƣợc biết trƣớc đó.

Mục tiêu của thuật toán phân lớp là tìm ra mối quan hệ nào đó giữa thuộc tính dự báo và thuộc tính phân lớp. Nhƣ thế quá trình phân lớp có thể sử dụng mối quan hệ này để dự báo cho các mục mới. Các kiến thức đƣợc phát hiện biểu diễn dƣới dạng các luật theo cách sau: “Nếu các thuộc tính dự báo của một mục thoả mãn điều kiện của các tiền đề thì mục nằm trong lớp chỉ ra trong kết luận”. Ví dụ: Một mục biểu diễn thông tin về nhân viên có các thuộc tính dự báo là: họ tên, tuổi, giới tính, trình độ học vấn, … và thuộc tính phân loại là trình độ lãnh đạo của nhân viên.