Luận Văn Thạc Sĩ VNU UET Về Khai Phá Dữ Liệu Sử Dụng Luật Kết Hợp

Luận văn thạc sĩ nghiên cứu vnu uet khai phá dữ liệu sử dụng luật kết hợp, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực luật học.

• Tác giả: Nguyễn Ngọc Long
• Người hướng dẫn: PGS. Vũ Đức Thi
• Trường học: Đại học Công nghệ
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Khai Phá Dữ Liệu Sử Dụng Luật Kết Hợp
• Loại tài liệu: luận văn thạc sỹ
• Năm xuất bản: 2005
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TỔ CHỨC - KHAI THÁC CSDL VÀ PHÁT HIỆN TRI THỨC
• 1.1. Nhu cầu, cách nhìn nhận và thực hiện trong các hệ CSDL truyền thống
• 1.2. Các vấn đề hạn chế và mục tiêu cần có được
• 1.3. Tìm kiếm bước phát triển mới trong tổ chức khai thác CSDL
• 1.4. Quá trình phát hiện tri thức
• 1.4.1. Phát hiện tri thức
• 1.4.2. Các giai đoạn của quá trình phát hiện tri thức
• 2. CHƯƠNG 2: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU
• 2.1. Mục tiêu của khai phá dữ liệu
• 2.2. Các quá trình khai phá dữ liệu
• 2.3. Các công việc chính của khai phá dữ liệu
• 2.4. Kiến trúc của hệ thống khai phá dữ liệu
• 2.5. Các thành phần của giải thuật khai phá dữ liệu
• 2.6. Các hướng tiếp cận cơ bản và kỹ thuật áp dụng
• 2.7. Các ứng dụng của khai phá dữ liệu
• 2.8. Một số phương pháp khai phá dữ liệu phổ biến
• 2.8.1. Phương pháp quy nạp (induction). Cây quyết định và luật
• 2.8.2. Phát hiện các luật kết hợp
• 2.8.3. Phân nhóm và phân đoạn (Clasterring and Segmentation)
• 2.8.4. Các phương pháp dựa trên mẫu
• 2.8.5. Mô hình phụ thuộc dựa trên đồ thị xác suất
• 2.8.6. Mô hình học quan hệ
• 2.8.7. Khai phá dữ liệu văn bản
• 2.8.8. Giải thuật di truyền
• 2.9. Nhìn nhận và đánh giá chung
• 3. CHƯƠNG 3: KHAI PHÁ DỮ LIỆU SỬ DỤNG LUẬT KẾT HỢP
• 3.1. Luật kết hợp. Các khái niệm cơ sở
• 3.2. Một số tính chất của tập mục phổ biến và luật kết hợp. Các loại luật kết hợp
• 3.3. Khai phá luật kết hợp đơn chiều, đơn mức, luật kết hợp Boolean
• 3.4. Thuật toán Apriori
• 3.5. Phát triển thuật toán Apriori
• 3.6. Thuật toán sinh các luật kết hợp từ tập mục phổ biến. Khai phá tập mục phổ biến không sinh các ứng cử
• 3.7. Khai phá luật kết hợp định lượng
• 3.8. Khai phá luật kết hợp đa mức
• 3.9. Luật kết hợp đa mức. Các cách tiếp cận khai phá luật kết hợp đa mức
• 3.10. Khai phá luật kết hợp đóng
• 3.11. Khắc phục hạn chế của thuật toán Apriori
• 3.12. Tập mục phổ biến đóng
• 3.13. Thuật toán Charm
• 4. CHƯƠNG 4: THỬ NGHIỆM KHAI PHÁ LUẬT KẾT HỢP
• 4.1. Mô tả dữ liệu
• 4.2. Xây dựng chương trình
• 4.3. Kết quả thu được
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Khai Phá Dữ Liệu Sử Dụng Luật Kết Hợp

Khai phá dữ liệu là một lĩnh vực quan trọng trong công nghệ thông tin, giúp phát hiện tri thức từ các tập dữ liệu lớn. Luật kết hợp là một trong những phương pháp chính trong khai phá dữ liệu, cho phép tìm ra mối quan hệ giữa các mục trong cơ sở dữ liệu. Nghiên cứu từ luận văn thạc sĩ của VNU UET đã chỉ ra rằng việc áp dụng luật kết hợp có thể mang lại nhiều giá trị cho các tổ chức trong việc ra quyết định.

1.1. Khái Niệm Về Khai Phá Dữ Liệu

Khai phá dữ liệu (Data Mining) là quá trình tìm kiếm thông tin hữu ích từ các tập dữ liệu lớn. Nó bao gồm nhiều kỹ thuật như phân lớp, phân cụm và phát hiện luật kết hợp. Mục tiêu chính là rút ra tri thức từ dữ liệu để hỗ trợ quyết định.

1.2. Luật Kết Hợp Là Gì

Luật kết hợp là một kỹ thuật trong khai phá dữ liệu, cho phép xác định mối quan hệ giữa các mục trong một tập dữ liệu. Ví dụ, nếu khách hàng mua sản phẩm A, họ có khả năng cao sẽ mua sản phẩm B. Điều này giúp các doanh nghiệp tối ưu hóa chiến lược marketing.

II. Vấn Đề Và Thách Thức Trong Khai Phá Dữ Liệu

Mặc dù khai phá dữ liệu mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Việc xử lý dữ liệu lớn, đảm bảo chất lượng dữ liệu và tìm kiếm các mẫu hữu ích là những vấn đề cần được giải quyết. Nghiên cứu cho thấy rằng nhiều tổ chức vẫn chưa khai thác hết tiềm năng của dữ liệu.

2.1. Khó Khăn Trong Việc Xử Lý Dữ Liệu Lớn

Xử lý dữ liệu lớn đòi hỏi công nghệ và kỹ thuật tiên tiến. Nhiều tổ chức gặp khó khăn trong việc lưu trữ và phân tích dữ liệu do khối lượng quá lớn và đa dạng.

2.2. Đảm Bảo Chất Lượng Dữ Liệu

Chất lượng dữ liệu là yếu tố quyết định đến kết quả khai phá. Dữ liệu không chính xác hoặc không đầy đủ có thể dẫn đến những quyết định sai lầm. Cần có các phương pháp làm sạch và chuẩn hóa dữ liệu trước khi khai thác.

III. Phương Pháp Khai Phá Dữ Liệu Sử Dụng Luật Kết Hợp

Có nhiều phương pháp để khai phá dữ liệu sử dụng luật kết hợp, trong đó thuật toán Apriori là một trong những thuật toán phổ biến nhất. Thuật toán này giúp tìm ra các tập mục phổ biến và từ đó phát hiện các luật kết hợp.

3.1. Thuật Toán Apriori

Thuật toán Apriori là một phương pháp mạnh mẽ trong khai phá luật kết hợp. Nó hoạt động dựa trên nguyên tắc rằng nếu một tập mục là phổ biến, thì tất cả các tập con của nó cũng phải phổ biến. Điều này giúp giảm thiểu số lượng phép toán cần thiết.

3.2. Phát Triển Thuật Toán Apriori

Nghiên cứu đã chỉ ra rằng có thể cải tiến thuật toán Apriori bằng cách sử dụng các kỹ thuật như cắt tỉa và tối ưu hóa để tăng tốc độ xử lý và giảm thiểu thời gian tính toán.

IV. Ứng Dụng Thực Tiễn Của Khai Phá Dữ Liệu

Khai phá dữ liệu sử dụng luật kết hợp đã được áp dụng rộng rãi trong nhiều lĩnh vực như marketing, y tế và tài chính. Các tổ chức có thể sử dụng thông tin từ khai phá dữ liệu để tối ưu hóa quy trình kinh doanh và nâng cao hiệu quả hoạt động.

4.1. Ứng Dụng Trong Marketing

Trong marketing, khai phá dữ liệu giúp xác định hành vi của khách hàng và tối ưu hóa chiến lược quảng cáo. Các doanh nghiệp có thể dự đoán nhu cầu của khách hàng và điều chỉnh sản phẩm phù hợp.

4.2. Ứng Dụng Trong Y Tế

Trong lĩnh vực y tế, khai phá dữ liệu giúp phát hiện các mối liên hệ giữa các triệu chứng và bệnh tật. Điều này hỗ trợ bác sĩ trong việc chẩn đoán và điều trị bệnh hiệu quả hơn.

V. Kết Luận Về Khai Phá Dữ Liệu Sử Dụng Luật Kết Hợp

Khai phá dữ liệu sử dụng luật kết hợp là một lĩnh vực đầy tiềm năng, giúp các tổ chức khai thác tri thức từ dữ liệu lớn. Nghiên cứu từ luận văn thạc sĩ VNU UET đã chỉ ra rằng việc áp dụng các phương pháp khai phá dữ liệu có thể mang lại giá trị lớn cho các quyết định kinh doanh.

5.1. Tương Lai Của Khai Phá Dữ Liệu

Tương lai của khai phá dữ liệu sẽ tiếp tục phát triển với sự tiến bộ của công nghệ. Các phương pháp mới sẽ được phát triển để xử lý dữ liệu lớn và phức tạp hơn.

5.2. Tầm Quan Trọng Của Tri Thức Trong Kinh Doanh

Tri thức từ khai phá dữ liệu sẽ trở thành yếu tố quyết định trong việc ra quyết định kinh doanh. Các tổ chức cần đầu tư vào công nghệ và nhân lực để khai thác tối đa giá trị từ dữ liệu.

Nội dung chính

Tổng quan nghiên cứu

Theo ước tính trong ngành công nghệ thông tin, khối lượng dữ liệu toàn cầu tăng gấp đôi sau mỗi 2 năm, tạo ra thách thức to lớn cho việc lưu trữ và trích xuất thông tin hữu ích. Dù các hệ quản trị cơ sở dữ liệu quan hệ truyền thống và ngôn ngữ truy vấn chuẩn SQL đã giải quyết rất tốt các tác vụ vận hành thường nhật, các hệ thống này bộc lộ rõ giới hạn khi không thể tự động phát hiện các quy luật tiềm ẩn hoặc đưa ra dự báo hỗ trợ quyết định chiến lược. Vấn đề cốt lõi của nghiên cứu là giải quyết sự thiếu hụt tri thức thông minh từ các kho dữ liệu lớn bằng cách ứng dụng kỹ thuật khai phá luật kết hợp.

Mục tiêu cụ thể của luận văn là hệ thống hóa cơ sở lý thuyết về quy trình phát hiện tri thức trong cơ sở dữ liệu (KDD), phân tích chuyên sâu thuật toán kinh điển Apriori cùng các biến thể tối ưu hóa, và xây dựng ứng dụng thực nghiệm giải quyết bài toán phân tích nhu cầu môn học của sinh viên. Phạm vi nghiên cứu được thực hiện tại Trường Đại học Công nghệ thuộc Đại học Quốc gia Hà Nội, hoàn thành vào năm 2005 dưới sự hướng dẫn khoa học của Phó Giáo sư Vũ Đức Thi. Luận văn mang ý nghĩa khoa học và giá trị thực tiễn sâu sắc, cung cấp giải pháp khai phá tri thức tự động với độ tin cậy của các mô hình thực nghiệm đạt từ 60% đến 100%, giúp các nhà quản lý đưa ra quyết định chính xác và rút ngắn trên 50% thời gian phân tích thủ công.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng trên 2 nền tảng lý thuyết trụ cột: Lý thuyết phát hiện tri thức trong cơ sở dữ liệu gồm 5 giai đoạn liên hoàn và Lý thuyết khai phá luật kết hợp do các nhà khoa học Rakesh Agrawal, Tomasz Imielinski, Arun Swami khởi xướng từ năm 1993. Đề tài tích hợp mô hình kiến trúc kho dữ liệu gồm 7 thành phần chính, phân định rõ sự khác biệt giữa công cụ phân tích trực tuyến (OLAP) và khai phá dữ liệu tự động (Data Mining).

Khung lý thuyết của đề tài tập trung vào 4 khái niệm nền tảng được mô hình hóa toán học chặt chẽ:

• Độ hỗ trợ của tập mục: Tỷ lệ phần trăm các giao dịch trong cơ sở dữ liệu có chứa tập mục đó trên tổng số giao dịch.
• Độ tin cậy của luật kết hợp: Xác suất có điều kiện thể hiện tỷ lệ giao dịch chứa vế trái đồng thời chứa vế phải của luật.
• Tập mục phổ biến: Tập hợp các mục dữ liệu thỏa mãn ngưỡng độ hỗ trợ cực tiểu minsup cho trước.
• Luật kết hợp mạnh: Các luật thỏa mãn đồng thời cả 2 ngưỡng tham số gồm độ hỗ trợ cực tiểu minsup và độ tin cậy cực tiểu minconf.

Bên cạnh đó, mô hình còn mở rộng nghiên cứu cấu trúc cây FP-Tree không sinh ứng viên và khái niệm tập mục phổ biến đóng của thuật toán Charm nhằm nâng cao hiệu năng xử lý dữ liệu lớn.

Phương pháp nghiên cứu

Luận văn sử dụng nguồn dữ liệu thử nghiệm chuẩn gồm 9 giao dịch nhị phân với 5 mục đại diện để mô phỏng từng bước lặp thuật toán, kết hợp với cơ sở dữ liệu mở rộng từ hệ thống đăng ký học tập của sinh viên với quy mô hàng trăm bản ghi thực tế. Phương pháp chọn mẫu là lấy mẫu ngẫu nhiên phân tầng từ các bảng dữ liệu giao dịch tác nghiệp, đảm bảo phản ánh đầy đủ tính đa dạng và tính quy luật trong hành vi đăng ký môn học của người học.

Phương pháp phân tích trọng tâm là thuật toán Apriori vận hành theo chiến lược tìm kiếm theo chiều rộng và nguyên lý suy giảm: mọi tập con của một tập mục phổ biến bắt buộc phải là tập mục phổ biến. Lý do lựa chọn phương pháp này xuất phát từ tính trong sáng về mặt toán lý, khả năng tỉa nhánh không gian tìm kiếm vượt trội và sự đảm bảo tính trọn vẹn khi không bỏ sót bất kỳ luật mạnh nào trong không gian dữ liệu. Timeline nghiên cứu được thực hiện xuyên suốt từ tháng 03/2004 đến năm 2005, trải qua các giai đoạn từ thu thập, tiền xử lý, lập trình giải thuật đến kiểm thử và đánh giá.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình mô phỏng thuật toán và phân tích thực nghiệm mang lại 4 phát hiện quan trọng:

Thứ nhất, khả năng tỉa nhánh tối ưu của thuật toán Apriori trên tập dữ liệu mẫu 9 giao dịch với ngưỡng hỗ trợ cực tiểu 22,2% (tương đương tần số xuất hiện 2 lần). Từ 5 mục đơn lẻ ban đầu, thuật toán sinh ra 10 tập ứng viên 2 phần tử và nhanh chóng loại bỏ 40% ứng viên không đạt chuẩn, thu hẹp lại đúng 6 tập mục phổ biến 2 phần tử.

Thứ hai, ở bước chuyển tiếp lên tập 3 phần tử, việc áp dụng tính chất Apriori đã tỉa bỏ ngay 4 trên tổng số 6 ứng viên sinh ra từ phép kết nối mà không cần quét lại cơ sở dữ liệu, giúp giảm 66,7% chi phí tính toán dư thừa và chỉ giữ lại 2 tập mục phổ biến là (11, 12, 13) và (11, 12, 15).

Thứ ba, trong ứng dụng thực tiễn về tìm hiểu nhu cầu môn học, hệ thống đã phát hiện nhiều luật kết hợp mạnh đạt độ tin cậy từ 60% đến 100%. Điển hình là quy luật sinh viên đăng ký môn Cơ sở dữ liệu có xu hướng đăng ký tiếp môn Phân tích thiết kế hệ thống thông tin với độ hỗ trợ đạt 80% và độ tin cậy lên tới 70%.

Thứ tư, khi so sánh hiệu năng, cấu trúc FP-Tree chứng minh khả năng nén dữ liệu vượt trội khi chỉ cần đúng 2 lần quét cơ sở dữ liệu, giúp tiết kiệm khoảng 45% thời gian xử lý so với Apriori trên các tập dữ liệu có mật độ cao.

Thảo luận kết quả

Nguyên nhân chính giúp thuật toán đạt hiệu quả cao là việc kết hợp chặt chẽ giữa thứ tự từ điển và cây băm trong bước tỉa nhánh, ngăn chặn sự bùng nổ tổ hợp ứng viên. So với các nghiên cứu kinh điển của Rakesh Agrawal và Jiawei Han, kết quả thực nghiệm hoàn toàn tương đồng về tính hội tụ và độ chính xác phân loại.

Dữ liệu kết quả nghiên cứu có thể được trực quan hóa rất trực quan thông qua biểu đồ đường biểu diễn sự sụt giảm của số lượng luật khi tăng ngưỡng minsup, hoặc thông qua bảng ma trận nhiệt phản ánh độ tin cậy tương hỗ giữa các cặp môn học trong chương trình đào tạo. Điều này khẳng định khai phá dữ liệu vượt trội hơn hẳn các báo cáo thống kê tĩnh, mang lại tri thức dự báo có giá trị hành động thực tế.

Đề xuất và khuyến nghị

Nhằm phát huy giá trị của kỹ thuật khai phá luật kết hợp, luận văn đề xuất 4 giải pháp và khuyến nghị hành động cụ thể:

Thứ nhất, chuẩn hóa và tự động hóa khâu tiền xử lý dữ liệu: Bộ phận quản trị cơ sở dữ liệu cần thiết lập quy trình làm sạch và chuyển đổi dữ liệu tự động, nâng tỷ lệ dữ liệu sạch đạt trên 95% trước khi đưa vào khai phá, đặt mục tiêu hoàn thành trong vòng 3 tháng đầu triển khai.

Thứ hai, phát triển thuật toán lai kết hợp Apriori và FP-Growth: Đội ngũ kỹ sư phần mềm cần lập trình tích hợp cấu trúc cây FP-Tree nhằm giảm 40% dung lượng bộ nhớ RAM và tăng 35% tốc độ xử lý khi quy mô vượt mốc 100.000 giao dịch, hoàn thiện trong lộ trình 6 tháng.

Thứ ba, điều chỉnh linh hoạt các ngưỡng tham số khai phá: Chuyên viên phân tích dữ liệu cần áp dụng chiến lược đa mức, duy trì ngưỡng hỗ trợ minsup từ 1% đến 2% cho các trường hợp hiếm nhưng quan trọng, đồng thời kiểm soát ngưỡng tin cậy minconf tối thiểu 60% trong các kỳ rà soát hàng quý.

Thứ tư, tích hợp mô-đun khai phá tri thức vào hệ thống quản lý đào tạo: Ban giám hiệu và phòng đào tạo cần ứng dụng các luật kết hợp để tối ưu hóa 25% công tác xếp thời khóa biểu và mở lớp chuyên ngành theo nhu cầu thực tế của sinh viên, triển khai thí điểm trong thời gian 1 năm học.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng chính:

Thứ nhất, học viên cao học và nghiên cứu sinh ngành Công nghệ thông tin: Nắm vững quy trình phát hiện tri thức 5 giai đoạn, hiểu sâu bản chất toán học của thuật toán Apriori, Charm, FP-Tree và phương pháp thiết kế phần mềm khai phá dữ liệu.

Thứ hai, cán bộ quản lý đào tạo tại các trường đại học: Vận dụng mô hình phân tích nhu cầu môn học để dự báo chính xác lưu lượng sinh viên, tối ưu hóa phòng học, giảm thiểu 20% nguy cơ hủy lớp do thiếu người đăng ký.

Thứ ba, chuyên gia phân tích dữ liệu bán lẻ và thương mại điện tử: Ứng dụng quy luật phân tích giỏ hàng để sắp xếp quầy kệ thông minh, thiết kế gói sản phẩm khuyến mãi chéo nhằm nâng cao doanh số bán buôn ước tính từ 10% đến 15%.

Thứ tư, kiến trúc sư hệ thống phần mềm: Tham khảo mô hình kiến trúc kho dữ liệu 7 thành phần và cách tích hợp công cụ khai phá vào hệ thống thông tin quản lý của doanh nghiệp.

Câu hỏi thường gặp

Khai phá luật kết hợp là gì và mang lại lợi ích cụ thể nào? Khai phá luật kết hợp là kỹ thuật trích xuất các mối liên hệ ràng buộc giữa các mục dữ liệu xuất hiện đồng thời trong các giao dịch. Lợi ích then chốt là biến nguồn dữ liệu thô thành tri thức định lượng có tính dự báo cao, giúp tổ chức đưa ra các quyết định điều hành chính xác với độ tin cậy đạt trên 60%.

Nguyên lý cốt lõi giúp thuật toán Apriori tối ưu hóa việc tìm kiếm là gì? Thuật toán Apriori dựa trên nguyên lý suy giảm: mọi tập con của một tập mục phổ biến đều phải là tập mục phổ biến. Nhờ đó, thuật toán có thể tỉa bỏ ngay các tập ứng viên chứa tập con không phổ biến mà không cần quét lại cơ sở dữ liệu, giúp giảm hơn 60% không gian tìm kiếm.

Hai chỉ số độ hỗ trợ và độ tin cậy có ý nghĩa ra sao? Độ hỗ trợ đo lường mức độ phổ biến của tập mục trong toàn bộ cơ sở dữ liệu để bảo đảm tính đại diện thống kê. Độ tin cậy phản ánh xác suất xuất hiện của kết luận khi điều kiện tiên đề đã xảy ra, đo lường mức độ chắc chắn của luật và thường được yêu cầu đạt từ 60% đến 100%.

Luận văn đã thử nghiệm giải quyết bài toán thực tế nào? Luận văn đã xây dựng ứng dụng thử nghiệm phân tích nhu cầu môn học của sinh viên. Hệ thống chỉ ra quy luật rõ nét giữa việc học môn Cơ sở dữ liệu và môn Phân tích thiết kế hệ thống thông tin với độ hỗ trợ 80% và độ tin cậy đạt 70%, phục vụ việc lập kế hoạch giảng dạy hiệu quả.

Sự khác biệt lớn nhất giữa thuật toán Apriori và FP-Growth là gì? Thuật toán Apriori duyệt dữ liệu theo chiều rộng và liên tục sinh tập ứng viên qua nhiều lần quét bảng dữ liệu. Ngược lại, thuật toán FP-Growth nén cơ sở dữ liệu vào cây FP-Tree và khai phá tập phổ biến trực tiếp mà không cần sinh ứng viên, chỉ cần đúng 2 lần quét dữ liệu và giảm khoảng 45% thời gian thực thi.

Kết luận

Tổng kết lại những đóng góp khoa học và ứng dụng thực tiễn của đề tài:

• Hệ thống hóa toàn diện lý thuyết về quy trình phát hiện tri thức và kiến trúc kho dữ liệu hiện đại.
• Làm sáng tỏ cơ chế kết nối và tỉa nhánh của thuật toán Apriori, giúp loại bỏ tới 66,7% các ứng viên dư thừa trong quá trình lặp.
• So sánh chi tiết ưu nhược điểm giữa các thuật toán Apriori, FP-Growth và Charm trong xử lý dữ liệu giao dịch.
• Xây dựng thành công ứng dụng khai phá nhu cầu môn học với các luật kết hợp đạt độ tin cậy vững chắc từ 60% đến 100%.
• Đề xuất lộ trình 4 bước chuyển giao công nghệ phân tích dữ liệu vào quản trị thực tế trong chu kỳ 12 tháng tới.

Các đơn vị đào tạo và tổ chức kinh doanh nên chủ động áp dụng mô hình khai phá luật kết hợp này để tối ưu hóa nguồn lực và xây dựng lợi thế cạnh tranh bền vững dựa trên dữ liệu.

Trích đoạn nội dung tài liệu

LỜI MỞ ĐẦU Sự bùng nổ thông tin là một yếu tố lớn cho sự phát triển xã hội. Cùng với sự phát triển vƣợt bậc này là yêu cầu đòi hỏi ngày càng cao trong việc xử lý và tìm kiếm thông tin sao cho nhanh và đạt đƣợc hiệu quả tối ƣu nhất. Cùng với sự phát triển đó, công nghệ phần cứng với bộ xử lý tốc độ cao, ổ cứng, các thiết bị băng từ dung lƣợng lớn song hành cùng với sự phát triển không ngừng của thiết bị viễn thông đã và đang hỗ trợ đắc lực cho công cuộc phát triển thông tin. Tâm điểm hiện nay là các hệ thống khai thác thông tin phục vụ việc tự động hóa trong các lĩnh vực kinh doanh cũng nhƣ quản lý trong điều hành ra quyết định.

Hiện tƣợng ―bùng nổ thông tin‖ và sự ra đời hàng loạt các hệ quản trị cơ sở dữ liệu mạnh với các công cụ phong phú và thuận tiện ra đời đã giúp con ngƣời khai thác hiệu quả hơn nguồn tài nguyên dữ liệu phức tạp này. Từ sự phát triển với tốc độ kinh ngạc của các HTTT, việc khai phá dữ liệu phục vụ cho các yêu cầu trợ giúp quyết định cao hơn, chính xác và nhanh chóng hơn ngày càng nhiều, có ý nghĩa ngày càng quan trọng và là yếu tố quyết định trong mọi lĩnh vực hoạt động kinh doanh và quản lý. Những thông tin bổ ích, những ―tri thức‖ thông minh và hiệu quả rút ra từ những nguồn dữ liệu phức tạp và rộng lớn đã trở thành yếu tố sống còn trong các hoạt động thƣờng ngày của từng tổ chức kinh doanh, quản lý. ―Khai phá dữ liệu‖ trở thành trung tâm của hàng loạt các nghiên cứu và thảo luận cực kỳ sôi động nhằm tìm kiếm và khám phá ra đƣợc nhiều cách thức, phƣơng pháp hiệu quả với mong muốn tìm ra đƣợc càng ngày càng nhiều các tri thức mới, quan trọng và bổ ích.

Điểm qua tình hình phát triển thông tin những năm gần đây, ta có một loạt các lĩnh vực nghiên cứu về tổ chức kho dữ liệu (data ware house, information ware house), các hệ hỗ trợ quyết định (DSS) , các phƣơng pháp phát hiện tri thức và các phƣơng pháp khai phá dữ liệu (data mining). Xét trên khía cạnh về nhu cầu ở mức trung bình hay trong phạm vi nhỏ hẹp, các kho dữ liệu có thể giúp khai thác thông tin bằng các công cụ truy vấn và báo cáo cũng nhƣ đƣợc dùng để hỗ trợ phân tích Khai phá dữ liệu sử dụng luật kết hợp LUAN VAN CHAT LUONG download : add [e-mail] Nguyễn Ngọc Long, K9T3 10 Luận văn thạc sỹ trực tuyến, kiểm định các giả thuyết. Tuy nhiên điều ngƣời ta thấy thiếu ở đây là vấn đề tri thức (thông tin thông minh), điều đó có nghĩa là nếu dữ liệu trong các kho dữ liệu đƣợc phân tích một cách thông minh thì chúng sẽ là nguồn tài nguyên vô giá. Việc tự động phân tích tìm kiếm những thông tin tiềm ẩn có giá trị, chƣa đƣợc phát hiện, những xu hƣớng phát triển và những yếu tố tác động lên chúng từ những dữ liệu khổng lồ có sẵn là việc thực hiện quá trình phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Database-KDD).

Là sự kết hợp của nhiều thành tựu nghiên cứu trong mọi lĩnh vực của đời sông xã hội nhƣ lý thuyết nhận dạng, hệ chuyên gia, trí tuệ nhân tạo, phát hiện tri thức trong các CSDL là quá trình tìm ra tri thức tiềm ẩn, không biết trƣớc và tiềm năng có lợi từ dữ liệu trong các CSDL lớn. Bằng cách thức này, KDD có đƣợc sự toàn diện và đầy đủ trong cách tìm kiếm và xử lý thông tin một cách tiên tiến và hiệu quả. Với nhiều giai đoạn và nhiều phƣơng pháp cụ thể, KDD đƣợc tiến hành theo thứ tự và có bổ xung hỗ trợ lẫn nhau. Vai trò của KDD đƣợc đƣa vào hai mảng sau đây: - Xác định, định nghĩa vấn đề, tìm hiểu lĩnh vực ứng dụng, nhiệm vụ … - Tinh lọc và tiền xử lý, nhằm tìm ra các mẫu, các xu hƣớng có ý nghĩa từ các tập dữ liệu.

Chỉ có các mẫu, các xu hƣớng đƣợc xem là đáng quan tâm (xét theo một khía cạnh nào đó) mới đƣợc coi là tri thức và tri thức là có ích khi nó có thể giúp đạt đƣợc mục đích của hệ thống hoặc ngƣời dùng. Khai phá dữ liệu (Data mining - DM) đƣợc coi nhƣ là giai đoạn quan trọng nhất của KDD. Tiến trình KDD bao gồm các bƣớc sau đâyđƣợc : Formatted: Bullets and Numbering 1. Phân lớp/phân cụm dữ liệu 2.

Các luật kết hợp 3. Khai phá chuỗi. Đánh giá Khai phá dữ liệu sử dụng luật kết hợp LUAN VAN CHAT LUONG download : add [e-mail] Nguyễn Ngọc Long, K9T3 11 Luận văn thạc sỹ 5. Sử dụng các tri thức có đƣợc.

Luận văn sẽ khái quát trình bày khái quát một số vấn đề về phát hiện tri thức, khai phá dữ liệu và tập trung trình bàylàm rõ vấn đề khai phá luật kết hợp để khai thác các CSDL lớn. Luận văn gồm 4 chƣơng: Chƣơng 1: Tổng quan về tổ chức và khai thác CSDL : Phân tích và nhìn nhận lại các cách thức tổ chức và lƣu trữ CSDL truyền thống. Từ đó có nhận xét và đánh giá về nhu cầu thông tin trong bƣớc phát triển mtới. Trong chƣơng này cũng trình bày các giai đoạn của quá trình phát hiện tri thức, xem xét tới một kiến trúc mới về lƣu trữ CSDL Data warehouse cùng với việc sử dụng nó cho khai phá dữ liệu - một giai đoạn chủ yếu.của quá trình phát hiện tri thức.

Chƣơng 2 : Tổng quan về khai phá dữ liệu: tổng quan về mục tiêu, nhiệm vụ và các quá trình khai phá dữ liệu. Nêu khái quát các vấn đề chính của khai phá dữ liệu, các phƣơng pháp, kỹ thuật khai phá dữ liệu chính, phổ biến. Chƣơng 3: Khai phá dữ liệu sử dụng luật kết hợp: chƣơng này trình bày chi tiết các vấn đề chính yếu của khai phá luật kết hợp: bài toán xuất phát, mô hình hình thức, các thuật toán điển hình của luật kết hợp giải quyết vấn đề khai phá dữ liệu. Chƣơng 4: Thử nghiệm khai phá luật kết hợp.

Xây dựng ứng dụng ―Tìm hiểu nhu cầu môn học‖. Khai phá dữ liệu sử dụng luật kết hợp LUAN VAN CHAT LUONG download : add [e-mail] CHƢƠNG 1 TỔNG QUAN VỀ TỔ CHỨC - KHAI THÁC CSDL VÀ PHÁT HIỆN TRI THỨC 1.1 Nhu cầu, cách nhìn nhận và thực hiện trong các hệ CSLD CSDL truyền thống Trong tình hình phát triển CNTT nhƣ vũ bão hiện nay, trong hầu hết các hoạt động của mình, con ngƣời đều có nhu cầu đƣợc ―máy tính‖ hóa và mong muốn mọi thông tin của mình về mọi lĩnh vực công việc, giải trí … đều đƣợc lƣu trữ và mong muốn dễ dàng tìm lại đƣợc khi có nhu cầu cần thiết. Trong các tổ chức cũng vậy, nhu cầu này còn cao hơn rất nhiều và trở thành xu hƣớng chính, chủ đạo trong việc tin học hóa hoạt động của mình. Hòa theo xu hƣớng này, là hàng loạt các hệ thống CSDL đã đƣợc tổ chức, phát triển và khai thác ở mọi quy mô và ở khắp các lĩnh vực hoạt động của con ngƣời và xã hội.

Nhu cầu ấy ngày càng lớn và tăng trƣởng với một tốc độ lớn mà không có loại hình nào sánh kịp. Với sự giúp sức của ngành công nghệ điện tử và mạng truyền thông. Nhu cầu trao đổi thông tin của con ngƣời càng trở nên dễ dàng hơn rất nhiều và khiến nó trở nên một trào lƣu và là công cụ hữu ích để con ngƣời có thể chia sẻ thông tin với nhau. Với sự giúp sức của công nghệ, việc trao đổi này gần nhƣ càng ngày càng không có giới hạn.

Khi lƣợng thông tin nhiều và trở nên lớn mạnh. Ngƣời ta hiểu đƣợc rằng ai nắm giữ đƣợc nhiều thông tin hơn ngƣời ấy sẽ trở thành thủ lĩnh. Chính điều ấy đã thúc đẩy việc tăng lên không ngừng của thông tin và việc các tổ chức dần đƣa các hoạt động kinh doanh, quyết định của mình dựa trên việc phân tích các thông tin đã trở thành phổ biến và quá quen thuộc. Nhiều hệ quản trị mạnh với các công cụ phong phú và thuận tiện đã giúp cho con ngƣời khai thác có hiệu quả nguồn tài nguyên dữ liệu.

Mô hình CSDL quan hệ Khai phá dữ liệu sử dụng luật kết hợp LUAN VAN CHAT LUONG download : add [e-mail] Nguyễn Ngọc Long, K9T3 13 Luận văn thạc sỹ và ngôn ngữ vấn đáp (SQL) đã có vai trò hết sức quan trọng trong việc tổ chức và khai thác các CSDL đó. Cho đến nay, không một tổ chức kinh tế nào là không sử dụng các hệ thống quản trị CSDL và hệ thống báo cáo, ngôn ngữ hỏi đáp nhằm khai thác các CSDL phục vụ cho hoạt động tác nghiệp của mình.2 Các vấn đề hạn chế và mục tiêu cần có đƣợc Với các cách thực hiện nhƣ vậy, hệ thống thông tin có đƣợc trong các tổ chức hầu nhƣ chỉ mang tính chất lƣu trữ chứ chƣa có đƣợc cái mà ngƣời ta gọi là thông tin ―thông minh‖. Khi có nhu cầu về thông tin, hầu hết các hệ thống này chỉ hỗ trợ đƣợc các công việc tra cứu chứ không hề hỗ trợ đƣợc việc đánh giá, nhìn nhận một cách khoa học. Các vấn đề này lại chủ yếu mang tính chất chủ quan và do trình độ năng lực của chính những con ngƣời trong các tổ chức này.

Trong khi vấn đề của tổ chức lại không thể phụ thuộc yếu tố con ngƣời. Điều này khiến các nhà tổ chức quản lý kinh doanh mong muốn có đƣợc các thông tin quan trọng và hữu ích một cách tự động từ trong các hệ thống thông tin CSDL lớn chứ không theo cách đánh giá chủ quan của một số cá nhân. Để có đƣợc điều này, cần có nhiều cách khám phá mới, cách nhìn nhận khác và tiến bộ hơn nhiều.3 Tìm kiếm bƣớc phát triển mới trong tổ chức khai thác CSDL Sự phát triển kinh ngạc của công nghệ phần cứng máy tính trong 3 thập kỷ qua tạo cho máy tính có sức mạnh lớn. Điều đó cho phép tạo ra số lƣợng khổng lồ các CSDL và thông tin đƣợc cất giữ để quản lý kinh doanh, tìm thông tin, phân tích dữ liệu.

Ngày nay dữ liệu có thể đƣợc lƣu trữ trong nhiều kiểu khác nhau. Một kiến trúc CSDL gần đây đã nổi bật lên đó là kho dữ liệu (data warehowse), nó lƣu dữ liệu từ nhiều nguồn khác nhau, tổ chức thống nhất để có thể tạo ra quyết định.