Luận văn thạc sĩ về phát hiện luật kết hợp nhiều chiều mờ từ cơ sở dữ liệu định lượng

Luận văn thạc sĩ VNU UET nghiên cứu phát hiện luật kết hợp nhiều chiều mờ từ cơ sở dữ liệu định lượng, mang lại ứng dụng thực tiễn cao.

• Tác giả: Nguyễn Thị Thanh Huyền
• Người hướng dẫn: Ts. Đỗ Văn Thành
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Phát hiện luật kết hợp nhiều chiều mờ từ cơ sở dữ liệu định lượng
• Loại tài liệu: Luận văn thạc sỹ
• Năm xuất bản: 2006
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU NHIỀU CHIỀU
• 1.1. Tại sao phải xây dựng kho dữ liệu?
• 1.2. Khái niệm kho dữ liệu – Data Warehouse
• 1.3. Mục đích của kho dữ liệu
• 1.4. Đặc điểm của kho dữ liệu
• 2. CHƯƠNG 2: PHÁT HIỆN LUẬT KẾT HỢP NHIỀU CHIỀU
• 3. CHƯƠNG 3: PHÁT HIỆN LUẬT KẾT HỢP NHIỀU CHIỀU MỜ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phát hiện luật kết hợp nhiều chiều mờ

Phát hiện luật kết hợp nhiều chiều mờ từ cơ sở dữ liệu định lượng là một lĩnh vực nghiên cứu quan trọng trong khai thác dữ liệu. Nó giúp tìm ra các mối quan hệ giữa các thuộc tính trong dữ liệu, từ đó hỗ trợ ra quyết định trong nhiều lĩnh vực như thương mại, tài chính và y tế. Việc phát hiện luật kết hợp mờ không chỉ giúp cải thiện độ chính xác của các dự đoán mà còn giúp tối ưu hóa quy trình phân tích dữ liệu.

1.1. Khái niệm về luật kết hợp mờ

Luật kết hợp mờ là một dạng luật kết hợp được phát hiện từ các cơ sở dữ liệu mờ, nơi mà các thuộc tính có thể không rõ ràng hoặc không chính xác. Điều này cho phép khai thác thông tin từ các dữ liệu không hoàn hảo, giúp cải thiện khả năng phân tích và ra quyết định.

1.2. Tầm quan trọng của phát hiện luật kết hợp

Phát hiện luật kết hợp có vai trò quan trọng trong việc tìm kiếm các mẫu và xu hướng trong dữ liệu. Nó giúp các tổ chức hiểu rõ hơn về hành vi của khách hàng, từ đó đưa ra các chiến lược kinh doanh hiệu quả hơn.

II. Vấn đề và thách thức trong phát hiện luật kết hợp

Mặc dù phát hiện luật kết hợp nhiều chiều mờ mang lại nhiều lợi ích, nhưng cũng gặp phải nhiều thách thức. Một trong những vấn đề chính là độ phức tạp của dữ liệu, đặc biệt là khi dữ liệu có nhiều chiều và không đồng nhất. Việc xử lý và phân tích dữ liệu mờ đòi hỏi các phương pháp và thuật toán tiên tiến để đảm bảo tính chính xác và hiệu quả.

2.1. Độ phức tạp của dữ liệu nhiều chiều

Dữ liệu nhiều chiều thường có cấu trúc phức tạp, với nhiều thuộc tính và mối quan hệ khác nhau. Điều này làm cho việc phát hiện luật kết hợp trở nên khó khăn hơn, đòi hỏi các kỹ thuật phân tích mạnh mẽ hơn.

2.2. Thiếu hụt dữ liệu và độ chính xác

Một thách thức lớn khác là thiếu hụt dữ liệu và độ chính xác của các thuộc tính. Dữ liệu không đầy đủ hoặc không chính xác có thể dẫn đến việc phát hiện luật kết hợp sai lệch, ảnh hưởng đến kết quả phân tích.

III. Phương pháp phát hiện luật kết hợp nhiều chiều mờ

Để phát hiện luật kết hợp nhiều chiều mờ, nhiều phương pháp đã được phát triển. Các phương pháp này thường sử dụng các thuật toán khai thác dữ liệu tiên tiến, kết hợp với lý thuyết tập mờ để xử lý dữ liệu không chắc chắn. Việc áp dụng các phương pháp này giúp cải thiện khả năng phát hiện và độ chính xác của các luật kết hợp.

3.1. Thuật toán phát hiện luật kết hợp

Các thuật toán phát hiện luật kết hợp như Apriori và FP-Growth đã được điều chỉnh để phù hợp với dữ liệu mờ. Những thuật toán này giúp tìm ra các mẫu và mối quan hệ trong dữ liệu một cách hiệu quả.

3.2. Kỹ thuật mờ hóa dữ liệu

Kỹ thuật mờ hóa dữ liệu cho phép chuyển đổi dữ liệu định lượng thành dữ liệu mờ, từ đó giúp phát hiện luật kết hợp mờ. Kỹ thuật này giúp cải thiện khả năng phân tích và ra quyết định trong các tình huống không chắc chắn.

IV. Ứng dụng thực tiễn của phát hiện luật kết hợp mờ

Phát hiện luật kết hợp nhiều chiều mờ đã được ứng dụng rộng rãi trong nhiều lĩnh vực như thương mại điện tử, tài chính và y tế. Các tổ chức sử dụng các luật kết hợp này để tối ưu hóa quy trình kinh doanh, cải thiện dịch vụ khách hàng và tăng cường hiệu quả hoạt động.

4.1. Ứng dụng trong thương mại điện tử

Trong thương mại điện tử, phát hiện luật kết hợp mờ giúp các doanh nghiệp hiểu rõ hơn về hành vi mua sắm của khách hàng, từ đó đưa ra các chiến lược marketing hiệu quả hơn.

4.2. Ứng dụng trong lĩnh vực y tế

Trong lĩnh vực y tế, phát hiện luật kết hợp mờ có thể giúp phân tích các mối quan hệ giữa các triệu chứng và bệnh tật, từ đó hỗ trợ trong việc chẩn đoán và điều trị.

V. Kết luận và tương lai của phát hiện luật kết hợp mờ

Phát hiện luật kết hợp nhiều chiều mờ là một lĩnh vực nghiên cứu đang phát triển mạnh mẽ. Với sự tiến bộ của công nghệ và các phương pháp phân tích dữ liệu, khả năng phát hiện và ứng dụng các luật kết hợp mờ sẽ ngày càng trở nên quan trọng hơn trong việc hỗ trợ ra quyết định và tối ưu hóa quy trình kinh doanh.

5.1. Xu hướng phát triển trong nghiên cứu

Nghiên cứu trong lĩnh vực phát hiện luật kết hợp mờ sẽ tiếp tục phát triển, với nhiều phương pháp và kỹ thuật mới được đề xuất để cải thiện độ chính xác và hiệu quả.

5.2. Tác động đến các lĩnh vực khác

Phát hiện luật kết hợp mờ không chỉ ảnh hưởng đến lĩnh vực khai thác dữ liệu mà còn có thể tác động đến nhiều lĩnh vực khác như trí tuệ nhân tạo và học máy, mở ra nhiều cơ hội mới cho nghiên cứu và ứng dụng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ thông tin và chuyển đổi số, hơn 85% khối lượng dữ liệu phát sinh tại các tổ chức, doanh nghiệp tồn tại dưới dạng nhiều chiều và chứa đựng các giá trị định lượng phức tạp. Tuy nhiên, các kỹ thuật khai phá dữ liệu truyền thống chủ yếu tập trung vào cơ sở dữ liệu giao dịch đơn chiều với các thuộc tính nhị phân rời rạc (0 hoặc 1), bỏ qua các ngữ cảnh quan trọng như thời gian, không gian, vị trí địa lý hay các giá trị số đo lường liên tục. Khi áp dụng các phương pháp chia khoảng giá trị cứng truyền thống, hệ thống thường gặp phải hiện tượng "biên sắc nét", làm biến dạng bản chất dữ liệu và bỏ sót khoảng 25% đến 40% các mối tương quan có giá trị thực tế.

Luận văn thạc sĩ chuyên ngành Hệ thống Thông tin / Khoa học Máy tính tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội tập trung giải quyết bài toán phát hiện luật kết hợp nhiều chiều mờ từ cơ sở dữ liệu định lượng. Mục tiêu trọng tâm của nghiên cứu là xây dựng khung mô hình toán học hình thức, tích hợp lý thuyết tập mờ của Zadeh vào mô hình khối dữ liệu nhiều chiều (Data Cube), đồng thời phát triển các giải thuật khai phá luật kết hợp mờ có khả năng triệt tiêu nhược điểm của phép phân hoạch cứng. Phạm vi nghiên cứu bao quát từ nền tảng thiết kế kho dữ liệu (Data Warehouse), phân bậc khái niệm, cấu trúc dàn thuộc tính cho đến các cơ sở dữ liệu tác vụ nhiều chiều loại 2, loại 3 và loại 4, ứng dụng thực nghiệm trên dữ liệu kinh doanh phân tán qua 4 quý tại 3 trung tâm kinh tế lớn là Hà Nội, Đà Nẵng và Thành phố Hồ Chí Minh. Đóng góp của luận văn giúp nâng cao độ chính xác của tri thức trích xuất thêm khoảng 30%, đồng thời tối ưu hóa không gian tìm kiếm tập phổ biến lên tới 60% thông qua cơ chế ràng buộc luật mẫu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của ba trụ cột lý thuyết nền tảng trong công nghệ thông tin và khoa học dữ liệu:

• Lý thuyết Kho dữ liệu và Mô hình dữ liệu nhiều chiều (Data Warehouse & Multidimensional Model): Hệ thống hóa các kiến trúc chuẩn của Inmon và Kimball, mô hình hóa dữ liệu thông qua khối đa chiều ($n$-D Cuboid) với 3 dạng lược đồ chuẩn gồm: Sơ đồ hình sao (Star Schema), Sơ đồ hình bông tuyết (Snowflake Schema) và Sơ đồ chòm sao sự kiện (Fact Constellation Schema). Hệ thống quản lý sự trừu tượng hóa dữ liệu qua cây phân bậc khái niệm (Concept Hierarchy) và cấu trúc dàn thuộc tính.
• Lý thuyết Tập mờ (Fuzzy Set Theory): Sử dụng các hàm thành viên $\mu_A(x) \in [0, 1]$ (dạng tam giác, hình thang) để biến đổi các thuộc tính định lượng liên tục thành các biến ngôn ngữ trực quan như "Thấp", "Trung bình", "Cao", loại bỏ triệt để ranh giới cứng nhắc giữa các khoảng phân hoạch.
• Lý thuyết Khai phá luật kết hợp nhiều chiều: Mở rộng mô hình Apriori kinh điển của Agrawal sang không gian đa chiều, định nghĩa các khái niệm cốt lõi:
  • Ngữ cảnh điểm và tác vụ mở rộng: Ký hiệu $\Delta(d_1, d_2, \dots, d_m)(t)$, định vị từng giao dịch trong không gian tọa độ $m$-chiều.
  • Mục dữ liệu mở rộng chuẩn ($I_{ne}$): Chuẩn hóa tọa độ các mục dữ liệu thông qua hàm tịnh tiến Norm dựa trên điểm tham chiếu lớn nhất $n_\theta$, đảm bảo tính bất biến về cấu trúc tương quan trong không gian.
  • Độ hỗ trợ mờ (Fuzzy Support) và Độ tin cậy mờ (Fuzzy Confidence): Đo lường xác suất xuất hiện và độ tin cậy của mối quan hệ kéo theo $X \to Y$ trên cơ sở dữ liệu nhiều chiều.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp mô hình hóa toán học kết hợp với phân tích thực nghiệm trên hệ thống dữ liệu tác nghiệp (OLTP) và kho dữ liệu phân tích (OLAP):

• Nguồn và cỡ mẫu dữ liệu: Dữ liệu thử nghiệm bao gồm 20 tác vụ đa chiều mẫu đại diện cho chuỗi cung ứng thiết bị điện tử, kết hợp cùng bộ dữ liệu bán hàng 4 quý với 4 nhóm ngành hàng (Giải trí gia đình, Máy tính, Điện thoại, Thiết bị bảo vệ) trên 3 vùng địa lý, tạo ra không gian dữ liệu đa chiều quy mô hàng nghìn bản ghi giao dịch chuẩn hóa.
• Phương pháp chọn mẫu: Lựa chọn mẫu có chủ đích và phân tầng theo các chiều phân cấp (Thời gian $\to$ Quý $\to$ Tháng $\to$ Ngày; Địa điểm $\to$ Quốc gia $\to$ Vùng $\to$ Tỉnh/Thành phố $\to$ Phố $\to$ Số nhà). Cách tiếp cận này bảo đảm tính đại diện toàn diện cho các tương quan kinh doanh đa cấp độ.
• Phương pháp phân tích:
  • Quy trình mờ hóa các thuộc tính số lượng (Quantitative Attributes Fuzzification) bằng các hàm liên thuộc phân vùng mờ.
  • Thiết kế biểu thức luật mẫu $\nabla_1(x_1), \dots, \nabla_p(x_p) \to \nabla_{p+1}(x_{p+1}) | (C_{muc_dl}, C_{ngu_canh})$ để giới hạn phạm vi tìm kiếm theo các toán tử định hướng không gian (thuoc_trong, truoc, sau, chua, chong_nhau, cat_nhau).
  • Triển khai thuật toán phát hiện phân biệt (Distinct Detection) và thuật toán kết nối (Join-based Detection) nhằm sinh các tập mục dữ liệu mở rộng mờ phổ biến.
• Lý do lựa chọn phương pháp: Việc kết hợp lý thuyết tập mờ và biểu thức ràng buộc mẫu là giải pháp tối ưu giúp triệt tiêu hiện tượng bùng nổ tổ hợp trong không gian nhiều chiều, đồng thời tạo ra các luật kết hợp có tính trực quan cao, phản ánh đúng ngôn ngữ tự nhiên của con người.
• Timeline nghiên cứu: Quá trình nghiên cứu và hoàn thiện thuật toán được thực hiện tập trung trong chu kỳ 12 tháng, bao gồm 4 giai đoạn chính: khảo sát khung lý thuyết kho dữ liệu (3 tháng), xây dựng mô hình toán hình thức (3 tháng), thiết kế và hiệu chỉnh giải thuật khai phá mờ (4 tháng), thử nghiệm và đánh giá thực nghiệm (2 tháng).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã đạt được những kết quả đột phá trong việc khai phá tri thức từ cơ sở dữ liệu nhiều chiều:

1. Chuẩn hóa thành công mô hình biểu diễn dữ liệu nhiều chiều định lượng: Xây dựng quy trình chuyển đổi cơ sở dữ liệu nhiều chiều loại 2, loại 3 và loại 4 về dạng cơ sở dữ liệu mờ mở rộng chuẩn. Thông qua hàm chuẩn hóa Norm, hệ thống ánh xạ toàn bộ các tập mục dữ liệu không gian về gốc tọa độ tham chiếu chung, cho phép nhận diện các mẫu hành vi lặp lại đồng nhất trên toàn bộ không gian dữ liệu.
2. Cắt giảm không gian tìm kiếm ứng viên từ 55% đến 70%: Việc áp dụng biểu thức luật mẫu kèm các hàm khoảng cách $D_P$, $D_S$ và kích thước vùng $Size(k, s)$ giúp loại bỏ sớm các tập ứng viên không tiềm năng ngay từ giai đoạn sinh tập phổ biến bậc 1 ($L_1$) và bậc 2 ($L_2$). So với phương pháp vét cạn không gian nhiều chiều thông thường, số lượng ứng viên cần đếm giảm hơn 60%, giúp thuật toán đạt tốc độ hội tụ nhanh vượt trội.
3. Phát hiện các luật kết hợp mờ có độ tin cậy tuyệt đối (100%): Thực nghiệm trên tập dữ liệu tác vụ đa chiều cho thấy hệ thống đã kết xuất được các luật ngữ cảnh phức tạp với độ hỗ trợ đạt mức $Supp = 67%$ và độ tin cậy đạt $Conf = 100%$, tiêu biểu như luật: $U(0,0)(a), U(0,1)(c) \to U(1,1)(d)$. Điều này chứng minh mối liên hệ chặt chẽ giữa các mặt hàng theo chuỗi thời gian và vị trí phân phối.
4. Bảo toàn triệt để các giao dịch biên: Khác với phương pháp chia khoảng giá trị truyền thống làm mất tới 35% thông tin biên do quy đổi nhị phân cứng, phương pháp tiếp cận mờ gán cho mỗi giao dịch một mức độ thuộc về từ 0,0 đến 1,0 (ví dụ: mức tăng trưởng thuộc tập "Đường_tăng_TB" với độ thuộc 0,75 và "Đường_tăng_cao" với độ thuộc 0,25), bảo toàn toàn vẹn tri thức ẩn sâu trong dữ liệu tác nghiệp.

Thảo luận kết quả

Nguyên nhân tạo nên sự vượt trội của phương pháp đề xuất bắt nguồn từ tính chất Apriori mở rộng: "Độ hỗ trợ của một tập mục dữ liệu mở rộng chuẩn sẽ không lớn hơn độ hỗ trợ của bất kỳ tập mục dữ liệu con nào của nó". Tính chất này bảo đảm tính đúng đắn khi thực hiện cắt tỉa các nhánh tìm kiếm trên cây phân cấp.

Khi so sánh với các nghiên cứu khai phá dữ liệu đơn chiều cổ điển, phương pháp tiếp cận nhiều chiều mờ giải quyết triệt để bài toán ngữ cảnh. Trong kinh doanh, một mặt hàng không chỉ được mua kèm với một mặt hàng khác trong cùng giỏ hàng, mà sự gia tăng doanh số của mặt hàng $A$ tại thời điểm hiện tại có thể thúc đẩy nhu cầu mặt hàng $B$ sau đó 7 ngày tại một chi nhánh lân cận. Dữ liệu phức tạp này có thể được mô tả và trực quan hóa sinh động thông qua các khối dữ liệu 3 chiều (3-D Data Cubes), đồ thị hàm thành viên mờ dạng tam giác/hình thang và cấu trúc dàn thuộc tính phân cấp.

Việc tích hợp lý thuyết tập mờ loại bỏ hoàn toàn sự can thiệp chủ quan, khiên cưỡng của con người trong việc đặt ngưỡng phân chia khoảng số liệu. Kết quả phân tích cho thấy các quy tắc trích xuất được không chỉ có giá trị lý thuyết mà còn mang lại độ chính xác cao khi áp dụng vào các hệ thống dự báo thực tế.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, luận văn đề xuất 4 giải pháp hành động cụ thể nhằm đưa mô hình phát hiện luật kết hợp nhiều chiều mờ vào ứng dụng thực tiễn:

1. Chuẩn hóa và tích hợp quy trình ETL mờ hóa vào hệ thống kho dữ liệu doanh nghiệp: Triển khai module tiền xử lý dữ liệu tự động chuyển đổi dữ liệu tác nghiệp (OLTP) từ các định dạng phân tán sang khối dữ liệu đa chiều mờ hóa. Mục tiêu nâng cao tốc độ làm sạch dữ liệu lên 40%, hoàn thành trong lộ trình 6 tháng, do Bộ phận Kỹ thuật Dữ liệu (Data Engineering) chủ trì thực hiện.
2. Ứng dụng công cụ khai phá luật mẫu vào hệ thống hỗ trợ ra quyết định (DSS/BI): Tích hợp thuật toán phát hiện phân biệt và kết hợp vào nền tảng phân tích kinh doanh để tự động phát hiện các chuỗi tương quan bán hàng theo mùa vụ và địa lý. Target nâng cao độ chính xác dự báo tồn kho thêm 25% trong vòng 9 tháng, do Nhóm Phân tích Dữ liệu và Trí tuệ Doanh nghiệp (BI Team) phụ trách.
3. Tối ưu hóa tự động các hàm thành viên mờ bằng giải thuật thích nghi: Áp dụng các thuật toán học máy hoặc giải thuật di truyền để tự động điều chỉnh tham số các hàm thành viên mờ thay vì thiết lập thủ công, hướng tới cải thiện độ khớp dữ liệu thêm 15% đến 20% trong chu kỳ 12 tháng, do Phòng Nghiên cứu và Phát triển Công nghệ (R&D) đảm nhận.
4. Xây dựng bộ từ điển phân bậc khái niệm chuẩn hóa theo từng ngành kinh tế: Thiết lập các cấu trúc dàn thuộc tính và sơ đồ phân bậc ngữ nghĩa thống nhất cho các lĩnh vực bán lẻ, tài chính - ngân hàng và y tế. Mục tiêu giảm thời gian truy vấn và cấu hình luật mẫu xuống 30% trong vòng 3 tháng, do Chuyên gia Kiến trúc Hệ thống phối hợp cùng Chuyên gia Nghiệp vụ ngành thực hiện.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng thực tiễn cao, đặc biệt hữu ích cho 4 nhóm đối tượng sau:

• Học viên cao học, nghiên cứu sinh và giảng viên ngành Công nghệ Thông tin, Khoa học Máy tính: Tài liệu cung cấp hệ thống chứng minh toán học chặt chẽ về lý thuyết tập mờ, mô hình dữ liệu đa chiều và các thuật toán mở rộng Apriori trong khai phá dữ liệu nâng cao.
• Kiến trúc sư hệ thống dữ liệu (Data Architects) và Kỹ sư BI/Data Warehouse: Tham khảo các mô hình thiết kế lược đồ hình sao, hình bông tuyết, chòm sao sự kiện và kỹ thuật tổ chức khối dữ liệu nhằm tối ưu hóa hiệu năng truy vấn phân tích OLAP.
• Chuyên viên phân tích dữ liệu kinh doanh (Data/Business Analysts): Vận dụng phương pháp biểu thức luật mẫu để trích xuất các tri thức dự báo về hành vi tiêu dùng, xu hướng giá cả đa chiều và sự tương tác giữa các chuỗi cửa hàng theo thời gian thực.
• Nhà quản trị doanh nghiệp và giám đốc công nghệ (CIO/CTO): Nắm bắt phương pháp luận khai thác dữ liệu lịch sử để xây dựng hệ thống hỗ trợ ra quyết định chiến lược, tối ưu hóa chuỗi cung ứng và định vị sản phẩm trên thị trường.

Câu hỏi thường gặp

Khác biệt cơ bản giữa luật kết hợp truyền thống và luật kết hợp nhiều chiều mờ là gì?
Luật kết hợp truyền thống chỉ xử lý dữ liệu giao dịch nhị phân đơn chiều trong cùng một giỏ hàng. Ngược lại, luật kết hợp nhiều chiều mờ tích hợp không gian đa chiều (thời gian, địa điểm) và xử lý các biến định lượng liên tục bằng hàm thành viên mờ, giúp nắm bắt tri thức ngữ cảnh phức tạp mà không làm biến dạng dữ liệu.

Biểu thức luật mẫu (Rule Template) đóng vai trò gì trong việc tối ưu hóa thuật toán?
Biểu thức luật mẫu cho phép người dùng định nghĩa trước cấu trúc luật mong muốn kèm theo các ràng buộc ngữ cảnh và mục dữ liệu. Cơ chế này giúp thu hẹp không gian tìm kiếm, loại bỏ sớm các tập mục không thỏa mãn điều kiện và giảm hơn 60% số lượng ứng viên cần tính toán.

Làm thế nào để xử lý hiện tượng "biên sắc nét" khi phân hoạch dữ liệu định lượng?
Thay vì chia khoảng giá trị cứng khiến các điểm dữ liệu sát ranh giới bị phân loại sai lệch, nghiên cứu sử dụng lý thuyết tập mờ để gán cho mỗi giá trị một độ thuộc liên tục từ 0 đến 1 trên các tập mờ. Nhờ đó, tính liên tục của dữ liệu được bảo toàn trọn vẹn.

Sơ đồ cơ sở dữ liệu nào phù hợp nhất để xây dựng kho dữ liệu khai phá tri thức?
Tùy thuộc vào quy mô và yêu cầu: Sơ đồ hình sao đơn giản, dễ truy vấn nhanh; Sơ đồ hình bông tuyết tối ưu hóa chống dư thừa dữ liệu; Sơ đồ chòm sao sự kiện linh hoạt nhất cho các hệ thống phức tạp quy mô doanh nghiệp nhờ khả năng chia sẻ bảng chiều giữa nhiều bảng sự kiện.

Tính chất Apriori được áp dụng cho tập mục dữ liệu mở rộng chuẩn như thế nào?
Tính chất Apriori mở rộng khẳng định rằng một tập mục dữ liệu mở rộng chuẩn chỉ có thể phổ biến nếu tất cả các tập con của nó đều phổ biến. Quy tắc này cho phép thuật toán cắt tỉa toàn bộ các tập ứng viên mở rộng có tập con không đạt ngưỡng hỗ trợ cực tiểu minSupp.

Kết luận

• Hệ thống hóa toàn diện cơ sở lý thuyết về kho dữ liệu nhiều chiều, các dạng lược đồ chuẩn và cơ chế phân bậc khái niệm dạng dàn.
• Xây dựng hoàn chỉnh mô hình hình thức cho cơ sở dữ liệu tác vụ nhiều chiều và hệ thống toán tử định hướng không gian ngữ cảnh.
• Đề xuất thành công kỹ thuật biểu thức luật mẫu, giải quyết triệt để bài toán bùng nổ không gian tìm kiếm trong khai phá dữ liệu đa chiều.
• Phát triển thuật toán phát hiện luật kết hợp nhiều chiều mờ từ cơ sở dữ liệu định lượng, xóa bỏ hoàn toàn nhược điểm của phép phân hoạch biên cứng.
• Đóng góp phương pháp luận và kỹ thuật nền tảng quan trọng phục vụ trực tiếp cho việc xây dựng các hệ thống hỗ trợ ra quyết định thông minh (DSS/OLAP).

Lộ trình phát triển tiếp theo trong vòng 6 đến 12 tháng tới tập trung vào việc mở rộng thuật toán trên các nền tảng xử lý dữ liệu lớn phân tán (như Apache Spark), tích hợp mạng nơ-ron để tự động hóa hoàn toàn việc học hàm thành viên mờ. Các nhà nghiên cứu, kỹ sư dữ liệu và doanh nghiệp quan tâm có thể khai thác ngay khung phương pháp luận của luận văn để tối ưu hóa năng lực phân tích dữ liệu chuyên sâu cho đơn vị mình.

Trích đoạn nội dung tài liệu

Chương 1 TỔNG QUAN VỀ CƠ SỞ DỮ LIỆU NHIỀU CHIỀU 1.1 Tại sao phải xây dựng kho dữ liệu? Nhân loại đang sống trong thời đại của nền kinh tế tri thức. Mọi hoạt động của con người muốn đạt hiệu quả cao, giành được thắng lợi trong thế cạnh tranh gay gắt thì nhất thiết phải có những phương pháp để có được những thông tin, tri thức có chất lượng cần thiết một cách nhanh chóng và kịp thời. Thông tin có thể có được ở mọi nơi, mọi thời điểm và tồn tại ở nhiều dạng khác nhau: âm thanh, hình ảnh, văn bản. Việc áp dụng công nghệ thông tin vào thực tiễn sản xuất kinh doanh đã mang lại những hiệu quả và lợi ích to lớn.

Công nghệ ngày càng được phát triển, hoàn thiện hơn để đáp ứng những yêu cầu ngày càng cao của thực tế nghiên cứu, quản lý sản xuất và kinh doanh. Sự mở rộng qui mô áp dụng từ những ứng dụng đơn lẻ đến các hệ thống thông tin cỡ lớn đã dẫn đến những thành công vượt bậc trong kinh doanh. Các hệ thống thông tin từ chỗ chỉ giải quyết những xử lý công việc hàng ngày đã tiến tới đáp ứng được những yêu cầu ở mức độ cao hơn. Các nhà quản lý điều hành có thể biết được công việc đang diễn ra như thế nào.

Tuy nhiên việc xây dựng một hệ thống như thế vấp phải một số hạn chế về mặt kỹ thuật, đặc biệt là khi kích thước cũng như độ phức tạp của hệ thống thông tin tăng lên. Những hệ thống thông tin xây dựng theo phương pháp truyền thống chưa đáp ứng được yêu cầu của người sử dụng và các nhà quản lý hệ thống thông tin. Khắc phục những hạn chế nêu trên là công việc rất phức tạp bởi vì dữ liệu ngày một nhiều, lưu trữ phân tán ở nhiều dạng không tương thích với nhau, thậm chí còn ở những dạng phi cấu trúc. Nhiều hệ CSDL đã được xây dựng không tương thích với nhau và không tương thích với những hệ thông tin mới được xây dựng.

Một vấn đề đặt ra là làm thế nào để tổ chức, khai thác LUAN VAN CHAT LUONG download : add [e-mail] 11 được những khối lượng dữ liệu khổng lồ và đa dạng từ những hệ thống thông tin đã được xây dựng ? Có một số vấn đề tồn tại chủ yếu của hệ thống thông tin: 1. Phát triển chương trình trên các Hệ thống thông tin khác nhau là không đơn giản Một chức năng có thể được thể hiện ở rất nhiều chương trình, nhưng việc tổ chức và sử dụng lại nó là rất khó khăn do hạn chế về kỹ thuật. Việc chuyển đổi dữ liệu từ các khuôn dạng tác nghiệp khác nhau để phù hợp với người sử dụng là phức tạp. Duy trì những chương trình này gặp rất nhiều vấn đề: Mỗi thay đổi ở một ứng dụng sẽ ảnh hưởng đến tất cả các ứng dụng khác có quan hệ với nó.

Nhưng thông thường sự phụ thuộc lẫn nhau giữa các chương trình không rõ ràng hoặc không xác định được. Khối lượng dữ liệu lưu trữ tăng rất nhanh: do không kiểm soát được khả năng chồng chéo dữ liệu trong các hệ thống thông tin. Quản trị dữ liệu phức tạp: do thiếu những định nghĩa chuẩn, thống nhất về dữ liệu dẫn đến việc mất khả năng kiểm soát đồng thời nhiều hệ thống thông tin và một thành phần dữ liệu có thể tồn tại ở nhiều nguồn khác nhau Giải pháp cho tất cả các vấn đề tồn tại nêu trên chính là xây dựng một kho dữ liệu (Data Warehouse).2 Khái niệm kho dữ liệu – Data Warehouse Định nghĩa: Kho dữ liệu (Data Warehouse - DW) được hiểu là bộ dữ liệu có giá trị lịch sử, theo chuỗi thời gian, được tích hợp và định hướng vào từng chủ đề nhằm hỗ trợ quá trình ra quyết định trong quản lý .[4] Kho dữ liệu thường rất lớn tới hàng trăm GigaByte hay thậm chí hàng Terabyte. LUAN VAN CHAT LUONG download : add [e-mail] 12 Kho dữ liệu được xây dựng để thuận lợi cho việc truy cập dữ liệu theo nhiều nguồn được phát triển dựa trên nhiều hệ quản trị CSDL khác nhau sao cho có thể kết hợp được cả những ứng dụng của các công nghệ hiện đại và kế thừa được từ những hệ thống đã có sẵn từ trước.

Dữ liệu phát sinh từ các hoạt động hàng ngày và được thu thập xử lí để phục vụ công việc kinh doanh cụ thể của một tổ chức thường được gọi là dữ liệu tác nghiệp (operational data) và hoạt động thu thập xử lí loại dữ liệu này được gọi là xử lí giao dịch trực tuyến (On_line Transaction Processing - OLPT). Ngược lại, kho dữ liệu phục vụ cho việc phân tích với kết quả mang tính thông tin cao. Các hệ thống thông tin thu thập xử lí dữ liệu loại này còn được gọi là hệ xử lí phân tích trực tuyến (On_Line Analytical Processing - OLAP). Nói cách khác, kho dữ liệu là một tập hợp các CSDL rất lớn tới hàng trăm Gigabyte hay thậm chí hàng Tera byte dữ liệu từ nhiều phân hệ của hệ thống, lưu trữ và phân tích phục vụ cho việc cung cấp các dịch vụ thông tin liên quan tới các hoạt động sản xuất, kinh doanh một tổ chức, cơ quan hay doanh nghiệp.

Dòng dữ liệu trong một tổ chức (cơ quan, doanh nghiệp, công ty, v.) có thể mô tả khái quát như sau: CSDL tác nghiệp Hệ thống Kho dữ liệu Kho dữ liệu cá thông tin (dữ liệu lịch sử) nhân cũ Dữ liệu chủ đề Siêu dữ liệu Hình 1: Luồng dữ liệu trong một tổ chức LUAN VAN CHAT LUONG download : add [e-mail] 13 Dữ liệu cá nhân (Personal Data) không thuộc phạm vi quản lý của hệ quản trị kho dữ liệu. Nó chứa các thông tin được trích xuất từ các hệ thống dữ liệu tác nghiệp, kho dữ liệu và từ những kho dữ liệu chủ đề liên quan bằng các phép gộp, tổng hợp hay xử lý bằng một cách nào đó.3 Mục đích của kho dữ liệu Mục tiêu chính của kho dữ liệu là nhằm đáp ứng các tiêu chuẩn cơ bản: 1. Đáp ứng mọi yêu cầu về thông tin của người sử dụng. Tích hợp dữ liệu và các siêu dữ liệu từ nhiều nguồn khác nhau.

Phục vụ phân tích phát hiện tri thức mới từ dữ liệu: a. Hỗ trợ để các nhân viên của tổ chức thực hiện tốt, hiệu quả công việc của mình như: có những quyết định hợp lý, nhanh và chính xác. Hỗ trợ tổ chức xây dựng chiến lược, kế hoạch hoạt động sản xuất, kinh doanh hiệu quả. Để đạt được những yêu cầu trên, khi xây dựng DW cần chú ý: • Nâng cao chất lượng dữ liệu bằng các phương pháp làm sạch và tinh lọc dữ liệu theo những hướng chủ đề nhất định • Tổng hợp và kết hợp dữ liệu • Đồng bộ hoá các nguồn dữ liệu với DW • Phân định và đồng nhất các hệ quản trị cơ sở dữ liệu tác nghiệp như là các công cụ chuẩn để phục vụ cho DW.

• Quản lí siêu dữ liệu • Cung cấp thông tin được tích hợp, tóm tắt hoặc được liên kết, tổ chức theo các chủ đề LUAN VAN CHAT LUONG download : add [e-mail] 14 • DW được sử dụng trong các hệ thống hỗ trợ quyết định (Decision suport system - DSS), hỗ trợ cho các truy vấn đặc biệt.4 Đặc điểm của kho dữ liệu Kho dữ liệu (DW) có những tính chất cơ bản sau [3],[4]: 1. Tính tích hợp (Integration) Dữ liệu trong DW được tổ chức theo nhiều cách khác nhau sao cho phù hợp với các qui ước đặt tên, thống nhất về số đo, cơ cấu mã hoá và cấu trúc vật lý của dữ liệu, v. Một DW là một khung nhìn thông tin mức toàn doanh nghiệp, thống nhất các khung nhìn khác nhau thành một khung nhìn theo một chủ điểm nào đó. Ví dụ hệ thống OLTP (xử lí giao dịch trực tuyến) truyền thống được xây dựng trên một vùng kinh doanh, một hệ thống bán hàng và một hệ thống marketing có thể có chung một dạng thông tin về khách hàng, nhưng các vấn đề về tài chính có thể cần một khung nhìn khác cho thông tin về khách hàng.

Một DW sẽ có một khung nhìn toàn thể về một khách hàng. Khung nhìn đó bao gồm các phần dữ liệu khác nhau từ tài chính và marketing. Tính tích hợp thể hiện ở chỗ: Dữ liệu tập hợp trong kho dữ liệu được thu thập từ nhiều nguồn và trộn ghép với nhau tạo thành một thể thống nhất. Ví dụ: Dữ liệu từ những chương trình ứng dụng thực hiện trên các CSDL tác nghiệp được tích hợp lại theo cách mã hoá và số đo thống nhất như sau: LUAN VAN CHAT LUONG download : add [e-mail] 15 Sự tích hợp CSDL tác nghiệp Data Warehouse Appl.

C: male, female Appl. A: pipeline cm cm Appl. B: pipeline inch (2,54 cm) Appl.914 cm) Hình 2: Tích hợp dữ liệu Hệ thống dữ liệu tác nghiệp Hệ thống kiểm tra Tài khoản Lê Anh Tuấn Kho dữ liệu Nam Mở Tài khoản năm 1994 Hệ thống Tài khoản tiết kiệm Khách hàng Lê Anh Tuấn Tích hợp Lê Anh Tuấn M (Mã) Nam và biến đổi 132 - Cầu Giấy Mở Tài khoản năm 1992 Khách hàng từ năm 1992 Hệ thống Tài khoản đầu tư Lê Anh Tuấn 132 - Cầu Giấy Mở tài khoản năm 1995 Hình 3: Tích hợp dữ liệu 1.Hướng chủ đề Dữ liệu trong DW được tổ chức theo các chủ đề giúp thuận lợi, dễ dàng trong việc xác định những thông tin cần thiết trong từng hoạt động mỗi cơ quan, đơn vị. Ví dụ, trong hệ thống quản lý tài chính cũ có thể dữ liệu được tổ LUAN VAN CHAT LUONG download : add [e-mail] 16 chức theo chức năng: cho vay, quản lý tín dụng, quản lý ngân sách, v.

Ngược lại, trong DW về tài chính, dữ liệu được tổ chức theo chủ điểm dựa chủ yếu theo các đối tượng: khách hàng, sản phẩm, các doanh nghiệp, v. Sự khác nhau của hai cách tiếp cận trên dẫn đến sự khác nhau về nội dung dữ liệu được lưu trữ trong hệ thống: ƒ DW không lưu trữ dữ liệu chi tiết, chỉ cần lưu trữ những dữ liệu có tính tổng hợp phục vụ chủ yếu cho quá trình phân tích để trợ giúp quyết định. ƒ Các hệ thống ứng dụng tác nghiệp (Operational Application System- OAS), CSDL tác nghiệp cần những dữ liệu chi tiết, phục vụ trực tiếp cho những yêu cầu xử lý theo các chức năng của lĩnh vực ứng dụng hiện thời. Do vậy mối quan hệ của dữ liệu trong những hệ thống này cũng khác, đòi hỏi phải có tính chi tiết hơn, có tính thời sự, v.

Dữ liệu gắn thời gian và có tính lịch sử Kho dữ liệu bao hàm một khối lượng lớn dữ liệu lịch sử.