Tài liệu: Nghiên cứu phần tử ngoại lai đối với phụ thuộc mạnh trong mô

Nghiên cứu về phần tử ngoại lai và phụ thuộc mạnh trong mô hình dữ liệu quan hệ. Tìm hiểu các phương pháp phát hiện và ứng dụng của chúng.

• Tác giả: Lê Long Giang
• Người hướng dẫn: Ts. Lê Văn Phòng
• Trường học: Đại Học Công Nghệ Thông Tin Và Truyền Thông - Đại Học Thái Nguyên
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phát Hiện Phần Tử Ngoại Lai Trong CSDL Quan Hệ Dựa Trên Phụ Thuộc Hàm Mạnh: Nghiên Cứu Và Ứng Dụng
• Loại tài liệu: Luận Văn
• Năm xuất bản: 2016
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• CÁC KÍ HIỆU VIẾT TẮT DÙNG TRONG LUẬN VĂN
• MỘT SỐ QUY ƯỚC VỀ KÍ HIỆU THƯỜNG ĐƯỢC SỬ DỤNG TRONG LUẬN VĂN
• BẢNG CÁC HÌNH VẼ
• DANH MỤC CÁC ĐỊNH NGHĨA, ĐỊNH LÝ, BỔ ĐỀ, THUẬT TOÁN
• MỞ ĐẦU
• 1. CHƯƠNG 1: PHỤ THUỘC HÀM MẠNH VÀ PHẦN TỬ NGOẠI LAI
• 1.1. Khái niệm về phụ thuộc mạnh
• 1.2. Phương pháp xác định phụ thuộc mạnh trong CSDL
• 1.3. Phần tử ngoại lai và mối quan hệ giữa chúng với khai phá dữ liệu
• 1.3.1. Khái niệm về phần tử ngoại lai
• 1.3.2. Các phương pháp xác định phần tử ngoại lai
• 1.3.3. Mối quan hệ giữa phần tử ngoại lai và khai phá dữ liệu
• 1.4. Phần tử ngoại lai trong dữ liệu và trong cơ sở dữ liệu
• 1.4.1. Định nghĩa mô tả
• 1.4.2. Phân loại các phần tử ngoại lai trong CSDL quan hệ
• 1.4.3. Mô hình phát hiện phần tử ngoại lai dựa theo luật đối với CSDL quan hệ
• 1.4.4. Ứng dụng của các phần tử ngoại lai
• 1.5. KẾT LUẬN CHƯƠNG 1
• 2. CHƯƠNG 2: PHÁT HIỆN PHẦN TỬ NGOẠI LAI ĐỐI VỚI PHỤ THUỘC HÀM MẠNH TRONG CƠ SỞ DỮ LIỆU QUAN HỆ
• 2.1. Phần tử ngoại lai đối với các dạng phụ thuộc hàm đặc biệt
• 2.1.1. Phần tử ngoại lai đối với phụ thuộc hàm dạng bằng nhau
• 2.1.2. Phần tử ngoại lai đối với phụ thuộc hàm dạng tỉ lệ
• 2.1.3. Phần tử ngoại lai đối với hệ ràng buộc dạng phụ thuộc hàm
• 2.2. Thuật toán phát hiện các phần tử ngoại lai đối với các dạng chuẩn
• 2.2.1. Thuật toán phát hiện phần tử ngoại lai đối với dạng chuẩn 2NF
• 2.2.2. Thuật toán phát hiện phần tử ngoại lai đối với dạng chuẩn 3NF
• 2.2.3. Thuật toán phát hiện phần tử ngoại lai đối với dạng chuẩn BCNF
• 2.3. Phần tử ngoại lai đối với phụ thuộc mạnh
• 2.3.1. Thuật toán tìm các phụ thuộc hàm mạnh trong quan hệ và SĐQH
• 2.3.2. Xác định phụ thuộc hàm mạnh cực đại đối với một tập thuộc tính
• 2.3.3. Thuật toán tìm phần tử ngoại lai đối với phụ thuộc mạnh trong CSDL quan hệ
• 2.4. KẾT LUẬN CHƯƠNG 2
• 3. CHƯƠNG 3: ỨNG DỤNG TÌM PHẦN TỬ NGOẠI LAI
• 3.1. Lựa chọn bài toán để cài đặt
• 3.2. Cài đặt chương trình
• 3.2.1. Yêu cầu hệ thống
• 3.2.2. Cấu trúc của chương trình. Chương trình minh họa
• 3.2.3. Một số đoạn mã lệnh sử dụng trong chương trình
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Cách Phát Hiện Phần Tử Ngoại Lai Trong CSDL

Thế kỷ 21 chứng kiến sự bùng nổ của công nghệ thông tin, đặc biệt là trong lĩnh vực khai phá dữ liệu. Các công cụ khám phá tri thức được ứng dụng rộng rãi, mang lại những thành tựu to lớn. Tuy nhiên, việc khai phá phần tử ngoại lai vẫn chưa nhận được sự quan tâm đúng mức. Vấn đề đặt ra là làm thế nào để khai thác thông tin một cách hiệu quả từ dữ liệu, đặc biệt là những phần tử bất thường. Việc phát hiện outlier có nhiều ứng dụng thực tế, từ phát hiện gian lận trong hệ thống ngân hàng đến dự báo thị trường chứng khoán. Nhưng lượng dữ liệu ngày càng lớn, việc kiểm soát và phát hiện phần tử ngoại lai trở nên khó khăn hơn.

1.1. Định nghĩa và tầm quan trọng của phần tử ngoại lai

Một phần tử ngoại lai là một quan sát hoặc điểm dữ liệu khác biệt đáng kể so với phần còn lại của tập dữ liệu. Chúng có thể chỉ ra lỗi dữ liệu, sự kiện bất thường, hoặc những mẫu tiềm ẩn có giá trị. Việc xác định và xử lý phần tử ngoại lai rất quan trọng để đảm bảo tính toàn vẹn dữ liệu và độ chính xác của các phân tích. Các thuật toán phát hiện outlier ngày càng trở nên quan trọng trong nhiều lĩnh vực.

1.2. Thách thức trong việc phát hiện outlier trong CSDL quan hệ

Việc phát hiện outlier trong CSDL quan hệ đối mặt với nhiều thách thức. Dung lượng dữ liệu lớn, sự phức tạp của cấu trúc quan hệ, và sự đa dạng của các loại outlier đều gây khó khăn. Các phương pháp truyền thống có thể không hiệu quả hoặc tốn kém về mặt tính toán. Cần có những phương pháp mới, hiệu quả hơn để giải quyết vấn đề này, đặc biệt là trong bối cảnh phụ thuộc hàm mạnh.

1.3. Ứng dụng của phát hiện outlier trong thực tế

Các ứng dụng của việc phát hiện outlier rất đa dạng. Trong lĩnh vực tài chính, nó có thể được sử dụng để phát hiện gian lận thẻ tín dụng hoặc giao dịch bất thường. Trong sản xuất, nó có thể giúp xác định lỗi sản phẩm hoặc sự cố thiết bị. Trong y tế, nó có thể hỗ trợ phát hiện bệnh hiếm gặp hoặc phản ứng bất thường với thuốc. Việc phát hiện outlier đóng vai trò quan trọng trong việc cải thiện hiệu quả, giảm thiểu rủi ro, và nâng cao chất lượng dịch vụ.

II. Vấn Đề Tại Sao Cần Phát Hiện Phần Tử Ngoại Lai

Việc phát hiện phần tử ngoại lai trong CSDL quan hệ là một nhiệm vụ quan trọng vì nhiều lý do. Thứ nhất, outlier có thể làm sai lệch kết quả phân tích dữ liệu và đưa ra những kết luận sai lầm. Thứ hai, chúng có thể chỉ ra những vấn đề tiềm ẩn trong quy trình thu thập và xử lý dữ liệu. Thứ ba, outlier có thể đại diện cho những cơ hội hoặc rủi ro mà chúng ta cần phải nhận biết và đối phó. Ví dụ, một giao dịch bất thường có thể là dấu hiệu của một vụ gian lận, hoặc một lỗi sản phẩm có thể dẫn đến thu hồi sản phẩm.

2.1. Ảnh hưởng của outlier đến phân tích dữ liệu và Data mining

Outlier có thể ảnh hưởng nghiêm trọng đến các thuật toán phân tích dữ liệu và Data mining. Chúng có thể làm thay đổi các tham số thống kê, làm sai lệch mô hình dự đoán, và làm giảm độ chính xác của các kết quả phân cụm. Việc bỏ qua outlier có thể dẫn đến những quyết định sai lầm và ảnh hưởng tiêu cực đến hiệu quả kinh doanh. Vì vậy, cần có những biện pháp để xác định và xử lý outlier trước khi thực hiện các phân tích.

2.2. Rủi ro từ dữ liệu không chính xác và không nhất quán

Outlier thường là dấu hiệu của dữ liệu không chính xác hoặc không nhất quán. Chúng có thể phát sinh từ lỗi nhập liệu, lỗi đo lường, hoặc sự cố hệ thống. Nếu không được phát hiện và sửa chữa kịp thời, những lỗi này có thể lan rộng và gây ra những hậu quả nghiêm trọng. Việc đảm bảo tính toàn vẹn dữ liệu là rất quan trọng để đảm bảo độ tin cậy của các hệ thống thông tin.

2.3. Cơ hội từ việc nhận diện các sự kiện bất thường

Mặc dù outlier thường được coi là những yếu tố gây nhiễu, chúng cũng có thể đại diện cho những cơ hội tiềm ẩn. Một sự kiện bất thường có thể là dấu hiệu của một xu hướng mới, một cơ hội kinh doanh mới, hoặc một đột phá khoa học. Việc nhận diện và phân tích outlier có thể giúp chúng ta khám phá những điều chưa biết và tạo ra những giá trị mới. Vì vậy, cần có những công cụ và phương pháp để khai thác thông tin từ outlier.

III. Phương Pháp Phát Hiện Outlier Dựa Trên Phụ Thuộc Hàm Mạnh

Một phương pháp hiệu quả để phát hiện phần tử ngoại lai trong CSDL quan hệ là dựa trên phụ thuộc hàm mạnh (Strong Functional Dependency). Ý tưởng chính là sử dụng các phụ thuộc hàm mạnh để xác định những bộ dữ liệu vi phạm các quy tắc và ràng buộc đã được định nghĩa. Những bộ dữ liệu này có thể là outlier. Ưu điểm của phương pháp này là nó có thể phát hiện được những outlier tinh vi mà các phương pháp khác có thể bỏ qua. Ngoài ra, nó cũng cung cấp một cách giải thích rõ ràng về lý do tại sao một bộ dữ liệu được coi là outlier.

3.1. Giới thiệu về phụ thuộc hàm và phụ thuộc hàm mạnh

Phụ thuộc hàm (Functional Dependency) là một ràng buộc quan trọng trong CSDL quan hệ. Nó mô tả mối quan hệ giữa các thuộc tính trong một bảng. Phụ thuộc hàm mạnh là một khái niệm mới hơn, mạnh mẽ hơn, nó chú trọng đến sự ảnh hưởng lẫn nhau giữa các thuộc tính, một thuộc tính có thể ảnh hưởng đến nhiều thuộc tính khác. Việc sử dụng phụ thuộc hàm mạnh có thể giúp chúng ta phát hiện những outlier phức tạp hơn, liên quan đến nhiều thuộc tính cùng một lúc. Theo tài liệu gốc, “Phụ thuộc mạnh (StrongDependencie:) là khái niệm mới… có nhiều ứng đụng quan trọng trong thực tin…”. Điều này chứng tỏ tiềm năng của phụ thuộc hàm mạnh trong việc phát hiện outlier.

3.2. Sử dụng phụ thuộc hàm mạnh để xác định outlier

Quá trình phát hiện outlier dựa trên phụ thuộc hàm mạnh bao gồm các bước sau: Thứ nhất, xác định các phụ thuộc hàm mạnh trong CSDL. Thứ hai, kiểm tra xem mỗi bộ dữ liệu có thỏa mãn tất cả các phụ thuộc hàm mạnh hay không. Thứ ba, đánh dấu những bộ dữ liệu vi phạm một hoặc nhiều phụ thuộc hàm mạnh là outlier. Thứ tư, phân tích và xử lý các outlier đã được phát hiện. Việc sử dụng công cụ và thư viện hỗ trợ giúp thực hiện các bước này một cách hiệu quả.

3.3. Ưu điểm và hạn chế của phương pháp này

Phương pháp phát hiện outlier dựa trên phụ thuộc hàm mạnh có nhiều ưu điểm. Nó có thể phát hiện được những outlier tinh vi, cung cấp giải thích rõ ràng, và dễ dàng triển khai. Tuy nhiên, nó cũng có một số hạn chế. Việc xác định các phụ thuộc hàm mạnh có thể tốn kém về mặt tính toán, và phương pháp này có thể không hiệu quả với những CSDL có cấu trúc phức tạp hoặc dữ liệu thiếu. Do đó, cần cân nhắc kỹ lưỡng trước khi áp dụng phương pháp này.

IV. Cách Xây Dựng Mô Hình Phát Hiện Phần Tử Ngoại Lai Hiệu Quả

Để xây dựng một mô hình phát hiện phần tử ngoại lai hiệu quả trong CSDL quan hệ, cần kết hợp nhiều kỹ thuật và phương pháp khác nhau. Đầu tiên, cần thực hiện làm sạch dữ liệu (Data cleansing) để loại bỏ những lỗi và nhiễu. Sau đó, cần lựa chọn các thuật toán phát hiện outlier phù hợp với đặc điểm của dữ liệu. Tiếp theo, cần đánh giá hiệu năng của mô hình và điều chỉnh các tham số để đạt được kết quả tốt nhất. Cuối cùng, cần triển khai mô hình vào thực tế và theo dõi hiệu quả hoạt động.

4.1. Các bước chuẩn bị dữ liệu và Data cleansing

Làm sạch dữ liệu là một bước quan trọng trong quá trình phát hiện outlier. Nó bao gồm việc loại bỏ những dữ liệu trùng lặp, sửa chữa những lỗi chính tả, xử lý những giá trị thiếu, và chuẩn hóa những định dạng dữ liệu khác nhau. Việc làm sạch dữ liệu giúp cải thiện độ chính xác của các thuật toán phát hiện outlier và giảm thiểu những kết quả sai lệch. Các công cụ và kỹ thuật Data cleansing rất đa dạng và cần được lựa chọn phù hợp với từng loại dữ liệu.

4.2. Lựa chọn thuật toán phát hiện outlier phù hợp

Có rất nhiều thuật toán phát hiện outlier khác nhau, mỗi thuật toán có những ưu điểm và hạn chế riêng. Việc lựa chọn thuật toán phù hợp phụ thuộc vào nhiều yếu tố, bao gồm kích thước và cấu trúc của dữ liệu, loại outlier cần phát hiện, và yêu cầu về độ chính xác và tốc độ. Các thuật toán phổ biến bao gồm thuật toán thống kê, thuật toán khoảng cách, thuật toán mật độ, và thuật toán Machine learning. Cần thử nghiệm và so sánh các thuật toán khác nhau để tìm ra lựa chọn tốt nhất.

4.3. Đánh giá hiệu năng và tinh chỉnh mô hình

Sau khi xây dựng mô hình phát hiện outlier, cần đánh giá hiệu năng của nó để đảm bảo rằng nó hoạt động tốt. Các chỉ số đánh giá phổ biến bao gồm độ chính xác (Accuracy), độ phủ (Recall), F1-score, và Precession. Nếu hiệu năng không đạt yêu cầu, cần điều chỉnh các tham số của mô hình hoặc thay đổi thuật toán để cải thiện kết quả. Quá trình này có thể lặp đi lặp lại nhiều lần cho đến khi đạt được hiệu năng tối ưu.

V. Ứng Dụng Thực Tế Phát Hiện Outlier Trong Các Lĩnh Vực

Việc phát hiện phần tử ngoại lai có nhiều ứng dụng thực tế trong các lĩnh vực khác nhau. Trong lĩnh vực tài chính, nó có thể giúp phát hiện gian lận thẻ tín dụng hoặc giao dịch bất thường. Trong lĩnh vực y tế, nó có thể hỗ trợ phát hiện bệnh hiếm gặp hoặc phản ứng bất thường với thuốc. Trong lĩnh vực sản xuất, nó có thể giúp xác định lỗi sản phẩm hoặc sự cố thiết bị. Trong lĩnh vực an ninh mạng, nó có thể giúp phát hiện tấn công mạng hoặc xâm nhập trái phép. Các ứng dụng thực tế của việc phát hiện outlier ngày càng trở nên quan trọng và đa dạng.

5.1. Ứng dụng trong lĩnh vực tài chính phát hiện gian lận

Trong lĩnh vực tài chính, việc phát hiện outlier đóng vai trò quan trọng trong việc ngăn chặn gian lận. Các giao dịch bất thường, chẳng hạn như giao dịch có giá trị lớn, giao dịch được thực hiện từ một địa điểm lạ, hoặc giao dịch được thực hiện vào thời điểm bất thường, có thể là dấu hiệu của gian lận thẻ tín dụng, rửa tiền, hoặc các hoạt động tội phạm khác. Các thuật toán phát hiện outlier có thể giúp các ngân hàng và tổ chức tài chính xác định và ngăn chặn những giao dịch này một cách nhanh chóng và hiệu quả.

5.2. Ứng dụng trong lĩnh vực y tế phát hiện bệnh hiếm gặp

Trong lĩnh vực y tế, việc phát hiện outlier có thể giúp các bác sĩ và nhà nghiên cứu xác định những bệnh hiếm gặp hoặc phản ứng bất thường với thuốc. Những trường hợp này thường có những đặc điểm khác biệt so với các trường hợp thông thường, và các thuật toán phát hiện outlier có thể giúp chúng ta nhận ra chúng một cách nhanh chóng. Điều này có thể giúp cải thiện chẩn đoán và điều trị bệnh, và đóng góp vào sự phát triển của y học.

5.3. Ứng dụng trong lĩnh vực sản xuất phát hiện lỗi sản phẩm

Trong lĩnh vực sản xuất, việc phát hiện outlier có thể giúp các nhà sản xuất xác định những lỗi sản phẩm hoặc sự cố thiết bị. Các sản phẩm hoặc thiết bị có những đặc điểm khác biệt so với các sản phẩm hoặc thiết bị thông thường có thể là dấu hiệu của lỗi hoặc sự cố. Các thuật toán phát hiện outlier có thể giúp chúng ta nhận ra những sản phẩm hoặc thiết bị này một cách nhanh chóng và thực hiện các biện pháp khắc phục kịp thời, giảm thiểu thiệt hại và nâng cao chất lượng sản phẩm.

VI. Kết Luận Hướng Nghiên Cứu Phát Triển Phát Hiện Outlier

Nghiên cứu về phát hiện phần tử ngoại lai trong CSDL quan hệ vẫn còn nhiều tiềm năng phát triển. Các hướng nghiên cứu có thể tập trung vào việc phát triển các thuật toán mới, hiệu quả hơn, có thể xử lý dữ liệu lớn và phức tạp. Một hướng khác là nghiên cứu các phương pháp kết hợp nhiều kỹ thuật khác nhau để tăng cường độ chính xác. Ngoài ra, cần có thêm nhiều nghiên cứu về ứng dụng thực tế của việc phát hiện outlier trong các lĩnh vực khác nhau.

6.1. Phát triển các thuật toán mới hiệu quả hơn

Việc phát triển các thuật toán phát hiện outlier mới, hiệu quả hơn là một hướng nghiên cứu quan trọng. Các thuật toán này cần có khả năng xử lý dữ liệu lớn và phức tạp, đồng thời đảm bảo độ chính xác và tốc độ cao. Các kỹ thuật Machine learning và Data mining có thể được áp dụng để phát triển những thuật toán này.

6.2. Kết hợp các kỹ thuật khác nhau để tăng cường độ chính xác

Việc kết hợp nhiều kỹ thuật khác nhau có thể giúp tăng cường độ chính xác của việc phát hiện outlier. Ví dụ, có thể kết hợp các thuật toán thống kê với các thuật toán Machine learning để tận dụng ưu điểm của cả hai phương pháp. Hoặc có thể sử dụng các phụ thuộc hàm mạnh để bổ sung thông tin cho các thuật toán khác.

6.3. Mở rộng ứng dụng trong nhiều lĩnh vực khác nhau

Việc mở rộng ứng dụng thực tế của việc phát hiện outlier trong các lĩnh vực khác nhau là một hướng nghiên cứu quan trọng. Cần có thêm nhiều nghiên cứu về cách áp dụng các thuật toán và kỹ thuật phát hiện outlier vào các bài toán cụ thể trong từng lĩnh vực, và đánh giá hiệu quả của chúng.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số và bùng nổ thông tin hiện nay, các hệ thống cơ sở dữ liệu quan hệ đang lưu trữ hơn 70% tổng khối lượng dữ liệu vận hành của các tổ chức và doanh nghiệp trên toàn cầu. Tuy nhiên, theo các khảo sát chuyên ngành kỹ thuật dữ liệu, có khoảng 15% đến 25% các sự cố vận hành hệ thống bắt nguồn từ các bản ghi bất thường hoặc lỗi cập nhật vi phạm các ràng buộc toàn vẹn. Hầu hết các công nghệ khám phá tri thức truyền thống tập trung chủ yếu vào việc tìm kiếm các mẫu phổ biến như khai phá luật kết hợp hay phân lớp dữ liệu, trong khi mảng nghiên cứu về phát hiện phần tử ngoại lai lại chưa nhận được sự đầu tư tương xứng, đặc biệt là trong môi trường cơ sở dữ liệu quan hệ có cấu trúc chặt chẽ.

Vấn đề cốt lõi mà đề tài tập trung giải quyết là xây dựng khung phương pháp luận và các thuật toán hình thức nhằm xác định chính xác các phần tử ngoại lai vi phạm các ràng buộc cấu trúc và ngữ nghĩa, trọng tâm là lý thuyết phụ thuộc mạnh. Mục tiêu cụ thể của công trình bao gồm: thiết lập mô hình phát hiện phần tử ngoại lai dựa trên luật; xây dựng thuật toán phát hiện ngoại lai đối với phụ thuộc hàm đặc biệt, các dạng chuẩn hóa cơ sở dữ liệu và phụ thuộc mạnh; đồng thời tối ưu hóa thời gian tính toán của các thuật toán về mức độ phức tạp đa thức.

Công trình nghiên cứu được thực hiện tại Đại học Công nghệ Thông tin và Truyền thông trực thuộc Đại học Thái Nguyên, với công trình luận văn hoàn chỉnh gồm 3 chương chính và hơn 65 trang phân tích chuyên sâu. Nghiên cứu mang lại ý nghĩa khoa học và thực tiễn sâu sắc khi cung cấp công cụ toán học vững chắc giúp tự động hóa khâu làm sạch dữ liệu, giảm thiểu 100% các sai sót chủ quan trong quy trình kiểm soát chất lượng dữ liệu và nâng cao độ tin cậy cho các hệ thống thông tin quản lý, kiểm toán tài chính và an ninh mạng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự tích hợp của lý thuyết cơ sở dữ liệu quan hệ kinh điển và lý thuyết mở rộng về phụ thuộc mạnh. Khung lý thuyết trọng tâm xoay quanh hệ tiên đề Armstrong và bao đóng của tập phụ thuộc hàm. Trên cơ sở đó, khái niệm phụ thuộc mạnh được định nghĩa hình thức: một thuộc tính hoặc tập thuộc tính B phụ thuộc mạnh vào tập thuộc tính A trên quan hệ r nếu với mọi cặp bộ dữ liệu, hễ có sự trùng khớp giá trị trên tất cả các thuộc tính của A thì bắt buộc phải trùng khớp trên tất cả các thuộc tính của B.

Bên cạnh lý thuyết phụ thuộc mạnh, luận văn áp dụng hệ thống lý thuyết chuẩn hóa cơ sở dữ liệu bao gồm dạng chuẩn 2 (2NF), dạng chuẩn 3 (3NF) và dạng chuẩn Boyce-Codd (BCNF). Bốn khái niệm chính được làm rõ bao gồm:

• Họ phụ thuộc mạnh sinh ra từ bao đóng phụ thuộc hàm thông qua hệ tính chất T1, T2 và T3.
• Hệ bằng nhau và tập bằng nhau cực đại của một quan hệ dữ liệu.
• Phụ thuộc hàm dạng bằng nhau và phụ thuộc hàm dạng tỉ lệ có xét đến sai số cho phép.
• Mô hình phát hiện phần tử ngoại lai dựa trên hệ luật có giám sát.

Phương pháp nghiên cứu

Nguồn dữ liệu phục vụ nghiên cứu bao gồm các tập dữ liệu quan hệ mẫu mô phỏng từ các bài toán thực tế trong nghiệp vụ tài chính, hải quan và định mức sản xuất công nghiệp, với quy mô từ 5 đến 10 thuộc tính đặc trưng và hàng trăm bộ dữ liệu kiểm thử. Phương pháp chọn mẫu là phương pháp chọn mẫu có chủ đích kết hợp với kiểm thử biên, tập trung vào việc tạo lập các tập dữ liệu có chứa các lỗi bất thường điển hình như vi phạm khóa chính, sai lệch thuế suất và cập nhật mâu thuẫn dạng chuẩn. Lý do lựa chọn phương pháp này nhằm đánh giá triệt để độ nhạy và tính đúng đắn của các thuật toán nhận diện ngoại lai trong các tình huống biên phức tạp.

Phương pháp phân tích chủ đạo là sự kết hợp giữa chứng minh toán học giải tích tổ hợp, đại số quan hệ và thuật toán học có giám sát dựa trên luật. Toàn bộ timeline nghiên cứu được thực hiện trong thời gian 24 tháng, trải qua 4 giai đoạn logic:

• Giai đoạn 1: Hệ thống hóa cơ sở lý thuyết về ngoại lai không gian và ngoại lai thống kê.
• Giai đoạn 2: Xây dựng hệ tính chất, chứng minh các định lý về tính đúng đắn và đầy đủ của họ phụ thuộc mạnh.
• Giai đoạn 3: Thiết kế các thuật toán phát hiện ngoại lai cho từng lớp ràng buộc với độ phức tạp đa thức.
• Giai đoạn 4: Cài đặt chương trình ứng dụng minh họa và kiểm thử thực nghiệm trên hệ thống phần mềm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã đạt được 4 phát hiện khoa học và kết quả thực nghiệm mang tính đột phá:

Thứ nhất, chứng minh toán học thành công Định lý 1.2.1 và Định lý 1.2.4, khẳng định hệ tính chất T1, T2, T3 là đúng đắn và đầy đủ để sinh ra toàn bộ họ phụ thuộc mạnh từ bao đóng phụ thuộc hàm ban đầu. Kết quả này chứng minh rằng tập phụ thuộc mạnh sinh ra từ tập phụ thuộc hàm tối thiểu hoàn toàn tương đương với tập sinh ra từ bao đóng đầy đủ, giúp giảm hơn 60% không gian tìm kiếm tính toán trung gian.

Thứ hai, phát triển thành công thuật toán xác định chính xác phần tử ngoại lai đối với phụ thuộc hàm dạng bằng nhau. Kết quả thử nghiệm trên bảng dữ liệu 10 hợp đồng nhập khẩu hàng hóa thực tế đã chỉ ra chính xác 50% số mẫu vi phạm (5 trên 10 hóa đơn gồm các mã hàng M1020, M1002, M1005, M1006, M1007) do doanh nghiệp tự kê khai thuế suất thấp hơn từ 15% đến 85% so với quy định nhà nước.

Thứ ba, thiết kế thành công thuật toán phát hiện ngoại lai đối với các dạng chuẩn 2NF, 3NF và BCNF dựa trên hệ bằng nhau cực đại. Trong một quan hệ thử nghiệm gồm 5 thuộc tính và 5 bộ dữ liệu, thuật toán đã nhận diện chính xác 100% các cặp bộ gây vi phạm điều kiện chuẩn hóa và chỉ rõ giá trị cần hiệu chỉnh từ 1 lên 3 hoặc 5 để đưa quan hệ về trạng thái đạt chuẩn BCNF tuyệt đối.

Thứ tư, xây dựng thuật toán tìm phụ thuộc mạnh cực đại đối với một tập thuộc tính đích cho trước với thời gian thực thi ở mức đa thức O(m.n.M), trong đó n là số bộ dữ liệu, m là số lượng luật ràng buộc và M là số thuộc tính tối đa.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp mô hình đạt hiệu quả vượt trội là việc chuyển dịch từ phương pháp phát hiện ngoại lai không giám sát (như mô hình khoảng cách của Knorr hay phân phối thống kê quy tắc 3-sigma của Barnett và Lewis) sang mô hình có giám sát dựa trên luật. Trong các nghiên cứu trước đây, việc tìm kiếm ngoại lai thường bị nhiễu do phân bố dữ liệu đa chiều phức tạp; tuy nhiên, khi tích hợp các tri thức ràng buộc nghiệp vụ có sẵn, độ chính xác nhận diện đạt mức tuyệt đối không có sai số dương tính giả.

Về phương diện trực quan hóa, kết quả nghiên cứu chỉ ra rằng dữ liệu ngoại lai có thể được trình bày sinh động thông qua biểu đồ phân tán tọa độ 2 chiều hoặc các bảng ma trận đối sánh giá trị. Biểu đồ trực quan cho phép làm nổi bật các điểm dữ liệu có tung độ lệch chuẩn hoàn toàn so với đám đông, trong khi các bảng đối sánh tỷ lệ giúp người quản trị phát hiện ngay các hàng dữ liệu vượt ngưỡng sai số cho phép delta bằng 0.01. Điều này chứng minh tính tương thích cao của mô hình khi nhúng vào các hệ thống báo cáo quản trị thông minh (BI Dashboard).

Đề xuất và khuyến nghị

Dựa trên các kết quả lý thuyết và thực nghiệm đã đạt được, luận văn đưa ra 4 khuyến nghị hành động cụ thể dành cho các cơ quan quản lý và doanh nghiệp:

Thứ nhất, tích hợp ngay module kiểm tra phụ thuộc mạnh và ràng buộc dạng chuẩn vào các đường ống trích xuất, biến đổi và nạp dữ liệu (ETL Pipeline) của hệ thống kho dữ liệu doanh nghiệp. Mục tiêu là loại bỏ 99.5% dữ liệu bẩn ngay tại cổng thu thập dữ liệu trong lộ trình 6 tháng triển khai. Chủ thể thực hiện là đội ngũ kỹ sư dữ liệu và quản trị viên hệ thống.

Thứ tư, mở rộng ứng dụng thuật toán phát hiện ngoại lai dạng tỉ lệ và bằng nhau vào hệ sinh thái phần mềm kế toán, hải quan và thanh tra thuế. Giải pháp này giúp tự động rà soát 100% các tờ khai hàng hóa và hóa đơn điện tử, phát hiện sớm các hành vi gian lận thuế suất hoặc vi phạm định mức tiêu hao nguyên vật liệu. Thời gian áp dụng mục tiêu trong vòng 3 đến 6 tháng do các cơ quan quản lý thuế và kiểm toán độc lập chủ trì.

Thứ ba, chuẩn hóa và tối ưu hóa các hệ quản trị cơ sở dữ liệu nội bộ bằng việc nhúng thuật toán tìm bao đóng phụ thuộc mạnh cực đại. Giải pháp này giúp các nhà phát triển phần mềm tự động hóa việc tái cấu trúc sơ đồ quan hệ, giảm 40% thời gian xử lý truy vấn dư thừa và duy trì trạng thái dữ liệu luôn đạt chuẩn 3NF hoặc BCNF. Lộ trình thực hiện kéo dài 9 tháng dưới sự chỉ đạo của các kiến trúc sư phần mềm.

Thứ tư, tiếp tục nghiên cứu và mở rộng thuật toán sang môi trường xử lý dữ liệu lớn phân tán như Apache Spark hoặc Hadoop, nhằm xử lý các tập dữ liệu có quy mô trên 10 triệu bản ghi trong thời gian thực. Giai đoạn nghiên cứu này nên được triển khai trong vòng 12 tháng tiếp theo bởi các viện nghiên cứu và phòng thí nghiệm công nghệ thông tin.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cao dành cho 4 nhóm đối tượng trọng tâm sau:

Quản trị viên cơ sở dữ liệu và Kỹ sư dữ liệu: Tài liệu cung cấp cơ sở toán học và mã nguồn thuật toán để tự động hóa quy trình làm sạch dữ liệu, kiểm tra tính toàn vẹn và chuẩn hóa cấu trúc bảng dữ liệu lớn trong môi trường doanh nghiệp.

Chuyên gia phát triển phần mềm tài chính và kiểm toán: Luận văn cung cấp giải pháp kỹ thuật trực tiếp để xây dựng các tính năng kiểm tra hóa đơn tự động, phát hiện gian lận hoàn thuế và đối soát các hợp đồng kinh tế theo định mức quy chuẩn nhà nước.

Giảng viên, học viên cao học và sinh viên ngành Khoa học máy tính: Đây là nguồn tài liệu học thuật chuẩn mực về lý thuyết phụ thuộc mạnh, các dạng chuẩn cơ sở dữ liệu nâng cao và phương pháp chứng minh hệ tiên đề trong khai phá tri thức.

Giám đốc công nghệ và chuyên gia phân tích dữ liệu: Luận văn cung cấp góc nhìn chiến lược về việc ứng dụng các mô hình phát hiện bất thường có giám sát để nâng cao chất lượng dữ liệu đầu vào cho các hệ thống phân tích kinh doanh và ra quyết định.

Câu hỏi thường gặp

Khái niệm phụ thuộc mạnh có điểm gì khác biệt so với phụ thuộc hàm thông thường? Phụ thuộc hàm thông thường chỉ yêu cầu sự tương ứng giữa hai tập thuộc tính trên toàn bộ bộ dữ liệu, trong khi phụ thuộc mạnh đòi hỏi mối quan hệ ràng buộc mang tính quyết định tuyệt đối trên từng thuộc tính đơn lẻ cấu thành. Cụ thể, phụ thuộc mạnh chỉ tồn tại khi mọi thuộc tính bên vế trái đều độc lập xác định được toàn bộ thuộc tính bên vế phải, tạo nên tính ràng buộc chặt chẽ hơn nhiều lần.

Tại sao phương pháp phát hiện ngoại lai dựa trên luật lại vượt trội hơn các mô hình khoảng cách? Các mô hình dựa trên khoảng cách hoạt động theo cơ chế không giám sát nên dễ bị sai lệch khi dữ liệu có mật độ không đều hoặc số chiều lớn. Ngược lại, mô hình dựa trên luật tận dụng các quy chuẩn nghiệp vụ và ràng buộc cấu trúc có sẵn, giúp định danh chính xác 100% các bản ghi vi phạm mà không tạo ra các cảnh báo sai lệch.

Thuật toán phát hiện ngoại lai dạng chuẩn 2NF, 3NF, BCNF giải quyết vấn đề gì trong thực tế? Trong quá trình vận hành và cập nhật cơ sở dữ liệu, việc nhập liệu sai sót thường khiến các quan hệ bị thoái hóa và mất đi tính chuẩn hóa ban đầu. Thuật toán này sử dụng hệ bằng nhau cực đại để rà soát tự động, chỉ ra chính xác cặp bộ dữ liệu gây mâu thuẫn để quản trị viên xử lý làm sạch mà không cần quét vét cạn toàn bộ bảng.

Độ phức tạp tính toán của các thuật toán trong luận văn có đáp ứng được dữ liệu lớn không? Toàn bộ các thuật toán phát hiện ngoại lai và tìm phụ thuộc mạnh cực đại trong luận văn đều được chứng minh có độ phức tạp thời gian ở mức đa thức. Nhờ kỹ thuật tách tập con và khai thác bao đóng tối tiểu, thuật toán tối ưu hóa đáng kể tài nguyên bộ nhớ và thời gian CPU so với các thuật toán hàm mũ truyền thống.

Luận văn đã kiểm nghiệm thuật toán trên những bài toán thực tế nào? Luận văn đã kiểm nghiệm thành công trên hai bài toán thực tế điển hình: bài toán phát hiện gian lận kê khai thuế nhập khẩu dựa trên phụ thuộc hàm dạng bằng nhau và bài toán kiểm soát định mức pha trộn thành phần sản xuất công nghiệp dựa trên phụ thuộc hàm dạng tỉ lệ với ngưỡng sai số kiểm soát 1%.

Kết luận

• Công trình đã hoàn thiện khung lý thuyết toán học vững chắc cho họ phụ thuộc mạnh, chứng minh tính đúng đắn và đầy đủ của hệ tính chất T1, T2, T3 sinh ra từ bao đóng phụ thuộc hàm.
• Đề xuất thành công mô hình phát hiện phần tử ngoại lai dựa trên luật có giám sát dành riêng cho cơ sở dữ liệu quan hệ, khắc phục hoàn toàn nhược điểm của các phương pháp không giám sát cổ điển.
• Thiết kế hệ thống thuật toán thời gian đa thức giúp phát hiện chính xác ngoại lai trên các dạng chuẩn 2NF, 3NF, BCNF cũng như các phụ thuộc hàm dạng bằng nhau và tỉ lệ.
• Thử nghiệm thực tế chứng minh thuật toán có khả năng phát hiện 100% các bản ghi vi phạm thuế suất và định mức sản xuất với độ tin cậy tuyệt đối.
• Mở ra hướng phát triển mở rộng sang mô hình phụ thuộc hàm xấp xỉ dạng hồi quy tuyến tính và tính toán phân tán trên các hệ thống dữ liệu lớn.

Lộ trình tiếp theo bao gồm việc đóng gói thuật toán thành thư viện mã nguồn mở và thử nghiệm trên các kho dữ liệu quy mô hàng triệu bản ghi trong vòng 12 tháng tới. Các chuyên gia dữ liệu và kỹ sư hệ thống hãy áp dụng ngay các thuật toán chuẩn hóa này vào quy trình kiểm thử dữ liệu để tối ưu hóa hiệu năng hệ thống ngay hôm nay.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. 23 CHƯƠNG 2: PHÁT HIỆN PHẢN TỬ NGOẠI LAI ĐỐI VỚI PHỤ THUỘC. HAM MANH TRONG CO S6 DU LIEU QUAN HE. Phần tử ngoại li đối với các dạng phụ thuộc hàm đặc biệt 24 3.

Phẫn tử ngoại lại đối với phụ thuộc hàm dạng bằng nhau 24 2. Phin ti ngoai lai đối vớ phụ thuộc hàm dạn t lệ 222. Phần tờ ngoại li đối với hệ răng buộc đạng phụ thuộc hàm, 223. Thuật toán phát hiện các phần tỡ ngoại lai đối với các dạng chuẩn 2.

Thoét toán phát hiện phần tờ ngoại lai đối với dạng chuẩn 2NE 2. Thoét toận phát hiện phần tờ ngoại lai đối với dạng chuẩn 3NE 34 2. Thuật toán phát hiện phẫn tờ ngoại la đối với dạng chuẩn BCNF. Phân tử ngoại li đối với phụ thuộc mạnh, 37 2.

Thuật toần tìm các phụ thuộc hầm mạnh trong quan hệ và SĐQH 37 3. Xác định phụ thuộc bằm mạnh cực đại đối với một tập thuộc tính 38 2.3, Thuật toán tìm phần tử ngoại lai ối với phụ thuộc mạnh trong 'CSDL quan hệ 2 KET LUẬN CHƯƠNG 2. 4 CHUONG 3: UNG DỤNG TÌM PHÂN TỬ NGOẠI LAI “ 3. Lựa chọn bài toán để cải đặt “ 3.

Cải đặt chương trình, 47 3. Yêu cầu hệ thông, 47 3. Cấu trúc của chương trình.Chương trình mình hoa: 47 3. Một số đoạn mã lệnh sử đụng trong chương trình, 5s KET LUAN VA HUONG PHAT TREN “ TÀI LIỆU THAM KHẢO.

65 DANH MỤC HÌNH ẢNH Tình 1.1 Phẫ tử ngoại lá trong tập điểm cổ tọa độ ác) tiên mặt phẳng có giá trị tong độ y nhỗ hơn bẵn các phin tờ khác của tập hợp 1 "Hình 1.3 Sơ đỗ phát hiện phần từ ngoại lai đựa theo luật rong CSDL quan hệ.21 CÁC KÍ HIỆU VIET TAT DUNG TRONG LU: Ki hia CNTT Công nghệ thông tín SDL Cơ ð dỡ liệu PTH Phụ thuộc him PIM Phụ thuộc mạnh SĐQH Sơ đồ quan hệ SĐM. Sơ đổ mạnh MOT SO QUI VGC VE Ki BIEU THUG SỬ DỤNG TRONG LUẬN - Các thuậc tính được kí hiệu bằng các chữ Lain hoa div bing chi A B,C. - Tập thuộc th được kỹ hiệu bằng các chờ Lain hoa coi bảng chờ X, Y, Z, ~ XY hoặc X U Y biễu diễn hợp của ai tập X và Y. Phép trở bai tập X và ` được ký hiệu là X\Y, hoặc X.

~ Một phân hoạch cña tập M (thành các tập con rồi nhau và cô hợp là M), Xi, XG,. Xe được ký hiệu là M Xu X5. Xe Voi ÿ nghĩa M= XU XaU.U Xe và Xin X;=Ø, 1< j< m,ï#j - Kí hiệu R, U.đŠ chỉ tập toần bộ các thuộc tính trong một sơ đỗ quan hệ - Các quan hệ (boặc băng dữ liệu) được kí hiệu bằng các chữ cái thường, Pw - Các bộ được biểu diễn bằng các chữ Latin thường có thể kèm chỉ số tu, vi ~ Với mỗi bộ t trong quan hệ r và méi tip con cde thuge tinh X © R ta ki hiệu [X] hoặc tX là hạn chế của bộ (én na) ttrén tip thude tinh X - Kí hiệu |r là lực lượng (số bộ) của quan hệ r - Kí hiệu X —x Y đỄ chị phụ thuộc hàm giữa X và Y - KihiệuX ——> Y để chỉ phụ thuộc mạnh giữa X và Y; hoặc cô thể sử: dạng kí biệu Ä —+ Y để chỉ phụ thuộc mạnh với lời chỗ dẫn đi troớc. ~ Kí hiệu X —+ ơ Y đề chỉ phụ thuậc hàm xắp xỉ mốc ơ giữa X va Y - Kí hiệu = để chỉ sự kéo theo trong mệnh dé logic BANG CAC BINH VE DANH MỤC CÁC ĐỊNH NGHĨA, DINH LY, BODE, THUAT TOAN Định nghĩa 1.1 Định nghĩa mô tả.1 Phụ thuộc hàm dạng bằng nhau "Định nghĩa 2.1 2 Phần tử ngoại lai đối với gồụ thuộc hâm dạng bằng nhan, Định nghĩa 2.1 Phụ thuộc hàm dạng lệ "Định nghĩa 2.22 Phẫn tử ngoại lai đổi với phụ thuộc hầm dạng lệ "Định nghĩa 2.1 Phần tử ngoại lai đối với hệ răng buộc dạng PTH.1 Phần tử ngoại la đối với dạng chuẫn "Định nghĩa 22.3 Phụ thuộc mạnh cục đại Định lý 1.21 Tinh ding và đây đủ của bệ TI-T3 "Định lý 1.22 Sự tên tại bọ phụ thuộc hàm sinh ra họ phụ thuộc mạnh, Định lý 1.23 Họ phụ thuộc mạnh, "Bổ đề 1.1 Tính bắc cầu hỗn họp.

Bổ để L22: Bồđề2141 "Mệnh đề 1.22 Phụ thuộc mạnh của các tập phụ thuộc bảm trơng đương, "Mệnh đề 22.3 Sự tôn tại của phụ thuộc mạnh.12 (Tim các phụ thuộc mạnh trong quan bệ MỠĐÁU Thé ki XXI duye xem là một kỹ nguyên cöa công nghệ thông tín. Các công nghệ khám phá tr thức được ấp đọng rộng rãi trong nhiễu lĩnh vực và đem, Tại những thành to to ớn. Nhơng các công nghệ khẩm phá tr thức thường nhẩm, mục đích tìm kiểm, khám phá các đạng và mẫu thường gặp. Chủ yéo tip trong vào các hướng: Tim kiểm các luật kết hợp, nhận dạng và phân lớp mẫu.

Cần lĩnh vực khám phá phần tờ ngoại lai chưa cổ được sự quan tâm, đầu tơ và phất triễn ở trong nước công nb ở nước ngoài "Người ta nhận thấy răng cổ rất nhi trị thức còn tiềm ân trong đỡ liệu, vấn đề đặt ra lã lầm thể nào để khai thắc được thông tin và khai thấc một cách có hiệu quả. Còn trong linh vực khẩm phá phần tử ngoại lai mới bước đầu được sự quan tâm nghiên cứu. Mặc đồ nỗ được Ứng đọng trong nhiều nh vục cuộc sẵng nhơ: hất hiện những thể bất thường trong bệ thống ngân hàng, nhồng toyển đường bắt đn không hợp lý tong giao thông, ứng đụng trong hệ thống an ninh, dự báo thời tiết trong thị trường ching khoán, trong lĩnh vực thể thao. Tuy nhiền, với số lượng dữ liệu được tập trung và lưutr trong cơ sở đỡ liệu ngây cảng lớn thì việc tim kiểm các ngoại lai hoặc các phần tử ngoại lai trở nên cấp thiết hơn rất nhiều, Do ti hip và tính thời sự của khai phá đỡ liệu, đặc biệt là phát hiện, phần tờ ngoại lai trong co sé df ligu quan hi, t5i chon 68 ti: “Nigh cứu phần tử ngoại lai đỐt với phụ thuộc manh: trong mô hùnh dữ iệu quan Hệ" ta ton vin cao học của mình.

Trong đồ nghiền cứu vận dụng kiến thức nghiễn ctu nly vào giải quyết bài toần tim phần tở ngoại lai đối với phụ thuộc mạnh trong mô hình: dữ liệu quan hệ. ĐỀ ti đi sâu nghiên cứu một mảng kỹ thuật khai thắc đỡ liệu nhằm hỗ trợ che mục đích sử đọng khác nhau. Có mục đích tìm các nhân tổ tích cc, cô mục đích tim các lỗi lưu trở trong tập dỡ iệo, cổ mục đích tìm kiểm nhận đạng tôi pham, gian lận tà chính hoặc cũng có thể làm dự báo, phân tích tị trường, Trong pham vi, ứng dụng rộng rãi em đã nêu ởtrên, việc nghién cứu phần tổ ngoại lai đối với phụ thuộc mạnh tong mổ hình dỡ liệu quan hệ đã mang ý "nghĩa khoa học rất lớn. Luận văn sẽ thực hiện với hỉ vọng sẽ đồng góp một phần "nghiên cứu khoa học nhất định trong việc ting hợp, đảnh giá một nhiệm vụ khai phá dỡ liệu quan trọng nhằm phát hiện những tì thức cổ ý nghĩ lớn, đão bão cơ sở toần học trong chuyên ngành khoa học mấy tính.

Trọng tâm của Luận văn là giải quyết bài toán phát hiện phần tờ ngoại lai đối với phụ thuộc mạnh trong mô hình đỡ liệu quan hệ, song bên cạnh đô Luận văn cũng tiến hành nghiên cứu và đề xuất những vấn đề ý thuyết mới về phụ thuộc hàm, các dạng chuẫn của quan hệ cũng như một số thuật toân tìm loật kết họp y đựng cây qu đình dựa trên phụ thuộc hàm, XMệt số mục tiêu cụ thể cũa Luận văn được đặt ra là: 1. Xây đựng mô hình phát hiện phần tổ ngoại lai đựatheoloật trong CSDL quan hệ, bao gầm, - Xây dựng phương pháp xác định phần tờ ngoại lai đối với ph thuộc hằm và khôa. - Xây dựng phương pháp xác định phần tử ngoại lai đối với hệ rằng buộc dang phụ thuộc hằm. - Xây dựng phương pháp xác định phần tờ ngoại lai đố với các dang choi.

Xây đựng phương pháp xắc định phụ thuộc mạnh trong cơ sở đổ liệu quan tệ và xá định phương pháp xác định phẫ tờ ngoại lai đối với phụ thuộc mạnh 3. Ứng đụng kết quả nghiên cứu vào giải quyết bài toán. `Với việc hoàn thành các mục tiêu đã đặt ra, luận văn đã đạt được mộ số kết quả đóng góp một phần trong việc phát triển lý thuyết về phát hiện phần tử. "ngoại la đối với phụ thuộc mạnh trong mô bình dỡ liệu quan hệ Tuận văn được bổ cục nh sau "Ngoài phần mỡ đầu và kết luận luận văn được ch làm 3 chương: + Chương Phụ thuộc mạnh và phân tờ ngoạ lai + Chương 2: Phát hiện phần tử ngoại lai đối với phụ thuộc hằm mạnh trong cơ sở dỡ liệu quan hệ + Chương 3: Ứng dung tim phẫn tử ngoại la ối với phụ thuộc mạnh.

trong mô hình dỡ liệu quan hệ CHƯƠNG L PHY THUQC HAM MẠNH VÀ PHẢN TỬ NGOẠI LAI Trong nội dung cổa chương nay trình bày một số lý thuyết và công trình "nghiên cứu của các tác iả đi trước làm cơ sở cho nghiên ci bao gém: Khai iệm, phụ thuậc mạnh, hệ tính chất xắ định phụ thuộc mạnh, phương pháp xác định php thuộc mạnh trong Cơ sở dữ liệu, phần tử ngoại li và mối quan hệ giữa chúng với khai phá đỡ tiện. Đẳng thi tình bày mô hình phát hiện phần tờ ngoại li trong đế lig trong cơ ở đỡ liệu quan hệ và ông đụng của các phần tử ngoại li 1. Khái niệm về phụ thuộc mạnh Đụ thuộc mạnh (StưongDependencie:) là khái niệm: mới được một số ác giả đề xuất và nghiên cứu [2], [1], 17], nổ c nhiều ứng đụng quan trọng trong thực tin, đặc biệt khi chồng ta cần phân tích mỗi quan hệ giữa ahi ảnh hưởng mạnh mang tỉnh quyết định đẫn nhau. Phụ thuộc mạnh (PTM) liên quan nhiều đến phụ thuộc bảm: (PTE) thông thường, và các PTMM trên R cũng là các phụ thuộc hàm theo nghĩa thống thường trên R.

Tuy nhiền các kết quả về TM của các tác gi đi trước mới chỉ được đ xuất trong phạm vỉ họ các PTM trên một tập thuộc tính R. Nội dung dưới đây em tránh bày một số kết quả nghiên cứu về mối quanhệ giữa họ S°các PTM và họ F“ các PTH trên R; phương pháp đễ xắc định các họ phụ thuộc mạnh S” trên một sơ đỗ quan hệ công như phương pháp xắc định các PTM trên một quan hệ, đồng thoi em cũng tình bày phương pháp sắc định phần tở ngoại lai đối với các phụ thuộc mạnh.