Luận văn: Loại bỏ mẩu tin nhân bản thừa trong CSDL quan hệ

Luận văn thạc sĩ: Nghiên cứu loại bỏ mẩu tin nhân bản thừa trong CSDL quan hệ. Giải pháp tối ưu hóa, tăng hiệu suất và độ tin cậy của dữ liệu.

Chuyên ngành

Công nghệ thông tin

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ

2009

72
2
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CAM ĐOAN

DANH MỤC HÌNH VẼ

DANH MỤC BẢNG

HỆ THỐNG CÁC TỪ VIẾT TẮT

1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT

1.1. CƠ SỞ DỮ LIỆU QUAN HỆ

1.1.1. Khái niệm về CSDL quan hệ

1.1.2. Các phép toán đại số quan hệ

1.2. PHÂN MẢNH CƠ SỞ DỮ LIỆU QUAN HỆ

1.2.1. Khái quát về cơ sở dữ liệu phân tán

1.2.2. Các kiểu phân mảnh cơ sở dữ liệu

1.3. LÝ THUYẾT CHẮC CHẮN

1.3.1. Hệ số chắc chắn dành cho dữ kiện

1.3.2. Hệ số chắc chắc chắn dành cho luật

1.3.3. Các quy tắc tính toán trên CF

1.4. TỔNG KẾT CHƯƠNG 1

2. CHƯƠNG 2: THUẬT TOÁN LOẠI BỎ MẨU TIN NHÂN BẢN THỪA TRONG CSDL QUAN HỆ

2.1. TƯ TƯỞNG CỦA THUẬT TOÁN

2.2. TIÊU CHUẨN THẨM ĐỊNH BẢN GHI NHÂN BẢN THỪA

2.3. NỘI DUNG THUẬT TOÁN

2.3.1. Thuật toán xác định độ chắc chắn lặp cho từng bản ghi

2.3.2. Thuật toán loại bỏ bản ghi nhân bản thừa

2.3.3. Nhận xét thuật toán

2.4. TỔNG KẾT CHƯƠNG 2

3. CHƯƠNG 3: ỨNG DỤNG THUẬT TOÁN

3.1. HỆ THỐNG LOẠI BỎ MẨU TIN NHÂN BẢN THỪA TRONG CSDL QUAN HỆ

3.1.1. Mô tả bài toán

3.1.2. Yêu cầu đặt ra đối với hệ thống

3.1.3. Khả năng giải quyết bài toán

3.2. THIẾT KẾ HỆ THỐNG LOẠI BỎ MẨU TIN NHÂN BẢN THỪA TRONG CSDL QUAN HỆ

3.2.1. Xây dựng các lớp đối tượng

3.2.2. Biểu đồ tuần tự

3.3. KẾT QUẢ ỨNG DỤNG THUẬT TOÁN

3.3.1. Môi trường phát triển

3.3.2. Kết quả thực nghiệm

3.4. TỔNG KẾT CHƯƠNG 3

4. CHƯƠNG 4: KẾT LUẬN & HƯỚNG PHÁT TRIỂN

4.1. Kết quả thu được trong quá trình nghiên cứu đề tài

4.2. Hướng phát triển

TÀI LIỆU THAM KHẢO

MỞ ĐẦU

Tóm tắt

I. Tổng quan về loại bỏ mẩu tin nhân bản thừa trong CSDL

Trong bối cảnh bùng nổ dữ liệu, các cơ sở dữ liệu quan hệ (CSDL quan hệ) đã trở thành nền tảng không thể thiếu cho hầu hết các ứng dụng, từ ngân hàng, thương mại điện tử đến nghiên cứu khoa học. Tuy nhiên, song hành với sự phát triển là sự gia tăng của dữ liệu “bẩn” và dữ liệu dị thường, trong đó vấn đề mẩu tin nhân bản thừa là phổ biến và gây ra nhiều hệ lụy nhất. Những bản ghi này không chỉ làm tăng dung lượng lưu trữ một cách không cần thiết mà còn ảnh hưởng nghiêm trọng đến hiệu suất truy vấn và tính chính xác của các báo cáo phân tích. Theo ước tính, dữ liệu dị thường có thể chiếm tới 5% tổng lượng dữ liệu, một con số đáng báo động có thể làm giảm giá trị của toàn bộ hệ thống. Quá trình làm sạch dữ liệu được ra đời nhằm giải quyết thách thức này, với mục tiêu hàng đầu là xác định và loại bỏ các bản ghi trùng lặp. Đây là một quy trình phức tạp, đòi hỏi sự kết hợp giữa các thuật toán tự động và kiến thức chuyên gia để đảm bảo tính toàn vẹn dữ liệu. Việc hiểu rõ bản chất của CSDL quan hệ và các tác động tiêu cực của dữ liệu nhân bản là bước đầu tiên để xây dựng một chiến lược làm sạch hiệu quả, đảm bảo hệ thống hoạt động ổn định và cung cấp thông tin đáng tin cậy.

1.1. Khái niệm CSDL quan hệ và các loại dữ liệu bẩn

Một cơ sở dữ liệu quan hệ tổ chức dữ liệu dưới dạng các bảng (quan hệ), trong đó mỗi hàng là một bộ (bản ghi) và mỗi cột là một thuộc tính. Theo nguyên tắc, mỗi bộ trong một quan hệ phải là duy nhất, được xác định bởi một siêu khóa (SK). Tuy nhiên, trong thực tế, dữ liệu "bẩn" xuất hiện do nhiều nguyên nhân như lỗi nhập liệu, quá trình tích hợp từ nhiều nguồn khác nhau, hoặc các quy tắc ràng buộc không chặt chẽ. Dữ liệu bẩn bao gồm nhiều dạng: giá trị thiếu, giá trị sai định dạng, và đặc biệt là các mẩu tin nhân bản thừa. Đây là trường hợp nhiều bản ghi khác nhau nhưng lại cùng mô tả một thực thể duy nhất trong thế giới thực. Ví dụ, hai bản ghi khách hàng có thể có mã khác nhau nhưng lại trùng tên, ngày sinh và địa chỉ. Những bản ghi này không vi phạm khóa chính nhưng lại làm sai lệch kết quả thống kê và phân tích.

1.2. Tầm quan trọng của việc làm sạch dữ liệu dị thường

Việc làm sạch dữ liệu không chỉ là một công việc kỹ thuật mà còn mang ý nghĩa chiến lược. Dữ liệu sạch và nhất quán là nền tảng cho việc ra quyết định kinh doanh chính xác. Khi một CSDL quan hệ chứa các bản ghi nhân bản, các truy vấn tổng hợp (ví dụ: đếm số lượng khách hàng) sẽ trả về kết quả sai lệch, dẫn đến những phân tích và dự báo thiếu tin cậy. Luận văn của Cao Thị Nhâm (2009) nhấn mạnh rằng dữ liệu dị thường "tệ hại hơn có thể làm hệ thống phần mềm trở nên vô giá trị". Việc loại bỏ các bản ghi này giúp tối ưu hóa không gian lưu trữ, tăng tốc độ thực thi truy vấn, và quan trọng nhất là đảm bảo tính toàn vẹn và độ tin cậy của thông tin. Một hệ thống với dữ liệu trong sạch sẽ nâng cao hiệu quả hoạt động và tạo ra lợi thế cạnh tranh bền vững.

II. Thách thức khi loại bỏ mẩu tin nhân bản trong CSDL lớn

Quá trình loại bỏ mẩu tin nhân bản thừa trong các CSDL quan hệ quy mô lớn đối mặt với nhiều thách thức phức tạp, vượt xa khả năng của các truy vấn SQL đơn giản. Vấn đề cốt lõi không nằm ở việc tìm các bản ghi giống hệt nhau, mà là nhận diện các bản ghi nhân bản không hoàn toàn – những bản ghi có các biến thể nhỏ về dữ liệu nhưng cùng chỉ về một đối tượng. Các phương pháp truyền thống thường tỏ ra kém hiệu quả trước sự đa dạng của lỗi dữ liệu, chẳng hạn như lỗi chính tả, viết tắt, hay định dạng ngày tháng khác nhau. Hơn nữa, việc xác định một bản ghi có phải là nhân bản hay không thường phụ thuộc vào ngữ cảnh và lĩnh vực cụ thể, đòi hỏi phải có kiến thức chuyên gia. Ví dụ, hai người có cùng tên và ngày sinh có thể là nhân bản trong CSDL nhân viên của một công ty nhỏ, nhưng lại là hai người khác nhau trong CSDL dân cư quốc gia. Do đó, một giải pháp hiệu quả cần kết hợp được sức mạnh tính toán của máy tính và khả năng suy luận tinh vi dựa trên tri thức chuyên ngành để đạt được độ chính xác cao và giảm thiểu rủi ro xóa nhầm dữ liệu quan trọng.

2.1. Nhận diện các bản ghi nhân bản không hoàn toàn

Thách thức lớn nhất trong làm sạch dữ liệu là phát hiện các bản ghi nhân bản không hoàn toàn. Các bản ghi này thường có sự khác biệt nhỏ ở một vài thuộc tính do lỗi đánh máy (ví dụ: "Nguyễn Văn An" và "Nguyen Van An"), sử dụng tên viết tắt, hoặc thông tin không nhất quán (ví dụ: cùng một người nhưng có hai địa chỉ khác nhau). Các toán tử như DISTINCT hay GROUP BY trong SQL chỉ có thể phát hiện các bản ghi trùng lặp tuyệt đối trên các cột được chỉ định. Chúng hoàn toàn thất bại trong việc xác định các trường hợp phức tạp hơn. Việc nhận diện đòi hỏi các thuật toán có khả năng so sánh tương đối, tính toán độ tương đồng giữa các chuỗi ký tự và áp dụng các quy tắc suy luận logic để đưa ra kết luận về khả năng trùng lặp.

2.2. Hạn chế của các phương pháp làm sạch dữ liệu cơ bản

Các phương pháp cơ bản thường dựa vào việc sắp xếp dữ liệu và so sánh các bản ghi liền kề, hoặc sử dụng các hàm băm để tìm kiếm các bản ghi giống nhau. Mặc dù hiệu quả với dữ liệu có cấu trúc tốt và lỗi đơn giản, chúng lại có nhiều hạn chế. Các phương pháp này nhạy cảm với thứ tự dữ liệu và khó mở rộng trên các tập dữ liệu cực lớn. Quan trọng hơn, chúng thiếu khả năng xử lý sự không chắc chắn. Một thuật toán đơn giản không thể quyết định liệu hai bản ghi có độ tương đồng 90% có phải là nhân bản hay không. Quyết định này đòi hỏi một ngưỡng phán đoán linh hoạt và sự tham gia của con người hoặc một hệ thống dựa trên tri thức, điều mà các phương pháp cơ bản không cung cấp được.

2.3. Vai trò của kiến thức chuyên gia trong xử lý dữ liệu

Tài liệu nghiên cứu nhấn mạnh: "Quá trình làm sạch dữ liệu khó có thể thực hiện được nếu không có sự tham gia của các chuyên gia hay các kiến thức chuyên gia". Mỗi lĩnh vực dữ liệu có những quy tắc ngầm riêng. Ví dụ, trong quản lý thông tin bệnh nhân, số chứng minh nhân dân hoặc mã số bảo hiểm y tế là thuộc tính định danh mạnh, trong khi tên và địa chỉ có thể thay đổi. Kiến thức chuyên gia giúp xác định các thuộc tính quan trọng, xây dựng các quy tắc (luật) để đánh giá khả năng nhân bản, và thiết lập các ngưỡng tin cậy hợp lý. Việc tích hợp tri thức này vào hệ thống tự động là chìa khóa để tạo ra một giải pháp làm sạch dữ liệu thông minh và hiệu quả.

III. Phương pháp dùng Lý thuyết chắc chắn để thẩm định bản ghi

Để giải quyết vấn đề không chắc chắn trong việc nhận diện bản ghi nhân bản, nghiên cứu đề xuất một phương pháp tiếp cận đột phá dựa trên Lý thuyết chắc chắn. Thay vì sử dụng xác suất thống kê thuần túy, lý thuyết này cung cấp một khuôn khổ để biểu diễn và tính toán độ tin cậy dựa trên các bằng chứng và suy luận logic, tương tự như cách một chuyên gia con người đưa ra phán đoán. Cốt lõi của phương pháp này là hệ số chắc chắn (Certainty Factor - CF), một giá trị số thể hiện mức độ tin tưởng vào một giả thuyết (ví dụ: "hai bản ghi này là nhân bản"). Bằng cách gán các hệ số chắc chắn cho các quy tắc suy luận do chuyên gia định nghĩa, hệ thống có thể tự động tính toán và kết hợp các bằng chứng từ nhiều thuộc tính khác nhau. Cách tiếp cận này cho phép hệ thống đưa ra quyết định một cách linh hoạt: khẳng định nhân bản, loại trừ nhân bản, hoặc đánh dấu là "nghi ngờ" để con người xác minh. Đây là một bước tiến quan trọng so với các phương pháp nhị phân (có/không) truyền thống, giúp quá trình loại bỏ mẩu tin nhân bản thừa trở nên chính xác và an toàn hơn.

3.1. Giới thiệu về hệ số chắc chắn Certainty Factor CF

Theo Lý thuyết chắc chắn, hệ số chắc chắn (CF) là một đại lượng đo lường mức độ tin cậy, nằm trong khoảng [-1, 1]. Một giá trị CF dương (tiến về +1) thể hiện sự tin tưởng mạnh mẽ rằng một giả thuyết là đúng. Ngược lại, một giá trị CF âm (tiến về -1) cho thấy sự tin tưởng rằng giả thuyết đó là sai. Giá trị CF gần 0 chỉ ra rằng có rất ít bằng chứng để ủng hộ hay phản đối giả thuyết. Trong bài toán làm sạch dữ liệu, CF được dùng để định lượng hóa "độ chắc chắn lặp". Ví dụ, quy tắc "Nếu hai bản ghi có cùng Số CMT" có thể được gán một CF rất cao (ví dụ: 0.99), trong khi quy tắc "Nếu hai bản ghi có cùng Tên" sẽ có CF thấp hơn nhiều (ví dụ: 0.4).

3.2. Quy tắc tính toán CF cho dữ kiện và luật suy luận

Hệ thống sử dụng các quy tắc để kết hợp hệ số chắc chắn từ các điều kiện riêng lẻ. Khi một luật có nhiều điều kiện kết nối bằng toán tử AND, CF tổng hợp của tiền đề sẽ bằng giá trị nhỏ nhất trong các CF của từng điều kiện: CF(A AND B) = Min(CF(A), CF(B)). Đối với toán tử OR, CF tổng hợp sẽ bằng giá trị lớn nhất: CF(A OR B) = Max(CF(A), CF(B)). Khi nhiều luật khác nhau cùng dẫn đến một kết luận, các giá trị CF của chúng được kết hợp lại theo một công thức đặc biệt để tạo ra một độ chắc chắn tổng hợp. Các quy tắc tính toán này cho phép hệ thống mô phỏng quá trình suy luận của con người, tích lũy bằng chứng từ nhiều nguồn để đưa ra một kết luận cuối cùng đáng tin cậy.

IV. Hướng dẫn thuật toán loại bỏ bản ghi nhân bản thừa tối ưu

Dựa trên nền tảng Lý thuyết chắc chắn, luận văn xây dựng một thuật toán loại bỏ mẩu tin nhân bản thừa gồm hai giai đoạn chính: xác định độ chắc chắn lặp và ra quyết định loại bỏ. Thuật toán này không chỉ dựa vào so sánh giá trị mà còn vận dụng khái niệm phân mảnh cơ sở dữ liệu để nhóm các bản ghi có khả năng là nhân bản lại với nhau một cách hiệu quả. Tư tưởng cốt lõi là biến bài toán nhận diện phức tạp thành một quy trình có cấu trúc, nơi mỗi bản ghi được đánh giá thông qua một hệ thống luật và nhận về một điểm số tin cậy. Sau đó, dựa vào các ngưỡng được xác định trước (pm và pM), thuật toán sẽ tự động phân loại các nhóm bản ghi. Cách tiếp cận này giúp tự động hóa phần lớn quy trình làm sạch dữ liệu, đồng thời vẫn giữ lại sự kiểm soát của con người đối với các trường hợp không rõ ràng. Thuật toán được thiết kế để kết thúc sau hữu hạn bước, đảm bảo tính hiệu quả và khả thi khi áp dụng trên các CSDL quan hệ thực tế.

4.1. Tư tưởng thuật toán dựa trên phân mảnh cơ sở dữ liệu

Thuật toán bắt đầu bằng việc áp dụng kỹ thuật phân mảnh ngang trên quan hệ cần xử lý. Thay vì so sánh mọi cặp bản ghi (dẫn đến độ phức tạp tính toán lớn), hệ thống sẽ phân chia toàn bộ bảng thành các mảnh nhỏ hơn. Mỗi mảnh chứa một nhóm các bản ghi có chung giá trị ở một hoặc nhiều thuộc tính khóa tiềm năng (được định nghĩa trong các luật của hệ chuyên gia). Ví dụ, tất cả các bản ghi có cùng "Tên" và "Ngày sinh" sẽ được đưa vào cùng một phân mảnh. Cách tiếp cận này giúp thu hẹp không gian tìm kiếm một cách đáng kể, chỉ tập trung thẩm định các bản ghi nhân bản tiềm năng trong từng nhóm nhỏ, từ đó tăng hiệu suất xử lý.

4.2. Các bước xác định độ chắc chắn lặp cho từng bản ghi

Giai đoạn đầu tiên của thuật toán là xác định "độ chắc chắn lặp" cho mỗi bản ghi. Hệ thống sẽ duyệt qua từng luật do chuyên gia cung cấp. Với mỗi luật, thuật toán thực hiện phân mảnh ngang dựa trên các thuộc tính trong điều kiện của luật đó. Đối với mỗi mảnh ngang có chứa nhiều hơn một bản ghi, tất cả các bản ghi trong mảnh đó sẽ được gán một giá trị hệ số chắc chắn (CF) tương ứng với luật đang xét. Do một bản ghi có thể thỏa mãn nhiều luật, nó có thể nhận được nhiều giá trị CF khác nhau. Kết quả của giai đoạn này là một tập hợp các điểm số chắc chắn, phản ánh mức độ nghi ngờ nhân bản của từng bản ghi dựa trên nhiều khía cạnh khác nhau.

4.3. Quy trình loại bỏ bản ghi dựa trên ngưỡng chắc chắn

Sau khi có các hệ số chắc chắn, thuật toán tiến hành thẩm định. Với mỗi nhóm bản ghi nghi ngờ, các CF riêng lẻ được kết hợp để tính ra một CF tổng hợp. Giá trị này sau đó được so sánh với hai ngưỡng: cận dưới (pm) và cận trên (pM). Nếu CF tổng hợp nhỏ hơn pm, nhóm bản ghi được khẳng định là nhân bản thừa và hệ thống đề xuất giữ lại một bản ghi duy nhất. Nếu CF lớn hơn pM, chúng được coi là không nhân bản. Nếu CF nằm giữa hai ngưỡng này, chúng sẽ được đánh dấu là "nghi ngờ" và ghi ra log file để người dùng trực tiếp xác minh. Quy trình này đảm bảo tính an toàn, tránh xóa dữ liệu tự động khi bằng chứng không đủ mạnh.

V. Ứng dụng thực tiễn Hệ thống EDRS loại bỏ mẩu tin thừa

Để hiện thực hóa thuật toán, một hệ thống mang tên EDRS (Eliminate Duplicate Record System) đã được xây dựng và thử nghiệm. Hệ thống này được thiết kế theo mô hình hệ chuyên gia, một kiến trúc tiên tiến cho phép tách biệt rõ ràng giữa cơ sở tri thức (các luật) và bộ máy suy luận. Trung tâm của EDRS là thành phần Rule Engine, chịu trách nhiệm đọc, phân tích và cung cấp các quy tắc nghiệp vụ cho quá trình xử lý. Kiến trúc này mang lại sự linh hoạt cao, cho phép người dùng dễ dàng tùy chỉnh và bổ sung các luật mới mà không cần can thiệp vào mã nguồn của chương trình. Luồng xử lý của hệ thống được tổ chức một cách khoa học, từ giai đoạn tiền xử lý, sao lưu dữ liệu, đến giai đoạn xử lý chính và cuối cùng là xác minh bởi người dùng. Kết quả thử nghiệm trên các tập dữ liệu thực tế cho thấy hệ thống hoạt động hiệu quả, có khả năng phát hiện chính xác các mẩu tin nhân bản thừa và hỗ trợ đắc lực cho người dùng trong công cuộc làm sạch dữ liệu.

5.1. Mô hình kiến trúc hệ chuyên gia và thành phần Rule Engine

Hệ thống EDRS được xây dựng với ba thành phần chính: Giao diện người dùng, Thành phần loại bỏ nhân bản (Deduplicate), và Thành phần xử lý luật (Rule Engine). Điểm nổi bật của kiến trúc này là Rule Engine hoạt động như một tầng độc lập, lưu trữ cơ sở tri thức dưới dạng các file XML. Điều này cho phép các chuyên gia có thể định nghĩa và cập nhật các luật (ví dụ: <condition>StudentName AND DateBirth</condition> <action>0.3</action>) một cách dễ dàng. Mô hình hệ chuyên gia này không chỉ giải quyết bài toán cho một bảng dữ liệu cụ thể mà còn có khả năng tái sử dụng và mở rộng cho nhiều bài toán làm sạch dữ liệu khác nhau trong cùng một lĩnh vực.

5.2. Luồng xử lý của hệ thống từ tiền xử lý đến xác minh

Luồng xử lý của EDRS diễn ra theo các bước chặt chẽ. Đầu tiên là giai đoạn tùy chọn Pre-processing, nơi hệ thống tạo một bản sao lưu (backup) của bảng dữ liệu để đảm bảo an toàn. Tiếp theo, trong giai đoạn Processing, hệ thống sử dụng Rule Engine để đọc luật, áp dụng thuật toán tính toán hệ số chắc chắn cho từng bản ghi, và phân loại chúng thành ba nhóm: nhân bản, nghi ngờ nhân bản, và bình thường. Cuối cùng, ở giai đoạn Verifying, hệ thống hiển thị các nhóm bản ghi được xác định là nhân bản hoặc nghi ngờ để người dùng xác minh. Người dùng có toàn quyền quyết định cuối cùng về việc xóa bản ghi nào, biến EDRS thành một hệ thống bán tự động mạnh mẽ và an toàn.

5.3. Đánh giá kết quả thực nghiệm và hiệu quả của thuật toán

Luận văn đã tiến hành kiểm thử hệ thống EDRS trên một quan hệ có số lượng bản ghi từ 50 đến 300. Kết quả thực nghiệm cho thấy thuật toán và hệ thống đã hoạt động đúng như thiết kế. Hệ thống đã dò tìm thành công các nhóm bản ghi nhân bảndữ liệu dị thường dựa trên các luật được cung cấp. Khả năng phân loại các trường hợp "nghi ngờ" giúp giảm thiểu rủi ro và tăng cường sự tin cậy của quá trình làm sạch. Mặc dù quy mô thử nghiệm còn hạn chế, các kết quả ban đầu đã khẳng định tính đúng đắn và hiệu quả của việc áp dụng Lý thuyết chắc chắn và mô hình hệ chuyên gia vào bài toán loại bỏ mẩu tin nhân bản thừa trong CSDL quan hệ.

VI. Kết luận và hướng phát triển cho công nghệ làm sạch dữ liệu

Nghiên cứu về loại bỏ mẩu tin nhân bản thừa trong CSDL quan hệ đã đạt được những kết quả quan trọng, đóng góp một phương pháp luận mới và hiệu quả. Bằng cách kết hợp phân mảnh cơ sở dữ liệuLý thuyết chắc chắn, thuật toán đề xuất đã giải quyết thành công bài toán nhận diện các bản ghi nhân bản không hoàn toàn trong môi trường không chắc chắn. Việc xây dựng hệ thống EDRS dựa trên mô hình hệ chuyên gia cũng chứng minh tính thực tiễn và khả năng mở rộng của giải pháp. Tuy nhiên, lĩnh vực làm sạch dữ liệu vẫn còn nhiều tiềm năng để phát triển. Các nghiên cứu trong tương lai có thể tập trung vào việc tối ưu hóa hiệu năng thuật toán trên các tập dữ liệu lớn (Big Data), tự động hóa việc học các quy tắc từ dữ liệu thay vì phụ thuộc hoàn toàn vào chuyên gia, và mở rộng phương pháp để xử lý không chỉ một quan hệ đơn lẻ mà toàn bộ một cơ sở dữ liệu quan hệ phức tạp với nhiều mối liên kết. Những hướng đi này hứa hẹn sẽ mang lại các công cụ làm sạch dữ liệu ngày càng thông minh và mạnh mẽ hơn.

6.1. Tóm tắt những kết quả đạt được của phương pháp mới

Nghiên cứu đã thành công trong việc xây dựng một thuật toán loại bỏ mẩu tin thừa cho một quan hệ dựa trên Lý thuyết chắc chắn, một cách tiếp cận mới mẻ so với các phương pháp truyền thống. Đóng góp chính là việc định hình một tiêu chuẩn thẩm định linh hoạt thông qua hệ số chắc chắn và các ngưỡng quyết định. Bên cạnh đó, việc thiết kế và cài đặt hệ thống EDRS đã chứng minh tính khả thi của thuật toán trong thực tế. Kết quả này không chỉ giải quyết được vấn đề đặt ra mà còn mở ra một hướng tiếp cận hữu ích cho các bài toán tương tự liên quan đến chất lượng dữ liệu và xử lý thông tin không chắc chắn.

6.2. Hướng nghiên cứu nâng cao cho CSDL quan hệ quy mô lớn

Hướng phát triển của đề tài rất rộng mở. Một trong những hướng đi quan trọng là nâng cấp thuật toán để có thể xử lý đồng thời trên nhiều quan hệ, thậm chí là toàn bộ một CSDL quan hệ. Điều này đòi hỏi phải xem xét các ràng buộc khóa ngoại và các mối liên kết phức tạp giữa các bảng. Một hướng khác là nghiên cứu các kỹ thuật học máy (Machine Learning) để tự động sinh ra các luật và hệ số chắc chắn từ chính dữ liệu, giảm sự phụ thuộc vào kiến thức chuyên gia. Ngoài ra, việc tối ưu hóa thuật toán để hoạt động hiệu quả trên các hệ thống cơ sở dữ liệu phân tán và các kho dữ liệu lớn cũng là một thách thức đầy hứa hẹn cho các nghiên cứu tiếp theo.

24/09/2025

Trích đoạn nội dung tài liệu

Chương 1 CƠ SỞ LÝ THUYẾT 1.1 CƠ SỞ DỮ LIỆU QUAN HỆ Các cơ sở dữ liệu và các hệ quản trị cơ sở dữ liệu đã trở thành một thành phần chủ yếu trong cuộc sống hàng ngày của xã hội hiện đại. Trong vòng một ngày con người có thể có nhiều hoạt động cần có sự giao tiếp với cơ sở dữ liệu như: đến ngân hàng để rút tiền và gửi tiền, đăng ký chỗ trên máy bay hoặc khách sạn, truy cập vào thư viện đã tin học hoá để tìm sách báo, đặt mua tạp chí ở một nhà xuất bản… Tại các ngân hàng, các cửa hàng, người ta cũng cập nhật tự động việc quản lý tiền bạc, hàng hoá. Tất cả các giao tiếp như trên được gọi là các ứng dụng của cơ sở dữ liệu truyền thống. Trong các cơ sở dữ liệu truyền thống, hầu hết các thông tin được lưu giữ và truy cập là văn bản hoặc số.

Những năm gần đây, những tiến bộ về kỹ thuật đã đưa đến những ứng dụng mới của cơ sở dữ liệu. Các cơ sở dữ liệu đa phương tiện bây giờ có thể lưu trữ hình ảnh, phim và tiếng nói. Các hệ thống thông tin địa lý có thể lưu trữ và phân tích các bản đồ, các dữ liệu về thời tiết và các ảnh vệ tinh. Kho dữ liệu và các hệ thống phân tích trực tuyến được sử dụng trong nhiều công ty để lấy ra và phân tích những thông tin có lợi từ các cơ sở dữ liệu rất lớn nhằm đưa ra các quyết định.

Các kỹ thuật cơ sở dữ liệu động và thời gian thực được sử dụng trong việc kiểm tra các tiến trình công nghiệp và sản xuất. Các kỹ thuật tìm kiếm cơ sở dữ liệu đang được áp dụng cho World Wide Web để cung cấp việc tìm kiếm các thông tin cần thiết cho người sử dụng bằng cách duyệt qua Internet. Để hiểu được các cơ sở kỹ thuật của cơ sở dữ liệu chúng ta phải bắt đầu từ những khái niệm cơ bản về cơ sở dữ liệu. Mục đích của chương này là định nghĩa cơ sở dữ liệu quan hệ, các phép toán trên cơ sở dữ liệu quan hệ và cơ sở dữ liệu phân tán.1 Khái niệm về CSDL quan hệ Trong cơ sở dữ liệu quan hệ, dữ liệu được lưu trữ dưới dạng các bảng, gọi là các quan hệ.

Mỗi một dòng trong bảng biểu thị một sự kiện tương ứng với một thực thể TIEU LUAN MOI download : skknchat@gmail.com 13 hoặc một liên kết của thế giới thực. Tên bảng và tên cột dùng để giải thích ý nghĩa của các giá trị trong mỗi hàng. Mọi giá trị trong cùng một cột có cùng một kiểu dữ liệu. Theo thuật ngữ mô hình quan hệ hình thức, mỗi hàng được gọi là một bộ, mỗi cột được gọi là thuộc tính và bảng được gọi là một quan hệ.

Số lượng các thuộc tính có trong một quan hệ gọi là mức(grade), số lượng các bộ gọi là lực lượng(cardinality) của quan hệ đó. Để hiểu rõ hơn các khái niệm nêu trên chúng ta xét ví dụ sau đây: Bảng 1-1 biểu diễn quan hệ EMP (NHÂN VIÊN) gồm 4 thuộc tính: EMPNUM (Mã số nhân viên), NAME (Tên nhân viên), AGE (Tuổi), DEPTNUM (Mã số phòng ban) và 5 bộ, ví dụ (18, Mary, 31, 1) là một bộ. Quan hệ này có 4 thuộc tính do vậy mức của quan hệ này là 4 và lực lượng của quan hệ này là 5. EMPNUM NAME AGE DEPTNUM 3 Jones 23 1 7 Smith 45 2 11 Bob 18 1 15 Jane 27 3 18 Mary 31 1 Bảng 1-1 Quan hệ EMP Một lược đồ quan hệ được tạo nên từ tên một quan hệ và danh sách các thuộc tính của nó, kí hiêu một lược đồ quan hệ như sau: <Tên quan hệ>(<danh sách các thuộc tính>).

Ví dụ: EMP(EMPNUM, NAME, AGE, DEPTNUM) là lược đồ quan hệ của quan hệ EMP ở trên. Tập hợp các giá trị có thể có của một thuộc tính gọi là miền của thuộc tính. Ví dụ, EMPNUM lấy giá trị từ miền mã số nhân viên, là các số nguyên dương, AGE có miền giá trị từ tuổi, giá trị từ 0 tới 100. Có thể tồn tại những giá trị giống nhau giữa hai miền nhưng về bản chất nó thuộc về hai miền hoàn toàn khác nhau, do vậy không thể so sánh các giá trị của những miền khác nhau.

Ví dụ, thật vô nghĩa khi so sánh tuổi với mã số nhân viên. TIEU LUAN MOI download : skknchat@gmail.com 14 Một số khía cạnh quan trọng định nghĩa cơ sở dữ liệu quan hệ: 9 Không bao giờ có hai bản ghi giống hệt nhau trong một quan hệ. 9 Không có quy định về thứ tự các bản ghi trong một quan hệ. Một quan hệ được định nghĩa như một tập hợp các bộ.

Các phần tử trong một tập hợp không có thứ tự, vì vậy các bộ trong một quan hệ không có một thứ tự cụ thể. Trong thực tế, không phải tất cả hệ quản trị cơ sở dữ liệu quan hệ nào cũng tuân thủ chặt chẽ quy định này. Vì vậy, trong một số hệ quan trị cở sở dữ liệu vẫn tồn tại các bản ghi nhân bản và vẫn đưa ra một thứ tự sắp xếp ngầm nào đó để thuận tiện trong quá trình xử lý. Người ta cũng đưa ra một định nghĩa khác về quan hệ dựa trên khái niệm về miền.

Trong định nghĩa này, người ta cho tập hợp các miền D1, D2,…, Dn có gán thứ tự ưu tiên, quan hệ mức n của các miền này là tập con của tích Đề Các của chúng. Chính xác hơn, quan hệ R là tập hợp các bản ghi có thứ tự (d1, d2,…, dn) trong đó d1 thuộc miền D1, d2 thuộc miền D2,…, dn thuộc miền Dn. Định nghĩa này rất hữu dụng trong việc phân tích các tính chất của mô hình quan hệ và đại số. Trong tài liệu này, chúng ta coi thứ tự các cột trong một quan hệ là không quan trọng.

Điều này có nghĩa chúng ta coi quan hệ là ánh xạ từ tập tên của các thuộc tính tới tập giá trị tương ứng. Vì vậy, quan hệ EMP1 dưới đây cũng giống quan hệ EMP ở hình 1-1. EMPNUM AGE DEPTNUM NAME 3 23 1 Jones 7 45 2 Smith 11 18 1 Bob 15 27 3 Jane 18 31 1 Mary Bảng 1-2 Quan hệ EMP1 TIEU LUAN MOI download : skknchat@gmail.1 Khóa Một quan hệ được định nghĩa như một tập hợp các bộ. Theo định nghĩa, các phần tử của một tập hợp là khác nhau, vì vậy, mọi bộ trong một quan hệ phải khác nhau.

Điều đó có nghĩa là không có hai bộ có cùng một tổ hợp giá trị cho tất cả các thuộc tính của chúng. Thông thường, tồn tại tập con của các thuộc tính của một quan hệ có tính chất: không có hai bộ nào có cùng một tổ hợp giá trị cho các thuộc tính của nó. Giả sử chúng ta ký hiệu tập con như vậy là SK, khi đó với hai bộ khác nhau bất t1 và t2 trong quan hệ R chúng ta có ràng buộc là t1[SK] # t2[SK]. Tập hợp SK như vậy gọi là siêu khóa của lược đồ quan hệ R.

Mỗi quan hệ có ít nhất một siêu khóa mặc định, đó là tập hợp tất cả các thuộc tính của nó. Một khóa K của lược đồ quan hệ R là một siêu khóa của R với tính chất nếu bỏ đi bất kì thuộc tính nào ra khỏi K thì sẽ còn lại một tập K không phải là siêu khóa của R. Như vậy, một khóa là một siêu khóa tối thiểu, nghĩa là đó là một siêu khóa mà ta không thể vứt bỏ thuộc tính nào rời khỏi nó mà vẫn giữ được ràng buộc về tính duy nhất. Tính chất quan trọng của khóa là duy nhất về mặt ngữ nghĩa, chúng ta không coi một thuộc tính là khóa chỉ vì nó thỉnh thoảng mới định danh cho một bản ghi nào đó.

Trong bảng 1-1, EMPNUM(mã số nhân viên) là khóa của quan hệ EMP, bởi vì không có hai bộ nhân viên có cùng một giá trị cho EMPNUM(mã số nhân viên). Mọi tập hợp thuộc tính có chứa EMPNUM(mã số nhân viên), ví dụ {EMPNUM, AGE}, đều là một siêu khóa. Tuy nhiên, siêu khóa {EMPNUM, AGE} không phải là khóa vì nếu bỏ thuộc tính AGE đi thì nó vẫn còn là một siêu khóa. Một khóa được xác định từ ý nghĩa của thuộc tính và tính chất là bất biến, tính chất đó phải thỏa mãn khi chúng ta chèn một bộ mới vào quan hệ.

Ví dụ: chúng ta không thể và không được chỉ định thuộc tính NAME(Tên nhân viên) làm khóa vì không có gì đảm bảo rằng không tồn tại hai nhân viên có cùng họ tên. Nói chung, một lược đồ quan hệ có thể có nhiều hơn một khóa. Trong trường hợp đó, mỗi khóa được gọi là một khóa dự tuyển. Thông thường ta phải chỉ định một trong TIEU LUAN MOI download : skknchat@gmail.com 16 các khóa dự tuyển làm khóa chính của quan hệ.

Khóa chính là một khóa dự tuyển mà các giá trị của chúng được dùng để xác định các bộ trong quan hệ. Chú ý rằng, khi một lược đồ quan hệ có nhiều khóa dự tuyển thì việc lựa chọn khóa chính là tùy ý, tuy nhiên tốt nhất là chọn khóa chính gồm một thuộc tính hoặc có số thuộc tính ít nhất.2 Các phép toán đại số quan hệ Ngoài việc định nghĩa cấu trúc cơ sở dữ liệu và các ràng buộc, một mô hình dữ liệu phải chứa một tập hợp các phép toán để thao tác dữ liệu. Tập hợp cơ sở các phép toán mô hình quan hệ tạo nên đại số quan hệ. Các phép toán này giúp cho người sử dụng xác định rõ yêu cầu lấy tin cơ bản.

Kết quả của phép lấy tin là một quan hệ mới, có thể được tạo ra từ một hoặc nhiều quan hệ. Các phép toán quan hệ đại số chia làm hai nhóm. Một nhóm bao gồm các phép toán tập hợp lấy từ lý thuyết tập hợp toán học. Các phép toán đó là phép hợp, phép giao, phép trừ tập hợp và phép tích Đề Các.

Nhóm kia bao gồm những phép toán được xây dựng đặc biệt cho các cơ sở dữ liệu quan hệ. Các phép toán đó là phép chiếu, phép chọn, phép nối và một số phép khác.1 Phép chọn Phép chọn được sử dụng để chọn ra một tập hợp các bộ thỏa mãn điều kiện chọn từ một quan hệ. Ta có thể xem phép chọn như bộ lọc, nó chỉ giữ lại những bộ thỏa mãn điều kiện đặt ra. Phép chọn được kí hiệu như sau: σ< điều kiện chọn>( R) Trong đó σ được dùng để kí hiệu phép chọn, <điều kiện chọn> là một biểu thức logic được chỉ ra trên các thuộc tính của R.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ