Luận Văn Thạc Sĩ Về Kết Hợp Học Quan Hệ và Học Thống Kê cho Phân Lớp Dữ Liệu Đa Quan Hệ

Luận văn thạc sĩ kỹ thuật nghiên cứu vnu uet kết hợp học quan hệ và học thống kê cho phân lớp dữ liệu đa quan hệ luận văn ths công nghệ, khảo sát thực trạng, phân tích nguyên

Trường đại học

Đại học Công nghệ, ĐHQGHN

Chuyên ngành

Công nghệ thông tin

Người đăng

Ẩn danh

Thể loại

luận văn

2007

89
3
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

LỜI CAM ĐOAN

1. CHƯƠNG 1: PHÂN LỚP DỮ LIỆU ĐA QUAN HỆ

1.1. Bài toán phân lớp

1.2. Các phương pháp phân lớp

1.3. Dữ liệu đa quan hệ (multi-relational data)

1.4. Mẫu quan hệ

1.5. Mẫu dữ liệu quan hệ và mẫu dữ liệu phẳng

1.6. Các cách tiếp cận phân lớp dữ liệu đa quan hệ

1.7. Kết luận

2. CHƯƠNG 2: LẬP TRÌNH LOGIC QUY NẠP

2.1. Lập trình logic quy nạp

2.2. Lập trình logic

3. CHƯƠNG 3: KẾT HỢP FOIL VÀ HỌC THỐNG KÊ

3.1. Mô hình Naïve Bayes và các mở rộng

3.2. Kết hợp FOIL và mô hình xác suất

3.3. Kết hợp FOIL và mô hình Naïve Bayes

3.4. Kết hợp FOIL và BN Augmented Naïve Bayes

3.5. Sử dụng ước lượng m (m-estimate)

4. CHƯƠNG 4: THỰC NGHIỆM VÀ KẾT QUẢ

4.1. Nguồn dữ liệu

4.2. Sinh dữ liệu huấn luyện

4.3. Thực nghiệm và kết quả

4.4. Kết quả so sánh các hệ thống nFOIL, nFOIL_m và bFOIL

4.5. Kết quả thực nghiệm với bài toán phân lớp dữ liệu trong cơ sở dữ liệu GeoLib

4.6. Đánh giá kết quả thực nghiệm

4.7. Về kết hợp FOIL và mô hình BAN

4.8. Về đề xuất sử dụng ước lượng m

4.9. Về áp dụng kỹ thuật kết hợp FOIL và học thống kê cho bài toán phân lớp dữ liệu trong cơ sở dữ liệu GeoLib

BẢNG THUẬT NGỮ ANH VIỆT

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Kết Hợp Học Quan Hệ và Thống Kê trong Phân Lớp Dữ Liệu Đa Quan Hệ

Kết hợp giữa học quan hệthống kê trong phân lớp dữ liệu đa quan hệ đang trở thành một xu hướng quan trọng trong lĩnh vực khai thác dữ liệu. Phân lớp dữ liệu đa quan hệ không chỉ giúp cải thiện độ chính xác mà còn tối ưu hóa quy trình xử lý thông tin. Việc áp dụng các phương pháp học máy hiện đại vào các cơ sở dữ liệu phức tạp mang lại nhiều lợi ích cho các nhà nghiên cứu và doanh nghiệp.

1.1. Định nghĩa và Ý nghĩa của Dữ Liệu Đa Quan Hệ

Dữ liệu đa quan hệ (multi-relational data) là loại dữ liệu được lưu trữ trong các cơ sở dữ liệu có nhiều bảng liên kết với nhau. Điều này cho phép khai thác thông tin phong phú hơn so với dữ liệu phẳng. Việc hiểu rõ về cấu trúc này là rất quan trọng để áp dụng các phương pháp phân lớp hiệu quả.

1.2. Tại sao Kết Hợp Học Quan Hệ và Thống Kê là Cần Thiết

Kết hợp giữa học quan hệthống kê giúp giải quyết các vấn đề phức tạp trong phân lớp dữ liệu. Các phương pháp này không chỉ cải thiện độ chính xác mà còn giảm thiểu rủi ro mất mát thông tin trong quá trình xử lý dữ liệu.

II. Thách Thức trong Phân Lớp Dữ Liệu Đa Quan Hệ

Phân lớp dữ liệu đa quan hệ đối mặt với nhiều thách thức, bao gồm việc xử lý dữ liệu lớn và phức tạp. Các thuật toán truyền thống thường không hiệu quả khi áp dụng cho dữ liệu đa quan hệ, dẫn đến việc cần phát triển các phương pháp mới. Những thách thức này bao gồm độ chính xác, tốc độ xử lý và khả năng hiểu được của mô hình.

2.1. Độ Chính Xác và Tốc Độ Xử Lý

Độ chính xác trong phân lớp dữ liệu đa quan hệ thường bị ảnh hưởng bởi sự phức tạp của dữ liệu. Tốc độ xử lý cũng là một yếu tố quan trọng, đặc biệt trong các ứng dụng yêu cầu thời gian thực.

2.2. Khó Khăn trong Việc Tích Hợp Dữ Liệu

Việc tích hợp dữ liệu từ nhiều nguồn khác nhau có thể dẫn đến mất mát thông tin. Các phương pháp truyền thống thường không đủ mạnh để xử lý các mối quan hệ phức tạp giữa các bảng dữ liệu.

III. Phương Pháp Kết Hợp Học Quan Hệ và Thống Kê

Có nhiều phương pháp kết hợp học quan hệ và thống kê trong phân lớp dữ liệu đa quan hệ. Một trong những phương pháp nổi bật là lập trình logic quy nạp (ILP), cho phép tìm kiếm các mẫu quan hệ trong không gian dữ liệu lớn. Các mô hình như Naïve Bayes cũng được áp dụng để cải thiện độ chính xác của phân lớp.

3.1. Lập Trình Logic Quy Nạp ILP

ILP là một phương pháp mạnh mẽ trong việc tìm kiếm các mẫu quan hệ. Nó cho phép xây dựng các giả thuyết từ dữ liệu và áp dụng chúng vào các bài toán phân lớp phức tạp.

3.2. Mô Hình Naïve Bayes và Các Mở Rộng

Mô hình Naïve Bayes là một trong những mô hình thống kê phổ biến nhất trong phân lớp. Các mở rộng của nó giúp cải thiện khả năng phân loại trong các tình huống phức tạp hơn.

IV. Ứng Dụng Thực Tiễn của Kết Hợp Học Quan Hệ và Thống Kê

Kết hợp học quan hệ và thống kê đã được áp dụng thành công trong nhiều lĩnh vực, từ y tế đến thương mại. Các ứng dụng này không chỉ giúp cải thiện độ chính xác mà còn tối ưu hóa quy trình ra quyết định. Việc áp dụng các phương pháp này vào các bài toán thực tế đã chứng minh được hiệu quả của chúng.

4.1. Ứng Dụng trong Y Tế

Trong lĩnh vực y tế, việc phân lớp dữ liệu giúp chẩn đoán bệnh chính xác hơn. Các mô hình học máy có thể phân tích dữ liệu bệnh nhân để đưa ra các dự đoán về tình trạng sức khỏe.

4.2. Ứng Dụng trong Thương Mại

Trong thương mại, phân lớp dữ liệu giúp phân loại khách hàng và tối ưu hóa chiến lược tiếp thị. Việc hiểu rõ hành vi của khách hàng giúp doanh nghiệp đưa ra các quyết định chính xác hơn.

V. Kết Luận và Tương Lai của Kết Hợp Học Quan Hệ và Thống Kê

Kết hợp học quan hệ và thống kê trong phân lớp dữ liệu đa quan hệ đang mở ra nhiều cơ hội mới cho nghiên cứu và ứng dụng. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều tiến bộ với sự phát triển của công nghệ và các phương pháp mới. Việc tiếp tục nghiên cứu và phát triển các phương pháp này sẽ giúp giải quyết các bài toán phức tạp hơn trong tương lai.

5.1. Xu Hướng Nghiên Cứu Tương Lai

Các xu hướng nghiên cứu trong tương lai sẽ tập trung vào việc cải thiện độ chính xác và tốc độ của các mô hình phân lớp. Sự phát triển của trí tuệ nhân tạo cũng sẽ đóng vai trò quan trọng trong việc này.

5.2. Tác Động đến Các Ngành Công Nghiệp

Kết hợp học quan hệ và thống kê sẽ có tác động lớn đến nhiều ngành công nghiệp, từ y tế đến tài chính. Việc áp dụng các phương pháp này sẽ giúp cải thiện hiệu quả và độ chính xác trong các quyết định kinh doanh.

22/07/2025
Luận văn thạc sĩ vnu uet kết hợp học quan hệ và học thống kê cho phân lớp dữ liệu đa quan hệ luận văn ths công nghệ thông tin 1 01 10

Trích đoạn nội dung tài liệu

chương 1 Hạng tử (term): hằng, biến hay biểu thức hàm. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 18 trình logic.1 mô tả một số khái niệm tương đương trong cơ sở dữ liệu và lập trình logic. Khái niệm cơ sở dữ liệu Khái niệm lập trình logic tên quan hệ p ký hiệu vị từ p thuộc tính của quan hệ p đối số của vị từ p Bản ghi <a1, a2, … an> tri thức nền p(a1, a2, … an) quan hệ p là một tập các bản ghi vị từ p được định nghĩa mở rộng bởi một tập tri thức nền Bảng 2. Các thuật ngữ cơ sở dữ liệu và lập trình logic tương đương Các khái niệm khác trong học quy nạp (inductive concept learning) [18]: Định nghĩa 2.

Cho tri thức nền B, một giả thuyết H và tập mẫu E. Một mệnh đề c H được gọi là phủ (coverage) mẫu e  E trên tập tri thức nền B nếu c  B ⊨ e. Theo đó, một mệnh đề c được gọi là phủ một vùng trong không gian mẫu nếu như nó phủ tất cả các mẫu có thể thuộc vùng đó. Cho tri thức nền B, một giả thuyết H và tập mẫu E.

Giả thuyết H được gọi là phủ mẫu e  E đối với tri thức nền B nếu B  H ⊨ e, hay covers(B, H, e) = true nếu B  H ⊨ e Định nghĩa 2. Cho tri thức nền B, một giả thuyết H và tập mẫu E. Một hàm phủ của giả thuyết H đối với tri thức nền B trên tập E được định nghĩa bởi covers(B, H, E)={e E |B  H ⊨e } Định nghĩa 2. Một giả thuyết H được gọi là toàn vẹn đối với một tập mẫu E và tri thức nền B nếu như nó phủ hết tất cả các mẫu khẳng định trong E, hay covers(B, H, E+) = E+.

Một giả thuyết H được gọi là nhất quán đối với tập mẫu E và tri thức nền B nếu như nó không phủ một mẫu phủ định nào, covers(B, H, E-) =  LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Lập trình logic quy nạp Tri thức nền (background knowledge) đóng một vai trò quan trọng trong học quan hệ khi nhiệm vụ được đặt ra là phải tìm từ các mẫu đã cho một quan hệ chưa biết hay quan hệ cần suy diễn theo ngữ nghĩa dựa trên các quan hệ có được từ tri thức nền. Nếu như ngôn ngữ được sử dụng trong học quan hệ là ngôn ngữ của lập trình logic thì quá trình học được gọi là lập trình logic quy nạp [42,43; 18]. Trong các hệ thống ILP, tập mẫu huấn luyện, tập tri thức nền và giả thuyết quy nạp cần học đều được biểu diễn dưới dạng chương trình logic.

Ví dụ một hệ thống ILP có thể học các luật về quan hệ con gái (quan hệ mục tiêu) dựa vào một tập các mẫu khẳng định và phủ định về quan hệ con gái và một tập các sự kiện (fact) - tri thức nền về các quan hệ khác như quan hệ cha mẹ, giới tính của các thành viên trong một gia đình xác định như sau : Ví dụ 2.1 Tập mẫu huấn luyện khẳng định: daughter(mary,ann) daughter(eve,tom) Tập mẫu huấn luyện phủ định: daughter(tom,ann) daughter(eve,ann) Tri thức nền Parent(ann, mary) Parent(ann, tom) Parent(tom, eve) Parent(tom, ian) Female(ann) Female(mary) Female(eve) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 20 ann mary tom eve ian Hình 2. Mô tả tri thức nền trong ví dụ về gia đình Luật có thể được học: Daughter(x,y)  female(x), parent(y, x) Một định nghĩa cơ bản của ILP có thể được mô tả như sau ([18], [42], [43]): Cho:  Tập mẫu huấn luyện E bao gồm tập mẫu khẳng định E+ và tập mẫu phủ định E- là các tri thức về vị từ p (quan hệ đích p)  Một ngôn ngữ L mô tả các giới hạn hình thức trên định nghĩa của vị từ p  Tập tri thức nền B định nghĩa các vị từ qi (khác p) mà có thể sử dụng trong việc mô tả p Cần tìm:  Một giả thuyết H cho p, được biểu diễn trong L, thỏa mãn tính toàn vẹn và nhất quán với tập mẫu E trên tri thức nền B - e  E+: H U B ⊨ e (toàn vẹn) - e  E-: H U B ⊭ e (nhất quán) LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Tìm kiếm trong không gian giả thuyết 2. Xây dựng không gian giả thuyết Trong không gian mệnh đề, số lượng mẫu cần tìm kiếm là lớn và trong trường hợp không gian mẫu quan hệ, số lượng mẫu còn lớn hơn nhiều và điều cần thiết là phải giới hạn không gian tìm kiếm mẫu bằng việc cung cấp các thông tin giới hạn.

Các thông tin giới hạn này sẽ miêu tả chi tiết các quan hệ nào liên quan đến mẫu, các quan hệ làm thế nào để kết nối với nhau, cú pháp mà mẫu phải tuân theo… Và các thông tin đặc tả này thường được biết đến dưới thuật ngữ “declarative bias”. Một giới hạn ngôn ngữ L (language bias) giới hạn các dạng của mệnh đề có thể được xây dựng dựa trên các điều kiện của vị từ , hàm hay các hằng ngôn ngữ. Để giới hạn không gian tìm kiếm, L trong mỗi một hệ thống ILP có thể là một vài dạng giới hạn của chương trình logic như chỉ chứa các mệnh đề không chứa biểu thức hàm (function-free program clause) như trong FOIL [51]. Để tìm kiếm trong không gian mệnh đề một cách hiệu quả, cần chỉ ra được cấu trúc của không gian, ví dụ trên một thứ tự nào đó.

Sau đây là 2 định nghĩa quan trọng trong việc xây dựng cấu trúc không gian tìm kiếm. (Substitution) [37] Một phép thế θ = {X1 / t1, ………., Xk / tk } là sự thay thế các biến bởi các hạng tử. Kết quả của một phép thế θ trên một hạng tử, atom hay mệnh đề là một hạng tử, atom hay mệnh đề Fθ nhận được bởi thay thế tất cả các biến Xi bởi các hạng tử ti. (θ-subsumption) [37] Cho c và c’ là hai mệnh đề chương trình.

Mệnh đề c được gọi là bao hàm-θ c’ (θ-subsume) nếu tồn tại một phép thế θ, thỏa mãn cθ  c’. Hai mệnh đề c và d được gọi là “θ-subsumption” tương đương nếu c bao hàm-θ d và d bao hàm-θ c. Một mệnh đề được gọi là tối thiểu nếu nó không thể θ subsumption tương đương bất kỳ tập con nào của nó. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2 Cho c là mệnh đề c = daughter(X,Y)  parent(Y,X) Với một phép thế θ = {X/mary, Y/ann} áp dụng trên c bằng cách áp dụng θ trên các literal: cθ = daughter(mary, ann)  parent(ann, mary) Ví dụ 2.1, mệnh đề c trong ví dụ 2.2 có thể được xem như một tập mệnh đề {daughter(X,Y), parent(Y,X)} Theo đó, một mệnh đề c bao hàm-θ c’ nếu như có một phép thế θ có thể áp dụng trên c sao cho mọi literal xuất hiện trong mệnh đề kết quả đều xuất hiện trong c’.

Ví dụ mệnh đề c bao hàm-θ mệnh đề c’ với c’ = daughter(X,Y)  parent(Y,X), female(X) dưới phép thế θ =  vì tập {daughter(X,Y), parent(Y,X)} là một tập con của {daughter(X,Y), parent(Y,X), female(X)} hay mệnh đề c bao hàm-θ mệnh đề c’’ với c’’=daughter(mary,ann)female(mary),parent(ann, mary) dưới phép thế θ = {X/mary, Y/ann} Định nghĩa 2. [18] Mệnh đề c được gọi là tổng quát ít nhất như mệnh đề c’ (c <= c’) nếu c bao hàm-θ c’. Mệnh đề c được gọi là tổng quát hơn c’ (c < c’) nếu c <= c’ và không có c’ <= c. Trong trường hợp c < c’, ta nói c’ là một đặc biệt hóa (specialization/ refinement) của c và c gọi là một tổng quát hóa của c’ [18].

Và mệnh đề đặc biệt hóa thường được xem xét bởi một hệ thống ILP là mệnh đề đặc biệt hóa nhỏ nhất (tổng quát nhất) của một mệnh đề cho trước. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 23 Có hai đặc tính quan trọng của θ- subsumption  Nếu c bao hàm-θ c’ thì c thỏa c’ , c ⊨ c’. Chiều ngược lại không phải lúc nào cũng đúng.  Quan hệ <= giới thiệu một dàn (lattice) trên tập các mệnh đề tối thiểu.

Điều này có nghĩa với bất kỳ hai mệnh đề có ít nhất một biên trên nhỏ nhất (least upper bound - lub) và một biên dưới lớn nhất (greatest lower bound-glb). Cả lub và glb đều là duy nhất trên các tương đương của θ- subsumption. Mệnh đề tối thiểu là biểu diễn nhỏ nhất trong lớp các mệnh đề tương đương được định nghĩa bởi θ- subsumption. Ví dụ: mệnh đề daughter((X,Y)  parent(Y,X) , parent (W,V) và mệnh đề daughter(X,Y)  parent(Y,X) là bao hàm-θ lẫn nhau và theo đó nó tương đương.

Trong đó mệnh đề sau là tối thiểu, mệnh đề trước không là tối thiểu. Đặc tính thứ hai của θ- subsumption dẫn đến định nghĩa Định nghĩa 2.12 (least general generalization) [18] Tổng quát hóa tối thiểu của 2 mệnh đề tối thiểu c và c’, được ký hiệu bởi lgg(c, c’) là biên trên nhỏ nhất của c và c’ trong mặt θ- subsumption. Mệnh đề c được gọi là tổng quát ít nhất như c’ trên tập lý thuyết nền B nếu B U {c} ⊨ c’. Trong ILP khái niệm θ-subsumption là rất quan trọng với các lý do sau:  Cung cấp một phương pháp cơ bản để sắp thứ tự cho các giả thuyết, theo đó xây dựng cấu trúc cho không gian giả thuyết  Có thể được sử dụng nhằm cắt xén trong không gian tìm kiếm - Khi khái quát hóa (tổng quát hóa) c thành c’, c’ < c, mọi mẫu huấn luyện được giải thích/phủ bởi c sẽ được giải thích bởi c’ (vì nếu có B U {c} ⊨ e thì cũng có B U {c’} ⊨ e).

Đặc tính này được sử dụng để cắt bớt không gian tìm kiếm khi e là một mẫu huấn luyện phủ định: nếu c là không nhất quán (có phủ một mẫu huấn luyện) thì tất cả các LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 24 tổng quát hóa của nó cũng sẽ là không nhất quán. Theo đó, việc xây dựng các tổng quát hóa của c là không cần thiết. - Khi đặc biệt hóa c thành c’, c < c’, một mẫu không được phủ bởi c sẽ không được phủ bởi bất kỳ một đặc biệt hóa nào của c. Đặc tính này được sử dụng nhằm cắt xén các mệnh đề đặc biệt hóa của một mệnh đề khi mệnh đề đó không phủ một mẫu huấn luyện khẳng định – nếu một mệnh đề không phủ một mẫu khẳng định thì mọi đặc biệt hóa của nó cũng sẽ không phủ mẫu đó.

Và việc xây dựng các đặc biệt hóa là không cần thiết. Khái niệm θ-subsumption cũng là cơ sở cho hai kỹ thuật tìm kiếm trong ILP:  Kỹ thuật tìm kiếm từ dưới lên.  Kỹ thuật tìm kiếm từ trên xuống.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ