Khám Phá Dữ Liệu Tại Trường Đại Học CNTT Và Truyền Thông Thái Nguyên

Chuyên khảo phân tích Luận văn khai phá dữ liệu văn bản bằng lý thuyết tập thô, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Trường học: Đại học CNTT và Truyền thông Thái Nguyên
• Đề tài: Khám Phá Dữ Liệu Tại Trường Đại Học CNTT Và Truyền Thông Thái Nguyên
• Loại tài liệu: luận văn
• Năm xuất bản: 2011
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• DANH MỤC CHỮ VIẾT TẮT
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VĂN BẢN VÀ LÝ THUYẾT TẬP THÔ
• 1.1. Khai phá dữ liệu văn bản
• 1.2. Lịch sử nghiên cứu
• 1.3. Quy trình của DM
• 2. CHƯƠNG 2: MỘT SỐ KHÁI NIỆM
• 2.1. Khái niệm quan hệ không phân biệt trong hệ thống tin
• 2.2. Sự rời rạc hóa dữ liệu theo các tập thô
• 2.3. Lựa chọn thuộc tính dựa trên tập thô
• 2.4. Khám phá luật với bảng phân bố tổng dựa trên tập thô
• 3. CHƯƠNG 3: MỘT SỐ PHƯƠNG PHÁP KHAI PHÁ DỮ LIỆU TRONG XỬ LÝ VĂN BẢN
• 3.1. Mô hình dựa trên tập mờ (Fuzzy Set)
• 3.2. Mô hình tập thô dung sai (Tolerance Rough Set Model-TRSM)
• 3.3. Thuật toán theo cây phân cấp từ dưới lên (Bottom Up Hierarchical clustering)
• 3.4. Giải thuật lập nhóm Non Hierarchical clustering Overlap
• 3.5. Giải thuật lập nhóm Non Hierarchical clustering Non Overlap
• 4. CHƯƠNG 4: PHÂN LOẠI VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ ÁP DỤNG LÝ THUYẾT TẬP THÔ
• 4.1. Kiến trúc hệ thống phân loại văn bản tiếng Việt tự động
• 4.2. Xây dựng tập văn bản dùng cho huấn luyện
• 4.3. Xây dựng hệ thống phân loại văn bản tiếng Việt theo chủ đề
• 4.4. Danh sách các từ dùng, từ tầm thường

Tóm tắt

I. Tổng Quan Về Khám Phá Dữ Liệu Tại ICTU Thái Nguyên

Trong bối cảnh bùng nổ thông tin hiện nay, việc khám phá dữ liệu trở nên vô cùng quan trọng. Các tổ chức, doanh nghiệp cần khai thác thông tin tiềm ẩn trong khối lượng dữ liệu khổng lồ để đưa ra quyết định chính xác và hiệu quả. Đại học CNTT và Truyền thông Thái Nguyên (ICTU) đóng vai trò quan trọng trong việc đào tạo nguồn nhân lực và nghiên cứu khoa học về lĩnh vực này. ICTU cung cấp các chương trình đào tạo từ cơ bản đến nâng cao, giúp sinh viên nắm vững kiến thức và kỹ năng cần thiết để làm việc trong lĩnh vực khoa học dữ liệu. Các nghiên cứu tại ICTU tập trung vào việc ứng dụng các thuật toán khai phá dữ liệu để giải quyết các bài toán thực tế trong nhiều lĩnh vực khác nhau.

1.1. Giới thiệu chung về ngành Khoa Học Dữ Liệu ICTU

Ngành Khoa học dữ liệu ICTU trang bị cho sinh viên kiến thức nền tảng về toán học, thống kê, và lập trình. Sinh viên được học về các công cụ khai phá dữ liệu phổ biến như Python, R, và các thư viện liên quan. Chương trình đào tạo cũng chú trọng đến việc phát triển kỹ năng phân tích, trực quan hóa dữ liệu, và giao tiếp hiệu quả. Ngoài ra, sinh viên còn được tham gia vào các dự án khai phá dữ liệu thực tế, giúp họ áp dụng kiến thức đã học vào giải quyết các vấn đề cụ thể. Điều này giúp sinh viên có được kinh nghiệm thực tế và sẵn sàng làm việc sau khi tốt nghiệp.

1.2. Tầm quan trọng của Khai Phá Dữ Liệu trong kỷ nguyên số

Trong kỷ nguyên số, dữ liệu được tạo ra với tốc độ chóng mặt. Khai phá dữ liệu giúp chúng ta biến dữ liệu thô thành thông tin có giá trị. Các doanh nghiệp sử dụng phân tích dữ liệu lớn để hiểu rõ hơn về khách hàng, tối ưu hóa hoạt động, và đưa ra các quyết định chiến lược. Các tổ chức chính phủ sử dụng khai phá dữ liệu mỏ để phát hiện gian lận, cải thiện dịch vụ công, và dự đoán các xu hướng xã hội. Tầm quan trọng của khai phá dữ liệu ngày càng tăng lên khi dữ liệu trở thành một nguồn tài nguyên quan trọng của xã hội.

II. Thách Thức Trong Khai Phá Dữ Liệu Tại ICTU Thái Nguyên

Mặc dù có nhiều tiềm năng, việc khai phá dữ liệu tại ICTU Thái Nguyên cũng đối mặt với không ít thách thức. Một trong những thách thức lớn nhất là nguồn dữ liệu chất lượng cao còn hạn chế. Dữ liệu thường bị thiếu, nhiễu, hoặc không đầy đủ, gây khó khăn cho việc phân tích và khai thác. Bên cạnh đó, việc thiếu hụt nguồn nhân lực có trình độ cao về khoa học dữ liệu cũng là một vấn đề đáng quan tâm. ICTU cần đầu tư hơn nữa vào việc nâng cao chất lượng đào tạo và thu hút các chuyên gia hàng đầu về phân tích dữ liệu lớn. Ngoài ra, việc hợp tác với các doanh nghiệp và tổ chức nghiên cứu khác cũng là một yếu tố quan trọng để giải quyết các thách thức này.

2.1. Vấn đề chất lượng dữ liệu và khả năng tiếp cận dữ liệu

Chất lượng dữ liệu là yếu tố then chốt để đảm bảo tính chính xác và tin cậy của kết quả khai phá dữ liệu. Dữ liệu thiếu, không nhất quán, hoặc chứa nhiều lỗi có thể dẫn đến các kết luận sai lệch. ICTU cần xây dựng các quy trình kiểm soát chất lượng dữ liệu chặt chẽ và đảm bảo rằng sinh viên và giảng viên có thể tiếp cận được các nguồn dữ liệu chất lượng cao. Việc hợp tác với các doanh nghiệp và tổ chức khác có thể giúp ICTU tiếp cận được các nguồn dữ liệu phong phú và đa dạng hơn.

2.2. Thiếu hụt nguồn nhân lực chất lượng cao về Data Science

Nguồn nhân lực chất lượng cao là yếu tố quyết định sự thành công của bất kỳ lĩnh vực nào. ICTU cần đầu tư vào việc nâng cao chất lượng đào tạo và thu hút các chuyên gia hàng đầu về Data Science. Điều này có thể được thực hiện thông qua việc cải tiến chương trình đào tạo, tăng cường hợp tác quốc tế, và cung cấp các học bổng khai phá dữ liệu hấp dẫn. Ngoài ra, ICTU cũng cần tạo ra một môi trường làm việc khuyến khích sự sáng tạo và đổi mới để thu hút và giữ chân các tài năng trẻ.

2.3. Hạn chế về cơ sở vật chất và hạ tầng công nghệ

Cơ sở vật chất và hạ tầng công nghệ đóng vai trò quan trọng trong việc hỗ trợ các hoạt động nghiên cứu và đào tạo về khai phá dữ liệu. ICTU cần đầu tư vào việc nâng cấp các phòng thí nghiệm, trang bị các máy tính cấu hình cao, và xây dựng các hệ thống lưu trữ và xử lý dữ liệu lớn. Việc sử dụng các công cụ khai phá dữ liệu hiện đại cũng là một yếu tố quan trọng để nâng cao hiệu quả nghiên cứu và đào tạo.

III. Giải Pháp Nâng Cao Hiệu Quả Khai Phá Dữ Liệu Tại ICTU

Để nâng cao hiệu quả khai phá dữ liệu tại ICTU Thái Nguyên, cần có các giải pháp đồng bộ và toàn diện. Trước hết, cần tăng cường hợp tác giữa ICTU với các doanh nghiệp và tổ chức nghiên cứu trong và ngoài nước. Sự hợp tác này sẽ giúp ICTU tiếp cận được các nguồn dữ liệu phong phú, các công nghệ tiên tiến, và các chuyên gia hàng đầu. Bên cạnh đó, ICTU cần đầu tư vào việc phát triển các chương trình đào tạo chất lượng cao về khoa học dữ liệu, chú trọng đến việc trang bị cho sinh viên các kỹ năng thực hành và kinh nghiệm làm việc thực tế. Ngoài ra, việc xây dựng một cộng đồng khai phá dữ liệu mạnh mẽ tại ICTU cũng là một yếu tố quan trọng để thúc đẩy sự phát triển của lĩnh vực này.

3.1. Tăng cường hợp tác với doanh nghiệp và tổ chức nghiên cứu

Hợp tác với doanh nghiệp và tổ chức nghiên cứu là một trong những giải pháp quan trọng nhất để nâng cao hiệu quả khai phá dữ liệu tại ICTU. Sự hợp tác này sẽ giúp ICTU tiếp cận được các nguồn dữ liệu phong phú, các công nghệ tiên tiến, và các chuyên gia hàng đầu. ICTU có thể hợp tác với các doanh nghiệp để thực hiện các dự án khai phá dữ liệu thực tế, giúp sinh viên có được kinh nghiệm làm việc thực tế và giải quyết các vấn đề cụ thể. Ngoài ra, ICTU cũng có thể hợp tác với các tổ chức nghiên cứu để thực hiện các nghiên cứu khoa học về khai phá dữ liệu, góp phần vào sự phát triển của lĩnh vực này.

3.2. Phát triển chương trình đào tạo Data Science chất lượng cao

Chương trình đào tạo Data Science chất lượng cao là yếu tố then chốt để đào tạo ra nguồn nhân lực có trình độ cao về khai phá dữ liệu. ICTU cần xây dựng một chương trình đào tạo toàn diện, trang bị cho sinh viên kiến thức nền tảng về toán học, thống kê, và lập trình, cũng như các kỹ năng thực hành về phân tích dữ liệu lớn, học máy (Machine Learning), và trí tuệ nhân tạo (AI). Chương trình đào tạo cũng cần chú trọng đến việc phát triển kỹ năng giao tiếp, làm việc nhóm, và giải quyết vấn đề cho sinh viên.

3.3. Xây dựng cộng đồng Khai Phá Dữ Liệu mạnh mẽ tại ICTU

Cộng đồng khai phá dữ liệu mạnh mẽ là một yếu tố quan trọng để thúc đẩy sự phát triển của lĩnh vực này tại ICTU. ICTU có thể tổ chức các hội thảo, workshop, và cuộc thi về khai phá dữ liệu để tạo ra một sân chơi cho sinh viên và giảng viên giao lưu, học hỏi, và chia sẻ kinh nghiệm. Ngoài ra, ICTU cũng có thể thành lập các câu lạc bộ Data Science để tạo ra một môi trường học tập và nghiên cứu sôi động.

IV. Ứng Dụng Thực Tế Khai Phá Dữ Liệu Tại ICTU Thái Nguyên

Các nghiên cứu về khai phá dữ liệu tại ICTU Thái Nguyên đã được ứng dụng vào nhiều lĩnh vực khác nhau, mang lại những kết quả đáng khích lệ. Trong lĩnh vực giáo dục, phân tích dữ liệu giáo dục giúp ICTU hiểu rõ hơn về quá trình học tập của sinh viên, từ đó đưa ra các giải pháp cải thiện chất lượng giảng dạy và học tập. Trong lĩnh vực kinh tế, phân tích dữ liệu kinh doanh giúp các doanh nghiệp địa phương đưa ra các quyết định kinh doanh chính xác và hiệu quả hơn. Trong lĩnh vực y tế, phân tích dữ liệu y tế giúp các bệnh viện cải thiện chất lượng dịch vụ và chăm sóc sức khỏe cho người dân.

4.1. Ứng dụng trong phân tích dữ liệu giáo dục tại ICTU

Phân tích dữ liệu giáo dục là một lĩnh vực ứng dụng quan trọng của khai phá dữ liệu tại ICTU. Các nhà nghiên cứu sử dụng các thuật toán khai phá dữ liệu để phân tích dữ liệu về quá trình học tập của sinh viên, từ đó đưa ra các giải pháp cải thiện chất lượng giảng dạy và học tập. Ví dụ, phân tích dữ liệu có thể giúp xác định các yếu tố ảnh hưởng đến kết quả học tập của sinh viên, hoặc dự đoán khả năng thành công của sinh viên trong các khóa học khác nhau.

4.2. Ứng dụng trong phân tích dữ liệu kinh doanh cho doanh nghiệp

Phân tích dữ liệu kinh doanh là một lĩnh vực ứng dụng tiềm năng của khai phá dữ liệu tại ICTU. Các nhà nghiên cứu có thể hợp tác với các doanh nghiệp địa phương để phân tích dữ liệu về khách hàng, thị trường, và đối thủ cạnh tranh, từ đó giúp các doanh nghiệp đưa ra các quyết định kinh doanh chính xác và hiệu quả hơn. Ví dụ, phân tích dữ liệu có thể giúp doanh nghiệp xác định các phân khúc khách hàng tiềm năng, hoặc dự đoán nhu cầu của thị trường.

4.3. Ứng dụng trong phân tích dữ liệu y tế và chăm sóc sức khỏe

Phân tích dữ liệu y tế là một lĩnh vực ứng dụng đầy hứa hẹn của khai phá dữ liệu tại ICTU. Các nhà nghiên cứu có thể hợp tác với các bệnh viện và trung tâm y tế để phân tích dữ liệu về bệnh nhân, bệnh tật, và phương pháp điều trị, từ đó giúp cải thiện chất lượng dịch vụ và chăm sóc sức khỏe cho người dân. Ví dụ, phân tích dữ liệu có thể giúp dự đoán nguy cơ mắc bệnh của bệnh nhân, hoặc xác định các phương pháp điều trị hiệu quả nhất.

V. Cơ Hội Việc Làm và Phát Triển Sự Nghiệp Khai Phá Dữ Liệu

Sinh viên tốt nghiệp ngành Khoa học dữ liệu ICTU có rất nhiều cơ hội việc làm và phát triển sự nghiệp trong lĩnh vực khai phá dữ liệu. Các công ty công nghệ, các tổ chức tài chính, các bệnh viện, và các cơ quan chính phủ đều đang tìm kiếm các chuyên gia phân tích dữ liệu lớn để giúp họ khai thác thông tin từ dữ liệu. Sinh viên có thể làm việc với vai trò là nhà phân tích dữ liệu, kỹ sư dữ liệu, nhà khoa học dữ liệu, hoặc chuyên gia tư vấn về Data Science. Mức lương và cơ hội thăng tiến trong lĩnh vực này cũng rất hấp dẫn.

5.1. Các vị trí công việc phổ biến trong lĩnh vực Data Science

Có rất nhiều vị trí công việc khác nhau trong lĩnh vực Data Science, phù hợp với các kỹ năng và kinh nghiệm khác nhau. Một số vị trí công việc phổ biến bao gồm: nhà phân tích dữ liệu, kỹ sư dữ liệu, nhà khoa học dữ liệu, chuyên gia tư vấn về Data Science, và quản lý dự án khai phá dữ liệu. Mỗi vị trí công việc có những yêu cầu và trách nhiệm riêng, nhưng tất cả đều đòi hỏi kiến thức và kỹ năng về khai phá dữ liệu.

5.2. Kỹ năng cần thiết để thành công trong ngành Khai Phá Dữ Liệu

Để thành công trong ngành khai phá dữ liệu, cần có một loạt các kỹ năng, bao gồm: kiến thức về toán học và thống kê, kỹ năng lập trình (Python, R, SQL), kỹ năng phân tích dữ liệu lớn, kỹ năng học máy (Machine Learning), kỹ năng giao tiếp, và kỹ năng làm việc nhóm. Ngoài ra, cũng cần có khả năng tư duy phản biện, giải quyết vấn đề, và học hỏi liên tục.

5.3. Triển vọng nghề nghiệp và mức lương trong ngành Data Science

Triển vọng nghề nghiệp trong ngành Data Science là rất tươi sáng. Nhu cầu về các chuyên gia khai phá dữ liệu đang tăng lên nhanh chóng, và dự kiến sẽ tiếp tục tăng trong những năm tới. Mức lương trong ngành này cũng rất hấp dẫn, đặc biệt là đối với những người có kinh nghiệm và kỹ năng cao. Sinh viên tốt nghiệp ngành Khoa học dữ liệu ICTU có thể mong đợi một sự nghiệp thành công và ổn định trong lĩnh vực này.

VI. Kết Luận và Hướng Phát Triển Khai Phá Dữ Liệu Tại ICTU

Khai phá dữ liệu là một lĩnh vực đầy tiềm năng và có vai trò quan trọng trong sự phát triển của xã hội hiện đại. ICTU Thái Nguyên có nhiều lợi thế để trở thành một trung tâm đào tạo và nghiên cứu hàng đầu về Data Science tại Việt Nam. Để đạt được mục tiêu này, ICTU cần tiếp tục đầu tư vào việc nâng cao chất lượng đào tạo, tăng cường hợp tác với doanh nghiệp và tổ chức nghiên cứu, và xây dựng một cộng đồng khai phá dữ liệu mạnh mẽ. Với những nỗ lực này, ICTU sẽ đóng góp quan trọng vào sự phát triển của lĩnh vực khoa học dữ liệu tại Việt Nam.

6.1. Tóm tắt những thành tựu và hạn chế trong nghiên cứu KPDL

ICTU đã đạt được những thành tựu đáng kể trong nghiên cứu khai phá dữ liệu, đặc biệt là trong các lĩnh vực giáo dục, kinh tế, và y tế. Tuy nhiên, vẫn còn nhiều hạn chế cần khắc phục, như chất lượng dữ liệu, nguồn nhân lực, và cơ sở vật chất. Việc giải quyết những hạn chế này sẽ giúp ICTU nâng cao hiệu quả nghiên cứu và đóng góp nhiều hơn vào sự phát triển của lĩnh vực khoa học dữ liệu.

6.2. Đề xuất các hướng nghiên cứu và ứng dụng KPDL trong tương lai

Trong tương lai, ICTU nên tập trung vào các hướng nghiên cứu và ứng dụng khai phá dữ liệu sau: ứng dụng trí tuệ nhân tạo trong khai phá dữ liệu, phân tích dữ liệu mạng xã hội, phân tích dữ liệu tài chính, và phân tích dữ liệu marketing. Ngoài ra, ICTU cũng nên khuyến khích các nghiên cứu liên ngành, kết hợp khai phá dữ liệu với các lĩnh vực khác như kinh tế, xã hội, và môi trường.

6.3. Vai trò của ICTU trong sự phát triển ngành Data Science Việt Nam

ICTU có vai trò quan trọng trong sự phát triển của ngành Data Science tại Việt Nam. ICTU là một trong những trường đại học hàng đầu về công nghệ thông tin, và có đội ngũ giảng viên và nghiên cứu viên có trình độ cao về khai phá dữ liệu. ICTU có thể đóng góp vào sự phát triển của ngành này thông qua việc đào tạo nguồn nhân lực chất lượng cao, thực hiện các nghiên cứu khoa học tiên tiến, và hợp tác với các doanh nghiệp và tổ chức khác.

Trích đoạn nội dung tài liệu

LỜI MỞ ĐẦU 1. Tính cấp thiết của đề lài Với sự sùng nỗ của công nghệ thông lin, lr0ng những năm gần đây nó đojợc áp dụng rộng rãi lr0ng mọi lĩnh vực đời sống xã hội. các chuyên gia ch0 rằng, hiện nay chúng †a đang sống lr0ng một xã hội “rất giàu về thông lin nhoIng nghè0 về tri thức”. chính vì vậy đòi hỏi phải phái triển các phoøjơng pháp khai phá, phái hiện ra những thông lin, lri thức có ích bị che lap tr0ng các “múi” đữ liệu phục vụ ch0 công việc của các nhà quản lý, các chuyên gia, lừ đó thúc đây khả năng sản xuất, kinh d0anh, cạnh tranh của các lỗ chức, d0anh nghiệp.

Khai phá dữ liệu (Dala Mining) là một lĩnh vực kh0a học liên ngành mới xuất hiện gần đây nhằm đáp ứng nhu cầu này. các kết quả nghiên cứu còng với những ứng dụng thành công tr0ng khai phá dữ liệu, khám phá tri thức ch0 thấy khai phá đữ liệu là một lĩnh vực kh0a học tiềm năng, mang lại nhiều lợi ích, đồng thời có øỊu thế hơn hắn s0 với các công cụ phân tich dữ liệu truyền thống. hiện nay, các cơ sở dữ liệu (cSDL) cần khai phá thơiờng có kích thojóc rất lon, chang han cdc SDL lin- sinh-hoc (bi0infOrmatics), cSDL da phojong hén, cSDL gia0 tac, cSDL van bản,. các cSDL này thơjờng chứa lới hàng ngàn thuộc lính, gây rất nhiều khó khăn ch0 việc khai phá, thậm chí còn làm ch0 nhiệm vụ khai phá tro nên Bat kha thi.

Van dé dat ra là phải lìm cách rút gọn số thuộc lính mà không làm những thông lin cần thiết phục vụ nhiệm vụ khai phá. Khai phá dữ liệu là một lĩnh vực liên quan đến rất nhiều ngành học who hệ cơ sở đữ liệu, thống kê, trực quan hóa với nhiều cách liếp cận, sử Số hóa bởi Trung tâm Học liệu — Đại học Thái Nguyên htfip:/www.vn 2 dụng các kỹ thuật khác nhau nhơi mạng nor0n, lý thuyết lập thô, lập mờ, siêu diễn tri thức,. Khai phá đữ liệu là sojớc rất quan lrọng nhằm lrích suất ra các thông Số hóa bởi Trung tâm Học liệu — Đại học Thái Nguyên htfip:/www.vn lin có giá lrị, có hiệu quả tiềm ân tr0ng lojợng dữ liệu lớn đojợc loIu trữ lr0ng các cơ sở đữ liệu, kh0 dữ liệu. Đề khai thác nguồn thông lin có hiệu quả thì cic phojong phaép quan tri và khai thác cơ sở đữ liệu truyền thống đang ngày càng không đáp ứng nhu cầu.

Vì vậy việc nghiên cứu lỗ chức khai thác đữ liệu văn sản đề khám phá tri thức thông in là vấn đề cần thiết. Xuất phát từ những lý dO trên, chúng lôi chọn và nghiên cứu đề lài luận văn: “Khai phá dữ liệu văn sản sằng lý thuyết lập thô”. Mục liêu của luận văn Mục liêu của luận văn là nghiên cứu lý thuyết lập thô phân lOại văn bản liếng Việt the0 chủ đề. các đóng góp của luận văn Luận văn đã có ba đóng góp chính sau đây: - Dé xual phojong pháp: Đề tai da dé xuat dooce phojong pháp phân 10ai van sản dựa trên lý thuyết lập thô.

- Xây dựng hệ thống: Xây dựng hệ thông phân l0ại văn sản Hếng Việt the0 chủ đề dựa trên phojơng pháp đã đề xuất. - Xây dựng kh0 ngữ liệu: các văn sản tiếng Việt đơjợc tổng hợp lừ các trang in Việt nam hÌlp:/www.nel, hllp:/vnbbnews.cÖm và hHp://vielniamnet. bố cục của luận văn Luận văn đơiợc số cục thành 4 chơiơng, gồm 74 trang. choơng 1 giới thiệu lổng quan về khai phá đữ liệu văn sản và lý thuyết lập thô.

choJơng 2 trình sày các phơiơng pháp siều diễn văn sản, phân nhóm và phan 10ai van ban. Số hóa bởi Trung tâm Học liệu — Đại học Thái Nguyên htfip:/www.vn chojơng 3 trình sày kiến trúc hệ thống phân l0ại văn sản lự động và phojong phap phan 10ai van sản áp dụng lý thuyét lập thô. choJơng 4 Xây dựng hệ thống phan 10ai van bản tiếng việt the0 chủ đề cuối còng, luận văn doja ra một số kết luận và đề xuất các hojớng nghiên cuu tr0ng tojomg lai. Số hóa bởi Trung tâm Học liệu — Đại học Thái Nguyên htfip:/www.vn chŒJƠIG 1.

TÓIG QUAII VÉ KhAI PhÁ DỮ LIỆU VĂN bẢII VÀ LÝ ThUVÉT TẬP ThÔ Tr0ng choJơng này, chúng lôi trình sày lỗổng quan về khai phá dữ liệu ba0 gồm khai phá dữ liệu văn sản, các khía cạnh khai phá đữ liệu văn sản, các chu trình khai phá và tổng quan về lý thuyết lập thé. Khai phá dữ liệu văn bản 1. Khai phá dữ liệu 1. Khái niệm Trojoc sự phái triển không ngừng của inlernet dẫn đến những kh0 đữ liệu đã lơu trữ một lơjợng đữ liệu không lồ, tr0ng lơjợng đữ liệu không lồ đó ấn chứa rất nhiều những thông tin quan trọng.

Tuy nhiên, lrojớc đây ngojời la vẫn thojờng sử dụng những phoJơng pháp thủ công mà rất khó khan dé khai phá chúng. IIhững thông tin quan trọng luôn Thôi thúc cÔn ngojời lìm cách đề khai phá. còn các hệ thống kh0 dữ liệu chỉ nhằm làm nhiệm vụ lơiu lrữ dữ liệu. còng với sự phát triển của kỹ thuật máy lính và kỹ thuật thông tin, thông lin ngày càng đojợc phát triển mạnh mẽ, đã voiợ† qua mọi khả năng phân tích thủ công của c0n ngojời, ch0 dò hệ thống kh0 dữ liệu có thề nâng ca0 khả năng tim kiếm, thống kê.

nhoIng không thé phát hiện đojợc những mối quan hệ và những quy luật nằm bên lr0ng dữ liệu, đồng thời cũng không thể căn cứ và0 những phojơng pháp phân lích truyền thống đojợc nữa. Tr0ng một siển dữ liệu không lồ, làm thế mà0 đề lấy đojợc những thong tin có giá trị co tri thuc da lrở thành một nhiệm vụ vô còng quan trong, cOn mgojoi mOng muốn lOại bỏ những dữ liệu thô dé chat lọc những Số hóa bởi Trung tâm Học liệu — Đại học Thái Nguyên htfip:/www.vn 6 dữ liệu linh, Khai phá dữ liệu DM tắt nguồn lừ đây. Hó xuất hiện và0 cuối những năm 80 của thế kỷ 20, từ những năm 90 nó sắt đầu khởi phái, ch0 lới thế kỷ 21, rất nhiều các khái niệm gần Số hóa bởi Trung tâm Học liệu — Đại học Thái Nguyên htfip:/www.vn đúng với nó ví dụ KDD(KnO0wledge DiscOvery In Dalabase), phân lích dữ liệu, Dala Fusi0n, Dala wareh0use. Tr0ng lúc này, một lĩnh vực nằm lr0ng ngành trí luệ nhân ta0 1a hoc máy dang không ngừng phát trién.

hoc may lam nâng ca0 lính năng của những choJơng lrình máy tinh, thu mhan dojgc tr nhiều ngành kh0a học khác nhau sa0 gồm: trí tuệ nhân lạ0, xác suất thống kê, tâm lý học, triết học. rồi căn cứ và0 những mô hình học khác nhau để đoỊa ra phojong pháp học, ví dụ: học không giám sát, học có giám sat, mang n0r0n va di truyền. cuối còng: Daia Mining là việc liễn hành xử lý, khai phá từ le0ng kh0 dữ liệu lớn, không hUàn chỉnh, nhiều nhiễu, mơ hô, để laích eúl ea những thông tin có giá lsị, đó lei thức. Lịch sử nghiên qứu Khái niệm về KDD lần đầu liên đơjợc tổ chức và0 ngày 20 tháng § năm 1989 lại hội nghị tri tuệ nhân 1a0 quốc lế lần thứ 11[32] thu hút các nhà kh0a học lừ 69 ngjớc lrên thế giới tham gia.

Từ đó lới nay, rất nhiều các chuyên gia, học giả ở nhiều quốc gia đã nghiên cứu về DM. các hiệp hội dgjoc hinh thanh mho, ACM SIGKDD, IEEE, IcDM, SDM, PAKDD, VLDB, FSKD, MLDM. Tại Việt Iam, khOảng 10 năm trở lại đây, ngày càng có nhiều các chuyên gia nghiên cứu DM và DM cũng ngày đơjợc phát triển, nó đang là một xu thế mới †rÔng nghiên cứu để ứng dụng vàO0 cuộc sống. các khía qạnh khai phá chủ yếu IIhiệm vụ chủ yếu là phân tích dữ liệu, phân lop, phan 10ai, dO lojong, Số hóa bởi Trung tâm Học liệu — Đại học Thái Nguyên htfip:/www.

Phân Iích kết hợp (ass0ciai0n analysic) Khai phá luật kết hợp d0 Takesh Apwal và cộng sự cùng đoỊa ra. Giá trị giữa 2 biến hOặc hai biến trở lên tồn lại một lính quy luật đojợc gọi là kết hợp. Số hóa bởi Trung tâm Học liệu — Đại học Thái Nguyên htfip:/www.vn Luật kết hợp dữ liệu là một vấn đề khá quan trọng tr0ng kh0 đữ liệu, để nhằm phát hiện ra tri thức. Kết hợp đojợc phân thành kết hợp đơn giản, kết hợp lime-series và kết hợp nhân quả.

Mục đích của phân lích kết hợp là fim ra mang két hợp tiềm an tr0ng kh0 đữ liệu. Phân lớp ( cluslering ) Phân lớp là căn cứ và0 lính chất của đữ liệu để phân thành lừng lớp khác nhau. Tr0ng một lớp dữ liệu có nhiều đặc lính lolơng thích, phân lớp là căn cứ vàO các đặc lroIng khái quát của đữ liệu để phân chúng thành lừng lớp khác nhau, ví dụ nhơi căn cứ và0 mô hình phân số của dữ liệu, quan hệ giữa các thuộc lính của dữ liệu. Phân l0ại ( classificali0n ) Phan 10ai 14 tim ra khái niệm miêu lả của một lớp nàO đó, nó đại diện ch0 chỉnh thể lin lức của dữ liệu, rồi dựa và0 hàm miêu tả, đồng thời dòng hàm mô lả này để miêu lá mô hình dữ liệu.

Thông thojờng, dòng mô hình cây quyết định để siêu thị. Phân l0ại là lợi dụng việc huấn luyện lập dữ liệu thông qua mội số các thuật l0án nhất định đề đạt đơtợc quy lắc phân l0ại. Dự đ0án ( predicali0n ) Dự đ0án là lợi dụng lịch sử của dữ liệu dé tìm ra đơjợc quy luật siến hóa, xây dựng mô hình, đồng thời lừ mô hình đó để áp dụng và0 l0ại đữ liệu tr0ng lojơng lai dé liến hành khăng định, khẳng định quan lâm tới độ tinh và lính chuân xác, thông thojờng dùng phơjơng sai của khẳng định đề đ0 lơjờng. Mô hình chuỗi thời gian (time —series) Time —series chỉ sự thông qua sự luần tự của thời gian lìm kiếm những Số hóa bởi Trung tâm Học liệu — Đại học Thái Nguyên htfip:/www.vn 10 mô hình phát sinh.

Tựa nhơi hồi quy, nó cũng dòng để nhận siết giá lrị 1ơJơng lai của dữ liệu. Số hóa bởi Trung tâm Học liệu — Đại học Thái Nguyên htfip:/www.vn 11 Độ lệch ( deviali0n) Tr0ng độ lệch sa0 gồm rất nhiều tri thức, tr0ng kh0 dữ liệu, đữ liệu lồn lại những khác siệt, phát hiện những khác siết lr0ng kh0 đữ liệu là rất quan trọng. Độ lệch giữa kết quả quan sát đơxợc giữa giá trị trả về the0 lính 10án và kết quả thực lé. Quy lình qia DM Quy trình của DM lhe0 sơ đồ nhơi sau Đánh giá Tri thức kết quả mẫu Khai phá dữ liệu Chuyên đổi đữ liệu ot = Cae mau ~~.

4 ® »” : Dữliệu Ÿ r : da chuyén : S34 parties basi ï - - qua tiên 7 ——— Dữ liệu : xử lý : Mụctiêu 5 " Làm sạch tiên xử lý dữ liệu Trích lọc dữ liệu DữÌiệu? = ——'— m=—== = =.