Đồ án khai phá dữ liệu sản phẩm từ Web - Nguyễn Văn Huy ĐH Hải Phòng

Đồ án tốt nghiệp về khai phá dữ liệu sản phẩm từ web. Nghiên cứu các kỹ thuật phân cụm, thuật toán xử lý thông tin và ứng dụng thực tế trong kinh doanh.

• Tác giả: Nguyễn Văn Uy
• Trường học: Trường Đại học Hải Phòng
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Khai thác thông tin sản phẩm từ web
• Loại tài liệu: Đồ án tốt nghiệp
• Địa điểm: Hải Phòng

Tóm tắt

I. Cách khai thác thông tin sản phẩm từ Web hiệu quả trong đồ án

Khai thác thông tin sản phẩm từ Web là một lĩnh vực ứng dụng quan trọng của khai phá dữ liệu và tìm kiếm thông tin. Trong bối cảnh dữ liệu trực tuyến ngày càng phong phú, việc trích xuất, xử lý và phân tích thông tin sản phẩm từ các nguồn web trở thành yêu cầu thiết yếu cho doanh nghiệp và nghiên cứu. Đồ án tốt nghiệp của Nguyễn Văn Huy (Trường ĐHDL Hải Phòng) đã minh họa rõ cách xây dựng hệ thống tìm kiếm thông tin sản phẩm trên Web dựa trên nền tảng lý thuyết khai phá tri thức trong cơ sở dữ liệu. Hệ thống này không chỉ thu thập dữ liệu thô mà còn tổ chức, lưu trữ và xử lý thông tin theo mô hình nghiệp vụ rõ ràng. Quá trình này bao gồm các bước như phân cụm dữ liệu, đánh chỉ mục, và xử lý truy vấn, giúp người dùng truy xuất thông tin nhanh chóng và chính xác. Việc áp dụng các thuật toán phân cụm điển hình như K-means, BIRCH hay DENCLUE cho thấy tính khả thi trong việc nhóm sản phẩm theo đặc điểm tương đồng. Nhờ đó, hệ thống hỗ trợ ra quyết định chiến lược về sản phẩm hoặc nhóm sản phẩm trên thị trường. Theo tài liệu tham khảo của Jiawei Han và Micheline Kamber (2005), khai phá dữ liệu không chỉ là trích xuất dữ liệu mà còn là quá trình khám phá tri thức ẩn trong khối lượng lớn thông tin.

1.1. Khái niệm cơ bản về khai thác thông tin sản phẩm từ Web

Khai thác thông tin sản phẩm từ Web là quá trình thu thập, lọc và chuyển đổi dữ liệu phi cấu trúc hoặc bán cấu trúc trên các trang web thành thông tin có cấu trúc, có thể sử dụng cho phân tích hoặc ra quyết định. Đây là một nhánh của khai phá dữ liệu web, kết hợp giữa tìm kiếm thông tin và xử lý ngôn ngữ tự nhiên. Các dữ liệu thường bao gồm tên sản phẩm, giá, mô tả, đánh giá, hình ảnh và thông số kỹ thuật. Hệ thống trong đồ án sử dụng mô hình Use Case để xác định rõ các chức năng nghiệp vụ như cập nhật danh mục, tìm kiếm và báo cáo.

1.2. Vai trò của khai phá dữ liệu trong thu thập thông tin sản phẩm

Khai phá dữ liệu cung cấp nền tảng lý thuyết và kỹ thuật để xử lý khối lượng lớn thông tin sản phẩm từ Web. Các kỹ thuật như phân cụm dữ liệu, phân loại, và kết hợp luật giúp tổ chức dữ liệu theo nhóm có ý nghĩa. Trong đồ án, phân cụm dữ liệu được sử dụng để nhóm sản phẩm theo đặc điểm tương đồng, hỗ trợ phân tích thị trường và chiến lược kinh doanh. Việc áp dụng các thuật toán phân cụm dựa trên mật độ như DENCLUE hoặc OPTICS cho thấy khả năng xử lý dữ liệu phức tạp và không đồng đều.

II. Những thách thức khi khai thác thông tin sản phẩm từ Web trong đồ án

Mặc dù tiềm năng lớn, việc khai thác thông tin sản phẩm từ Web gặp nhiều thách thức kỹ thuật và tổ chức. Một trong những vấn đề chính là tính phi cấu trúc của dữ liệu web. Các trang thương mại điện tử sử dụng HTML, JavaScript và AJAX khác nhau, khiến việc trích xuất dữ liệu trở nên phức tạp. Ngoài ra, dữ liệu thường thiếu nhất quán về định dạng, đơn vị đo lường hoặc cách biểu diễn thông tin (ví dụ: “1.5kg” vs “1500 gram”). Trong đồ án, nhóm tác giả đã đề cập đến nhu cầu xử lý thông tin sau khi thu thập để chuẩn hóa và làm sạch dữ liệu. Thách thức thứ hai là tốc độ và quy mô – hệ thống phải xử lý hàng nghìn sản phẩm từ nhiều nguồn trong thời gian thực. Điều này đòi hỏi kiến trúc hệ thống hiệu quả và lựa chọn thuật toán phân cụm phù hợp. Cuối cùng, bảo mật và tuân thủ cũng là rào cản, đặc biệt khi truy cập dữ liệu từ các trang web có chính sách chống bot. Giải pháp được đề xuất trong đồ án bao gồm xây dựng mô-đun cập nhật Search Engine và thông số tìm kiếm linh hoạt, giúp hệ thống thích nghi với thay đổi cấu trúc web.

2.1. Vấn đề dữ liệu phi cấu trúc và thiếu nhất quán

Dữ liệu sản phẩm trên Web thường không tuân theo chuẩn chung. Phi cấu trúc và bán cấu trúc là đặc điểm phổ biến, gây khó khăn cho việc phân tích tự động. Ví dụ, cùng một loại sản phẩm có thể được mô tả bằng văn bản dài ở trang này nhưng chỉ bằng bảng thông số ở trang khác. Đồ án đề xuất xử lý thông tin sau thu thập để chuẩn hóa tên sản phẩm, đơn vị, và định dạng giá cả. Đây là bước thiết yếu để đảm bảo tính chính xác và đồng nhất trong cơ sở dữ liệu.

2.2. Khó khăn trong việc mở rộng và duy trì hệ thống

Khi số lượng nguồn web tăng, hệ thống khai thác thông tin sản phẩm từ Web cần mở rộng mà không làm giảm hiệu suất. Đồ án đề cập đến việc thiết kế giao diện cập nhật sản phẩm, loại sản phẩm, và nhóm sản phẩm để hỗ trợ quản trị viên dễ dàng duy trì hệ thống. Tuy nhiên, việc đồng bộ dữ liệu theo thời gian thực và xử lý lỗi khi trang web thay đổi cấu trúc vẫn là thách thức lớn. Giải pháp bao gồm sử dụng biểu đồ tuần tự và biểu đồ cộng tác để mô hình hóa luồng xử lý và phát hiện điểm nghẽn.

III. Phương pháp khai thác thông tin sản phẩm từ Web trong đồ án

Đồ án áp dụng một phương pháp hệ thống để khai thác thông tin sản phẩm từ Web, kết hợp giữa lý thuyết khai phá dữ liệu và kỹ thuật phần mềm. Quy trình bắt đầu từ xác định mô hình nghiệp vụ, trong đó các chức năng như cập nhật danh mục, tìm kiếm và báo cáo được mô tả chi tiết qua biểu đồ Use Case. Tiếp theo, hệ thống sử dụng kỹ thuật tìm kiếm thông tin trên Internet để thu thập dữ liệu từ các nguồn đã định trước. Dữ liệu thô sau đó được xử lý và tổ chức lưu trữ theo cấu trúc quan hệ. Một điểm nổi bật là việc áp dụng phân cụm dữ liệu để nhóm sản phẩm tương đồng, hỗ trợ phân tích thị trường. Các thuật toán phân cụm điển hình như K-means (phân hoạch), BIRCH (phân cấp), và DENCLUE (dựa trên mật độ) được xem xét và lựa chọn phù hợp với đặc điểm dữ liệu. Giao diện người dùng được thiết kế trực quan, cho phép tra cứu nhanh và xuất báo cáo theo nhu cầu. Theo Bruce Croft và cộng sự (2008), hiệu quả của hệ thống tìm kiếm phụ thuộc vào khả năng đánh chỉ mục và xử lý truy vấn, hai yếu tố được tích hợp chặt chẽ trong kiến trúc đồ án.

3.1. Quy trình thu thập và xử lý dữ liệu sản phẩm

Quy trình thu thập và xử lý dữ liệu sản phẩm bao gồm các bước: (1) xác định nguồn web mục tiêu, (2) trích xuất dữ liệu bằng kỹ thuật web scraping hoặc API, (3) làm sạch và chuẩn hóa dữ liệu, (4) lưu trữ vào cơ sở dữ liệu có cấu trúc. Trong đồ án, bước xử lý thông tin được nhấn mạnh như cầu nối giữa dữ liệu thô và tri thức có thể sử dụng. Hệ thống hỗ trợ cập nhật thông số tìm kiếm linh hoạt để thích nghi với thay đổi định dạng trang web.

3.2. Ứng dụng phân cụm dữ liệu trong tổ chức thông tin sản phẩm

Phân cụm dữ liệu giúp tổ chức thông tin sản phẩm theo nhóm có đặc điểm tương đồng, hỗ trợ phân tích hành vi người tiêu dùng và chiến lược định giá. Đồ án sử dụng độ đo tương tự phù hợp với kiểu dữ liệu (số, văn bản, hỗn hợp) để đảm bảo chất lượng cụm. Các hình minh họa như hình dạng cụm K-means hay cây CF trong BIRCH cho thấy hiệu quả trực quan của các thuật toán. Việc lựa chọn thuật toán phụ thuộc vào yêu cầu về tốc độ, độ chính xác và khả năng mở rộng.

IV. Ứng dụng thực tiễn của hệ thống khai thác thông tin sản phẩm từ Web

Hệ thống khai thác thông tin sản phẩm từ Web trong đồ án có nhiều ứng dụng thực tiễn trong quản lý và kinh doanh. Trước hết, nó hỗ trợ ra quyết định chiến lược cho nhà quản lý về việc triển khai sản phẩm mới hoặc điều chỉnh danh mục hiện có. Nhờ khả năng tìm kiếm thông tin sản phẩm nhanh và chính xác, doanh nghiệp có thể theo dõi đối thủ, phân tích xu hướng giá và đánh giá phản hồi khách hàng. Ngoài ra, hệ thống còn phục vụ cho nghiên cứu thị trường, giúp xác định phân khúc khách hàng mục tiêu dựa trên đặc điểm sản phẩm được ưa chuộng. Trong bối cảnh thương mại điện tử phát triển, công cụ này trở thành tài sản tri thức quan trọng. Giao diện tìm kiếm thông tin sản phẩm được thiết kế thân thiện, cho phép lọc theo nhóm, loại hoặc thông số kỹ thuật. Kết quả minh họa trong đồ án cho thấy hệ thống có thể xử lý hiệu quả hàng trăm sản phẩm từ nhiều nguồn. Như kết luận của tác giả, hệ thống không chỉ là sản phẩm học thuật mà còn có tiềm năng ứng dụng thực tế cao trong doanh nghiệp vừa và nhỏ.

4.1. Hỗ trợ ra quyết định kinh doanh dựa trên dữ liệu sản phẩm

Hệ thống cung cấp báo cáo phân tích về xu hướng sản phẩm, biến động giá và phản hồi người dùng. Nhà quản lý có thể sử dụng thông tin này để điều chỉnh chiến lược kinh doanh. Ví dụ, nếu một nhóm sản phẩm có tốc độ tăng trưởng cao nhưng ít đối thủ, doanh nghiệp có thể đầu tư mạnh hơn. Tính năng lập báo cáo trong đồ án cho phép xuất dữ liệu theo định dạng dễ đọc, hỗ trợ trình bày trong họp chiến lược.

4.2. Ứng dụng trong nghiên cứu thị trường và cạnh tranh

Việc khai thác thông tin sản phẩm từ Web giúp doanh nghiệp theo dõi đối thủ cạnh tranh một cách hệ thống. Dữ liệu về giá, khuyến mãi, và đánh giá sản phẩm từ các nền tảng như Shopee, Tiki hay Amazon có thể được so sánh trực tiếp. Hệ thống trong đồ án cho phép cập nhật danh mục sản phẩm thường xuyên, đảm bảo dữ liệu luôn mới. Đây là lợi thế cạnh tranh trong môi trường kinh doanh số.

V. Tương lai của khai thác thông tin sản phẩm từ Web trong nghiên cứu và ứng dụng

Tương lai của khai thác thông tin sản phẩm từ Web hứa hẹn nhiều bước tiến nhờ sự phát triển của AI và học máy. Các mô hình ngôn ngữ lớn (LLM) có thể cải thiện độ chính xác trong việc trích xuất và hiểu ngữ nghĩa dữ liệu sản phẩm. Ngoài ra, học tăng cường có thể giúp hệ thống tự động điều chỉnh chiến lược thu thập dữ liệu dựa trên hiệu suất. Trong đồ án, mặc dù chưa tích hợp AI, nhưng kiến trúc mở cho phép mở rộng dễ dàng. Một hướng phát triển khác là tích hợp phân tích cảm xúc từ đánh giá người dùng để đánh giá chất lượng sản phẩm. Đồng thời, blockchain có thể được dùng để đảm bảo tính minh bạch và truy xuất nguồn gốc dữ liệu. Như tài liệu của Fayyad và cộng sự (1996) nhấn mạnh, khám phá tri thức là quá trình liên tục, và khai thác thông tin sản phẩm từ Web sẽ ngày càng trở thành công cụ cốt lõi trong chuyển đổi số doanh nghiệp. Các nghiên cứu tiếp theo nên tập trung vào khả năng xử lý đa ngôn ngữ, thời gian thực và tuân thủ pháp lý.

5.1. Xu hướng tích hợp AI và học máy vào hệ thống khai thác

AI và học máy sẽ nâng cao khả năng hiểu ngữ nghĩa và tự động hóa trong khai thác thông tin sản phẩm. Các mô hình NLP có thể phân tích mô tả sản phẩm, trích xuất đặc điểm kỹ thuật và phân loại tự động. Điều này giảm phụ thuộc vào quy tắc cứng (rule-based) và tăng độ chính xác khi xử lý dữ liệu đa dạng.

5.2. Hướng phát triển bền vững và tuân thủ pháp lý

Tương lai của hệ thống khai thác thông tin sản phẩm từ Web cần cân bằng giữa hiệu quả và tuân thủ pháp lý. Các quy định như GDPR hoặc chính sách chống bot của website đòi hỏi hệ thống phải có cơ chế xác thực, giới hạn tần suất và lưu vết nguồn gốc. Việc tích hợp blockchain hoặc hệ thống ghi log minh bạch là giải pháp tiềm năng.

Trích đoạn nội dung tài liệu

đặt vấn đề trên, khóa luận được trình bày như sau: Giới thiệu: Giới thiệu chung về bài toán và phạm vi của khóa luận. Chƣơng 1:Trình bày cơ sở lý thuyết để thục hiện khóa luận. Chƣơng 2:Trình bày các kiến thức liên quan đến bài toán tìm kiếm thông tin trên Internet dùng để trợ giúp các hoạt động trong kinh doanh. Chƣơng 3:Trình bày phần phân tích thiết kế một ứng dụng mang tính chất thử nghiệm.

Kết luận Tài liệu tham khảo Nguyễn Văn Huy – CT1301 7 Đồ án tốt nghiệp Trƣờng ĐHDL Hải Phòng CHƢƠNG 1: CƠ SỞ LÝ THUYẾT 1.1CÁC KHÁI NIỆM CƠ BẢN Khai phá dữ liệu là một hƣớng nghiên ra đời hơn một thập niên trở lại đây.Các kỹ thuật chính đƣợc áp dụng trong lĩnh vực này phần lớn đƣợc thừa kế từ lĩnh vực Cơ sở dữ liệu,học máy, trí tuệ nhân tạo, lý thuyết thông tin, xác suất thống kê, và tính toán hiệu năng cao. Do sự phát triển nhanh của Khai phá dữ liệu về phạm vi áp dụng và các phƣơng pháp tìm kiếm tri thức, nên đã có nhiều quan điểm khác nhau về Khai phá dữ liệu. Tuy nhiên, ở một mức trừu tƣợng nhất định, theo [1] khái niệm Khai phá dữ liệu nhƣ sau: “Khai phá dữ liệu là một quá trình tìm kiếm, phân tích, phát hiện các tri thức mới, tiềm ẩn, hữu dụng trong các cơ sở dữ liệu lớn.” Trong lĩnh vực khai phá dữ liệu, có nhiều hƣớng nghiên cứu đƣợc đƣa ra trong đó có một số hƣớng chính đƣợc nhiều nhà nghiên cứu quan tâm. Khai phá dữ liệu văn bản,Web, Trích chọn thông tin, Phân tích mạng xã hội, khai phá quan điểm, Phân tích dữ liệu kinh tế - tài chính, Khai phá dữ liệu sinh học, y tế,… Khóa luận này hƣớng đến việc tìm hiểu và xây dựng hệ thống thống nhằm khai thác thông tin các sản phẩm mà ngƣời tiêu dùng đã đánh giá trên Internet, cụ thể là các trang web.

Ngƣời tiêu dùng có mua, sử dụng các sản phẩm và họ đã có cảm nhận và suy nghĩ về sản phẩm đó. Đôi lúc họ đƣa những cảm nhận về sản phẩm nào đó lên các trang web cá nhân, các diễn đàn, … trên Internet. Bài toán mà khóa luận này tìm cách giải quyết là tìm cách khai thác các thông tin về một sản phẩm cụ thể nào đó trên Internet, thống kê để phục vụ cho công tác khảo sát và đánh giá sản phẩm trên thị trƣờng. Sau đây là một số khái niệm đƣợc sử dụng.

Thông tin sản phẩm: Là thông tin mô tả về nguồn gốc, tính năng kỹ thuật, tính chất lý hóa tính, công dụng chính, giá thành, màu sắc, hình dáng, kích thƣớc, … của sản phẩm. Nguyễn Văn Huy – CT1301 8 Đồ án tốt nghiệp Trƣờng ĐHDL Hải Phòng Ý kiến ngƣời dùng sản phẩm: Là các thông tin ngƣời dùng phản ánh về sản phẩm đƣợc thể hiện qua các từ đánh giá về ƣu điểm nhƣ: Tốt, thuận tiện, tiết kiệm, bền, rẻ, đẹp, phong phú, đa dạng, mƣợt mà, mịn, … hoặc đƣợc đánh giá nhƣợc điểm: Xấu, kém, mau hỏng, hàng giả, hàng nhái, … hoặc đƣợc thể hiện mong muốn về sản phẩm qua các từ nhƣ: giá nhƣ, giá mà, cần, phải, để tốt hơn, … Xu hƣớng: Là các từ liên quan đến các mong muốn của ngƣời dùng về sản phẩm. Đƣợc chi thành xu hƣớng tốt hoặc xấu hoặc không thiện cảm. + Xu hƣớng tốt: Xu hƣớng đánh giá thông tin sản phẩm tốt + Xu hƣớng xấu: Xu hƣớng đánh giá thông tin sản phẩm xấu + Xu hƣớng không thiện cảm: Xu hƣớng không khen, không chê sản phẩm.

Ngƣời tiêu dùng: Là ngƣời mua hoặc ngƣời sử dụng sản phẩm hoặc ngƣời có ý định mua hay sử dụng sản phẩm có gửi thông tin lên Internet. Ngƣời dùng: Ngƣời có tƣơng tác với hệ thống. Ngƣời quản trị: Ngƣời có nhiệm vụ quản lý hệ thống. Máy tìm kiếm:Các cỗ máy tìm kiếm thông tin trên Internet: Google, Yahoo, Bing, … Sản phẩm: Là tất cả các mặt hàng đang đƣợc tiêu thụ trên thị trƣờng bao gồm thị trƣờng trong nƣớc và nƣớc ngoài.2 KHÁM PHÁ TRI THỨC TRONG CƠ SỞ DỮ LIỆU Khai phá dữ liệu là lĩnh vực có liên quan đến nhiều ngành khác nhau nhƣ: thống kê, học máy, tính toán phân tán,cơ sở dữ liệu, thuật toán, mô hình hóa dữ liệu,… Mục tiêu của khai phá dữ liệu là khám phá tri thức từ đó dùng hỗ trợ ra quyết định, trong lĩnh vực hẹp này có thể đƣợc chia thành một số giai đoạn [3][4]:  Trích chọn dữ liệu: bƣớc này trích những bộ dữ liệu cần đƣợc khám phá từ các hệ thống dữ liệu (databases, data warehouses, data repositories) ban đầu theo một số tiêu chí nhất định.

Nguyễn Văn Huy – CT1301 9 Đồ án tốt nghiệp Trƣờng ĐHDL Hải Phòng  Tiền xử lý dữ liệu:Bƣớc này làm sạch dữ liệu (xử lý những dữ liệu dƣ thừa, nhiễu, .), rút gọn dữ liệu (áp dụng các thuật toán lấy mẫu, .), rời rạc hóa dữ liệu. Kết quả là dữ liệu sẽ nhất quán, đầy đủ, đƣợc rút gọn, và đƣợc rời rạc hóa.  Biến đổi dữ liệu:Đây là bƣớc chuẩn hóa dữ liệu, tinh chỉnh dữ liệu để đƣa dữ liệu về dạng chuẩn để giúp kỹ thuật khai phá dữ liệu ở bƣớc sau.  Khai phá dữ liệu: Áp dụng những kỹ thuật phân tích nhằm để trích chọn thông tin, những mối liên hệ đặc biệt của dữ liệu.

Bƣớc này rất quan trọng và cần nhiều tài nguyên nhất của toàn bộ quá trình khai phá trin thức.  Đánh giá và biểu diễn tri thức: Các mẫu tin và quan hệ giữa chúng đã đƣợc rút trích ở bƣớc trên đƣợc mã hóa và biểu diễn theo dạng dễ quan sát nhƣ đồ thị, cây, bảng biểu, luật,. Bƣớc này cung cấp thông tin cho các nhà quản trị ra quyết định. Các giai đoạn trong KDD đƣợc thể hiện trực quan nhƣ hình 1 dƣới đây: Hình 1.1:Các bước thực hiện trong quá trình khám phá tri thức Nguyễn Văn Huy – CT1301 10 Đồ án tốt nghiệp Trƣờng ĐHDL Hải Phòng 1.3 CÁC KỸ THUẬT ÁP DỤNG TRONG KHAI PHÁ DỮ LIỆU 1.1 Các kỹ thuật tiếp cận trong Khai phá dữ liệu Khai phá tri thức là một lĩnh vực liên ngành, bao gồm: Tổ chức dữ liệu, học máy, trí tuệ nhân tạo và các khoa học khác, sự kết hợp này có thể đƣợc diễn tả nhƣ trong hình 1.2 dƣới đây: Hình 1.2 Các lĩnh vực liên quan đến Khám phá tri thức trong CSDL Dựa trên quan điểm của học máy thì các kỹ thuật trong Khai phá dữ liệu, bao gồm:  Học có giám sát: Là quá trình gán nhãn lớp cho các phần tử trong CSDL dựa trên một tập các ví dụ huấn luyện và các thông tin về nhãn lớp đã biết.

 Học không có giám sát: Là quá trình phân chia một tập dữ liệu thành các lớp hay là cụm (clustering) dữ liệu tƣơng tự nhau mà chƣa biết trƣớc các thông tin về lớp hay tập các ví dụ huấn luyện.  Học nửa giám sát: Là quá trình phân chia một tập dữ liệu thành các lớp dựa trên một tập nhỏ các ví dụ huấn luyện và một số các thông tin về một số nhãn lớp đã biết trƣớc. Theo lớp các bài toán cần giải quyết, thì Khai phá dữ liệu bao gồm các kỹ thuật áp dụng sau:  Phân lớp và dự đoán(classification and prediction): xếp một đối tƣợng vào một trong những lớp đã biết trƣớc. Ví dụ: phân lớp các bệnh nhân dữ liệu trong hồ sơ bệnh án.

Hƣớng tiếp cận này thƣờng sử dụng một số kỹ thuật của học máy nhƣ cây quyết định (decision tree), mạng nơ ron nhân Nguyễn Văn Huy – CT1301 11 Đồ án tốt nghiệp Trƣờng ĐHDL Hải Phòng tạo (neural network),. Phân lớp và dự đoán còn đƣợc gọi là học có giám sát.  Luật kết hợp (association rules): là dạng luật biểu diễn tri thứ ở dạng khá đơn giản. Ví dụ: “60 % nữ giới vào siêu thị nếu phấn thì có tới 80% trong số họ sẽ mua thêm son”.

Luật kết hợp đƣợc ứng dụng nhiều trong lĩnh vực kinh doanh, y học, tin-sinh, tài chính và thị trƣờng chứng khoán,.  Phân tích chuỗi theo thời gian (sequential/ temporal patterns): tƣơng tự nhƣ khai phá luật kết hợp nhƣng có thêm tính thứ tự và tính thời gian. Hƣớng tiếp cận này đƣợc ứng dụng nhiều trong lĩnh vực tài chính và thị trƣờng chứng khoán vì nó có tính dự báo cao.  Phân cụm (clustering/ segmentation): xếp các đối tƣợng theo từng cụm dữ liệu tự nhiên.

Phân cụm còn đƣợc gọi là học không có giám sát ( unsupervised learning).  Mô tả khái niệm (concept description and summarization): thiên về mô tả, tổng hợp và tóm tắt khái niệm. Ví dụ: tóm tắt văn bản.2 Các dạng dữ liệu có thể khai phá Do Khai phá dữ liệu đƣợc ứng dụng rộng rãi trên nhiều lĩnh vực có thể làm việc với rất nhiều kiểu dữ liệu khác nhau. Ví dụ: Cơ sở dữ liệuquan hệ, dữ liệu đa chiều, Cơ sở dữ liệu quan hệ - hướng đối tượng, Cơ sở dữ liệu có thuộc tính không gian và thời gian, Cơ sở dữ liệu chuỗi thời gian, Cơ sở dữ liệu đa phương tiện, … 1.4TÌM KIẾM THÔNG TIN TRÊN INTERNET Theo [thụy1] máy tìm kiếm là một hệ thống phần mềm đƣợc xây dựng nhằm tiếp nhận yêu cầu tìm kiếm của ngƣời dùng, sau đó phân tích yêu cầu này và tìm kiếm thông tin trong cơ sở dữ liệu đƣợc tải xuống từ Internet và đƣa ra kết quả là danh sách các trang Web lên quan với yêu cầu ngƣời dùng.

Về cơ bản, mọi kỹ thuật tập trung vào máy tìm kiếm (Searche engine). Hiện nay trên thế giới có rất nhiều máy tìm kiếm, điển hình là Google, Bing, Yahoo,…,và một số máy tìm kiếm có cách thực hiện rất đặc biệt không chỉ đƣa ra kết quả tìm kiếm là các địa chỉ chứa thông tin mà tìm kiếm và tổng hợp tri thức nhƣ Nguyễn Văn Huy – CT1301 12 Đồ án tốt nghiệp Trƣờng ĐHDL Hải Phòng Wolframanpha, máytìm kiếm này còn biết cách trả lời các vấn đề mang tính chất đặc thù chuyên ngành nhƣ toán học, lý, hóa, lịch sử, địa lý,… Kiến trúc cơ bản của máy tìm kiếm gồm các khối nhƣ truy vấn dữ liệu, đánh chỉ mục, phân loại dữ liệu….Nói chung, máy tìm kiếm thực hiện một số thao tác cơ bản sau: Bước 1: Phân tích các yêu cầu của người dùng, phân loại và đánh chỉ mục các yêu cầu này, lưu vào hệ thống. Bước 2:Các kết quả tìm kiếm cũng được phân tích, đánh chỉ mục và lưu vào hệ thống. Bước 3: Khi có yêu cầu tìm kiếm thông tin, máy tìm kiếm so khớp yêu cầu với các yêu cầu đã có sẵn nếu phù hợp sẽ đưa kết quả ra luôn, nếu yêu cầu này chưa có thì sẽ tìm thông tin rồi thao tác lại bước 1.