Khai Thác Thông Tin Về Sản Phẩm Từ Web: Phương Pháp Và Ứng Dụng

Chuyên khảo phân tích Chuyên đề tốt nghiệp đề tài khai thác thông tin về sản phẩm từ web, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Đề tài: Khai Thác Thông Tin Sản Phẩm Từ Web: Phương Pháp Và Ứng Dụng

Tóm tắt

I. Giới thiệu về khai thác thông tin sản phẩm từ web

Trong bối cảnh kinh tế số, Web đã trở thành một kho tài nguyên dữ liệu khổng lồ, chứa đựng vô số thông tin giá trị về sản phẩm, dịch vụ và hành vi người tiêu dùng. Khai thác thông tin sản phẩm từ Web là quá trình sử dụng các công nghệ tự động để thu thập, xử lý và phân tích dữ liệu này. Quá trình này không chỉ đơn thuần là sao chép thông tin, mà còn bao gồm việc trích xuất dữ liệu website một cách có hệ thống để chuyển đổi dữ liệu phi cấu trúc thành dữ liệu có cấu trúc, sẵn sàng cho việc phân tích. Theo chuyên đề tốt nghiệp của Trần Nguyễn Anh Tuấn (2024), mục tiêu của việc này là "hỗ trợ các doanh nghiệp có thêm một kênh thông tin về các sản phẩm trên thị trường", từ đó đưa ra các quyết định kinh doanh chiến lược. Các kỹ thuật như web scraping hay cào dữ liệu web là nền tảng của quá trình này, cho phép thu thập thông tin ở quy mô lớn, điều mà phương pháp thủ công không thể thực hiện được. Thông tin thu thập được rất đa dạng, bao gồm mô tả sản phẩm, giá cả, thông số kỹ thuật, và quan trọng nhất là ý kiến, đánh giá của người dùng. Việc phân tích các nguồn dữ liệu này giúp doanh nghiệp thực hiện nghiên cứu thị trường, hiểu rõ hơn về đối thủ cạnh tranh, và nắm bắt xu hướng tiêu dùng một cách nhanh chóng và chính xác.

1.1. Tầm quan trọng của dữ liệu sản phẩm trong kinh doanh

Dữ liệu sản phẩm là tài sản cốt lõi giúp doanh nghiệp định vị trên thị trường. Việc thu thập dữ liệu sản phẩm một cách chính xác và đầy đủ cho phép doanh nghiệp hiểu rõ điểm mạnh, điểm yếu của mình so với đối thủ. Nó cung cấp nền tảng cho việc so sánh giá sản phẩm, tối ưu hóa chiến lược định giá, và xác định các cơ hội thị trường mới. Hơn nữa, phân tích dữ liệu về ý kiến người dùng giúp doanh nghiệp cải tiến chất lượng sản phẩm, điều chỉnh các chiến dịch marketing và nâng cao trải nghiệm khách hàng. Trong môi trường cạnh tranh khốc liệt, việc ra quyết định dựa trên dữ liệu (data-driven decision making) không còn là một lựa chọn mà là yêu cầu bắt buộc để tồn tại và phát triển.

1.2. Khái niệm cơ bản về cào dữ liệu web web scraping

Web scraping, hay còn gọi là cào dữ liệu web hoặc data extraction, là kỹ thuật tự động hóa việc trích xuất một lượng lớn dữ liệu từ các trang web. Thay vì truy cập và sao chép thủ công, một chương trình máy tính (bot hoặc scraper) sẽ truy cập vào trang web, phân tích cấu trúc HTML của nó và rút ra những thông tin cần thiết như tên sản phẩm, giá, mô tả, đánh giá. Dữ liệu sau khi trích xuất thường được lưu trữ dưới dạng có cấu trúc như file CSV, Excel hoặc trong cơ sở dữ liệu để dễ dàng phân tích. Đây là công nghệ nền tảng cho phép tự động hóa thu thập dữ liệu, giúp tiết kiệm thời gian, nguồn lực và đảm bảo tính nhất quán của dữ liệu.

II. Thách thức chính khi khai thác thông tin sản phẩm từ web

Mặc dù mang lại nhiều lợi ích, quá trình khai thác thông tin sản phẩm từ web phải đối mặt với không ít thách thức kỹ thuật và phi kỹ thuật. Một trong những khó khăn lớn nhất đến từ bản chất đa dạng và luôn thay đổi của các trang web. Cấu trúc của một website có thể thay đổi mà không báo trước, khiến các công cụ web scraping bị lỗi và ngừng hoạt động. Hơn nữa, dữ liệu trên web phần lớn là phi cấu trúc, tồn tại dưới dạng văn bản tự nhiên, hình ảnh, video, đòi hỏi các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính phức tạp để trích xuất dữ liệu website một cách chính xác. Chuyên đề của Trần Nguyễn Anh Tuấn (2024) nhấn mạnh rằng dữ liệu thô thu về thường chứa "nhiễu" (noise), tức là các thông tin không liên quan, dư thừa hoặc sai lệch, cần phải trải qua giai đoạn tiền xử lý kỹ lưỡng. Các trang web thương mại điện tử lớn cũng thường triển khai các biện pháp chống cào dữ liệu như CAPTCHA, chặn IP, hoặc yêu cầu đăng nhập, tạo ra rào cản kỹ thuật đáng kể. Cuối cùng, các vấn đề về pháp lý và đạo đức cũng là một thách thức, đòi hỏi người thực hiện phải tuân thủ các điều khoản dịch vụ của trang web và các quy định về bảo vệ dữ liệu.

2.1. Vấn đề dữ liệu phi cấu trúc và nhiễu thông tin

Dữ liệu sản phẩm trên web thường không được tổ chức theo một định dạng chuẩn. Các đánh giá của người dùng là văn bản tự do, mô tả sản phẩm có thể chứa các thẻ HTML, và thông tin giá cả có thể được nhúng trong mã JavaScript. Việc chuyển đổi dữ liệu này thành dữ liệu có cấu trúc (ví dụ: bảng với các cột Tên, Giá, Đánh giá) là một bài toán phức tạp. Hơn nữa, dữ liệu thu thập được thường bị nhiễu, ví dụ như chứa các quảng cáo, menu điều hướng, hoặc các bình luận không liên quan. Việc làm sạch và chuẩn hóa dữ liệu là một bước bắt buộc và tốn nhiều công sức để đảm bảo chất lượng của quá trình phân tích sau này.

2.2. Các rào cản kỹ thuật khi trích xuất dữ liệu website

Nhiều website chủ động ngăn chặn các hoạt động cào dữ liệu web để bảo vệ tài nguyên của họ. Các kỹ thuật phổ biến bao gồm: chặn các địa chỉ IP có tần suất truy cập cao bất thường, sử dụng CAPTCHA để xác minh người dùng là con người, và tải nội dung động bằng JavaScript, khiến các scraper đơn giản không thể đọc được. Để vượt qua các rào cản này, cần sử dụng các công cụ web scraping tiên tiến hơn như Selenium, có khả năng điều khiển trình duyệt như người dùng thật, hoặc sử dụng các dịch vụ proxy xoay vòng để thay đổi địa chỉ IP. Các kỹ thuật này đòi hỏi chuyên môn kỹ thuật cao và làm tăng độ phức tạp của dự án.

III. Phương pháp khai phá dữ liệu để trích xuất thông tin web

Khai phá dữ liệu (Data Mining) là một quy trình khoa học nhằm khám phá các mẫu tiềm ẩn, hữu ích từ các tập dữ liệu lớn. Đây là cốt lõi của việc khai thác thông tin sản phẩm từ web. Thay vì chỉ thu thập, khai phá dữ liệu tập trung vào việc tìm kiếm tri thức. Theo mô hình Khám phá tri thức trong Cơ sở dữ liệu (KDD) được trích dẫn trong tài liệu nghiên cứu (Trần Nguyễn Anh Tuấn, 2024), quy trình này bao gồm nhiều giai đoạn chặt chẽ. Bắt đầu từ việc trích chọn dữ liệu thô từ web, sau đó là tiền xử lý để làm sạch, xử lý nhiễu và dữ liệu thiếu. Giai đoạn tiếp theo là biến đổi dữ liệu, chuẩn hóa để đưa chúng về một định dạng phù hợp cho các thuật toán phân tích. Giai đoạn quan trọng nhất là áp dụng các kỹ thuật khai phá dữ liệu như phân lớp, phân cụm, hoặc khai phá luật kết hợp để tìm ra các mối quan hệ và tri thức mới. Cuối cùng, các tri thức này được đánh giá và biểu diễn dưới dạng trực quan như biểu đồ, báo cáo để hỗ trợ việc ra quyết định. Quá trình này đảm bảo rằng thông tin thu thập được không chỉ là một tập hợp dữ liệu rời rạc mà trở thành một nguồn tri thức chiến lược cho doanh nghiệp.

3.1. Quy trình 5 bước khám phá tri thức từ cơ sở dữ liệu

Quy trình KDD là một khung làm việc chuẩn cho các dự án khai phá dữ liệu. Nó bao gồm 5 bước chính: (1) Trích chọn dữ liệu: Lựa chọn và thu thập dữ liệu liên quan từ các nguồn (web, CSDL). (2) Tiền xử lý dữ liệu: Làm sạch dữ liệu, loại bỏ thông tin nhiễu, xử lý các giá trị bị thiếu. (3) Biến đổi dữ liệu: Chuẩn hóa và chuyển đổi dữ liệu sang định dạng phù hợp cho việc khai phá. (4) Khai phá dữ liệu: Áp dụng các thuật toán thông minh để phát hiện các mẫu (patterns). (5) Đánh giá và biểu diễn tri thức: Phân tích các mẫu đã tìm thấy, lọc ra những tri thức hữu ích và trình bày chúng một cách dễ hiểu. Việc tuân thủ quy trình này giúp đảm bảo tính hệ thống và độ tin cậy của kết quả.

3.2. Công nghệ và công cụ web scraping phổ biến hiện nay

Để thực hiện bước trích chọn dữ liệu, có nhiều công cụ web scraping mạnh mẽ. Python cho web scraping là lựa chọn phổ biến nhất nhờ hệ sinh thái thư viện phong phú. Beautiful Soup là thư viện dùng để phân tích cú pháp (parsing) các tài liệu HTML và XML, giúp trích xuất dữ liệu từ các thẻ một cách dễ dàng. Scrapy là một framework hoàn chỉnh, cung cấp một cấu trúc mạnh mẽ để xây dựng các trình cào dữ liệu quy mô lớn, có khả năng xử lý bất đồng bộ và quản lý request hiệu quả. Đối với các trang web sử dụng nhiều JavaScript để tải nội dung, Selenium là công cụ không thể thiếu. Nó tự động hóa trình duyệt web, cho phép tương tác với các trang web động như một người dùng thực thụ để lấy được dữ liệu ẩn.

IV. Cách phân cụm dữ liệu để phân tích thông tin sản phẩm

Phân cụm dữ liệu (Clustering) là một kỹ thuật học không giám sát quan trọng trong khai phá dữ liệu, đặc biệt hiệu quả khi phân tích thông tin sản phẩm. Mục tiêu của phân cụm là tự động nhóm các đối tượng dữ liệu (ví dụ: các đánh giá của người dùng) thành các cụm sao cho các đối tượng trong cùng một cụm có sự tương đồng cao và khác biệt với các đối tượng ở cụm khác. Trong bối cảnh phân tích sản phẩm, kỹ thuật này có thể được sử dụng để tự động phân loại ý kiến người dùng thành các nhóm như "tích cực", "tiêu cực", "góp ý tính năng" mà không cần gán nhãn thủ công. Tài liệu nghiên cứu của Trần Nguyễn Anh Tuấn (2024) đã khảo sát sâu về các thuật toán phân cụm, từ các phương pháp kinh điển như K-means đến các phương pháp hiện đại hơn như DBSCAN. Ví dụ, hệ thống có thể phân cụm các sản phẩm dựa trên mô tả và thông số kỹ thuật để xác định các phân khúc thị trường ngách. Hoặc, phân cụm các khách hàng dựa trên lịch sử mua sắm và đánh giá để cá nhân hóa các chiến dịch marketing. Việc áp dụng đúng thuật toán phân cụm giúp khám phá cấu trúc tiềm ẩn trong dữ liệu và mang lại những hiểu biết sâu sắc về thị trường và người tiêu dùng.

4.1. Thuật toán phân hoạch K means và ứng dụng cơ bản

K-means là một trong những thuật toán phân cụm phổ biến và đơn giản nhất. Nó hoạt động bằng cách phân chia một tập dữ liệu thành K cụm được xác định trước. Thuật toán sẽ lặp đi lặp lại hai bước: (1) Gán mỗi điểm dữ liệu vào cụm có tâm (centroid) gần nhất; (2) Cập nhật lại vị trí tâm của mỗi cụm bằng cách lấy trung bình của tất cả các điểm dữ liệu trong cụm đó. K-means rất hiệu quả với các tập dữ liệu lớn và các cụm có dạng hình cầu. Trong phân tích dữ liệu đối thủ, K-means có thể được dùng để phân nhóm các sản phẩm của đối thủ thành các cụm giá khác nhau (giá rẻ, tầm trung, cao cấp).

4.2. Thuật toán dựa trên mật độ DBSCAN xử lý nhiễu

DBSCAN (Density-Based Spatial Clustering of Applications with Noise) là một thuật toán mạnh mẽ có khả năng khám phá các cụm với hình dạng bất kỳ và tự động xác định các điểm dữ liệu nhiễu (outliers). Thay vì dựa vào tâm cụm, DBSCAN định nghĩa cụm là một vùng có mật độ điểm dữ liệu cao, được ngăn cách bởi các vùng có mật độ thấp. Điều này làm cho nó đặc biệt hữu ích trong việc phân tích các đánh giá của người dùng, nơi các chủ đề chính (ví dụ: phàn nàn về pin, khen ngợi camera) sẽ nổi lên như những cụm dày đặc, trong khi các bình luận không liên quan sẽ được xác định là nhiễu và loại bỏ.

V. Ứng dụng thực tiễn của khai thác dữ liệu sản phẩm

Việc khai thác thông tin sản phẩm từ web không chỉ dừng lại ở lý thuyết mà còn có nhiều ứng dụng thực tiễn mang lại giá trị kinh doanh to lớn. Một trong những ứng dụng phổ biến nhất là phân tích dữ liệu đối thủ. Bằng cách tự động hóa thu thập dữ liệu từ các trang web của đối thủ cạnh tranh, doanh nghiệp có thể theo dõi danh mục sản phẩm, chiến lược giá, và các chương trình khuyến mãi của họ theo thời gian thực. Ứng dụng quan trọng khác là giám sát giá và so sánh giá sản phẩm. Các hệ thống tự động có thể liên tục quét các trang thương mại điện tử để đảm bảo giá của doanh nghiệp luôn cạnh tranh, đồng thời phát hiện các cơ hội điều chỉnh giá để tối đa hóa lợi nhuận. Hơn nữa, việc phân tích hàng triệu ý kiến khách hàng giúp doanh nghiệp nắm bắt được "tiếng nói của khách hàng" (Voice of the Customer), từ đó xác định các vấn đề cần cải tiến trong sản phẩm và dịch vụ. Các hệ thống đề xuất sản phẩm trên Amazon hay Netflix cũng dựa trên việc khai phá dữ liệu về hành vi người dùng để đưa ra gợi ý cá nhân hóa, tăng cường sự gắn kết và thúc đẩy doanh số. Cuối cùng, khai phá dữ liệu còn hỗ trợ nghiên cứu thị trường, giúp xác định các xu hướng mới nổi và nhu cầu chưa được đáp ứng của thị trường.

5.1. Hệ thống giám sát giá và phân tích đối thủ cạnh tranh

Một hệ thống giám sát giá tự động sử dụng web scraping để thu thập dữ liệu giá của một sản phẩm cụ thể từ nhiều nhà bán lẻ trực tuyến khác nhau. Dữ liệu này sau đó được tổng hợp vào một bảng điều khiển, cho phép các nhà quản lý nhanh chóng so sánh giá sản phẩm và đưa ra quyết định về giá. Tương tự, hệ thống phân tích dữ liệu đối thủ có thể theo dõi việc ra mắt sản phẩm mới, thay đổi mô tả, hoặc các chiến dịch marketing của đối thủ, cung cấp thông tin tình báo cạnh tranh quý giá.

5.2. Phân tích ý kiến người dùng và xu hướng thị trường

Bằng cách thu thập các bài đánh giá, bình luận từ các diễn đàn, mạng xã hội và trang thương mại điện tử, doanh nghiệp có thể sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên để phân tích cảm xúc (Sentiment Analysis). Kỹ thuật này tự động xác định xem một ý kiến là tích cực, tiêu cực hay trung lập. Tổng hợp kết quả này trên quy mô lớn giúp phát hiện các xu hướng, ví dụ như một tính năng nào đó đang được yêu thích hoặc một lỗi sản phẩm đang gây ra nhiều phàn nàn, từ đó định hướng cho việc phát triển sản phẩm và nghiên cứu thị trường.

VI. Kết luận Tương lai của tự động hóa thu thập dữ liệu

Quá trình khai thác thông tin sản phẩm từ web đã và đang thay đổi căn bản cách các doanh nghiệp hoạt động và cạnh tranh. Việc tự động hóa thu thập dữ liệu không chỉ giúp tiết kiệm chi phí và thời gian mà còn mở ra những khả năng phân tích sâu rộng mà trước đây không thể thực hiện được. Trong tương lai, xu hướng này sẽ tiếp tục phát triển mạnh mẽ hơn với sự tích hợp của Trí tuệ nhân tạo (AI) và Học máy (Machine Learning). Các hệ thống data extraction sẽ trở nên thông minh hơn, có khả năng tự động thích ứng với sự thay đổi cấu trúc của website và hiểu ngữ nghĩa của dữ liệu một cách sâu sắc hơn. Các mô hình ngôn ngữ lớn (LLMs) có thể được sử dụng để tóm tắt hàng ngàn bài đánh giá sản phẩm thành những gạch đầu dòng ngắn gọn, súc tích. Tuy nhiên, cùng với sự phát triển về công nghệ, các thách thức về pháp lý và đạo đức trong web scraping cũng sẽ ngày càng được quan tâm. Việc xây dựng các quy tắc và chuẩn mực rõ ràng cho việc thu thập và sử dụng dữ liệu web sẽ là yếu tố then chốt để đảm bảo sự phát triển bền vững và có trách nhiệm của lĩnh vực này trong tương lai.

6.1. Xu hướng tích hợp AI và học máy vào data extraction

Trí tuệ nhân tạo đang làm cho quá trình data extraction trở nên hiệu quả hơn. Các mô hình học máy có thể được huấn luyện để tự động nhận dạng các vùng dữ liệu quan trọng trên một trang web (như khối sản phẩm, vùng giá) mà không cần các quy tắc thủ công. Điều này giúp hệ thống có khả năng chống lại sự thay đổi về giao diện của trang web. AI cũng giúp nâng cao chất lượng dữ liệu bằng cách tự động phát hiện và sửa lỗi, đồng thời phân tích ngữ nghĩa của văn bản để trích xuất các thông tin phức tạp như đặc tính sản phẩm hay ý định của người dùng.

6.2. Thách thức về pháp lý và đạo đức trong web scraping

Hoạt động web scraping luôn tồn tại trong một "vùng xám" pháp lý. Mặc dù việc thu thập dữ liệu công khai thường được coi là hợp pháp ở nhiều khu vực, việc này có thể vi phạm điều khoản dịch vụ của một trang web. Các doanh nghiệp cần cẩn trọng để không thu thập dữ liệu cá nhân, thông tin có bản quyền, hoặc gây quá tải cho máy chủ của trang web mục tiêu. Xây dựng một chính sách cào dữ liệu web có đạo đức, tôn trọng quyền riêng tư và quyền sở hữu trí tuệ, là điều cần thiết để giảm thiểu rủi ro pháp lý và duy trì uy tín.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 CÁC KHÁI NIỆM CƠ BẢN Khai phá dữ liệu là một hướng nghiên ra đời hơn một thập niên trở lại đây.Các kỹ thuật chính được áp dụng trong lĩnh vực này phần lớn được thừa kế từ lĩnh vực Cơ sở dữ liệu,học máy, trí tuệ nhân tạo, lý thuyết thông tin, xác suất thống kê, và tính toán hiệu năng cao. Do sự phát triển nhanh của Khai phá dữ liệu về phạm vi áp dụng và các phương pháp tìm kiếm tri thức, nên đã có nhiều quan điểm khác nhau về Khai phá dữ liệu. Tuy nhiên, ở một mức trừu tượng nhất định, theo [1] khái niệm Khai phá dữ liệu như sau: “Khai phá dữ liệu là một quá trình tìm kiếm, phân tích, phát hiện các tri thức mới, tiềm ẩn, hữu dụng trong các cơ sở dữ liệu lớn.” Trong lĩnh vực khai phá dữ liệu, có nhiều hướng nghiên cứu được đưa ra trong đó có một số hướng chính được nhiều nhà nghiên cứu quan tâm. Khai phá dữ liệu văn bản,Web, Trích chọn thông tin, Phân tích mạng xã hội, khai phá quan điểm, Phân tích dữ liệu kinh tế - tài chính, Khai phá dữ liệu sinh học, y tế,… Khóa luận này hướng đến việc tìm hiểu và xây dựng hệ thống thống nhằm khai thác thông tin các sản phẩm mà người tiêu dùng đã đánh giá trên Internet, cụ thể là các trang web.

Người tiêu dùng có mua, sử dụng các sản phẩm và họ đã có cảm nhận và suy nghĩ về sản phẩm đó. Đôi lúc họ đưa những cảm nhận về sản phẩm nào đó lên các trang web cá nhân, các diễn đàn, … trên Internet. Bài toán mà khóa luận này tìm cách giải quyết là tìm cách khai thác các thông tin về một sản phẩm cụ thể nào đó trên Internet, thống kê để phục vụ cho công tác khảo sát và đánh giá sản phẩm trên thị trường. Sau đây là một số khái niệm được sử dụng.

Thông tin sản phẩm: Là thông tin mô tả về nguồn gốc, tính năng kỹ thuật, tính chất lý hóa tính, công dụng chính, giá thành, màu sắc, hình dáng, kích thước, … của sản phẩm. 9 Ý kiến người dùng sản phẩm: Là các thông tin người dùng phản ánh về sản phẩm được thể hiện qua các từ đánh giá về ưu điểm như: Tốt, thuận tiện, tiết kiệm, bền, rẻ, đẹp, phong phú, đa dạng, mượt mà, mịn, … hoặc được đánh giá nhược điểm: Xấu, kém, mau hỏng, hàng giả, hàng nhái, … hoặc được thể hiện mong muốn về sản phẩm qua các từ như: giá như, giá mà, cần, phải, để tốt hơn, … Xu hướng: Là các từ liên quan đến các mong muốn của người dùng về sản phẩm. Được chi thành xu hướng tốt hoặc xấu hoặc không thiện cảm. + Xu hướng tốt: Xu hướng đánh giá thông tin sản phẩm tốt + Xu hướng xấu: Xu hướng đánh giá thông tin sản phẩm xấu + Xu hướng không thiện cảm: Xu hướng không khen, không chê sản phẩm.

Người tiêu dùng: Là người mua hoặc người sử dụng sản phẩm hoặc người có ý định mua hay sử dụng sản phẩm có gửi thông tin lên Internet. Người dùng: Người có tương tác với hệ thống. Người quản trị: Người có nhiệm vụ quản lý hệ thống. Máy tìm kiếm:Các cỗ máy tìm kiếm thông tin trên Internet: Google, Yahoo, Bing, … Sản phẩm: Là tất cả các mặt hàng đang được tiêu thụ trên thị trường bao gồm thị trường trong nước và nước ngoài.2 KHÁM PHÁ TRI THỨC TRONG CƠ SỞ DỮ LIỆU Khai phá dữ liệu là lĩnh vực có liên quan đến nhiều ngành khác nhau như: thống kê, học máy, tính toán phân tán,cơ sở dữ liệu, thuật toán, mô hình hóa dữ liệu, … Mục tiêu của khai phá dữ liệu là khám phá tri thức từ đó dùng hỗ trợ ra quyết định, trong lĩnh vực hẹp này có thể được chia thành một số giai đoạn [3][4]:  Trích chọn dữ liệu: bước này trích những bộ dữ liệu cần được khám phá từ các hệ thống dữ liệu (databases, data warehouses, data repositories) ban đầu theo một số tiêu chí nhất định.

10  Tiền xử lý dữ liệu:Bước này làm sạch dữ liệu (xử lý những dữ liệu dư thừa, nhiễu, .), rút gọn dữ liệu (áp dụng các thuật toán lấy mẫu, .), rời rạc hóa dữ liệu. Kết quả là dữ liệu sẽ nhất quán, đầy đủ, được rút gọn, và được rời rạc hóa.  Biến đổi dữ liệu:Đây là bước chuẩn hóa dữ liệu, tinh chỉnh dữ liệu để đưa dữ liệu về dạng chuẩn để giúp kỹ thuật khai phá dữ liệu ở bước sau.  Khai phá dữ liệu: Áp dụng những kỹ thuật phân tích nhằm để trích chọn thông tin, những mối liên hệ đặc biệt của dữ liệu.

Bước này rất quan trọng và cần nhiều tài nguyên nhất của toàn bộ quá trình khai phá trin thức.  Đánh giá và biểu diễn tri thức: Các mẫu tin và quan hệ giữa chúng đã được rút trích ở bước trên được mã hóa và biểu diễn theo dạng dễ quan sát như đồ thị, cây, bảng biểu, luật,. Bước này cung cấp thông tin cho các nhà quản trị ra quyết định. Các giai đoạn trong KDD được thể hiện trực quan như hình 1 dưới đây: Hình 1.1:Các bước thực hiện trong quá trình khám phá tri thức 11 1.3 CÁC KỸ THUẬT ÁP DỤNG TRONG KHAI PHÁ DỮ LIỆU 1.1 Các kỹ thuật tiếp cận trong Khai phá dữ liệu Khai phá tri thức là một lĩnh vực liên ngành, bao gồm: Tổ chức dữ liệu, học máy, trí tuệ nhân tạo và các khoa học khác, sự kết hợp này có thể được diễn tả như trong hình 1.2 dưới đây: Hình 1.2 Các lĩnh vực liên quan đến Khám phá tri thức trong CSDL Dựa trên quan điểm của học máy thì các kỹ thuật trong Khai phá dữ liệu, bao gồm:  Học có giám sát: Là quá trình gán nhãn lớp cho các phần tử trong CSDL dựa trên một tập các ví dụ huấn luyện và các thông tin về nhãn lớp đã biết.

 Học không có giám sát: Là quá trình phân chia một tập dữ liệu thành các lớp hay là cụm (clustering) dữ liệu tương tự nhau mà chưa biết trước các thông tin về lớp hay tập các ví dụ huấn luyện.  Học nửa giám sát: Là quá trình phân chia một tập dữ liệu thành các lớp dựa trên một tập nhỏ các ví dụ huấn luyện và một số các thông tin về một số nhãn lớp đã biết trước. Theo lớp các bài toán cần giải quyết, thì Khai phá dữ liệu bao gồm các kỹ thuật áp dụng sau:  Phân lớp và dự đoán(classification and prediction): xếp một đối tượng vào một trong những lớp đã biết trước. Ví dụ: phân lớp các bệnh nhân dữ liệu trong hồ sơ bệnh án.

Hướng tiếp cận này thường sử dụng một số kỹ thuật của học máy như cây quyết định (decision tree), mạng nơ ron nhân 12 tạo (neural network),. Phân lớp và dự đoán còn được gọi là học có giám sát.  Luật kết hợp (association rules): là dạng luật biểu diễn tri thứ ở dạng khá đơn giản. Ví dụ: “60 % nữ giới vào siêu thị nếu phấn thì có tới 80% trong số họ sẽ mua thêm son”.

Luật kết hợp được ứng dụng nhiều trong lĩnh vực kinh doanh, y học, tin-sinh, tài chính và thị trường chứng khoán,.  Phân tích chuỗi theo thời gian (sequential/ temporal patterns): tương tự như khai phá luật kết hợp nhưng có thêm tính thứ tự và tính thời gian. Hướng tiếp cận này được ứng dụng nhiều trong lĩnh vực tài chính và thị trường chứng khoán vì nó có tính dự báo cao.  Phân cụm (clustering/ segmentation): xếp các đối tượng theo từng cụm dữ liệu tự nhiên.

Phân cụm còn được gọi là học không có giám sát ( unsupervised learning).  Mô tả khái niệm (concept description and summarization): thiên về mô tả, tổng hợp và tóm tắt khái niệm. Ví dụ: tóm tắt văn bản.2 Các dạng dữ liệu có thể khai phá Do Khai phá dữ liệu được ứng dụng rộng rãi trên nhiều lĩnh vực có thể làm việc với rất nhiều kiểu dữ liệu khác nhau. Ví dụ: Cơ sở dữ liệuquan hệ, dữ liệu đa chiều, Cơ sở dữ liệu quan hệ - hướng đối tượng, Cơ sở dữ liệu có thuộc tính không gian và thời gian, Cơ sở dữ liệu chuỗi thời gian, Cơ sở dữ liệu đa phương tiện, … 1.4 TÌM KIẾM THÔNG TIN TRÊN INTERNET Theo [thụy1] máy tìm kiếm là một hệ thống phần mềm được xây dựng nhằm tiếp nhận yêu cầu tìm kiếm của người dùng, sau đó phân tích yêu cầu này và tìm kiếm thông tin trong cơ sở dữ liệu được tải xuống từ Internet và đưa ra kết quả là danh sách các trang Web lên quan với yêu cầu người dùng.

Về cơ bản, mọi kỹ thuật tập trung vào máy tìm kiếm ( Searche engine). Hiện nay trên thế giới có rất nhiều máy tìm kiếm, điển hình là Google, Bing, Yahoo,…,và một số máy tìm kiếm có cách thực hiện rất đặc biệt không chỉ đưa ra kết quả tìm kiếm là các địa chỉ chứa thông tin mà tìm kiếm và tổng hợp tri thức như 13 Wolframanpha, máytìm kiếm này còn biết cách trả lời các vấn đề mang tính chất đặc thù chuyên ngành như toán học, lý, hóa, lịch sử, địa lý,… Kiến trúc cơ bản của máy tìm kiếm gồm các khối như truy vấn dữ liệu, đánh chỉ mục, phân loại dữ liệu….Nói chung, máy tìm kiếm thực hiện một số thao tác cơ bản sau: Bước 1: Phân tích các yêu cầu của người dùng, phân loại và đánh chỉ mục các yêu cầu này, lưu vào hệ thống. Bước 2:Các kết quả tìm kiếm cũng được phân tích, đánh chỉ mục và lưu vào hệ thống. Bước 3: Khi có yêu cầu tìm kiếm thông tin, máy tìm kiếm so khớp yêu cầu với các yêu cầu đã có sẵn nếu phù hợp sẽ đưa kết quả ra luôn, nếu yêu cầu này chưa có thì sẽ tìm thông tin rồi thao tác lại bước 1.

Đối với kết quả tìm kiếm mới sẽ bổ sung như bước 2. Sau đây là sơ đồ kiến trúc chung của một số khối trong máy tìm kiếm [2]. Khối Truy vấn Hình 1.3: Sơ đồ khối Khối truy vấn Khối truy vấn nhận thông tin từ người dùng theo dạng văn bản. Từ đó phân loại, xác định yêu cầu của câu truy vấn xem thuộc nhóm nào? Đánh giá và phân tích câu.

Tìm kiếm trong cơ sở dữ liệu chỉ mục rồi trả lại kết quả tìm kiếm cho người dùng. 14 Khối Đánh chỉ mục Hình1.4: Sơ đồ khối Đánh chỉ mục Trong khóa luận này máy tìm kiếm Google được sử dụng làm công cụ để lấy thông tin. Do đó, phần sau sẽ khảo sát kỹ hơn về máy tìm kiếm của Google. Tên gọi của máy tìm kiếm Google có nguồn gốc từ chữ “Googol”.