Khai Thác Thông Tin Về Sản Phẩm Từ Web: Phương Pháp Và Ứng Dụng

Trong bối cảnh kinh tế số, Web đã trở thành một kho tài nguyên dữ liệu khổng lồ, chứa đựng vô số thông tin giá trị về sản phẩm, dịch vụ và hành vi… 60 trang.

• Đề tài: Khai Thác Thông Tin Sản Phẩm Từ Web: Phương Pháp Và Ứng Dụng

Mục lục chi tiết

• DANH SÁCH CÁC HÌNH
• DANH SÁCH BẢNG BIỂU
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
• 1.1. CÁC KHÁI NIỆM CƠ BẢN
• 1.2. KHÁM PHÁ TRI THỨC TRONG CƠ SỞ DỮ LIỆU
• 1.3. CÁC KỸ THUẬT ÁP DỤNG TRONG KHAI PHÁ DỮ LIỆU
• 1.3.1. Các kỹ thuật tiếp cận trong Khai phá dữ liệu
• 1.3.2. Các dạng dữ liệu có thể khai phá
• 1.4. TÌM KIẾM THÔNG TIN TRÊN INTERNET
• 1.5. PHÂN LOẠI THÔNG TIN TÌM KIẾM
• 1.6. TỔ CHỨC LƯU TRỮ THÔNG TIN TÌM KIẾM
• 1.7. XỬ LÝ THÔNG TIN
• 2. CHƯƠNG 2: KHAI PHÁ VÀ TỔNG HỢP DỮ LIỆU
• 2.1. PHÂN CỤM DỮ LIỆU
• 2.2. CÁC ỨNG DỤNG CỦA PHÂN CỤM DỮ LIỆU
• 2.3. CÁC KIỂU DỮ LIỆU VÀ ĐỘ ĐO TƯƠNG TỰ
• 2.4. CÁC YÊU CẦU CẦN THIẾT CHO TẠO DỤNG KỸ THUẬT PCDL
• 2.5. MỘT SỐ THUẬT TOÁN PHÂN CỤM DỮ LIỆU ĐIỂN HÌNH
• 3. CHƯƠNG 3: HỆ THỐNG ĐÁNH GIÁ THÔNG TIN SẢN PHẨM
• 3.1. Phát biểu bài toán
• 3.2. Xác định mô hình nghiệp vụ
• 3.3. Phân tích hệ thống
• 3.4. Thiết kế hệ thống
• 3.5. Thiết kế chương trình
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về khai thác thông tin sản phẩm từ web

Trong bối cảnh kinh tế số, Web đã trở thành một kho tài nguyên dữ liệu khổng lồ, chứa đựng vô số thông tin giá trị về sản phẩm, dịch vụ và hành vi người tiêu dùng. Khai thác thông tin sản phẩm từ Web là quá trình sử dụng các công nghệ tự động để thu thập, xử lý và phân tích dữ liệu này. Quá trình này không chỉ đơn thuần là sao chép thông tin, mà còn bao gồm việc trích xuất dữ liệu website một cách có hệ thống để chuyển đổi dữ liệu phi cấu trúc thành dữ liệu có cấu trúc, sẵn sàng cho việc phân tích. Theo chuyên đề tốt nghiệp của Trần Nguyễn Anh Tuấn (2024), mục tiêu của việc này là "hỗ trợ các doanh nghiệp có thêm một kênh thông tin về các sản phẩm trên thị trường", từ đó đưa ra các quyết định kinh doanh chiến lược. Các kỹ thuật như web scraping hay cào dữ liệu web là nền tảng của quá trình này, cho phép thu thập thông tin ở quy mô lớn, điều mà phương pháp thủ công không thể thực hiện được. Thông tin thu thập được rất đa dạng, bao gồm mô tả sản phẩm, giá cả, thông số kỹ thuật, và quan trọng nhất là ý kiến, đánh giá của người dùng. Việc phân tích các nguồn dữ liệu này giúp doanh nghiệp thực hiện nghiên cứu thị trường, hiểu rõ hơn về đối thủ cạnh tranh, và nắm bắt xu hướng tiêu dùng một cách nhanh chóng và chính xác.

1.1. Tầm quan trọng của dữ liệu sản phẩm trong kinh doanh

Dữ liệu sản phẩm là tài sản cốt lõi giúp doanh nghiệp định vị trên thị trường. Việc thu thập dữ liệu sản phẩm một cách chính xác và đầy đủ cho phép doanh nghiệp hiểu rõ điểm mạnh, điểm yếu của mình so với đối thủ. Nó cung cấp nền tảng cho việc so sánh giá sản phẩm, tối ưu hóa chiến lược định giá, và xác định các cơ hội thị trường mới. Hơn nữa, phân tích dữ liệu về ý kiến người dùng giúp doanh nghiệp cải tiến chất lượng sản phẩm, điều chỉnh các chiến dịch marketing và nâng cao trải nghiệm khách hàng. Trong môi trường cạnh tranh khốc liệt, việc ra quyết định dựa trên dữ liệu (data-driven decision making) không còn là một lựa chọn mà là yêu cầu bắt buộc để tồn tại và phát triển.

1.2. Khái niệm cơ bản về cào dữ liệu web web scraping

Web scraping, hay còn gọi là cào dữ liệu web hoặc data extraction, là kỹ thuật tự động hóa việc trích xuất một lượng lớn dữ liệu từ các trang web. Thay vì truy cập và sao chép thủ công, một chương trình máy tính (bot hoặc scraper) sẽ truy cập vào trang web, phân tích cấu trúc HTML của nó và rút ra những thông tin cần thiết như tên sản phẩm, giá, mô tả, đánh giá. Dữ liệu sau khi trích xuất thường được lưu trữ dưới dạng có cấu trúc như file CSV, Excel hoặc trong cơ sở dữ liệu để dễ dàng phân tích. Đây là công nghệ nền tảng cho phép tự động hóa thu thập dữ liệu, giúp tiết kiệm thời gian, nguồn lực và đảm bảo tính nhất quán của dữ liệu.

II. Thách thức chính khi khai thác thông tin sản phẩm từ web

Mặc dù mang lại nhiều lợi ích, quá trình khai thác thông tin sản phẩm từ web phải đối mặt với không ít thách thức kỹ thuật và phi kỹ thuật. Một trong những khó khăn lớn nhất đến từ bản chất đa dạng và luôn thay đổi của các trang web. Cấu trúc của một website có thể thay đổi mà không báo trước, khiến các công cụ web scraping bị lỗi và ngừng hoạt động. Hơn nữa, dữ liệu trên web phần lớn là phi cấu trúc, tồn tại dưới dạng văn bản tự nhiên, hình ảnh, video, đòi hỏi các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) và thị giác máy tính phức tạp để trích xuất dữ liệu website một cách chính xác. Chuyên đề của Trần Nguyễn Anh Tuấn (2024) nhấn mạnh rằng dữ liệu thô thu về thường chứa "nhiễu" (noise), tức là các thông tin không liên quan, dư thừa hoặc sai lệch, cần phải trải qua giai đoạn tiền xử lý kỹ lưỡng. Các trang web thương mại điện tử lớn cũng thường triển khai các biện pháp chống cào dữ liệu như CAPTCHA, chặn IP, hoặc yêu cầu đăng nhập, tạo ra rào cản kỹ thuật đáng kể. Cuối cùng, các vấn đề về pháp lý và đạo đức cũng là một thách thức, đòi hỏi người thực hiện phải tuân thủ các điều khoản dịch vụ của trang web và các quy định về bảo vệ dữ liệu.

2.1. Vấn đề dữ liệu phi cấu trúc và nhiễu thông tin

Dữ liệu sản phẩm trên web thường không được tổ chức theo một định dạng chuẩn. Các đánh giá của người dùng là văn bản tự do, mô tả sản phẩm có thể chứa các thẻ HTML, và thông tin giá cả có thể được nhúng trong mã JavaScript. Việc chuyển đổi dữ liệu này thành dữ liệu có cấu trúc (ví dụ: bảng với các cột Tên, Giá, Đánh giá) là một bài toán phức tạp. Hơn nữa, dữ liệu thu thập được thường bị nhiễu, ví dụ như chứa các quảng cáo, menu điều hướng, hoặc các bình luận không liên quan. Việc làm sạch và chuẩn hóa dữ liệu là một bước bắt buộc và tốn nhiều công sức để đảm bảo chất lượng của quá trình phân tích sau này.

2.2. Các rào cản kỹ thuật khi trích xuất dữ liệu website

Nhiều website chủ động ngăn chặn các hoạt động cào dữ liệu web để bảo vệ tài nguyên của họ. Các kỹ thuật phổ biến bao gồm: chặn các địa chỉ IP có tần suất truy cập cao bất thường, sử dụng CAPTCHA để xác minh người dùng là con người, và tải nội dung động bằng JavaScript, khiến các scraper đơn giản không thể đọc được. Để vượt qua các rào cản này, cần sử dụng các công cụ web scraping tiên tiến hơn như Selenium, có khả năng điều khiển trình duyệt như người dùng thật, hoặc sử dụng các dịch vụ proxy xoay vòng để thay đổi địa chỉ IP. Các kỹ thuật này đòi hỏi chuyên môn kỹ thuật cao và làm tăng độ phức tạp của dự án.

III. Phương pháp khai phá dữ liệu để trích xuất thông tin web

Khai phá dữ liệu (Data Mining) là một quy trình khoa học nhằm khám phá các mẫu tiềm ẩn, hữu ích từ các tập dữ liệu lớn. Đây là cốt lõi của việc khai thác thông tin sản phẩm từ web. Thay vì chỉ thu thập, khai phá dữ liệu tập trung vào việc tìm kiếm tri thức. Theo mô hình Khám phá tri thức trong Cơ sở dữ liệu (KDD) được trích dẫn trong tài liệu nghiên cứu (Trần Nguyễn Anh Tuấn, 2024), quy trình này bao gồm nhiều giai đoạn chặt chẽ. Bắt đầu từ việc trích chọn dữ liệu thô từ web, sau đó là tiền xử lý để làm sạch, xử lý nhiễu và dữ liệu thiếu. Giai đoạn tiếp theo là biến đổi dữ liệu, chuẩn hóa để đưa chúng về một định dạng phù hợp cho các thuật toán phân tích. Giai đoạn quan trọng nhất là áp dụng các kỹ thuật khai phá dữ liệu như phân lớp, phân cụm, hoặc khai phá luật kết hợp để tìm ra các mối quan hệ và tri thức mới. Cuối cùng, các tri thức này được đánh giá và biểu diễn dưới dạng trực quan như biểu đồ, báo cáo để hỗ trợ việc ra quyết định. Quá trình này đảm bảo rằng thông tin thu thập được không chỉ là một tập hợp dữ liệu rời rạc mà trở thành một nguồn tri thức chiến lược cho doanh nghiệp.

3.1. Quy trình 5 bước khám phá tri thức từ cơ sở dữ liệu

Quy trình KDD là một khung làm việc chuẩn cho các dự án khai phá dữ liệu. Nó bao gồm 5 bước chính: (1) Trích chọn dữ liệu: Lựa chọn và thu thập dữ liệu liên quan từ các nguồn (web, CSDL). (2) Tiền xử lý dữ liệu: Làm sạch dữ liệu, loại bỏ thông tin nhiễu, xử lý các giá trị bị thiếu. (3) Biến đổi dữ liệu: Chuẩn hóa và chuyển đổi dữ liệu sang định dạng phù hợp cho việc khai phá. (4) Khai phá dữ liệu: Áp dụng các thuật toán thông minh để phát hiện các mẫu (patterns). (5) Đánh giá và biểu diễn tri thức: Phân tích các mẫu đã tìm thấy, lọc ra những tri thức hữu ích và trình bày chúng một cách dễ hiểu. Việc tuân thủ quy trình này giúp đảm bảo tính hệ thống và độ tin cậy của kết quả.

3.2. Công nghệ và công cụ web scraping phổ biến hiện nay

Để thực hiện bước trích chọn dữ liệu, có nhiều công cụ web scraping mạnh mẽ. Python cho web scraping là lựa chọn phổ biến nhất nhờ hệ sinh thái thư viện phong phú. Beautiful Soup là thư viện dùng để phân tích cú pháp (parsing) các tài liệu HTML và XML, giúp trích xuất dữ liệu từ các thẻ một cách dễ dàng. Scrapy là một framework hoàn chỉnh, cung cấp một cấu trúc mạnh mẽ để xây dựng các trình cào dữ liệu quy mô lớn, có khả năng xử lý bất đồng bộ và quản lý request hiệu quả. Đối với các trang web sử dụng nhiều JavaScript để tải nội dung, Selenium là công cụ không thể thiếu. Nó tự động hóa trình duyệt web, cho phép tương tác với các trang web động như một người dùng thực thụ để lấy được dữ liệu ẩn.

IV. Cách phân cụm dữ liệu để phân tích thông tin sản phẩm

Phân cụm dữ liệu (Clustering) là một kỹ thuật học không giám sát quan trọng trong khai phá dữ liệu, đặc biệt hiệu quả khi phân tích thông tin sản phẩm. Mục tiêu của phân cụm là tự động nhóm các đối tượng dữ liệu (ví dụ: các đánh giá của người dùng) thành các cụm sao cho các đối tượng trong cùng một cụm có sự tương đồng cao và khác biệt với các đối tượng ở cụm khác. Trong bối cảnh phân tích sản phẩm, kỹ thuật này có thể được sử dụng để tự động phân loại ý kiến người dùng thành các nhóm như "tích cực", "tiêu cực", "góp ý tính năng" mà không cần gán nhãn thủ công. Tài liệu nghiên cứu của Trần Nguyễn Anh Tuấn (2024) đã khảo sát sâu về các thuật toán phân cụm, từ các phương pháp kinh điển như K-means đến các phương pháp hiện đại hơn như DBSCAN. Ví dụ, hệ thống có thể phân cụm các sản phẩm dựa trên mô tả và thông số kỹ thuật để xác định các phân khúc thị trường ngách. Hoặc, phân cụm các khách hàng dựa trên lịch sử mua sắm và đánh giá để cá nhân hóa các chiến dịch marketing. Việc áp dụng đúng thuật toán phân cụm giúp khám phá cấu trúc tiềm ẩn trong dữ liệu và mang lại những hiểu biết sâu sắc về thị trường và người tiêu dùng.

4.1. Thuật toán phân hoạch K means và ứng dụng cơ bản

K-means là một trong những thuật toán phân cụm phổ biến và đơn giản nhất. Nó hoạt động bằng cách phân chia một tập dữ liệu thành K cụm được xác định trước. Thuật toán sẽ lặp đi lặp lại hai bước: (1) Gán mỗi điểm dữ liệu vào cụm có tâm (centroid) gần nhất; (2) Cập nhật lại vị trí tâm của mỗi cụm bằng cách lấy trung bình của tất cả các điểm dữ liệu trong cụm đó. K-means rất hiệu quả với các tập dữ liệu lớn và các cụm có dạng hình cầu. Trong phân tích dữ liệu đối thủ, K-means có thể được dùng để phân nhóm các sản phẩm của đối thủ thành các cụm giá khác nhau (giá rẻ, tầm trung, cao cấp).

4.2. Thuật toán dựa trên mật độ DBSCAN xử lý nhiễu

DBSCAN (Density-Based Spatial Clustering of Applications with Noise) là một thuật toán mạnh mẽ có khả năng khám phá các cụm với hình dạng bất kỳ và tự động xác định các điểm dữ liệu nhiễu (outliers). Thay vì dựa vào tâm cụm, DBSCAN định nghĩa cụm là một vùng có mật độ điểm dữ liệu cao, được ngăn cách bởi các vùng có mật độ thấp. Điều này làm cho nó đặc biệt hữu ích trong việc phân tích các đánh giá của người dùng, nơi các chủ đề chính (ví dụ: phàn nàn về pin, khen ngợi camera) sẽ nổi lên như những cụm dày đặc, trong khi các bình luận không liên quan sẽ được xác định là nhiễu và loại bỏ.

V. Ứng dụng thực tiễn của khai thác dữ liệu sản phẩm

Việc khai thác thông tin sản phẩm từ web không chỉ dừng lại ở lý thuyết mà còn có nhiều ứng dụng thực tiễn mang lại giá trị kinh doanh to lớn. Một trong những ứng dụng phổ biến nhất là phân tích dữ liệu đối thủ. Bằng cách tự động hóa thu thập dữ liệu từ các trang web của đối thủ cạnh tranh, doanh nghiệp có thể theo dõi danh mục sản phẩm, chiến lược giá, và các chương trình khuyến mãi của họ theo thời gian thực. Ứng dụng quan trọng khác là giám sát giá và so sánh giá sản phẩm. Các hệ thống tự động có thể liên tục quét các trang thương mại điện tử để đảm bảo giá của doanh nghiệp luôn cạnh tranh, đồng thời phát hiện các cơ hội điều chỉnh giá để tối đa hóa lợi nhuận. Hơn nữa, việc phân tích hàng triệu ý kiến khách hàng giúp doanh nghiệp nắm bắt được "tiếng nói của khách hàng" (Voice of the Customer), từ đó xác định các vấn đề cần cải tiến trong sản phẩm và dịch vụ. Các hệ thống đề xuất sản phẩm trên Amazon hay Netflix cũng dựa trên việc khai phá dữ liệu về hành vi người dùng để đưa ra gợi ý cá nhân hóa, tăng cường sự gắn kết và thúc đẩy doanh số. Cuối cùng, khai phá dữ liệu còn hỗ trợ nghiên cứu thị trường, giúp xác định các xu hướng mới nổi và nhu cầu chưa được đáp ứng của thị trường.

5.1. Hệ thống giám sát giá và phân tích đối thủ cạnh tranh

Một hệ thống giám sát giá tự động sử dụng web scraping để thu thập dữ liệu giá của một sản phẩm cụ thể từ nhiều nhà bán lẻ trực tuyến khác nhau. Dữ liệu này sau đó được tổng hợp vào một bảng điều khiển, cho phép các nhà quản lý nhanh chóng so sánh giá sản phẩm và đưa ra quyết định về giá. Tương tự, hệ thống phân tích dữ liệu đối thủ có thể theo dõi việc ra mắt sản phẩm mới, thay đổi mô tả, hoặc các chiến dịch marketing của đối thủ, cung cấp thông tin tình báo cạnh tranh quý giá.

5.2. Phân tích ý kiến người dùng và xu hướng thị trường

Bằng cách thu thập các bài đánh giá, bình luận từ các diễn đàn, mạng xã hội và trang thương mại điện tử, doanh nghiệp có thể sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên để phân tích cảm xúc (Sentiment Analysis). Kỹ thuật này tự động xác định xem một ý kiến là tích cực, tiêu cực hay trung lập. Tổng hợp kết quả này trên quy mô lớn giúp phát hiện các xu hướng, ví dụ như một tính năng nào đó đang được yêu thích hoặc một lỗi sản phẩm đang gây ra nhiều phàn nàn, từ đó định hướng cho việc phát triển sản phẩm và nghiên cứu thị trường.

VI. Kết luận Tương lai của tự động hóa thu thập dữ liệu

Quá trình khai thác thông tin sản phẩm từ web đã và đang thay đổi căn bản cách các doanh nghiệp hoạt động và cạnh tranh. Việc tự động hóa thu thập dữ liệu không chỉ giúp tiết kiệm chi phí và thời gian mà còn mở ra những khả năng phân tích sâu rộng mà trước đây không thể thực hiện được. Trong tương lai, xu hướng này sẽ tiếp tục phát triển mạnh mẽ hơn với sự tích hợp của Trí tuệ nhân tạo (AI) và Học máy (Machine Learning). Các hệ thống data extraction sẽ trở nên thông minh hơn, có khả năng tự động thích ứng với sự thay đổi cấu trúc của website và hiểu ngữ nghĩa của dữ liệu một cách sâu sắc hơn. Các mô hình ngôn ngữ lớn (LLMs) có thể được sử dụng để tóm tắt hàng ngàn bài đánh giá sản phẩm thành những gạch đầu dòng ngắn gọn, súc tích. Tuy nhiên, cùng với sự phát triển về công nghệ, các thách thức về pháp lý và đạo đức trong web scraping cũng sẽ ngày càng được quan tâm. Việc xây dựng các quy tắc và chuẩn mực rõ ràng cho việc thu thập và sử dụng dữ liệu web sẽ là yếu tố then chốt để đảm bảo sự phát triển bền vững và có trách nhiệm của lĩnh vực này trong tương lai.

6.1. Xu hướng tích hợp AI và học máy vào data extraction

Trí tuệ nhân tạo đang làm cho quá trình data extraction trở nên hiệu quả hơn. Các mô hình học máy có thể được huấn luyện để tự động nhận dạng các vùng dữ liệu quan trọng trên một trang web (như khối sản phẩm, vùng giá) mà không cần các quy tắc thủ công. Điều này giúp hệ thống có khả năng chống lại sự thay đổi về giao diện của trang web. AI cũng giúp nâng cao chất lượng dữ liệu bằng cách tự động phát hiện và sửa lỗi, đồng thời phân tích ngữ nghĩa của văn bản để trích xuất các thông tin phức tạp như đặc tính sản phẩm hay ý định của người dùng.

6.2. Thách thức về pháp lý và đạo đức trong web scraping

Hoạt động web scraping luôn tồn tại trong một "vùng xám" pháp lý. Mặc dù việc thu thập dữ liệu công khai thường được coi là hợp pháp ở nhiều khu vực, việc này có thể vi phạm điều khoản dịch vụ của một trang web. Các doanh nghiệp cần cẩn trọng để không thu thập dữ liệu cá nhân, thông tin có bản quyền, hoặc gây quá tải cho máy chủ của trang web mục tiêu. Xây dựng một chính sách cào dữ liệu web có đạo đức, tôn trọng quyền riêng tư và quyền sở hữu trí tuệ, là điều cần thiết để giảm thiểu rủi ro pháp lý và duy trì uy tín.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển nhanh chóng của mạng toàn cầu (World Wide Web) đã biến Internet thành một kho tài nguyên dữ liệu khổng lồ với tốc độ tăng trưởng liên tục. Môi trường mạng chứa đựng khối lượng lớn thông tin có giá trị cao, phản ánh trực tiếp các khía cạnh đời sống xã hội và đặc biệt là các hoạt động sản xuất, kinh doanh thương mại. Xuất phát từ thực tiễn kinh doanh, các doanh nghiệp luôn có nhu cầu nắm bắt phản hồi, cảm nhận và xu hướng của người tiêu dùng đối với từng sản phẩm cụ thể. Người tiêu dùng sau khi mua và trải nghiệm sản phẩm thường chia sẻ nhận xét, đánh giá trên các trang web cá nhân, diễn đàn trực tuyến hoặc mạng xã hội. Tuy nhiên, việc thu thập và đánh giá thủ công nguồn dữ liệu phân tán này đòi hỏi nhiều thời gian và nguồn lực.

Trước thực tế đó, đề tài chuyên đề tốt nghiệp "Khai thác thông tin về sản phẩm từ Web" do sinh viên Trần Nguyễn Anh Tuấn thực hiện (ngành Công nghệ Thông tin, năm 2024) tập trung nghiên cứu phương pháp khai thác, phân loại và tổng hợp thông tin sản phẩm từ Internet thông qua máy tìm kiếm nhằm hỗ trợ công tác khảo sát thị trường.

Mục tiêu và các nhiệm vụ nghiên cứu cụ thể của đề tài bao gồm:

1. Nhập và quản lý thông tin sản phẩm: Cung cấp chức năng cho phép người dùng nhập các thuật ngữ, từ khóa và thông số về sản phẩm cần đánh giá theo mô hình phân cấp (nhóm sản phẩm, loại sản phẩm, sản phẩm cụ thể).
2. Tìm kiếm thông tin tự động: Sử dụng thông tin sản phẩm và bộ từ khóa để gửi truy vấn đến máy tìm kiếm (Google), thu thập các liên kết và nội dung chứa ý kiến hoặc xu hướng của người tiêu dùng.
3. Hỗ trợ phân loại và đánh giá: Xử lý dữ liệu văn bản thô thu thập được từ máy tìm kiếm, tiến hành phân loại và thống kê theo các tiêu chí phản hồi (tích cực, tiêu cực, mong muốn cải tiến).
4. Lập báo cáo chuyên môn: Tổng hợp và xuất các báo cáo số liệu về ý kiến của người sử dụng phục vụ công tác ra quyết định trong doanh nghiệp.
5. Xây dựng giao diện ứng dụng: Thiết kế giao diện phần mềm thân thiện, thuận tiện cho thao tác của người dùng và người quản trị hệ thống.

Đối tượng nghiên cứu của khóa luận là các thông tin mô tả sản phẩm (nguồn gốc, tính năng, quy cách, giá thành), ý kiến đánh giá của người tiêu dùng (từ ngữ tích cực như tốt, bền, rẻ, đẹp; từ ngữ tiêu cực như xấu, kém, mau hỏng; từ ngữ thể hiện kỳ vọng như giá như, cần, phải) và các xu hướng phản hồi (tốt, xấu, không thiện cảm) xuất hiện trên các trang web. Phạm vi nghiên cứu tập trung vào việc áp dụng các kỹ thuật khai phá dữ liệu, khảo cứu các thuật toán phân cụm, ứng dụng máy tìm kiếm Google làm công cụ trích xuất và triển khai thử nghiệm hệ thống phần mềm quản lý, đánh giá thông tin sản phẩm.

---

Cơ sở lý thuyết và phương pháp

Khóa luận dựa trên nền tảng lý thuyết về Khám phá tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases - KDD), lý thuyết khai phá dữ liệu (Data Mining), kiến trúc máy tìm kiếm Internet và các giải thuật phân cụm dữ liệu (Clustering).

Quy trình khám phá tri thức trong CSDL được tác giả hệ thống hóa qua 5 giai đoạn chính:

• Trích chọn dữ liệu (Data Selection): Trích xuất tập dữ liệu mục tiêu từ các nguồn lưu trữ ban đầu (cơ sở dữ liệu, kho dữ liệu) theo tiêu chí xác định.
• Tiền xử lý dữ liệu (Data Preprocessing): Làm sạch dữ liệu (xử lý nhiễu, dữ liệu thiếu, dữ liệu dư thừa), rút gọn dữ liệu qua các kỹ thuật lấy mẫu và rời rạc hóa dữ liệu.
• Biến đổi dữ liệu (Data Transformation): Chuẩn hóa và tinh chỉnh cấu trúc dữ liệu để phục vụ giai đoạn khai phá tiếp theo.
• Khai phá dữ liệu (Data Mining): Áp dụng các thuật toán phân tích nhằm phát hiện các mẫu quan hệ, cấu trúc tiềm ẩn trong dữ liệu (đây là bước tiêu tốn nhiều tài nguyên tính toán nhất).
• Đánh giá và biểu diễn tri thức (Knowledge Evaluation & Representation): Mã hóa và trực quan hóa các mẫu tri thức dưới dạng cây, đồ thị, bảng biểu hoặc luật để hỗ trợ ra quyết định.

Về mặt phương pháp nghiên cứu, tác giả kết hợp hai hướng tiếp cận chính:

1. Phương pháp nghiên cứu lý thuyết: Tổng hợp tài liệu học thuật về các kỹ thuật khai phá dữ liệu (học có giám sát, học không giám sát, học nửa giám sát; phân lớp, luật kết hợp, chuỗi thời gian, phân cụm); phân tích toán học và nguyên lý hoạt động của các thuật toán phân cụm dữ liệu phân hoạch, phân cấp và dựa trên mật độ; khảo cứu kiến trúc các khối chức năng của máy tìm kiếm.
2. Phương pháp phân tích và thiết kế hệ thống hướng đối tượng: Sử dụng ngôn ngữ mô hình hóa thống nhất (UML) để phân tích yêu cầu nghiệp vụ, xác định tác nhân, xây dựng biểu đồ ca sử dụng (Use Case Diagram), biểu đồ tuần tự (Sequence Diagram), biểu đồ cộng tác (Collaboration Diagram) và biểu đồ lớp (Class Diagram).

Nguồn dữ liệu thực nghiệm được lấy từ các trang web trên mạng Internet thông qua các truy vấn gửi tới máy tìm kiếm Google, sau đó được lưu trữ và quản lý trong hệ quản trị cơ sở dữ liệu Microsoft SQL Server.

---

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết

Chương 1 thiết lập các định nghĩa cơ bản và bức tranh tổng quan về khai phá dữ liệu và tìm kiếm thông tin trên Internet. Tác giả định nghĩa khai phá dữ liệu là quá trình tìm kiếm, phân tích và phát hiện các tri thức mới, tiềm ẩn và hữu dụng trong các cơ sở dữ liệu lớn. Các kỹ thuật chính được phân loại theo bài toán bao gồm: phân lớp và dự đoán, luật kết hợp, phân tích chuỗi thời gian, phân cụm và mô tả khái niệm/tóm tắt văn bản.

Về tìm kiếm thông tin trên Internet, tác giả phân tích kiến trúc của máy tìm kiếm thông qua hai khối chức năng cốt lõi: Khối truy vấn (tiếp nhận văn bản từ người dùng, phân tích câu truy vấn, đối sánh với chỉ mục và trả kết quả) và Khối đánh chỉ mục (thu thập tài liệu, phân tích nội dung, lưu trữ chỉ số). Tác giả khảo sát các đặc tính kỹ thuật nổi bật của máy tìm kiếm Google như công nghệ crawling tốc độ cao, khả năng đánh chỉ số trên hàng trăm terabyte dữ liệu, đáp ứng hàng trăm nghìn truy vấn mỗi giây cùng các toán tử tìm kiếm (Boolean, Proximity, Truncation, Fields, Limits, Stop words, Sorting).

Về tổ chức lưu trữ và xử lý, dữ liệu nhận về từ máy tìm kiếm được định nghĩa là văn bản phi cấu trúc (chứa văn bản lẫn các thẻ HTML) và được lưu vào SQL Server dưới dạng bảng trung gian. Tác giả đưa ra cấu trúc bảng lưu trữ kết quả và bảng khóa tìm kiếm:

Tên bảng / Trường	Cột 1	Cột 2	Cột 3	Cột 4
Bảng lưu kết quả tìm kiếm	WebsiteID (Mã trang web)	SearchID (Mã tìm kiếm)	Url (Địa chỉ trang web)	Content (Văn bản thô)
Bảng SearchTable	SearchID (Mã tìm kiếm)	SearchKeys (Bộ từ khóa)	ProductID (Mã sản phẩm)	SearchEngineID (Mã máy tìm kiếm)

Chương 2: Khai phá và tổng hợp dữ liệu

Chương 2 đi sâu vào lý thuyết phân cụm dữ liệu – phương pháp học không giám sát nhằm phát hiện các cấu trúc mẫu tự nhiên trong tập dữ liệu lớn. Tác giả phân tích các ứng dụng của phân cụm trong thương mại, khoa học tự nhiên, nghiên cứu trái đất và khai phá dữ liệu Web (khai thác quan điểm người dùng, xu hướng tiêu dùng).

Chương này trình bày chi tiết cách phân loại dữ liệu và thuộc tính dựa trên kích thước miền (liên tục, rời rạc/nhị phân) và theo hệ đo: thuộc tính định danh (nominal), thuộc tính có thứ tự (ordinal), thuộc tính khoảng (interval), thuộc tính tỉ lệ (ratio) cùng các đặc tính của dữ liệu không gian (spatial data). Đồng thời, tác giả chỉ ra 9 yêu cầu kỹ thuật đối với một thuật toán phân cụm hiệu quả: khả năng mở rộng (scalability), thích nghi đa kiểu dữ liệu, khám phá cụm hình thù bất kỳ, giảm thiểu tham số đầu vào, ít nhạy cảm với thứ tự dữ liệu vào, khả năng thích nghi dữ liệu nhiễu cao, ít nhạy cảm tham số, thích nghi dữ liệu đa chiều và tính dễ cài đặt.

Nội dung trọng tâm của chương là việc khảo cứu chi tiết các họ thuật toán phân cụm kinh điển:

Họ thuật toán	Tên thuật toán	Tác giả / Năm đề xuất	Cơ chế hoạt động chính	Độ phức tạp tính toán
Phân hoạch (Partitional)	k-means	MacQueen (1967)	Khởi tạo k trọng tâm, gán điểm theo khoảng cách Euclide, cập nhật trọng tâm theo trung bình cộng cho đến khi hàm sai số E tối thiểu.	Phụ thuộc số vòng lặp và k, n
	CLARA	Kaufman (1990)	Lấy 5 mẫu ngẫu nhiên kích thước (40 + 2k), áp dụng PAM trên mẫu để tìm medoid đại diện, chọn phân hoạch có độ phi tương tự trung bình nhỏ nhất.	$O(k(40+k)^2 + k(n-k))$
	CLARANS	Ng và Han	Tìm kiếm tối ưu cục bộ ngẫu nhiên bằng cách hoán đổi medoid với láng giềng; giới hạn số láng giềng duyệt bởi tham số Maxneighbor và số vòng lặp Numlocal.	Tối ưu hơn CLARA trên dữ liệu lớn
Phân cấp (Hierarchical)	BIRCH	Zhang et al.	Chiến lược top-down; xây dựng cây CF-tree cân bằng lưu bộ ba đặc trưng cụm $(n, LS, SS)$ với 2 tham số: hệ số nhánh $B$ và ngưỡng bán kính $T$.	Đọc dữ liệu 1 lần ($O(n)$)
	CURE	Guha et al.	Chiến lược bottom-up; sử dụng nhiều điểm đại diện co về tâm để nhận diện cụm hình thù bất kỳ, kết hợp phân hoạch mẫu và loại bỏ ngoại lai.	$O(n^2 \log n)$
Dựa trên mật độ (Density-based)	DBSCAN	Ester et al.	Mở rộng cụm dựa trên tính liên thông mật độ với 2 tham số bán kính láng giềng $Eps$ và số điểm láng giềng tối thiểu $MinPts$.	$O(n \log n)$ (với chỉ mục không gian)
	OPTICS	Ankerst et al.	Mở rộng DBSCAN; sắp xếp thứ tự các điểm dữ liệu để phản ánh cấu trúc phân cụm mật độ tương ứng với dãy tham số đầu vào.	$O(n \log n)$
	DENCLUE	Hinneburg & Keim	Sử dụng hàm ảnh hưởng (Influence Function) như phân phối Gaussian để tính hàm mật độ toàn cục; xác định cụm tại các điểm cực đại mật độ (density attractors).	$O(n \log n)$

Chương 3: Hệ thống đánh giá thông tin sản phẩm

Chương 3 trình bày toàn bộ quá trình phát biểu bài toán, phân tích mô hình nghiệp vụ, xây dựng các biểu đồ thiết kế UML và hiện thực hóa chương trình thử nghiệm.

Hệ thống được thiết kế phục vụ hai tác nhân (Actor): Người dùng (cá nhân/tổ chức thao tác trên hệ thống) và Máy tìm kiếm (Google - thành phần dịch vụ bên ngoài nhận lệnh và trả dữ liệu).

Các yêu cầu chức năng nghiệp vụ được phân rã thành bảng mã hóa tham chiếu:

• R1 - Cập nhật các danh mục:
  • R11: Cập nhật thông tin nhóm sản phẩm (Mã nhóm, Tên nhóm).
  • R12: Cập nhật thông tin loại sản phẩm (Mã loại, Tên loại).
  • R13: Cập nhật thông tin sản phẩm (Mã sản phẩm, Tên sản phẩm).
  • R14: Cập nhật thông tin Search Engine.
  • R15: Cập nhật thông số tìm kiếm (bộ từ khóa SearchKeys liên kết với mã sản phẩm).
• R2 - Tìm kiếm: Gửi truy vấn tự động đến Search Engine và thu nhận danh sách liên kết, nội dung.
• R3 - Báo cáo: Tổng hợp kết quả tìm kiếm, trích xuất dữ liệu đánh giá và tạo báo cáo cho người dùng.

Tác giả đã chi tiết hóa từng ca sử dụng thông qua các bảng mô tả thuộc tính và xây dựng đầy đủ các biểu đồ tương tác UML:

• 04 biểu đồ Use Case (Biểu đồ tổng quan, Biểu đồ gói Cập nhật, Biểu đồ gói Tìm kiếm, Biểu đồ gói Báo cáo).
• 07 biểu đồ tuần tự (Sequence Diagram) mô tả luồng tương tác giữa giao diện, đối tượng điều khiển và cơ sở dữ liệu cho các ca sử dụng từ UC1 đến UC5, Tìm kiếm và Lập báo cáo.
• 07 biểu đồ cộng tác (Collaboration Diagram) tương ứng cho từng ca sử dụng.
• 03 mô hình phân tích cho các gói ca sử dụng Cập nhật, Tìm kiếm, Báo cáo và Mô hình lớp thiết kế hệ thống tổng thể.

---

Thiết kế và triển khai

Hệ thống đánh giá thông tin sản phẩm được xây dựng dưới dạng ứng dụng thử nghiệm với môi trường phát triển và công nghệ cài đặt cụ thể:

• Ngôn ngữ lập trình: C#.
• Môi trường phát triển tích hợp (IDE): Microsoft Visual Studio 2010.
• Hệ quản trị cơ sở dữ liệu: Microsoft SQL Server.

Cấu trúc kiến trúc của chương trình được chia thành ba phân hệ (hệ con) chính:

1. Phân hệ Cập nhật danh mục:
   • Chịu trách nhiệm quản lý cấu trúc sản phẩm đa cấp: Nhóm sản phẩm $\rightarrow$ Loại sản phẩm $\rightarrow$ Sản phẩm cụ thể.
   • Cung cấp giao diện quản lý cấu hình các Search Engine và danh mục thông số tìm kiếm (SearchKeys kết hợp giữa tên sản phẩm và các thuộc tính mong muốn như giá cả, độ bền, xuất xứ).
2. Phân hệ Tìm kiếm thông tin:
   • Đóng vai trò cầu nối tương tác tự động với máy tìm kiếm Google.
   • Tiếp nhận lệnh tìm kiếm từ hệ thống, đẩy câu truy vấn ra Internet, nhận kết quả trả về gồm danh sách URL và nội dung văn bản trang web, sau đó ghi trực tiếp vào cơ sở dữ liệu SQL Server.
3. Phân hệ Xử lý và Báo cáo:
   • Đọc dữ liệu văn bản thô từ cơ sở dữ liệu, thực hiện phân loại sơ bộ theo mã sản phẩm và bộ từ khóa đánh giá.
   • Kết xuất giao diện báo cáo thống kê phục vụ công tác theo dõi của người quản trị.

Về giao diện người dùng, chương trình thiết kế các màn hình chức năng chuyên biệt:

• Giao diện chính của chương trình.
• Giao diện cập nhật nhóm sản phẩm.
• Giao diện cập nhật loại sản phẩm.
• Giao diện cập nhật thông tin sản phẩm.
• Giao diện thực thi tìm kiếm thông tin sản phẩm.

---

Kết quả và đóng góp

Khóa luận đã hoàn thành các nội dung nghiên cứu và triển khai theo đúng mục tiêu đặt ra:

• Về mặt học thuật và lý thuyết: Tổng hợp có hệ thống cơ sở lý thuyết về quy trình KDD và phân loại toàn diện các thuật toán phân cụm dữ liệu lớn theo ba trường phái chính (phân hoạch: k-means, CLARA, CLARANS; phân cấp: BIRCH, CURE; mật độ: DBSCAN, OPTICS, DENCLUE), chỉ rõ ưu nhược điểm và độ phức tạp tính toán của từng phương pháp.
• Về mặt kỹ thuật và mô hình hóa: Xây dựng hoàn chỉnh hồ sơ phân tích thiết kế hệ thống thông tin theo chuẩn UML với 27 hình vẽ sơ đồ (từ ca sử dụng, biểu đồ tuần tự, biểu đồ cộng tác đến biểu đồ lớp) và 10 bảng đặc tả nghiệp vụ chi tiết cho bài toán khai thác dữ liệu sản phẩm từ Web.
• Về mặt ứng dụng thực tiễn: Cài đặt thành công phiên bản thử nghiệm của phần mềm trên nền tảng .NET (C#) và SQL Server, cho phép quản lý danh mục sản phẩm phân cấp, cấu hình từ khóa truy vấn máy tìm kiếm tự động và lưu trữ nội dung trang web phục vụ công tác đánh giá ý kiến người tiêu dùng.

---

Hạn chế và hướng nghiên cứu tiếp

Khóa luận tập trung vào phân tích thiết kế và xây dựng khung ứng dụng thử nghiệm, do đó còn tồn tại một số điểm giới hạn được xác định từ phạm vi nghiên cứu:

• Quá trình thu thập dữ liệu còn phụ thuộc hoàn toàn vào cơ chế trả về của máy tìm kiếm bên thứ ba (Google) và cấu trúc trang web nguồn, dữ liệu thu thập về ở dạng văn bản thô lẫn nhiều thẻ định dạng HTML cần quy trình lọc nhiễu phức tạp hơn.
• Mô-đun phân loại và đánh giá ý kiến người dùng trên ứng dụng thử nghiệm mới dừng ở mức phân loại từ khóa đơn giản, chưa tích hợp sâu các thuật toán học máy xử lý ngôn ngữ tự nhiên (NLP) hoặc phân tích quan điểm (Sentiment Analysis) tự động trên ngữ liệu tiếng Việt phức tạp.
• Hướng mở rộng tiếp theo của đề tài là tích hợp trực tiếp các giải thuật phân cụm nâng cao (như DBSCAN, DENCLUE) vào khối xử lý dữ liệu của chương trình và xây dựng các bộ trích xuất nội dung tự động chuyên sâu cho từng loại hình diễn đàn, mạng xã hội.

---

Giá trị tham khảo

Tài liệu này là nguồn tư liệu học thuật và kỹ thuật phù hợp cho:

• Sinh viên ngành Công nghệ Thông tin, Hệ thống Thông tin và Khoa học Dữ liệu đang chuẩn bị thực hiện đồ án tốt nghiệp liên quan đến chủ đề khai phá dữ liệu web (Web Mining) hoặc trích xuất thông tin.
• Người nghiên cứu cần một tài liệu tổng hợp rõ ràng, chuẩn mực về các thuật toán phân cụm dữ liệu kinh điển kèm công thức, mã giả thuật toán và độ phức tạp tính toán.
• Các nhà phát triển phần mềm cần mẫu tham khảo về quy trình phân tích thiết kế hệ thống thông tin theo phương pháp hướng đối tượng và mô hình hóa chi tiết bằng biểu đồ UML (Use Case, Sequence, Collaboration, Class Diagram).

---

Câu hỏi thường gặp

1. Khóa luận sử dụng công cụ máy tìm kiếm nào và lưu trữ dữ liệu bằng hệ quản trị CSDL gì?
Khóa luận sử dụng máy tìm kiếm Google làm công cụ trích xuất thông tin trên Internet và sử dụng hệ quản trị cơ sở dữ liệu Microsoft SQL Server để lưu trữ các bảng danh mục sản phẩm, từ khóa tìm kiếm cùng dữ liệu văn bản thô thu thập được từ web.

2. Quy trình Khám phá tri thức trong CSDL (KDD) được tác giả phân chia thành mấy giai đoạn?
Quy trình KDD trong văn bản được chia thành 5 giai đoạn liên tiếp: (1) Trích chọn dữ liệu, (2) Tiền xử lý dữ liệu, (3) Biến đổi dữ liệu, (4) Khai phá dữ liệu và (5) Đánh giá và biểu diễn tri thức.

3. Cấu trúc quản lý danh mục sản phẩm trong hệ thống được phân cấp như thế nào?
Hệ thống quản lý sản phẩm theo mô hình phân cấp ba tầng: Nhóm sản phẩm (gồm Mã nhóm, Tên nhóm) $\rightarrow$ Loại sản phẩm thuộc nhóm (gồm Mã loại, Tên loại) $\rightarrow$ Sản phẩm cụ thể thuộc loại (gồm Mã sản phẩm, Tên sản phẩm).

4. Những thuật toán phân cụm dữ liệu nào được khảo cứu chi tiết trong Chương 2?
Khóa luận khảo sát 8 thuật toán thuộc ba nhóm: nhóm phân hoạch (k-means, CLARA, CLARANS), nhóm phân cấp (BIRCH, CURE) và nhóm dựa trên mật độ (DBSCAN, OPTICS, DENCLUE).

5. Ứng dụng phần mềm trong đồ án được xây dựng bằng ngôn ngữ và công cụ lập trình nào?
Ứng dụng thử nghiệm được phát triển bằng ngôn ngữ lập trình C# trên môi trường Microsoft Visual Studio 2010, kết nối cơ sở dữ liệu SQL Server.

---

Kết luận

Chuyên đề tốt nghiệp "Khai thác thông tin về sản phẩm từ Web" của sinh viên Trần Nguyễn Anh Tuấn đã hệ thống hóa đầy đủ cơ sở lý thuyết về khai phá dữ liệu, kiến trúc máy tìm kiếm và các giải thuật phân cụm kinh điển. Tác giả đã hoàn thiện bản phân tích thiết kế hệ thống toàn diện bằng ngôn ngữ mô hình hóa UML cho bài toán thu thập và đánh giá ý kiến sản phẩm từ Internet. Công trình đã hiện thực hóa thành công phần mềm thử nghiệm bằng C# và SQL Server, đặt nền tảng kỹ thuật cho việc xây dựng các công cụ hỗ trợ khảo sát thị trường tự động.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1.1 CÁC KHÁI NIỆM CƠ BẢN Khai phá dữ liệu là một hướng nghiên ra đời hơn một thập niên trở lại đây.Các kỹ thuật chính được áp dụng trong lĩnh vực này phần lớn được thừa kế từ lĩnh vực Cơ sở dữ liệu,học máy, trí tuệ nhân tạo, lý thuyết thông tin, xác suất thống kê, và tính toán hiệu năng cao. Do sự phát triển nhanh của Khai phá dữ liệu về phạm vi áp dụng và các phương pháp tìm kiếm tri thức, nên đã có nhiều quan điểm khác nhau về Khai phá dữ liệu. Tuy nhiên, ở một mức trừu tượng nhất định, theo [1] khái niệm Khai phá dữ liệu như sau: “Khai phá dữ liệu là một quá trình tìm kiếm, phân tích, phát hiện các tri thức mới, tiềm ẩn, hữu dụng trong các cơ sở dữ liệu lớn.” Trong lĩnh vực khai phá dữ liệu, có nhiều hướng nghiên cứu được đưa ra trong đó có một số hướng chính được nhiều nhà nghiên cứu quan tâm. Khai phá dữ liệu văn bản,Web, Trích chọn thông tin, Phân tích mạng xã hội, khai phá quan điểm, Phân tích dữ liệu kinh tế - tài chính, Khai phá dữ liệu sinh học, y tế,… Khóa luận này hướng đến việc tìm hiểu và xây dựng hệ thống thống nhằm khai thác thông tin các sản phẩm mà người tiêu dùng đã đánh giá trên Internet, cụ thể là các trang web.

Người tiêu dùng có mua, sử dụng các sản phẩm và họ đã có cảm nhận và suy nghĩ về sản phẩm đó. Đôi lúc họ đưa những cảm nhận về sản phẩm nào đó lên các trang web cá nhân, các diễn đàn, … trên Internet. Bài toán mà khóa luận này tìm cách giải quyết là tìm cách khai thác các thông tin về một sản phẩm cụ thể nào đó trên Internet, thống kê để phục vụ cho công tác khảo sát và đánh giá sản phẩm trên thị trường. Sau đây là một số khái niệm được sử dụng.

Thông tin sản phẩm: Là thông tin mô tả về nguồn gốc, tính năng kỹ thuật, tính chất lý hóa tính, công dụng chính, giá thành, màu sắc, hình dáng, kích thước, … của sản phẩm. 9 Ý kiến người dùng sản phẩm: Là các thông tin người dùng phản ánh về sản phẩm được thể hiện qua các từ đánh giá về ưu điểm như: Tốt, thuận tiện, tiết kiệm, bền, rẻ, đẹp, phong phú, đa dạng, mượt mà, mịn, … hoặc được đánh giá nhược điểm: Xấu, kém, mau hỏng, hàng giả, hàng nhái, … hoặc được thể hiện mong muốn về sản phẩm qua các từ như: giá như, giá mà, cần, phải, để tốt hơn, … Xu hướng: Là các từ liên quan đến các mong muốn của người dùng về sản phẩm. Được chi thành xu hướng tốt hoặc xấu hoặc không thiện cảm. + Xu hướng tốt: Xu hướng đánh giá thông tin sản phẩm tốt + Xu hướng xấu: Xu hướng đánh giá thông tin sản phẩm xấu + Xu hướng không thiện cảm: Xu hướng không khen, không chê sản phẩm.

Người tiêu dùng: Là người mua hoặc người sử dụng sản phẩm hoặc người có ý định mua hay sử dụng sản phẩm có gửi thông tin lên Internet. Người dùng: Người có tương tác với hệ thống. Người quản trị: Người có nhiệm vụ quản lý hệ thống. Máy tìm kiếm:Các cỗ máy tìm kiếm thông tin trên Internet: Google, Yahoo, Bing, … Sản phẩm: Là tất cả các mặt hàng đang được tiêu thụ trên thị trường bao gồm thị trường trong nước và nước ngoài.2 KHÁM PHÁ TRI THỨC TRONG CƠ SỞ DỮ LIỆU Khai phá dữ liệu là lĩnh vực có liên quan đến nhiều ngành khác nhau như: thống kê, học máy, tính toán phân tán,cơ sở dữ liệu, thuật toán, mô hình hóa dữ liệu, … Mục tiêu của khai phá dữ liệu là khám phá tri thức từ đó dùng hỗ trợ ra quyết định, trong lĩnh vực hẹp này có thể được chia thành một số giai đoạn [3][4]:  Trích chọn dữ liệu: bước này trích những bộ dữ liệu cần được khám phá từ các hệ thống dữ liệu (databases, data warehouses, data repositories) ban đầu theo một số tiêu chí nhất định.

10  Tiền xử lý dữ liệu:Bước này làm sạch dữ liệu (xử lý những dữ liệu dư thừa, nhiễu, .), rút gọn dữ liệu (áp dụng các thuật toán lấy mẫu, .), rời rạc hóa dữ liệu. Kết quả là dữ liệu sẽ nhất quán, đầy đủ, được rút gọn, và được rời rạc hóa.  Biến đổi dữ liệu:Đây là bước chuẩn hóa dữ liệu, tinh chỉnh dữ liệu để đưa dữ liệu về dạng chuẩn để giúp kỹ thuật khai phá dữ liệu ở bước sau.  Khai phá dữ liệu: Áp dụng những kỹ thuật phân tích nhằm để trích chọn thông tin, những mối liên hệ đặc biệt của dữ liệu.

Bước này rất quan trọng và cần nhiều tài nguyên nhất của toàn bộ quá trình khai phá trin thức.  Đánh giá và biểu diễn tri thức: Các mẫu tin và quan hệ giữa chúng đã được rút trích ở bước trên được mã hóa và biểu diễn theo dạng dễ quan sát như đồ thị, cây, bảng biểu, luật,. Bước này cung cấp thông tin cho các nhà quản trị ra quyết định. Các giai đoạn trong KDD được thể hiện trực quan như hình 1 dưới đây: Hình 1.1:Các bước thực hiện trong quá trình khám phá tri thức 11 1.3 CÁC KỸ THUẬT ÁP DỤNG TRONG KHAI PHÁ DỮ LIỆU 1.1 Các kỹ thuật tiếp cận trong Khai phá dữ liệu Khai phá tri thức là một lĩnh vực liên ngành, bao gồm: Tổ chức dữ liệu, học máy, trí tuệ nhân tạo và các khoa học khác, sự kết hợp này có thể được diễn tả như trong hình 1.2 dưới đây: Hình 1.2 Các lĩnh vực liên quan đến Khám phá tri thức trong CSDL Dựa trên quan điểm của học máy thì các kỹ thuật trong Khai phá dữ liệu, bao gồm:  Học có giám sát: Là quá trình gán nhãn lớp cho các phần tử trong CSDL dựa trên một tập các ví dụ huấn luyện và các thông tin về nhãn lớp đã biết.

 Học không có giám sát: Là quá trình phân chia một tập dữ liệu thành các lớp hay là cụm (clustering) dữ liệu tương tự nhau mà chưa biết trước các thông tin về lớp hay tập các ví dụ huấn luyện.  Học nửa giám sát: Là quá trình phân chia một tập dữ liệu thành các lớp dựa trên một tập nhỏ các ví dụ huấn luyện và một số các thông tin về một số nhãn lớp đã biết trước. Theo lớp các bài toán cần giải quyết, thì Khai phá dữ liệu bao gồm các kỹ thuật áp dụng sau:  Phân lớp và dự đoán(classification and prediction): xếp một đối tượng vào một trong những lớp đã biết trước. Ví dụ: phân lớp các bệnh nhân dữ liệu trong hồ sơ bệnh án.

Hướng tiếp cận này thường sử dụng một số kỹ thuật của học máy như cây quyết định (decision tree), mạng nơ ron nhân 12 tạo (neural network),. Phân lớp và dự đoán còn được gọi là học có giám sát.  Luật kết hợp (association rules): là dạng luật biểu diễn tri thứ ở dạng khá đơn giản. Ví dụ: “60 % nữ giới vào siêu thị nếu phấn thì có tới 80% trong số họ sẽ mua thêm son”.

Luật kết hợp được ứng dụng nhiều trong lĩnh vực kinh doanh, y học, tin-sinh, tài chính và thị trường chứng khoán,.  Phân tích chuỗi theo thời gian (sequential/ temporal patterns): tương tự như khai phá luật kết hợp nhưng có thêm tính thứ tự và tính thời gian. Hướng tiếp cận này được ứng dụng nhiều trong lĩnh vực tài chính và thị trường chứng khoán vì nó có tính dự báo cao.  Phân cụm (clustering/ segmentation): xếp các đối tượng theo từng cụm dữ liệu tự nhiên.

Phân cụm còn được gọi là học không có giám sát ( unsupervised learning).  Mô tả khái niệm (concept description and summarization): thiên về mô tả, tổng hợp và tóm tắt khái niệm. Ví dụ: tóm tắt văn bản.2 Các dạng dữ liệu có thể khai phá Do Khai phá dữ liệu được ứng dụng rộng rãi trên nhiều lĩnh vực có thể làm việc với rất nhiều kiểu dữ liệu khác nhau. Ví dụ: Cơ sở dữ liệuquan hệ, dữ liệu đa chiều, Cơ sở dữ liệu quan hệ - hướng đối tượng, Cơ sở dữ liệu có thuộc tính không gian và thời gian, Cơ sở dữ liệu chuỗi thời gian, Cơ sở dữ liệu đa phương tiện, … 1.4 TÌM KIẾM THÔNG TIN TRÊN INTERNET Theo [thụy1] máy tìm kiếm là một hệ thống phần mềm được xây dựng nhằm tiếp nhận yêu cầu tìm kiếm của người dùng, sau đó phân tích yêu cầu này và tìm kiếm thông tin trong cơ sở dữ liệu được tải xuống từ Internet và đưa ra kết quả là danh sách các trang Web lên quan với yêu cầu người dùng.

Về cơ bản, mọi kỹ thuật tập trung vào máy tìm kiếm ( Searche engine). Hiện nay trên thế giới có rất nhiều máy tìm kiếm, điển hình là Google, Bing, Yahoo,…,và một số máy tìm kiếm có cách thực hiện rất đặc biệt không chỉ đưa ra kết quả tìm kiếm là các địa chỉ chứa thông tin mà tìm kiếm và tổng hợp tri thức như 13 Wolframanpha, máytìm kiếm này còn biết cách trả lời các vấn đề mang tính chất đặc thù chuyên ngành như toán học, lý, hóa, lịch sử, địa lý,… Kiến trúc cơ bản của máy tìm kiếm gồm các khối như truy vấn dữ liệu, đánh chỉ mục, phân loại dữ liệu….Nói chung, máy tìm kiếm thực hiện một số thao tác cơ bản sau: Bước 1: Phân tích các yêu cầu của người dùng, phân loại và đánh chỉ mục các yêu cầu này, lưu vào hệ thống. Bước 2:Các kết quả tìm kiếm cũng được phân tích, đánh chỉ mục và lưu vào hệ thống. Bước 3: Khi có yêu cầu tìm kiếm thông tin, máy tìm kiếm so khớp yêu cầu với các yêu cầu đã có sẵn nếu phù hợp sẽ đưa kết quả ra luôn, nếu yêu cầu này chưa có thì sẽ tìm thông tin rồi thao tác lại bước 1.

Đối với kết quả tìm kiếm mới sẽ bổ sung như bước 2. Sau đây là sơ đồ kiến trúc chung của một số khối trong máy tìm kiếm [2]. Khối Truy vấn Hình 1.3: Sơ đồ khối Khối truy vấn Khối truy vấn nhận thông tin từ người dùng theo dạng văn bản. Từ đó phân loại, xác định yêu cầu của câu truy vấn xem thuộc nhóm nào? Đánh giá và phân tích câu.

Tìm kiếm trong cơ sở dữ liệu chỉ mục rồi trả lại kết quả tìm kiếm cho người dùng. 14 Khối Đánh chỉ mục Hình1.4: Sơ đồ khối Đánh chỉ mục Trong khóa luận này máy tìm kiếm Google được sử dụng làm công cụ để lấy thông tin. Do đó, phần sau sẽ khảo sát kỹ hơn về máy tìm kiếm của Google. Tên gọi của máy tìm kiếm Google có nguồn gốc từ chữ “Googol”.