Chương I. Giới thiệu đề tài Trong đề tài này, luận văn tập trung vào việc áp dụng thuật toán K- means để phân cụm khách hàng. K-means là một trong những phương pháp phân cụm phổ biến và mạnh mẽ, được sử dụng rộng rãi trong lĩnh vực khai phá dữ liệu và học máy. Mục tiêu chính của nghiên cứu này là xác định các nhóm khách hàng có đặc điểm tương tự nhau bằng cách sử dụng dữ liệu có sẵn.
Thuật toán K-means sẽ được áp dụng để tạo ra các cụm dữ liệu dựa trên sự tương đồng giữa các khách hàng. Quá trình này sẽ giúp chúng ta nhận biết được các nhóm khách hàng có nhu cầu, sở thích hoặc hành vi tiêu dùng tương tự. Trong quá trình nghiên cứu, em sẽ thu thập và phân tích các thuộc tính quan trọng liên quan đến khách hàng như độ tuổi, giới tính, thu nhập, chi tiêu, … để xây dựng mô hình phân cụm. Sau đó áp dụng thuật toán K-means để phân cụm khách hàng thành các nhóm có đặc điểm tương đồng.
Kết quả từ nghiên cứu này sẽ mang lại những thông tin quan trọng về khách hàng, giúp cho doanh nghiệp hiểu dõ hơn về thị trường tiêu dùng, tạo ra các chiến lược tiếp thị phù hợp để tiếp cận đến khách hàng tốt hơn. 3 Hy vọng rằng nghiên cứu này sẽ đóng góp vào việc nâng cao hiệu quả quản lý khách hàng, tối ưu hóa chiến dịch tiếp thị và tăng cường sự cạnh tranh của các doanh nghiệp trên thị trường. Tổng quan vể khai phá dữ liệu 2. Khái niệm Khai phá dữ liệu là tiến trình khái quát các sự kiện rời rạc trong dữ liệu thành các tri thức mang tính khái quát, tính quy luật hỗ trợ tích cực cho các tiến trình ra quyết định.
Khai phá dữ liệu là việc trích rút tri thức một cách tự động và hiệu quả từ một khối dữ liệu rất lớn.Tri thức đó thường ở dạng các mẫu tin có tính chất không tầm thường, không tường minh, chưa được biết đến và có tiềm năng mang lại lợi ích. [1] Quá trình khai phá dữ liệu sẽ tiến hành qua các giai đoạn sau: Bước 1: Lọc dữ liệu được thực hiện trong quá trình tiền xử lý. Công việc đầu tiên là tích hợp và chỉnh sửa dữ liệu. Khi dữ liệu được thu thập từ nhiều nguồn khác nhau nên có thể có những sai sót, dư thừa và trùng lặp.
Lọc dữ liệu là cắt bỏ những dư thừa để dữ liệu được định dạng thống nhất. Dữ liệu sau khi lọc và chỉnh sửa sẽ nhỏ hơn, xử lý nhanh chóng hơn. [1] Bước 2: Khai phá dữ liệu, là công việc chính sử dụng các thuật toán khác nhau để khai phá các kiến thức tiềm ẩn trong dữ liệu. [1] Bước 3: Sau xử lý, là quá trình ước lượng kết quả khai phá theo yêu cầu của người dùng.
Nhiều kỹ thuật khai phá được ứng dụng cho một nguồn dữ liệu, các kỹ thuật cho các kết quả có thể khác nhau. Các kết quả được ước lượng bởi những quy tắc nào đó, nếu cuối 4 cùng kết quả không thỏa mãn yêu cầu, chúng ta phải làm lại với kỹ thuật khác cho đến khi có kết quả mong muốn. Quy trình khai phá dữ liệu Phát hiện tri thức (Knowledge Discovery) trong các cơ sở dữ liệu là một quy trình nhận biết các mẫu hoặc các mô hình trong dữ liệu với các tính năng: hợp thức, mới, khả ích, và có thể hiểu được. [1] Khai phá dữ liệu (Data mining) được định nghĩa như sau: “Data mining là một quá trình tìm kiếm, phát hiện các tri thức mới, tiềm ẩn, hữu dụng trong CSDL lớn”.
[1] Khai phá dữ liệu có thể được sử dụng cho các lĩnh vực y tế, phân tích thị trường, xây dựng. có thể được xem như là kết quả của sự tiến triển tự nhiên của công nghệ thông tin. Quy trình khám phá tri thức trong CSDL Quá trình khám phá tri thức bao gồm các bước: + Trích chọn dữ liệu: trích chọn những tập dữ liệu cần khai phá từ các tập dữ liệu khác nhau theo một tiêu chí nhất định. [2] + Tiền xử lý dữ liệu: Làm sạch dữ liệu, rút gọn dữ liệu, rời rạc hoá dữ liệu.
[2] + Biến đổi dữ liệu: là bước chuẩn hoá và làm mịn dữ liệu để đưa dữ liệu về dạng thuận lợi phục vụ cho các kỹ thuật khai phá ở bước sau. [2] +Chuyển đổi dữ liệu: Dữ liệu sau khi được chọn lọc sẽ được chuyển đổi hay hợp nhất về dạng thích hợp cho việc khai phá. [2] + Khai phá dữ liệu: áp dụng các kỹ thuật phân tích (thường là các kỹ thuật của học máy) nhằm: Khai thác dữ liệu, trích chọn mẫu thông tin, xây dựng tri thức. [2] 5 + Đánh giá và biểu diễn tri thức: Những mẫu thông tin và mã liên hệ trong dữ liệu đã được khám phá ở bước trên được chuyển về biểu diễn ở một dạng gần với thế giới thực của người sử dụng như: đồ thị, cây, bảng biểu, luật,… Đánh giá những tri thức khám phá được theo những tiêu chí nhất định.
Quy trình khai phá dữ liệu Nghiên cứu lĩnh vực: Ta cần nghiên cứu lĩnh vực cần sử dụng Data mining để xác định được những tri thức ta cần chất lọc, từ đó định hướng để tránh tốn thời gian cho những tri thức không cần thiết. [3] Tạo tập tin dữ liễu đầu vào: Ta xây dựng tập tin để lưu trữ các dữ liệu đầu vào để máy tính có thể lưu trữ và xử lý. [3] Tiền xử lý, làm sạch, mã hóa: Ở bước này ta tiến hành bỏ bớt những dữ liệu rườm rà, không cần thiết, tinh chỉnh lại cấu trúc của dữ liệu và mã hóa chúng để tiện cho quá trình xử lý. [3] Rút gọn chiều: Thông thường một tập dữ liệu có chiều khá lớn sẽ sinh ra một lượng dự liệu khổng lồ,ví dụ với n chiều ta sẽ có 2^n nguyên tổ hợp .Do đó, đây là một bước quan trọng giúp giảm đáng kể hao tổn hề tài nguyên trong quá trình xử lý tri thức.Thông thường ta sẽ dùng Rough set (http://en.org/wiki/Rough_set) để giảm số chiều.
[3] Chọn tác vụ khai thác dữ liệu: Để đạt được mục đích ta cần, ta chọn được tác vụ khai thác dữ liệu sao cho phù hợp.Thông thường có các tác vụ sau: • Đặc trưng(feature) • Phân biệt(discrimination) • Kết hợp(association) • Phân lớp(classification) • Gom cụm(cluster city) • Xu thế(trend analysis) • Phân tích độ lệch • Phân tích độ hiếm [3] 6 Khai thác dữ liệu: Tìm kiếm tri thức Sau khi tiến hành các bước trên thì đây là bước chính của cả quá trình , ta sẽ tiến hành khai thác và tìm kiếm tri thức. [3] Đánh giá mẫu tìm được: Ta cần đánh giá lại trong các tri thức tìm được, ta sẽ sử dụng được những tri thức nào, những tri thức nào dư thừa, không cần biết. [3] Biểu diễn tri thức: Ta biểu diễn tri thức vừa thu nhập được dưới dạng ngôn ngữ tự nhiên và hình thức sao cho người dùng có thể hiểu được những tri thức đó. Ứng dụng của khai phá dữ liệu trong các lĩnh vực Khai phá dữ liệu được ứng dụng trong nhiều lĩnh vực của đời sống, là công nghệ căn bản trong triển khai các giải pháp chuyển đổi số, hỗ trợ ra quyết định.
Có 7 lĩnh vực được ứng dụng khai phá dữ liệu nhiều nhất bao gồm: ©kinh doanh; viễn thông; ngân hàng; thương mại điện tử và bán lẻ; tài chính; y tế và chăm sóc sức khỏe; an ninh, bảo mật mạng. Trong giới hạn bài này giới thiệu chi tiết việc ứng dụng hai lĩnh vực là chăm sóc sức khỏe và thương mại điện tử để có thông tin chi tiết hơn. [4] Ứng dụng khai thác dữ liệu trong lĩnh vực chăm sóc sức khỏe: Ngành chăm sóc sức khỏe ngày nay tạo ra một lượng lớn dữ liệu phức tạp về bệnh nhân, tài nguyên bệnh viện, chẩn đoán bệnh, hồ sơ bệnh nhân điện tử và các loại thiết bị y tế khác nhau. Lượng dữ liệu lớn hơn là nguồn tài nguyên quan trọng cần được xử lý và phân tích để sản sinh ra kiến thức hoặc khai thác thông tin cho phép hỗ trợ nghiệp vụ mang lại lợi ích tiết kiệm chi phí và ra quyết định.
Một số lợi ích có thể kể đến là: [4] Nâng cao hiệu quả điều trị:©Các ứng dụng khai thác dữ liệu có thể phát triển để đánh giá hiệu quả của các phương pháp điều trị y tế trong bệnh viện. Khai thác dữ liệu có thể đưa ra phân tích về quá trình hành động nào đó chứng tỏ hiệu quả bằng cách so sánh và đối chiếu các nguyên nhân, triệu chứng và các phương pháp điều trị khác nhau. [4] Quản lý chăm sóc sức khỏe: Các ứng dụng khai thác dữ liệu có thể được phát triển để tìm ra và theo dõi tốt hơn các trạng thái bệnh 7 mãn tính và những bệnh nhân có nguy cơ cao, thiết kế các biện pháp can thiệp phù hợp và giảm thiểu số lần nhập viện và yêu cầu hỗ trợ quản lý chăm sóc sức khỏe. [4] Quản trị quan hệ khách hàng: Quản lý quan hệ khách hàng là một quy trình cốt lõi để duy trì sự tương tác giữa các tổ chức và khách hàng, hoạt động này có mặt ở nhiều ngành nghề như ngân hàng, bán lẻ nhưng quan trọng hơn trong quản lý chăm sóc sức khỏe.
Tương tác của khách hàng có thực hiện thông qua trung tâm cuộc gọi chăm sóc bệnh nhân, tại các văn phòng bác sĩ, bộ phận thanh toán, cơ sở nội trú và cơ sở chăm sóc sức khỏe. [4] Xử lý lạm dụng quỹ bảo hiểm: Lạm dụng, trục lợi quỹ bảo hiểm thường diễn ra khi quản lý khám chữa bệnh bảo hiểm y tế dựa trên thẻ giấy. Các vụ việc nhận diện được như một người khám nhiều lần trong khoảng thời gian ngắn hoặc cùng một người khám tại nhiều bệnh viện tại cùng một thời điểm. Khai phá dữ liệu sẽ giúp giảm, hạn chế tình trạng này.
Ví dụ cụ thể Bảo hiểm xã hội Việt Nam triển khai hệ thống giám định trên cơ sở khai phá dữ liệu khám chữa bệnh đã cải thiện rõ rệt tình trạng lạm dụng quỹ bảo hiểm y tế và giúp tiết kiệm ngân sách hàng trăm tỉ đồng mỗi năm. [4] Ứng dụng khai phá dữ liệu trong ngành bán lẻ trực tuyến Ngành bán lẻ trong những năm qua đã có sự tăng trưởng vượt bậc. So với mua sắm truyền thống tại cửa hàng, mua sắm trực tuyến có một số đặc điểm riêng: quá trình mua sắm của khách hàng có thể theo dõi ngay lập tức, đơn hàng gắn liền với địa chỉ giao và thanh toán. Mỗi khách hàng có phương thức thanh toán cụ thể.