đặt vấn đề, phân tích các đặc trưng của bài toán tư vấn và bộ dữ liệu sản phẩm tại Kiên Giang, các bước áp dụng các kỹ thuật khai phá dữ liệu và phát hiện tri thức trên bộ dữ liệu. Đề tài cũng mang ý nghĩa thực tiễn khi thực nghiệm các phương pháp với dữ liệu thực tế, mô tả kết quả đạt được, từ đó đưa ra những đề xuất, kiến nghị. Góp phần có thêm thông tin giúp cho bộ phận tư vấn ra quyết định tư vấn cho người mua hàng, chủ doanh nghiệp khi giới thiệu sản phẩm ra thị trường. Mục đích nghiên cứu Luận văn tập trung các mục tiêu sau - Tìm hiểu về khai phá dữ liệu, hiểu được các kỹ thuật khai phá dữ liệu và phát hiện tri thức cơ bản.
- Nghiên cứu phương pháp khai phá tìm luật kết hợp, giải pháp phân lớp dữ liệu dựa trên cây quyết định. - Luận văn chạy thử nghiệm trên bộ dữ liệu sản phẩm là đầu vào của bài toán. Kết quả đầu ra là mô hình phân lớp với đặc tính hỗ trợ của mô hình trong công tác quản lý sản phẩm Kiên Giang. Trên cơ sở đó, luận văn đề xuất những giải pháp để cải tiến quản lý sản phẩm.
Ứng dụng mô hình thử nghiệm xây dựng nhằm dự đoán kết quả nhận biết sản phẩm Kiên Giang qua việc kết hợp giữa thông tin về sản phẩm (đơn vị sản xuất, tên sản phẩm, địa điểm, loại sản phẩm,…), từ đó giúp cho người tiêu dùng có thể lựa chọn đúng sản phẩm Kiên Giang mình quan tâm. Hệ thống không chỉ hỗ trợ cho đơn vị 4 sản xuất, người tiêu dùng mà còn giúp cho các nhà quản lý có cái nhìn định hướng, giải pháp cho lĩnh vực xúc tiến của tỉnh. Nhiệm vụ nghiên cứu - Hệ thống hóa những lý luận cơ bản về khai phá dữ liệu. - Nghiên cứu và phân tích thực trạng sản phẩm Kiên Giang bao gồm các sản phẩm OCOP, sản phẩm công nghiệp nông thôn tiêu biểu, sản phẩm tiềm năng.
- Thực nghiệm chương trình ứng dụng để mô phỏng công tác tư vấn mua hàng. Đối tượng và phạm vi nghiên cứu 4.1 Đối tượng nghiên cứu - Các nội dung về phát hiện tri thức và khai phá dữ liệu; Các kỹ thuật khai phá dữ liệu. - Dữ liệu sản phẩm Kiên Giang. - Xây dựng phần mềm ứng dụng để dự báo + Sử dụng ngôn ngữ Visual Studio C# 2015 để thiết kế phần mềm ứng dụng; + Xây dựng chức năng kết nối với cơ sở dữ liệu SQL Server 2014 để lấy dữ liệu từ các bảng chính và bảng tham chiếu.
+ Thiết kế các chức năng ứng dụng của chương trình.2 Phạm vi nghiên cứu - Các kỹ thuật phân lớp: cây quyết định (Deccision tree – DT) sử dụng thuật toán C4.5 - Dữ liệu thực về sản phẩm tại Kiên Giang: tên sản phẩm, ngành, loại, đặc tính, cơ sở, huyện, chứng nhận - Xây dựng ứng dụng, bao gồm chức năng đăng nhập, chức năng quản lý sản phẩm cho người sử dụng sửa, xóa một dòng sản phẩm, chức năng xác 5 nhận sản phẩm cho phép người dùng nhập thông tin sản phẩm, huyện, chứng nhận và cho kết quả dự đoán sản phẩm đã được xác nhận hoặc chưa xác nhận là sản phẩm Kiên Giang. Phương pháp nghiên cứu Trong phạm vi luận văn này, tác giả đã sử dụng 03 phương pháp nghiên cứu khoa học để tiếp cận và làm rõ vấn đề của đề tài mình đã lựa chọn. Đó là các phương pháp nghiên cứu sau: 5.1 Phương pháp phân tích và tổng hợp lý thuyết Nghiên cứu lý thuyết về khai phá dữ liệu qua việc thu thập, đọc hiểu, phân tích thông tin, dữ liệu từ các tài liệu, giáo trình, sách liên quan đến khai phá dữ liệu, cụ thể là kỹ thuật luật kết hợp và cây quyết định.2 Phương pháp nghiên cứu thực tiễn Tiến hành nghiên cứu các kỹ thuật cho phép phân lớp trong khai phá dữ liệu, ứng dụng các kỹ thuật đó để xây dựng mô hình dự đoán kết quả nhận biết sản phẩm dựa vào các thông tin đầu vào. Đề tài tiến hành so sánh kết quả của các kỹ thuật để lựa chọn kỹ thuật cho kết quả chính xác nhất.
Từ đó, xây dựng chương trình dự báo kết quả dự báo cho mỗi sản phẩm để tư vấn cho người tiêu dùng. Việc xây dựng mô hình được tiến hành theo các bước: - Làm sạch và tích hợp dữ liệu - Lựa chọn dữ liệu và chuyển đổi dữ liệu - Khai thác dữ liệu - Đánh giá mô hình - Sự trực quan hóa Dữ liệu đầu vào cho các kỹ thuật phân lớp có thể là sẵn có như các thông tin từng sản phẩm (tên sản phẩm, đơn vị sản xuất, địa chỉ, loại…) là kết quả thực hiện của một công cụ là một phần của kết quả của đề tài.3 Phương pháp nghiên cứu tài liệu Tìm hiểu ngôn ngữ lập trình, hệ quản trị Cơ sở dữ liệu; Xây dựng ứng dụng. Tổng quan vấn đề nghiên cứu Mục tiêu tổng thể của quá trình khai thác dữ liệu là trích xuất thông tin từ một bộ dữ liệu và chuyển nó thành một cấu trúc dễ hiểu để sử dụng tiếp. Khai phá dữ liệu là một giai đoạn quan trọng trong quá trình khám phá tri thức.
Ngày nay khai phá dữ liệu được ứng dụng rất nhiều trong đời sống xã hội như: y học, tài chính, thống kê,. Là một (1) trong bốn (4) tỉnh vùng kinh tế trọng điểm vùng Đồng bằng sông Cửu Long, Kiên Giang có địa hình đa dạng đồng bằng, rừng, núi, biển và hải đảo, thiên nhiên ưu đãi nên có nhiều sản phẩm phong phú và đa dạng. Tuy nhiên sản phẩm nhiều, đa số là trùng sản phẩm với các tỉnh, thành đồng bằng sông Cửu Long và các tỉnh có biển, sản phẩm nhiều nhưng đầu tư về kỹ thuật quản lý chưa nhiều, chưa hiện đại, chủ yếu dựa vào phần mềm Microsoft office (Word, Excel) đơn giản dễ sửa dụng và rời rạc vì từng đơn vị sở, ngành quản lý danh sách của riêng theo ngành như sản phẩm công nghiệp nông thôn tiêu biểu, sản phẩm mỗi làng một sản phẩm, sản phẩm theo nghề - làng nghề. Dựa trên bộ dữ liệu về sản phẩm của Kiên Giang (tên sản phẩm, ngành, loại, đặc tính, cơ sở, huyện, chứng nhận), ứng dụng phân lớp dữ liệu sử dụng cây quyết định để đưa ra dự báo sản phẩm được xác nhận hoặc chưa xác nhận là sản phẩm Kiên Giang.
Tác giả hy vọng dựa vào kết quả của đề tài luận văn, phần nào giúp đơn vị, người mua hàng tìm được đúng sản phẩm Kiên Giang. TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ CÁC KỸ THUẬT PHÂN TÍCH DỰ BÁO Giới thiệu nội dung cơ bản về khai phá dữ liệu, các lĩnh vực ứng dụng, các kiến thức có liên quan về các công cụ, thuật toán thường được áp dụng trong khai phá dữ liệu. Tổng quan về khai phá dữ liệu Khai phá dữ liệu là một quá trình trích xuất tri thức từ lượng lớn dữ liệu, là một quá trình không dễ trích xuất thông tin ẩn, hữu ích, chưa được biết trước từ dữ liệu [1] Mục tiêu tổng thể của quá trình khai thác dữ liệu là trích xuất thông tin từ một bộ dữ liệu và chuyển nó thành một cấu trúc dễ hiểu để sử dụng tiếp. Ngoài bước phân tích thô, nó còn liên quan tới cơ sở dữ liệu và các khía cạnh quản lý dữ liệu, xử lý dữ liệu trước, suy xét mô hình và suy luận thống kê, các thước đo thú vị, các cân nhắc phức tạp, xuất kết quả về các cấu trúc được phát hiện, hiện hình hóa và cập nhật trực tuyến.
Khai thác dữ liệu là bước phân tích của quá trình "khám phá kiến thức trong cơ sở dữ liệu". Quá trình phát hiện tri thức và khai phá dữ liệu Các bước khám phá tri thức tiến hành qua 7 giai đoạn [10] Bước 1 – Làm sạch dữ liệu (Data cleaning): để loại bỏ nhiễu và dữ liệu không nhất quán Bước 2 - Tích hợp dữ liệu (Data integration): nơi nhiều nguồn dữ liệu có thể được kết hợp, phổ biến trong ngành công nghệ thông tin là thực hiện làm sạch dữ liệu và tích hợp dữ liệu như một bước tiền xử lý, nơi dữ liệu kết quả được lưu trữ trong kho dữ liệu Bước 3 - Lựa chọn dữ liệu (Data selection): trong đó dữ liệu liên quan đến nhiệm vụ phân tích được truy xuất từ cơ sở dữ liệu. Bước 4 - Chuyển đổi dữ liệu (Data transformation): nơi dữ liệu được chuyển đổi và hợp nhất thành các biểu mẫu thích hợp để khai thác bằng cách 8 thực hiện các hoạt động tóm tắt hoặc tổng hợp. Đôi khi việc chuyển đổi và hợp nhất dữ liệu được thực hiện trước quá trình lựa chọn dữ liệu, đặc biệt là trong trường hợp nhập kho dữ liệu.
Giảm dữ liệu cũng có thể được thực hiện để thu được đại diện cho dữ liệu gốc mà không làm mất đi tính toàn vẹn của nó. Bước 5 - Khai thác dữ liệu (Data mining): một quy trình thiết yếu trong đó các phương pháp thông minh được áp dụng để trích xuất mẫu dữ liệu. Bước 6 - Đánh giá mẫu (Pattern evaluation): để xác định các mẫu thực sự thú vị thể hiện kiến thức dựa trên các thước đo mức độ thú vị Bước 7 - Trình bày kiến thức (Knowledge presentation): nơi các kỹ thuật trực quan hóa và biểu diễn kiến thức được sử dụng để trình bày kiến thức đã khai thác cho người dùng. Bước 1 đến bước 4 là các hình thức xử lý trước dữ liệu khác nhau, trong đó dữ liệu được chuẩn bị để khai thác.
Bước khai thác dữ liệu có thể tương tác với người dùng hoặc cơ sở kiến thức. Các các mẫu thú vị được trình bày cho người dùng và có thể được lưu trữ dưới dạng kiến thức mới trong kiến thức cơ bản. Thông Đánh giá và tin trình bày Khai phá dữ liệu Lựa chọn và Phân chuyển đổi tích mẫu Làm sạch Kho dữ và tích hợp liệu Cơ sở dữ liệu Các tập tin phẳng Hình 1.1 Quá trình khám phá tri thức 9 1.3 Quá trình khai phá dữ liệu Khai phá dữ liệu là một giai đoạn quan trọng trong quá trình khám phá tri thức. Về bản chất là giai đoạn duy nhất tìm ra được thông tin mới, thông tin tiềm ẩn có trong cơ sở dữ liệu chủ yếu phục vụ cho mô tả và dự đoán.
Mô tả dữ liệu là tổng kết hoặc diễn tả những đặc điểm chung của những thuộc tính dữ liệu trong kho dữ liệu mà con người có thể hiểu được.