Luận văn thạc sĩ nghiên cứu và xây dựng ứng dụng phân tích dữ liệu kinh doanh thiết bị điện tử luận văn ths kỹ thuật phần mềm 60480103

Luận văn thạc sĩ kỹ thuật phần mềm xây dựng ứng dụng phân tích dữ liệu kinh doanh thiết bị điện tử. Luận văn tham khảo mã ngành 60480103.

Chuyên ngành

Công nghệ thông tin

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ

2017

43
1
0

Phí lưu trữ

30 Point

Tóm tắt

I. Hướng dẫn luận văn phân tích dữ liệu kinh doanh điện tử

Trong bối cảnh bùng nổ dữ liệu, việc nghiên cứu và xây dựng ứng dụng phân tích dữ liệu kinh doanh thiết bị điện tử trở thành một đề tài luận văn thạc sĩ kỹ thuật phần mềm mang tính ứng dụng cao. Luận văn này không chỉ là một công trình khoa học mà còn là một giải pháp thực tiễn, giúp doanh nghiệp khai thác triệt để tài sản dữ liệu. Nội dung cốt lõi của đề tài tập trung vào việc áp dụng các mô hình học máy để biến dữ liệu thô thành thông tin chi tiết, hỗ trợ việc ra quyết định chiến lược. Đây là một ví dụ điển hình cho các đồ án tốt nghiệp phân tích dữ liệu, kết hợp kiến thức chuyên sâu của mã ngành kỹ thuật phần mềm 60480103 với các kỹ thuật Business Intelligence (BI) hiện đại. Việc phân tích này giúp các nhà quản lý hiểu rõ hơn về thị trường, dự báo xu hướng và tối ưu hóa hoạt động kinh doanh, đặc biệt trong ngành bán lẻ điện tử đầy cạnh tranh.

1.1. Tầm quan trọng của phân tích dữ liệu bán hàng

Trong ngành bán lẻ thiết bị điện tử, dữ liệu bán hàng là một nguồn tài nguyên vô giá. Phân tích dữ liệu bán hàng giúp doanh nghiệp xác định các sản phẩm bán chạy, phân tích hành vi khách hàng, và tối ưu hóa chiến lược giá. Thay vì dựa vào kinh nghiệm chủ quan, các quyết định kinh doanh được đưa ra dựa trên bằng chứng xác thực từ dữ liệu. Quá trình này giúp nâng cao hiệu quả hoạt động, từ quản lý tồn kho, marketing đến tối ưu hóa chuỗi cung ứng. Một hệ thống hỗ trợ ra quyết định (DSS) mạnh mẽ, được xây dựng trên nền tảng phân tích dữ liệu, có thể giúp doanh nghiệp dự báo nhu cầu thị trường, xác định giá bán cạnh tranh và cá nhân hóa trải nghiệm khách hàng, từ đó tạo ra lợi thế cạnh tranh bền vững.

1.2. Tổng quan luận văn cao học kỹ thuật phần mềm mã 60480103

Luận văn thạc sĩ với chủ đề "Nghiên cứu và xây dựng ứng dụng phân tích dữ liệu kinh doanh thiết bị điện tử" thuộc chuyên ngành Kỹ thuật phần mềm (Mã số: 60480103) là một công trình nghiên cứu khoa học bài bản. Đề tài tập trung vào việc áp dụng mô hình hồi quy tuyến tính, một kỹ thuật thống kê phổ biến trong khai phá dữ liệu (data mining), để dự báo giá bán sản phẩm máy tính xách tay. Luận văn sử dụng dữ liệu thực tế từ Công ty Cổ phần thương mại Nguyễn Kim. Đây là một ví dụ tiêu biểu cho một luận văn cao học kỹ thuật phần mềm kết hợp lý thuyết và thực hành, mang lại giá trị ứng dụng rõ rệt.

1.3. Mục tiêu và phương pháp nghiên cứu của đề tài

Mục tiêu chính của luận văn là xây dựng một mô hình dự báo giá bán cạnh tranh cho mặt hàng máy tính xách tay. Để đạt được mục tiêu này, các phương pháp nghiên cứu chính được áp dụng bao gồm: (1) Phân tích và tổng hợp lý thuyết về mô hình hồi quy tuyến tính và công cụ WEKA. (2) Thực nghiệm khoa học thông qua việc thu thập, xử lý dữ liệu và xây dựng mô hình dự báo. (3) Phân tích, tổng kết kinh nghiệm để đánh giá và cải thiện độ chính xác của mô hình. Cách tiếp cận này đảm bảo tính khoa học, hệ thống và thực tiễn cho toàn bộ công trình nghiên cứu.

II. Thách thức trong việc khai phá dữ liệu kinh doanh điện tử

Các doanh nghiệp trong ngành thiết bị điện tử đối mặt với một khối lượng dữ liệu khổng lồ nhưng lại gặp khó khăn trong việc khai thác. Dữ liệu từ các giao dịch bán hàng, website, và mạng xã hội thường không đồng nhất và tồn tại ở dạng thô. Thách thức lớn nhất là làm thế nào để biến "biển dữ liệu" này thành những hiểu biết kinh doanh có giá trị. Nếu không có một hệ thống phân tích hiệu quả, các quyết định quan trọng vẫn phải dựa trên trực giác, dẫn đến rủi ro và bỏ lỡ cơ hội. Luận văn này giải quyết trực tiếp bài toán đó bằng cách đề xuất một quy trình chuẩn hóa để khai phá dữ liệu và xây dựng một hệ thống hỗ trợ ra quyết định (DSS), giúp các nhà quản lý có cái nhìn sâu sắc và đưa ra quyết định dựa trên bằng chứng.

2.1. Vấn đề khai thác dữ liệu thô trong doanh nghiệp

Dữ liệu thô thu thập từ nhiều nguồn thường chứa các lỗi, giá trị thiếu, và không nhất quán về định dạng. Ví dụ, trong luận văn gốc, thông tin sản phẩm trên website không tuân theo một khuôn dạng nhất định, gây khó khăn cho việc thu thập tự động. Việc xử lý dữ liệu thô này đòi hỏi một quy trình tiền xử lý phức tạp, bao gồm làm sạch, chuẩn hóa và chuyển đổi dữ liệu. Nếu giai đoạn này không được thực hiện cẩn thận, chất lượng của mô hình phân tích sẽ bị ảnh hưởng nghiêm trọng, dẫn đến các dự báo và kết luận sai lệch.

2.2. Sự cần thiết của hệ thống hỗ trợ ra quyết định DSS

Một hệ thống hỗ trợ ra quyết định (DSS) là công cụ thiết yếu để chuyển đổi dữ liệu đã phân tích thành hành động. Hệ thống này không chỉ cung cấp các báo cáo quản trị mà còn cho phép các nhà quản lý thực hiện các phân tích giả định (what-if), mô phỏng các kịch bản kinh doanh và dự báo doanh thu tương lai. Trong bối cảnh của luận văn, mô hình hồi quy tuyến tính chính là hạt nhân của một DSS, giúp dự đoán giá bán sản phẩm dựa trên các thông số kỹ thuật. Điều này hỗ trợ trực tiếp cho việc định giá sản phẩm một cách cạnh tranh và hiệu quả.

III. Phương pháp hồi quy tuyến tính trong khai phá dữ liệu

Để giải quyết bài toán dự báo giá, luận văn đã lựa chọn mô hình hồi quy tuyến tính làm phương pháp cốt lõi. Đây là một kỹ thuật thống kê kinh điển nhưng vẫn cực kỳ hiệu quả trong các bài toán khai phá dữ liệu (data mining). Phân tích hồi quy nghiên cứu sự phụ thuộc của một biến (biến phụ thuộc, ví dụ: giá bán) vào một hoặc nhiều biến khác (biến độc lập, ví dụ: CPU, RAM, dung lượng ổ cứng). Bằng cách xác định mối quan hệ toán học giữa các biến này, mô hình có thể ước tính hoặc dự đoán giá trị của biến phụ thuộc với độ chính xác cao. Việc hiểu rõ cơ sở lý thuyết về mô hình hồi quy là nền tảng vững chắc để xây dựng ứng dụng phân tích dữ liệu kinh doanh thiết bị điện tử thành công.

3.1. Cơ sở lý thuyết về hàm hồi quy và sai số ngẫu nhiên

Về lý thuyết, mô hình hồi quy được biểu diễn dưới dạng Y = f(X) + ε, trong đó Y là biến phụ thuộc, X là biến độc lập, f(X) là hàm hồi quy, và ε là sai số ngẫu nhiên. Sai số này đại diện cho các yếu tố không được giải thích trong mô hình. Mục tiêu của việc xây dựng mô hình là tìm ra hàm f(X) sao cho tổng bình phương các sai số là nhỏ nhất. Luận văn đã áp dụng phương pháp bình phương tối thiểu (Ordinary Least Squares - OLS) để ước lượng các tham số của mô hình, đảm bảo mô hình có độ phù hợp cao nhất với dữ liệu thực tế.

3.2. Ứng dụng mô hình hồi quy để dự báo giá sản phẩm

Trong bài toán thực tế của luận văn, biến phụ thuộc là 'Gia' (giá bán) và các biến độc lập là các thuộc tính kỹ thuật của máy tính xách tay như 'CPU_Dem', 'Ram_DL', 'SSD_DL', v.v. Mô hình hồi quy tuyến tính được xây dựng có dạng: 𝑌̂ = 𝛽̂0 + 𝛽̂1𝑋1 + ... + 𝛽̂𝑘𝑋𝑘. Mỗi hệ số 𝛽̂ tương ứng cho biết mức độ ảnh hưởng của từng thuộc tính đến giá bán. Mô hình này không chỉ giúp dự báo doanh thu mà còn giúp doanh nghiệp hiểu được thuộc tính nào có giá trị nhất đối với khách hàng, từ đó tối ưu hóa danh mục sản phẩm.

IV. Cách xây dựng ứng dụng phân tích dữ liệu với WEKA ETL

Việc triển khai một dự án phân tích dữ liệu đòi hỏi sự kết hợp giữa quy trình và công cụ. Luận văn này đã trình bày một quy trình bài bản từ thu thập, xử lý đến xây dựng mô hình. Giai đoạn tiền xử lý dữ liệu tuân thủ theo quy trình ETL (Extract, Transform, Load), đảm bảo dữ liệu đầu vào sạch và có cấu trúc. Công cụ được lựa chọn để xây dựng mô hình là WEKA (Waikato Environment for Knowledge Analysis), một phần mềm mã nguồn mở mạnh mẽ cho khai phá dữ liệu và học máy. Sự lựa chọn này cho thấy tính thực tiễn cao, vì WEKA cung cấp đầy đủ các thuật toán và giao diện trực quan, giúp các nhà nghiên cứu và sinh viên có thể nhanh chóng thực nghiệm các mô hình phân tích.

4.1. Quy trình ETL Extract Transform Load dữ liệu bán hàng

Quá trình ETL là bước nền tảng quyết định sự thành công của dự án. Trong luận văn, bước 'Extract' được thực hiện bằng cách sử dụng thư viện Jsoup (Java) để thu thập dữ liệu từ website Nguyễn Kim. Bước 'Transform' là giai đoạn phức tạp nhất, bao gồm việc chuẩn hóa định dạng (ví dụ: chuyển '5.000.000' thành '5000000'), xử lý giá trị thiếu, và loại bỏ các bản ghi trùng lặp. Cuối cùng, bước 'Load' là đưa dữ liệu đã được làm sạch vào công cụ WEKA dưới định dạng ARFF để sẵn sàng cho việc xây dựng mô hình. Quá trình này tương tự việc xây dựng một kho dữ liệu (data warehouse) nhỏ cho bài toán.

4.2. Sử dụng công cụ WEKA để xây dựng mô hình dự báo

WEKA là một công cụ toàn diện, cung cấp môi trường 'Explorer' cho phép thực hiện toàn bộ quá trình khai phá dữ liệu. Luận văn đã sử dụng tính năng 'Classify' và lựa chọn thuật toán 'LinearRegression'. WEKA tự động tính toán các hệ số hồi quy dựa trên phương pháp bình phương tối thiểu. Ngoài ra, công cụ này còn cung cấp các tùy chọn kiểm thử mô hình như 'Use training set' hay 'Cross-validation', giúp đánh giá độ tin cậy và chính xác của mô hình một cách khách quan.

4.3. Lựa chọn thuộc tính và tiền xử lý dữ liệu nâng cao

Không phải tất cả các thuộc tính thu thập được đều hữu ích cho mô hình. Luận văn đã sử dụng tính năng 'Select attributes' trong WEKA với phương pháp 'BestFirst' và bộ đánh giá 'CfsSubsetEval' để tự động chọn ra tập hợp các thuộc tính có ảnh hưởng lớn nhất đến giá bán. Kết quả đã chọn ra 10 thuộc tính quan trọng ban đầu như 'NhaCC', 'CPU_Dem', 'Ram_DL'. Việc lựa chọn thuộc tính không chỉ giúp mô hình đơn giản hơn mà còn tăng độ chính xác và giảm nguy cơ quá khớp (overfitting).

V. Kết quả thực nghiệm Xây dựng báo cáo quản trị hiệu quả

Phần quan trọng nhất của một luận văn ứng dụng là kết quả thực nghiệm. Luận văn đã chứng minh hiệu quả của mô hình hồi quy tuyến tính thông qua các chỉ số đánh giá khắt khe. Mô hình không chỉ đạt độ chính xác cao mà còn cung cấp những thông tin chi tiết có thể được tích hợp vào một báo cáo quản trị hoặc xây dựng dashboard tương tác. Kết quả này cho thấy, từ dữ liệu bán hàng thô, doanh nghiệp hoàn toàn có thể xây dựng được một công cụ dự báo mạnh mẽ, hỗ trợ ra quyết định chiến lược về giá cả và sản phẩm, góp phần tối ưu hóa chuỗi cung ứng và nâng cao năng lực cạnh tranh trên thị trường.

5.1. Đánh giá độ chính xác của mô hình dự báo giá

Theo kết quả được trình bày trong luận văn, mô hình hồi quy tuyến tính xây dựng bằng WEKA đạt được hệ số xác định R² (R-squared) rất cao, lên tới 0.9828 khi kiểm thử trên tập huấn luyện. Chỉ số này cho thấy mô hình có thể giải thích được hơn 98% sự biến động của giá bán dựa trên các thuộc tính kỹ thuật đã chọn. Các chỉ số lỗi như 'Mean absolute error' (sai số tuyệt đối trung bình) và 'Root mean squared error' (sai số toàn phương trung bình) cũng ở mức chấp nhận được, khẳng định mô hình có độ tin cậy cao và có thể áp dụng vào thực tế.

5.2. Trực quan hóa dữ liệu và phân tích sai số dự báo

WEKA cho phép trực quan hóa dữ liệu (data visualization) thông qua các biểu đồ phân tán, giúp người phân tích dễ dàng nhận thấy mối quan hệ giữa giá trị dự đoán và giá trị thực tế. Qua khảo sát, luận văn chỉ ra rằng phần lớn các dự đoán (khoảng 41.77%) có sai số nhỏ hơn 500.000đ, trong khi chỉ có một tỷ lệ nhỏ (khoảng 6.75%) có sai số lớn hơn 2.000.000đ. Việc phân tích sai số này giúp xác định những trường hợp mà mô hình hoạt động chưa tốt, từ đó có hướng cải tiến trong tương lai. Các công cụ như công cụ Power BI có thể được sử dụng để tạo các dashboard trực quan hơn từ kết quả này.

5.3. Ý nghĩa thực tiễn đối với quản lý kinh doanh

Mô hình dự báo giá mang lại ý nghĩa thực tiễn to lớn. Các nhà quản lý có thể sử dụng mô hình để: (1) Định giá cho các sản phẩm mới sắp ra mắt. (2) Điều chỉnh giá bán của các sản phẩm hiện có để tối đa hóa lợi nhuận. (3) Đánh giá tác động của việc nâng cấp cấu hình (ví dụ: tăng RAM) lên giá bán. Những thông tin này là đầu vào quan trọng cho việc lập kế hoạch kinh doanh, quản lý danh mục sản phẩm và đàm phán với nhà cung cấp.

VI. Bí quyết hoàn thiện báo cáo luận văn thạc sĩ file word

Hoàn thiện một công trình nghiên cứu như luận văn cao học kỹ thuật phần mềm không chỉ dừng lại ở việc xây dựng mô hình. Việc trình bày kết quả một cách rõ ràng, logic và thuyết phục trong báo cáo luận văn thạc sĩ file word là yếu tố quyết định sự thành công. Luận văn này là một hình mẫu về cấu trúc và cách trình bày, từ việc đặt vấn đề, trình bày cơ sở lý thuyết, mô tả quá trình thực nghiệm đến việc đánh giá kết quả và nêu ra định hướng phát triển. Nó cung cấp một cái nhìn toàn diện và là nguồn tài liệu tham khảo quý giá cho các sinh viên đang thực hiện đồ án tốt nghiệp phân tích dữ liệu hoặc các đề tài tương tự.

6.1. Tổng kết kết quả và đóng góp của luận văn

Luận văn đã thành công trong việc xây dựng một mô hình hồi quy tuyến tính để dự báo giá bán máy tính xách tay với độ chính xác cao. Đóng góp chính của đề tài là cung cấp một quy trình hoàn chỉnh, từ thu thập dữ liệu, tiền xử lý, lựa chọn thuộc tính đến xây dựng và đánh giá mô hình bằng công cụ mã nguồn mở WEKA. Kết quả này chứng minh tính khả thi và hiệu quả của việc áp dụng học máy vào bài toán kinh doanh thực tế, mở ra hướng đi cho các doanh nghiệp trong việc tận dụng dữ liệu để ra quyết định.

6.2. Hạn chế và định hướng phát triển trong tương lai

Mặc dù đạt được những kết quả tích cực, luận văn cũng chỉ ra một số hạn chế. Hạn chế lớn nhất là dữ liệu chỉ được thu thập từ một nhà phân phối duy nhất (Nguyễn Kim), có thể làm giảm tính tổng quát của mô hình. Hướng phát triển trong tương lai bao gồm: (1) Mở rộng phạm vi thu thập dữ liệu từ nhiều nhà bán lẻ khác nhau. (2) Thử nghiệm các thuật toán học máy phức tạp hơn như mạng nơ-ron hoặc cây quyết định. (3) Tích hợp mô hình vào một ứng dụng web hoàn chỉnh với giao diện người dùng thân thiện, có thể sử dụng các hệ quản trị cơ sở dữ liệu SQL Servermô hình OLAP để quản lý dữ liệu hiệu quả hơn.

16/09/2025

Trích đoạn nội dung tài liệu

ĐẶT VẤN ĐỀ 1. Bài toán phân tích dữ liệu Dữ liệu được tạo ra từng giây, từng phút trong đời sống xã hội hiện đại. Chúng có thể là dữ liệu web, dữ liệu từ các cảm biến, các tệp lưu nhật ký, dữ liệu cá nhân, dữ liệu từ các thiết bị thông minh,… Từ khối dữ liệu này mà chúng ta có thể tìm kiếm, khai thác và trích xuất ra những thông tin hữu ích. Làm thế nào để có được những thông tin ấy là vấn đề được đặt ra.

Phân tích dữ liệu là một trong những chìa khóa giúp chúng ta giải quyết vấn đề nêu trên. Vậy phân tích dữ liệu là gì? Phân tích dữ liệu là một trong những ứng dụng thực tiễn của kỹ thuật khai phá dữ liệu (Data mining). Phân tích dữ liệu là một quá trình trích xuất thông tin hữu ích từ tập dữ liệu được cung cấp. Các bước cơ bản của quá trình phân tích dữ liệu bao gồm: Kiểm định (Inspecting), làm sạch (Cleaning), chuyển đổi (Transforming), mô hình hóa (Modeling) và phân tích (Analysing) dữ liệu nhằm mục đích tìm kiếm thông tin, cho thấy kết luận, hỗ trợ đưa ra quyết định.

Kiểm định Làm sạch Chuyển đổi Mô hình hóa Phân tích Hình 1. Các bước của quá trình phân tích dữ liệu Trước khi có máy tính, nhiều phương pháp phân tích cho tập dữ liệu nhỏ đã phát triển và tập trung phân tích từng biến riêng lẻ. Ngày nay, khi khả năng tính toán của máy tính đã phát triển vượt bậc, phân tích dữ liệu đã phân tích đồng thời quan hệ của nhiều biến. Phân tích dữ liệu được chia thành phân tích dữ liệu thăm dò EDA và phân tích dữ liệu khẳng định CDA.

Phân tích dữ liệu thăm dò dùng dữ liệu để xác định mối quan hệ giữa các biến độc lập với biến phụ thuộc hay xác định các biến được đưa vào mô hình. Phân tích dữ liệu khẳng định sử dụng dữ liệu để khẳng định giả thiết là đúng hoặc sai. Hai phương pháp này không tách rời nhau mà luôn đi cùng nhau để tìm ra những thông tin hữu ích từ tập dữ liệu đã có. Trước hết, chúng ta sử dụng phương pháp EDA để xây dựng mô hình phù hợp từ tập (LUAN.60480103 TIEU LUAN MOI download : skknchat@gmail.

Sau đó, sử dụng phương pháp CDA để khẳng định những thông tin chúng ta nhận định là đúng hoặc sai. Lựa chọn miền ứng dụng Hiện nay, xung quanh chúng ta là một biển dữ liệu khổng lồ và không ngừng mở rộng. Khối dữ liệu này liên quan đến tất cả các khía cạnh của đời sống xã hội. Đáp ứng nhu cầu hiểu biết vô tận của con người, giới học thuật đã nghiên cứu về phân tích dữ liệu nhằm chắt lọc những thông tin cần thiết, bổ ích đối với mỗi cá nhân, mỗi tập thể, mỗi lĩnh vực, mỗi quốc gia,… Giới kinh doanh cũng không thể bỏ qua công cụ hữu ích này để tăng cường lợi nhuận của doanh nghiệp từng ngày, thậm trí từng giờ.

Từ đó, nhiều giải pháp công nghệ đã được nghiên cứu với mục đích hỗ trợ các công ty, doanh nghiệp đưa ra các quyết định kinh doanh hợp lý, sáng suốt. Thực tế, các công ty, tập đoàn lớn đã chuyển dần từ chế tạo sản phẩm sang cung cấp dịch vụ phân tích kinh doanh. Trước đây, tập đoàn IBM chế tạo, sản xuất các sản phẩm công nghệ như máy chủ, máy tính xách tay, máy tính để bản, thiết bị cho hạ tầng công nghệ thông tin. Nhưng, ngày nay, tập đoàn IBM đang quan tâm nhiều hơn và cung cấp thêm dịch vụ phân tích kinh doanh.

Trong khuôn khổ luận văn này, tác giả tập trung nghiên cứu, ứng dụng phân tích dữ liệu vào lĩnh vực kinh doanh. Dữ liệu bán hàng của các công ty điện máy là khối dữ liệu đồ sộ với đa dạng các loại mặt hàng của nhiều nhà cung cấp được bày bán với mức giá có thể thay đổi theo thời gian và từng chương trình khuyến mãi khác nhau. Khối dữ liệu này được thể hiện đầy đủ và đáng tin cậy trên website của các công ty điện máy và có thể được thu thập một cách chính xác thông qua các công cụ sẵn có. Tác giả lấy dữ liệu bán hàng của Công ty Cổ phần thương mại Nguyễn Kim là điển hình.

Phân tích dữ liệu bán hàng của Công ty cổ phần thương mại Nguyễn Kim để hỗ trợ các công ty điện máy dự đoán và đưa ra giá bán cạnh tranh nhất cho mặt hàng máy tính xách tay trên thị trường Việt Nam. Phương pháp và công cụ 1. Lựa chọn phương pháp Phân tích dữ liệu khẳng định là lựa chọn không thể bỏ qua để hỗ trợ đưa ra quyết định kinh doanh sáng suốt. Một mô hình dữ liệu được xây dựng dựa trên tập dữ liệu lịch sử.

Những thuật toán học máy được sử dụng để xây dựng (LUAN.60480103 TIEU LUAN MOI download : skknchat@gmail.60480103 12 mô hình dữ liệu ẩn giấu trong tập dữ liệu này. Sau khi mô hình dữ liệu được xác nhận, nó được coi là tổng quát hóa kiến thức và có thể dự đoán tương lai. Bằng cách này, các doanh nghiệp có thể dự đoán các nguy cơ tiềm ẩn trong tương lai để hoạch định chiến lược kinh doanh phù hợp. Thống kê cung cấp các phương pháp, kỹ thuật xây dựng mô hình toán học để phân tích dữ liệu.

Hai phương pháp thống kê chính được sử dụng trong phân tích dữ liệu là: Thống kê mô tả (Descriptive statistics) và thống kê suy diễn (Inferential statistics). Dữ liệu thống kê thường được thu thập để trả lời các câu hỏi được định trước. Thống kê mô tả tóm tắt dữ liệu từ một mẫu thí nghiệm còn thống kê suy diễn rút ra kết luận từ dữ liệu. Ngày nay, với sự phát triển không ngừng về khả năng tính toán của máy tính, thống kê được sử dụng nhiều trong học máy (Machine learning) nhằm xây dựng các mô hình toán cho các thuật toán học máy.

Thống kê suy diễn được sử dụng nhiều trong phân tích dữ liệu khẳng định. Trong khuôn khổ luận văn này, tác giả tập trung nghiên cứu mô hình hồi quy tuyến tính trong thống kê với mục đích xây dựng mô hình học máy cho bài toán phân tích dữ liệu để dự đoán tương lai. Lựa chọn công cụ Hiện tại, các công cụ hỗ trợ phân tích dữ liệu đã xuất hiện nhiều như R, SPSS, WEKA,… Tuy nhiên, tác giả lựa chọn và nghiên cứu phần mềm WEKA. Đây là phần mềm được phát triển bằng Java nhằm phát triển các kỹ thuật học máy và áp dụng chúng vào các bài toán khai phá dữ liệu trong thực tế.60480103 TIEU LUAN MOI download : skknchat@gmail.60480103 13 Chương 2 MÔ HÌNH HỒI QUY TUYẾN TÍNH VÀ CÔNG CỤ HỖ TRỢ WEKA 2.

Mô hình hồi quy tuyến tính 2. Lý thuyết về mô hình hồi quy Phân tích hồi quy nghiên cứu sự phụ thuộc của biến phụ thuộc vào một hay nhiều biến độc lập để ước lượng hay dự đoán giá trị trung bình của biến phụ thuộc trên cơ sở các giá trị biết trước của biến độc lập. Phân tích hồi quy được mô hình hóa thông qua dưới dạng: Y = f(X) + ε (2.1) Trong đó: - X là biến độc lập - Y là biến phụ thuộc - ε là sai số ngẫu nhiên - f(X) = E(Y|X) là hàm hồi quy tổng thể PRF cho biết giá trị trung bình của biến Y sẽ thay đổi như thế nào khi biến X nhận các giá trị khác nhau Mô hình (2.1) được gọi là mô hình hồi quy. Để khảo sát mô hình hồi quy người ta tiến hành quan sát các bộ số (Xi, Yi).

Ở lần quan sát thứ i, biến X nhận giá trị Xi, biến Y nhận giá trị Yi và sai số ngẫu nhiên là εi. Khi đó, mô hình (2.1) trở thành: Yi = f(Xi) + εi = E(Y|Xi) + εi (2.2) εi là độ chênh lệch giữa giá trị quan sát Yi của biến phụ thuộc Y với giá trị trung bình của Y khi biến độc lập X nhận giá trị Xi. ε tồn tại bởi nhiều yếu tố tác động. Một yếu tố quan trọng là do ngoài các biến độc lập X đã được đưa vào mô hình có thể còn có các biến khác chưa được xem xét tới cũng ảnh hưởng đến giá trị của biến phụ thuộc Y nên ε đại diện cho phần ảnh hưởng ấy.2) ta có: εi = Yi - f(Xi) => εi  0  Yi - f(Xi)  0 Nếu εi có giá trị càng nhỏ thì biến phụ thuộc Y càng quan hệ mật thiết hay càng phụ thuộc vào biến độc lập X.

Vì vậy, ε đóng vai trò quan trọng trong việc (LUAN.60480103 TIEU LUAN MOI download : skknchat@gmail.60480103 14 đánh giá chất lượng của mô hình hồi quy. Việc xây dựng mô hình hồi quy tốt thực chất là xác định hàm hồi quy tổng thể f(X) sao cho sai số ngẫu nhiên ε của mô hình nhận giá trị nhỏ nhất. Khi đó, ta có thể ước lượng hay dự đoán giá trị của biến phụ thuộc Y trên cơ sở các giá trị biết trước của biến độc lập X với một độ tin cậy nhất định. Trong nhiều trường hợp, ta không có điều kiện để xét toàn bộ tổng thể của một vấn đề.

Khi đó, ta có thể ước lượng giá trị trung bình của biến phụ thuộc từ tập số liệu mẫu. Thống kê học cung cấp phương pháp điều tra chọn mẫu cho phép lấy tập số liệu tổng thể một số mẫu số liệu để nghiên cứu, phân tích và đưa ra kết quả cho tổng thể với độ tin cậy cho trước. Việc xây dựng hàm hồi quy tổng thể được thực hiện thông qua việc xác định hàm hồi quy mẫu SRF, dùng nó để ước lượng và kiểm định các giả thiết từ đó xây dựng hàm hồi quy tổng thể. Hàm hồi quy mẫu được xây dựng dựa trên tập số liệu mẫu.

Mô hình hồi quy được chia làm 02 loại: - Mô hình hồi quy đơn với hàm hồi quy tổng thể chỉ có 1 biến độc lập - Mô hình hồi quy bội với hàm hồi quy tổng thể có từ 2 biến độc lập trở lên 2. Mô hình hồi quy tuyến tính Mô hình hồi quy tuyến tính là mô hình hồi quy mà trong đó hàm hồi quy tổng thể có dạng tuyến tính f(Xi) = E(Y|Xi) = β0 + β1X1i + β2X2i + … + βnXni (2.3) Trong đó: - Xi là giá trị của các biến độc lập X ở quan sát thứ i - E(Y|Xi) là giá trị trung bình của biến phụ thuộc Y khi biến độc lập X nhận các giá trị Xi ở quan sát thứ i - β0, β1, β2, …, βn là các tham số hồi quy.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ