Chương 1: TỔNG QUAN VÀ ỨNG DỤNG 1.1 MACHINE LEARNING LÀ GÌ? Machine Learning là một chương trình máy tính, không cần lập trình rõ ràng, học tập từ dữ liệu, lặp lại nhiều lần, có khả năng thích nghi khi tiếp xúc với dữ liệu mới.2 FORECASTING LÀ GÌ? Forecasting là một quá trình đưa ra các số liệu để dự báo cho một vấn đề cần có quyết định trong tương lai.3 MACHINE LEARING ĐƯỢC ỨNG DỤNG VÀO NHỮNG VIỆC GÌ? Hầu hết mọi ngành công nghiệp đang làm việc với hàm lượng lớn dữ liệu đều sử dụng công nghệ Machine Learning. · Các dịch vụ tài chính Ngân hàng và những doanh nghiệp hoạt động trong lĩnh vực tài chính sử dụng công nghệ Machine Learning với 2 mục đích chính: xác định insights trong dữ liệu và ngăn chặn lừa đảo. Insights sẽ biết được các cơ hội đầu tư hoặc thông báo đến nhà đầu tư thời điểm giao dịch hợp lý. Data mining cũng có thể tìm được những khách hàng đang có hồ sơ rủi ro cao hoặc sử dụng giám sát mạng để chỉ rõ những tín hiệu lừa đảo.
· Chính phủ Các tổ chức chính phủ hoạt động về an ninh cộng đồng hoặc tiện ích xã hội sở hữu rất nhiều nguồn dữ liệu có thể khai thác insights. Ví dụ: khi phân tích dữ liệu cảm biến, chính phủ sẽ tăng mức độ hiệu quả của dịch vụ và tiết kiệm chi phí. Machine Learning còn hỗ trợ phát hiện gian lận và giảm thiểu khả năng trộm cắp danh tính. · Chăm sóc sức khỏe Machine Learning là 1 xu hướng phát triển nhanh chóng trong ngành chăm sóc sức khỏe, nhờ vào sự ra đời của các thiết bị và máy cảm ứng đeo được sử dụng dữ liệu 3 do an để đánh giá tình hình sức khỏe của bệnh nhân trong thời gian thực (real-time).
Công nghệ Machine Learning còn giúp các chuyên gia y tế xác định những xu hướng hoặc tín hiệu để cải thiện khả năng điều trị, chẩn đoán bệnh. · Marketing và sales Dựa trên hành vi mua hàng trước đây, các trang web sử dụng Machine Learning phân tích lịch sử mua hàng, từ đó giới thiệu những vật dụng mà bạn có thể sẽ quan tâm và yêu thích. Khả năng tiếp nhận dữ liệu, phân tích và sử dụng những dữ liệu đó để cá nhân hóa trải nghiệm mua sắm (hoặc thực hiện chiến dịch Marketing) chính là tương tai của ngành bán lẻ. · Dầu khí Tìm kiếm những nguồn nguyên liệu mới.
Phân tích các mỏ dầu dưới đất. Dự đoán tình trạng thất bại của bộ cảm biến lọc dầu. Sắp xếp các kênh phân phối để đạt hiệu quả và tiết kiệm chi phí. Có thể nói, số lượng các trường hợp sử dụng Machine Learning trong ngành công nghiệp này cực kì lớn và vẫn ngày càng mở rộng.
· Vận tải Phân tích dữ liệu để xác định patterns các xu hướng là trọng tâm trong ngành vận tải vì đây là ngành phụ thuộc vào khả năng tận dụng hiệu quả trên mỗi tuyến đường và dự đoán các vấn đề tiềm tàng để gia tăng lợi nhuận. Các chức năng phân tích dữ liệu và modeling của Machine Learning đóng vai trò quan trọng với các doanh nghiệp vận chuyện, vận tải công cộng và các tổ chức vận chuyển khác.4 CÁC BƯỚC CƠ BẢN ĐỂ TIẾN HÀNH TRONG MỘT DỰ BÁO - Xác định vấn đề - Thu thập thông tin - Phân tích dữ liệu - Chọn mô hình 4 do an - Sử dụng và đánh giá mô hình 1.5 DỮ LIỆU VÀ PHƯƠNG PHÁP DÙNG TRONG DỰ BÁO Các phương pháp dự báo thích hợp phụ thuộc phần lớn vào dữ liệu nào có sẵn. Dự báo định lượng(quantitative forecasting) có thể được áp dụng khi hai điều kiện được thỏa mãn: - Có dữ liệu dạng số phù hợp với việc dự đoán. - Có một giả thiết có cơ sở về những mô típ trong quá khứ và vẫn sẽ tiếp tục trong tương lại.
Hầu hết các vấn đề dự đoán định lượng sử dụng dữ liệu chuỗi thời gian (được thu thập tại các khoảng thời gian đều đặn theo thời gian) hoặc dữ liệu cắt ngang (được thu thập tại một thời điểm duy nhất). Nếu không có dữ liệu khả dụng hoặc nếu dữ liệu khả dụng không liên quan đến dự báo thì phải sử dụng phương pháp dự báo định tính(qualitative forecasting). 5 do an Chương 2: CÁC CÁCH THỂ HIỆN DỮ LIỆU DƯỚI DẠNG TIME SERIES 2.1 CÁC MÔ TÍP CÓ THỂ XUẤT HIỆN · Xu hướng (Trend) Dùng để miêu tả trường hợp trong dữ liệu xuất hiện hiện tượng giá trị tăng hoặc giảm trong thời gian dài. [1] Hình 1 Biểu đồ lượng bia sản xuất hàng tháng tại Úc (1956-1990) · Mùa (Seasonal) Dùng cho trường hợp các yếu tố dự đoán bị tác động bởi những yếu tố mang tính mùa vụ, thời vụ (ngày trong tuần, tuần trong tháng, hay tháng trong năm) Hình 2 Biểu đồ dự đoán lượng bia sản xuất hàng tháng tại Úc 6 do an · Tuần hoàn (Cyclic) Khi một mô típ thể hiện một sự tăng và giảm có lặp lại nhưng không phụ thuộc vào những yếu tố mùa vụ.
Yếu tố tác động chủ yếu ở đây là chu kỳ phát triển của doanh nghiệp hay kinh tế. Hình 3 Biểu đồ giá chứng khoán của công ty IBM 2.2 CÁC CÁCH THỂ HIỆN DỮ LIỆU DƯỚI DẠNG TIME SERIES · Biểu đồ đường (Line Plot) Thể hiện các giá trị quan sát theo thời gian, các điểm quan sát được nối lại với nhau tạo thành một đường. Hình 4 Biểu đồ dự đoán lượng bia sản xuất hàng tháng tại Úc 7 do an · Scatter Plot Biểu đồ thể hiện các quan sát dưới dạng điểm. Từ đó, nhận ra được mối quan hệ tuyến tính giữa yếu tố quan sát và các yếu tố khác.
Hình 5 Biểu đồ tương quan giữa lượng điện tiêu thụ so với nhiệt độ hàng ngày · Lag Plot Tương tự như Scatter Plot, thể hiện sự tương quan giữa yếu tố dự đoán và các yếu tố khác.Autocorrelation PlotCho biết tương quan tuyến tính của các Lag. Hình 6 Biểu đồ tương quan lượng điện tiêu thụ giữa ngày hiện tại so với trước đó 2 ngày 8 do an · Autocorrelation Plot Cho biết tương quan tuyến tính của các Lag. Hình 7 Biểu đồ tương quan lượng điện tiêu thụ của ngày hiện tại so với những ngày trước đó 9 do an Chương 3: CÁC CÔNG CỤ SỬ DỤNG CHO VIỆC DỰ ĐOÁN 3. CÁC PHƯƠNG PHÁP DỰ ĐOÁN ĐƠN GIẢN · Phương pháp trung bình Ý tưởng của phương pháp trung bình là tất cả những giá trị trong tương lai bằng trung bình (mean) của tất cả các giá trị được quan sát trong quá khứ.
+ | ⋯ / Hình 8 Biểu đồ dự đoán sản lượng sản xuất bia tại Úc dùng phương pháp trung bình · Phương pháp Naïve Phương pháp Naive giả định rằng giá trị dự đoán trong tương lai bằng giá trị quan sát được của ngày cuối cùng. + | 10 do an Hình 9 Biểu đồ dự đoán sản lượng sản xuất bia tại Úc dùng phương pháp Naïve · Phương pháp Seasonal Naïve Tương tự như Naïve, nhưng thay vì sử dụng giá trị quan sát của này cuối cùng, thì giá trị trong tương lai sẽ bằng giá trị quan sát được của ngày cuối trong mùa tương ứng. + | + − + Hình 10 Biểu đồ dự đoán sản lượng sản xuất bia tại Úc dùng phương pháp Seasonal Naïve 11 do an · Phương pháp Drift Ý tưởng chính của phương pháp Drift ta có thể dự đoán sự tăng hoặc giảm của giá trị trong tương theo thời gian bằng cách dựa vào tập hợp những giá trị trung bình của thay đổi đã xuất hiện trong quá khứ. + | ℎ 1 Hình 11 Biểu đồ dự đoán sản lượng sản xuất bia tại Úc dùng phương pháp Drift 3.
CHUYỂN ĐỔI VÀ ĐIỀU CHỈNH (Transformation and Adjustment) Điều chỉnh (Adjustment) · Điều chỉnh lịch (Calendar Adjustment) Một số seasonal data bị ảnh hưởng bởi những yếu tố mang tính “lịch” (thứ trong tuần, tháng trong năm, số ngày trong tháng. Ta có thể làm cho dữ liệu đơn giản hơn bằng cách tách những yếu tố mang tính lịch ra khỏi dữ liệu trước khi train. Ví dụ: Với bộ dữ liệu sản lượng bia chúng ta đang dùng, việc sản lượng bia một tháng nhiều hơn tháng khác có thể đơn giản là do tháng đó có nhiều ngày hơn. Vậy ta có thể tính toán lại số liệu bằng trung bình sản lượng tháng (tổng sản lượng / số ngày) để loại bỏ sự khác biệt này.
12 do an Hình 12 Biểu đồ dự đoán sản lượng sản xuất bia tại Úc trước khi Adjustment · Điều chỉnh phổ biến (Popular Adjustment) Một số dữ liệu sẽ bị ảnh hưởng bởi yếu tố dân số. Cũng như những dữ liệu dự đoán bị ảnh hưởng bởi yếu tố “lịch” ta có thể adjust những dữ liệu bị ảnh hưởng bởi dân số bằng cách tính lại giá trị theo dõi trên đầu người để làm dữ liệu đơn giản dữ liệu hơn. · Điều chỉnh lạm phát (Inflation Adjustment) Một số dữ liệu khác lại bị ảnh hưởng bởi tỷ lệ lạm phát. Đối với những dữ liệu dạng như vậy ta thường chuyển đổi dữ liệu về giá trị tiền tệ trong một năm cụ thể nào đó.
BIẾN ĐỔI (Transformation) Biến đổi toán học (Mathematical Transformation) · Chuyển đổi nhật ký (Log Transformation) Log Transformation thường được sử dụng vì việc thay đổi trên chuỗi giá trị log liên quan đến sự thay đổi trên chuỗi giá trị thực log 13 do an Hình 13 Biểu đồ dự đoán sản lượng sản xuất bia tại Úc sau khi dùng Log Transformation · Chuyển đổi năng lượng (Power Transformation) Là một trong những lựa chọn thay thế cho Log Transformation. Các công thức thường được sử dụng là Square Roots Transformation và Cube Roots Transformation. · Biến đổi Box-cox (Box-cox Transformation) Là một sự kết hợp giữa Log và Power Transformation. log ế 0 1 l ℎ là một siêu tham số, cho phép ta điều chỉnh kết quả transformation.
Ta có thể điều chỉnh cho đến khi thấy dữ liệu đã đơn giản và dễ dàng cho việc dự đoán có hiệu quả. 14 do an Hình 14 Biểu đồ dự đoán sản lượng sản xuất bia tại Úc trước khi dùng Log Transformation 15 do an Chương 4: MÔ HÌNH HỒI QUY 4. Mô hình hồi tổng thể 4. Mô hình hồi quy tổng thể Mô hình hồi quy tổng thể (PRM – Population Regression Model): Là phương trình biểu diễn mối quan hệ giữa một biến phụ thuộc (Y) với một biến độc lập (X) xác định trên toàn bộ tổng thể có dạng như sau [2] ⋅ Trong mô hình hồi quy tổng thể có 3 thành phần: Biến số, Hệ số, Sai số.
- Thành phần thứ nhất: Biến số, bao gồm biến phụ thuộc và biến độc lập. · Biến phụ thuộc: là biến số mà ta đang quan tâm đến giá trị của nó, thường ký hiệu là Y và nằm ở vế trái của phương trình.