CHƯƠNG 1: GIỚI THIỆU VỀ THUẬT TOÁN K NEAREST NEIGHBORS 1. KNN (K Nearest Neighbors) là gì? Ưu điểm và nhược điểm của KNN KNN là một trong những thuật toán đơn giản nhất trong tất cả các thuật toán học máy (Machine Learning) được giám sát. Nó chỉ đơn giản là tính toán khoảng cách của một điểm dữ liệu mới đến tất cả các điểm dữ liệu huấn luyện khác. Khoảng cách có thể là bất kỳ loại nào, ví dụ Euclide hoặc Manhattan, vv Sau đó, nó chọn các điểm dữ liệu gần nhất của K, trong đó K có thể là bất kỳ số nguyên nào.
Cuối cùng, nó gán điểm dữ liệu cho lớp mà phần lớn các điểm dữ liệu K thuộc về. Nó rất dễ thực hiện 2. Đây là thuật toán học lười biếng và do đó không cần đào tạo trước khi đưa ra dự đoán theo thời gian thực. Điều này làm cho thuật toán KNN nhanh hơn nhiều so với các thuật toán khác yêu cầu đào tạo, ví dụ như SVM, hồi quy tuyến tính , v.
Vì thuật toán không yêu cầu đào tạo trước khi đưa ra dự đoán, dữ liệu mới có thể được thêm vào một cách liền mạch. Chỉ có hai tham số cần thiết để thực hiện KNN, tức là giá trị của K và hàm khoảng cách (ví dụ: Euclid hoặc Manhattan, v.) Nhược điểm: 1. Thuật toán KNN không hoạt động tốt với dữ liệu chiều cao vì với số lượng kích thước lớn, thuật toán sẽ khó tính toán khoảng cách trong mỗi thứ nguyên. Thuật toán KNN có chi phí dự đoán cao cho các bộ dữ liệu lớn.
Điều này là do trong các bộ dữ liệu lớn, chi phí tính khoảng cách giữa điểm mới và mỗi điểm hiện có trở nên cao hơn. Cuối cùng, thuật toán KNN không hoạt động tốt với các tính năng phân loại vì rất khó tìm thấy khoảng cách giữa các kích thước với các tính năng phân loại. Các khái niệm liên quan: 1. Trường hợp của một biến giải thích được gọi là hồi quy tuyến tính đơn giản.
Đối với nhiều hơn một biến giải thích, quá trình này được gọi là hồi quy tuyến tính bội. Biểu thức này khác với hồi quy tuyến tính đa biến, trong đó nhiều biến phụ thuộc tương quan được dự đoán thay vì một biến vô hướng. Trong trường hợp hồi quy tuyến tính, các mối quan hệ được mô hình hóa với các hàm dự đoán tuyến tính, các tham số mô hình chưa biết được ước tính từ dữ liệu. Các mô hình như vậy được gọi là mô hình tuyến tính.
Thông thường, giá trị trung bình có điều kiện của một phản hồi, được đưa ra các giá trị của các biến giải thích (hoặc dự đoán) đã cho, được coi là hàm affine của các giá trị này; ít thường xuyên hơn, trung vị có điều kiện hoặc một số lượng tử khác được sử dụng. Như với tất cả các hình thức phân tích hồi quy, hồi quy tuyến tính tập trung vào phân phối xác suất có điều kiện của phản hồi, có tính đến các giá trị của các yếu tố dự đoán, thay vì phân phối xác suất kết hợp của các biến này, là miền phân tích đa biến. Ba cách sử dụng chính để phân tích hồi quy là: xác định cường độ của các yếu tố dự báo, dự báo hiệu ứng và dự báo xu hướng. Hồi quy tuyến tính biểu diễn là một phương trình tuyến tính kết hợp một tập hợp các giá trị đầu vào (x) cụ thể mà giải pháp là đầu ra dự đoán cho tập hợp các giá trị đầu vào đó (y).
Như vậy, cả giá trị đầu vào (x) và giá trị đầu ra đều là số. Phương trình tuyến tính gán một hệ số tỷ lệ cho mỗi giá trị đầu vào hoặc cột, được gọi là hệ số và được biểu thị bằng chữ Hy Lạp Beta (B). Một hệ số bổ sung cũng được thêm vào, tạo cho dòng một mức độ tự do bổ sung (ví dụ: di chuyển lên và xuống trên một đồ thị hai chiều) và thường được gọi là hệ số chặn hoặc hệ số sai lệch. Ví dụ, trong một bài toán hồi quy đơn giản (một x đơn và một y), dạng của mô hình sẽ là: y = B0 + B1 * x (1.1) 5 do an Trong các kích thước cao hơn khi chúng ta có nhiều đầu vào (x), dòng được gọi là mặt phẳng hoặc siêu phẳng.
Do đó, biểu diễn là dạng của phương trình và các giá trị cụ thể được sử dụng cho các hệ số (ví dụ B0 và B1 trong ví dụ trên). Người ta thường nói về sự phức tạp của mô hình hồi quy như hồi quy tuyến tính. Điều này đề cập đến số lượng các hệ số được sử dụng trong mô hình. Khi một hệ số trở thành 0, nó sẽ loại bỏ hiệu quả ảnh hưởng của biến đầu vào trên mô hình và do đó khỏi dự đoán được thực hiện từ mô hình (0 * x = 0).
Hồi quy tuyến tính được nghiên cứu rất dài và có rất nhiều tài liệu về cách dữ liệu phải được cấu trúc để sử dụng tốt nhất mô hình. Khi thử các phương pháp khác nhau của bằng cách sử dụng các phương pháp phỏng đoán này và xem điều gì làm việc tốt nhất cho bộ dữ liệu hiện tại. Lasso Lasso là một phương pháp phân tích hồi quy thực hiện cả variable selection và regularization để tăng cường độ chính xác dự đoán và khả năng diễn giải của mô hình thống kê mà nó tạo ra, giảm độ phức tạp của mô hình và ngăn ngừa sự phù hợp quá mức có thể dẫn đến hồi quy tuyến tính đơn giản. Shrinkage là nơi các giá trị dữ liệu được thu nhỏ về một điểm trung tâm, giống như giá trị trung bình.
Lasso khuyến khích các mô hình đơn giản, thưa thớt (tức là các mô hình có ít tham số hơn). Kiểu hồi quy đặc biệt này rất phù hợp cho các mô hình thể hiện mức độ muticollinearity hoặc khi bạn muốn tự động hóa một số phần nhất định của lựa chọn mô hình, như loại bỏ lựa chọn tham số biến. Công thức tổng quát của Lasso Regression khác một chút ở phía cuối công thức, thay vì bình phương wi, hay chính là hệ số β như Ridge Regression, thì ở đây công thức Lasso lấy trị tuyệt đối. Elastic Net (EN) Hồi quy tuyến tính đàn hồi sử dụng các ứng dụng từ các kỹ thuật lasso và Ridge để chuẩn hóa các mô hình hồi quy.
Kỹ thuật này kết hợp cả hai phương pháp hồi quy lasso và ridge regression bằng cách học hỏi từ những thiếu sót của chúng để cải thiện việc chính quy hóa các mô hình thống kê. Công thức tổng quát của Elastic Net: (1. Decision Tree Regressor (CART): Decision Tree Regressor là một trong những phương pháp mô hình dự đoán được sử dụng trong thống kê , khai thác dữ liệu và học máy. Nó sử dụng decision tree (như một mô hình dự đoán) để đi từ các quan sát về một vật phẩm (được biểu thị trong các nhánh) để đưa ra kết luận về giá trị mục tiêu của vật phẩm (được biểu thị trong các lá).
Các mô hình cây trong đó biến mục tiêu có thể lấy một tập các giá trị rời rạc được gọi là classification trees, trong các cấu trúc cây này, leaves đại diện cho nhãn lớp và các nhánh đại diện cho conjunctions các tính năng dẫn đến các nhãn lớp. Cây quyết định trong đó biến mục tiêu có thể lấy giá trị liên tục (thường là số thực ) được gọi là regression trees. Regression trees quyết định sử dụng chính nguyên lý hoạt động của các phương trình hồi quy, đó là tìm ra mối quan hệ giữa những biến độc lập với biến phụ thuộc, giữa những biến đầu vào và biến dự báo, cũng vì vậy nên được gọi là Regression tree. Tuy nhiên nếu nhìn vào các mô hình Regression tree, chỉ thấy được sự tác động của biến này hay biến kia đến giá trị sau cùng của biến mục tiêu, nói cách khác, chỉ xác định được mối quan hệ nhân quả giữa các biến thông qua diễn giải Decision rules (hoặc nguyên lý nếu…thì) nhưng không thể nhìn thấy mức độ quan hệ, hay biến mục tiêu và các biến đầu vào quan hệ như thế nào về mặt định lượng, qua đó để dự báo giá trị của biến mục tiêu.
Ta xem qua ví dụ dưới đây: 7 do an Hình 1.1: Sơ đồ mô hình Regression tree dự báo giá của một chiếc xe Toyota. (nguồn: https://bigdatauni.com) Mô hình dựa trên 3 biến: tuổi đời chiếc xe (Age), trọng lượng (Weight) và mã lực (Horse power – HP), đã được chọn lọc trong 12 biến có được trong tập dữ liệu về 1000 chiếc xe Toyota Corolla, được lấy ra 600 để làm tập dữ liệu training. Ví dụ với chiếc xe có độ tuổi là 55, mã lực bằng 100 thì có thể bán với giá 9358$. Có thể thấy mối quan hệ giữa độ tuổi với giá trị của chiếc xe, tức độ tuổi cao hay thấp sẽ có tác động nhất định với giá trị của chiếc xe, tương tự như mã lực cao hay thấp, tuy nhiên tác động của độ tuổi, và mã lực đến giá xe, tác động nào mạnh hơn, lớn hơn? Dựa trên mô hình cây quyết định khó có thể xác định được.
Cũng chính vì thế, để diễn giải kết quả phân tích hồi quy, hoặc mô tả mối quan hệ theo cách định lượng hóa, thì mô hình cây quyết định thường không được phổ biến hay ưu tiên áp dụng, mà thay vào đó là sử dụng những phương trình hay mô hình hồi quy bao gồm các công thức định lượng mối quan hệ giữa các biến, các phương pháp kiểm định để chắc chắn các biến có mối liên hệ, và kết hợp với những đồ thị trực quan. Support Vector Regressor (SVM) Support Vector Regressor (SVM) là các mô hình học có giám sát với các thuật toán học liên quan để phân tích dữ liệu được sử dụng để phân loại và phân tích hồi 8 do an quy. Đưa ra một tập hợp các ví dụ đào tạo, mỗi ví dụ được đánh dấu thuộc về một hoặc hai loại khác, thuật toán đào tạo SVM xây dựng một mô hình gán các ví dụ mới cho một loại hoặc loại khác, làm cho nó trở thành một phân loại tuyến tính nhị phân không xác suất (mặc dù các phương thức chẳng hạn như chia tỷ lệ tồn tại để sử dụng SVM trong cài đặt phân loại xác suất). Một mô hình SVM là một đại diện của các ví dụ dưới dạng các điểm trong không gian, được ánh xạ sao cho các ví dụ về các loại riêng biệt được chia cho một khoảng cách rõ ràng càng rộng càng tốt.
Các ví dụ mới sau đó được ánh xạ vào cùng một không gian và được dự đoán sẽ thuộc về một thể loại dựa trên mặt của khoảng trống mà chúng rơi xuống.