chương 1 chúng ta xác định, và làm rõ các cơ sở lý thuyết, căn cứ khoa học, các nghiên cứu thực tiễn về các nội dụng có liên quan, hoặc công trình nghiên cứu tương tự để nghiên cứu áp dụng vào mục đích nghiên cứu đề tài này. Tổng quan về học máy Trong các lĩnh vực khoa học, công nghệ và nhân văn khác nhau, cũng như trong sinh học, khí tượng, y học hoặc tài chính, để trích dẫn một số, các chuyên gia nhắm vào dự đoán một hiện tượng dựa trên các quan sát hoặc đo lường trong quá khứ. Ví dụ, các nhà khí tượng học cố gắng dự báo thời tiết cho những ngày tiếp theo từ điều kiện khí hậu của những ngày trước đó. Trong y học, luyện tập thu thập các phép đo và thông tin như huyết áp, tuổi hoặc tiền sử chẩn đoán tình trạng của bệnh nhân.
Ban đầu, trong hóa học, các hợp chất được phân tích bằng cách sử dụng khối phổ thử các phép đo để xác định xem chúng có chứa một loại phân tử hoặc nguyên tử. Trong tất cả các trường hợp này, mục tiêu là sự thay đổi của một biến phản hồi dựa trên một tập hợp các yếu tố dự đoán được quan sát. Trong nhiều thế kỉ, các nhà khoa học đã giải quyết những vấn đề như vậy bằng cách dẫn xuất theo khuôn khổ lý thuyết từ các nguyên tắc đầu tiên hoặc đã tích lũy kiến thức để mô hình hóa, phân tích và hiểu các vấn đề đang nghiên cứu. Ví dụ, các học viên biết từ những bệnh nhân cũ trong quá khứ, bệnh nhân cao tuổi bị đau tim với huyết áp thấp nói chung là rủi ro cao.
Tương tự, các nhà khí tượng học biết từ lớp học các mô hình khí hậu mà một ngày nắng nóng, ô nhiễm cao có khả năng xảy ra tiếp theo là các diễn biến khác. Tuy nhiên, đối với một số vấn đề ngày càng tăng về số lượng, các phương pháp tiếp cận tiêu chuẩn bắt đầu chỉ ra các giới hạn của nó. Ví dụ, xác định thâm nhập các yếu tố nguy cơ di truyền đối với bệnh tim, nơi mà kiến thức vẫn còn rất thưa thớt, gần như không thực tế đối với khả năng nhận thức của con người do sự phức tạp cao và phức tạp của các tương tác tồn tại trong gen di truyền. Tương tự như vậy, đối với các dự báo khí tượng chi tiết, một số lượng lớn các biến cần phải được tính đến, nhanh chóng 5 vượt ra ngoài khả năng của các chuyên gia để đưa tất cả họ vào một hệ phương trình.
Để phá vỡ rào cản nhận thức này, máy móc với tốc độ và công suất ngày càng tăng đã được xây dựng và thiết kế từ giữa thế kỷ XX để hỗ trợ con người trong tính toán của họ. Tuy nhiên, thật đáng ngạc nhiên, cùng với sự tiến bộ này về phần cứng, sự phát triển trong khoa học máy tính lý thuyết, trí thông minh nhân tạo và số liệu thống kê nhanh chóng đã chứng minh máy móc trở nên vượt trội hơn máy tính. Những tiến bộ gần đây đã khiến họ trở thành chuyên gia trong lĩnh vực riêng, có khả năng học hỏi từ dữ liệu và tự khám phá cấu trúc dự đoán của các vấn đề. Các kỹ thuật và thuật toán bắt nguồn từ lĩnh vực máy học đã thực sự trở thành một công cụ mạnh mẽ để phân tích dữ liệu lớn và phức tạp, hỗ trợ thành công các nhà khoa học trong nhiều bước đột phá của các biến thể trong lĩnh vực khoa học và công nghệ.
Ví dụ công khai và nổi tiếng bao gồm việc sử dụng cây quyết định tăng cường trong phân tích thống kê dẫn đến việc phát hiện Higgs boson tại CERN [25], việc sử dụng các rừng ngẫu nhiên để phát hiện tư thế con người ở Microsoft Kinect [26] hoặc bộ phận tổng hợp các kỹ thuật học máy khác nhau để xây dựng hệ thống IBM tại Watson [27], có khả năng cạnh tranh với người đàn ông vô địch trên chương trình đố vui truyền hình Jeopardy của Mỹ. Về mặt hình thức, học máy có thể được định nghĩa là nghiên cứu các hệ thống có thể học từ dữ liệu mà không cần được lập trình rõ ràng. Một chương trình máy tính được cho là học từ dữ liệu và đo lường hiệu suất nếu hiệu suất của nó ở những tác vụ đó được cải thiện cùng với dữ liệu. Đặc biệt, học máy cung cấp các thuật toán có thể giải quyết các nhiệm vụ hồi quy, do đó mang đến các quy trình tự động để dự đoán một hiện tượng dựa trên những quan sát trong quá khứ.
Tuy nhiên, từ trước đến nay, mục tiêu của học máy không chỉ là tạo ra các thuật toán đưa ra dự đoán chính xác, nó cũng là để cung cấp thông tin chi tiết về cấu trúc của dữ liệu. Đối với các học viên, không phải là chuyên gia trong lĩnh vực máy học, nó cung cấp các diễn giải thực sự quan trọng như độ chính xác của dự đoán. Nó cho phép hiểu rõ hơn trong việc tìm hiểu hiện tượng đang nghiên cứu, khám phá dữ liệu tốt hơn và tự đạt kết quả dễ dàng hơn. Khái niệm Học máy là một những lĩnh vực của trí tuệ nhân tạo, học máy liên quan đến quá trình nghiên cứu và xây dựng các kĩ thuật giúp các hệ thống máy tính học tự động từ dữ liệu ban đầu để giải quyết một số vấn đề cụ thể nào đó.
Học máy là một quá trình tự động của các quá trình học và việc học thì tương đương với quá trình xây dựng các tập luật trên cơ sở quan sát các trạng thái của cơ sở dữ liệu và những sự thay đổi của chúng. Học máy là lĩnh vực rộng lớn và nó không chỉ bao gồm việc học từ các mẫu, mà còn là học tăng cường. Các thuật toán học máy dựa trên tập dữ liệu mẫu và các thông tin liên quan để làm đầu vào và trả về kết quả đầu ra là một mô hình diễn tả những kết quả học được. Nhìn chung, học máy sẽ sử dụng một tập hữu hạn các dữ liệu được gọi là tập huấn luyện.
Tập này sẽ chứa các mẫu dữ liệu mà nó được chuẩn hóa bằng mã theo một cách nào đó để máy có thể đọc và hiểu được. Tuy nhiên có một sự thật là tập huấn luyện bao giờ cũng có hữu hạn các phần tử, vì vậy không phải toàn bộ dữ liệu sẽ được học một cách chính xác. Phân loại các kỹ thuật học máy Các thuật toán học máy được chia làm 3 loại chính: học có giám sát, học không giám sát và học bán giám sát. Học có giám sát Học có giám sát là phương pháp học từ những dữ liệu mà trong quá trình học các kỹ thuật học máy sẽ giúp hệ thống xây dựng cách xác định những lớp dữ liệu.
Hệ nthống bắt buộc phải tìm ra một sự mô tả cho từng lớp dữ liệu. Sau đó người ta có thể sử dụng các luật phân loại được hình thành trong quá trình học và phân lớp nó để có thể sử dụng cho việc dự báo các lớp dữ liệu sau này. Học không giám sát Học không giám sát là hệ thống khai thác dữ liệu ứng dụng với những dữ liệu không có lớp được định nghĩa cụ thể từ trước, mà để máy học phải tự hệ thống quan sát các mẫu và nhận ra mẫu. Hệ thống này sẽ dẫn đến một tập lớp, mỗi lớp có một 7 tập mẫu riêng được khám phá từ trong tập dữ liệu.
Học không giám sát hay còn gọi là học từ quan sát và khám phá. Học bán giám sát Đây là các thuật toán học tích hợp từ viẹc học giám sát và việc học không giám sát. Học bán giám sát sẽ sử dụng cả dữ liệu đã gán nhãn và chưa gán nhãn để huấn luyện – điển hình là một số ít dữ liệu có gán nhãn cùng với lượng lớn dữ liệu chưa gán nhãn ban đầu. Học bán giám sát là quá trình học đứng giữa học không giám sát (không có bất kì dữ liệu đã được nhãn nào) và có giám sát (toàn bộ dữ liệu đều được gán nhãn).
Việc học bán giám sát tận dụng những ưu điểm của việc học giám sát và học không giám sát và loại bỏ những khuyết điểm thường gặp trên hai kiểu học này. Bài toán phân lớp dữ liệu 1. Khái niệm về phân lớp dữ liệu và bài toán phân lớp dữ liệu Khai phá dữ liệu: Khai phá dữ liệu nói chung có nghĩa là khai thác hoặc đào sâu vào dữ liệu ở các dạng khác nhau để có được các mẫu và để có được kiến thức về mẫu đó. Trong quá trình khai thác dữ liệu, các tập dữ liệu lớn trước tiên được sắp xếp, sau đó các mẫu được xác định và các mối quan hệ được thiết lập để thực hiện phân tích dữ liệu và giải quyết vấn đề [28].
Phân lớp dữ liệu: Đây là một nhiệm vụ phân tích dữ liệu, tức là quá trình tìm kiếm một mô hình mô tả và phân biệt các lớp và khái niệm dữ liệu. Phân loại là vấn đề xác định một tập hợp các danh mục (quần thể con), một dữ liệu mới thuộc về loại nào, trên cơ sở một tập dữ liệu huấn luyện chứa các dữ liệu và các lớp của chúng đã được biết đến [28]. Phân lớp dữ liệu có thể chia làm các bước sau: Bước học tập (Giai đoạn đào tạo): Xây dựng mô hình phân loại. Các thuật toán khác nhau được sử dụng để xây dựng mô hình phân loại bằng cách làm cho mô hình học bằng cách sử dụng tập huấn luyện có sẵn.
Mô hình phải được đào tạo để dự 8 đoán kết quả chính xác. Dữ liệu kiểm tra được sử dụng để ước tính độ chính xác của quy tắc phân loại. Bước phân loại: Mô hình được sử dụng để dự đoán và thử nghiệm mô hình đã xây dựng trên dữ liệu thử nghiệm và sau đó ước tính độ chính xác của các quy tắc phân loại. Dữ liệu kiểm tra được sử dụng để ước tính độ chính xác của quy tắc phân loại.
Ta có thể phát biểu bài toán phân lớp dữ liệu như sau: Đầu vào của bài toán phân lớp dữ liệu: Cho tập dữ liệu ban đầu D = {(xi, yi) | i = 1, 2, …, n}, trong đó, xi = (xi1, xi2, ., xik) Rk là dữ liệu gồm k thuộc tính ứng với tập thuộc tính A = {A1, A2, …, Ak} và yi C = {c1, c2, …, cm} là tập nhãn của các lớp dữ liệu ban đầu.