CHƯƠNG 1.PHƯƠNG PHÁP HỌC MÁY 1. Khái niệm học máy Bản chất của việc học tập là việc thu thập thông tin xử lý theo một logic, phương pháp nào đó để biến thành tri thức, kinh nghiệm. Ở con người khả năng học tập làm tăng khả năng xử lý công viêc, nâng cao nhiều khả năng của bản thân, ứng phó với điều kiện hoàn cảnh luôn luôn vận động để tồn tại, phát triển. Về mặt sinh học thì khả năng học của loài người là khả năng tiến hóa bậc cao giúp con người sinh tồn trong thế giới chọn lọc tự nhiên.Học tập được xem là một quá trình, chứ không phải tập hợp các kiến thức thực tế và hủ tục giáo điều.
Nhưng như thế không phải là mục đích tự thân của hoạt động học mà chính là phương tiện để đạt được mục đích làm thay đổi chính chủ thể của hoạt động. Hoạt động học là hoạt động tiếp thu những tri thức lý luận, khoa học. Nghĩa là việc học không chỉ dừng lại ở việc nắm bắt những khái niệm đời thường mà học phải tiến đến những tri thức khoa học, những tri thức có tính chọn lựa cao, đã được khái quát hoá, hệ thống hoá. Hoạt động học tập không chỉ hướng vào việc tiếp thu những tri thức, kĩ năng, kĩ xảo mà còn hướng vào việc tiếp thu cả những tri thức của chính bản thân hoạt động học.
Hoạt động học muốn đạt kết quả cao, người học phải biết cách học, phương pháp học, nghĩa là phải có những tri thức về chính bản thân hoạt động học. Vậy làm thế nào để máy tính có khả năng học tập, tư duy và có khả năng học tập giống con người, có khả năng sáng tạo có thể thích ứng được với khái quát mọi hoàn cảnh (dữ liệu) khác nhau mà không phải lập trình lại là một lĩnh vực nghiên cứu rất được chú ý trong thời đại hiện nay. Học máy (machine learning) là một ngành khoa học nghiên cứu các kĩ thuật, các phương pháp cho phép các máy tính có khả năng "học" giống như con người. Hay nói một cách khác cụ thể hơn, học máy là một phương pháp để tạo ra các chương trình máy tính bằng việc phân tích các tập dữ liệu, qua đó máy tính có khả 10 năng tích lũy được tri thức thông qua việc học được các khái niệm để có thể ra quyết định trong các trường hợp tương tự [11].
Qua đó ta thấy Học máy có liên quan rất mật thiết với thống kê, vì cả hai lĩnh vực đều nghiên cứu việc phân tích dữ liệu, nhưng học máy khác với thống kê ở chỗ, học máy tập trung vào sự phức tạp của các giải thuật trong việc thực thi tính toán. Nhiều bài toán suy luận được xếp vào loại bài toán NP-khó, vì thế một phần của học máy là nghiên cứu sự phát triển các giải thuật suy luận xấp xỉ mà có thể xử lí được.[22] Học máy được ứng dụng vào nhiều lĩnh vực như: Máy truy vấn dữ liệu, chẩn đoán y khoa, phát hiện thẻ tín dụng giả, phân tích thị trường chứng khoán, phân loại các chuỗi DNA, nhận dạng tiếng nói và chữ viết, dịch tự động, chơi trò chơi và hoạt động rô-bốt,. Mô hình toán học Cho một tập dữ liệu vũ trụ X + Một tập mẫu T, cho T là tập hợp con của X + Một số hàm mục tiêu f : X → {đúng, sai} + Một tập huấn luyện D được gán D={(x,y)| x∈T,y=f(x)} + Tính toán một hàm f’: X → {đúng, sai} bằng cách sử dụng D như là: f’(x) ≅ f(x)cho tất cả các x thuộc X. Một số khái niệm cơ bản trong học máy 1.
Không gian biểu diễn của dữ liệu Không gian biểu diễn là một tập hợp: Ký hiệu là X, mỗi phần tử thuộc X có thể được gọi là các dữ liệu, các thể hiện, các đối tượng hay các ví dụ. Mỗi phần tử S∈X được b iểu diễn bởi một tập gồm n thuộc tính S=(s1, s2, …,sn). 11 Một đối tượng S cũng có thể được biểu diễn kết hợp với lớp liên thuộc của nó hay nói cách khác có thể được biểu diễn dưới dạng nhãn: z = (s, c). Bản chất của các dữ liệu Bản chất của các dữ liệu có thể là các giá trị số trong tập số thực, các giá trị rời rạc, các giá trị nhị phân, dãy các phần tử trong một bảng chữ cái (alphabet),.
Không gian biểu diễn của dữ liệu có thể biểu diễn dưới dạng thuần nhất (cùng kiểu) hoặc dưới dạng trộn (không cùng kiểu). Tiền xử lý dữ liệu Là quá trình xử lý dữ liệu đầu vào nhằm mục đích làm giảm số chiều của dữ liệu đầu vào, giảm số chiều của vấn đề, xử lý nhiễu,. Ta thực hiện như sau: Loại bỏ các thuộc tính không phù hợp hoặc ít phù hợp với quá trình học. Sử dụng các phép biến đổi tuyến tính hoặc không tuyến tính trên các thuộc tính ban đầu, nhằm giảm số chiều của không gian đầu vào.
Dùng các chuyên gia hoặc sử dụng trực quan để phát hiện các bất thường, các lỗi môtả thuộc tính hoặc nhãn, nhằm xử lý nhiễu. Quá trình rời rạc hóa dữ liệu Có những thuật toán học không xử lý được các dữ liệu mang tính liên tục. Do vậy cần phải biến đổi các dữ liệu mang tính liên tục thành các giá trị rời rạc. Có thể sử dụng các phương pháp sau: + Phương pháp phân đoạn.
+ Phương pháp đo lường entropy. + Nếu dữ liệu tuân theo một luật phân phối nào đó, ví dụ phân phối Gauss, phân phối đều,… thì ta có thể rời rạc thành các khoảng phân phối tương ứng. Tập mẫu Tập mẫu là tập hữu hạn các ví dụ. Có ba kiểu tập mẫu: + Tập mẫu học hay tập học.
+ Tập mẫu hợp thức hoá hay tập hợp thức. + Tập mẫu thử hay tập thử. Quá trình tìm kiếm trong không gian giả thuyết Trong một không gian giả thiết X thì học trở thành bài toán tìm kiếm giả thiết tốt nhất trong X. Nếu ta đánh giá mỗi giả thiết bởi một hàm "mục tiêu" thì ta xét học như một bài toán tối ưu hoá.
Nghĩa là bài toán tìm phần tử của X làm tối ưu hàm mục tiêu. Trong học máy người ta thường dùng tối ưu không ràng buộc hoặc tối ưu có ràng buộc. Các phương pháp tối ưu hoá thường dùng trong học máy như Gradient, nhân tử Lagrange,…[6] 1. Khái niệm Học có giám sát là một phương pháp học máy mà dữ liệu huấn luyện là dữ liệu được gắn nhãn hoàn toàn [9].
+ Dữ liệu được gán nhãn: Là dữ liệu bao gồm các cặp gồm đối tượng đầu vào và đầu ra mong muốn. Đầu ra của một hàm có thể là một giá trị liên tục gọi là hồi quy, hoặc có thể là dự đoán một nhãn phân loại cho một đối tượng đầu vào gọi là phân loại. Chương trình học có giám sát có nhiệm vụ là từ một đối tượng đầu vào hợp lệ bất kỳ thì chương trình phải dự đoán được giá trị của hàm, sau khi đã xem xét một sốcác cặp đầu vào và đầu ra tương ứng. 13 Chương trình học phải có khả năng tổng quát hóa từ các dữ liệu sẵn có để dự đoán được những tình huống chưa gặp phải một cách hợp lý.
Mô hình phổ biến nhất của học có giám sát là mô hình toàn cục (global model) là mô hình ánh xạ đối tượng đầu vào đến đối tượng đầu ra mong muốn.Tuy nhiên, trong một số trường hợp, việc ánh xạ được thực hiện dưới dạng một tập các mô hình cục bộ. Cách giải một bài toán học có giám sát Để giải một bài toán học có giám sát ta thực hiện theo các bước sau: Bước 1: Xác định loại của các ví dụ huấn luyện. Trước tiên ta cần phải quyết định xem loại dữ liệu nào sẽ được sử dụng làm ví dụ.1: Cho một công-ten-nơ chứa đầy hoa quả. Nhiệm vụ phải chia số quả này thành các nhóm đúng với loại quả đó.Phải biết trước số nhãn lớp cần phân loại, tức là phải biết trong công-ten-nơ đó có nhưng loại quả gì.
Giả sử trong công-ten-nơ đó có 5 loại quả là xoài, cam, táo, ổi, đào (đây chính là 5 loại nhãn lớp) nhiệm vụ xác định của bước này Ví dụ1.2: Ta có thể chọn dữ liệu một kí tự viết tay đơn lẻ, toàn bộ một từ viết tay, hay toàn bộ một dòng chữ viết tay,. Bước 2: Thu thập tập dữ liệu huấn luyện. Khi thu thập tập dữ liệu huấn luyện cần phải đảm bảo được sự đặc trưng cho thực tế sử dụng của hàm chức năng. Do đó tập các dữ liệu đầu vào và đầu ra tương ứng phải được thu thập từ các chuyên gia hoặc từ việc đo dạc tính toán.3: tiếp theo ví dụ trên phải có tập đặc trưng của mỗi loại quả, ví dụ các đặc trưng là: hình dáng, màu sắc, trọng lượng, độ cứng mềm, v.v… Tập đặc trưng này có được thông qua học một tập dữ liệu huấn luyện (chính là các công-ten- nơ của các chuyến hàng trước đó).
14 Bước 3: Xác định việc biễu diễn các đặc trưng đầu vào cho hàm mục tiêu cần tìm. Độ chính xác của mục tiêu phụ thuộc rất lớn vào các đối tượng đầu vào được biểu diễn như thế nào. Đa số các đối tượng đầu vào được chuyển đổi thành một véc tơ đặc trưng chứa các đặc trưng cơ bản của đối tượng đó. Chú ý số lượng các đặc trưng không được lớn quá, để tránh sự bùng nổ tổ hợp tuy nhiên nó phải đủ lớn để đảm bảo dự đoán chính xác đầu ra.
Tiếp ví dụ trên 1.3: Khi thực hiện phân loại các loại quả trong công-ten-nơ đang xét, dựa vào đặc trưng của các loại quả (điều kiện 2), quả sẽ được đưa vào 1 trong 5 nhóm đã biết (ví dụ trên). Bước 4: Xác định cấu trúc của hàm mục tiêu cần tìm và giải thuật học tương ứng. Ví dụ: Ta có thể ứngdụng mạng nơ-ron nhân tạo,cây quyết định,. Bước 5: Hoàn thiện thiết kế.
Tiến hành chạy giải thuật học với tập dữ liệu huấn luyện thu thập được. Ta có thể điều chỉnh các tham số của giải thuật học bằng cách tối ưu hóa hiệu năng trên một tập con của tập huấn luyện, hay thông qua kiểm chứng chéo. Sau đó ta tiến hành đo đạc hiệu năng của giải thuật trên một tập dữ liệu kiểm tra độc lập với tập huấn luyện. Cực tiểu hóa rủi ro kinh nghiệm Mô hình toàn cục của việc học có giám sát có mục tiêu nhằm tìm ra một hàm g, khi cho sẵn một tập hợp các điểm có dạng (x, g(x)).