Chương 1: Kiến thức chuẩn bị. Trình bày một cách tổng quan về học máy, các kiến thức của giải tích, tối ưu và xác suất thống kê mà sẽ được sử dụng trong các chương tiếp theo. Chương 2: Độ chính xác của máy phân loại nhị phân. Trình bày ba kết quả: - Kết quả thứ nhất là các bất đẳng thức liên hệ các thước đo độ chính xác: diện tích của miền nằm dưới đường ROC (AUC ROC-Area Under the Curve ROC), độ chính xác cân bằng cao nhất (MBA-Maximal Balanced Accuracy ) và độ chính xác có trọng cao nhất (MWA-Maximal Weighted Accuracy).
Các bất đẳng thức này cho thấy ba thước đo đó có thể dùng thay thế cho nhau để đánh giá độ chính xác của một máy phân loại nhị phân vì nếu một trong những thước đo dần đến 1 thì các thước đo khác cũng dần đến 1. - Kết quả thứ hai là về tính tối ưu của máy xác suất thực và tính lồi của đường ROC của máy xác suất thực. Kết quả này giúp chúng ta hiểu vì sao các đường ROC của các máy phân loại nhị phân mà chúng ta gặp trong các công bố trên thế giới nói chung có dáng điệu gần lồi: vì các máy tối ưu có đường ROC lồi, nên các máy được tạo bởi các quá trình học máy khá tốt, đạt gần tới tối ưu cũng có đường ROC gần lồi. - Kết quả thứ ba là một công thức về giới hạn tác dụng của phương pháp biểu quyết trong việc tăng cường độ chính xác của máy phân loại nhị phân.
Ý nghĩa của kết quả này là bằng phương pháp biểu quyết, nói chung ta tăng được độ chính xác của máy, nhưng dù số máy tham dự biểu quyết có tiến tới vô cùng thì độ chính xác qua việc biểu quyết cũng không thể tăng đến 100%. 17 Chương 3: Ảnh hưởng của hàm mất mát đến các bài toán phân loại nhị phân. Trình bày các kết quả: - Khẳng định rằng: Trong phân lớp nhị phân, hàm mất mát bình phương và hàm cross-entropy là hai hàm mất mát mà các máy làm tối thiểu hóa mất mát theo các hàm đó chính là các máy xác suất thực (là loại máy được định nghĩa ở chương 2 và được chứng minh là máy tối ưu). - Các hàm mất mát siêu-lồi cũng dẫn đến các nghiệm cực tiểu là các máy tối ưu về độ chính xác.
Các máy đó chính là các biến đổi tham số của các máy xác suất thực. Kết quả này giúp chúng ta yên tâm về việc lựa chọn xây dựng các hàm mất mát siêu-lồi ví dụ như hàm bậc 4 cho học máy, thay vì dùng các hàm mất mát cổ điển như là cross-entropy và hàm mất mát bình phương. - Tính chất lồi của hàm mất mát là tính chất quan trọng, nếu thiếu nó thì quá trình học máy có thể bị rơi vào các bẫy, tức là rơi vào những nơi mà máy tương ứng không phải là máy có độ chính xác mong muốn. Điều này cho chúng ta một nguyên tắc quan trọng khi thiết kế hàm mất mát: cần phải dùng hàm lồi.
Chương 4: Tối ưu hóa phân đoạn hình ảnh bằng biểu quyết tô-pô. - Đưa ra một phương pháp mới về biểu quyết để tối ưu hóa phân đoạn hình ảnh, gọi là biểu quyết tô-pô. Phương pháp này gồm có 3 dạng: Dạng đơn giản nhất, dạng địa phương và dạng kết hợp cả tô-pô và số học. - Chứng minh phương pháp biểu quyết tô-pô hợp lý và cho kết quả tốt hơn phương pháp biểu quyết số học cổ điển trong nhiều trường hợp.
Vì vấn đề trong trường hợp tổng quát rất phức tạp về mặt lý thuyết toán học, nên ở phần này chúng tôi xét các trường hợp một chiều và hai chiều. - Xây dựng nhiều mô hình học máy cho ba vấn đề phân đoạn hình ảnh khác nhau (bài toán phân đoạn khuôn mặt người trong ảnh kĩ thuật số, bài toán phân đoạn muối trong ảnh địa chấn và bài toán phân đoạn mạch máu trong ảnh võng mạc). Ba bài toán này được chọn trong số các bài toán nổi tiếng trên thế giới. Trong cả ba trường hợp, các thống kê kết quả của chúng tôi cho thấy phương pháp biểu quyết tô-pô cho kết quả vượt trội hơn phương pháp biểu quyết số học cổ điển.
Công bố khoa học liên quan tới luận án Các kết quả trình bày trong luận án này đã được đăng trên 2 bài báo ở các tạp chí quốc tế có trong danh mục SCIE và Scopus, 2 bài báo ở các kỷ yếu hội nghị khoa học quốc tế. Ngoài ra, có thêm một kết quả nhỏ trong luận án này (một công thức giới hạn của độ chính xác qua biểu quyết) được trình bày tại một hội nghị quốc tế. 19 Chương 1 KIẾN THỨC CHUẨN BỊ 1.1 Mô hình chung của quá trình học máy Nói một cách toán học, một chương trình máy tính cổ điển có thể được biểu diễn như là một ánh xạ M :Ω→R từ tập đầu vào Ω đến tập đầu ra R. Ví dụ như, đầu vào v ∈ Ω là một văn bản, đầu ra r = M (v) ∈ R là các lỗi chính tả được chương trình phát hiện trong văn bản đó.
Một chương trình có học máy cũng là một ánh xạ có dạng M : Θ × Ω → R, trong đó ngoài tập đầu vào Ω và tập đầu ra R còn có một tập Θ nữa, gọi là tập các tham số có thể học (learnable parameters), tức là có thể thay đổi qua một “quá trình học”. Với mỗi θ ∈ Θ cố định thì ta được một “máy cổ điển” Mθ tương ứng: Mθ (v) = M (θ, v). Quá trình học của máy M chính là quá trình thay đổi và chọn lựa θ sao cho có được một máy Mθ “thông minh”, làm được công việc yêu cầu một cách tốt nhất có thể. Một ý tưởng chính của các nhà tiên phong trong AI là thiết kế máy biết học dựa trên mô phỏng bộ não, quá trình suy nghĩ và học tập của con người và động vật.
Đặc biệt là, máy cũng có các nơ-ron (neuron). Ngày nay, người ta đã thiết kế ra nhiều kiểu mạng nơ-ron nhân tạo (ANN) khác nhau, ví dụ như mạng nơ-ron dạng tích chập (CNN) phổ biến trong xử lý ảnh, mạng nơ-ron hồi quy (RNN) phổ biến trong xử lý chuỗi thời gian, v. Một mạng nơ-ron nhân tạo được minh họa như trong Hình 1.1, bao gồm các nơ-ron nhân tạo, là chỗ chứa thông tin (đầu vào, đầu ra, và trung gian trong quá trình xử lý). Các đường kết nối giữa các nơ-ron (axon), chính là các hàm số để tính toán với các dữ liệu đầu vào và trung gian.
Các hàm số này có các tham số có thể điều chỉnh, và đó chính là các thành phần của không gian tham số Θ. 20 Các nơ-ron được phân thành các lớp, tương tự như trong não bộ của người. mạng nơ-ron càng có nhiều lớp, càng có nhiều nơ-ron và các đường kết nối, thì càng phức tạp và càng có khả năng học để làm những việc phức tạp. Việc thiết kế và dạy học những mạng nơ-ron nhiều lớp được gọi là học sâu.1: Sơ đồ mạng nơ-ron: các nút tròn là “nơ-ron”, các đường nối là “axon”.
Thực ra cho đến cách đây một thập kỷ, những thuật toán phổ biến nhất cho học máy, ví dụ như thuật toán Máy vec-tơ hỗ trợ (SVM - Support Vector Machine), còn chưa dùng đến khái niệm “mạng nơ-ron”, tuy rằng khái niệm này có từ những năm 1960. Khái niệm “mạng nơ-ron” chỉ trở nên thật sự phổ biến khi người ta thiết kế được các mạng nơ-ron có nhiều lớp và các phương pháp học sâu. Việc học sâu cho ra các kết quả rất mạnh, nhưng nó đòi hỏi các máy tính hiệu suất cao, có khả năng tính toán song song (parallel processing), và chỉ mới trở nên phổ biến hơn các phương pháp học máy khác trong thập kỷ 2010. Đến ngày hôm nay, hầu hết các chương trình học máy quan trọng nhất và hiệu quả nhất đều dựa trên học sâu, cũng tương tự như ti-vi kỹ thuật số đã thay thế hoàn toàn ti-vi có ống tia ca-tốt (CRT-Cathode Ray Tube) vậy.
Sau khi đã thiết kế mạng nơ-ron của một máy AI, tức là tạo ra ánh xạ M :Θ×Ω→R (1.1) từ tích của tập tham số Θ và tập dữ liệu Ω vào tập đầu ra R, ta cần huấn luyện máy. Quá trình học máy là quá trình thay đổi dần các tham số qua từng bước 21 thời gian (từng bước học), θ = θ0 7→ θ1 7→ · · · 7→ θn 7→ θn+1 7→ · · · (1.2) theo một quy trình (phương pháp, thuật toán huấn luyện) nào đó, nhằm tìm ra một giá trị tham số θn sau một số hữu hạn các bước học, với một máy Mθn “đủ thông minh” như mong muốn. Tại thời điểm ban đầu θ0 có thể bằng 0 (một điểm gốc của không gian các tham số, ở đó máy chưa biết gì hết, như một “tờ giấy trắng”), hoặc được chọn ngẫu nhiên, hoặc đã qua huấn luyện trước đó cho cùng một vấn đề, hoặc đã qua huấn luyện trước đó nhưng cho việc giải quyết một vấn đề khác. Khi người ta dùng tham số của một máy MA đã được học để giải quyết vấn đề A làm xuất phát điểm cho một máy MB cần được học để giải quyết vấn đề B , thì người ta gọi đó là phương pháp học chuyển giao (transfer learning).1) minh họa cụ thể cho việc học chuyển giao này.
A là vấn đề phân tách cô đọng các tính chất (distilled features) của tất cả các ảnh nói chung, và máy MA đã được học trên hàng triệu ảnh, còn vấn đề B là phân loại ảnh cho một bệnh ung thư hiếm nào đó, chỉ có vài chục cái ảnh làm ví dụ để học. Nếu chỉ dùng vài chục cái ảnh này làm dữ liệu cho học máy thì không đủ phong phú, nên trong trường hợp này người ta sẽ chuyển giao các thứ đã được học từ vấn đề A (máy đã biết phân tách các tính chất cô đọng của ảnh) sang học tiếp cho vấn đề B (xem những tính chất cô đọng nào của ảnh thì là dấu hiệu của ung thư). Sau mỗi bước học thứ n, để biết xem máy Mθn “đủ thông minh chưa” hay “có học được gì không”, ta phải kiểm tra (test) máy đó, tương tự như đối với học sinh khi đi học. Khi làm kiểm tra, ta đưa cho máy xử lý m đầu vào (input) x1 ,.
, xm , rồi chấm điểm các kết quả đầu ra (output) y1 = Mθn (x1 ), .