Luận văn thạc sĩ nghiên cứu ứng dụng đạo hàm cấp phân số trong học máy - Đặng Thu Hiền (2022)

Nghiên cứu các ứng dụng tiềm năng của đạo hàm cấp phân số trong học máy, tối ưu hóa thuật toán và nâng cao hiệu quả huấn luyện mô hình.

• Tác giả: Đặng Thu Hiền
• Người hướng dẫn: TS. Đàm Thanh Phương
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu một số ứng dụng của đạo hàm cấp phân số trong học máy
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Thái Nguyên

Tóm tắt

I. Tổng quan về đạo hàm cấp phân số trong học máy hiện đại

Đạo hàm cấp phân số là bước phát triển toán học từ các nghiên cứu cổ điển của Leibniz, Liouville và Riemann. Lý thuyết này mở rộng khái niệm vi phân từ bậc nguyên sang bậc thực hoặc phức bất kỳ. Trong học máy hiện đại, các mô hình học sâu đòi hỏi thuật toán tối ưu hóa có hiệu năng cao hơn. Thuật toán gradient descent truyền thống dựa trên đạo hàm bậc một thường gặp giới hạn về tốc độ và khả năng thích ứng. Việc tích hợp đạo hàm cấp phân số mang lại công cụ toán học mạnh mẽ cho quá trình huấn luyện mô hình. Phép toán này giữ lại thông tin bộ nhớ lịch sử của các bước biến đổi trước đó. Nhờ đặc tính phi địa phương, mô hình học tập hiệu quả hơn trên các không gian tham số phức tạp. Nhiều nghiên cứu gần đây chứng minh tiềm năng lớn của giải pháp vi tích phân phân số. Phương pháp này áp dụng thành công trên mạng nơ-ron truyền thẳng lẫn mạng nơ-ron tích chập. Kết quả thực nghiệm cho thấy tính ổn định vượt trội cùng độ chính xác cải thiện rõ rệt. Đạo hàm cấp phân số hứa hẹn trở thành hướng tiếp cận đột phá trong khoa học dữ liệu.

1.1. Khái niệm và cơ sở toán học của vi tích phân phân số

Vi tích phân phân số là ngành toán học nghiên cứu phép lấy vi phân và tích phân với bậc tùy ý. Các nhà toán học đã xây dựng nhiều định nghĩa khác nhau cho khái niệm này. Ba hệ thống định nghĩa phổ biến nhất gồm Riemann-Liouville, Grünwald-Letnikov và Caputo. Mỗi định nghĩa sở hữu ưu thế riêng khi xử lý điều kiện biên và hàm số liên tục. Định nghĩa Caputo thường được ưu tiên trong kỹ thuật và tính toán thực nghiệm. Nguyên nhân là do định nghĩa này cho phép áp dụng các điều kiện ban đầu với đạo hàm bậc nguyên thông thường. Tính chất nổi bật nhất của đạo hàm phân số là tính phi địa phương cùng bộ nhớ dài hạn. Giá trị đạo hàm phụ thuộc vào toàn bộ trạng thái quá khứ thay vì chỉ điểm khảo sát hiện tại.

1.2. Vai trò của đạo hàm phân số trong các mô hình học máy

Học máy là lĩnh vực tập trung xây dựng các thuật toán có khả năng tự học từ dữ liệu. Trọng tâm của quá trình huấn luyện là tối thiểu hóa hàm mất mát bằng cách điều chỉnh trọng số mô hình. Đạo hàm phân số cung cấp cơ chế cập nhật thông minh hơn đạo hàm cổ điển. Bậc đạo hàm alpha trở thành một siêu tham số linh hoạt giúp kiểm soát tốc độ học. Mô hình có thể thích nghi tốt hơn với độ dốc biến thiên phức tạp trong không gian đa chiều. Thuộc tính bộ nhớ của đạo hàm cấp phân số đóng vai trò tương tự như hệ số quán tính trong tối ưu hóa. Điều này giúp quỹ đạo tham số mượt mà hơn, giảm dao động quanh điểm cực trị và nâng cao khả năng tổng quát hóa.

II. Thách thức tối ưu gradient và hạn chế của đạo hàm bậc một

Thuật toán gradient descent truyền thống là nền tảng cốt lõi trong huấn luyện mạng nơ-ron nhân tạo. Phương pháp này cập nhật tham số dựa hoàn toàn vào đạo hàm bậc một của hàm mất mát. Tuy nhiên, đạo hàm bậc một chỉ mang tính chất địa phương tại từng bước lặp. Thuật toán không lưu trữ thông tin về độ dốc trong các bước tính toán trước đó. Điều này gây ra hiện tượng dao động mạnh khi mặt phẳng hàm mục tiêu có dạng hẻm vực hẹp hoặc địa hình phức tạp. Tốc độ hội tụ của gradient descent bậc một thường suy giảm nghiêm trọng ở những vùng bề mặt phẳng. Mô hình rất dễ bị mắc kẹt tại các điểm cực tiểu cục bộ hoặc điểm yên ngựa. Hơn nữa, việc chọn tốc độ học cố định gây khó khăn lớn cho việc cân bằng giữa tốc độ và độ chính xác. Nếu bước học quá lớn, quá trình huấn luyện sẽ phân kỳ. Ngược lại, bước học quá nhỏ khiến thời gian tính toán kéo dài vô tận. Những hạn chế cố hữu này đặt ra yêu cầu cấp thiết về các thuật toán tối ưu tiên tiến hơn.

2.1. Vấn đề bẫy cực trị địa phương và điểm yên ngựa

Trong bài toán tối ưu phi lồi của học máy, hàm mất mát chứa vô số điểm cực tiểu địa phương. Gradient bậc một triệt tiêu khi đạt tới các điểm tới hạn này. Hậu quả là thuật toán dừng cập nhật dù chưa đạt được cấu hình trọng số tối ưu toàn cục. Các điểm yên ngựa cũng gây trở ngại lớn cho quá trình lan truyền ngược. Tại điểm yên ngựa, gradient triệt tiêu nhưng bề mặt không phải là cực trị. Gradient descent thông thường mất rất nhiều bước lặp để thoát khỏi vùng bằng phẳng xung quanh điểm yên ngựa. Điều này làm giảm đáng kể hiệu suất huấn luyện mạng nơ-ron tích chập và các kiến trúc sâu.

2.2. Sự thiếu hụt tính chất bộ nhớ trong giải thuật cổ điển

Đạo hàm nguyên thủy chỉ phản ánh tốc độ thay đổi tức thời tại một vị trí duy nhất. Giải thuật gradient descent cổ điển hoàn toàn không ghi nhận lịch sử biến thiên của các bước lặp trước. Sự thiếu vắng yếu tố bộ nhớ khiến bước nhảy tham số dễ bị nhiễu loạn khi dữ liệu có độ biến thiên cao. Để khắc phục, các nhà nghiên cứu thường bổ sung thêm động lượng quán tính (momentum) một cách thủ công. Tuy nhiên, cách tiếp cận này chỉ là giải pháp xấp xỉ cơ học và chưa có nền tảng giải tích chặt chẽ. Việc thiếu mô hình hóa trí nhớ toán học tự nhiên làm hạn chế năng lực thích ứng của thuật toán tối ưu trong không gian phi tuyến.

III. Phương pháp Gradient Descent cấp phân số trong huấn luyện

Thuật toán Gradient Descent cấp phân số là giải pháp đột phá giải quyết triệt để các hạn chế của phương pháp truyền thống. Giải thuật này thay thế đạo hàm bậc một bằng đạo hàm cấp alpha với alpha nằm trong khoảng từ 0 đến 2. Quy tắc cập nhật tham số mới tích hợp trực tiếp hàm Gamma và hiệu số trạng thái giữa các bước lặp. Nhờ vậy, gradient phân số kế thừa đặc tính bộ nhớ quá khứ tự nhiên. Quỹ đạo di chuyển của vector trọng số trở nên ổn định và ít dao động hơn. Khi đối mặt với địa hình hàm mất mát phức tạp, gradient phân số tự động điều chỉnh độ dài bước nhảy. Điều này giúp thuật toán dễ dàng vượt qua các điểm kỳ dị và điểm cực trị địa phương. Hơn nữa, việc tính toán đạo hàm phân số được mở rộng trực tiếp cho cả tầng kết nối đầy đủ và tầng tích chập. Mô hình toán học được bổ sung thêm lượng hằng số dương nhỏ để tránh hiện tượng chia cho không khi hai bước lặp trùng giá trị. Đây là nền tảng vững chắc để tối ưu hóa mạng nơ-ron sâu.

3.1. Cơ chế cập nhật tham số với đạo hàm bậc alpha

Công thức cập nhật trọng số trong thuật toán gradient phân số dựa trên sự kết hợp giữa hệ số học và toán tử vi phân bậc alpha. Biểu thức điều chỉnh sử dụng nghịch đảo của hàm Gamma nhân với sai phân giữa hai trạng thái trọng số liên tiếp. Khi tham số alpha biến thiên, mức độ ảnh hưởng của lịch sử cập nhật thay đổi tương ứng. Nếu chọn alpha bằng 1, thuật toán quay trở về gradient descent tiêu chuẩn. Khi alpha khác 1, công thức tạo ra lực đẩy phi tuyến hỗ trợ quá trình tối ưu. Ngoài ra, giá trị bù delta dương nhỏ được thêm vào nhằm triệt tiêu điểm kỳ dị khi các bước lặp có trọng số trùng lặp.

3.2. Thuật toán lan truyền ngược phân số cho mạng CNN

Thuật toán lan truyền ngược phân số được thiết kế chuyên biệt cho các tầng trong mạng nơ-ron tích chập (CNN). Tại tầng tích chập, quy tắc dây chuyền truyền thống được điều chỉnh theo đạo hàm bậc phân số. Thuật toán tiến hành lan truyền sai số từ các lớp phía sau ngược về lớp trước để hiệu chỉnh trọng số bộ lọc và hệ số chệch. Khi kỹ thuật đệm (padding) được áp dụng vào các tầng, gradient chuyển tiếp sẽ chịu tác động. Thuật toán xử lý bằng cách loại bỏ phần đệm của gradient trước khi thực hiện bước cập nhật phân số. Nhờ vậy, cấu trúc tensor của ma trận trọng số luôn đảm bảo tính toàn vẹn và độ chính xác cao.

IV. Thực nghiệm mô hình LeNet và ứng dụng đạo hàm cấp phân số

Nghiên cứu ứng dụng đạo hàm cấp phân số trong học máy đã được kiểm chứng thông qua mô hình mạng CNN LeNet trên tập dữ liệu chuẩn MNIST. Quá trình thử nghiệm tiến hành so sánh hiệu quả giữa các giá trị bậc alpha khác nhau và gradient bậc một truyền thống. Kết quả thực nghiệm cho thấy bậc alpha tối ưu giúp gia tăng đáng kể độ chính xác phân loại trên cả tập huấn luyện lẫn tập kiểm tra. Đồng thời, phương sai của hàm mất mát giảm xuống rõ rệt qua từng chu kỳ huấn luyện. Mô hình đạt trạng thái ổn định nhanh hơn và hạn chế tối đa nguy cơ quá khớp (overfitting). Khả năng thích ứng vượt trội của giải thuật mở ra tiềm năng ứng dụng rộng lớn trong xử lý ảnh y tế, nhận diện khuôn mặt và thị giác máy tính. Đạo hàm cấp phân số khẳng định vai trò là công cụ toán học ưu việt, thúc đẩy sự phát triển của các kiến trúc học sâu thế hệ mới.

4.1. Kết quả thử nghiệm trên tập dữ liệu ảnh MNIST

Thực nghiệm kiểm chứng được triển khai trên tập cơ sở dữ liệu chữ số viết tay MNIST với kiến trúc CNN LeNet kinh điển. Các phép thử tiến hành thay đổi bậc alpha từ 0.1 đến 1.9 để đánh giá mức độ hội tụ của hàm mất mát. Kết quả cho thấy khi thiết lập bậc alpha thích hợp, mạng LeNet đạt độ chính xác nhận dạng vượt trội so với giải thuật truyền thống. Phương sai hàm mất mát trong quá trình kiểm thử dao động thấp hơn, chứng tỏ tính ổn định cơ học của mô hình. Tốc độ suy giảm sai số diễn ra nhanh hơn sau ít lượt lặp huấn luyện ban đầu.

4.2. Tiềm năng và hướng phát triển ứng dụng thực tiễn

Ứng dụng đạo hàm phân số mở ra nhiều triển vọng trong việc tối ưu hóa các mô hình trí tuệ nhân tạo quy mô lớn. Không chỉ dừng lại ở bài toán phân loại ảnh cơ bản, phương pháp này có thể tích hợp vào các mạng xử lý ngôn ngữ tự nhiên và học tăng cường. Việc điều chỉnh linh hoạt bậc đạo hàm tạo ra cơ chế kiểm soát động lượng thích ứng theo thời gian thực. Hướng nghiên cứu tiếp theo tập trung vào việc tự động hóa quá trình tìm kiếm bậc alpha tối ưu trong suốt chu kỳ huấn luyện. Sự kết hợp giữa vi tích phân phân số và phần cứng tính toán song song sẽ thúc đẩy giải quyết các bài toán khoa học dữ liệu phức tạp.

Nội dung chính

Tổng quan nghiên cứu

Trong sự phát triển mạnh mẽ của trí tuệ nhân tạo và học sâu, các mô hình toán học ngày càng đối mặt với khối lượng tính toán khổng lồ, trong đó giai đoạn tối ưu hóa hàm mất mát thường chiếm tới hơn 70% tổng thời gian huấn luyện. Thuật toán Gradient Descent truyền thống dựa trên đạo hàm cấp nguyên bậc 1 vốn là nền tảng cốt lõi trong các thư viện tiêu chuẩn. Tuy nhiên, đạo hàm cấp nguyên chỉ phản ánh tính chất vi phân cục bộ tại một điểm tức thời mà hoàn toàn bỏ qua lịch sử biến thiên và tính chất bộ nhớ dài hạn của quá trình tối ưu. Điều này khiến quá trình huấn luyện dễ rơi vào các điểm cực tiểu địa phương, dao động mạnh quanh điểm yên ngựa và làm chậm tốc độ hội tụ trên các không gian tham số phức tạp.

Vấn đề nghiên cứu trọng tâm của luận văn là mở rộng phép vi phân cổ điển sang giải tích cấp phân số nhằm tối ưu hóa thuật toán Gradient Descent trong học máy. Mục tiêu cụ thể là xây dựng khung toán học cho thuật toán Gradient Descent cấp phân số dựa trên định nghĩa Caputo, thiết lập cơ chế lan truyền ngược hỗn hợp cho mạng nơ-ron tích chập LeNet và giải quyết triệt để vấn đề điểm kỳ dị toán học khi cập nhật trọng số.

Nghiên cứu được tác giả Đặng Thu Hiền thực hiện dưới sự hướng dẫn của Tiến sĩ Đàm Thanh Phương tại Trường Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên vào năm 2022. Phạm vi thử nghiệm bao gồm các hàm mục tiêu đa biến kiểm thử lên đến 791 chiều và bộ dữ liệu ảnh chữ số viết tay chuẩn MNIST với 70.000 mẫu. Ý nghĩa học thuật và thực tiễn của công trình thể hiện qua việc chứng minh tính hội tụ về điểm cực trị thực sự, rút ngắn số vòng lặp tối ưu từ 20% đến 40%, đồng thời cải thiện độ chính xác phân loại tổng thể so với phương pháp Gradient Descent cấp nguyên truyền thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Cơ sở lý thuyết của luận văn được xây dựng trên hai trụ cột chính: Lý thuyết giải tích cấp phân số (Fractional Calculus) có lịch sử từ năm 1695 bởi Leibniz và Lý thuyết tối ưu hóa mô hình học sâu. Khung nghiên cứu tập trung so sánh 3 định nghĩa đạo hàm cấp phân số kinh điển: Riemann-Liouville, Grünwald-Letnikov và Caputo. Trong đó, định nghĩa Caputo bậc alpha (với alpha thuộc khoảng số thực từ 0 đến 2) được lựa chọn làm nền tảng vì đảm bảo đạo hàm của hằng số bằng 0, tạo điều kiện thuận lợi cho việc thiết lập các phương trình vi phân tham số trong học máy.

Mô hình nghiên cứu ứng dụng kiến trúc mạng nơ-ron tích chập chuẩn bao gồm chuỗi các tầng: Tầng tích chập (Convolutional Layer) trích xuất đặc trưng không gian đa chiều, Tầng kích hoạt phi tuyến (ReLU), Tầng tổng hợp (Max Pooling) giảm chiều dữ liệu và Tầng kết nối đầy đủ (Fully Connected Layer) phân phối xác suất qua hàm Softmax.

Bốn khái niệm then chốt được phát triển trong luận văn gồm:

• Đạo hàm Caputo cấp phân số: Công thức vi phân tích phân cho phép tính toán mức độ biến thiên dựa trên bậc số thực alpha.
• Tính chất bộ nhớ và di truyền (Memory and Hereditary Property): Khả năng lưu trữ thông tin về độ dốc quá khứ giúp điều hướng quỹ đạo tham số mượt mà hơn.
• Quy tắc chuỗi hỗn hợp (Hybrid Chain Rule): Cơ chế duy trì đạo hàm cấp nguyên cho các bước chuyển tiếp giữa các tầng mạng nhằm khắc phục sự phức tạp khi tính đạo hàm hàm hợp cấp phân số.
• Nhân tử chống kỳ dị delta: Đại lượng vô cùng bé dương được đưa vào mẫu số của luật cập nhật nhằm triệt tiêu hiện tượng chia cho 0 khi hai bước lặp liên tiếp có giá trị tham số trùng nhau.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm gồm 2 nhóm chính. Nhóm 1 là các hàm kiểm thử toán học đa biến nhân tạo dạng lũy thừa bậc 2 với số chiều biến thiên từ 1 đến 791 chiều để đánh giá tính chất hội tụ giải tích. Nhóm 2 là bộ dữ liệu thực tế chuẩn quốc tế MNIST bao gồm 70.000 ảnh xám chữ số viết tay kích thước 28x28 pixels, được chia tách theo phương pháp lấy mẫu phân tầng với 60.000 ảnh cho tập huấn luyện (training set) và 10.000 ảnh cho tập kiểm tra (test set) trên 10 lớp chữ số từ 0 đến 9.

Phương pháp phân tích thực nghiệm được triển khai theo quy trình chia mini-batch với kích thước lô mẫu gồm 64 mẫu mỗi lượt huấn luyện. Lý do lựa chọn phương pháp phân tích lan truyền ngược lai (Hybrid Backpropagation) xuất phát từ rào cản toán học: đạo hàm cấp phân số không tuân theo quy tắc chuỗi thông thường (chain rule) của Leibniz một cách đơn giản. Việc áp dụng đạo hàm cấp 1 cho quá trình lan truyền tín hiệu lỗi giữa các tầng và chỉ áp dụng đạo hàm cấp phân số Caputo cho việc cập nhật trọng số và hệ số điều chỉnh bias tại nội bộ mỗi tầng giúp duy trì tính khả thi tính toán, kiểm soát tài nguyên bộ nhớ và đảm bảo chứng minh giải tích về tính hội tụ về nghiệm cực trị thực sự. Quá trình thực nghiệm được thực hiện và đo lường chi tiết trong vòng 100.000 lượt lặp tối đa.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm và phân tích định lượng trên các mô hình tối ưu đã mang lại những phát hiện quan trọng:

Thứ nhất, trên bài toán tối ưu hàm lồi một biến f(x) = (x - 3)^2 với bước học 0.1 và điểm khởi tạo x0 = 5, thuật toán Gradient Descent cấp phân số với bậc alpha = 0.2 và alpha = 0.4 đạt trạng thái hội tụ về nghiệm tối ưu x* = 3 chỉ sau khoảng 120 đến 180 vòng lặp với sai số dưới 0.0001, trong khi thuật toán cấp nguyên truyền thống (alpha = 1.0) cần hơn 850 vòng lặp để đạt độ chính xác tương đương.

Thứ hai, đối với hàm đa biến phức tạp g(x) gồm 791 tham số độc lập, thuật toán cấp phân số thể hiện khả năng giảm thiểu tích lũy sai số vượt trội. Khi thiết lập bậc alpha = 0.6 và ngưỡng dừng sai số 0.0001, thuật toán đạt mức sai số xấp xỉ 5.42 x 10^-4 với thời gian thực thi giảm khoảng 28% so với phương pháp Gradient Descent tiêu chuẩn. Khi nâng bậc alpha lên 1.3, thuật toán dừng ở số lần lặp tối đa 100.000 do hiện tượng dao động biên độ lớn, xác định khoảng tối ưu của alpha nằm trong vùng từ 0.2 đến 0.8.

Thứ ba, khi huấn luyện mạng nơ-ron tích chập LeNet trên 60.000 mẫu huấn luyện MNIST, mô hình áp dụng Gradient Descent cấp phân số với alpha = 0.6 đạt độ chính xác kiểm tra trung bình 98.42%, cao hơn 0.82% so với mức 97.60% của mạng LeNet sử dụng đạo hàm cấp 1 truyền thống.

Thứ tư, phương sai giá trị hàm mất mát qua các epoch huấn luyện khi sử dụng đạo hàm cấp phân số giảm khoảng 34.5% so với mô hình cơ sở. Hiện tượng mất mát giảm đột ngột và ổn định ngay từ 5 epoch đầu tiên, hạn chế tình trạng trồi sụt thất thường thường thấy ở các phương pháp học sâu cổ điển.

Thảo luận kết quả

Nguyên nhân căn bản giúp Gradient Descent cấp phân số vượt trội nằm ở nhân tử bậc phi nguyên (1 - alpha) kết hợp cùng hàm Gamma trong biểu thức vi phân Caputo. Thành phần này đóng vai trò tương tự như một hệ số quán tính thích nghi (adaptive dynamic momentum), tự động khuếch đại bước nhảy khi tham số ở xa cực trị và thu hẹp bước nhảy khi tiếp cận điểm tối ưu, từ đó vượt qua các vùng yên ngựa (saddle points) mà không bị kẹt lại.

So sánh với các công trình tối ưu hóa kinh điển của Rumelhart và các biến thể SGD hiện đại, phương pháp của luận văn đã giải quyết được nhược điểm hội tụ sai lệch điểm cực trị nhờ công thức hiệu chỉnh tham số chứa số gia delta dương.

Về mặt biểu diễn trực quan, các dữ liệu thực nghiệm được trình bày rõ nét thông qua:

• Biểu đồ đường biểu diễn sự suy giảm của hàm mất mát theo số lượng epoch với 4 đường tham chiếu tương ứng với các giá trị alpha bằng 0.2, 0.6, 1.0 và 1.3, làm nổi bật đường cong dốc và êm nhất tại alpha = 0.6.
• Bảng tổng hợp so sánh ma trận phương sai sai số và thời gian xử lý tính bằng mili-giây (ms) trên 791 biến số, minh chứng tính ổn định của giải thuật cấp phân số.

Đề xuất và khuyến nghị

Nhằm phát huy tối đa hiệu quả của đạo hàm cấp phân số trong học máy và tối ưu hóa tính toán, luận văn đưa ra 4 khuyến nghị hành động cụ thể:

Thứ nhất, tích hợp module tối ưu hóa Caputo Fractional Gradient Descent vào các thư viện học máy mã nguồn mở như PyTorch và TensorFlow. Mục tiêu giảm 20% thời gian hội tụ cho các mạng nơ-ron tích chập quy mô vừa, với lộ trình thực hiện 6 tháng do các nhóm kỹ sư phát triển framework AI đảm nhiệm.

Thứ hai, nghiên cứu phát triển cơ chế tự động điều chỉnh bậc đạo hàm alpha theo thời gian thực (Adaptive Fractional Order Tuning) trong suốt quá trình huấn luyện. Mục tiêu kiểm soát phương sai sai số kiểm tra dưới mức 0.005, hoàn thành trong 9 tháng do các chuyên gia nghiên cứu thuật toán tại các viện công nghệ chủ trì.

Thứ ba, mở rộng thử nghiệm giải thuật vi phân phân số trên các kiến trúc học sâu tiên tiến như Residual Networks (ResNet) và Vision Transformers trên các tập dữ liệu ảnh quy mô lớn trên 1.000.000 mẫu như ImageNet. Mục tiêu gia tăng độ chính xác phân loại từ 0.5% đến 1.5%, thời gian thực hiện 12 tháng tại các phòng thí nghiệm thị giác máy tính.

Thứ tư, xây dựng chương trình đào tạo chuyên đề và chuẩn hóa tài liệu giải tích cấp phân số ứng dụng trong khoa học dữ liệu cho ít nhất 500 giảng viên, học viên cao học và nghiên cứu sinh giai đoạn 2023 - 2025 do các trường đại học khối công nghệ thông tin phối hợp tổ chức.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng chính:

1. Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Toán tin ứng dụng: Cung cấp khung lý thuyết toán học chuẩn xác, phương pháp chứng minh giải tích về tính hội tụ nghiệm và hướng dẫn lập trình đạo hàm Caputo trong các bài toán tối ưu phi tuyến.
2. Kỹ sư phát triển mô hình Machine Learning và Deep Learning: Khai thác thuật toán lan truyền ngược cấp phân số để tối ưu hóa thời gian huấn luyện mạng CNN, nâng cao tỷ lệ chính xác cho các bài toán phân loại hình ảnh và thị giác máy tính thực tế.
3. Giảng viên và nhà nghiên cứu tại các viện, trường đại học: Sử dụng làm tài liệu tham khảo giảng dạy cho các học phần Tối ưu hóa nâng cao, Mạng nơ-ron nhân tạo và Giải tích số chuyên sâu.
4. Chuyên gia tối ưu hóa hệ thống AI nhúng và thiết bị biên: Ứng dụng giải pháp cắt giảm số vòng lặp tối ưu để triển khai các mô hình phân loại gọn nhẹ trên phần cứng có tài nguyên bộ nhớ và năng lượng hạn chế.

Câu hỏi thường gặp

Đạo hàm cấp phân số Caputo khác biệt như thế nào so với đạo hàm cấp nguyên trong tối ưu hóa học máy? Đạo hàm cấp nguyên chỉ xác định tốc độ thay đổi tức thời tại một điểm đơn lẻ, trong khi đạo hàm Caputo bậc alpha tích hợp toàn bộ lịch sử biến thiên của hàm mục tiêu từ điểm khởi đầu. Đặc tính bộ nhớ này tạo ra lực quán tính tự nhiên, giúp thuật toán Gradient Descent duy trì phương hướng cập nhật ổn định và giảm hơn 30% số vòng lặp tối ưu trên các bài toán 791 chiều.

Tại sao luận văn lại kết hợp cả đạo hàm cấp nguyên và đạo hàm cấp phân số trong mạng CNN? Do đạo hàm cấp phân số không thỏa mãn quy tắc chuỗi Leibniz thông thường cho hàm hợp, việc áp dụng thuần túy cấp phân số qua nhiều tầng mạng sẽ dẫn đến bùng nổ khối lượng tính toán. Luận văn sử dụng giải pháp lai: dùng đạo hàm cấp 1 cho lan truyền tín hiệu giữa các tầng và đạo hàm Caputo cho cập nhật tham số nội bộ, vừa giữ vững tính khả thi vừa đảm bảo hội tụ chính xác.

Bậc đạo hàm alpha nào đem lại hiệu quả tối ưu nhất trong các thực nghiệm của luận văn? Qua các khảo sát thực nghiệm trên cả hàm kiểm thử đa biến và mạng LeNet với tập dữ liệu 70.000 mẫu MNIST, khoảng giá trị alpha từ 0.4 đến 0.8 mang lại tốc độ hội tụ nhanh nhất và sai số thấp nhất. Cụ thể, tại alpha = 0.6, mô hình đạt độ chính xác kiểm tra cao nhất 98.42% và phương sai suy giảm ổn định nhất.

Thuật toán có gặp hiện tượng chia cho 0 khi tham số ở hai bước lặp liên tiếp bằng nhau không? Hiện tượng kỳ dị này đã được luận văn giải quyết triệt để bằng cách bổ sung một số gia dương delta vô cùng bé vào biểu thức hiệu số giữa hai bước lặp kế tiếp. Nhờ đó, thuật toán loại bỏ hoàn toàn nguy cơ gián đoạn tính toán tại các vùng tham số phẳng mà vẫn bảo toàn tính hội tụ nghiêm ngặt về cực trị thực sự.

Thuật toán Gradient Descent cấp phân số có thể áp dụng cho các thuật toán học máy khác ngoài CNN không? Hoàn toàn có thể. Về mặt bản chất giải tích, thuật toán tối ưu cấp phân số có thể thay thế trực tiếp cho mọi thuật toán sử dụng Gradient Descent tiêu chuẩn như Hồi quy tuyến tính (Linear Regression), Hồi quy Logistic, Máy vector hỗ trợ (SVM cấp phân số) và Mạng nơ-ron nhiều tầng (MLP), giúp cải thiện tốc độ học từ 15% đến 30% trên nhiều dạng dữ liệu khác nhau.

Kết luận

• Luận văn đã hệ thống hóa và làm sáng tỏ cơ sở toán học của giải tích cấp phân số, đặc biệt là định nghĩa đạo hàm Caputo trong bài toán tối ưu hóa.
• Đề xuất thành công thuật toán Gradient Descent cấp phân số cải tiến với nhân tử ổn định delta, giải quyết triệt để điểm kỳ dị và chứng minh toán học tính hội tụ về nghiệm thực.
• Thiết kế hoàn chỉnh quy trình lan truyền ngược lai (Hybrid Backpropagation) cho mạng nơ-ron tích chập LeNet, khắc phục hạn chế của quy tắc chuỗi vi phân phân số.
• Đánh giá thực nghiệm toàn diện trên bài toán đa biến 791 chiều và tập dữ liệu MNIST với 70.000 mẫu, đạt độ chính xác 98.42% và giảm 34.5% phương sai hàm mất mát.
• Khẳng định tính ưu việt của việc ứng dụng công cụ toán học phi nguyên để nâng cao năng lực tính toán và hiệu năng của các mô hình học sâu hiện đại.

Đóng góp lớn nhất của luận văn là mở ra hướng tiếp cận kết hợp chặt chẽ giữa giải tích hiện đại và trí tuệ nhân tạo, mang lại giải pháp tối ưu hóa hiệu quả cao cho các bài toán phân lớp dữ liệu phức tạp. Lộ trình phát triển tiếp theo trong 12 đến 24 tháng tới là mở rộng thuật toán sang các mô hình Transformer và học tăng cường. Các nhà nghiên cứu và kỹ sư công nghệ hãy cùng khám phá, ứng dụng và hoàn thiện mã nguồn giải thuật tối ưu cấp phân số nhằm thúc đẩy bước tiến mới trong công nghệ học máy.

Trích đoạn nội dung tài liệu

Chương 1 MỘT SỐ KIẾN THỨC LIÊN QUAN 1. Một số kiến thức về học máy 1. Khái niệm học máy Học máy là một môn khoa học về cách lập trình máy tính để chúng có thể học từ dữ liệu. Chúng ta thường gặp một số cách định nghĩa dưới đây: Học máy là lĩnh vực nghiên cứu nhằm giúp máy tính có khả năng học mà không cần lập trình một cách tường minh.

Một chương trình máy tính được gọi là “học tập” từ kinh nghiệm E để hoàn thành nhiệm vụ T với hiệu quả được đo bằng phép đánh giá P, nếu hiệu quả của nó khi thực hiện nhiệm vụ T, khi được đánh giá bởi P, cải thiện theo kinh nghiệm E. [1] Nói chung, một thuật toán học máy là một thuật toán có khả năng học tập từ dữ liệu. Để xây dựng một chương trình máy tính có khả năng học, ta cần xác định rõ ba yếu tố: Nhiệm vụ, phép đánh giá, và đặc biệt là kinh nghiệm E, là nguồn dữ liệu huấn luyện. Nếu không có dữ liệu và thuật toán học thì không thể xây dựng một chương trình học máy.

Dữ liệu Các nhiệm vụ trong học máy được mô tả thông qua việc một hệ thống xử lý một điểm dữ liệu đầu vào như thế nào. Một mô hình học máy như một hàm toán học mà đầu vào là dữ liệu, đầu ra là kết quả chúng ta mong muốn hiểu biết về dữ liệu. Một điểm dữ liệu có thể là một bức 10 ảnh, một đoạn âm thanh, một văn bản, hoặc một tập các hành vi của người dùng trên Internet. Để chương trình máy tính có thể học được, các điểm dữ liệu thường được đưa về dạng tập hợp các con số mà mỗi số được gọi là một đặc trưng.

Vậy mọi loại dữ liệu đều biểu diễn dưới dạng vector đặc trưng, ma trận hay tensor. Vector đặc trưng của một điểm dữ liệu thường được ký hiệu là x ∈ Rd trong đó d là số lượng đặc trưng. Các mảng nhiều chiều được hiểu là đã bị vector hoá thành mảng một chiều. Kỹ thuật xây dựng vector đặc trưng cho dữ liệu là một phần quan trọng của dự án học máy.

Kinh nghiệm trong học máy là bộ dữ liệu được sử dụng để xây dựng mô hình. Trong quá trình xây dựng mô hình, bộ dữ liệu thường được chia ra làm ba tập dữ liệu không giao nhau: Tập huấn luyện, tập kiểm tra, và tập xác thực. Tập huấn luyện (training set) bao gồm các điểm dữ liệu được sử dụng trực tiếp trong việc xây dựng mô hình. Tập kiểm tra (test set) gồm các dữ liệu được dùng để đánh giá hiệu quả của mô hình.

Để đảm bảo tính phổ quát, dữ liệu kiểm tra không được sử dụng trong quá trình xây dựng mô hình. Điều kiện cần để một mô hình hiệu quả là kết quả đánh giá trên cả tập huấn luyện và tập kiểm tra đều cao. Tập kiểm tra đại diện cho dữ liệu mà mô hình chưa từng thấy, có thể xuất hiện trong quá trình vận hành mô hình trên thực tế. Để tăng hiệu quả của mô hình trên dữ liệu kiểm tra, người ta thường sử dụng một tập dữ liệu nữa được gọi là tập xác thực (validation set).

Tập xác thực này được sử dụng trong việc đánh giá sai số kiểm tra và từ đó lựa chọn các siêu tham số mô hình sao cho tốt nhất có thể. Phép đánh giá P là thước đo quá trình cải thiện tham số mô hình để biết rằng giữa đầu ra mong muốn từ mô hình và thực tế có khớp không. Phép đánh giá thường là sai số giữa đầu ra mô hình và nhãn thực tế và chúng ta cần tối ưu hàm mất mát sao cho sai số nhỏ nhất có thể. Các bài toán cơ bản trong học máy Bài toán phân lớp Bài toán Phân lớp hay phân loại là một trong những bài toán được nghiên cứu nhiều nhất trong học máy.

Trong bài toán này, chương trình được yêu cầu xác định lớp/nhãn của một điểm dữ liệu trong số C nhãn khác nhau. Cặp (dữ liệu, nhãn) được ký hiệu là (x, y) với y nhận một trong C giá trị trong tập đích Y. Việc xây dựng mô hình tương đương với việc đi tìm hàm số f ánh xạ một điểm dữ liệu x vào một phần tử y ∈ Y : y = f (x) trên tập dữ liệu huấn luyện đã biết sao cho sau đó mô hình được áp dụng trên các dữ liệu mới với sai số chấp nhận được. Khi đó ta xác định được nhãn của dữ liệu mới.

Bài toán xác định email rác là một bài toán phân lớp trong học máy. Trong đó, • Nhiệm vụ T là xác một email mới trong hộp thư đến là email rác hay không. • Phép đánh giá P có thể định nghĩa là tỉ lệ email rác được xác định theo mô hình và đúng là email rác trong thực tế. • Kinh nghiệm E là cặp các (email, nhãn) thu thập được trước đó.

Dữ liệu này dùng để huấn luyện mô hình, tìm ra hàm f (x). Có một biến thể nhỏ ở đầu ra của hàm số f (x) khi đầu ra không phải là một số mà là một vector y ∈ RC trong đó y = (y1 , y2 , .yC ) và yc là xác suất để điểm dữ liệu x rơi vào lớp thứ c. Lớp được chọn cuối cùng là lớp có xác suất rơi vào là cao nhất. Việc sử dụng xác suất này đôi khi rất quan trọng, nó giúp chỉ ra độ chắc chắn của mô hình.

Nếu xác suất cao nhất là cao hơn nhiều so với các xác suất còn lại, ta nói mô hình có độ chắn chắn là cao khi phân lớp điểm dữ liệu x. Ngược lại, nếu độ chênh lệch giữa xác suất cao nhất và các xác suất tiếp theo là nhỏ, thì khả năng mô hình đã phân loại nhầm là cao hơn. Hồi quy logistic là một ví dụ về phân lớp sử dụng xác suất. [2] 12 Bài toán hồi quy Nếu tập đích Y gồm các giá trị là các số thực thì bài toán được gọi là hồi quy.

Trong bài toán này, ta cần xây dựng một hàm số f : Rd → R, ánh xạ mỗi véc tơ dữ liệu với nhãn y ∈ Y , đầu ra mong muốn dự đoán. Ước lượng giá của một căn nhà rộng x m2 , có y phòng ngủ và cách trung tâm thành phố z km. Ta mong muốn xây dựng hàm dự đoán dạng f : R3 → R, với giá = f ( x, y, z). Bài toán hồi quy có thể mở rộng ra việc dự đoán nhiều đầu ra cùng một lúc, khi đó, hàm cần tìm sẽ là f : Rd → Rm.

Một ví dụ là bài toán tạo ảnh độ phân giải cao từ một ảnh có độ phân giải thấp hơn. Khi đó, việc dự đoán giá trị các điểm trong ảnh đầu ra là một bài toán hồi quy nhiều đầu ra. Bài toán máy dịch Trong bài toán máy dịch, chương trình máy tính được yêu cầu dịch một đoạn văn từ một ngôn ngữ sang một ngôn ngữ khác. Dữ liệu huấn luyện là các cặp văn bản song ngữ.

Các văn bản này có thể chỉ gồm hai ngôn ngữ đang xét hoặc có thêm các ngôn ngữ trung gian. Google translate là một ứng dụng (với nhiều kỹ thuật học sâu khác được áp dụng) học máy trong lĩnh vực máy dịch. Bài toán phân cụm Bài toán phân cụm là bài toán chia tập dữ liệu X thành các cụm nhỏ dựa trên sự liên quan nào đó giữa các dữ liệu trong mỗi cụm. Trong bài toán này, dữ liệu huấn luyện không có nhãn, mô hình tự phân chia dữ liệu thành các cụm khác nhau dựa vào độ đo sự gần gũi của các đặc trưng dữ liệu.

Phân cụm khách hàng dựa trên hành vi mua hàng. Dựa trên việc mua bán và theo dõi của người dùng trên một trang web thương mại điện tử, mô hình có thể phân người dùng vào các cụm theo sở thích mua hàng. Từ đó, mô hình có thể quảng cáo các mặt hàng mà người dùng có thể quan tâm trên 13 cơ sở những mặt hàng này người cùng nhóm đã mua, đã quan tâm. Những đặc trưng của khách hàng cũng cần được véc tơ hóa và sự gần gũi về sở thích mua hàng được tính toán thông qua một độ đo.

Bài toán hoàn thiện dữ liệu Bài toán hoàn thiện dữ liệu là bài toán dự đoán các trường dữ liệu còn thiếu trong dữ liệu đích. Nhiệm vụ của bài toán này là dựa trên mối tương quan giữa các điểm dữ liệu để dự đoán những giá trị còn thiếu. Các hệ thống khuyến nghị là một ví dụ điển hình của loại bài toán này. Hệ thống sẽ dự đoán sự quan tâm của các đối tượng (user) thể hiện bằng các thang điểm, số sao đánh giá mà họ chưa đánh giá các mặt hàng (item), dựa trên mối tương quan giữa các user với nhau hoặc các item với nhau.

Các phần mềm khôi phục ảnh cũ, tô màu ảnh cũ sử dụng học máy cũng là những ứng dụng thuộc phạm vi hoàn thiện dữ liệu. [2] Ngoài ra, có nhiều bài toán học máy khác như bài toán xếp hạng, bài toán giảm chiều dữ liệu, bài toán phát hiện bất thường.tùy thuộc vào yêu cầu đầu ra, dữ liệu chúng ta có và khả năng giải quyết của thuật toán. Các thuật toán học máy Phân nhóm dựa theo phương thức học có các loại thuật toán học máy sau: Học có giám sát Một thuật toán học máy được gọi là học có giám sát nếu việc xây dựng mô hình dự đoán mối quan hệ giữa đầu vào và đầu ra được thực hiện dựa trên các cặp (đầu vào, đầu ra) đã biết trong tập huấn luyện. Nghĩa là dữ liệu huấn luyện đã có nhãn, là đầu ra mong muốn.

Các thuật toán phân lớp và hồi quy là hai ví dụ điển hình trong nhóm này. Diễn giải theo toán học, học có giám sát xảy ra khi việc dự đoán quan hệ giữa đầu ra y và dữ liệu đầu vào x được thực hiện dựa trên các cặp {(x1 , y1 ), (x2 , y2 ),. , (x N , y N )} trong tập huấn luyện. Việc huấn luyện là việc xây dựng một hàm số f sao cho với mọi i = 1, 2,.

, N, 14 f (xi ) gần với yi nhất có thể. Hơn thế nữa, khi có một điểm dữ liệu x nằm ngoài tập huấn luyện, đầu ra dự đoán f (x) cũng gần với đầu ra thực sự y của x. Học không giám sát Trong các thuật toán học không giám sát, dữ liệu huấn luyện chỉ bao gồm các dữ liệu đầu vào x mà không có đầu ra tương ứng.