Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh cuộc Cách mạng công nghiệp 4.0, Trí tuệ nhân tạo (AI) và Máy học (Machine Learning - ML) đã trở thành các công nghệ then chốt thúc đẩy tự động hóa và nâng cao năng suất lao động. Sự phát triển mạnh mẽ của năng lực xử lý phần cứng theo Định luật Moore cùng sự tích lũy dữ liệu số theo cấp số nhân đã đưa Học máy trở thành công cụ chủ đạo để giải quyết các bài toán phức tạp mà phương pháp lập trình truyền thống không đáp ứng được.

Khóa luận tốt nghiệp tập trung giải quyết hai nhóm bài toán cơ bản trong Học có giám sát (Supervised Learning):

  1. Bài toán dự đoán kết quả liên tục: Áp dụng mô hình hồi quy thống kê để tìm mối quan hệ giữa biến phụ thuộc và các biến độc lập, phục vụ cho các bài toán thực tiễn như dự báo lợi nhuận kinh doanh và định giá bất động sản.
  2. Bài toán nhận dạng mẫu (Pattern Recognition): Cụ thể là nhận dạng ký tự và chữ số viết tay. Đây là bài toán có tính ứng dụng cao (xử lý chi phiếu ngân hàng, mã bưu chính, biển số xe, bảng điểm) nhưng đặt ra thách thức lớn do sự đa dạng trong phong cách viết, trạng thái tâm lý và bối cảnh của người viết.

Điểm chung cốt lõi giữa hai bài toán là quy trình huấn luyện đều quy về việc cực tiểu hóa hàm mất mát hay hàm chi phí (cost function). Tác giả đã lựa chọn thuật toán tối ưu hóa số Gradient Descent (GD) làm phương pháp nền tảng để giải quyết yêu cầu tối ưu này.

Mục tiêu và nhiệm vụ nghiên cứu

Văn bản xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể sau:

  1. Mục tiêu 1: Xây dựng chương trình Machine Learning kết hợp phương pháp Gradient Descent để thực hiện nhận dạng chữ số viết tay từ 0 đến 9, hướng tới độ chính xác thực nghiệm đạt khoảng 85% - 90%.
  2. Mục tiêu 2: Nghiên cứu và áp dụng Gradient Descent vào các mô hình hồi quy tuyến tính đơn biến (SLR) và hồi quy tuyến tính đa biến (MLR) để giải quyết bài toán dự đoán dữ liệu kinh tế.
  3. Nhiệm vụ 1: Hệ thống hóa cơ sở toán học của thuật toán Gradient Descent, bao gồm các biến thể (Batch GD, Stochastic GD, Mini-batch GD) và kỹ thuật kiểm tra đạo hàm.
  4. Nhiệm vụ 2: Thiết lập mô hình toán học cho Hồi quy tuyến tính và Hồi quy Logistic, xây dựng hàm chi phí lồi và kỹ thuật chuẩn hóa (Regularization) chống hiện tượng quá khớp (overfitting).
  5. Nhiệm vụ 3: Tự xây dựng mã nguồn thực nghiệm trên môi trường Octave/Matlab từ các phép tính đại số tuyến tính mà không sử dụng các gói thư viện đóng gói sẵn, sau đó kiểm thử trên tập dữ liệu thực tế và tập dữ liệu chuẩn.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu:
    • Thuật toán tối ưu hóa Gradient Descent và các biến thể.
    • Mô hình Hồi quy tuyến tính đơn biến (SLR), Hồi quy tuyến tính đa biến (MLR) và mở rộng phi tuyến.
    • Mô hình Hồi quy Logistic (Logistic Regression) cho phân loại nhị phân (Binary Classification) và phân loại đa lớp (Multiclass Classification) thông qua phương pháp One-vs-All.
  • Phạm vi nghiên cứu:
    • Không gian học thuật: Ngành Tin học kinh tế, Khoa Hệ thống Thông tin Kinh tế, Trường Đại học Kinh tế – Đại học Huế; quá trình thực tập chuyên môn tại Công ty SoftWorld (chi nhánh Huế).
    • Thời gian hoàn thành: Tháng 01/2019.
    • Công cụ thực thi: Môi trường lập trình tính toán ma trận Octave / Matlab và các lệnh xử lý ảnh cơ bản.
    • Dữ liệu thực nghiệm: Tập dữ liệu 97 mẫu kinh doanh nhà hàng từ khóa học Machine Learning của Đại học Stanford; tập dữ liệu giá nhà ở Portland, bang Oregon; bộ dữ liệu 100 mẫu chữ số viết tay tự tạo; và bộ dữ liệu 5.000 mẫu chữ số viết tay trích xuất từ cơ sở dữ liệu mở MNIST.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình nghiên cứu

Khóa luận xây dựng trên nền tảng lý thuyết tối ưu hóa và học máy có giám sát với các mô hình toán học:

  • Nguyên lý cực tiểu hóa hàm chi phí: Sử dụng đạo hàm bậc nhất (gradient) để dẫn hướng việc cập nhật tham số ngược chiều biến thiên của hàm số nhằm tiến về điểm cực tiểu: $$\theta := \theta - \alpha \nabla J(\theta)$$
  • Tính lồi của hàm số (Convex Function): Phân tích tính chất lồi của hàm chi phí trong hồi quy tuyến tính (Mean Squared Error) và hồi quy Logistic (Cross-Entropy/Log Loss) nhằm bảo đảm rằng mọi điểm cực tiểu địa phương (local minimum) tìm được đều là điểm cực tiểu toàn cục (global minimum) duy nhất.
  • Mô hình Hồi quy tuyến tính (Linear Regression): Xác định hàm giả thuyết tuyến tính $h_\theta(x) = \theta^T x$ và tối ưu hóa hàm lỗi bình phương.
  • Mô hình Hồi quy Logistic (Logistic Regression): Sử dụng hàm kích hoạt Sigmoid/Logistic $g(z) = \frac{1}{1 + e^{-z}}$ để giới hạn giá trị đầu ra trong khoảng $[0, 1]$, thể hiện xác suất xuất hiện biến cố.
  • Kỹ thuật phân loại đa lớp One-vs-All (One-vs-Rest): Chia bài toán phân loại $K$ lớp thành $K$ bài toán phân loại nhị phân độc lập.
  • Kỹ thuật Regularization: Bổ sung thành phần phạt $\frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2$ vào hàm chi phí để kiểm soát độ lớn của các trọng số $\theta$, giảm thiểu phương sai cao (High Variance/Overfitting).

Phương pháp nghiên cứu thực tế

Tác giả kết hợp đồng bộ các phương pháp nghiên cứu định lượng và kỹ thuật thực nghiệm:

  1. Phương pháp tối ưu hóa số học (Numerical Optimization): Thiết lập quy trình lặp cập nhật đồng thời vector tham số $\theta$ theo từng bước học $\alpha$.
  2. Phương pháp giải tích toán học: Tính toán đạo hàm riêng giải tích (Analytic Gradient) của hàm chi phí theo từng tham số, kết hợp phương pháp số học (Numerical Gradient Checking) với bước nhảy vi phân $h = 10^{-5}$ để kiểm tra tính chính xác của gradient trước khi chạy giải thuật.
  3. Phương pháp xây dựng và xử lý chương trình Machine Learning: Tự lập trình trực tiếp các giải thuật bằng ma trận hóa (vectorization) trên phần mềm Octave/Matlab, không dùng các hàm huấn luyện tích hợp sẵn, giúp kiểm soát trực tiếp các tham số learning rate ($\alpha$) và số vòng lặp (num_iters).
  4. Phương pháp xử lý hình ảnh: Chuyển đổi ảnh chụp các chữ số viết tay sang định dạng ảnh mức xám (grayscale), chuẩn hóa kích thước điểm ảnh và chuyển đổi ma trận điểm ảnh thành vector đặc trưng 1 chiều đưa vào mô hình học máy.
  5. Kỹ thuật tiền xử lý dữ liệu: Áp dụng chuẩn hóa thu phóng đặc trưng (Feature Scaling) và chuẩn hóa trung bình (Mean Normalization) theo công thức $x_i \leftarrow \frac{x_i - \mu_i}{s_i}$ để đưa miền giá trị của các đặc trưng về khoảng $[-1, 1]$, giúp mặt phẳng tham số trở nên cân đối và tăng tốc độ hội tụ của Gradient Descent.

Nguồn dữ liệu

Bộ dữ liệu Quy mô Mục đích sử dụng trong khóa luận Nguồn gốc
Dữ liệu Lợi nhuận Nhà hàng 97 mẫu ($97 \times 2$) Thực nghiệm Hồi quy tuyến tính đơn biến (SLR) Khóa học Machine Learning - Đại học Stanford
Dữ liệu Bất động sản Portland Đa biến Thực nghiệm Hồi quy tuyến tính đa biến (MLR) Dữ liệu giao dịch nhà đất tại Portland, Oregon, Hoa Kỳ
Chữ số viết tay tự tạo 100 mẫu (10 mẫu/chữ số) Thử nghiệm sơ bộ chương trình nhận dạng Tác giả tự thu thập, chụp ảnh và tiền xử lý
Cơ sở dữ liệu MNIST 5.000 mẫu (500 mẫu/chữ số) Huấn luyện và đánh giá mô hình nhận dạng chữ số Trích xuất từ cơ sở dữ liệu mở chuẩn quốc tế MNIST

Nội dung chính theo từng chương

Chương 1. Cơ sở lý thuyết của phương pháp Gradient Descent

Chương 1 trình bày nền tảng toán học của thuật toán Gradient Descent và cách triển khai giải thuật trong các bài toán học máy:

  • Cơ chế hoạt động: Thuật toán khởi tạo tại một điểm tham số bất kỳ, tính gradient của hàm chi phí tại điểm đó và dịch chuyển tham số ngược hướng vector gradient với độ dài bước đi được kiểm soát bởi hệ số tốc độ học $\alpha$ (Learning Rate).
  • Trường hợp một biến và nhiều biến: Thiết lập công thức vi phân $x_{k+1} = x_k - \alpha f'(x_k)$ cho hàm một biến và mở rộng dạng ma trận $x^{(k+1)} = x^{(k)} - \alpha \nabla_x f(x)$ cho không gian tham số $n$ chiều.
  • Tác động của Learning Rate ($\alpha$): Phân tích thực nghiệm cho thấy nếu $\alpha$ quá lớn, thuật toán sẽ bị phân kỳ (overshooting) và không thể hội tụ; ngược lại, nếu $\alpha$ quá nhỏ, tốc độ di chuyển về cực tiểu sẽ rất chậm, làm tăng chi phí tính toán.
  • Kiểm tra đạo hàm (Gradient Checking): So sánh kết quả tính đạo hàm giải tích với công thức xấp xỉ số học đối xứng: $$f'(x) \approx \frac{f(x + h) - f(x - h)}{2h}$$ với $h = 10^{-5}$ nhằm loại bỏ sai sót khi lập trình gradient.
  • Các biến thể của Gradient Descent: Phân tích chi tiết ba biến thể chính dựa trên lượng dữ liệu sử dụng trong mỗi bước cập nhật.
Tiêu chí Batch Gradient Descent (BGD) Stochastic Gradient Descent (SGD) Mini-batch Gradient Descent (MB-GD)
Kích thước dữ liệu/lần cập nhật Toàn bộ tập dữ liệu huấn luyện ($m$ mẫu) Duy nhất 1 mẫu dữ liệu Tập con gồm $50 - 100$ mẫu
Tốc độ tính toán mỗi vòng lặp Chậm khi dữ liệu lớn Rất nhanh Cân bằng, tối ưu tính toán vector
Đặc điểm đường đi hội tụ Đi thẳng và mượt về điểm cực tiểu Dao động mạnh, có thể nhảy bước xa Dao động nhẹ nhưng ổn định hướng giảm
Khả năng ứng dụng Online Learning Không hỗ trợ Rất phù hợp khi có dữ liệu liên tục Phù hợp và phổ biến trong Deep Learning
  • Điều kiện dừng (Stopping Criteria): Đánh giá ba cơ chế dừng thuật toán gồm: giới hạn số vòng lặp cố định, kiểm tra độ suy giảm của hàm chi phí sau hai lần lặp liên tiếp, và kiểm tra độ lớn của vector gradient so với ngưỡng sai số quy định; đồng thời lưu ý rủi ro dừng sớm tại điểm yên ngựa (saddle points).

Chương 2. Phương pháp hồi quy tuyến tính và hồi quy Logistic

Chương 2 phân tích chi tiết hai mô hình học máy cơ bản và các giải pháp toán học đi kèm:

  • Simple Linear Regression (SLR): Thiết lập hàm giả thuyết $h_\theta(x) = \theta_0 + \theta_1 x_1$ và hàm chi phí sai số bình phương $J(\theta_0, \theta_1) = \frac{1}{2m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2$. Chứng minh $J(\theta)$ là hàm lồi dạng lòng chảo (bowl shape), bảo đảm thuật toán GD luôn tìm được nghiệm tối ưu toàn cục. Quy tắc cập nhật đồng thời hai tham số là: $$\theta_0 := \theta_0 - \alpha \frac{1}{m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})$$ $$\theta_1 := \theta_1 - \alpha \frac{1}{m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)}) x_1^{(i)}$$
  • Multiple Linear Regression (MLR): Mở rộng mô hình cho $n$ đặc trưng với vector hóa $h_\theta(X) = X\theta$ và hàm chi phí $J(\theta) = \frac{1}{2m}(X\theta - y)^T(X\theta - y)$. Phân tích kỹ thuật phi tuyến hóa mô hình bằng cách tạo thêm các đặc trưng đa thức bậc cao ($x^2, x^3, \sqrt{x}$) cùng yêu cầu bắt buộc phải chuẩn hóa thang đo dữ liệu (Feature Scaling).
  • Ưu và nhược điểm của Hồi quy tuyến tính: Mô hình dễ hiểu, tốc độ tính toán nhanh, nhưng nhạy cảm với dữ liệu nhiễu (outliers) và khó biểu diễn các tương quan phi tuyến phức tạp trong thực tế.
  • Hồi quy Logistic và Phân loại nhị phân: Ánh xạ hàm tuyến tính qua hàm Sigmoid để đưa đầu ra về xác suất $0 \le h_\theta(x) \le 1$. Thiết lập đường ranh giới quyết định (Decision Boundary) tại ngưỡng $\theta^T x \ge 0 \Rightarrow h_\theta(x) \ge 0.5$.
  • Hàm chi phí Cross-Entropy: Chứng minh việc áp dụng sai số bình phương cho hồi quy Logistic sẽ tạo ra hàm không lồi (chứa nhiều cực tiểu địa phương). Do đó, tác giả thiết lập hàm chi phí lồi dạng Logarit: $$J(\theta) = -\frac{1}{m} \sum_{i=1}^m \left[ y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)})) \right]$$
  • Phân loại đa lớp One-vs-All: Huấn luyện $K$ hàm giả thuyết $h_\theta^{(k)}(x) = P(y = k | x; \theta)$ tương ứng với $K$ lớp. Quyết định phân loại được đưa ra bằng cách chọn lớp có xác suất dự đoán lớn nhất: $\max_k (h_\theta^{(k)}(x))$.
  • Regularization: Xử lý hiện tượng Overfitting bằng cách bổ sung thành phần phạt $\lambda \sum_{j=1}^n \theta_j^2$ vào hàm chi phí cho cả Linear Regression và Logistic Regression, đồng thời giữ nguyên tham số chặn $\theta_0$ không bị điều chỉnh phạt.

Chương 3. Ứng dụng – Kết quả

Chương 3 triển khai thực nghiệm các giải thuật đã xây dựng vào các bài toán cụ thể:

  • Thực nghiệm Hồi quy tuyến tính đơn biến (SLR) - Dự đoán lợi nhuận:
    • Dữ liệu đầu vào: 97 cặp mẫu $(x, y)$ thể hiện quy mô dân số (đơn vị 10.000 người) và lợi nhuận nhà hàng (đơn vị 10.000$).
    • Thiết lập thực nghiệm: Khởi tạo vector tham số $\theta = [0, 0]^T$, giá trị hàm chi phí ban đầu tính được là $J(\theta) = 32{,}07$. Thiết lập tốc độ học $\alpha = 0{,}01$ và số vòng lặp là $1.500$.
    • Kết quả hội tụ: Vector tham số tối ưu đạt được là $\theta_0 = -3{,}6303$ và $\theta_1 = 1{,}1664$, dẫn đến hàm giả thuyết $h_\theta(x) = -3{,}6303 + 1{,}1664x$.
    • Kết quả dự báo cụ thể: Với thành phố có dân số $35.000$ người ($x = 3{,}5$), lợi nhuận dự đoán đạt $4.519$ USD (tương đương $0{,}4519 \times 10.000$$). Với thành phố có dân số $70.000$ người ($x = 7{,}0$), lợi nhuận dự đoán đạt $45.342$ USD (tương đương $4{,}5342 \times 10.000$$).
  • Thực nghiệm Hồi quy tuyến tính đa biến (MLR) - Dự đoán giá nhà: Ứng dụng mô hình đa biến dự đoán giá trị bất động sản tại Portland dựa trên diện tích và số lượng phòng ngủ sau khi đã chuẩn hóa trung bình dữ liệu.
  • Thực nghiệm Nhận dạng chữ số viết tay:
    • Triển khai mô hình Regularized Logistic Regression kết hợp thuật toán phân loại đa lớp One-vs-All trên môi trường Octave/Matlab.
    • Khảo sát thực nghiệm được tiến hành trên hai bộ dữ liệu: tập 100 chữ số viết tay tự tạo và tập 5.000 chữ số trích xuất từ MNIST.
    • Các mốc vòng lặp thực nghiệm được thiết lập kiểm thử gồm: num_iters = 100, 150, 200, và 500 vòng lặp nhằm theo dõi độ suy giảm của hàm mất mát và sự cải thiện của tỷ lệ nhận dạng chính xác.

Kết quả và đóng góp

Kết quả nghiên cứu chính

  • Độ chính xác mô hình phân loại: Chương trình học máy ứng dụng Logistic Regression One-vs-All giải quyết thành công bài toán nhận dạng 10 lớp chữ số viết tay (từ 0 đến 9), đạt độ chính xác thực nghiệm nằm trong khoảng mục tiêu $85% - 90%$ trên tập dữ liệu chuẩn MNIST.
  • Tính toán tối ưu trong bài toán hồi quy:
    • Thuật toán Gradient Descent đã cực tiểu hóa thành công hàm chi phí $J(\theta)$ từ mức ban đầu $32{,}07$ xuống điểm tối ưu trên đồ thị đồng mức (contour plot).
    • Phương trình đường hồi quy $h_\theta(x) = -3{,}6303 + 1{,}1664x$ phản ánh sát thực tế xu hướng phân bố của 97 điểm dữ liệu kinh doanh nhà hàng.
  • Khảo sát tham số thực nghiệm: Khẳng định sự tương tác giữa Learning Rate $\alpha$ và số vòng lặp lặp (num_iters): số vòng lặp càng tăng thì độ chính xác phân loại càng cao và giá trị hàm chi phí càng tiến sát cực tiểu toàn cục.

Giải pháp và khuyến nghị kỹ thuật từ tác giả

  1. Kiểm soát tốc độ học $\alpha$: Cần chạy thử nghiệm trên một dải giá trị của $\alpha$ trước khi cố định tham số nhằm tránh tình trạng phân kỳ hoặc kẹt bước di chuyển.
  2. Tiền xử lý và chuẩn hóa bắt buộc: Khi các đặc trưng đầu vào có độ lệch thang đo lớn, bắt buộc phải áp dụng Feature Scaling và Mean Normalization để đảm bảo tốc độ hội tụ của thuật toán GD.
  3. Áp dụng Regularization: Luôn kết hợp tham số điều hòa $\lambda$ trong hàm chi phí của hồi quy Logistic khi xử lý dữ liệu ảnh có số lượng đặc trưng lớn (mỗi điểm ảnh là một đặc trưng) để ngăn ngừa hiện tượng quá khớp dữ liệu huấn luyện.
  4. Kiểm tra vi phân hai phía: Sử dụng phương pháp kiểm tra đạo hàm số học đối xứng để rà soát lỗi lập trình trước khi chạy các tập dữ liệu quy mô lớn.

Đóng góp về mặt học thuật và ứng dụng

  • Tác giả tự lập trình toàn bộ cấu trúc thuật toán tối ưu hóa Gradient Descent, Hồi quy tuyến tính, Hồi quy Logistic đa lớp trên Octave/Matlab từ các công thức giải tích và đại số tuyến tính cơ bản mà không sử dụng các hộp công cụ (toolboxes) tự động có sẵn.
  • Cung cấp minh chứng thực nghiệm rõ ràng về vai trò của việc thiết lập hàm chi phí lồi trong việc bảo đảm tìm được nghiệm tối ưu toàn cục cho các bài toán học máy.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài

  • Cố định hệ số học tập: Thuật toán Gradient Descent trong khóa luận sử dụng giá trị $\alpha$ cố định xuyên suốt quá trình lặp, chưa áp dụng cơ chế tự động điều chỉnh động bước nhảy (adaptive learning rate) theo từng vòng lặp.
  • Giới hạn của mô hình tuyến tính: Logistic Regression có đường ranh giới quyết định bản chất là tuyến tính, do đó gặp hạn chế khi phân tách các tập dữ liệu có cấu trúc phi tuyến phức tạp nếu không tạo thêm các đặc trưng nhân tạo.
  • Quy mô thực nghiệm: Khóa luận mới kiểm nghiệm trên tập dữ liệu chữ số tự tạo quy mô nhỏ (100 mẫu) và tập trích xuất 5.000 mẫu MNIST, chưa mở rộng sang toàn bộ 70.000 mẫu của bộ dữ liệu MNIST chuẩn.

Hướng nghiên cứu mở rộng

  • Nghiên cứu và triển khai các thuật toán tối ưu hóa nâng cao hơn như Stochastic Gradient Descent kết hợp Momentum hoặc các biến thể Mini-batch GD tự điều chỉnh tốc độ học.
  • Ứng dụng các mô hình học máy phi tuyến mạnh hơn, đặc biệt là Mạng thần kinh nhân tạo (Artificial Neural Network - ANN) hoặc Mạng nơ-ron tích chập (CNN), để nâng cao độ chính xác nhận dạng chữ viết tay và các cấu trúc ký tự phức tạp hơn.

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo chuyên môn đối với:

  • Sinh viên chuyên ngành: Hệ thống Thông tin Kinh tế, Tin học Kinh tế, Khoa học Dữ liệu, và Công nghệ Thông tin đang học tập và nghiên cứu các học phần liên quan đến Nhập môn Học máy và Tối ưu hóa số.
  • Người nghiên cứu thuật toán nền tảng: Cung cấp tài liệu tham khảo chi tiết về quy trình chuyển đổi các công thức toán học (đạo hàm, ma trận, hàm chi phí) thành mã nguồn lập trình tính toán trực tiếp trên môi trường Octave/Matlab.
  • Nội dung giá trị nhất:
    • Phần chứng minh toán học và xây dựng hàm chi phí lồi Cross-Entropy cho Logistic Regression tại Chương 2.
    • Quy trình xử lý ảnh và thiết lập mô hình phân loại đa lớp One-vs-All ứng dụng trong nhận dạng chữ số tại Chương 3.

Câu hỏi thường gặp

1. Tại sao không thể sử dụng hàm chi phí sai số bình phương (MSE) của Hồi quy tuyến tính cho Hồi quy Logistic?

Khi áp dụng hàm giả thuyết phi tuyến Sigmoid $h_\theta(x) = \frac{1}{1 + e^{-\theta^T x}}$ vào hàm sai số bình phương trung bình, hàm chi phí thu được sẽ trở thành hàm không lồi (non-convex function) chứa nhiều điểm cực tiểu địa phương. Khi đó, giải thuật Gradient Descent rất dễ bị mắc kẹt tại một điểm cực tiểu địa phương thay vì tìm được nghiệm tối ưu toàn cục. Việc chuyển sang hàm chi phí Cross-Entropy dạng Logarit bảo đảm hàm luôn lồi và có nghiệm duy nhất.

2. Thuật toán One-vs-All giải quyết bài toán nhận dạng 10 chữ số (0 đến 9) như thế nào?

Phương pháp One-vs-All chia bài toán phân loại 10 lớp thành 10 bài toán phân loại nhị phân riêng biệt. Ở bài toán thứ $k$ ($k \in {0, 1, \dots, 9}$), lớp $k$ được gán nhãn 1 (positive) và tất cả 9 lớp còn lại được gộp chung thành nhãn 0 (negative). Khi nhận diện một mẫu chữ số mới $x$, chương trình tính toán 10 giá trị xác suất từ 10 hàm giả thuyết $h_\theta^{(k)}(x)$ và gán nhãn dự đoán cho lớp có xác suất cao nhất: $\arg\max_k (h_\theta^{(k)}(x))$.

3. Kỹ thuật Regularization hoạt động như thế nào và tại sao không điều chỉnh tham số $\theta_0$?

Regularization giảm thiểu hiện tượng Overfitting bằng cách cộng thêm số hạng phạt $\frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2$ vào hàm chi phí để thu nhỏ độ lớn của các trọng số $\theta_j$ ($j \ge 1$), giúp làm mượt đường quyết định. Tham số $\theta_0$ (bias/hệ số chặn) không bị điều chỉnh phạt theo quy ước vì nó chỉ xác định vị trí dịch chuyển của hàm giả thuyết chứ không ảnh hưởng đến độ phức tạp hay độ cong của mô hình.

4. Phương pháp Gradient Checking được thực hiện như thế nào để phát hiện lỗi tính đạo hàm?

Tác giả so sánh giá trị đạo hàm giải tích tính từ công thức toán với giá trị đạo hàm số học gần đúng tính theo công thức sai phân đối xứng $\frac{f(x + h) - f(x - h)}{2h}$ với bước nhảy vi phân rất nhỏ $h = 10^{-5}$. Nếu độ lệch giữa hai kết quả này nằm trong khoảng sai số cho phép, mã nguồn tính gradient giải tích được xác nhận là chính xác trước khi thực thi thuật toán huấn luyện.

5. Trong bài toán dự đoán lợi nhuận nhà hàng (SLR), kết quả tham số và giá trị dự báo cụ thể là bao nhiêu?

Sau $1.500$ vòng lặp với $\alpha = 0{,}01$, thuật toán GD tìm ra các tham số $\theta_0 = -3{,}6303$ và $\theta_1 = 1{,}1664$. Với thành phố có quy mô dân số $35.000$ người, mô hình dự đoán mức lợi nhuận đạt $4.519$ USD; với thành phố có dân số $70.000$ người, lợi nhuận dự đoán đạt $45.342$ USD.

Kết luận

Khóa luận tốt nghiệp của tác giả Hoàng Thị Ly Na đã hệ thống hóa toàn diện cơ sở toán học của thuật toán tối ưu hóa Gradient Descent và kiểm chứng thành công khả năng ứng dụng trong hai bài toán học máy có giám sát kinh điển: hồi quy dự đoán kinh tế và phân loại nhận dạng chữ số viết tay. Thông qua việc tự xây dựng mã nguồn trên môi trường Octave/Matlab, tác giả đã làm rõ cơ chế hội tụ của hàm chi phí lồi, kỹ thuật kiểm soát quá khớp bằng Regularization và quy trình phân loại đa lớp One-vs-All. Kết quả thực nghiệm nhận dạng chữ số viết tay đạt độ chính xác mục tiêu từ $85%$ đến $90%$, khẳng định tính đúng đắn về mặt lý thuyết và hiệu quả thực thi của phương pháp tối ưu hóa Gradient Descent.