Nghiên Cứu Một Số Đặc Tính Của Các Mạng Nơ Ron Nhân Tạo

Chuyên khảo phân tích Nghiên cứu một số đặc tính của các mạng nơ ron nhân tạo nhằm tạo ra các mẫu đối nghịch để kiểm tra, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên

• Tác giả: Phạm Tiến Cường
• Người hướng dẫn: TS. Nguyễn Đình Công
• Trường học: Trường Đại Học Hồng Đức
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Nghiên Cứu Đặc Tính Mạng Nơ Ron Nhân Tạo Trong Nhận Dạng Luận Văn Thạc Sĩ
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2022
• Địa điểm: Thanh Hóa

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. MỞ ĐẦU
• 1.1. Tính cấp thiết của đề tài
• 1.2. Mục đích và nhiệm vụ nghiên cứu
• 1.3. Phương pháp nghiên cứu
• 1.4. Dự kiến kết quả đạt được
• 1.5. Cấu trúc nội dung nghiên cứu
• 2. CƠ SỞ LÝ THUYẾT
• 2.1. Khái niệm về mạng nơ ron
• 2.2. Các xu hướng phát triển của mạng nơ ron
• 2.3. Một số mạng nơ ron cơ bản
• 2.4. CÁC THUẬT TOÁN SỬ DỤNG TRONG MẠNG NƠ RON
• 2.4.1. Giới thiệu chung
• 2.4.2. Thuật toán Gradient descent
• 2.4.3. Tốc độ học learning rate
• 3. MẠNG NƠ RON TÍCH CHẬP (CNN)
• 3.1. Giới thiệu chung
• 3.2. Các thành phần chính của mạng CNN
• 3.3. Lớp kết nối đầy đủ
• 3.4. Một số kỹ thuật sử dụng để huấn luyện mạng CNN
• 3.5. Dữ liệu và tăng cường dữ liệu để huấn luyện mạng CNN
• 3.6. Mô tả thuật toán Fast gradient sign method (FGSM)
• 3.6.1. Giới thiệu chung
• 3.6.2. Thuật toán FGSM
• 3.7. Kết luận chương 3
• 4. THỰC NGHIỆM VÀ LUẬN GIẢI
• 4.1. Mô tả giao thức
• 4.2. Xây dựng các mẫu đối nghịch bằng FGSM
• 4.3. Xây dựng mẫu đối nghịch sử dụng mạng LeNet cho bài toán nhận dạng tí tự viết tay
• 4.4. Xây dựng mẫu đối nghịch dựa vào mạng YOLOv4 và mạng CNN phân lớp cho bài toán nhận dạng biển số xe
• 4.5. Xây dựng mẫu đối nghịch dựa vào mô hình MobileNetv2 cho bài toán nhận dạng vật nuôi
• 4.6. Đánh giá độ chính xác của một số mô hình với dữ liệu đối nghịch
• 4.7. Thang đánh giá
• 4.8. Đánh giá độ chính xác của mô hình với các bộ dữ liệu đối nghịch
• 4.9. Kết luận chương 4
• KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Mạng Nơ ron Nhân Tạo Luận Văn Thạc Sĩ

Mạng nơ-ron nhân tạo ( ANN ) đang ngày càng chứng minh vai trò quan trọng trong nhiều lĩnh vực, đặc biệt là trong xử lý ngôn ngữ tự nhiên ( NLP ) và nhận dạng văn bản. Trong bối cảnh số lượng luận văn thạc sĩ tăng nhanh, việc áp dụng mạng nơ-ron nhân tạo để tự động hóa quy trình nhận dạng và đánh giá trở nên cấp thiết. Các mô hình học sâu ( deep learning ) như CNN, RNN, và LSTM đã cho thấy tiềm năng lớn trong việc phân loại và trích xuất thông tin từ văn bản. Tuy nhiên, việc triển khai các hệ thống này đòi hỏi sự hiểu biết sâu sắc về đặc tính của mạng nơ-ron và kỹ thuật tiền xử lý văn bản. Bài viết này sẽ đi sâu vào nghiên cứu các đặc tính của mạng nơ-ron nhân tạo trong bài toán nhận dạng luận văn thạc sĩ, từ đó đề xuất các phương pháp tối ưu hóa và cải thiện hiệu suất.

1.1. Ứng Dụng Mạng Nơ ron Trong Xử Lý Văn Bản Học Thuật

Mạng nơ-ron đã được ứng dụng rộng rãi trong xử lý văn bản học thuật, bao gồm phân loại chủ đề, tóm tắt văn bản, và trích xuất thông tin quan trọng. Các mô hình như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) có khả năng nắm bắt các đặc trưng ngữ nghĩa và cú pháp của văn bản, từ đó đưa ra các dự đoán chính xác. Việc sử dụng word embedding và vector hóa văn bản giúp biểu diễn văn bản dưới dạng số, tạo điều kiện cho mạng nơ-ron xử lý hiệu quả hơn. Các kỹ thuật này đặc biệt hữu ích trong việc nhận dạng luận văn thạc sĩ, giúp phân loại và đánh giá chất lượng của các công trình nghiên cứu.

1.2. Thách Thức Khi Nhận Dạng Luận Văn Thạc Sĩ Bằng AI

Mặc dù có nhiều tiềm năng, việc nhận dạng luận văn thạc sĩ bằng mạng nơ-ron nhân tạo vẫn đối mặt với nhiều thách thức. Một trong những thách thức lớn nhất là sự đa dạng về ngôn ngữ và phong cách viết trong các luận văn. Các mô hình cần được huấn luyện trên một bộ dữ liệu luận văn lớn và đa dạng để có thể khái quát hóa tốt. Ngoài ra, việc xử lý các lỗi chính tả và ngữ pháp, cũng như các thuật ngữ chuyên ngành, cũng đòi hỏi các kỹ thuật tiền xử lý văn bản phức tạp. Cuối cùng, việc đảm bảo tính minh bạch và công bằng trong quá trình đánh giá là một yếu tố quan trọng cần được xem xét.

II. Phương Pháp Xây Dựng Mô Hình Mạng Nơ ron Nhận Dạng Luận Văn

Để xây dựng một mô hình mạng nơ-ron hiệu quả cho việc nhận dạng luận văn thạc sĩ, cần tuân thủ một quy trình chặt chẽ từ thu thập dữ liệu đến đánh giá hiệu suất. Đầu tiên, cần xây dựng một bộ dữ liệu luận văn chất lượng cao, bao gồm các luận văn đã được đánh giá và phân loại bởi các chuyên gia. Tiếp theo, cần áp dụng các kỹ thuật tiền xử lý văn bản như loại bỏ stop words, stemming, và lemmatization để làm sạch dữ liệu. Sau đó, có thể sử dụng các mô hình word embedding như Word2Vec hoặc GloVe để biểu diễn văn bản dưới dạng vector. Cuối cùng, cần lựa chọn một kiến trúc mạng nơ-ron phù hợp và huấn luyện mô hình trên bộ dữ liệu đã chuẩn bị.

2.1. Thu Thập và Xử Lý Bộ Dữ Liệu Luận Văn Thạc Sĩ

Việc thu thập và xử lý bộ dữ liệu luận văn là bước quan trọng nhất trong quá trình xây dựng mô hình. Bộ dữ liệu cần bao gồm một số lượng lớn các luận văn từ nhiều lĩnh vực khác nhau, với các nhãn đánh giá rõ ràng (ví dụ: xuất sắc, giỏi, khá, trung bình). Quá trình xử lý dữ liệu bao gồm loại bỏ các ký tự đặc biệt, chuyển đổi văn bản về dạng chữ thường, và loại bỏ các stop words. Các kỹ thuật như stemming và lemmatization giúp đưa các từ về dạng gốc của chúng, giảm thiểu sự phức tạp của dữ liệu. Cuối cùng, cần chia bộ dữ liệu thành các tập huấn luyện, kiểm tra, và đánh giá để đảm bảo tính khách quan của quá trình đánh giá mô hình.

2.2. Lựa Chọn Kiến Trúc Mạng Nơ ron Phù Hợp CNN RNN LSTM

Có nhiều kiến trúc mạng nơ-ron có thể được sử dụng cho bài toán nhận dạng luận văn thạc sĩ, mỗi kiến trúc có những ưu điểm và nhược điểm riêng. Mạng nơ-ron tích chập (CNN) thường được sử dụng để trích xuất các đặc trưng cục bộ từ văn bản, trong khi mạng nơ-ron hồi quy (RNN) và mạng nơ-ron dài-ngắn hạn (LSTM) có khả năng nắm bắt các phụ thuộc dài hạn trong văn bản. Việc lựa chọn kiến trúc phù hợp phụ thuộc vào đặc điểm của bộ dữ liệu và mục tiêu của bài toán. Trong một số trường hợp, việc kết hợp nhiều kiến trúc khác nhau có thể mang lại hiệu quả tốt hơn.

2.3. Tối Ưu Hóa Mạng Nơ ron Để Nâng Cao Độ Chính Xác

Để đạt được độ chính xác nhận dạng cao, cần áp dụng các kỹ thuật tối ưu hóa mạng nơ-ron. Các kỹ thuật này bao gồm điều chỉnh các siêu tham số (ví dụ: tốc độ học, batch size, số lượng epoch), sử dụng các hàm kích hoạt phù hợp, và áp dụng các phương pháp regularization như dropout và early stopping để tránh overfitting. Ngoài ra, việc sử dụng các thuật toán tối ưu hóa tiên tiến như Adam hoặc RMSprop có thể giúp mô hình hội tụ nhanh hơn và đạt được kết quả tốt hơn. Cần thực hiện cross-validation để đánh giá hiệu suất của mô hình trên các tập dữ liệu khác nhau và đảm bảo tính khái quát hóa của mô hình.

III. Ứng Dụng Thực Tiễn Đánh Giá Hiệu Suất Mô Hình

Sau khi xây dựng và huấn luyện mô hình, cần đánh giá hiệu suất của mô hình trên một bộ dữ liệu kiểm tra độc lập. Các độ đo phổ biến để đánh giá hiệu suất bao gồm độ chính xác (accuracy), độ thu hồi (recall), độ đo precision, và độ đo F1. Ngoài ra, cần phân tích ma trận nhầm lẫn (confusion matrix) để hiểu rõ hơn về các loại lỗi mà mô hình mắc phải. Mô hình có thể được triển khai trong các hệ thống quản lý luận văn để hỗ trợ quá trình đánh giá và phân loại luận văn. Việc triển khai hệ thống cần được thực hiện một cách cẩn thận để đảm bảo tính ổn định và bảo mật.

3.1. Các Độ Đo Đánh Giá Hiệu Suất Nhận Dạng Luận Văn

Việc đánh giá hiệu suất của mô hình nhận dạng luận văn đòi hỏi việc sử dụng các độ đo phù hợp. Độ chính xác (accuracy) cho biết tỷ lệ các luận văn được phân loại đúng. Độ thu hồi (recall) cho biết tỷ lệ các luận văn thuộc một loại nhất định được mô hình nhận diện đúng. Độ đo precision cho biết tỷ lệ các luận văn được mô hình dự đoán là thuộc một loại nhất định thực sự thuộc loại đó. Độ đo F1 là trung bình điều hòa của độ thu hồi và độ đo precision, và thường được sử dụng để đánh giá hiệu suất tổng thể của mô hình. Cần xem xét tất cả các độ đo này để có một cái nhìn toàn diện về hiệu suất của mô hình.

3.2. Phân Tích Lỗi Cải Tiến Mô Hình Nhận Dạng

Việc phân tích lỗi là một bước quan trọng trong quá trình cải tiến mô hình. Bằng cách xem xét các trường hợp mà mô hình mắc lỗi, có thể xác định các điểm yếu của mô hình và đề xuất các cải tiến. Ví dụ, nếu mô hình thường xuyên nhầm lẫn giữa hai loại luận văn nhất định, có thể cần thu thập thêm dữ liệu cho hai loại đó hoặc điều chỉnh kiến trúc mạng nơ-ron để phân biệt chúng tốt hơn. Việc sử dụng các kỹ thuật như phân tích ngữ nghĩa và phân tích cú pháp có thể giúp hiểu rõ hơn về lý do tại sao mô hình mắc lỗi.

IV. Kết Luận Hướng Nghiên Cứu Mở Rộng Trong Tương Lai

Nghiên cứu về đặc tính mạng nơ-ron nhân tạo trong nhận dạng luận văn thạc sĩ là một lĩnh vực đầy tiềm năng. Việc áp dụng các mô hình học sâu có thể giúp tự động hóa quy trình đánh giá và phân loại luận văn, tiết kiệm thời gian và công sức cho các nhà quản lý và chuyên gia. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết, bao gồm việc xây dựng bộ dữ liệu chất lượng cao, lựa chọn kiến trúc mạng nơ-ron phù hợp, và đảm bảo tính minh bạch và công bằng trong quá trình đánh giá. Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các mô hình mạng nơ-ron tiên tiến hơn, sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) mới nhất, và tích hợp các nguồn thông tin khác (ví dụ: thông tin về tác giả, thông tin về hội đồng đánh giá) để cải thiện hiệu suất nhận dạng.

4.1. Triển Vọng Phát Triển Của Mạng Nơ ron Trong Đánh Giá Luận Văn

Triển vọng phát triển của mạng nơ-ron trong đánh giá luận văn là rất lớn. Với sự tiến bộ của công nghệ học sâu, các mô hình có thể ngày càng trở nên chính xác và hiệu quả hơn. Việc tích hợp mạng nơ-ron vào các hệ thống quản lý luận văn có thể giúp tự động hóa nhiều tác vụ, từ phân loại luận văn theo chủ đề đến phát hiện đạo văn. Ngoài ra, mạng nơ-ron có thể được sử dụng để cung cấp phản hồi chi tiết cho tác giả, giúp họ cải thiện chất lượng luận văn của mình.

4.2. Hướng Nghiên Cứu Cải Tiến Mô Hình Nhận Dạng Luận Văn

Có nhiều hướng nghiên cứu có thể được thực hiện để cải tiến mô hình nhận dạng luận văn. Một hướng là sử dụng các mô hình mạng nơ-ron tiên tiến hơn, chẳng hạn như Transformer hoặc BERT, để nắm bắt các đặc trưng ngữ nghĩa phức tạp hơn. Một hướng khác là tích hợp các nguồn thông tin khác, chẳng hạn như thông tin về tác giả hoặc thông tin về hội đồng đánh giá, để cải thiện độ chính xác nhận dạng. Cuối cùng, cần tiếp tục thu thập và xây dựng bộ dữ liệu lớn hơn và đa dạng hơn để huấn luyện các mô hình có khả năng khái quát hóa tốt hơn.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của trí tuệ nhân tạo (AI) và học sâu (Deep Learning - DL), các mô hình mạng nơ ron tích chập (CNN) đã trở thành công cụ chủ đạo trong các bài toán nhận dạng đối tượng trên ảnh với độ chính xác cao. Theo báo cáo ngành, các tập dữ liệu lớn như COCO với hơn 300 triệu đối tượng và ImageNet với gần 14 triệu hình ảnh đã thúc đẩy sự phát triển của các mô hình CNN phức tạp như AlexNet, VGG16, ResNet và MobileNetv2. Tuy nhiên, tính ổn định và độ tin cậy của các mô hình này khi đối mặt với các mẫu đối nghịch (adversarial samples) vẫn là vấn đề cấp thiết, bởi các mẫu này có thể làm sai lệch hoàn toàn kết quả nhận dạng mà không bị phát hiện bằng mắt thường.

Mục tiêu nghiên cứu của luận văn là phân tích đặc tính của các mạng nơ ron nhân tạo, đặc biệt là CNN, nhằm tạo ra các mẫu đối nghịch để kiểm tra độ tin cậy của một số mô hình nhận dạng đối tượng phổ biến. Nghiên cứu tập trung vào ba mô hình tiêu biểu: LeNet cho nhận dạng chữ viết tay, YOLOv4 kết hợp với mạng CNN phân lớp cho nhận dạng biển số xe, và MobileNetv2 cho nhận dạng vật nuôi. Phạm vi nghiên cứu thực hiện tại Thanh Hóa trong năm 2022, sử dụng các bộ dữ liệu chuẩn và dữ liệu thực tế với kỹ thuật tạo mẫu đối nghịch dựa trên thuật toán Fast Gradient Sign Method (FGSM).

Ý nghĩa của nghiên cứu thể hiện qua việc cung cấp các bộ dữ liệu đối nghịch làm cơ sở đánh giá và nâng cao tính ổn định của các mô hình CNN trong thực tế, góp phần bảo đảm an ninh và độ tin cậy cho các ứng dụng AI trong y tế, giao thông, an ninh và nhiều lĩnh vực khác.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai nền tảng lý thuyết chính: mạng nơ ron nhân tạo (ANN) và mạng nơ ron tích chập (CNN). ANN được mô tả như mô hình toán học mô phỏng hoạt động của bộ não con người, với các node kết nối đầy đủ qua các lớp, sử dụng hàm kích hoạt phi tuyến để tăng khả năng tổng quát hóa. CNN là nhánh phát triển sâu của ANN, tối ưu cho xử lý ảnh với các lớp tích chập, lớp kích hoạt, lớp gộp và lớp kết nối đầy đủ, giúp trích xuất đặc trưng không gian hiệu quả và giảm độ phức tạp mô hình.

Ba thuật toán tối ưu chính được nghiên cứu gồm: Batch Gradient Descent (BGD), Stochastic Gradient Descent (SGD) và Mini-batch Gradient Descent (MGD), nhằm tối ưu hàm mất mát trong quá trình huấn luyện. Ngoài ra, các thuật toán hồi quy tuyến tính và hồi quy logistic được phân tích để hiểu rõ hơn về quá trình học và dự đoán của mạng.

Thuật toán Fast Gradient Sign Method (FGSM) được áp dụng để tạo ra các mẫu đối nghịch bằng cách thêm nhiễu tối ưu vào ảnh đầu vào, làm sai lệch kết quả nhận dạng mà không làm thay đổi đáng kể nội dung ảnh.

Phương pháp nghiên cứu

Nghiên cứu sử dụng ba phương pháp chính:

• Phương pháp lý thuyết: Tổng hợp, phân tích các công trình nghiên cứu trong và ngoài nước về mạng nơ ron, CNN và kỹ thuật tạo mẫu đối nghịch.
• Phương pháp thực nghiệm: Triển khai xây dựng và đánh giá các mẫu đối nghịch trên ba mô hình LeNet, YOLOv4 kết hợp CNN phân lớp và MobileNetv2, sử dụng các bộ dữ liệu MNIST, biển số xe và vật nuôi.
• Phương pháp chuyên gia: Trao đổi, tham khảo ý kiến từ người hướng dẫn và các chuyên gia trong lĩnh vực để lựa chọn phương pháp và kỹ thuật phù hợp.

Nguồn dữ liệu bao gồm bộ dữ liệu MNIST (chữ viết tay), bộ dữ liệu biển số xe với 1759 ảnh xe máy và 945 ảnh ô tô, cùng bộ dữ liệu ImageNet cho vật nuôi. Phân tích độ chính xác sử dụng thang đo Accuracy (%) với cỡ mẫu kiểm thử hàng nghìn ảnh, đánh giá ảnh hưởng của các mức nhiễu epsilon khác nhau trong FGSM.

Timeline nghiên cứu kéo dài trong năm 2022, từ khảo sát lý thuyết, xây dựng mô hình, tạo mẫu đối nghịch đến đánh giá và luận giải kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Ảnh hưởng của mẫu đối nghịch lên mô hình LeNet: Khi tăng giá trị ngưỡng nhiễu epsilon từ 0 đến 0.5, độ chính xác nhận dạng chữ viết tay giảm từ khoảng 98% xuống còn dưới 60%. Mức giảm này cho thấy sự nhạy cảm cao của LeNet với các mẫu đối nghịch, đặc biệt khi epsilon vượt quá 0.3.

2. Tác động lên mô hình YOLOv4 và CNN phân lớp biển số xe: Độ chính xác nhận dạng biển số xe giảm từ khoảng 95% xuống còn khoảng 55% khi epsilon tăng lên 0.5. Kết quả này minh họa rõ ràng sự suy giảm hiệu quả nhận dạng khi dữ liệu bị nhiễu đối nghịch, ảnh hưởng trực tiếp đến các ứng dụng giao thông thông minh.

3. Ảnh hưởng lên mô hình MobileNetv2 trong nhận dạng vật nuôi: Độ chính xác giảm từ khoảng 92% xuống còn khoảng 65% khi epsilon tăng đến 0.5. Mô hình MobileNetv2, dù có kiến trúc hiện đại và tối ưu, vẫn bị ảnh hưởng đáng kể bởi các mẫu đối nghịch.

4. Mối quan hệ giữa mật độ nhiễu và chất lượng ảnh: Việc tăng mật độ nhiễu làm giảm độ chính xác nhưng đồng thời làm ảnh hưởng đến chất lượng ảnh, dễ bị phát hiện bằng mắt thường, gây hạn chế trong việc sử dụng các mẫu đối nghịch trong thực tế.

Thảo luận kết quả

Nguyên nhân chính của sự giảm sút độ chính xác là do các mẫu đối nghịch được tạo ra bằng thuật toán FGSM tận dụng gradient của hàm mất mát để tối đa hóa sai lệch dự đoán, trong khi vẫn giữ nguyên các trọng số mô hình. Điều này làm cho mô hình bị "đánh lừa" bởi các nhiễu tinh vi mà mắt thường khó nhận biết.

So sánh với các nghiên cứu gần đây, kết quả phù hợp với xu hướng chung cho thấy các mô hình CNN, dù có kiến trúc phức tạp như YOLOv4 hay MobileNetv2, vẫn dễ bị tấn công đối nghịch. Điều này nhấn mạnh tầm quan trọng của việc phát triển các kỹ thuật phòng chống và tăng cường tính ổn định cho mô hình.

Dữ liệu có thể được trình bày qua biểu đồ đường thể hiện độ chính xác giảm dần theo giá trị epsilon, hoặc bảng so sánh độ chính xác giữa các mô hình với các mức nhiễu khác nhau, giúp minh họa trực quan tác động của mẫu đối nghịch.

Đề xuất và khuyến nghị

1. Phát triển kỹ thuật phòng chống mẫu đối nghịch: Áp dụng các phương pháp như huấn luyện tăng cường (adversarial training) để cải thiện khả năng nhận diện và chống lại các mẫu đối nghịch, nhằm nâng cao độ tin cậy của mô hình CNN trong vòng 1-2 năm tới.

2. Tăng cường dữ liệu huấn luyện: Sử dụng kỹ thuật tăng cường dữ liệu (data augmentation) đa dạng hơn như xoay, lật, thay đổi kích thước kết hợp với các mẫu đối nghịch để mở rộng tập dữ liệu, giúp mô hình học được các đặc trưng phong phú và tổng quát hơn, thực hiện trong vòng 6-12 tháng.

3. Thiết kế mô hình CNN tối ưu: Tối ưu kiến trúc mạng bằng cách cân bằng giữa độ sâu, độ rộng và số lượng tham số để giảm thiểu khả năng bị tấn công, đồng thời đảm bảo hiệu suất xử lý nhanh, phù hợp với yêu cầu ứng dụng thực tế, triển khai trong 1 năm.

4. Xây dựng hệ thống giám sát và phát hiện tấn công: Phát triển các công cụ giám sát tự động phát hiện các mẫu đối nghịch trong dữ liệu đầu vào, cảnh báo kịp thời để bảo vệ hệ thống nhận dạng, áp dụng trong các hệ thống AI trọng yếu như an ninh, y tế, giao thông trong vòng 1-2 năm.

Các giải pháp trên cần sự phối hợp giữa nhà nghiên cứu, nhà phát triển phần mềm và các tổ chức ứng dụng AI để đảm bảo tính khả thi và hiệu quả.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức nền tảng về mạng nơ ron nhân tạo, CNN, thuật toán FGSM và kỹ thuật tạo mẫu đối nghịch, hỗ trợ nghiên cứu sâu hơn về bảo mật AI.

2. Chuyên gia phát triển hệ thống nhận dạng hình ảnh: Các kỹ thuật và kết quả thực nghiệm giúp đánh giá độ tin cậy của mô hình, từ đó cải tiến và thiết kế hệ thống nhận dạng an toàn hơn.

3. Doanh nghiệp ứng dụng AI trong giao thông, y tế, an ninh: Tham khảo để hiểu rõ rủi ro từ các mẫu đối nghịch, từ đó xây dựng chiến lược bảo vệ và nâng cao độ chính xác của các hệ thống AI.

4. Cơ quan quản lý và hoạch định chính sách về AI: Cung cấp cơ sở khoa học để xây dựng các quy định, tiêu chuẩn về an toàn và bảo mật trong phát triển và triển khai AI.

Câu hỏi thường gặp

1. Mẫu đối nghịch là gì và tại sao nó quan trọng?
   Mẫu đối nghịch là dữ liệu đầu vào được thêm nhiễu tinh vi nhằm làm sai lệch kết quả nhận dạng của mô hình AI mà mắt thường khó phát hiện. Nó quan trọng vì ảnh hưởng trực tiếp đến độ tin cậy và an toàn của các hệ thống AI trong thực tế.

2. Thuật toán FGSM hoạt động như thế nào?
   FGSM sử dụng gradient của hàm mất mát để tạo ra nhiễu tối ưu, làm tăng sai lệch dự đoán của mô hình trong khi giữ nguyên trọng số mạng, giúp tạo ra các mẫu đối nghịch hiệu quả và nhanh chóng.

3. Tại sao các mô hình CNN lại dễ bị tấn công bởi mẫu đối nghịch?
   CNN phụ thuộc nhiều vào dữ liệu huấn luyện và các trọng số cố định, nên khi có nhiễu tinh vi tác động vào dữ liệu đầu vào, mô hình có thể bị "đánh lừa" do thiếu khả năng tổng quát hóa và phòng chống nhiễu.

4. Làm thế nào để giảm thiểu tác động của mẫu đối nghịch?
   Có thể áp dụng huấn luyện tăng cường với mẫu đối nghịch, tăng cường dữ liệu đa dạng, tối ưu kiến trúc mạng và xây dựng hệ thống giám sát phát hiện tấn công để nâng cao tính ổn định và an toàn.

5. Các kết quả nghiên cứu có thể áp dụng trong thực tế như thế nào?
   Kết quả giúp các nhà phát triển và doanh nghiệp đánh giá độ tin cậy của mô hình, từ đó cải tiến hệ thống nhận dạng, đồng thời hỗ trợ xây dựng các chính sách bảo mật AI phù hợp với yêu cầu thực tế.

Kết luận

• Luận văn đã nghiên cứu và phân tích đặc tính của các mạng nơ ron nhân tạo, tập trung vào mạng CNN và thuật toán FGSM để tạo mẫu đối nghịch.
• Ba mô hình LeNet, YOLOv4 kết hợp CNN phân lớp và MobileNetv2 được đánh giá thực nghiệm với các bộ dữ liệu chuẩn và thực tế, cho thấy độ chính xác giảm rõ rệt khi có mẫu đối nghịch.
• Kết quả nhấn mạnh sự cần thiết của việc phát triển các kỹ thuật phòng chống và tăng cường tính ổn định cho mô hình CNN trong các ứng dụng nhận dạng đối tượng.
• Đề xuất các giải pháp cụ thể về huấn luyện tăng cường, tăng cường dữ liệu, tối ưu mô hình và xây dựng hệ thống giám sát để nâng cao độ tin cậy.
• Nghiên cứu mở ra hướng đi cho các bước tiếp theo trong việc bảo vệ hệ thống AI trước các tấn công đối nghịch, góp phần đảm bảo an toàn và hiệu quả ứng dụng AI trong tương lai.

Để tiếp tục phát triển, các nhà nghiên cứu và doanh nghiệp nên áp dụng các giải pháp đề xuất, đồng thời mở rộng nghiên cứu sang các kỹ thuật tấn công và phòng chống mới nhằm nâng cao tính bền vững của hệ thống AI.

Trích đoạn nội dung tài liệu

Chương 1. Cơ sở lý thuyết Trong Chương này, chúng tôi đi tìm hiểu về cơ sở lý thuyết của các mạng nơ ron, các xu hướng phát triển của mạng nơ ron. Nghiên cứu một số mạng nơ ron cơ bản. Các thuật toán sử dụng trong mạng nơ ron Trong chương này, chúng tôi đi tìm hiểu một số vấn đề bên trong của mạng nơ ron nhân tạo gồm các thuật toán được sử dụng trong quá trình huấn luyện.

Mạng nơ ron tích chập (CNN) Trong chương này, chúng tôi đi tìm hiểu về mạng CNN, Các thành phần cơ bản trong mạng CNN được tổng hợp và phân tích từ các nghiên cứu khác bao gồm: Lớp tích chập, lớp kích hoạt, lớp gộp, và lớp kết nối đầy đủ. Thuật toán FGSM được thảo luận với mục đích tạo ra các mẫu đối nghịch nhằm làm sai kết quả dự đoán của mô hình nhận dạng. Thực nghiệm và luận giải Trong chương này, chúng tôi đã bằng thực nghiệm triển khai các kịch bản khác nhau nhằm đo lường sự ảnh hưởng của các mẫu đối nghịch tới độ chính xác của một số mô hình nhận dạng từ đơn giản tới phức tạp. Bắt đầu với mô hình LeNet, YOLOv4, và MobileNetv2 trên một số ứng dụng cụ thể.

Khái niệm về mạng nơ ron Mạng nơ ron nhân tạo được biết như là các mô hình toán học nhằm mô tả gần nhất có thể phương thức hoạt động của bộ não sinh học của con người thông qua hàng loạt các phép biến đổi toán học bên trong mô hình mạng. Mục đích xuyên suốt của mạng nơ ron là đánh giá, đo lường các mối quan hệ toán học giữa dữ liệu đầu vào và kì vọng đầu ra của mỗi mô hình cụ thể. Khác với các cách tiếp cận truyền thống trước đây, người thiết kế phải phân tích dữ liệu và đưa ra các quy tắc nhất định (Fixed rules) và các đặc trưng trích chọn được từ dữ liệu (Hand-crafted features) để điều khiển và giám sát dữ liệu. Hay tới khi phát triển các mô hình học máy (Machine learning), việc kết hợp giữa cơ chế fixed rules và tự động học (gọi chung là semi-auto hand-crafted features) để xây dựng các mối liên hệ giữa dữ liệu vào và kết quả đầu ra.

Mạng nơ ron tự động trích chọn các đặc trưng bên trong dữ liệu một cách hoàn toàn tự động để tìm ra các mối liên hệ giữa dữ liệu vào và kết quả đầu ra. Một mô hình mạng nơ ron cơ bản và đơn giản được biểu diễn ở Hình 1. Mô hình mạng nơ ron cơ bản [1]. Với các giá trị đầu vào là x0, x1, x2 … được sắp sếp tổ chức thành các véc tơ, mỗi giá trị xi là các giá trị vô hướng.

Đặc biệt, x0 có giá trị cài đặt bằng 1. Véc tơ đầu vào được tổ chức thành véc tơ cột được gọi là tầng đầu vào và được 4 minh hoạ bằng các hình tròn màu xanh lục (gọi là các node) như trên hình vẽ. Các giá trị w0, w1, w2 …là các trọng số tương ứng với mỗi giá trị đầu vào. Tại node z, thực hiện phép biến đổi tuyến tính như ở công thức (1).

z = ∑𝑛𝑖=0 𝑥𝑖 𝑤𝑖 (1) Giá trị đầu ra được kí hiệu là y, theo hình vẽ ta thấy được giá trị đầu ra được tính bằng công thức y = sgn(z) cũng là một giá trị vô hướng. Hàm số sgn() được gọi là hàm kích hoạt (activation function). Hàm kích hoạt được thiết kế với mục tiêu giảm thiểu tính tuyến tính của các đầu ra của các phép biến đổi tuyến tính tại các node. Điều này giúp cho mô hình mang tính tổng quát hoá cao hơn, thích hợp với nhiều dạng dữ liệu với quy mô khác nhau từ nhỏ - vừa – lớn.

Bản chất của hàm kích hoạt là các phương trình phi tuyến. Một số dạng của hàm kích hoạt được biểu diễn dưới đây. - Hàm sigmoid được biểu diễn thông qua phương trình (2). Các xu hướng phát triển của mạng nơ ron Từ khi ra đời mạng nơ ron nhân tạo (ANN) đã thể hiện hiệu quả xử lý về độ chính xác đồng thời về thời gian xử lý trên các tập dữ liệu lớn phục vụ cho các bài toán thực tế từ: Y tế, giáo dục, kinh tế…Bên cạnh đó, cùng với sự phát triển của dữ liệu như hiện nay, thì việc khai thác hiệu quả các dữ liệu đó là một bài toán lớn và không chỉ các nhà khoa học nghiên cứu về ANN mà còn là các doanh nghiệp tiên phong trong việc đầu tư và phát triển.

Một trong những nhánh phát triển của ANN là mạng nơ ron tích chập (Convolutional neural networks – CNN). Được phát triển gần đây từ năm 2012 cùng với sức mạnh xử lý của phần cứng, cho phép CNN thực hiện các bài toán 5 khó với mô hình với quy mô lớn từ hàng triệu tới hàng trăm triệu tham số. Độ chính xác của mô hình dự đoán tăng lên đáng kể bỏ xa các cách tiếp cận truyền thống. Trong nghiên cứu này, chúng tôi chủ yếu tập trung vào các mô hình mạng CNN.2 cho thấy các mô hình tốt nhất hiện nay thực hiện bài toán nhận dạng đối tượng (Object detection) trên bộ dữ liệu COCO1 (bao gồm hơn 300.5 triệu đối tượng và 80 nhãn đối tượng) và Hình 1.3 thể hiện kết quả của các mô hình tốt nhất hiện nay thực hiện bài toán phân loại đối tượng (Object classification) trên tập dữ liệu lớn ImageNet2 (Bộ dữ liệu bao gồm gần 14 triệu hình ảnh, chứa 1.000 lớp đối tượng khác nhau).

Các mô hình thực hiện bài toán nhận dạng đối tượng trên bộ dữ liệu COCO [34].org/#home 2 https://image-net. Một số mạng nơ ron cơ bản Mô hình AlexNet [6] được lần đầu tiên công bố năm 2012 với những kết quả ưu việt trên tập ảnh ImageNet. Mô hình được biểu diễn khái quát như Hình 1. Bao gồm 9 lớp là: lớp đầu vào chuẩn hoá về kích thước 224x224x3; lớp tích chập thứ nhất có kích thước 11x11x3; lớp tích chập thứ hai có kích thước 5x5x48, lớp tích chập thứ 3 có kích thước là 3x3x256; lớp tích chập thứ tư có kích thước là 3x3x192, lớp tích chập thứ năm có kích thước 3x3x192; các lớp còn lại bao gồm ba lớp kết nối đầy đủ (Fully-connected layers) với số lượng các node tương ứng là 4096:4096:100.

Mô hình AlexNet bao gồm 60 triệu tham số. Mô hình cấu trúc của mạng AlexNet [6]. 7 Mô hình VGG16 [7] được công bố sau mạng AlexNet nên đã thừa hưởng một số đặc điểm khi cấu hình mạng so với AlexNet. Mô hình VG16 được biểu diễn như hình 1.

Mô hình mạng VGG16 [7]. Mô hình mạng VGG16 bao gồm 13 lớp tích chập so với mạng AlexNet chỉ có 5 lớp, ngoài ra như biểu diễn trên Hình 1.5 ta có thể thấy VGG16 sử dụng các lớp tích chập có kích thước tương đối nhỏ là 3x3 và đồng nhất điều này giúp VGG16 có thể trích chọn được các đặc trưng có kích thước nhỏ để mang lại hiệu quả tính toán tốt. Tuy nhiên kích thước mô hình là tương đối lớn lên tới 138 triệu tham số. Mô hình ResNet [8] được lần đầu công bố năm 2015, điểm khác biệt rõ rệt nhất của ResNet so với các mô hình khác là việc sử dụng khối dư và các kết nối tắt (skip connection), trong đó lớp nối tắt sẽ bảo tồn các thông tin quan trọng bằng cách nối các lớp trước và sau trong khi bỏ qua các lớp trung gian.

Ngoài ra còn có khối xác định (Identity block), khối này được đưa trực tiếp vào 8 nhánh còn lại nhằm mục đích cộng với nhánh truyền thằng mà không áp dụng bất kỳ phép tích chập nào, minh hoạ ở hình 1. Mô hình Inception [9] lựa chọn đa dạng kích thước các khối tích chập từ 1x1, 3x3, 5x5, tới 11x11 sau đó tạo thành một khối được gọi là kiến trúc Inception, được biểu diễn như Hình 1. Toán tử cộng vào đầu của khối với nhánh còn lại trong khối xác định. Mô hình cấu trúc của 1 khối trong Inception [9].

CÁC THUẬT TOÁN SỬ DỤNG TRONG MẠNG NƠ RON 2. Giới thiệu chung Để hiểu rõ về bản chất của mạng nơ ron nói chung, ngoài việc tìm hiểu về cấu trúc mạng chúng ta cần phải nắm được các kiến thức về các thuật toán sử dụng trong các quá trình huấn luyện và triển khai mạng nơ ron. Trong phần này, chúng ta sẽ đi thảo luận về thuật toán Gradient Descent và các thuật toán Hồi quy sử dụng để huấn luyện mạng nơ ron. Thuật toán Gradient descent Thuật toán Gradient descent (GD) được biết là thuật toán tìm điểm cực trị (tối ưu) chung cho các hàm số, mục đích của thuật toán là thông qua việc điều chỉnh tham số của hàm số đưa hàm số về giá trị tối ưu nhằm mục đích làm giảm chi phí.

Quá trình này được biết là quá trình huấn luyện dữ liệu. GD được áp dụng cho các bài toán tối ưu lồi (Convex optimization) trong đó mỗi thuật ngữ trong từ mô tả: - Gradient là giá trị độ nghiêng của đường dốc. Một cách toán học, Gradient là đạo hàm bậc nhất của hàm số tương ứng với một giá trị biến cụ thể; - Descent mang ý nghĩa là giảm dần. Có nhiều dạng khác nhau khi tính GD trong các bài toán huấn luyện mô từ các bài toán của học máy (Machine learning) tới các mô hình phức tạp học sâu (Deep neural networks) tuy nhiên về cơ bản chúng ta có thể tổng hợp các bước chính cho việc tính GD như sau: - Bước 1: Khởi tạo biến nội tại; - Bước 2: Đánh giá mô hình dựa trên các biến nội tại đó và hàm mất mát trong quá trình huấn luyện (Loss function); - Bước 3: Cập nhật lại các biến trên theo quy tắc tối thiểu hoá hàm mất mát.

Nghĩa là đi tìm giá trị cực tiểu của đạo hàm bậc nhất của các hàm mất mát; - Bước 4: Lặp lại bước 2 và bước 3 cho tới khi thoả mãn điều kiện dừng, hay nói cách khác khi đó hàm mất mát nằm trong một khoảng kì vọng nào đó; 10 Để biểu diễn toán học cho quá trình cập nhật GD chúng ta có thể minh hoạ như phương trình (2.1) Trong đó giá trị 𝜃 là tập hợp các biến cần cập nhật, với 𝜂 là tốc độ học của mô hình (giá trị này tuỳ biến bởi người thiết kế), trong khi đó ∇𝜃 là giá trị gradient của hàm mất mát trên tập tham số 𝜃. Tốc độ học learning rate Trong quá trình tìm kiếm điểm cực trị của thuật toán GD, thì một tham số quan trọng là giá trị của độ lớn của của mỗi lần thay đổi giá trị điểm dữ liệu. Tham số này được gọi là tốc độ học (learning rate). Đặc tính của giá trị này được biểu diễn ở Hình 2.