Hệ Thống Tăng Tốc Mạng Nơ-Ron Học Sâu Trên Nền Tảng FPGA

Tìm hiểu về hệ thống tăng tốc mạng nơ ron học sâu trên FPGA. Bài viết khám phá kiến trúc và kỹ thuật tối ưu hóa hiệu năng cho deep learning.

• Tác giả: Nguyễn Xuân Quang
• Người hướng dẫn: PGS. Phạm Quốc Cường
• Trường học: Trường Đại học Bách Khoa
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Hệ Thống Tăng Tốc Mạng Nơ-Ron Học Sâu Trên Nền Tảng Fpga
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Tp. Hồ Chí Minh

Tóm tắt

I. Tổng Quan Hệ thống Tăng Tốc Mạng Nơ ron Học Sâu trên FPGA

Trong bối cảnh trí tuệ nhân tạo phát triển mạnh mẽ, các giải thuật học máy ngày càng chứng minh khả năng ứng dụng rộng rãi, đặc biệt trong lĩnh vực thị giác máy tính và xử lý ngôn ngữ. Mạng nơ-ron nhân tạo đóng vai trò then chốt trong sự phát triển này. Để đáp ứng nhu cầu xử lý phức tạp, các nhà nghiên cứu liên tục cải tiến và thiết kế các mô hình học sâu mới, đòi hỏi nguồn lực tính toán lớn. Việc triển khai trên các thiết bị điện toán biên, nơi tài nguyên hạn chế, trở nên khó khăn. Luận văn này tập trung vào giải pháp tăng tốc mạng nơ-ron học sâu trên nền tảng FPGA, nhằm cải thiện hiệu quả thực thi trên các thiết bị này. Điều này phù hợp với xu hướng phát triển của hệ thống nhúng và ứng dụng AI. Theo Nguyễn Xuân Quang, luận văn này đề xuất một kiến trúc tăng tốc phép tích chập bằng các phương pháp song song hóa, tái sử dụng dữ liệu. Kết quả thí nghiệm cho thấy thiết kế có khả năng thực thi phép tính nhanh hơn bộ xử lí ARM 4 nhân 15.7 lần và bộ xử lí Intel 6 nhân 2.

1.1. Lợi Ích Của Việc Tăng Tốc Mạng Nơ ron Học Sâu

Việc tăng tốc các mạng nơ-ron học sâu mang lại nhiều lợi ích quan trọng, bao gồm giảm thời gian xử lý, tiết kiệm năng lượng, và mở rộng khả năng triển khai trên các thiết bị di động và hệ thống nhúng. Điều này cho phép tích hợp các ứng dụng AI vào nhiều lĩnh vực khác nhau, từ xe tự hành đến thiết bị y tế thông minh. Tăng tốc giúp vượt qua những hạn chế về mặt tài nguyên để triển khai hiệu quả trên các thiết bị biên. Việc sử dụng các giải pháp tăng tốc phần cứng như FPGA giúp tối ưu hóa hiệu suất và hiệu quả năng lượng.

1.2. Tổng Quan Về Nền Tảng FPGA Trong Tăng Tốc AI

FPGA cung cấp một nền tảng linh hoạt và hiệu quả cho việc tăng tốc phần cứng các mô hình học sâu. Khả năng tái cấu hình của FPGA cho phép tùy chỉnh kiến trúc phần cứng để phù hợp với các yêu cầu cụ thể của từng mạng nơ-ron, mang lại hiệu suất cao và hiệu quả năng lượng vượt trội so với các nền tảng truyền thống như CPU và GPU. Ngoài ra, công cụ phát triển FPGA ngày càng được cải thiện, giúp đơn giản hóa quá trình thiết kế và triển khai. Các thiết kế phần cứng gia tốc dựa trên FPGA thường được sử dụng cho việc triển khai các ứng dụng ở biên nhờ vào sự kết hợp của bộ xử lí và thành phần khả cấu hình được tích hợp trên một chip tạo thành hệ thống trên chip (SoC). [3], [4].

II. Thách Thức Triển Khai Mạng Nơ ron Học Sâu Trên Thiết Bị Biên

Mặc dù mạng nơ-ron học sâu đạt được nhiều thành tựu, việc triển khai chúng trên các thiết bị điện toán biên vẫn đối mặt với nhiều thách thức. Các thiết bị này thường có nguồn tài nguyên tính toán và năng lượng hạn chế, trong khi các mô hình học sâu ngày càng phức tạp và đòi hỏi nhiều tính toán. Điều này tạo ra nhu cầu cấp thiết về các giải pháp tăng tốc phần cứng hiệu quả, đặc biệt là trên các nền tảng như FPGA, để đảm bảo hiệu suất và hiệu quả năng lượng. Theo tác giả, sự phức tạp trong tính toán này gây trở ngại trong việc triển khai các mô hình mạng nơ-ron nhân tạo trên các thiết bị điện toán biên do các thiết bị này thường có lượng tài nguyên tính toán rất giới hạn. Giải quyết những thách thức này là điều kiện tiên quyết để ứng dụng AI rộng rãi hơn trong các lĩnh vực khác nhau.

2.1. Hạn Chế Về Tài Nguyên Tính Toán và Năng Lượng

Các thiết bị điện toán biên thường bị giới hạn về tài nguyên tính toán, bao gồm bộ nhớ, băng thông, và số lượng bộ xử lý AI. Điều này gây khó khăn cho việc thực thi các mô hình học sâu phức tạp, đòi hỏi hàng tỷ phép tính mỗi giây. Đồng thời, các thiết bị này cũng phải đối mặt với những hạn chế về năng lượng tiêu thụ, đặc biệt là trong các ứng dụng di động và hệ thống nhúng. Do đó, việc tối ưu hóa hiệu suất và hiệu quả năng lượng là rất quan trọng để triển khai thành công mạng nơ-ron học sâu trên các thiết bị biên.

2.2. Độ Trễ và Yêu Cầu Xử Lý Theo Thời Gian Thực

Nhiều ứng dụng AI đòi hỏi khả năng xử lý dữ liệu theo thời gian thực, với độ trễ thấp. Ví dụ, trong các ứng dụng xe tự hành và robotics, việc đưa ra quyết định nhanh chóng và chính xác là rất quan trọng. Tuy nhiên, việc thực thi các mô hình học sâu trên các thiết bị biên có thể gây ra độ trễ lớn do giới hạn về tài nguyên tính toán. Do đó, việc tăng tốc và tối ưu hóa quá trình suy luận (inference) là rất quan trọng để đáp ứng các yêu cầu thời gian thực.

III. Kiến Trúc Giải Pháp Tăng Tốc Dựa Trên Nền Tảng FPGA SoC

Luận văn đề xuất một kiến trúc hệ thống tăng tốc dựa trên nền tảng FPGA SoC, kết hợp giữa hiệu năng của phần cứng và tính linh hoạt của phần mềm. Kiến trúc này tập trung vào việc tối ưu hóa các phép tính tích chập, một thành phần quan trọng trong nhiều mô hình học sâu, bằng cách sử dụng các kỹ thuật song song hóa và tái sử dụng dữ liệu. Việc triển khai trên FPGA cho phép tùy chỉnh kiến trúc phần cứng để phù hợp với các yêu cầu cụ thể của từng mạng nơ-ron, mang lại hiệu suất cao và hiệu quả năng lượng tối ưu. Theo luận văn, hệ thống này hoạt động dưới một tần số thấp hơn nhiều so với GPU và khả năng song song hóa cao hơn so với các nền tảng dựa trên tập lệnh. Vì thế, chúng đạt được hiệu quả năng lượng tốt hơn so với GPU và hiệu năng tính toán cao hơn so với các CPU [5].

3.1. Thiết Kế Lõi Tính Toán Tối Ưu Hóa Cho Phép Tích Chập

Lõi tính toán được thiết kế đặc biệt để tăng tốc các phép tính tích chập, bằng cách sử dụng các kỹ thuật song song hóa và tái sử dụng dữ liệu. Kiến trúc này cho phép thực hiện nhiều phép tính đồng thời, giảm thiểu thời gian xử lý. Ngoài ra, việc tái sử dụng dữ liệu giúp giảm thiểu số lượng truy cập bộ nhớ, cải thiện hiệu quả năng lượng. Thiết kế lõi tính toán có thể được tùy chỉnh để phù hợp với các tham số khác nhau của mạng nơ-ron, mang lại tính linh hoạt cao.

3.2. Giao Tiếp Hiệu Quả Giữa Phần Mềm và Phần Cứng Gia Tốc

Kiến trúc hệ thống đảm bảo giao tiếp hiệu quả giữa phần mềm và phần cứng gia tốc. Phần mềm chịu trách nhiệm cấu hình phần cứng, nạp dữ liệu, và khởi động quá trình tính toán. Phần cứng gia tốc thực hiện các phép tính một cách hiệu quả, sau đó trả kết quả về phần mềm. Giao tiếp hiệu quả giúp giảm thiểu độ trễ và tối ưu hóa hiệu suất tổng thể của hệ thống. Tiêu chuẩn giao tiếp giữa đơn vị xử lí phần mềm với phần cứng được dùng để hiện thực hệ thống tăng tốc mạng nơ-ron nhân tạo phụ thuộc vào thông số kỹ thuật của dòng FPGA này và không nằm trong phạm vi nghiên cứu.

IV. Thực Nghiệm Đánh Giá Hiệu Năng của Hệ Thống Tăng Tốc FPGA

Luận văn trình bày kết quả thực nghiệm đánh giá hiệu năng của hệ thống tăng tốc trên nền tảng FPGA. Các thí nghiệm được thực hiện với nhiều mô hình học sâu khác nhau, bao gồm cả CNN, RNN, và DNN. Kết quả cho thấy hệ thống tăng tốc đạt được hiệu suất cao và hiệu quả năng lượng vượt trội so với các nền tảng truyền thống như CPU và GPU. Các kết quả này chứng minh tính khả thi và hiệu quả của giải pháp tăng tốc dựa trên FPGA SoC cho các ứng dụng AI trên thiết bị điện toán biên. Cụ thể dòng Zynq UltraScale+ MPSoC tích hợp sẵn lõi vi xử lí ARM cùng với phần logic khả lập trình được sử dụng để hiện thực và kiểm nghiệm thiết kế.

4.1. So Sánh Hiệu Năng Với Các Nền Tảng CPU và GPU

Các thí nghiệm so sánh hiệu năng của hệ thống tăng tốc với các nền tảng CPU và GPU trong việc thực thi các mô hình học sâu. Kết quả cho thấy hệ thống tăng tốc FPGA có thể đạt được tốc độ xử lý nhanh hơn và tiêu thụ ít năng lượng hơn so với CPU và GPU. Điều này chứng minh lợi thế của FPGA trong việc tăng tốc phần cứng các ứng dụng AI.

4.2. Đánh Giá Ảnh Hưởng Của Các Tham Số Cấu Hình FPGA

Các thí nghiệm cũng đánh giá ảnh hưởng của các tham số cấu hình FPGA, chẳng hạn như số lượng LUT, FF, và BRAM, đến hiệu năng của hệ thống tăng tốc. Kết quả giúp xác định các tham số cấu hình tối ưu để đạt được hiệu suất cao nhất. Kiến trúc hệ thống và lõi tính toán được được xây dựng ở mức trừu tượng cao nhằm loại bỏ đi những đặc tính riêng cụ thể của các dòng FPGA khác nhau nhằm phát triển một lõi IP độc lập, không phụ thuộc vào bất kỳ nền tảng cụ thể nào.

4.3. Ứng Dụng Cụ Thể Computer Vision NLP Object Detection

Hệ thống tăng tốc FPGA được đánh giá trên các ứng dụng cụ thể thuộc các lĩnh vực Computer Vision, NLP và Object Detection. Các ứng dụng được lựa chọn để đánh giá bao gồm các mô hình phổ biến như CNN, RNN và DNN. Kết quả cho thấy hệ thống tăng tốc hoạt động hiệu quả và có thể được áp dụng cho các ứng dụng AI khác nhau.

V. Kết Luận Triển Vọng và Hướng Phát Triển Hệ thống Tăng Tốc

Luận văn kết luận rằng hệ thống tăng tốc dựa trên FPGA SoC là một giải pháp hiệu quả cho việc triển khai mạng nơ-ron học sâu trên thiết bị điện toán biên. Kiến trúc này mang lại hiệu suất cao, hiệu quả năng lượng tốt, và tính linh hoạt cao. Tuy nhiên, luận văn cũng chỉ ra một số hạn chế và đề xuất các hướng phát triển trong tương lai, chẳng hạn như tối ưu hóa công cụ phát triển FPGA và tích hợp các kỹ thuật tối ưu hóa phần cứng tiên tiến hơn. Phát triển các bộ gia tốc dựa trên nền tảng FPGA là lĩnh vực tiềm năng, sẽ ứng dụng nhiều vào đời sống trong tương lai.

5.1. Tối Ưu Hóa Công Cụ Phát Triển FPGA Để Đơn Giản Hóa Thiết Kế

Việc tối ưu hóa công cụ phát triển FPGA có thể giúp đơn giản hóa quá trình thiết kế và triển khai hệ thống tăng tốc. Điều này bao gồm cải thiện khả năng tự động hóa, cung cấp các thư viện phần cứng tối ưu, và hỗ trợ các ngôn ngữ lập trình cấp cao như HLS. Việc đơn giản hóa quá trình thiết kế có thể giúp giảm chi phí và thời gian phát triển.

5.2. Nghiên Cứu Các Kỹ Thuật Tối Ưu Hóa Phần Cứng Tiên Tiến

Nghiên cứu các kỹ thuật tối ưu hóa phần cứng tiên tiến hơn, chẳng hạn như lượng tử hóa, tỉa thưa, và nén mô hình, có thể giúp cải thiện hiệu suất và hiệu quả năng lượng của hệ thống tăng tốc. Các kỹ thuật này cho phép giảm kích thước mô hình và giảm số lượng phép tính cần thiết, mang lại lợi ích đáng kể.

Trích đoạn nội dung tài liệu

Đặt vấn đề, giới thiệu tổng quan đề tài, mục tiêu, tính cấp thiết, ý nghĩa khoa học và thực tiễn. Ngoài ra còn trình bày cấu trúc nội dung luận văn. Chương 2 – Cơ sở lý thuyết: Các kiến thức nền tảng về các giải thuật mạng nơ-ron nhân tạo. Một số phương pháp tăng tốc thực thi mạng nơ-ron nhân tạo.

Chương 3 – Các công trình liên quan: Các công trình về hiện thực phần cứng tăng tốc các giải thuật học máy, học sâu trên nền tảng FPGA. Chương 4 – Kiến trúc hệ thống: Trình bày thiết kế kiến trúc hệ thống đề xuất của hệ thống tăng tốc mạng nơ-ron trên nền tảng FPGA SoC. Sử dụng các sơ đồ khối ở mức tổng quan và giải thích để dễ dàng nắm bắt nhiệm vụ của các thành phần trong hệ thống. Chương 5 – Hiện thực hệ thống: Trình bày các thiết kế chi tiết của các khối trong hệ thống.

Chương 6 – Kết quả thực nghiệm: Nêu các kết quả thực nghiệm của hệ thống đã hiện thực, kết quả sử dụng tài nguyên sau tổng hợp. So sánh kết quả trong các trường hợp khác nhau. Chương 7 – Kết luận: Nêu ra kết luận về khả năng và mức độ hiệu quả cũng như những điểm yếu của hệ thống, đồng thời đề xuất giải pháp khắc phục và hướng phát triển trong tương lai. Danh mục công trình đã công bố: Liệt kê các bài báo khoa học đã công bố từ luận văn.

Danh mục tài liệu tham khảo: Trích dẫn các tài liệu được tham khảo.1 Mạng nơ-ron nhân tạo 2.1 Thuật toán perceptron Mạng nơ-ron nhân tạo được lấy ý tưởng từ mạng nơ-ron sinh học. Trong đó, một nơ-ron sẽ nhận các tín hiệu từ các nơ-ron khác, các tín hiệu này được tổng hợp và lưu chuyển đến nơ-ron tiếp theo. Trong mạng nơ-ron nhân tạo, mỗi nốt đơn vị được gọi là 1 perceptron. Mỗi peceptron có cấu tạo như Hình 2.

y wn xn b Hình 2.1: Các thành phần của một perceptron Trong đó, các giá trị đầu vào là một véc-tơ X = (x0 , x1 , ., xn ) gọi là các đặc trưng đầu vào; các giá trị w0 , w1 , ., wn là các trọng số, thể hiện độ mạnh yếu của các tín hiệu đặc trưng, được biểu diễn bằng véc-tơ W = (w0 , w1 , ., wn ); b là bias, đóng vai trò như hệ số tự do điều chỉnh khoảng giá trị khi tổng hợp các input. Khi đi vào perceptron, các đặc trưng đầu vào sẽ được tổng hợp lại theo trọng số, thông qua Công thức 1; n là số chiều của dữ liệu đầu vào; y là kết quả đầu ra sau khi áp dụng một hàm số đối với giá trị z tổng hợp được 5 theo Công thức 2, hàm f gọi là hàm kích hoạt, là một hàm phi tuyến bất kỳ.wi + b = W T X + b (1) i=0 y = f (z) (2) Kết quả của hàm kích hoạt sẽ được so sánh với một ngưỡng, nhằm xác định xem perceptron này có được kích hoạt hay không. Thông thường, giá ngưỡng trị ngưỡng được chọn là 0 và khoảng giá trị của hàm kích hoạt thường nằm trong (-1, 1).2 Các thành phần của mạng nơ-ron nhân tạo Với 1 perceptron, ta đã có một mạng nơ-ron nhân tạo giải quyết được bài toán phân loại tuyến tính. Đối với các bài toán phức tạp hơn, ta có thể dùng nhiều perceptron sắp xếp lại với nhau thành từng tầng, tầng sau nối với tầng trước, tạo thành một mạng kết nối đầy đủ như Hình 2.2 gọi là Fully-connected.

xn input hidden 1 hidden 2 output Hình 2.2: Mạng nơ-ron đa tầng với 2 tầng ẩn 6 Một mạng nơ-ron đa tầng gồm: + Tầng input (input layer): tầng đầu tiên trong mạng, thể hiện các đặc trưng đầu vào. + Tầng ẩn (hidden layer): các tầng ở giữa, có thể 1 hoặc nhiều tầng, chịu trách nhiệm tính toán chính trong mạng. + Tầng output (output layer): tầng ở vị trí sau cùng, thể hiện các giá trị đầu ra của mạng. Số tầng của một mạng nơ-ron đa tầng được tính bằng số tầng ẩn cộng thêm 1.

Một mạng nơ-ron có từ 3 tầng trở lên được gọi là mạng nơ-ron học sâu (DNN).2 Mạng nơ-ron tích chập 2.1 Phép tích chập Trong miền rời rạc, phép tích chập giữa 2 hàm số f (n) đại diện cho một tín hiệu một chiều và g(n) đại diện cho bộ lọc (filter), hay còn gọi là nhân (kernel), được biểu diễn bởi Công thức 3.g(n − i) (3) i=−∞ Trong mạng nơ-ron, phép tích chập được biểu diễn khác đi một chút để thể hiện mối tương quan chéo giữa các giá trị đầu vào X = (x0 , x1 , ., xn ) và các giá trị trọng số W = (w0 , w1 , ., wm ) theo Công thức 4, kết quả đầu ra của phép tích chập này được minh họa ở Hình 2. m yn = ∑ xn+i · wi (4) i=0 Trong Hình 2.3, ta đặt bộ lọc vào vị trí đầu của vec-tơ đầu vào, thực hiện phép tích vô hướng trên đó để tạo ra giá trị đầu ra ở vị trí đầu tiên.3: Phép tích chập một chiều ta trượt bộ lọc đến vị trí cuối của véc-tơ đầu vào để tính tất cả các giá trị đầu ra. Đối với đầu vào là một ma trận, ta cũng có cách làm tương tự, được minh họa trong Hình 2. Ma trận trọng số (bộ lọc) W trượt lần lượt theo chiều ngang và chiều dọc qua tất cả các vị trí của ma trận đầu vào X.

Tại mỗi vị trí, các giá trị tương ứng của 2 ma trận này được nhân với nhau, sau đó cộng lại để tạo ra giá trị ở một vị trí trong ma trận đầu ra Y theo Công thức 5, với i, j là các chỉ số biểu thị cho hàng và cột của ma trận đầu vào, a, b là chỉ số đại diện cho hàng, cột của ma trận trọng số. yi, j = ∑ ∑ wa,b · xi+a, j+b (5) a b Phép tích chập 2 chiều này phù hợp với các ma trận đầu vào là các bức ảnh. Đối với ảnh màu, thông thường được biểu diễn bởi 3 ma trận, đại diện cho 3 kênh. Khi đó, để áp dụng phép tích chập 2 chiều, bộ lọc cũng được mở rộng với số kênh tương ứng.

Lúc này, ta thực hiện 3 phép tích chập 2 chiều giữa ma trận đầu vào và ma trận trọng số với kênh tương ứng. Sau đó, các ma trận đầu ra được cộng lại để tạo ra ma trận đầu ra sau cùng. Phép tích chập 2 chiều đa kênh được minh họa trên Hình 2. Khi đó, công thức phép tích chập 8 x3 * = x3 x3 Hình 2.4: Phép tích chập hai chiều 2 chiều được mở rộng thành Công thức 6, với c là chỉ số biểu thị cho kênh.

yi, j = ∑ ∑ ∑ wa,b,c · xi+a, j+b,c (6) c a b 2.2 Đệm và sải bước Trong các phép tích chập ở trên, dễ dàng thấy được kích thước ma trận đầu ra nhỏ hơn kích thước của ma trận đầu vào. Trong trường hợp cần ma trận đầu ra có cùng kích thước với ma trận đầu vào, hay để không làm mất các thông tin ở biên của ma trận đầu vào, ta chèn thêm các cột, hàng xung quanh biên của ma trận đầu vào. Thông thường, giá trị ở các vị trí trong các hàng, cột được thêm vào là 0 để tránh làm sai lệch, nhiễu thông tin của ma trận đầu vào. Các hàng, cột này gọi là các hàng, cột đệm (padding), số hàng hoặc cột 9 * = + Hình 2.5: Phép tích chập hai chiều đa kênh được thêm vào ở mỗi biên được ký hiệu là P.6 thể hiện phép tích chập 2 chiều với đệm để tạo ra ma trận đầu ra có cùng kích thước với ma trận đầu vào.6: Phép tích chập hai chiều với đệm P = 1 Đối với mạng nơ-ron tích chập, các bộ lọc thường là các ma trận vuông có kích thước [m × m], và m thường được chọn là số lẻ.

Để thuận tiện trong việc tính toán, dữ liệu đặc trưng đầu vào cũng thường được cấu tạo thành ma trận vuông có kích thước [n × n]. Mặc dù P có thể được chọn là một số tự nhiên bất kỳ, nhưng để kích thước ma trận đầu ra bằng ma trận đầu vào, ta cần được chọn thêm m − 1 hàng và cột vào ma trận đầu vào, với m là kích thước ma trận bộ lọc. Khi m là số lẻ thì ta thêm mỗi bên P = (m−1)/2 hàng, cột các giá trị 0. Ngược lại với đệm nhằm tránh mất thông tin của ma trận đầu vào, sải bước (stride) bỏ qua một số hàng, cột của ma trận đầu vào khi trượt cửa sổ bộ lọc trên đó nhằm giảm bớt khối lượng tính toán trên phép tích chập.

Khi trượt bộ lọc trên ma trận đầu vào, ta dịch chuyển bộ lọc theo từng hàng, cột, tuy nhiên, ta có thể bỏ qua một lượng hàng, cột tương ứng với sải bước khi dịch chuyển bộ lọc này. Số hàng, cột được bỏ qua gọi là sải bước, ký hiệu S. Khi đó, công thức tích chập 2 chiều (5) sẽ được mở rộng thành Công thức 7. yi, j = ∑ ∑ wa,b · xi.S+b (7) a b Thông thường, P và S sẽ được chọn sao cho bộ lọc có thể trượt vừa khít với biên trên ma trận đầu vào sau khi đã được đệm, tức biểu thức (n + 2P − m)/S phải là số nguyên.

Từ đây ta có thể tính được kích thước ma trận đầu ra q 11 tương ứng với đệm và sải bước được chọn theo Công thức 8.7 minh họa phép tích chập 2 chiều với đệm P = 1 và sải bước S = 3.7: Phép tích chập hai chiều với đệm P = 1, sải bước S = 3 12 2.3 Mạng nơ-ron tích chập CNN Với một mạng nơ-ron nhân tạo, dữ liệu đầu vào là các đặc trưng đã được rút trích từ các dữ liệu thô. Tuy nhiên, trong một số bài toán, ta có thể không xác định được trước các đặc trưng của dữ liệu thô đầu vào, ví dụ như một bức ảnh. Trong trường hợp này, phép tích chập được sử dụng nhờ vào khả năng tự động rút trích các đặc trưng của mình. Một mạng nơ-ron tích chập từ đó sẽ có một tầng tích chập (Conv layer) dùng để rút trích đặc trưng.

Sau đó, các đặc trưng này được đưa vào tầng kết nối đầy đủ (FC layer) là một mạng full-connected tương tự như các mạng nơ-ron nhân tạo thông thường để thực hiện tính toán đầu ra cho bài toán. Lúc này, khối lượng tính toán trong mạng tăng lên rất nhiều.