Luận văn thạc sĩ HCMUTE: Nghiên cứu và thực hiện cấu trúc VLSI cho thuật toán học

Đề tài khảo sát cấu trúc VLSI cho thuật toán học tại HCMUTE với dữ liệu thực nghiệm, giải pháp cụ thể cho bài toán thực tế toán học

• Tác giả: Nguyễn Lâm Thương
• Người hướng dẫn: TS. Hoàng Trang
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Kỹ Thuật Điện Tử
• Đề tài: Nghiên Cứu Cấu Trúc VLSI Cho Thuật Toán Học
• Loại tài liệu: luận văn
• Năm xuất bản: 2013
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LÝ LỊCH CÁ NHÂN
• LỜI CAM ĐOAN
• CẢM TẠ
• TÓM TẮT
• ABSTRACT
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngoài nước đã công bố
• 1.2. Mục đích của đề tài
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn của đề tài
• 1.6. Cấu trúc của luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Giới thiệu mạng Neural nhân tạo
• 3. CHƯƠNG 3: THUẬT TOÁN BACKPROPAGATION
• 4. CHƯƠNG 4: NGHIÊN CỨU THUẬT TOÁN
• 5. CHƯƠNG 5: KẾT QUẢ
• DANH MỤC TÀI LIỆU THAM KHẢO
• DANH MỤC HÌNH VẼ
• BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH - VIỆT

Tóm tắt

I. Tổng quan

Nghiên cứu cấu trúc VLSI cho thuật toán học tại HCMUTE tập trung vào việc phát triển và tối ưu hóa các kiến trúc vi mạch cho mạng Neural. Mạng Neural đã trở thành một công cụ quan trọng trong nhiều lĩnh vực, từ quân sự đến y học. Việc áp dụng công nghệ VLSI cho các thuật toán học như Backpropagation giúp tăng tốc độ xử lý và hiệu quả tính toán. Đề tài này không chỉ nghiên cứu lý thuyết mà còn thực hiện thực nghiệm trên các thiết bị như FPGA, nhằm đánh giá khả năng ứng dụng thực tế của các kiến trúc này.

1.1 Tổng quan về lĩnh vực nghiên cứu

Trong những năm gần đây, mạng Neural đã được nghiên cứu sâu rộng với nhiều cấu trúc và thuật toán mới. Các nghiên cứu từ McCulloch và Pitts đến Rumelhart, Hinton và Williams đã mở ra nhiều hướng đi mới cho việc ứng dụng mạng Neural trong thực tiễn. Các ứng dụng này bao gồm xử lý tín hiệu, dự đoán trong ngân hàng, và nhiều lĩnh vực khác. Đặc biệt, thuật toán Backpropagation đã chứng minh được tính hiệu quả trong việc huấn luyện mạng Neural, từ đó tạo ra nhiều ứng dụng thực tiễn có giá trị.

1.2 Mục đích và phạm vi nghiên cứu

Mục đích chính của đề tài là thiết kế và tối ưu hóa cấu trúc vi mạch cho thuật toán Backpropagation. Phạm vi nghiên cứu bao gồm việc tìm hiểu về kiến trúc mạng Neural, công nghệ FPGA, và ngôn ngữ mô tả phần cứng Verilog. Đề tài sẽ thực hiện các thí nghiệm trên kit DE2 để đánh giá hiệu quả của các kiến trúc đã thiết kế.

II. Cơ sở lý thuyết

Cơ sở lý thuyết của nghiên cứu này bao gồm các khái niệm cơ bản về mạng Neural và thuật toán Backpropagation. Mạng Neural nhân tạo được mô phỏng dựa trên cấu trúc của não người, với khả năng học và ghi nhớ thông tin. Các mô hình mạng Neural như Perceptron và mạng hồi quy đã được phát triển để giải quyết các bài toán phức tạp. Việc áp dụng kỹ thuật điện tử trong thiết kế vi mạch cho mạng Neural giúp tối ưu hóa hiệu suất và giảm thiểu chi phí sản xuất.

2.1 Giới thiệu mạng Neural nhân tạo

Mạng Neural nhân tạo là một mô hình toán học mô phỏng cách thức hoạt động của não người. Nó bao gồm các nút (neuron) được kết nối với nhau, cho phép xử lý thông tin một cách song song và phi tuyến. Các nghiên cứu đã chỉ ra rằng mạng Neural có khả năng học từ dữ liệu, từ đó cải thiện độ chính xác trong các dự đoán. Việc áp dụng cấu trúc VLSI cho mạng Neural giúp tăng cường khả năng xử lý và mở rộng ứng dụng trong nhiều lĩnh vực khác nhau.

2.2 Thuật toán Backpropagation

Thuật toán Backpropagation là một trong những phương pháp phổ biến nhất để huấn luyện mạng Neural. Nó sử dụng phương pháp lan truyền ngược để cập nhật trọng số của các kết nối trong mạng, từ đó tối ưu hóa độ chính xác của mô hình. Việc áp dụng thuật toán này trong thiết kế vi mạch cho phép thực hiện các tính toán phức tạp một cách nhanh chóng và hiệu quả, đặc biệt là khi sử dụng công nghệ FPGA.

III. Nghiên cứu thuật toán

Nghiên cứu thuật toán tập trung vào việc xây dựng và tối ưu hóa các module thực hiện thuật toán Backpropagation. Các module này được thiết kế để hoạt động hiệu quả trên nền tảng FPGA, cho phép thực hiện các phép toán phức tạp với tốc độ cao. Việc mô phỏng và thực nghiệm trên kit DE2 sẽ giúp đánh giá khả năng hoạt động của các module này trong thực tế.

3.1 Sơ đồ thực hiện thuật toán

Sơ đồ thực hiện thuật toán Backpropagation bao gồm các bước chính như tính toán đầu ra, tính toán lỗi, và cập nhật trọng số. Mỗi bước trong quy trình này được tối ưu hóa để đảm bảo hiệu suất cao nhất khi triển khai trên FPGA. Việc sử dụng ngôn ngữ mô tả phần cứng Verilog giúp dễ dàng mô phỏng và kiểm tra các module trước khi thực hiện trên phần cứng.

3.2 Huấn luyện mạng Neural

Quá trình huấn luyện mạng Neural sử dụng thuật toán Backpropagation yêu cầu một lượng lớn dữ liệu đầu vào để tối ưu hóa trọng số. Việc thực hiện huấn luyện trên FPGA cho phép xử lý song song, từ đó rút ngắn thời gian huấn luyện và nâng cao hiệu quả. Các thí nghiệm thực tế sẽ được thực hiện để đánh giá độ chính xác và tốc độ của mạng Neural sau khi huấn luyện.

IV. Kết quả

Kết quả nghiên cứu sẽ được trình bày thông qua các mô phỏng và thực nghiệm trên kit DE2. Các kết quả này sẽ cho thấy hiệu quả của việc áp dụng cấu trúc VLSI cho thuật toán Backpropagation trong mạng Neural. Việc phân tích kết quả sẽ giúp rút ra những bài học kinh nghiệm và đề xuất các hướng nghiên cứu tiếp theo.

4.1 Kết quả mô phỏng

Kết quả mô phỏng cho thấy rằng cấu trúc vi mạch được thiết kế có khả năng hoạt động hiệu quả với độ chính xác cao. Các thông số như thời gian xử lý và mức tiêu thụ năng lượng sẽ được phân tích để đánh giá tính khả thi của thiết kế. Việc so sánh với các phương pháp truyền thống sẽ làm nổi bật ưu điểm của việc sử dụng công nghệ VLSI.

4.2 Kết quả thực nghiệm

Kết quả thực nghiệm trên kit DE2 sẽ được trình bày chi tiết, bao gồm các thông số kỹ thuật và hiệu suất của mạng Neural. Việc thực hiện các bài kiểm tra khác nhau sẽ giúp xác định khả năng mở rộng và tính linh hoạt của cấu trúc vi mạch. Những kết quả này sẽ là cơ sở để đề xuất các cải tiến trong tương lai.

V. Kết luận

Nghiên cứu cấu trúc VLSI cho thuật toán học tại HCMUTE đã chỉ ra rằng việc áp dụng công nghệ vi mạch cho mạng Neural có thể mang lại nhiều lợi ích về hiệu suất và khả năng mở rộng. Các kết quả đạt được từ nghiên cứu này không chỉ có giá trị trong lĩnh vực học thuật mà còn có thể ứng dụng trong thực tiễn, mở ra nhiều cơ hội mới cho các nghiên cứu tiếp theo.

5.1 Đánh giá tổng quan

Đánh giá tổng quan cho thấy rằng cấu trúc vi mạch được thiết kế có khả năng đáp ứng các yêu cầu về hiệu suất và độ chính xác. Việc áp dụng kỹ thuật điện tử trong thiết kế đã giúp tối ưu hóa quy trình và giảm thiểu chi phí sản xuất. Những thành công này sẽ là nền tảng cho các nghiên cứu tiếp theo trong lĩnh vực mạng Neural và công nghệ VLSI.

5.2 Hướng nghiên cứu tiếp theo

Hướng nghiên cứu tiếp theo sẽ tập trung vào việc mở rộng các mô hình mạng Neural và cải tiến thuật toán Backpropagation. Việc nghiên cứu thêm về các công nghệ mới trong lĩnh vực VLSI sẽ giúp nâng cao hiệu quả và khả năng ứng dụng của các kiến trúc vi mạch trong tương lai. Các nghiên cứu này sẽ đóng góp vào sự phát triển bền vững của ngành công nghệ thông tin và điện tử.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh công nghệ vi mạch tích hợp (IC) ngày càng phát triển mạnh mẽ, việc tích hợp nhiều chức năng trên một chip đơn trở thành xu hướng tất yếu. Theo ước tính, số lượng transistor trên một chip đã tăng lên hàng tỷ, tạo điều kiện cho các thiết bị như PLD (Programmable Logic Device) và FPGA (Field Programmable Gate Array) ngày càng nhỏ gọn nhưng tích hợp nhiều tiện ích vượt trội. Tuy nhiên, để khai thác hiệu quả các tiện ích này, việc lập trình và thiết kế cấu trúc vi mạch phù hợp là rất cần thiết.

Luận văn tập trung nghiên cứu và thực hiện cấu trúc VLSI cho thuật toán học Backpropagation trong mạng Neural nhân tạo, một lĩnh vực có ứng dụng rộng rãi trong các ngành như quân sự, y học, công nghiệp, và điện tử. Mục tiêu cụ thể là thiết kế hoàn chỉnh và tối ưu cấu trúc vi mạch thực hiện giải thuật Backpropagation trên nền tảng FPGA sử dụng ngôn ngữ mô tả phần cứng Verilog HDL, đồng thời thực nghiệm trên kit DE2 của hãng Altera.

Phạm vi nghiên cứu bao gồm các kiến trúc mạng Neural truyền thẳng, thuật toán Backpropagation, công nghệ FPGA và ngôn ngữ Verilog, với thời gian nghiên cứu tập trung vào năm 2013 tại thành phố Hồ Chí Minh. Ý nghĩa của nghiên cứu được thể hiện qua việc tăng tốc độ xử lý thuật toán mạng Neural nhờ tính song song của cấu trúc vi mạch, đồng thời mở rộng khả năng ứng dụng trong các lĩnh vực công nghệ cao.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: mạng Neural nhân tạo và thuật toán học Backpropagation. Mạng Neural nhân tạo mô phỏng cấu trúc và chức năng của bộ não con người, gồm các tế bào thần kinh nhân tạo (Neural) kết nối với nhau qua các trọng số (weights). Mạng có thể là mạng truyền thẳng (feedforward) hoặc mạng hồi quy (recurrent), với các kiến trúc đa lớp (multilayer perceptron) hoặc đơn lớp.

Thuật toán Backpropagation, được đề xuất năm 1986, là phương pháp huấn luyện mạng Neural truyền thẳng nhiều lớp bằng cách lan truyền ngược sai số để cập nhật trọng số. Thuật toán này gồm hai bước chính: tính toán theo chiều thuận để xác định đầu ra mạng và tính toán theo chiều ngược để điều chỉnh trọng số dựa trên sai số giữa đầu ra thực tế và mong muốn.

Ba khái niệm chính được sử dụng là:

• Hàm kích hoạt (activation function) như hàm sigmoid, tanh, hard-limit để giới hạn đầu ra của Neural.
• Trọng số (weight) biểu thị mức độ liên kết giữa các Neural.
• Hệ số bias giúp dịch chuyển hàm kích hoạt để tăng khả năng học của mạng.

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu bao gồm tài liệu lý thuyết về mạng Neural, thuật toán Backpropagation, tài liệu kỹ thuật về FPGA và Verilog HDL, cùng các công trình nghiên cứu trong và ngoài nước về ứng dụng mạng Neural trên vi mạch.

Phương pháp phân tích sử dụng kết hợp nghiên cứu lý thuyết và thực nghiệm. Nghiên cứu lý thuyết tập trung vào phân tích cấu trúc mạng Neural, thuật toán Backpropagation và công nghệ FPGA. Thực nghiệm được thực hiện bằng cách thiết kế cấu trúc vi mạch trên ngôn ngữ Verilog, mô phỏng trên phần mềm ModelSim và thực thi trên kit DE2 của Altera.

Cỡ mẫu nghiên cứu là các module con của mạng Neural và thuật toán Backpropagation được thiết kế và kiểm thử. Phương pháp chọn mẫu là lựa chọn các module tiêu biểu cho từng chức năng của mạng Neural để đảm bảo tính khả thi và hiệu quả. Timeline nghiên cứu kéo dài trong năm 2013, bao gồm các giai đoạn: tổng quan lý thuyết, thiết kế mô hình, mô phỏng, thực nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Thiết kế thành công cấu trúc vi mạch cho thuật toán Backpropagation trên FPGA: Mạng Neural truyền thẳng nhiều lớp được mô phỏng và thực thi trên kit DE2, cho thấy khả năng xử lý song song giúp tăng tốc độ tính toán đáng kể so với các giải thuật phần mềm truyền thống. Kết quả mô phỏng cho thấy sai số trung bình giảm dần qua các vòng huấn luyện, đạt độ chính xác trên 95%.

2. Khả năng mở rộng cấu trúc mạng Neural: Cấu trúc vi mạch được thiết kế theo mô-đun, cho phép dễ dàng tăng số lượng Neural trên mỗi lớp hoặc tăng số lớp trong mạng chỉ bằng cách ghép nối các module con. Điều này giúp nâng cao tính linh hoạt và ứng dụng trong các bài toán phức tạp hơn.

3. Ứng dụng ngôn ngữ Verilog HDL và công nghệ FPGA hiệu quả: Việc sử dụng Verilog HDL cho phép mô tả chi tiết các thành phần mạng Neural ở mức hành vi và mức truyền thanh ghi (RTL), giúp tối ưu hóa thiết kế và dễ dàng tổng hợp trên FPGA. Thời gian biên dịch và mô phỏng được rút ngắn khoảng 30% so với các phương pháp thiết kế truyền thống.

4. Đánh giá thực nghiệm trên kit DE2: Thực nghiệm cho thấy hệ thống hoạt động ổn định, đáp ứng nhanh với các tín hiệu đầu vào và có khả năng xử lý song song các phép tính trọng số và cập nhật trọng số. Tốc độ xử lý tăng khoảng 40% so với các thiết kế phần mềm tương đương.

Thảo luận kết quả

Nguyên nhân của các kết quả tích cực trên là do việc tận dụng tính song song vốn có của mạng Neural trong thiết kế vi mạch, giúp giảm đáng kể thời gian xử lý so với các giải thuật chạy trên CPU đơn. So sánh với các nghiên cứu trước đây chủ yếu tập trung vào phần mềm, nghiên cứu này đã mở rộng sang thiết kế phần cứng, góp phần nâng cao hiệu suất và khả năng ứng dụng thực tế.

Kết quả mô phỏng và thực nghiệm có thể được trình bày qua biểu đồ sai số huấn luyện giảm dần theo số vòng lặp, bảng so sánh thời gian xử lý giữa phần mềm và phần cứng, cũng như sơ đồ cấu trúc module mạng Neural trên FPGA. Điều này minh chứng cho tính khả thi và hiệu quả của phương pháp thiết kế.

Ý nghĩa của nghiên cứu không chỉ nằm ở việc cải thiện tốc độ xử lý mà còn ở khả năng mở rộng và ứng dụng trong nhiều lĩnh vực như y học, quân sự, công nghiệp và giao thông. Việc xây dựng thành công cấu trúc vi mạch cho thuật toán Backpropagation là bước đệm quan trọng để phát triển các mô hình mạng Neural phức tạp hơn trên nền tảng phần cứng.

Đề xuất và khuyến nghị

1. Tăng cường phát triển các module mở rộng cho mạng Neural: Đề xuất thiết kế thêm các module hỗ trợ tăng số lượng Neural và lớp trong mạng nhằm nâng cao khả năng xử lý các bài toán phức tạp hơn. Thời gian thực hiện dự kiến trong 12 tháng, do nhóm nghiên cứu và kỹ sư FPGA phối hợp thực hiện.

2. Ứng dụng công nghệ FPGA thế hệ mới với kích thước công nghệ 65nm hoặc thấp hơn: Khuyến nghị sử dụng các FPGA hiện đại để giảm kích thước chip, tiết kiệm năng lượng và tăng hiệu suất xử lý. Chủ thể thực hiện là các trung tâm nghiên cứu và doanh nghiệp công nghệ trong vòng 18 tháng.

3. Phát triển phần mềm hỗ trợ tự động chuyển đổi thuật toán từ Matlab/C++ sang Verilog HDL: Giải pháp này giúp rút ngắn thời gian thiết kế và giảm sai số trong quá trình chuyển đổi. Thời gian phát triển khoảng 24 tháng, do các nhóm phần mềm và phần cứng phối hợp.

4. Đào tạo và nâng cao năng lực cho sinh viên và kỹ sư về thiết kế vi mạch mạng Neural: Tổ chức các khóa học chuyên sâu về FPGA, Verilog và mạng Neural nhằm nâng cao chất lượng nguồn nhân lực. Thời gian triển khai liên tục hàng năm, do các trường đại học và viện nghiên cứu đảm nhiệm.

Đối tượng nên tham khảo luận văn

1. Sinh viên và nghiên cứu sinh ngành Kỹ thuật Điện tử - Viễn thông: Luận văn cung cấp kiến thức nền tảng và thực tiễn về thiết kế vi mạch mạng Neural, giúp nâng cao kỹ năng thiết kế phần cứng và ứng dụng thuật toán học máy.

2. Kỹ sư thiết kế FPGA và vi mạch số: Tài liệu chi tiết về cấu trúc VLSI và ứng dụng Verilog HDL hỗ trợ kỹ sư trong việc phát triển các sản phẩm tích hợp mạng Neural trên nền tảng phần cứng.

3. Nhà nghiên cứu trong lĩnh vực trí tuệ nhân tạo và học máy: Cung cấp góc nhìn về việc chuyển đổi thuật toán học máy sang phần cứng, mở rộng khả năng ứng dụng trong các hệ thống nhúng và thiết bị thông minh.

4. Doanh nghiệp công nghệ và phát triển sản phẩm IC: Tham khảo để áp dụng các giải pháp thiết kế mạng Neural trên FPGA, nâng cao hiệu suất sản phẩm và mở rộng ứng dụng trong các lĩnh vực công nghiệp, y tế, và quân sự.

Câu hỏi thường gặp

1. Tại sao chọn thuật toán Backpropagation để thiết kế cấu trúc vi mạch?
   Thuật toán Backpropagation đơn giản, hiệu quả và được sử dụng rộng rãi trong huấn luyện mạng Neural truyền thẳng nhiều lớp. Nó phù hợp với thiết kế phần cứng nhờ tính toán song song và khả năng mở rộng.

2. Lợi ích của việc sử dụng FPGA trong thiết kế mạng Neural là gì?
   FPGA cho phép thiết kế linh hoạt, tái lập trình và tận dụng tính song song của mạng Neural, giúp tăng tốc độ xử lý và giảm độ trễ so với các giải pháp phần mềm truyền thống.

3. Ngôn ngữ Verilog HDL có vai trò như thế nào trong nghiên cứu này?
   Verilog HDL được sử dụng để mô tả cấu trúc vi mạch mạng Neural và thuật toán Backpropagation ở mức hành vi và RTL, giúp tổng hợp và thực thi trên FPGA một cách chính xác và hiệu quả.

4. Cấu trúc vi mạch có thể mở rộng như thế nào để phù hợp với các ứng dụng khác?
   Cấu trúc được thiết kế mô-đun, cho phép dễ dàng tăng số lượng Neural trên mỗi lớp hoặc số lớp trong mạng chỉ bằng cách ghép nối các module con, đáp ứng nhu cầu xử lý các bài toán phức tạp hơn.

5. Kết quả thực nghiệm trên kit DE2 có ý nghĩa gì?
   Kết quả thực nghiệm chứng minh tính khả thi và hiệu quả của thiết kế, với tốc độ xử lý tăng khoảng 40% so với phần mềm, đồng thời đảm bảo độ chính xác và ổn định trong quá trình huấn luyện mạng Neural.

Kết luận

• Đã thiết kế và thực hiện thành công cấu trúc vi mạch VLSI cho thuật toán học Backpropagation trên nền tảng FPGA sử dụng Verilog HDL.
• Cấu trúc mạng Neural được thiết kế mô-đun, dễ dàng mở rộng về số lượng Neural và lớp, phù hợp với nhiều ứng dụng thực tế.
• Việc ứng dụng FPGA giúp tận dụng tính song song của mạng Neural, tăng tốc độ xử lý và giảm độ trễ so với giải thuật phần mềm.
• Kết quả mô phỏng và thực nghiệm trên kit DE2 cho thấy hệ thống hoạt động ổn định, chính xác với hiệu suất cao.
• Đề xuất phát triển các module mở rộng, ứng dụng FPGA thế hệ mới và đào tạo nguồn nhân lực để nâng cao hiệu quả ứng dụng mạng Neural trên vi mạch.

Tiếp theo, nghiên cứu sẽ tập trung vào mở rộng cấu trúc cho các loại mạng Neural phức tạp hơn và phát triển công cụ hỗ trợ tự động chuyển đổi thuật toán sang phần cứng. Độc giả và các nhà nghiên cứu được khuyến khích áp dụng và phát triển thêm dựa trên nền tảng này để thúc đẩy ứng dụng mạng Neural trong công nghiệp và khoa học.

Trích đoạn nội dung tài liệu

CHƯƠNG 1.1 Tổng quan chung về lĩnh vực nghiên cứu các kết quả trong và ngoài nước đã công bố.2 Mục đích của đề tài .3 Đối tượng và phạm vi nghiên cứu .4 Phương pháp nghiên cứu .5 Ý nghĩa khoa học và thực tiễn đề tài .6 Cấu trúc luận văn .1 Giới thiệu mạng Neural nhân tạo .2 Mô hình mạng Neural nhân tạo .1 Mô hình Neural chỉ một ngõ vào .2 Mô hình Neural tổng quát .3 Hàm kích hoạt .4 Kiến trúc mạng Neural .1 Các mạng Neural truyền thẳng sử dụng luật học giám sát .1 Mạng tiến đơn mức .2 Mạng tiến đa mức. 16 vi Luan van 2.2 Các mạng neural hồi quy.5 Các luật học cho mạng Neural .6 Xem xét và đánh giá các giải thuật huấn luyện cho mạng neural.1 Luật học lan truyền ngược sử dụng cho mạng truyền thẳng .2 Các luật học cho mạng Neural wavelet .3 Luật học cho dạng mạng hồi tiếp .4 Các luật học khác .7 Các tính chất mạngNeural .8 Ngôn ngữ mô tả phần cứng HDL .9 Giới thiệu phần mềm Quartus II .10 Phần mềm mô phỏng Modelsim .11 Giới thiệu về kit DE2 .THUẬT TOÁN BACKPROPAGATION .1 Mạng Neural truyền thẳng .2 Thuật toán Backpropagation .3 Hàm kích hoạt. NGHIÊN CỨU THUẬT TOÁN .1 Sơ đồ thực hiện thuật toán .2 Huấn luyện mạng Neural .3 Khảo sát thuật toán thực hiện bằng Matlab .4 Các module chương trình .1Khối thực hiện mạng .3 Module hàm lỗi δk .4 Module hàm lỗi δh1 , δh2 .5 Cập nhật bộ trọng số .5 Thuật toán huấn luyện mạng. 63 vii Luan van CHƯƠNG 5.1 Sơ đồ thực hiện các giai đoạn mô phỏng .14 Cập nhật bộ trọng số .15 Khối Pre-Backpropagation .17 Khối weight-register .18 Kết quả thực nghiệm trên kit DE2.

81 DANH MỤC TÀI LIỆU THAM KHẢO. 82 viii Luan van DANH MỤC HÌNH VẼ HÌNH TRANG Hình 1.1 Quy trình thiết kế chip .1 Minh họa mạng Neural .2 Mạng Neural thực .3 Cấu trúc một Neural nhân tạo .4 Mô hình toán học 1 Neural .5 Quá trình truyền thông tin của Neural .6 Mô hình Neural một ngõ vào không có hệ số bias .7 Mô hình Neural một ngõ vào có hệ số bias .8 Mô hình Neural R ngõ vào và có hệ số bias .9 Hàm kích hoạt hardlim loại 1 .10 Hàm kích hoạt hardlim loại 2 .11 Hàm kích hoạt purelin .12 Hàm kích hoạt Log-sigmod .13 Hàm kích hoạt Tansig .14 Mô hình học có giám sát .16 Mạng Neural 2 lớp .17 Mạng Neural nhiều lớp .18 Mô hình học không giám sát .19 Mạng Neural hồi quy .20 Mô hình học có giám sát .21 Mô hình mạng Neural với bộ vecto vào ra .22 Verilog Abstraction Level .23 Mô hình kit DE2 .1 Mô hình tính toán một Neural .2 Mô hình tính toán mạng Neural tổng quát. 40 ix Luan van Hình 3.3 Sơ đồ thuật toán Backpropagation .1 Sơ đồ thực hiện thuật toán .2 Sơ đồ giá trị Net .3 Sơ đồ thực hiện mạng Neural lan truyền thẳng .4 Sơ đồ tính E và so sánh .6 Sơ đồ hàm lỗi δhi .7 Sơ đồ cập nhật bộ trọng số .8 Sơ đồ thuật toán huấn luyện mạng .1 Sơ đồ thực hiện các giai đoạn mô phỏng .2 Bộ nhân mult .14 Cập nhật trọng số 1 (w1) .15 Cập nhật trọng số 2 (w2) .16 Cập nhật trọng số 3 (w3) .17 Cập nhật trọng số 4 (w4) .18 Cập nhật trọng số 5 (w5). 74 x Luan van Hình 5.19 Cập nhật trọng số 6 ( w6) .20 Mô phỏng kết quả khối Pre-Backpropagation .21 Mô phỏng kết quả khối Backpagation .22 Mô phỏng khối weight-register .23 Giá trị hàm lỗi Error (reset) .24 Giá trị hàm lỗi Error (start).

80 xi Luan van BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH - VIỆT Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Viết tắt Input Ngõ vào Output Ngõ ra System on Chip Hệ thống trên chip SoC Memory Bộ nhớ I/O Ngõ vào ra I/O Comunication Giao tiếp Altera Công ty Altera Field Programable Gate Array Trường cổng lập trình được FPGA Mentor Công ty Mentor Graphic Bus Đường truyền dữ liệu Place and Route Sắp xếp và nối dây P&R Routing Định tuyến Simulate Mô phỏng ModelSim Công cụ mô phỏng Register Transfer Level Thiết kế cấp độ thanh ghi RTL Dendrite Đầu dây thân kinh vào Synapse Đầu ra nối dây thần kinh khác Perceptron Neural nhân tạo Feedforward Lan truyển thẳng Axon Trục nối dây thần kinh Clock_50 Nguồn xung clock Register Thanh ghi Error Hàm lỗi Weight Trọng số xii Luan van Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Viết tắt Verilog HDL Ngôn ngữ mô tả phần cứng Backpropagation Lan truyền ngược Block Diagram Sơ đồ khối System C Mức hệ thống theo ngôn ngữ C Place &Router Đặt vị trí và định tuyến Classic Timing Analyzer Phân tích thời gian Analysis & Synthesis Phân tích và tổng hợp xiii Luan van Nghiên cứu và thực hiện cấu trúc VLSI cho thuật toán học CHƢƠNG 1 TỔNG QUAN 1.1 Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngoài nƣớc đã công bố. Những năm gần đây mạng Neural đã được nghiên cứu, đề xuất các cấu trúc và luật học cho nhiều loại mạng neural truyền thẳng và hồi quy mới, có rất nhiều ưu điểm. Năm 1943, McCulloch và Pitts đã đề xuất một số liên kết cơ bản của mạng Neural. Năm 1949, Hebb đưa ra các luật thích nghi trong mạng Neural.

Năm 1958, Rosenblatt đưa ra cấu trúc Perception. Năm 1969, Minsky và Papert chứng minh các tính chất Perceptron. Năm 1976, Grossberg dựa vào tính chất sinh học đã đưa ra một số cấu trúc của hệ động học phi tuyến với các tính chất mới. Năm 1982, Hopfield đưa ra mạng hồi quy một lớp.

Năm 1986, Rumelhart, Hinton và Williams đề xuất thuật toán học Back Propagation để huấn luyện cho mạng Neural truyền thẳng nhiều lớp. Mạng Neural được ứng dụng nhiều trong những lĩnh vực quan trọng như:  Quân sự: vũ khí tự động, xử lý tín hiệu Rada, các ứng dụng trong tàu ngầm.  Thông tin: xử lý âm thanh, nén âm thanh_hình ảnh.  Không gian vũ trụ: mô phỏng đường bay, phi thuyền không người lái.

 Điện tử: giải mã báo lỗi chip, mô hình hóa hệ thống. Hoàng Trang 1 HV:Nguyễn Lâm Thương Luan van Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học  Y học: phân tích tế bào ung thư, thiết kế các bộ phận giả cho cơ thể.  Công nghiệp: kiểm soát các dây truyền công nghiệp, phân tích và thiết kế sản phẩm, dự báo chất lượng sản phẩm.  Còn nhiều các ứng dụng: giao thông, ngân hàng, robotics, xây dựng, dầu khí.

Thuật toán học Backpropagation được Rumelhart, Hinton và Williams đề xuất thực hiện để huấn luyện cho mạng Neural truyền thẳng nhiều lớp (năm 1986). Ngày này, Cấu trúc mạng Neural có rất nhiều nghiên cứu về giải thuật và thuật toán học. Tuy nhiên, Những công trình nghiên cứu ứng dụng mạng Neural truyền thẳng sử dụng thuật toán Backpropagation luôn luôn được lựa chọn bởi ưu điểm đơn giản và hiệu quả. Đây là một số công trình nghiên cứu trong và ngoài nước ứng dụng thuật toán Backpropagation cho mạng Neural truyền thẳng.

 NETtalk (Sejnowski và Rosenberg,1987): Cách phát âm văn bản tiếng Anh, đầu vào là một cửa số 7 ký tự trong bảng chữ cái tiếng Anh, đầu ra là một mã âm vị (chuyển tiếp thành một bộ tổng hợp tiếng nói), được tạo âm từ những người khác nhau trong cùng một ngữ cảnh. Tiếp theo, Huấn luyện trên 1024 từ và cách phát âm chúng. Kết quả là tạo ra giọng nói rất dễ hiểu.  Neuralgammon (Tesauro 1989): Huấn luyện mạng Neuralgammon đã giành chiến thắng huy chương vàng tại Olympic máy tính London năm 1989, đầu vào của nó mô tả vị trí hiện tại (các vị trí con xúc xắc) và hướng di chuyển có thể, đầu ra thể hiện tài dự doán của hướng di chuyển.

Ngõ vào là kích thước hình ảnh những chữ số cách ly nhau, biến đổi hình ảnh trực quan đến một trong 10 lớp kết quả đầu ra.  Florence Yean Yng (Singapore) và Minliu (USA): Ứng dụng mạng Neural để dự báo kế hoạch thực hiện xây dựng ở Singapore. Theo nghiên cứu, đầu vào GVHD: TS. HOÀNG TRANG 2 HV: Nguyễn Lâm Thương Luan van Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học thực hiện 11 phép đo và 65 nhân tố tác động đến thành công của 33 dự án trước đây, đầu ra chỉ ra 6 phép đo dự báo sự thành công của kế hoạch thực hiện dự án với mức độ chính xác hợp lý: tầm quan trọng dự án, tốc độ xây dựng, tốc độ giải quyết vấn đề khó khăn, sự luân phiên thay thế công nhân nghỉ việc, chất lượng hệ thống và thiết bị.

 ALVINN (Pomerleau 1993): Huấn luyện mạng thực hiện cách lái xe. Đầu vào là hình ảnh thô của con đường (cung cấp bởi máy quay video và hình ảnh tia laser), đầu ra là một vecto liên tục thực hiện thao tác xoay vô lăng.  Improving Performance and Capacity of CDMA Mobile System Using Multi-User Detectors Based on Neural Networks (Vũ Đình Thành và Huỳnh Phú Minh Cường): Ứng dụng mạng Neural cho thuật toán học Backpropagation để xây dựng bộ tách sóng có khả năng loại bỏ nhiễu đa truy cập (MAI) của công nghệ CDMA, nâng cao chất lượng và dung lượng của kỹ thuật đa truy cập CDMA. Qua hai thập kỷ, Nhiều cấu trúc mạng Neural nhân tạo đã được phát triển.

Những cấu trúc này được thực hiện bằng kết quả của những tổng và những hàm không tuyến tính, sử dụng số lượng lớn các bộ xử lý được kết nối. Ngày nay, với sự gia tăng số lượng transistor có thể tích hợp trên cùng một chip đơn đã cho phép thiết kế các hệ thống tích hợp nhiều chức năng trên cùng một chip (System on Chip-SoC). Nhằm khai thác hiệu quả mạng Neural nhân tạo dùng cho các ứng dụng quan trọng. Đề tài sẽ nghiên cứu thuật toán xây dựng một cấu trúc vi mạch và ứng dụng cấu trúc vi mạch của mạng Neural theo giải thuật Backpropagation.2 Mục đích của đề tài.

Thiết kế hoàn chỉnh và tối ưu cấu trúc vi mạch thực hiện giải thuật cho thuật toán học Backpropagation. HOÀNG TRANG 3 HV: Nguyễn Lâm Thương Luan van Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học Quy trình thiết kế tuân theo quy trình thiết kế chuẩn. Ngôn ngữ thiết kế cho thực hiện mạng Neural và giải thuật cho thuật toán học Backpropagation là Verilog HDL-IEEE.1:Quy trình thiết kế chip Khối mạng Neural sau khi xây dựng sẽ có khả năng phát triển cho các ứng dụng khác một cách dễ dàng nhất có thể, thay thế dễ dàng cấu hình mạng Neural như: việc tăng Neural trên mỗi lớp, việc tăng số lớp cho mạng .chỉ bằng vài thao tác đơn giản ghép nối các module con.3 Đối tƣợng và phạm vi nghiên cứu.  Nghiên cứu tổng quan về kiến trúc mạng Neural.

 Nghiên cứu về thuật toán học Backpropagation.