CHƯƠNG 1.1 Tổng quan chung về lĩnh vực nghiên cứu các kết quả trong và ngoài nước đã công bố.2 Mục đích của đề tài .3 Đối tượng và phạm vi nghiên cứu .4 Phương pháp nghiên cứu .5 Ý nghĩa khoa học và thực tiễn đề tài .6 Cấu trúc luận văn .1 Giới thiệu mạng Neural nhân tạo .2 Mô hình mạng Neural nhân tạo .1 Mô hình Neural chỉ một ngõ vào .2 Mô hình Neural tổng quát .3 Hàm kích hoạt .4 Kiến trúc mạng Neural .1 Các mạng Neural truyền thẳng sử dụng luật học giám sát .1 Mạng tiến đơn mức .2 Mạng tiến đa mức .2 Các mạng neural hồi quy.5 Các luật học cho mạng Neural .6 Xem xét và đánh giá các giải thuật huấn luyện cho mạng neural.1 Luật học lan truyền ngược sử dụng cho mạng truyền thẳng .2 Các luật học cho mạng Neural wavelet .3 Luật học cho dạng mạng hồi tiếp .4 Các luật học khác .7 Các tính chất mạngNeural .8 Ngôn ngữ mô tả phần cứng HDL .9 Giới thiệu phần mềm Quartus II .10 Phần mềm mô phỏng Modelsim .11 Giới thiệu về kit DE2 .THUẬT TOÁN BACKPROPAGATION .1 Mạng Neural truyền thẳng .2 Thuật toán Backpropagation .3 Hàm kích hoạt. NGHIÊN CỨU THUẬT TOÁN .1 Sơ đồ thực hiện thuật toán .2 Huấn luyện mạng Neural .3 Khảo sát thuật toán thực hiện bằng Matlab .4 Các module chương trình .1Khối thực hiện mạng .3 Module hàm lỗi δk .4 Module hàm lỗi δh1 , δh2 .5 Cập nhật bộ trọng số .5 Thuật toán huấn luyện mạng. 63 vii CHƯƠNG 5.1 Sơ đồ thực hiện các giai đoạn mô phỏng .14 Cập nhật bộ trọng số .15 Khối Pre-Backpropagation .17 Khối weight-register .18 Kết quả thực nghiệm trên kit DE2. 81 DANH MỤC TÀI LIỆU THAM KHẢO.
82 viii DANH MỤC HÌNH VẼ HÌNH TRANG Hình 1.1 Quy trình thiết kế chip .1 Minh họa mạng Neural .2 Mạng Neural thực .3 Cấu trúc một Neural nhân tạo .4 Mô hình toán học 1 Neural .5 Quá trình truyền thông tin của Neural .6 Mô hình Neural một ngõ vào không có hệ số bias .7 Mô hình Neural một ngõ vào có hệ số bias .8 Mô hình Neural R ngõ vào và có hệ số bias .9 Hàm kích hoạt hardlim loại 1 .10 Hàm kích hoạt hardlim loại 2 .11 Hàm kích hoạt purelin .12 Hàm kích hoạt Log-sigmod .13 Hàm kích hoạt Tansig .14 Mô hình học có giám sát .16 Mạng Neural 2 lớp .17 Mạng Neural nhiều lớp .18 Mô hình học không giám sát .19 Mạng Neural hồi quy .20 Mô hình học có giám sát .21 Mô hình mạng Neural với bộ vecto vào ra .22 Verilog Abstraction Level .23 Mô hình kit DE2 .1 Mô hình tính toán một Neural .2 Mô hình tính toán mạng Neural tổng quát .3 Sơ đồ thuật toán Backpropagation .1 Sơ đồ thực hiện thuật toán .2 Sơ đồ giá trị Net .3 Sơ đồ thực hiện mạng Neural lan truyền thẳng .4 Sơ đồ tính E và so sánh .6 Sơ đồ hàm lỗi δhi .7 Sơ đồ cập nhật bộ trọng số .8 Sơ đồ thuật toán huấn luyện mạng .1 Sơ đồ thực hiện các giai đoạn mô phỏng .2 Bộ nhân mult .14 Cập nhật trọng số 1 (w1) .15 Cập nhật trọng số 2 (w2) .16 Cập nhật trọng số 3 (w3) .17 Cập nhật trọng số 4 (w4) .18 Cập nhật trọng số 5 (w5) .19 Cập nhật trọng số 6 ( w6) .20 Mô phỏng kết quả khối Pre-Backpropagation .21 Mô phỏng kết quả khối Backpagation .22 Mô phỏng khối weight-register .23 Giá trị hàm lỗi Error (reset) .24 Giá trị hàm lỗi Error (start). 80 xi BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH - VIỆT Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Viết tắt Input Ngõ vào Output Ngõ ra System on Chip Hệ thống trên chip SoC Memory Bộ nhớ I/O Ngõ vào ra I/O Comunication Giao tiếp Altera Công ty Altera Field Programable Gate Array Trường cổng lập trình được FPGA Mentor Công ty Mentor Graphic Bus Đường truyền dữ liệu Place and Route Sắp xếp và nối dây P&R Routing Định tuyến Simulate Mô phỏng ModelSim Công cụ mô phỏng Register Transfer Level Thiết kế cấp độ thanh ghi RTL Dendrite Đầu dây thân kinh vào Synapse Đầu ra nối dây thần kinh khác Perceptron Neural nhân tạo Feedforward Lan truyển thẳng Axon Trục nối dây thần kinh Clock_50 Nguồn xung clock Register Thanh ghi Error Hàm lỗi Weight Trọng số xii Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Viết tắt Verilog HDL Ngôn ngữ mô tả phần cứng Backpropagation Lan truyền ngược Block Diagram Sơ đồ khối System C Mức hệ thống theo ngôn ngữ C Place &Router Đặt vị trí và định tuyến Classic Timing Analyzer Phân tích thời gian Analysis & Synthesis Phân tích và tổng hợp xiii Nghiên cứu và thực hiện cấu trúc VLSI cho thuật toán học CHƢƠNG 1 TỔNG QUAN 1.1 Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngoài nƣớc đã công bố. Những năm gần đây mạng Neural đã được nghiên cứu, đề xuất các cấu trúc và luật học cho nhiều loại mạng neural truyền thẳng và hồi quy mới, có rất nhiều ưu điểm. Năm 1943, McCulloch và Pitts đã đề xuất một số liên kết cơ bản của mạng Neural.
Năm 1949, Hebb đưa ra các luật thích nghi trong mạng Neural. Năm 1958, Rosenblatt đưa ra cấu trúc Perception. Năm 1969, Minsky và Papert chứng minh các tính chất Perceptron. Năm 1976, Grossberg dựa vào tính chất sinh học đã đưa ra một số cấu trúc của hệ động học phi tuyến với các tính chất mới.
Năm 1982, Hopfield đưa ra mạng hồi quy một lớp. Năm 1986, Rumelhart, Hinton và Williams đề xuất thuật toán học Back Propagation để huấn luyện cho mạng Neural truyền thẳng nhiều lớp. Mạng Neural được ứng dụng nhiều trong những lĩnh vực quan trọng như: Quân sự: vũ khí tự động, xử lý tín hiệu Rada, các ứng dụng trong tàu ngầm. Thông tin: xử lý âm thanh, nén âm thanh_hình ảnh.
Không gian vũ trụ: mô phỏng đường bay, phi thuyền không người lái. Điện tử: giải mã báo lỗi chip, mô hình hóa hệ thống. Hoàng Trang 1 HV:Nguyễn Lâm Thương Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học Y học: phân tích tế bào ung thư, thiết kế các bộ phận giả cho cơ thể. Công nghiệp: kiểm soát các dây truyền công nghiệp, phân tích và thiết kế sản phẩm, dự báo chất lượng sản phẩm.
Còn nhiều các ứng dụng: giao thông, ngân hàng, robotics, xây dựng, dầu khí. Thuật toán học Backpropagation được Rumelhart, Hinton và Williams đề xuất thực hiện để huấn luyện cho mạng Neural truyền thẳng nhiều lớp (năm 1986). Ngày này, Cấu trúc mạng Neural có rất nhiều nghiên cứu về giải thuật và thuật toán học. Tuy nhiên, Những công trình nghiên cứu ứng dụng mạng Neural truyền thẳng sử dụng thuật toán Backpropagation luôn luôn được lựa chọn bởi ưu điểm đơn giản và hiệu quả.
Đây là một số công trình nghiên cứu trong và ngoài nước ứng dụng thuật toán Backpropagation cho mạng Neural truyền thẳng. NETtalk (Sejnowski và Rosenberg,1987): Cách phát âm văn bản tiếng Anh, đầu vào là một cửa số 7 ký tự trong bảng chữ cái tiếng Anh, đầu ra là một mã âm vị (chuyển tiếp thành một bộ tổng hợp tiếng nói), được tạo âm từ những người khác nhau trong cùng một ngữ cảnh. Tiếp theo, Huấn luyện trên 1024 từ và cách phát âm chúng. Kết quả là tạo ra giọng nói rất dễ hiểu.
Neuralgammon (Tesauro 1989): Huấn luyện mạng Neuralgammon đã giành chiến thắng huy chương vàng tại Olympic máy tính London năm 1989, đầu vào của nó mô tả vị trí hiện tại (các vị trí con xúc xắc) và hướng di chuyển có thể, đầu ra thể hiện tài dự doán của hướng di chuyển. Ngõ vào là kích thước hình ảnh những chữ số cách ly nhau, biến đổi hình ảnh trực quan đến một trong 10 lớp kết quả đầu ra. Florence Yean Yng (Singapore) và Minliu (USA): Ứng dụng mạng Neural để dự báo kế hoạch thực hiện xây dựng ở Singapore. Theo nghiên cứu, đầu vào GVHD: TS.
HOÀNG TRANG 2 HV: Nguyễn Lâm Thương Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học thực hiện 11 phép đo và 65 nhân tố tác động đến thành công của 33 dự án trước đây, đầu ra chỉ ra 6 phép đo dự báo sự thành công của kế hoạch thực hiện dự án với mức độ chính xác hợp lý: tầm quan trọng dự án, tốc độ xây dựng, tốc độ giải quyết vấn đề khó khăn, sự luân phiên thay thế công nhân nghỉ việc, chất lượng hệ thống và thiết bị. ALVINN (Pomerleau 1993): Huấn luyện mạng thực hiện cách lái xe. Đầu vào là hình ảnh thô của con đường (cung cấp bởi máy quay video và hình ảnh tia laser), đầu ra là một vecto liên tục thực hiện thao tác xoay vô lăng. Improving Performance and Capacity of CDMA Mobile System Using Multi-User Detectors Based on Neural Networks (Vũ Đình Thành và Huỳnh Phú Minh Cường): Ứng dụng mạng Neural cho thuật toán học Backpropagation để xây dựng bộ tách sóng có khả năng loại bỏ nhiễu đa truy cập (MAI) của công nghệ CDMA, nâng cao chất lượng và dung lượng của kỹ thuật đa truy cập CDMA.
Qua hai thập kỷ, Nhiều cấu trúc mạng Neural nhân tạo đã được phát triển. Những cấu trúc này được thực hiện bằng kết quả của những tổng và những hàm không tuyến tính, sử dụng số lượng lớn các bộ xử lý được kết nối. Ngày nay, với sự gia tăng số lượng transistor có thể tích hợp trên cùng một chip đơn đã cho phép thiết kế các hệ thống tích hợp nhiều chức năng trên cùng một chip (System on Chip-SoC). Nhằm khai thác hiệu quả mạng Neural nhân tạo dùng cho các ứng dụng quan trọng.
Đề tài sẽ nghiên cứu thuật toán xây dựng một cấu trúc vi mạch và ứng dụng cấu trúc vi mạch của mạng Neural theo giải thuật Backpropagation.2 Mục đích của đề tài. Thiết kế hoàn chỉnh và tối ưu cấu trúc vi mạch thực hiện giải thuật cho thuật toán học Backpropagation. HOÀNG TRANG 3 HV: Nguyễn Lâm Thương Nghiên cứu và thuật hiện cấu trúc VLSI cho thuật toán học Quy trình thiết kế tuân theo quy trình thiết kế chuẩn. Ngôn ngữ thiết kế cho thực hiện mạng Neural và giải thuật cho thuật toán học Backpropagation là Verilog HDL-IEEE.1:Quy trình thiết kế chip Khối mạng Neural sau khi xây dựng sẽ có khả năng phát triển cho các ứng dụng khác một cách dễ dàng nhất có thể, thay thế dễ dàng cấu hình mạng Neural như: việc tăng Neural trên mỗi lớp, việc tăng số lớp cho mạng .chỉ bằng vài thao tác đơn giản ghép nối các module con.3 Đối tƣợng và phạm vi nghiên cứu.
Nghiên cứu tổng quan về kiến trúc mạng Neural. Nghiên cứu về thuật toán học Backpropagation. Nghiên cứu về công nghệ FPGA và ngôn ngữ mô tả phần cứng Verilog. Thực hiện thực nghiệm trên kít DE2 do công ty Altera sản xuất.4 Phƣơng pháp nghiên cứu.