Hệ Thống Hỗ Trợ Môn Ngôn Ngữ Lập Trình Tại Trường Đại Học Bách Khoa

Luận văn thạc sĩ nghiên cứu máy tính hệ thống hỗ trợ môn học ngôn ngữ lập trình, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực .

• Tác giả: Hoàng Quốc Nam
• Người hướng dẫn: TS. Nguyễn Đức Dũng
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Hệ Thống Hỗ Trợ Môn Học Ngôn Ngữ Lập Trình
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2018
• Địa điểm: TP Hồ Chí Minh

Tóm tắt

I. Tổng Quan Hệ Thống Hỗ Trợ Môn Ngôn Ngữ Lập Trình

Trong bối cảnh giảng dạy môn Ngôn Ngữ Lập Trình, việc hỗ trợ sinh viên giải đáp thắc mắc là vô cùng quan trọng. Hình thức hỏi đáp truyền thống thường thông qua diễn đàn (Forum Web), nơi sinh viên đăng câu hỏi và giáo viên trả lời. Tuy nhiên, thực tế cho thấy có rất nhiều câu hỏi bị trùng lặp, gây tốn thời gian cho giáo viên trong việc theo dõi và trả lời. Luận văn này tập trung vào việc xây dựng một hệ thống hỗ trợ trả lời tự động, giúp phát hiện các câu hỏi trùng lặp và tự động cung cấp câu trả lời (nếu câu hỏi đó đã được trả lời trước đó). Nếu không tìm thấy câu hỏi trùng lặp, hệ thống sẽ chuyển câu hỏi mới này cho giáo viên để trả lời. Mục tiêu là giảm tải công việc cho giáo viên, đồng thời cung cấp câu trả lời nhanh chóng cho sinh viên. Hệ thống hỗ trợ này có tiềm năng mở rộng và ứng dụng cho nhiều môn học khác hoặc các hệ thống có cùng ngữ cảnh. Phương pháp tiếp cận này không chỉ cải thiện hiệu quả giảng dạy mà còn nâng cao trải nghiệm học tập của sinh viên.

1.1. Vai Trò Quan Trọng Của Hệ Thống Hỏi Đáp Tự Động

Hệ thống hỏi đáp tự động đóng vai trò quan trọng trong việc hỗ trợ sinh viên trong quá trình học tập. Việc trả lời nhanh chóng và chính xác các câu hỏi giúp sinh viên nắm vững kiến thức và giải quyết các vấn đề một cách hiệu quả. Một hệ thống hỏi đáp tự động hiệu quả không chỉ tiết kiệm thời gian cho giáo viên mà còn cung cấp cho sinh viên nguồn tài liệu tham khảo phong phú và đa dạng. Theo luận văn, hệ thống có khả năng "phát hiện những câu hỏi bị trùng và tự động trả lời (nếu đã được giáo viên trả lời trước đó)".

1.2. Ưu Điểm Của Hệ Thống Hỗ Trợ Trả Lời Tự Động

Hệ thống hỗ trợ trả lời tự động mang lại nhiều ưu điểm so với phương pháp hỏi đáp truyền thống. Thứ nhất, hệ thống có thể hoạt động 24/7, cung cấp câu trả lời bất cứ lúc nào sinh viên cần. Thứ hai, hệ thống giúp giảm tải công việc cho giáo viên, cho phép họ tập trung vào các hoạt động giảng dạy khác. Thứ ba, hệ thống đảm bảo tính nhất quán trong câu trả lời, tránh trường hợp sinh viên nhận được các câu trả lời khác nhau cho cùng một câu hỏi.

II. Giải Quyết Bài Toán Trùng Lặp Câu Hỏi Cách Tiếp Cận

Bài toán trùng lặp câu hỏi là một thách thức lớn trong việc xây dựng hệ thống hỗ trợ trả lời tự động. Việc xác định hai câu hỏi có ý nghĩa tương tự nhau đòi hỏi khả năng phân tích ngữ nghĩa sâu sắc, vượt ra ngoài việc so sánh đơn thuần các từ khóa. Các phương pháp xử lý ngôn ngữ tự nhiên (NLP) được sử dụng để trích xuất các đặc trưng ngữ nghĩa của câu hỏi, sau đó so sánh các đặc trưng này để xác định mức độ tương đồng. Luận văn này xem xét các phương pháp phân nhóm câu hỏi dựa trên câu trả lời hoặc đặc trưng topic, cũng như phương pháp so sánh ngữ nghĩa trực tiếp giữa hai câu hỏi. Mục tiêu là tìm ra phương pháp hiệu quả nhất để phát hiện các câu hỏi trùng lặp và cung cấp câu trả lời chính xác cho sinh viên. Các giải pháp trả lời tự động cần được thiết kế để tối ưu hóa tốc độ và độ chính xác.

2.1. Phân Tích Ngữ Nghĩa Tìm Hiểu Sâu Sắc Về Ý Nghĩa Câu Hỏi

Phân tích ngữ nghĩa là quá trình trích xuất ý nghĩa thực sự của một câu hỏi, vượt ra ngoài việc chỉ xem xét các từ khóa đơn lẻ. Quá trình này bao gồm việc xác định các mối quan hệ giữa các từ, các cụm từ và cấu trúc ngữ pháp của câu. Các kỹ thuật NLP như word embedding, semantic role labeling và dependency parsing được sử dụng để hỗ trợ phân tích ngữ nghĩa. Kết quả của quá trình phân tích ngữ nghĩa là một biểu diễn ngữ nghĩa của câu hỏi, có thể được sử dụng để so sánh với các biểu diễn ngữ nghĩa của các câu hỏi khác.

2.2. Các Phương Pháp Xử Lý Ngôn Ngữ Tự Nhiên Phổ Biến

Có nhiều phương pháp NLP có thể được sử dụng để phân tích ngữ nghĩa của câu hỏi, bao gồm: Word embedding: Biểu diễn các từ dưới dạng vector số, cho phép so sánh mức độ tương đồng giữa các từ. Semantic role labeling: Xác định vai trò ngữ nghĩa của các từ trong câu, chẳng hạn như chủ ngữ, vị ngữ, tân ngữ. Dependency parsing: Phân tích cấu trúc cú pháp của câu, xác định các mối quan hệ phụ thuộc giữa các từ. Việc lựa chọn phương pháp NLP phù hợp phụ thuộc vào tính chất của dữ liệu và mục tiêu của bài toán.

III. Ứng Dụng Neural Network Trong Hệ Thống Hỗ Trợ Tự Động

Neural Network, đặc biệt là các mô hình như Recurrent Neural Network (RNN) và Long Short-Term Memory (LSTM), đã chứng minh được hiệu quả trong việc xử lý ngôn ngữ tự nhiên. Các mô hình này có khả năng học các biểu diễn ngữ nghĩa phức tạp của câu hỏi, từ đó giúp so sánh mức độ tương đồng giữa các câu hỏi một cách chính xác. Luận văn này xem xét việc sử dụng các mô hình Neural Network để encode câu hỏi và câu trả lời, sau đó so sánh các encode này để xác định câu hỏi trùng lặp. Việc huấn luyện mô hình đòi hỏi một lượng lớn dữ liệu, bao gồm các cặp câu hỏi và câu trả lời đã được giáo viên cung cấp. Các Neural Network có khả năng xử lý dữ liệu lớn và tìm ra các mẫu ẩn trong dữ liệu.

3.1. Recurrent Neural Network RNN Và Ưu Điểm Vượt Trội

Recurrent Neural Network (RNN) là một loại Neural Network được thiết kế đặc biệt để xử lý dữ liệu tuần tự, chẳng hạn như văn bản. RNN có khả năng ghi nhớ thông tin từ các bước trước đó trong chuỗi, cho phép nó hiểu được ngữ cảnh của câu hỏi. RNN có thể được sử dụng để encode câu hỏi thành một vector biểu diễn ngữ nghĩa, sau đó so sánh các vector này để xác định mức độ tương đồng giữa các câu hỏi.

3.2. Long Short Term Memory LSTM Và Khả Năng Học Ngữ Nghĩa

Long Short-Term Memory (LSTM) là một biến thể của RNN được thiết kế để giải quyết vấn đề vanishing gradient, một vấn đề thường gặp trong RNN khi xử lý các chuỗi dài. LSTM có khả năng ghi nhớ thông tin trong thời gian dài hơn, cho phép nó hiểu được ngữ cảnh phức tạp của câu hỏi. LSTM thường được sử dụng để xây dựng các hệ thống hỏi đáp tự động có độ chính xác cao.

IV. So Sánh Đánh Giá Các Mô Hình Trả Lời Tự Động Khả Thi

Luận văn này trình bày các mô hình so sánh ngữ nghĩa giữa hai câu hỏi khác nhau, dựa trên việc encode độc lập hoặc gắn kết câu hỏi và câu trả lời trước khi encode. Mỗi mô hình có ưu và nhược điểm riêng, và việc lựa chọn mô hình phù hợp phụ thuộc vào tính chất của dữ liệu và yêu cầu của bài toán. Việc đánh giá hiệu quả của các mô hình dựa trên các tiêu chí như độ chính xác, độ phủ và thời gian xử lý. Kết quả đánh giá giúp xác định phương án khả thi nhất cho việc xây dựng hệ thống hỗ trợ trả lời tự động. Mô hình encode độc lập có thể đơn giản hơn trong quá trình huấn luyện, trong khi mô hình gắn kết có thể nắm bắt được mối quan hệ giữa câu hỏi và câu trả lời tốt hơn.

4.1. Mô Hình Encode Độc Lập Ưu Nhược Điểm Cần Lưu Ý

Mô hình encode độc lập là một phương pháp đơn giản để so sánh ngữ nghĩa giữa hai câu hỏi. Trong mô hình này, mỗi câu hỏi được encode thành một vector biểu diễn ngữ nghĩa một cách độc lập. Sau đó, các vector này được so sánh bằng cách sử dụng các độ đo khoảng cách, chẳng hạn như cosine similarity. Ưu điểm của mô hình này là đơn giản và dễ huấn luyện. Tuy nhiên, nhược điểm của mô hình này là không thể nắm bắt được mối quan hệ giữa câu hỏi và câu trả lời.

4.2. Mô Hình Gắn Kết Giải Pháp Tối Ưu Cho Độ Chính Xác Cao

Mô hình gắn kết là một phương pháp phức tạp hơn để so sánh ngữ nghĩa giữa hai câu hỏi. Trong mô hình này, câu hỏi và câu trả lời được gắn kết với nhau trước khi encode. Điều này cho phép mô hình nắm bắt được mối quan hệ giữa câu hỏi và câu trả lời, từ đó cải thiện độ chính xác của việc so sánh ngữ nghĩa. Tuy nhiên, mô hình gắn kết đòi hỏi nhiều dữ liệu huấn luyện hơn và có thể khó huấn luyện hơn so với mô hình encode độc lập.

V. Thực Nghiệm Và Kết Quả Đánh Giá Hiệu Quả Hệ Thống

Chương 5 của luận văn tập trung vào việc hiện thực và kiểm thử các giải pháp đã được đề xuất. Các mô hình Neural Network khác nhau được huấn luyện trên bộ dữ liệu thu thập được và đánh giá bằng các tiêu chí khách quan. Kết quả thực nghiệm cho thấy hiệu quả của việc sử dụng Neural Network trong việc xây dựng hệ thống hỗ trợ trả lời tự động. Tuy nhiên, cũng còn nhiều hạn chế cần được khắc phục trong tương lai. Việc đánh giá hiệu quả hệ thống là bước quan trọng để xác định tính khả thi của dự án và đưa ra các đề xuất cải tiến. Kết quả nghiên cứu cho thấy tiềm năng lớn của hệ thống trong việc hỗ trợ giảng dạy môn Ngôn Ngữ Lập Trình.

5.1. Mô Hình Huấn Luyện Quy Trình Và Các Tham Số Quan Trọng

Quy trình huấn luyện mô hình Neural Network bao gồm các bước như chuẩn bị dữ liệu, lựa chọn kiến trúc mô hình, thiết lập các tham số huấn luyện và đánh giá hiệu quả mô hình. Các tham số huấn luyện quan trọng bao gồm learning rate, batch size và số lượng epochs. Việc lựa chọn các tham số này ảnh hưởng lớn đến tốc độ và độ chính xác của quá trình huấn luyện. Quá trình huấn luyện cần được thực hiện cẩn thận để tránh overfitting.

5.2. Tiêu Chí Đánh Giá Xác Định Chất Lượng Của Hệ Thống

Các tiêu chí đánh giá quan trọng cho hệ thống hỗ trợ trả lời tự động bao gồm độ chính xác (precision), độ phủ (recall) và F1-score. Độ chính xác đo lường tỷ lệ các câu trả lời được hệ thống cung cấp là chính xác. Độ phủ đo lường tỷ lệ các câu hỏi được hệ thống trả lời đúng. F1-score là một độ đo tổng hợp kết hợp cả độ chính xác và độ phủ. Ngoài ra, thời gian xử lý cũng là một tiêu chí quan trọng cần được xem xét.

VI. Kết Luận Tương Lai Của Hệ Thống Hỗ Trợ Ngôn Ngữ Lập Trình

Luận văn này đã trình bày quá trình nghiên cứu và xây dựng hệ thống hỗ trợ trả lời tự động cho môn Ngôn Ngữ Lập Trình. Hệ thống có khả năng phát hiện các câu hỏi trùng lặp và tự động cung cấp câu trả lời, giúp giảm tải công việc cho giáo viên và nâng cao trải nghiệm học tập của sinh viên. Tuy nhiên, vẫn còn nhiều mục tiêu chưa đạt được và hướng nghiên cứu tiếp theo. Trong tương lai, hệ thống có thể được cải tiến để xử lý các câu hỏi phức tạp hơn, hỗ trợ nhiều ngôn ngữ lập trình hơn và tích hợp với các hệ thống học tập trực tuyến khác. Hướng nghiên cứu tiếp theo có thể tập trung vào việc sử dụng các mô hình Transformer để cải thiện hiệu quả phân tích ngữ nghĩa.

6.1. Hướng Phát Triển Mở Rộng Phạm Vi Và Nâng Cao Hiệu Năng

Trong tương lai, hệ thống có thể được phát triển theo nhiều hướng khác nhau. Một hướng phát triển là mở rộng phạm vi của hệ thống để hỗ trợ nhiều ngôn ngữ lập trình hơn. Một hướng phát triển khác là nâng cao hiệu năng của hệ thống bằng cách sử dụng các mô hình Transformer hoặc các kỹ thuật học sâu tiên tiến khác. Ngoài ra, hệ thống có thể được tích hợp với các hệ thống học tập trực tuyến khác để cung cấp một trải nghiệm học tập toàn diện.

6.2. Ứng Dụng Thực Tế Tiềm Năng Trong Giáo Dục Và Đào Tạo

Hệ thống hỗ trợ trả lời tự động có tiềm năng ứng dụng rộng rãi trong lĩnh vực giáo dục và đào tạo. Hệ thống có thể được sử dụng để hỗ trợ sinh viên trong quá trình học tập, giúp giáo viên giảm tải công việc và cung cấp một trải nghiệm học tập hiệu quả hơn. Ngoài ra, hệ thống có thể được sử dụng để xây dựng các hệ thống học tập trực tuyến thông minh, có khả năng cá nhân hóa trải nghiệm học tập cho từng sinh viên.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1.1 Lý do chọn đề tài Để hỗ trợ cho quá trình giảng dạy môn Ngôn Ngữ Lập Trình, nhà trường có xây dựng diễn đàn để trả lời các thắc mắc về quá trình học tập môn này. Các câu hỏi được sinh viên đăng lên rất nhiều, trong đó có rất nhiều câu hỏi trùng nhau hoặc gần giống nhau. Thầy cô phải bỏ rất nhiều thời gian để trả lời đồng thời sinh viên phải theo dõi kết quả trả lời. Yêu cầu đặt ra là xây dựng một hệ thống trả lời tự động.

Chương trình sẽ tự động dò tìm các câu hỏi mới có bị trùng lặp với câu hỏi trước đó và trả về cùng câu trả lời nếu có. Mô hình này nếu thành công có thể được mở rộng, ứng dụng cho tất cả môn học khác hoặc các hệ thống có cùng ngữ cảnh.2 Mục đích nghiên cứu Tìm hiểu các kiến thức nền tảng, đặc trưng của Ngôn Ngữ Tự Nhiên (NNTN) và những kỹ thuật xử lý liên quan, sau đó tìm hiểu sâu vào phần trả lời tự động. Chúng ta phân tích bài toán của luận văn và dựa trên kiến thức đã tìm hiểu để đưa ra giải pháp. Cuối cùng là chúng ta sẽ thực hiện, so sánh đánh giá các giải pháp để đề xuất phương án khả thi 1.3 Đối tượng và phạm vi nghiên cứu Có hai lĩnh vực xử lý ngôn ngữ tự nhiên (XLNNTN) là: âm thanh và văn bản.

Trong luận văn này chúng ta chỉ đề cập đến xử lý văn bản. Dó đó trong suốt luận văn, ta ngầm hiểu NNTN được biểu diễn dưới dạng văn bản. Trong phạm vi luận văn, chúng ta chỉ xử lý các câu hỏi đơn giản, và tập trung vào việc tìm giải pháp.4 Phương pháp nghiên cứu Tập trung tìm hiểu các nghiên cứu xung quanh bài toán Hỏi Đáp (Q&A), tìm hiểu những kiến thức nền tảng về xử lý ngôn ngữ tự nhiên (văn bản) nói chung, mô hình học máy Neural Network trong xử lý ngôn ngữ tự nhiên, Chọn lựa hướng tiếp cận giải quyết, sau đó hiện thực và đánh giá mô hình, áp dụng trên bài toán cụ thể của luận văn là xây dựng hệ thống “Hỗ Trợ Môn Học Ngôn Ngữ Lập Trình”.5 Kết quả đạt được • Xây dựng được bộ phân tích ngữ nghĩa của câu hỏi. • Xây dựng được hệ thống trả lời tự động dựa trên dữ liệu thu thập được trước đó.

• Đánh giá hệ thống.6 Cấu trúc của luận văn Phần còn lại của luân văn này được tổ chức theo cấu trúc sau: Chương 2: Giới thiệu về NNTN, đặc thù và tính chất của NNTN, đồng thời giới thiệu một số kiến thức và kỹ thuật xử lý NNTN. Chương 3 sẽ đề cập đến các phương pháp nghiên cứu và các kiến thức liên quan đến XLNNTN nói chung và tập trung và phân tích ngữ nghĩa, bên cạnh đó sẽ tham khảo các hệ thống/phương pháp liên quan đến bài toán trong luận văn. Chương 4 sẽ phân tích bài toán của luận văn, đưa ra các giải pháp, các ưu nhược điểm của từng giải pháp. Chương 5 sẽ trình bày cách hiện thực các giải pháp đã nêu với những mô hình Neuron Net- work khác nhau để kiểm thử kết quả thực tế.

Chương 6: Tổng kết và so sánh các phương pháp, chọn phương án khả thi. Rút kết những việc đã đạt được và hướng phát triển tiếp theo. Cuối cùng là danh mục tài liệu tham khảo. 2 Chương 2 KIẾN THỨC NỀN TẢNG Để thực hiện đề tài, yêu cầu phải có kiến thức về xử lý ngôn ngữ tự nhiên cơ bản và ứng dụng mạng Neural Network trong việc xử lý ngôn ngữ tự nhiên.

Trong luận văn này, chúng ta đi vào một nhánh trong xử lý ngôn ngữ tự nhiên là “Tìm các câu hỏi có cùng ngữ nghĩa” để trả lời tự động.1 Tìm hiểu về xử lý ngôn ngữ tự nhiên NNTN được thể hiện qua các câu, các câu này gắn kết với nhau tạo thành những chủ đề mà người nói muốn diễn tả. Các câu được tạo bởi các từ (từ vựng) hoặc cụm từ, được sắp xếp theo một trình tự nhất định (gọi là ngữ pháp) sẽ xác định được ngữ nghĩa của câu đó. Bản thân từng từ cũng có ngữ nghĩa, những phụ thuộc vào vị trí trong câu hoặc ngữ cảnh mà ý nghĩa của từ sẽ khác nhau.1 Một số đặc điểm của ngôn ngữ tự nhiên • Từ kép: ngoài các từ đơn ta còn có nhiều từ hợp lại để diễn tả một nghĩa, ví dụ: find out, break out, burn down. • Từ đồng nghĩa: khác với xử lý ảnh, các từ hoàn toàn khác nhau nhưng lại có nghĩa giống nhau, ví dụ: good, awesome.

• Các từ mới phát sinh liên tục: tiếng lóng, các từ được phát sinh trong đời sống hàng ngày, ví dụ: rock (good). • Nghĩa của các từ còn phụ thuộc vào các từ xung quanh (ngữ cảnh), ví dụ: "Tom pushed Marry, then she (went/fell )". Từ “she” là Tom hay Marry phụ thuộc vào từ sau là “went” hay “fell”. • Các câu khác nhau (về số từ, và thứ tự các từ) nhưng có cùng ngữ nghĩa, ví dụ: “What are the best ways to lose weight?”, “How can a person reduce weight?” và “What are effective weight loss plans?” 3 • Các câu hầu như giống nhau (về số từ, và thứ tự các từ) nhưng có ngữ nghĩa khác nhau, ví dụ: "What is the step by step guide to invest in share market in India?" và "What is the step by step guide to invest in share market?" • Lỗi văn phạm, ví dụ: He GO (went) this morning.2 Xử lý ngôn ngữ tự nhiên Theo WikiPedia 1 định nghĩa như sau: Xử lý ngôn ngữ tự nhiên (Natural Language Process- ing - NLP) là một nhánh của trí tuệ nhân tạo tập trung vào các ứng dụng trên ngôn ngữ của con người.

Trong trí tuệ nhân tạo thì xử lý ngôn ngữ tự nhiên là một trong những phần khó nhất vì nó liên quan đến việc phải hiểu ý nghĩa ngôn ngữ - công cụ hoàn hảo nhất của tư duy và giao tiếp. Xử lý ngôn ngữ tự nhiên bao gồm các phần sau: phân tích hình thái, phân tích cú pháp, phân tích ngữ nghĩa, tích hợp văn bản, phân tích thực nghĩa. Các bài toán được ứng dụng: nhận dạng chữ viết, chuyển tiếng nói thành văn bản và ngược lại, tự động dịch, tìm kiếm thông tin (hỏi đáp), tóm tắt văn bản, khai phá dữ liệu và phát triển tri thức. Có rất nhiều ứng dụng trong đời sống như: các trợ lý ảo trong các hệ điều hành, dịch văn bản sang ngôn ngữ khác (Google Translate), phân tích cảm xúc trên các trang mạng xã hội.

Trong luận văn này, chúng tôi ứng dụng xử lý ngôn ngữ tự nhiên theo nhánh “Hỏi đáp dựa trên dữ liệu có sẵn” bằng cách so trùng các câu hỏi đã được hỏi trước đó. Do đặc tính NNTN khá phức tạp (đã trình bày ở phần trên), chúng ta không thể đơn giản so các từ và cụm từ để xác định hai câu có trùng nhau không, mà chúng ta phải có phương pháp so sánh ngữ nghĩa. Học máy là một trong những phương pháp hiệu quả tại thời điểm này.2 Tìm hiểu mô hình học máy 2.1 Học máy là gì? Học máy (Machine learning) là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc phát triển các kĩ thuật cho phép các máy tính có thể "học". Cụ thể hơn, học máy là một phương pháp để tạo ra các chương trình máy tính bằng việc phân tích các tập dữ liệu.

Học máy có liên quan lớn đến thống kê, vì cả hai lĩnh vực đều nghiên cứu việc phân tích dữ liệu, nhưng khác với thống kê, học máy tập trung vào sự phức tạp của các giải thuật trong việc thực thi tính toán. 1 Xem htt ps : //vi.org/wiki/X%E1%BB%AD_l%C3%BD_ng%C3%B4n_ng%E1%BB%AF_t%E1 %BB%B1_nhi%C3%AAn 4 Học máy có tính ứng dụng rất cao bao gồm máy truy tìm dữ liệu, chẩn đoán y khoa, phát hiện thẻ tín dụng giả, phân tích thị trường chứng khoán, phân loại các chuỗi DNA, nhận dạng tiếng nói và chữ viết, dịch tự động, chơi trò chơi và rất nhiều ứng dụng khác.2 Các phương pháp học Có hai phương pháp học cơ bản đó là học có giám sát (supervied learning) và học không giám sát (unsupervied learning). Học có giám sát Trong học có giám sát, người ta cho trước một tập các dữ liệu đầu vào và các kết quả đầu ra tương ứng. Chương trình học phải xây dựng một hàm ánh xạ về mối quan hệ giữa dữ liệu đầu vào và dữ liệu đầu ra.

Có 2 loại bài toán được quan tâm là: "hồi quy" (regression) và "phân loại" (classification). Đối với bài toán hồi quy, ta mong muốn dự đoán kết quả đầu ra ở dạng liên tục, có nghĩa là ta xây dựng hàm đầu ra liên tục tương ứng với biến đầu vào. Đối với bài toán phân loại, kết quả đầu ra ở dạng rời rạc. Học không giám sát Khác với học có giám sát, học không giám sát ít hoặc không quan tâm đến kết quả đầu ra như thế nào.

Ta chỉ quan tâm đến việc đưa ra cấu trúc dữ liệu bằng cách "phân cụm" dữ liệu dựa trên các biến liên hệ trong tập dữ liệu đó. Với học không giám sát, ta không có phản hồi dựa trên kết quả dự đoán, tức là, không có người giám sát kết quả đúng sai mà chỉ là việc phân cụm dữ liệu.3 Neural Network nhân tạo Neural Network nhân tạo (Artificial Neural Network- ANN) là mô hình xử lý thông tin được mô phỏng dựa trên hoạt động của hệ thống thần kinh của sinh vật, bao gồm số lượng lớn các neural được gắn kết để xử lý thông tin. ANN giống như bộ não con người, được học bởi kinh nghiệm (thông qua huấn luyện), có khả năng lưu giữ những kinh nghiệm hiểu biết (tri thức) và sử dụng những tri thức đó trong việc dự đoán các dữ liệu chưa biết. Các ứng dụng của Neural Network được sử dụng trong rất nhiều lĩnh vực để giải quyết các bài toán có độ phức tạp và đòi hỏi có độ chính xác cao như điều khiển tự động, khai phá dữ liệu, nhận dạng,.

Nốt trong Neural Network Neural Network được tạo nên từ nhiều nốt (node), mỗi nốt tương ứng với một nơron (xem hình 2.1) và chúng được kết nối với nhau bằng các liên kết (link). Mỗi liên kết được gắn với một trọng số W ji , đây là thành phần rất quan trọng của một ANN, nó thể hiện độ quan trọng (độ 5 mạnh) của dữ liệu đầu vào đối với quá trình xử lý thông tin. Quá trình học (learning process) của ANN thực ra là quá trình điều chỉnh các trọng số của các dữ liệu đầu vào để có được kết quả mong muốn.