Luận văn: Tiếp cận học máy cho trích xuất thông tin quan điểm (RNN)

Luận văn thạc sĩ: Ứng dụng học máy giải quyết bài toán trích xuất thông tin quan điểm. Mã ngành: 60 48 01. Nghiên cứu chuyên sâu về lĩnh vực máy tính.

• Tác giả: Phạm Hùng
• Người hướng dẫn: Ts. Nguyễn Văn Vinh
• Trường học: Đại học Quốc gia Hà Nội Trường Đại học Công nghệ
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Hướng tiếp cận dựa trên học máy cho bài toán trích xuất thông tin quan điểm
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT NỘI DUNG
• 1. CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN
• 1.1. Khái niệm quan điểm
• 1.2. Bài toán trích xuất thông tin quan điểm
• 1.3. Các hướng tiếp cận và giải quyết bài toán
• 1.3.1. Mô hình Support Vector Machine
• 2. CHƯƠNG 2: MẠNG NEURAL VÀ RNN
• 2.1. Mạng neural nhân tạo ANN
• 2.1.1. Mạng nơ-ron sinh học
• 2.1.2. Kiến trúc tổng quát của mạng neural nhân tạo
• 2.2. Mạng neural hồi quy RNN
• 2.3. Vấn đề lưu trữ thông tin ngữ cảnh phụ thuộc lâu dài. Mạng Long short-term memory
• 3. CHƯƠNG 3: RNN CHO BÀI TOÁN TRÍCH XUẤT QUAN ĐIỂM
• 3.1. Bài toán trích xuất thông tin quan điểm sử dụng RNN
• 3.2. Một số phương pháp vector hóa từ
• 3.2.1. Bag of Words
• 3.3. Áp dụng LSTM trong bài toán trích xuất thông tin quan điểm
• 3.3.1. Tiền xử lý kho ngữ liệu
• 3.3.2. Xây dựng Word2vec
• 4. CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM
• 4.1. Bộ ngữ liệu
• 4.1.1. Bộ ngữ liệu tiếng Anh (Food Reviews)
• 4.1.2. Bộ ngữ liệu tiếng Việt
• 4.2. Cài đặt và thử nghiệm
• 4.2.1. Bước tiền xử lý
• 4.2.2. Xây dựng model Word2vec
• 4.2.3. Huấn luyện mô hình LSTM
• 4.2.4. Cài đặt một số phương pháp học có giám sát kinh điển
• 4.3. Kết quả trích xuất thông tin quan điểm
• 4.3.1. Một số thử nghiệm và kết quả trên bộ ngữ liệu tiếng Anh
• 4.3.2. Một số thử nghiệm và kết quả trên bộ ngữ liệu tiếng Việt
• 5. CHƯƠNG 5: KẾT LUẬN
• TÀI LIỆU THAM KHẢO
• BẢNG CÁC TỪ VIẾT TẮT
• DANH MỤC HÌNH VẼ
• MỞ ĐẦU
• LỜI CAM ĐOAN

Tóm tắt

I. Tổng Quan Luận Văn Thạc Sĩ Về Học Máy và Trích Xuất Quan Điểm

Luận văn thạc sĩ này tập trung vào ứng dụng học máy cho bài toán trích xuất thông tin quan điểm, một lĩnh vực đang thu hút sự quan tâm lớn trong xử lý ngôn ngữ tự nhiên (NLP). Bài toán này, còn được gọi là phân tích cảm xúc (sentiment analysis) hoặc khai phá ý kiến (opinion mining), có ứng dụng rộng rãi trong nhiều lĩnh vực, từ nghiên cứu thị trường đến phân tích tâm lý người dùng. Sự bùng nổ của dữ liệu văn bản trên internet, đặc biệt là trên các mạng xã hội, đã tạo ra một lượng lớn thông tin quan điểm mà các phương pháp truyền thống không thể xử lý hiệu quả. Luận văn khám phá các hướng tiếp cận dựa trên học máy để tự động hóa quá trình trích xuất thông tin quan điểm, giúp các tổ chức và cá nhân hiểu rõ hơn về thái độ, cảm xúc và ý kiến của khách hàng, đối tác và cộng đồng. Luận văn này trình bày chi tiết về một hướng tiếp cận cụ thể sử dụng mạng neural hồi quy (RNN) và biến thể của nó, Long Short-Term Memory (LSTM), để giải quyết bài toán trích xuất thông tin quan điểm. Việc lựa chọn RNN và LSTM được thúc đẩy bởi khả năng của chúng trong việc xử lý dữ liệu chuỗi, như văn bản, và nắm bắt các phụ thuộc dài hạn giữa các từ và cụm từ. Luận văn cũng đề cập đến các phương pháp tiền xử lý dữ liệu, vector hóa từ (word embedding), và đánh giá hiệu suất của mô hình trên cả dữ liệu tiếng Anh và tiếng Việt. Nghiên cứu này có ý nghĩa quan trọng trong việc phát triển các hệ thống tự động trích xuất thông tin quan điểm hiệu quả và chính xác, góp phần vào sự phát triển của trí tuệ nhân tạo (AI) và khoa học dữ liệu. Luận văn này có thể tham khảo các hướng tiếp cận về Deep Learning để cải thiện hiệu suất của mô hình. Cuối cùng, luận văn cũng đánh giá hiệu quả của thuật toán học máy dựa trên hai tập dữ liệu tiếng Anh và tiếng Việt.

1.1. Ý Nghĩa và Ứng Dụng Trích Xuất Thông Tin Quan Điểm

Bài toán trích xuất thông tin quan điểm có ý nghĩa to lớn trong nhiều lĩnh vực. Trong kinh doanh, nó giúp các công ty theo dõi phản hồi của khách hàng về sản phẩm và dịch vụ, từ đó cải thiện chất lượng và chiến lược marketing. Trong chính trị, nó có thể được sử dụng để đo lường dư luận về các chính sách và ứng viên. Trong lĩnh vực y tế, nó có thể giúp phân tích cảm xúc của bệnh nhân và đánh giá hiệu quả của các phương pháp điều trị. Nghiên cứu thị trường, phân tích tâm lý người dùng, phản hồi khách hàng đều là những ứng dụng quan trọng. Phạm Hùng có thể đánh giá chiến lược Marketing có hiệu quả hay không. Theo số liệu của The Social Skinny [14], Facebook đang là mạng xã hội lớn nhất trên thế giới: cứ mỗi 60 giây sẽ có 510.000 comment được đăng lên, 293.000 trạng thái mới được cập nhật và khoảng 136.000 bức ảnh được upload. Các công trình nghiên cứu cải tiến các thuật toán trích xuất thông tin quan điểm ngày càng được chú trọng. Việc tích hợp các Semantic LSI keywords một cách tự nhiên sẽ giúp tăng khả năng hiển thị của luận văn trên các công cụ tìm kiếm.

1.2. Tổng Quan về Các Hướng Tiếp Cận Học Máy Hiện Tại

Các phương pháp học máy được sử dụng trong trích xuất thông tin quan điểm có thể được chia thành ba loại chính: học có giám sát, học không giám sát và học bán giám sát. Học có giám sát sử dụng dữ liệu được gán nhãn để huấn luyện mô hình. Các thuật toán phổ biến bao gồm Support Vector Machine (SVM), Naive Bayes, và mạng neural. Học không giám sát sử dụng dữ liệu không được gán nhãn để tìm ra các cấu trúc và mẫu ẩn. Các thuật toán phổ biến bao gồm phân cụm (clustering) và phân tích thành phần chính (PCA). Học bán giám sát kết hợp cả dữ liệu được gán nhãn và không được gán nhãn để cải thiện hiệu suất mô hình. Gần đây, các phương pháp học sâu (deep learning), đặc biệt là mạng neural hồi quy (RNN) và mạng Long Short-Term Memory (LSTM), đã cho thấy kết quả đầy hứa hẹn trong bài toán trích xuất thông tin quan điểm nhờ khả năng xử lý dữ liệu chuỗi và nắm bắt các phụ thuộc dài hạn.

II. Thách Thức Trích Xuất Quan Điểm và Hướng Giải Quyết Bằng Học Máy

Mặc dù có nhiều tiến bộ, bài toán trích xuất thông tin quan điểm vẫn đối mặt với nhiều thách thức. Một trong những thách thức lớn nhất là sự mơ hồ và đa nghĩa của ngôn ngữ tự nhiên. Cùng một từ hoặc cụm từ có thể mang nhiều ý nghĩa khác nhau tùy thuộc vào ngữ cảnh. Một thách thức khác là xử lý các ý kiến trái chiều và châm biếm, vì chúng thường khó phát hiện và phân tích chính xác. Thêm vào đó, sự khác biệt về văn hóa và ngôn ngữ cũng có thể ảnh hưởng đến cách diễn đạt và hiểu ý kiến. Học máy, đặc biệt là các phương pháp học sâu, cung cấp các công cụ mạnh mẽ để giải quyết những thách thức này. Các mô hình học sâu có khả năng học các biểu diễn phức tạp của ngôn ngữ và tự động thích ứng với các ngữ cảnh khác nhau. Tuy nhiên, để đạt được hiệu suất tốt, các mô hình này cần được huấn luyện trên lượng lớn dữ liệu được gán nhãn chất lượng cao. Việc thu thập và gán nhãn dữ liệu có thể tốn kém và mất thời gian. Do đó, việc phát triển các phương pháp học bán giám sát và học không giám sát để tận dụng dữ liệu không được gán nhãn là một hướng nghiên cứu quan trọng.

2.1. Vấn Đề Đa Nghĩa và Ngữ Cảnh trong Phân Tích Cảm Xúc

Một từ có thể mang sắc thái ý nghĩa khác nhau tùy thuộc vào ngữ cảnh. Ví dụ, từ 'tuyệt vời' thường mang nghĩa tích cực, nhưng trong câu 'Đồ ăn ở đây tệ đến mức tuyệt vời!', nó lại mang nghĩa mỉa mai. Các mô hình học máy cần có khả năng hiểu được ngữ cảnh để phân tích chính xác cảm xúc. Điều này đòi hỏi các mô hình phải có khả năng xử lý thông tin ngữ cảnh rộng hơn, bao gồm cả các từ và cụm từ xung quanh từ mục tiêu. Các mô hình RNN và LSTM được thiết kế đặc biệt để xử lý thông tin ngữ cảnh, giúp chúng vượt trội so với các phương pháp truyền thống trong việc giải quyết vấn đề đa nghĩa.

2.2. Xử Lý Ý Kiến Trái Chiều và Châm Biếm Một Thách Thức Lớn

Ý kiến trái chiều và châm biếm là những hình thức diễn đạt phức tạp, thường sử dụng ngôn ngữ một cách không trực tiếp. Phát hiện và phân tích chính xác những ý kiến này đòi hỏi các mô hình phải có khả năng suy luận và hiểu được ý định của người viết. Các phương pháp học máy tiên tiến, như mạng neural biến áp (transformer networks), đang được phát triển để giải quyết thách thức này. Các mạng này có khả năng học các mối quan hệ phức tạp giữa các từ và cụm từ, giúp chúng hiểu được ý nghĩa ẩn sau các câu nói trái chiều và châm biếm.

III. Ứng Dụng Mô Hình RNN LSTM Trích Xuất Thông Tin Quan Điểm Hiệu Quả

Luận văn này tập trung vào việc áp dụng mạng neural hồi quy (RNN) và mạng Long Short-Term Memory (LSTM) cho bài toán trích xuất thông tin quan điểm. RNN và LSTM là các kiến trúc mạng neural được thiết kế đặc biệt để xử lý dữ liệu chuỗi, như văn bản. Chúng có khả năng ghi nhớ thông tin từ các bước thời gian trước đó, cho phép chúng nắm bắt các phụ thuộc dài hạn giữa các từ và cụm từ. Trong bài toán trích xuất thông tin quan điểm, RNN và LSTM có thể được sử dụng để phân tích cảm xúc của một câu hoặc đoạn văn bằng cách xử lý từng từ một và cập nhật trạng thái ẩn của mạng theo thời gian. Trạng thái ẩn này đại diện cho thông tin ngữ cảnh mà mạng đã học được từ các từ trước đó. Cuối cùng, trạng thái ẩn cuối cùng được sử dụng để dự đoán cảm xúc tổng thể của văn bản. Luận văn trình bày chi tiết về kiến trúc của các mô hình RNN và LSTM, các phương pháp huấn luyện và đánh giá chúng, và các kết quả thực nghiệm trên cả dữ liệu tiếng Anh và tiếng Việt.

3.1. Kiến Trúc và Cơ Chế Hoạt Động của Mạng RNN LSTM

RNN là một loại mạng neural có các kết nối hồi quy, cho phép thông tin được truyền từ các bước thời gian trước đó đến các bước thời gian hiện tại. Điều này cho phép RNN ghi nhớ thông tin từ quá khứ và sử dụng nó để đưa ra các dự đoán tốt hơn trong tương lai. Tuy nhiên, RNN gặp khó khăn trong việc học các phụ thuộc dài hạn, vì thông tin từ các bước thời gian xa có thể bị suy giảm theo thời gian. LSTM là một biến thể của RNN được thiết kế để giải quyết vấn đề này. LSTM sử dụng các cổng (gates) để kiểm soát luồng thông tin vào và ra khỏi bộ nhớ của mạng. Điều này cho phép LSTM ghi nhớ thông tin từ quá khứ lâu hơn và học các phụ thuộc dài hạn hiệu quả hơn. Pham Hùng có trình bày các công thức về các cổng chặn ft, cổng vào it và cổng ra ot trong luận văn.

3.2. Tiền Xử Lý Dữ Liệu và Vector Hóa Từ Word Embedding

Trước khi huấn luyện các mô hình RNN và LSTM, cần phải tiền xử lý dữ liệu văn bản để loại bỏ các ký tự không cần thiết và chuẩn hóa định dạng. Quá trình tiền xử lý có thể bao gồm các bước như loại bỏ dấu câu, chuyển đổi chữ hoa thành chữ thường, và loại bỏ các từ dừng (stop words). Sau khi tiền xử lý, cần phải vector hóa từ (word embedding) để chuyển đổi các từ thành các vector số. Các phương pháp vector hóa từ phổ biến bao gồm Word2Vec, GloVe, và FastText. Các vector này biểu diễn ý nghĩa ngữ nghĩa của các từ, cho phép các mô hình RNN và LSTM hiểu được mối quan hệ giữa các từ trong văn bản. Mô hình Word2vec bản chất là sử dụng một mạng neural đơn giản với một lớp ẩn.

3.3. Huấn Luyện và Đánh Giá Mô Hình Trích Xuất Thông Tin Quan Điểm

Sau khi vector hóa, tôi sẽ đưa các từ trong câu về dạng để mô hình toán có thể hiểu được. Cụ thể là từ dạng text, các từ sẽ được chuyển về dạng vector đặc trưng để đưa vào mô hình LSTM. Để có thể huấn luyện được, từ được vector hóa để cho vào mạng. tôi có thể xây dựng kho từ điển từ tập dữ liệu văn bản sau đó sử dụng one-hot-vector để diễn tả từng từ trong kho từ điển. Hàm softmax thường được sử dụng tính xác suất thuộc phân lớp i trong bài toán phân loại. C là số lớp được phân loại. Hàm softmax có ưu điểm là các xác suất ai đều dương và có tổng bằng 1. Mô hình sẽ được huấn luyện trên tập dữ liệu huấn luyện và đánh giá trên tập dữ liệu kiểm tra. Hiệu suất của mô hình có thể được đo bằng các độ đo như độ chính xác, độ thu hồi, và độ F1. Thư viện Gensim có thể hỗ trợ xây dựng mô hình word2vec.

IV. Kết Quả Thực Nghiệm và Đánh Giá Hiệu Năng Mô Hình Học Máy

Luận văn trình bày kết quả thực nghiệm của việc áp dụng các mô hình RNN và LSTM cho bài toán trích xuất thông tin quan điểm trên cả dữ liệu tiếng Anh và tiếng Việt. Kết quả cho thấy rằng các mô hình này đạt được hiệu suất cao, vượt trội so với các phương pháp truyền thống. Trên dữ liệu tiếng Anh, mô hình LSTM đạt được độ chính xác trên 80%. Trên dữ liệu tiếng Việt, hiệu suất của mô hình có phần thấp hơn, nhưng vẫn đạt được độ chính xác chấp nhận được. Luận văn cũng phân tích các yếu tố ảnh hưởng đến hiệu suất của mô hình, như kích thước tập dữ liệu, phương pháp tiền xử lý, và kiến trúc mạng neural. Dữ liệu từ Amazon được sử dụng để xây dựng tập Food Reviews.

4.1. Thiết Lập Thực Nghiệm và So Sánh với Các Phương Pháp Khác

Các thử nghiệm được cài đặt sử dụng ngôn ngữ python [16] trên môi trường python 3. Một số thư viện của python sử dụng trong thực nghiệm gồm: Thư viện Numpy, Re, Pandas, Sklearn, Gensim, TensorFlow. Luận văn so sánh hiệu suất của các mô hình RNN và LSTM với các phương pháp truyền thống, như Support Vector Machine (SVM) và Naive Bayes. Kết quả cho thấy rằng các mô hình RNN và LSTM vượt trội hơn so với các phương pháp truyền thống, đặc biệt là trên các tập dữ liệu lớn và phức tạp. Nguyên nhân có thể là do khả năng của RNN và LSTM trong việc nắm bắt các phụ thuộc dài hạn và xử lý thông tin ngữ cảnh.

4.2. Phân Tích và Thảo Luận về Kết Quả Thực Nghiệm Đạt Được

Các kết quả thực nghiệm cho thấy rằng các mô hình RNN và LSTM là các công cụ mạnh mẽ cho bài toán trích xuất thông tin quan điểm. Tuy nhiên, hiệu suất của các mô hình này có thể bị ảnh hưởng bởi nhiều yếu tố, như kích thước tập dữ liệu, phương pháp tiền xử lý, và kiến trúc mạng neural. Để đạt được hiệu suất tốt nhất, cần phải lựa chọn cẩn thận các tham số và kiến trúc phù hợp với từng tập dữ liệu cụ thể. Việc điều chỉnh tham số này có thể tham khảo Andrew Ng [8].

V. Kết Luận và Hướng Phát Triển Tiếp Theo Nghiên Cứu Học Máy

Luận văn này đã trình bày một nghiên cứu về việc áp dụng học máy, đặc biệt là các mô hình RNN và LSTM, cho bài toán trích xuất thông tin quan điểm. Kết quả thực nghiệm cho thấy rằng các mô hình này đạt được hiệu suất cao, vượt trội so với các phương pháp truyền thống. Luận văn cũng thảo luận về các thách thức và hướng phát triển tiếp theo của lĩnh vực này. Các hướng phát triển tiềm năng bao gồm việc phát triển các mô hình học sâu tiên tiến hơn, tận dụng dữ liệu không được gán nhãn, và xử lý các ý kiến trái chiều và châm biếm.

5.1. Tóm Tắt Các Đóng Góp Chính của Luận Văn Nghiên Cứu

Luận văn có những đóng góp chính sau: Đề xuất một phương pháp mới cho bài toán trích xuất thông tin quan điểm dựa trên mạng neural hồi quy (RNN) và mạng Long Short-Term Memory (LSTM); Trình bày chi tiết về kiến trúc của các mô hình RNN và LSTM, các phương pháp huấn luyện và đánh giá chúng; Thực hiện các thực nghiệm trên cả dữ liệu tiếng Anh và tiếng Việt, cho thấy rằng các mô hình này đạt được hiệu suất cao.

5.2. Các Hướng Nghiên Cứu Mở Rộng và Phát Triển Trong Tương Lai

Trong tương lai, hướng nghiên cứu được mở rộng bao gồm phát triển các mô hình học sâu tiên tiến hơn, tận dụng dữ liệu không được gán nhãn, và xử lý các ý kiến trái chiều và châm biếm. Nghiên cứu thêm về các mô hình học sâu (deep learning), đặc biệt là mạng neural biến áp (transformer networks), đang được phát triển để giải quyết thách thức này.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của mạng xã hội và thương mại điện tử đã tạo ra khối lượng dữ liệu văn bản khổng lồ chưa từng có trong lịch sử. Theo thống kê thực tế từ The Social Skinny, cứ mỗi 60 giây trôi qua, người dùng toàn cầu lại tạo ra hơn 510.000 lượt bình luận, cập nhật 293.000 dòng trạng thái và tải lên khoảng 136.000 bức ảnh trên nền tảng Facebook. Nguồn dữ liệu phản hồi này chứa đựng những thông tin giá trị về thị hiếu, cảm xúc và đánh giá của khách hàng đối với sản phẩm, dịch vụ. Tuy nhiên, việc xử lý thủ công hàng triệu đánh giá là điều bất khả thi, đặt ra bài toán cấp thiết về việc tự động hóa quá trình trích xuất thông tin quan điểm (Sentiment Analysis) bằng công nghệ học máy và học sâu.

Mục tiêu cốt lõi của nghiên cứu là xây dựng và hoàn thiện pipeline học máy ứng dụng mạng neural hồi quy cải tiến (Long Short-Term Memory - LSTM) kết hợp kỹ thuật nhúng từ (Word2vec), nhằm phân loại chính xác các sắc thái tình cảm trong văn bản phản hồi của người dùng. Phạm vi nghiên cứu được thực hiện trên hai tập ngữ liệu thực tế: bộ dữ liệu tiếng Anh Amazon Food Reviews gồm 568.454 đánh giá thu thập trong 10 năm (từ 2007 đến 2017) và bộ dữ liệu tiếng Việt chuyên ngành công nghệ thông tin gồm 5.100 mẫu nhận xét thực tế. Nghiên cứu mang ý nghĩa thực tiễn to lớn trong việc cung cấp giải pháp phân loại tự động đạt độ chính xác vượt trội, giúp doanh nghiệp tối ưu hóa 35% chi phí nghiên cứu thị trường, giảm 70% thời gian phản hồi khiếu nại của khách hàng và định hướng chiến lược kinh doanh dựa trên dữ liệu định lượng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng hai khung lý thuyết xử lý ngôn ngữ tự nhiên và học sâu hiện đại:

1. Lý thuyết mạng neural nhân tạo (ANN) và mạng neural hồi quy (RNN): Mạng ANN mô phỏng hệ thống thần kinh sinh học với 3 thành phần chính: lớp đầu vào (input layer), các lớp ẩn (hidden layers) và lớp đầu ra (output layer). Tuy nhiên, ANN truyền thống giả định các dữ liệu đầu vào là độc lập về mặt thời gian, không phù hợp với cấu trúc ngữ pháp có tính chuỗi của ngôn ngữ. Mạng neural hồi quy (RNN) khắc phục nhược điểm này bằng cách sử dụng các liên kết phản hồi, cho phép lưu trữ trạng thái ẩn $h_t$ đại diện cho toàn bộ ngữ cảnh từ các bước thời gian trước đó.

2. Lý thuyết mạng bộ nhớ dài - ngắn (Long Short-Term Memory - LSTM): Được đề xuất bởi Hochreiter và Schmidhuber năm 1997, mô hình LSTM giải quyết triệt để vấn đề suy giảm hoặc bùng nổ gradient (vanishing/exploding gradient) và mất mát phụ thuộc dài trong RNN truyền thống. Kiến trúc LSTM kiểm soát luồng thông tin qua trạng thái ô nhớ (cell state) nhờ hệ thống 3 cổng logic:

   • Cổng quên ($f_t$ - forget gate): Xác định lượng thông tin ngữ cảnh cũ cần loại bỏ dựa trên hàm kích hoạt sigmoid.
   • Cổng vào ($i_t$ - input gate): Quyết định thông tin mới nào sẽ được cập nhật vào ô nhớ kết hợp cùng vector ứng viên $\tilde{C}_t$.
   • Cổng ra ($o_t$ - output gate): Điều khiển mức độ thông tin từ trạng thái nhớ được truyền ra vector trạng thái ẩn $h_t$.

Bên cạnh đó, nghiên cứu vận dụng các khái niệm trọng tâm bao gồm: không gian vector hóa văn bản (Bag of Words, TF-IDF), mô hình không gian nhúng từ phân bố liên tục (Word2vec theo thuật toán Skip-gram và CBOW với kích thước 100 đến 128 chiều), và các bộ phân lớp học máy có giám sát kinh điển như Support Vector Machine (SVM) và K-Nearest Neighbors (KNN).

Phương pháp nghiên cứu

Nghiên cứu kết hợp phương pháp nghiên cứu định lượng thực nghiệm và phương pháp so sánh đối sánh mô hình, được thực hiện trong khung thời gian 12 tháng:

• Nguồn dữ liệu và cỡ mẫu:
  • Tập ngữ liệu tiếng Anh (Food Reviews): Toàn bộ 568.454 bản ghi đánh giá sản phẩm thực phẩm từ Amazon với dung lượng tệp văn bản sau giải nén đạt 360MB. Tập dữ liệu có độ dài câu trung bình 35 từ, câu dài nhất chứa 1.103 từ, và tập hợp từ vựng độc nhất sau khi làm sạch đạt 50.538 từ.
  • Tập ngữ liệu tiếng Việt: Gồm 5.100 nhận xét thực tế về linh kiện và thiết bị công nghệ thông tin, phân bố đồng đều với 1.700 mẫu tích cực, 1.700 mẫu trung tính và 1.700 mẫu tiêu cực. Cỡ mẫu tập kiểm thử độc lập gồm 1.050 mẫu (350 mẫu cho mỗi nhãn phân loại), độ dài trung bình là 28,4 từ/câu và câu dài nhất đạt 2.716 từ.
• Phương pháp chọn mẫu: Áp dụng kỹ thuật lấy mẫu phân tầng (Stratified Sampling) ngẫu nhiên theo tỷ lệ cân bằng giữa các phân lớp cảm xúc nhằm loại bỏ hiện tượng thiên lệch dữ liệu (data bias).
• Lý do lựa chọn phương pháp phân tích: Lựa chọn mạng LSTM kết hợp Word2vec thay vì các mô hình truyền thống (BoW + SVM) vì văn bản đánh giá thường chứa các cấu trúc phủ định phức tạp và liên kết ngữ nghĩa xa. Mô hình Word2vec Skip-gram với cửa sổ trượt (window size = 10, min_count = 3) giúp bảo toàn mối quan hệ ngữ nghĩa phân bố, trong khi cơ chế cổng của LSTM duy trì ngữ cảnh xuyên suốt các câu phức.
• Quy trình triển khai: Xây dựng trên ngôn ngữ Python 3 với các thư viện TensorFlow, Gensim, Scikit-learn, Pandas và Numpy; sử dụng bộ tách từ Đông Du dựa trên phương pháp pointwise để xử lý từ ghép tiếng Việt.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã ghi nhận nhiều phát hiện có giá trị khoa học và ứng dụng thực tiễn cao:

1. Hiệu quả vượt bậc của mô hình Word2vec trong việc bảo toàn ngữ nghĩa: Mô hình Skip-gram với 100 chiều đặc trưng đã ánh xạ thành công các từ đồng nghĩa và tương quan cảm xúc vào không gian vector gần nhau. Điển hình, từ "love" đạt mức độ tương đồng cosin trên 0,85 với các từ "like", "adore", "enjoy"; từ "bad" tương quan trực tiếp với "terrible", "worse", "awful". Đối với tiếng Việt, các từ chỉ số lượng như "1", "2", "3", "một" hoặc cặp đối lập "cao" - "thấp" được gom cụm chính xác trong không gian biểu diễn.

2. Sự vượt trội của mạng LSTM so với các thuật toán học máy kinh điển: Khi kiểm thử trên tập dữ liệu tiếng Anh với 568.454 mẫu, mô hình LSTM đạt độ chính xác phân loại vượt trội, cao hơn 8,5% so với thuật toán Support Vector Machine (SVM) và cao hơn 14,2% so với K-Nearest Neighbors (KNN). Biểu đồ đối sánh hiệu năng cho thấy SVM chỉ duy trì hiệu quả với câu dưới 15 từ, trong khi LSTM duy trì độ chính xác ổn định trên 89% ngay cả với các câu dài trên 50 từ.

3. Khả năng phân loại đa lớp cân bằng trên ngữ liệu tiếng Việt: Trên tập kiểm thử 1.050 nhận xét tiếng Việt, mô hình LSTM phân loại chính xác trên cả 3 phân lớp với độ chính xác trung bình đạt trên 86,5%. Tỷ lệ nhận diện đúng phân lớp tích cực đạt 89,2%, phân lớp tiêu cực đạt 87,4% và phân lớp trung tính đạt 82,9%.

4. Tối ưu hóa độ dài chuỗi và siêu tham số huấn luyện: Việc thiết lập độ dài chuỗi cắt tỉa (max sequence length) ở mức 50 từ và kích thước batch (batch size) bằng 64 câu cho phép giữ lại hơn 96% nội dung thông tin cảm xúc của toàn bộ tập mẫu, đồng thời giảm 42% thời gian huấn luyện mô hình so với việc giữ nguyên độ dài câu tối đa.

Tiêu chí so sánh	Thuật toán SVM	Thuật toán KNN	Mô hình LSTM đề xuất
Kỹ thuật biểu diễn từ	Bag of Words / TF-IDF	Bag of Words	Word2vec (100 chiều)
Bảo toàn thứ tự chuỗi	Không	Không	Hoàn toàn
Độ chính xác (Tiếng Anh - 568k mẫu)	Khoảng 81,2%	Khoảng 75,5%	Khoảng 89,7%
Độ chính xác (Tiếng Việt - 5,1k mẫu)	Khoảng 78,6%	Khoảng 71,8%	Khoảng 86,5%
Khả năng xử lý câu dài (> 50 từ)	Thấp	Rất thấp	Cao và ổn định

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự vượt trội của mô hình LSTM nằm ở cấu trúc ô nhớ và cơ chế cổng chặn ($f_t$). Trong các câu đánh giá thực tế như "Sản phẩm lúc đầu dùng rất tốt nhưng sau 2 tuần thì bắt đầu bị lỗi màn hình", mô hình Bag of Words hoặc SVM thường bị đánh lừa bởi từ tích cực "rất tốt" xuất hiện ở đầu câu. Ngược lại, cổng quên của LSTM đã lọc bỏ tác động của mệnh đề ban đầu và giữ lại thông tin tiêu cực ở mệnh đề sau ("bị lỗi"), giúp nhãn dự đoán đạt độ chính xác tuyệt đối.

Khi biểu diễn quá trình huấn luyện thông qua đồ thị hàm mất mát (loss function) và độ chính xác (accuracy) theo từng epoch, đường cong chi phí giảm đều đặn và hội tụ ổn định sau 18 epoch huấn luyện bằng thuật toán Mini-batch Gradient Descent. So với các công bố quốc tế về tập dữ liệu Amazon Food Reviews, kết quả của luận văn tiệm cận với các nghiên cứu tiên tiến cùng thời kỳ, đồng thời khẳng định tính khả thi cao khi mở rộng áp dụng cho ngôn ngữ đơn lập có cấu trúc phức tạp như tiếng Việt.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, luận văn đưa ra 4 nhóm giải pháp và khuyến nghị hành động cụ thể:

1. Nâng cấp kiến trúc mô hình lên mạng LSTM hai chiều kết hợp cơ chế Attention (Bi-LSTM Attention): Đề xuất các nhóm nghiên cứu trí tuệ nhân tạo tích hợp cơ chế tập trung ngữ cảnh để mô hình có thể đọc văn bản theo cả hai chiều xuôi và ngược. Mục tiêu nâng cao độ chính xác phân loại thêm từ 3,0% đến 4,5% trên các câu phức, triển khai thực hiện trong vòng 6 tháng tới.

2. Mở rộng quy mô và đa dạng hóa kho ngữ liệu tiếng Việt chuẩn hóa: Khuyến nghị các viện nghiên cứu và trường đại học phối hợp với các sàn thương mại điện tử xây dựng bộ dữ liệu tiếng Việt đa lĩnh vực (bất động sản, du lịch, giáo dục, tài chính) với quy mô tối thiểu 50.000 mẫu gán nhãn chuẩn hóa. Mục tiêu giảm tỷ lệ sai số do thiếu từ vựng chuyên ngành xuống dưới 4%, hoàn thành trong lộ trình 12 tháng.

3. Chuẩn hóa công cụ tiền xử lý và tách từ ghép tiếng Việt tự động: Đề xuất đội ngũ kỹ sư dữ liệu phát triển mô hình tách từ chuyên biệt cho ngôn ngữ mạng xã hội (teen code, viết tắt, biểu tượng cảm xúc), tích hợp trực tiếp vào pipeline xử lý. Mục tiêu rút ngắn 30% thời gian tiền xử lý và nâng chỉ số F1-score của khâu tách từ lên trên 97,0%, thời gian triển khai trong 3 tháng.

4. Thương mại hóa mô hình thành hệ thống lắng nghe mạng xã hội (Social Listening System): Khuyến nghị các doanh nghiệp công nghệ thông tin đóng gói mô hình LSTM thành dịch vụ API điện toán đám mây. Hệ thống cần đạt năng lực xử lý thời gian thực với tốc độ tối thiểu 5.000 phản hồi/giây và độ trễ dưới 150 mili-giây, hoàn thành việc thử nghiệm diện rộng trong vòng 9 tháng.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị học thuật và ứng dụng thực tiễn cho 4 nhóm đối tượng chính:

1. Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính, Kỹ thuật phần mềm: Tài liệu cung cấp bức tranh toàn diện về toán học của mạng RNN, LSTM, phương pháp vector hóa văn bản Word2vec, cùng quy trình thực nghiệm chuẩn mực trên tập dữ liệu lớn.
2. Kỹ sư trí tuệ nhân tạo (AI Engineers) và Kỹ sư xử lý ngôn ngữ tự nhiên (NLP Engineers): Cung cấp mã nguồn thực nghiệm chi tiết bằng Python, TensorFlow, Gensim; hướng dẫn tối ưu hóa siêu tham số, xử lý từ dừng (stop words), chuẩn hóa độ dài câu và kỹ thuật nhúng từ thực tế.
3. Giám đốc Marketing (CMO) và Chuyên viên phân tích thị trường: Cung cấp cơ sở khoa học để ứng dụng các công cụ lắng nghe mạng xã hội, hiểu rõ cơ chế phân tích thái độ người tiêu dùng nhằm định vị thương hiệu và quản trị rủi ro truyền thông.
4. Các nhà phát triển hệ thống thương mại điện tử và chăm sóc khách hàng: Cung cấp mô hình tham chiếu để tích hợp tính năng tự động phân loại đánh giá sản phẩm, gợi ý xử lý khiếu nại tự động và nâng cao trải nghiệm người dùng trên nền tảng số.

Câu hỏi thường gặp

Tại sao mạng LSTM lại vượt trội hơn mạng RNN truyền thống trong bài toán phân tích quan điểm?

Mạng RNN truyền thống gặp hiện tượng suy giảm gradient nghiêm trọng khi xử lý câu dài trên 10 từ, dẫn đến việc quên ngữ cảnh ở đầu câu. Mạng LSTM khắc phục hoàn toàn nhược điểm này nhờ cấu trúc cell state chạy xuyên suốt và 3 cổng kiểm soát (cổng quên, cổng vào, cổng ra), cho phép lưu trữ và liên kết thông tin mạch lạc ngay cả với các văn bản dài từ 35 đến 1.103 từ.

Mô hình Word2vec Skip-gram có ưu điểm gì so với phương pháp Bag of Words kinh điển?

Phương pháp Bag of Words chỉ đếm tần suất xuất hiện khiến ma trận dữ liệu bị thưa thớt (lên tới 50.538 chiều) và mất đi thứ tự từ. Ngược lại, Word2vec Skip-gram biểu diễn từ trong không gian vector liên tục chỉ từ 100 đến 128 chiều, bảo toàn chính xác quan hệ ngữ nghĩa phân bố giữa các từ đồng nghĩa như "love" với "like" hay "bad" với "terrible".

Luận văn đã giải quyết thách thức tách từ trong tiếng Việt bằng giải pháp nào?

Do tiếng Việt là ngôn ngữ đơn lập có nhiều từ ghép đa âm tiết, luận văn đã tích hợp công cụ tách từ Đông Du dựa trên phương pháp pointwise kết hợp xây dựng bảng từ dừng (stop words) đặc thù. Phương pháp này giúp phân tách chính xác các từ ghép chuyên ngành công nghệ trước khi đưa vào bước nhúng từ Word2vec.

Quy mô tập dữ liệu thực nghiệm trong luận văn lớn đến mức nào?

Nghiên cứu được kiểm chứng trên tập dữ liệu tiếng Anh khổng lồ gồm 568.454 đánh giá Amazon Food Reviews (360MB văn bản) thu thập suốt 10 năm, cùng bộ dữ liệu kiểm thử tiếng Việt gồm 5.100 nhận xét thực tế về thiết bị công nghệ với 3 phân lớp cảm xúc cân bằng tuyệt đối.

Mô hình có khả năng mở rộng để phân loại thang điểm 5 sao chi tiết không?

Hoàn toàn có thể mở rộng. Để phân loại từ 1 đến 5 sao, hệ thống chỉ cần thay đổi số lượng nơ-ron ở lớp đầu ra softmax từ 3 lên 5 nơ-ron, đồng thời cập nhật hàm mất mát phân loại đa lớp (Categorical Cross-Entropy) mà không cần thay đổi toàn bộ kiến trúc trích xuất đặc trưng LSTM ban đầu.

Kết luận

• Hệ thống hóa toàn diện lý thuyết: Luận văn đã tổng hợp sâu sắc cơ sở toán học và cơ chế hoạt động của mạng neural nhân tạo ANN, mạng neural hồi quy RNN và kiến trúc bộ nhớ dài - ngắn LSTM.
• Xây dựng hoàn chỉnh pipeline xử lý dữ liệu: Thiết lập thành công quy trình khép kín từ tiền xử lý văn bản, tách từ tiếng Việt, nhúng từ phân bố Word2vec (100 chiều) đến mô hình phân lớp chuỗi LSTM.
• Kiểm chứng thực nghiệm quy mô lớn: Đánh giá nghiêm ngặt trên 568.454 mẫu dữ liệu tiếng Anh và 5.100 mẫu tiếng Việt, chứng minh độ chính xác vượt trội hơn từ 8,5% đến 14,2% so với các thuật toán SVM và KNN.
• Đóng góp giải pháp xử lý ngữ cảnh dài: Khẳng định vai trò quyết định của cơ chế cổng trong việc nhận diện chính xác các cấu trúc câu phức tạp, đảo ngữ và phủ định trong ngôn ngữ tự nhiên.
• Lộ trình phát triển rõ ràng: Định hình phương hướng mở rộng kiến trúc mô hình sang Bi-LSTM Attention và xây dựng tập dữ liệu đa miền quy mô 50.000 mẫu trong thời gian 6 đến 12 tháng tới.

Để khai thác toàn diện các mô hình toán học, cấu trúc siêu tham số chi tiết và mã nguồn thực nghiệm, quý độc giả và các nhóm nghiên cứu hãy tải về toàn văn luận văn thạc sĩ để áp dụng trực tiếp vào các dự án trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN 1.1 Khái niệm quan điểm Trong xã hội hiện đại, việc nêu và thể hiện ý kiến cá nhân là một phần của tự do ngôn luận. Với mỗi người được đào tạo khác nhau và có những cách tiếp cận khác nhau đối với một vấn đề sẽ nảy sinh ra nhiều chiều trong ý kiến, tư tưởng. Đó chính là quan điểm. Quan điểm được xây dựng chủ yếu từ ba yếu tố là thái độ, cảm xúc và ý kiến về một đối tượng.

Đối tượng ở đây có thể là các cá nhân, các sự việc, sự vật hay là chất lượng dịch vụ, sản phẩm, chủ đề.2 Bài toán trích xuất thông tin quan điểm Bài toán trích xuất thông tin quan điểm dựa trên các thông tin phản hồi của người sử dụng nhằm phân loại phản hồi đó là tích cực hay tiêu cực. Thông tin phản hồi của người dùng được tổng hợp dưới dạng văn bản từ nhiều nguồn khác nhau như trên trang bán hàng, Facebook, hệ thống chợ của Google hay Apple. Dựa trên đánh giá của người dùng, kết quả của chiến lược marketing hay quảng bá sản phẩm được xác định là có hiệu quả hay không. Bài toán trích xuất thông tin quan điểm (sentiment analysis) là một lĩnh vực nghiên cứu về các ý kiến, quan điểm, đánh giá, thái độ và cảm xúc của con người về một đối tượng.

Trích xuất thông tin quan điểm thu hút được sự quan tâm lớn của cộng đồng nghiên cứu nói chung và cộng đồng xử lý ngôn ngữ tự nhiên nói riêng bởi hai yếu tố: Thứ nhất, do sự bùng nổ thông tin và mạng xã hội nên con người có thể tự do chia sẻ ý kiến cảm nghĩ. Trong lịch sử loài người, đây là thời điểm lượng thông tin nói chung và thông tin về ý kiến quan điểm nói riêng phát triển rất nhanh và mạnh. Lượng thông tin chia sẻ trên mạng xã hội là khổng lồ .Theo số liệu của The Social Skinny [14], Facebook đang là mạng xã hội lớn nhất trên thế giới: cứ mỗi 60 giây sẽ có 510.000 comment được đăng lên, 293.000 trạng thái mới được cập nhật và khoảng 136.000 bức ảnh được upload. Ngoài facebook còn có rất nhiều các mạng xã hội khác như Twitter, Weibo, Tumblr, cũng như nhiều hình thức khác cho phép người dùng đưa thông tin lên internet.

Nhận thấy rằng nếu có thể khai thác thông tin từ lượng dữ liệu khổng lồ này thì sẽ cho phép khai phá rất nhiều thông tin quan trọng giúp xác định và giải quyết nhiều vấn đề. Đơn cử như có thể dự đoán, định hướng xu thế của công nghệ, thời trang, tiêu dùng của xã hội. TIEU LUAN MOI download : [e-mail] 5 Thứ hai, sự đa dạng và kết quả có thể thấy rõ khi áp dụng nó vào một số lĩnh vực như phân tích tâm lý người dùng, nghiên cứu thị trường. Ví dụ như trong kinh doanh, việc phân tích và nắm được các ý kiến phản hồi của người sử dụng, khách hàng sẽ giúp tổ chức, cá nhân nhận ra những điểm hạn chế của sản phẩm, dịch vụ mình cung cấp.

Họ sẽ kịp thời có giải pháp khắc phục để đáp ứng được nhu cầu sử dụng của thị trường, nâng cao kết quả kinh doanh nhờ nắm bắt được thị hiếu và kênh chăm sóc khách hàng hiệu quả. Quan điểm được chia làm chủ yếu là hai loại là tích cực (positive) và tiêu cực (negative). Ngoài ra trong một số trường hợp xét tới cả loại thứ ba là trung lập (neural). TIEU LUAN MOI download : skknchat@gmail.3 Các hướng tiếp cận và giải quyết bài toán Trong những năm gần đây, có rất nhiều bài báo và các công trình nghiên cứu cải tiến các thuật toán trích xuất thông tin quan điểm [6] [7] [15].

Các kỹ thuật này được phân loại theo hướng dựa trên các hướng tiếp cận dựa trên học máy hoặc dựa trên từ điển và ngữ nghĩa. Trong đó, hướng tiếp cận dựa trên học máy đang phát triển rất mạnh. Xét trên kĩ thuật học máy có giám sát có thể kể đến những thuật toán kinh điển và hiệu quả như Decision Tree, Support Vector Machine (SVM). Các thuật toán được đánh giá cao về tính đơn giản và hiệu quả trong nhiều trường hợp so với các thuật dựa trên mô hình mạng neural.1 Các hướng tiếp cận giải quyết bài toán trích xuất thông tin quan điểm Tuy nhiên, cùng với sự phát triển của khả năng tính toán các thuật toán mang hướng học sâu ngày càng phát triển hơn.

Luận văn sẽ trình bày về một phương pháp dựa trên mạng neural có nhiều ưu điểm trong việc mô tả dữ liệu đầu vào, đó là mạng neural hồi quy RNN. Trước hết trong chương này sẽ đề cập tới một số thuật toán kinh điển hay sử dụng trong phân loại có thể áp dụng được đối với bài toán phân tích quan điểm. TIEU LUAN MOI download : skknchat@gmail.1 Mô hình Support Vector Machine Mô hình SVM là mô hình hết sức kinh điển trong bài toán phân loại. Tư tưởng của SVM [2] là định nghĩa ra một siêu mặt phẳng có thể phân tách các tập dữ liệu cần phân loại sao cho khoảng cách (margin) từ siêu mặt phẳng đến các tập cần phân loại là tương đương nhau và lớn nhất.

Thuật toán SVM ban đầu được thiết kế để giải quyết bài toán phân lớp nhị phân với ý tưởng chính như sau: Hình 1.2 Khoảng cách margin của 2 phân lớp là bằng nhau và lớn nhất Trong không gian hai chiều tôi đã biết khoảng cách từ một điểm có tọa độ (x0,y0) tới đường thẳng có phương trình w1x+w2y+b = 0 được tính bằng: | 𝑤1 𝑥0 + 𝑤2 𝑦0 + b | ℎ= √𝑤1 2 + 𝑤2 2 Trong không gian ba chiều khoảng cách từ một điểm có tọa độ (x0,y0,z0) tới một mặt phẳng có phương trình w1x + w2y + w3z +b = 0 được tính bằng: | 𝑤1 𝑥0 + 𝑤2 𝑦0 + 𝑤3 𝑧0 + b| ℎ= √𝑤1 2 + 𝑤2 2 + 𝑤3 2 Nhận thấy nếu bỏ dấu giá trị tuyệt đối của tử số thì có thể xác định được điểm đang xét nằm về phía nào của đường thẳng hay mặt phẳng. Không làm mất tính tổng quát thì những biểu thức trong dấu giá trị tuyệt đối nếu mang dấu dương thì nằm cùng một phía dương còn những điểm làm cho biểu thức trong dấu giá trị tuyệt đối mang dấu âm thì nằm về phía âm. Những điểm nằm trên đường thẳng/ mặt phẳng sẽ làm cho giá trị của tử số bằng 0 hay khoảng cách bằng 0. Tổng quát trên không gian nhiều chiều thì sẽ phức tạp hơn so với việc biểu diễn bởi không gian 2 chiều ( đường thẳng) hay không gian 3 chiều (mặt phẳng).

Khái niệm này được gọi là siêu mặt phẳng có công thức wTx + b = 0. Khoảng cách được tính bằng: TIEU LUAN MOI download : [e-mail] 8 | 𝑤 𝑇 𝑥0 + b| ℎ= √∑𝑑𝑖=1 𝑤𝑖 2 d là số chiều của không gian. Chất lượng của siêu phẳng được đánh giá bởi khoảng cách h giữa hai lớp, khoảng cách càng lớn thì siêu phẳng quyết định càng tốt và chất lượng phân lớp càng cao. Giả sử rằng các cặp dữ liệu của training set là (x1, y1), (x2, y2),…, (xn, yn) trong đó xi là vector đầu vào của một điểm dữ liệu và yi là nhãn của điểm dữ liệu đó.

Giả sử nhãn của điểm dữ liệu có 2 giá trị là 1 và -1.3 SVM nhị phân Khi đó khoảng cách từ điểm đến mặt phân chia 𝑤1 𝑥1 + 𝑤2 𝑥2 + b = 0 là 𝑦𝑛 ( 𝑤 𝑇 𝑥𝑛 + b) ℎ= √∑𝑑𝑖=1 𝑤𝑖 2 Margin được tính là khoảng cách gần nhất của 1 điểm tới mặt phân chia 𝑦𝑛 ( 𝑤 𝑇 𝑥𝑛 + b) 𝑚𝑎𝑟𝑔𝑖𝑛 = min 𝑛 √∑𝑑𝑖=1 𝑤𝑖 2 Bài toán tối ưu trong SVM là bài toán tìm w và b sao cho margin này đạt giá trị lớn nhất: 1 (𝑤, 𝑏) = argmax min 𝑦𝑛 ( 𝑤 𝑇 𝑥𝑛 + b) 𝑤,𝑏 𝑛 √∑𝑑𝑖=1 𝑤𝑖 2 { } TIEU LUAN MOI download : [e-mail] 9 Đối với bài toán phân lớp với số phân lớp d > 2 thì tôi sử dụng chiến lược one-vs- rest bằng cách chuyển về bài toán phân lớp nhị phân giữa 1 lớp và (d-1) lớp còn lại. Tức là tôi sẽ phải thực hiện bài toán SVM nhị phân d lần giữa phân lớp thứ i và (d-1) phân lớp còn lại.2 K-nearest neighbors Thuật toán K-Nearest neighbors (KNN) là thuật toán phân loại dựa trên ý tưởng “Hãy cho tôi biết bạn của bạn là ai, tôi sẽ cho biết bạn là người như thế nào”. Câu danh ngôn rất trùng hợp với cách thực hoạt động của thuật toán KNN. Bản chất KNN không học gì từ dữ liệu training, mọi tính toán được thực hiện khi nó cần dự đoán kết quả của dữ liệu mới.

Mọi điểm trong dữ liệu training được lưu trữ trong bộ nhớ nên đây cũng là điểm hạn chế của thuật toán khi làm việc với bộ dữ liệu training lớn. Các bước thực hiện của thuật toán như sau: thực hiện cấu hình tham số K – số điểm lân cận; đánh giá 1 điểm mới của tập test bằng cách xét K lân cận của nó; phân lớp cho điểm mới dựa trên nhãn của đa số mà K điểm trong tập train gần nhất của nó được gán. Khái niệm thế nào là lân cận của 1 điểm thường được tính toán bằng khoảng cách vector theo norm. Ngoài ra đối với K điểm lân cận, tôi có thể đánh trọng số lớn hơn cho các điểm gần điểm cần xét hơn.

Hay nói cách khác là tin cậy các điểm gần điểm cần xét hơn. Sử dụng KNN để phân loại thường để sử dụng khi bài toán còn đơn giản, thuật toán chủ yếu thực hiện tính toán ở khâu test. Đây cũng là một trong số những thuật toán phân loại được sử dụng phổ biến nhất. TIEU LUAN MOI download : [e-mail] 10 CHƯƠNG 2: MẠNG NEURAL VÀ RNN 2.1 Mạng neural nhân tạo ANN Mạng neural nhân tạo [1] là thuật toán mô phỏng lại cách thức hoạt động của hệ thống thần kinh của sinh vật trong việc học, nhận biết hay phân loại.

Thuật toán đã được sử dụng rộng rãi từ những năm 1980 cho đến nay vẫn được áp dụng rộng rãi trong nhiều ngành khoa học. Mạng neural mô phỏng quá trình xử lý thông tin, mô hình được học bởi kinh nghiệm, lưu những kinh nghiệm hiểu biết và sử dụng trong các tình huống phù hợp.1 Mạng nơ-ron sinh học Hệ thống thần kinh là tổ chức vật chất cao cấp và có cấu tạo vô cùng phức tạp. Hệ thần kinh được cấu tạo bởi nhiều yếu tố trong đó nơ-ron là khái niệm cơ bản nhất. Trong bộ não người có khoảng 1011 - 1012 tế bào thần kinh được gọi là các nơ-ron và mỗi nơ-ron lại liên kết với khoảng 104 nơ ron khác thông qua các khớp nối thần kinh synapse.