Luận văn: Tiếp cận học máy cho trích xuất thông tin quan điểm (RNN)

Luận văn thạc sĩ: Ứng dụng học máy giải quyết bài toán trích xuất thông tin quan điểm. Mã ngành: 60 48 01. Nghiên cứu chuyên sâu về lĩnh vực máy tính.

• Tác giả: Phạm Hùng
• Người hướng dẫn: Ts. Nguyễn Văn Vinh
• Trường học: Đại học Quốc gia Hà Nội Trường Đại học Công nghệ
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Hướng tiếp cận dựa trên học máy cho bài toán trích xuất thông tin quan điểm
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT NỘI DUNG
• 1. CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN
• 1.1. Khái niệm quan điểm
• 1.2. Bài toán trích xuất thông tin quan điểm
• 1.3. Các hướng tiếp cận và giải quyết bài toán
• 1.3.1. Mô hình Support Vector Machine
• 2. CHƯƠNG 2: MẠNG NEURAL VÀ RNN
• 2.1. Mạng neural nhân tạo ANN
• 2.1.1. Mạng nơ-ron sinh học
• 2.1.2. Kiến trúc tổng quát của mạng neural nhân tạo
• 2.2. Mạng neural hồi quy RNN
• 2.3. Vấn đề lưu trữ thông tin ngữ cảnh phụ thuộc lâu dài. Mạng Long short-term memory
• 3. CHƯƠNG 3: RNN CHO BÀI TOÁN TRÍCH XUẤT QUAN ĐIỂM
• 3.1. Bài toán trích xuất thông tin quan điểm sử dụng RNN
• 3.2. Một số phương pháp vector hóa từ
• 3.2.1. Bag of Words
• 3.3. Áp dụng LSTM trong bài toán trích xuất thông tin quan điểm
• 3.3.1. Tiền xử lý kho ngữ liệu
• 3.3.2. Xây dựng Word2vec
• 4. CHƯƠNG 4: KẾT QUẢ THỰC NGHIỆM
• 4.1. Bộ ngữ liệu
• 4.1.1. Bộ ngữ liệu tiếng Anh (Food Reviews)
• 4.1.2. Bộ ngữ liệu tiếng Việt
• 4.2. Cài đặt và thử nghiệm
• 4.2.1. Bước tiền xử lý
• 4.2.2. Xây dựng model Word2vec
• 4.2.3. Huấn luyện mô hình LSTM
• 4.2.4. Cài đặt một số phương pháp học có giám sát kinh điển
• 4.3. Kết quả trích xuất thông tin quan điểm
• 4.3.1. Một số thử nghiệm và kết quả trên bộ ngữ liệu tiếng Anh
• 4.3.2. Một số thử nghiệm và kết quả trên bộ ngữ liệu tiếng Việt
• 5. CHƯƠNG 5: KẾT LUẬN
• TÀI LIỆU THAM KHẢO
• BẢNG CÁC TỪ VIẾT TẮT
• DANH MỤC HÌNH VẼ
• MỞ ĐẦU
• LỜI CAM ĐOAN

Tóm tắt

I. Tổng Quan Luận Văn Thạc Sĩ Về Học Máy và Trích Xuất Quan Điểm

Luận văn thạc sĩ này tập trung vào ứng dụng học máy cho bài toán trích xuất thông tin quan điểm, một lĩnh vực đang thu hút sự quan tâm lớn trong xử lý ngôn ngữ tự nhiên (NLP). Bài toán này, còn được gọi là phân tích cảm xúc (sentiment analysis) hoặc khai phá ý kiến (opinion mining), có ứng dụng rộng rãi trong nhiều lĩnh vực, từ nghiên cứu thị trường đến phân tích tâm lý người dùng. Sự bùng nổ của dữ liệu văn bản trên internet, đặc biệt là trên các mạng xã hội, đã tạo ra một lượng lớn thông tin quan điểm mà các phương pháp truyền thống không thể xử lý hiệu quả. Luận văn khám phá các hướng tiếp cận dựa trên học máy để tự động hóa quá trình trích xuất thông tin quan điểm, giúp các tổ chức và cá nhân hiểu rõ hơn về thái độ, cảm xúc và ý kiến của khách hàng, đối tác và cộng đồng. Luận văn này trình bày chi tiết về một hướng tiếp cận cụ thể sử dụng mạng neural hồi quy (RNN) và biến thể của nó, Long Short-Term Memory (LSTM), để giải quyết bài toán trích xuất thông tin quan điểm. Việc lựa chọn RNN và LSTM được thúc đẩy bởi khả năng của chúng trong việc xử lý dữ liệu chuỗi, như văn bản, và nắm bắt các phụ thuộc dài hạn giữa các từ và cụm từ. Luận văn cũng đề cập đến các phương pháp tiền xử lý dữ liệu, vector hóa từ (word embedding), và đánh giá hiệu suất của mô hình trên cả dữ liệu tiếng Anh và tiếng Việt. Nghiên cứu này có ý nghĩa quan trọng trong việc phát triển các hệ thống tự động trích xuất thông tin quan điểm hiệu quả và chính xác, góp phần vào sự phát triển của trí tuệ nhân tạo (AI) và khoa học dữ liệu. Luận văn này có thể tham khảo các hướng tiếp cận về Deep Learning để cải thiện hiệu suất của mô hình. Cuối cùng, luận văn cũng đánh giá hiệu quả của thuật toán học máy dựa trên hai tập dữ liệu tiếng Anh và tiếng Việt.

1.1. Ý Nghĩa và Ứng Dụng Trích Xuất Thông Tin Quan Điểm

Bài toán trích xuất thông tin quan điểm có ý nghĩa to lớn trong nhiều lĩnh vực. Trong kinh doanh, nó giúp các công ty theo dõi phản hồi của khách hàng về sản phẩm và dịch vụ, từ đó cải thiện chất lượng và chiến lược marketing. Trong chính trị, nó có thể được sử dụng để đo lường dư luận về các chính sách và ứng viên. Trong lĩnh vực y tế, nó có thể giúp phân tích cảm xúc của bệnh nhân và đánh giá hiệu quả của các phương pháp điều trị. Nghiên cứu thị trường, phân tích tâm lý người dùng, phản hồi khách hàng đều là những ứng dụng quan trọng. Phạm Hùng có thể đánh giá chiến lược Marketing có hiệu quả hay không. Theo số liệu của The Social Skinny [14], Facebook đang là mạng xã hội lớn nhất trên thế giới: cứ mỗi 60 giây sẽ có 510.000 comment được đăng lên, 293.000 trạng thái mới được cập nhật và khoảng 136.000 bức ảnh được upload. Các công trình nghiên cứu cải tiến các thuật toán trích xuất thông tin quan điểm ngày càng được chú trọng. Việc tích hợp các Semantic LSI keywords một cách tự nhiên sẽ giúp tăng khả năng hiển thị của luận văn trên các công cụ tìm kiếm.

1.2. Tổng Quan về Các Hướng Tiếp Cận Học Máy Hiện Tại

Các phương pháp học máy được sử dụng trong trích xuất thông tin quan điểm có thể được chia thành ba loại chính: học có giám sát, học không giám sát và học bán giám sát. Học có giám sát sử dụng dữ liệu được gán nhãn để huấn luyện mô hình. Các thuật toán phổ biến bao gồm Support Vector Machine (SVM), Naive Bayes, và mạng neural. Học không giám sát sử dụng dữ liệu không được gán nhãn để tìm ra các cấu trúc và mẫu ẩn. Các thuật toán phổ biến bao gồm phân cụm (clustering) và phân tích thành phần chính (PCA). Học bán giám sát kết hợp cả dữ liệu được gán nhãn và không được gán nhãn để cải thiện hiệu suất mô hình. Gần đây, các phương pháp học sâu (deep learning), đặc biệt là mạng neural hồi quy (RNN) và mạng Long Short-Term Memory (LSTM), đã cho thấy kết quả đầy hứa hẹn trong bài toán trích xuất thông tin quan điểm nhờ khả năng xử lý dữ liệu chuỗi và nắm bắt các phụ thuộc dài hạn.

II. Thách Thức Trích Xuất Quan Điểm và Hướng Giải Quyết Bằng Học Máy

Mặc dù có nhiều tiến bộ, bài toán trích xuất thông tin quan điểm vẫn đối mặt với nhiều thách thức. Một trong những thách thức lớn nhất là sự mơ hồ và đa nghĩa của ngôn ngữ tự nhiên. Cùng một từ hoặc cụm từ có thể mang nhiều ý nghĩa khác nhau tùy thuộc vào ngữ cảnh. Một thách thức khác là xử lý các ý kiến trái chiều và châm biếm, vì chúng thường khó phát hiện và phân tích chính xác. Thêm vào đó, sự khác biệt về văn hóa và ngôn ngữ cũng có thể ảnh hưởng đến cách diễn đạt và hiểu ý kiến. Học máy, đặc biệt là các phương pháp học sâu, cung cấp các công cụ mạnh mẽ để giải quyết những thách thức này. Các mô hình học sâu có khả năng học các biểu diễn phức tạp của ngôn ngữ và tự động thích ứng với các ngữ cảnh khác nhau. Tuy nhiên, để đạt được hiệu suất tốt, các mô hình này cần được huấn luyện trên lượng lớn dữ liệu được gán nhãn chất lượng cao. Việc thu thập và gán nhãn dữ liệu có thể tốn kém và mất thời gian. Do đó, việc phát triển các phương pháp học bán giám sát và học không giám sát để tận dụng dữ liệu không được gán nhãn là một hướng nghiên cứu quan trọng.

2.1. Vấn Đề Đa Nghĩa và Ngữ Cảnh trong Phân Tích Cảm Xúc

Một từ có thể mang sắc thái ý nghĩa khác nhau tùy thuộc vào ngữ cảnh. Ví dụ, từ 'tuyệt vời' thường mang nghĩa tích cực, nhưng trong câu 'Đồ ăn ở đây tệ đến mức tuyệt vời!', nó lại mang nghĩa mỉa mai. Các mô hình học máy cần có khả năng hiểu được ngữ cảnh để phân tích chính xác cảm xúc. Điều này đòi hỏi các mô hình phải có khả năng xử lý thông tin ngữ cảnh rộng hơn, bao gồm cả các từ và cụm từ xung quanh từ mục tiêu. Các mô hình RNN và LSTM được thiết kế đặc biệt để xử lý thông tin ngữ cảnh, giúp chúng vượt trội so với các phương pháp truyền thống trong việc giải quyết vấn đề đa nghĩa.

2.2. Xử Lý Ý Kiến Trái Chiều và Châm Biếm Một Thách Thức Lớn

Ý kiến trái chiều và châm biếm là những hình thức diễn đạt phức tạp, thường sử dụng ngôn ngữ một cách không trực tiếp. Phát hiện và phân tích chính xác những ý kiến này đòi hỏi các mô hình phải có khả năng suy luận và hiểu được ý định của người viết. Các phương pháp học máy tiên tiến, như mạng neural biến áp (transformer networks), đang được phát triển để giải quyết thách thức này. Các mạng này có khả năng học các mối quan hệ phức tạp giữa các từ và cụm từ, giúp chúng hiểu được ý nghĩa ẩn sau các câu nói trái chiều và châm biếm.

III. Ứng Dụng Mô Hình RNN LSTM Trích Xuất Thông Tin Quan Điểm Hiệu Quả

Luận văn này tập trung vào việc áp dụng mạng neural hồi quy (RNN) và mạng Long Short-Term Memory (LSTM) cho bài toán trích xuất thông tin quan điểm. RNN và LSTM là các kiến trúc mạng neural được thiết kế đặc biệt để xử lý dữ liệu chuỗi, như văn bản. Chúng có khả năng ghi nhớ thông tin từ các bước thời gian trước đó, cho phép chúng nắm bắt các phụ thuộc dài hạn giữa các từ và cụm từ. Trong bài toán trích xuất thông tin quan điểm, RNN và LSTM có thể được sử dụng để phân tích cảm xúc của một câu hoặc đoạn văn bằng cách xử lý từng từ một và cập nhật trạng thái ẩn của mạng theo thời gian. Trạng thái ẩn này đại diện cho thông tin ngữ cảnh mà mạng đã học được từ các từ trước đó. Cuối cùng, trạng thái ẩn cuối cùng được sử dụng để dự đoán cảm xúc tổng thể của văn bản. Luận văn trình bày chi tiết về kiến trúc của các mô hình RNN và LSTM, các phương pháp huấn luyện và đánh giá chúng, và các kết quả thực nghiệm trên cả dữ liệu tiếng Anh và tiếng Việt.

3.1. Kiến Trúc và Cơ Chế Hoạt Động của Mạng RNN LSTM

RNN là một loại mạng neural có các kết nối hồi quy, cho phép thông tin được truyền từ các bước thời gian trước đó đến các bước thời gian hiện tại. Điều này cho phép RNN ghi nhớ thông tin từ quá khứ và sử dụng nó để đưa ra các dự đoán tốt hơn trong tương lai. Tuy nhiên, RNN gặp khó khăn trong việc học các phụ thuộc dài hạn, vì thông tin từ các bước thời gian xa có thể bị suy giảm theo thời gian. LSTM là một biến thể của RNN được thiết kế để giải quyết vấn đề này. LSTM sử dụng các cổng (gates) để kiểm soát luồng thông tin vào và ra khỏi bộ nhớ của mạng. Điều này cho phép LSTM ghi nhớ thông tin từ quá khứ lâu hơn và học các phụ thuộc dài hạn hiệu quả hơn. Pham Hùng có trình bày các công thức về các cổng chặn ft, cổng vào it và cổng ra ot trong luận văn.

3.2. Tiền Xử Lý Dữ Liệu và Vector Hóa Từ Word Embedding

Trước khi huấn luyện các mô hình RNN và LSTM, cần phải tiền xử lý dữ liệu văn bản để loại bỏ các ký tự không cần thiết và chuẩn hóa định dạng. Quá trình tiền xử lý có thể bao gồm các bước như loại bỏ dấu câu, chuyển đổi chữ hoa thành chữ thường, và loại bỏ các từ dừng (stop words). Sau khi tiền xử lý, cần phải vector hóa từ (word embedding) để chuyển đổi các từ thành các vector số. Các phương pháp vector hóa từ phổ biến bao gồm Word2Vec, GloVe, và FastText. Các vector này biểu diễn ý nghĩa ngữ nghĩa của các từ, cho phép các mô hình RNN và LSTM hiểu được mối quan hệ giữa các từ trong văn bản. Mô hình Word2vec bản chất là sử dụng một mạng neural đơn giản với một lớp ẩn.

3.3. Huấn Luyện và Đánh Giá Mô Hình Trích Xuất Thông Tin Quan Điểm

Sau khi vector hóa, tôi sẽ đưa các từ trong câu về dạng để mô hình toán có thể hiểu được. Cụ thể là từ dạng text, các từ sẽ được chuyển về dạng vector đặc trưng để đưa vào mô hình LSTM. Để có thể huấn luyện được, từ được vector hóa để cho vào mạng. tôi có thể xây dựng kho từ điển từ tập dữ liệu văn bản sau đó sử dụng one-hot-vector để diễn tả từng từ trong kho từ điển. Hàm softmax thường được sử dụng tính xác suất thuộc phân lớp i trong bài toán phân loại. C là số lớp được phân loại. Hàm softmax có ưu điểm là các xác suất ai đều dương và có tổng bằng 1. Mô hình sẽ được huấn luyện trên tập dữ liệu huấn luyện và đánh giá trên tập dữ liệu kiểm tra. Hiệu suất của mô hình có thể được đo bằng các độ đo như độ chính xác, độ thu hồi, và độ F1. Thư viện Gensim có thể hỗ trợ xây dựng mô hình word2vec.

IV. Kết Quả Thực Nghiệm và Đánh Giá Hiệu Năng Mô Hình Học Máy

Luận văn trình bày kết quả thực nghiệm của việc áp dụng các mô hình RNN và LSTM cho bài toán trích xuất thông tin quan điểm trên cả dữ liệu tiếng Anh và tiếng Việt. Kết quả cho thấy rằng các mô hình này đạt được hiệu suất cao, vượt trội so với các phương pháp truyền thống. Trên dữ liệu tiếng Anh, mô hình LSTM đạt được độ chính xác trên 80%. Trên dữ liệu tiếng Việt, hiệu suất của mô hình có phần thấp hơn, nhưng vẫn đạt được độ chính xác chấp nhận được. Luận văn cũng phân tích các yếu tố ảnh hưởng đến hiệu suất của mô hình, như kích thước tập dữ liệu, phương pháp tiền xử lý, và kiến trúc mạng neural. Dữ liệu từ Amazon được sử dụng để xây dựng tập Food Reviews.

4.1. Thiết Lập Thực Nghiệm và So Sánh với Các Phương Pháp Khác

Các thử nghiệm được cài đặt sử dụng ngôn ngữ python [16] trên môi trường python 3. Một số thư viện của python sử dụng trong thực nghiệm gồm: Thư viện Numpy, Re, Pandas, Sklearn, Gensim, TensorFlow. Luận văn so sánh hiệu suất của các mô hình RNN và LSTM với các phương pháp truyền thống, như Support Vector Machine (SVM) và Naive Bayes. Kết quả cho thấy rằng các mô hình RNN và LSTM vượt trội hơn so với các phương pháp truyền thống, đặc biệt là trên các tập dữ liệu lớn và phức tạp. Nguyên nhân có thể là do khả năng của RNN và LSTM trong việc nắm bắt các phụ thuộc dài hạn và xử lý thông tin ngữ cảnh.

4.2. Phân Tích và Thảo Luận về Kết Quả Thực Nghiệm Đạt Được

Các kết quả thực nghiệm cho thấy rằng các mô hình RNN và LSTM là các công cụ mạnh mẽ cho bài toán trích xuất thông tin quan điểm. Tuy nhiên, hiệu suất của các mô hình này có thể bị ảnh hưởng bởi nhiều yếu tố, như kích thước tập dữ liệu, phương pháp tiền xử lý, và kiến trúc mạng neural. Để đạt được hiệu suất tốt nhất, cần phải lựa chọn cẩn thận các tham số và kiến trúc phù hợp với từng tập dữ liệu cụ thể. Việc điều chỉnh tham số này có thể tham khảo Andrew Ng [8].

V. Kết Luận và Hướng Phát Triển Tiếp Theo Nghiên Cứu Học Máy

Luận văn này đã trình bày một nghiên cứu về việc áp dụng học máy, đặc biệt là các mô hình RNN và LSTM, cho bài toán trích xuất thông tin quan điểm. Kết quả thực nghiệm cho thấy rằng các mô hình này đạt được hiệu suất cao, vượt trội so với các phương pháp truyền thống. Luận văn cũng thảo luận về các thách thức và hướng phát triển tiếp theo của lĩnh vực này. Các hướng phát triển tiềm năng bao gồm việc phát triển các mô hình học sâu tiên tiến hơn, tận dụng dữ liệu không được gán nhãn, và xử lý các ý kiến trái chiều và châm biếm.

5.1. Tóm Tắt Các Đóng Góp Chính của Luận Văn Nghiên Cứu

Luận văn có những đóng góp chính sau: Đề xuất một phương pháp mới cho bài toán trích xuất thông tin quan điểm dựa trên mạng neural hồi quy (RNN) và mạng Long Short-Term Memory (LSTM); Trình bày chi tiết về kiến trúc của các mô hình RNN và LSTM, các phương pháp huấn luyện và đánh giá chúng; Thực hiện các thực nghiệm trên cả dữ liệu tiếng Anh và tiếng Việt, cho thấy rằng các mô hình này đạt được hiệu suất cao.

5.2. Các Hướng Nghiên Cứu Mở Rộng và Phát Triển Trong Tương Lai

Trong tương lai, hướng nghiên cứu được mở rộng bao gồm phát triển các mô hình học sâu tiên tiến hơn, tận dụng dữ liệu không được gán nhãn, và xử lý các ý kiến trái chiều và châm biếm. Nghiên cứu thêm về các mô hình học sâu (deep learning), đặc biệt là mạng neural biến áp (transformer networks), đang được phát triển để giải quyết thách thức này.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ BÀI TOÁN 1.1 Khái niệm quan điểm Trong xã hội hiện đại, việc nêu và thể hiện ý kiến cá nhân là một phần của tự do ngôn luận. Với mỗi người được đào tạo khác nhau và có những cách tiếp cận khác nhau đối với một vấn đề sẽ nảy sinh ra nhiều chiều trong ý kiến, tư tưởng. Đó chính là quan điểm. Quan điểm được xây dựng chủ yếu từ ba yếu tố là thái độ, cảm xúc và ý kiến về một đối tượng.

Đối tượng ở đây có thể là các cá nhân, các sự việc, sự vật hay là chất lượng dịch vụ, sản phẩm, chủ đề.2 Bài toán trích xuất thông tin quan điểm Bài toán trích xuất thông tin quan điểm dựa trên các thông tin phản hồi của người sử dụng nhằm phân loại phản hồi đó là tích cực hay tiêu cực. Thông tin phản hồi của người dùng được tổng hợp dưới dạng văn bản từ nhiều nguồn khác nhau như trên trang bán hàng, Facebook, hệ thống chợ của Google hay Apple. Dựa trên đánh giá của người dùng, kết quả của chiến lược marketing hay quảng bá sản phẩm được xác định là có hiệu quả hay không. Bài toán trích xuất thông tin quan điểm (sentiment analysis) là một lĩnh vực nghiên cứu về các ý kiến, quan điểm, đánh giá, thái độ và cảm xúc của con người về một đối tượng.

Trích xuất thông tin quan điểm thu hút được sự quan tâm lớn của cộng đồng nghiên cứu nói chung và cộng đồng xử lý ngôn ngữ tự nhiên nói riêng bởi hai yếu tố: Thứ nhất, do sự bùng nổ thông tin và mạng xã hội nên con người có thể tự do chia sẻ ý kiến cảm nghĩ. Trong lịch sử loài người, đây là thời điểm lượng thông tin nói chung và thông tin về ý kiến quan điểm nói riêng phát triển rất nhanh và mạnh. Lượng thông tin chia sẻ trên mạng xã hội là khổng lồ .Theo số liệu của The Social Skinny [14], Facebook đang là mạng xã hội lớn nhất trên thế giới: cứ mỗi 60 giây sẽ có 510.000 comment được đăng lên, 293.000 trạng thái mới được cập nhật và khoảng 136.000 bức ảnh được upload. Ngoài facebook còn có rất nhiều các mạng xã hội khác như Twitter, Weibo, Tumblr, cũng như nhiều hình thức khác cho phép người dùng đưa thông tin lên internet.

Nhận thấy rằng nếu có thể khai thác thông tin từ lượng dữ liệu khổng lồ này thì sẽ cho phép khai phá rất nhiều thông tin quan trọng giúp xác định và giải quyết nhiều vấn đề. Đơn cử như có thể dự đoán, định hướng xu thế của công nghệ, thời trang, tiêu dùng của xã hội. TIEU LUAN MOI download : [e-mail] 5 Thứ hai, sự đa dạng và kết quả có thể thấy rõ khi áp dụng nó vào một số lĩnh vực như phân tích tâm lý người dùng, nghiên cứu thị trường. Ví dụ như trong kinh doanh, việc phân tích và nắm được các ý kiến phản hồi của người sử dụng, khách hàng sẽ giúp tổ chức, cá nhân nhận ra những điểm hạn chế của sản phẩm, dịch vụ mình cung cấp.

Họ sẽ kịp thời có giải pháp khắc phục để đáp ứng được nhu cầu sử dụng của thị trường, nâng cao kết quả kinh doanh nhờ nắm bắt được thị hiếu và kênh chăm sóc khách hàng hiệu quả. Quan điểm được chia làm chủ yếu là hai loại là tích cực (positive) và tiêu cực (negative). Ngoài ra trong một số trường hợp xét tới cả loại thứ ba là trung lập (neural). TIEU LUAN MOI download : skknchat@gmail.3 Các hướng tiếp cận và giải quyết bài toán Trong những năm gần đây, có rất nhiều bài báo và các công trình nghiên cứu cải tiến các thuật toán trích xuất thông tin quan điểm [6] [7] [15].

Các kỹ thuật này được phân loại theo hướng dựa trên các hướng tiếp cận dựa trên học máy hoặc dựa trên từ điển và ngữ nghĩa. Trong đó, hướng tiếp cận dựa trên học máy đang phát triển rất mạnh. Xét trên kĩ thuật học máy có giám sát có thể kể đến những thuật toán kinh điển và hiệu quả như Decision Tree, Support Vector Machine (SVM). Các thuật toán được đánh giá cao về tính đơn giản và hiệu quả trong nhiều trường hợp so với các thuật dựa trên mô hình mạng neural.1 Các hướng tiếp cận giải quyết bài toán trích xuất thông tin quan điểm Tuy nhiên, cùng với sự phát triển của khả năng tính toán các thuật toán mang hướng học sâu ngày càng phát triển hơn.

Luận văn sẽ trình bày về một phương pháp dựa trên mạng neural có nhiều ưu điểm trong việc mô tả dữ liệu đầu vào, đó là mạng neural hồi quy RNN. Trước hết trong chương này sẽ đề cập tới một số thuật toán kinh điển hay sử dụng trong phân loại có thể áp dụng được đối với bài toán phân tích quan điểm. TIEU LUAN MOI download : skknchat@gmail.1 Mô hình Support Vector Machine Mô hình SVM là mô hình hết sức kinh điển trong bài toán phân loại. Tư tưởng của SVM [2] là định nghĩa ra một siêu mặt phẳng có thể phân tách các tập dữ liệu cần phân loại sao cho khoảng cách (margin) từ siêu mặt phẳng đến các tập cần phân loại là tương đương nhau và lớn nhất.

Thuật toán SVM ban đầu được thiết kế để giải quyết bài toán phân lớp nhị phân với ý tưởng chính như sau: Hình 1.2 Khoảng cách margin của 2 phân lớp là bằng nhau và lớn nhất Trong không gian hai chiều tôi đã biết khoảng cách từ một điểm có tọa độ (x0,y0) tới đường thẳng có phương trình w1x+w2y+b = 0 được tính bằng: | 𝑤1 𝑥0 + 𝑤2 𝑦0 + b | ℎ= √𝑤1 2 + 𝑤2 2 Trong không gian ba chiều khoảng cách từ một điểm có tọa độ (x0,y0,z0) tới một mặt phẳng có phương trình w1x + w2y + w3z +b = 0 được tính bằng: | 𝑤1 𝑥0 + 𝑤2 𝑦0 + 𝑤3 𝑧0 + b| ℎ= √𝑤1 2 + 𝑤2 2 + 𝑤3 2 Nhận thấy nếu bỏ dấu giá trị tuyệt đối của tử số thì có thể xác định được điểm đang xét nằm về phía nào của đường thẳng hay mặt phẳng. Không làm mất tính tổng quát thì những biểu thức trong dấu giá trị tuyệt đối nếu mang dấu dương thì nằm cùng một phía dương còn những điểm làm cho biểu thức trong dấu giá trị tuyệt đối mang dấu âm thì nằm về phía âm. Những điểm nằm trên đường thẳng/ mặt phẳng sẽ làm cho giá trị của tử số bằng 0 hay khoảng cách bằng 0. Tổng quát trên không gian nhiều chiều thì sẽ phức tạp hơn so với việc biểu diễn bởi không gian 2 chiều ( đường thẳng) hay không gian 3 chiều (mặt phẳng).

Khái niệm này được gọi là siêu mặt phẳng có công thức wTx + b = 0. Khoảng cách được tính bằng: TIEU LUAN MOI download : [e-mail] 8 | 𝑤 𝑇 𝑥0 + b| ℎ= √∑𝑑𝑖=1 𝑤𝑖 2 d là số chiều của không gian. Chất lượng của siêu phẳng được đánh giá bởi khoảng cách h giữa hai lớp, khoảng cách càng lớn thì siêu phẳng quyết định càng tốt và chất lượng phân lớp càng cao. Giả sử rằng các cặp dữ liệu của training set là (x1, y1), (x2, y2),…, (xn, yn) trong đó xi là vector đầu vào của một điểm dữ liệu và yi là nhãn của điểm dữ liệu đó.

Giả sử nhãn của điểm dữ liệu có 2 giá trị là 1 và -1.3 SVM nhị phân Khi đó khoảng cách từ điểm đến mặt phân chia 𝑤1 𝑥1 + 𝑤2 𝑥2 + b = 0 là 𝑦𝑛 ( 𝑤 𝑇 𝑥𝑛 + b) ℎ= √∑𝑑𝑖=1 𝑤𝑖 2 Margin được tính là khoảng cách gần nhất của 1 điểm tới mặt phân chia 𝑦𝑛 ( 𝑤 𝑇 𝑥𝑛 + b) 𝑚𝑎𝑟𝑔𝑖𝑛 = min 𝑛 √∑𝑑𝑖=1 𝑤𝑖 2 Bài toán tối ưu trong SVM là bài toán tìm w và b sao cho margin này đạt giá trị lớn nhất: 1 (𝑤, 𝑏) = argmax min 𝑦𝑛 ( 𝑤 𝑇 𝑥𝑛 + b) 𝑤,𝑏 𝑛 √∑𝑑𝑖=1 𝑤𝑖 2 { } TIEU LUAN MOI download : [e-mail] 9 Đối với bài toán phân lớp với số phân lớp d > 2 thì tôi sử dụng chiến lược one-vs- rest bằng cách chuyển về bài toán phân lớp nhị phân giữa 1 lớp và (d-1) lớp còn lại. Tức là tôi sẽ phải thực hiện bài toán SVM nhị phân d lần giữa phân lớp thứ i và (d-1) phân lớp còn lại.2 K-nearest neighbors Thuật toán K-Nearest neighbors (KNN) là thuật toán phân loại dựa trên ý tưởng “Hãy cho tôi biết bạn của bạn là ai, tôi sẽ cho biết bạn là người như thế nào”. Câu danh ngôn rất trùng hợp với cách thực hoạt động của thuật toán KNN. Bản chất KNN không học gì từ dữ liệu training, mọi tính toán được thực hiện khi nó cần dự đoán kết quả của dữ liệu mới.

Mọi điểm trong dữ liệu training được lưu trữ trong bộ nhớ nên đây cũng là điểm hạn chế của thuật toán khi làm việc với bộ dữ liệu training lớn. Các bước thực hiện của thuật toán như sau: thực hiện cấu hình tham số K – số điểm lân cận; đánh giá 1 điểm mới của tập test bằng cách xét K lân cận của nó; phân lớp cho điểm mới dựa trên nhãn của đa số mà K điểm trong tập train gần nhất của nó được gán. Khái niệm thế nào là lân cận của 1 điểm thường được tính toán bằng khoảng cách vector theo norm. Ngoài ra đối với K điểm lân cận, tôi có thể đánh trọng số lớn hơn cho các điểm gần điểm cần xét hơn.

Hay nói cách khác là tin cậy các điểm gần điểm cần xét hơn. Sử dụng KNN để phân loại thường để sử dụng khi bài toán còn đơn giản, thuật toán chủ yếu thực hiện tính toán ở khâu test. Đây cũng là một trong số những thuật toán phân loại được sử dụng phổ biến nhất. TIEU LUAN MOI download : [e-mail] 10 CHƯƠNG 2: MẠNG NEURAL VÀ RNN 2.1 Mạng neural nhân tạo ANN Mạng neural nhân tạo [1] là thuật toán mô phỏng lại cách thức hoạt động của hệ thống thần kinh của sinh vật trong việc học, nhận biết hay phân loại.

Thuật toán đã được sử dụng rộng rãi từ những năm 1980 cho đến nay vẫn được áp dụng rộng rãi trong nhiều ngành khoa học. Mạng neural mô phỏng quá trình xử lý thông tin, mô hình được học bởi kinh nghiệm, lưu những kinh nghiệm hiểu biết và sử dụng trong các tình huống phù hợp.1 Mạng nơ-ron sinh học Hệ thống thần kinh là tổ chức vật chất cao cấp và có cấu tạo vô cùng phức tạp. Hệ thần kinh được cấu tạo bởi nhiều yếu tố trong đó nơ-ron là khái niệm cơ bản nhất. Trong bộ não người có khoảng 1011 - 1012 tế bào thần kinh được gọi là các nơ-ron và mỗi nơ-ron lại liên kết với khoảng 104 nơ ron khác thông qua các khớp nối thần kinh synapse.