Luận Văn Thạc Sĩ: Phân Tích Ý Kiến Người Dùng Theo Khía Cạnh Bằng Phương Pháp Học Sâu

Khám phá luận văn thạc sĩ về phân tích ý kiến người dùng bằng phương pháp học sâu, ứng dụng trong nghiên cứu và phát triển sản phẩm.

• Tác giả: Nguyễn Quốc Bình
• Người hướng dẫn: TS. Bùi Thanh Hùng
• Trường học: Trường Đại Học Thủ Dầu Một
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Phân Tích Ý Kiến Người Dùng Theo Khía Cạnh Bằng Phương Pháp Học Sâu
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2021
• Địa điểm: Bình Dương

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ LĨNH VỰC NGHIÊN CỨU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng, phạm vi nghiên cứu
• 1.3.1. Đối tượng nghiên cứu
• 1.3.2. Phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn
• 1.6. Bố cục luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Xử lý ngôn ngữ tự nhiên
• 2.2. Biểu diễn từ
• 2.2.1. One hot vector
• 2.2.2. Cbow
• 2.3. Skip gram
• 2.4. Học Máy (Machine Learning)
• 2.5. Học Sâu (Deep Learning)
• 2.5.1. Mạng nơ-ron nhân tạo
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 3.1. Tổng quan về mô hình đề xuất
• 3.2. Các đặc trưng của mô hình
• 3.2.1. Mô hình CNN
• 3.2.2. Mô hình LSTM
• 3.2.3. Mô hình kết hợp CNN-LSTM
• 3.2.4. Mô hình MultiCNN-LSTM
• 3.3. Phương pháp đánh giá kết quả
• 3.3.1. Thu thập dữ liệu
• 3.3.2. Xử lý dữ liệu
• 3.3.3. Kết quả thực nghiệm
• 3.3.3.1. Công nghệ sử dụng
• 3.3.3.2. Trích xuất đặc trưng
• 3.3.3.3. Xác định khía cạnh
• 3.3.3.4. Phân tích ý kiến người dùng theo khía cạnh
• 3.3.4. Xây dựng ứng dụng
• 3.3.4.1. Ứng dụng Phân tích ý kiến người dùng theo khía cạnh
• 4. CHƯƠNG 4: THỰC NGHIỆM, ĐÁNH GIÁ KẾT QUẢ
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết luận
• 5.2. Hướng phát triển
• CÔNG TRÌNH CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phân tích ý kiến người dùng bằng học sâu

Phân tích ý kiến người dùng là một lĩnh vực nghiên cứu quan trọng trong thời đại số. Với sự phát triển của công nghệ, việc áp dụng học sâu vào phân tích ý kiến người dùng đã mở ra nhiều cơ hội mới. Phương pháp này không chỉ giúp hiểu rõ hơn về cảm xúc và quan điểm của người dùng mà còn hỗ trợ trong việc phát triển sản phẩm và dịch vụ. Nghiên cứu này sẽ đi sâu vào các phương pháp và ứng dụng của học sâu trong phân tích ý kiến người dùng.

1.1. Khái niệm và tầm quan trọng của phân tích ý kiến người dùng

Phân tích ý kiến người dùng là quá trình thu thập và phân tích dữ liệu từ phản hồi của người dùng. Điều này giúp các doanh nghiệp hiểu rõ hơn về nhu cầu và mong muốn của khách hàng, từ đó cải thiện sản phẩm và dịch vụ.

1.2. Vai trò của học sâu trong phân tích ý kiến người dùng

Học sâu cung cấp các công cụ mạnh mẽ để phân tích dữ liệu lớn và phức tạp. Các mô hình như CNN và LSTM giúp trích xuất đặc trưng và phân loại ý kiến một cách hiệu quả, từ đó nâng cao độ chính xác trong phân tích.

II. Thách thức trong phân tích ý kiến người dùng hiện nay

Mặc dù có nhiều tiến bộ trong công nghệ, nhưng phân tích ý kiến người dùng vẫn đối mặt với nhiều thách thức. Các vấn đề như dữ liệu không đồng nhất, ngôn ngữ tự nhiên phức tạp và sự thay đổi trong hành vi người dùng là những yếu tố cần được giải quyết.

2.1. Dữ liệu không đồng nhất và thiếu chính xác

Dữ liệu từ các nguồn khác nhau có thể không đồng nhất, dẫn đến khó khăn trong việc phân tích. Việc làm sạch và chuẩn hóa dữ liệu là rất cần thiết để đảm bảo độ chính xác của kết quả.

2.2. Ngôn ngữ tự nhiên phức tạp

Ngôn ngữ tự nhiên có nhiều sắc thái và ngữ nghĩa khác nhau, điều này gây khó khăn cho các mô hình học máy trong việc hiểu và phân tích chính xác ý kiến người dùng.

III. Phương pháp học sâu trong phân tích ý kiến người dùng

Các phương pháp học sâu như CNN và LSTM đã được áp dụng rộng rãi trong phân tích ý kiến người dùng. Những mô hình này giúp cải thiện khả năng phân loại và trích xuất thông tin từ dữ liệu văn bản.

3.1. Mô hình CNN trong phân tích ý kiến

Mô hình CNN được sử dụng để trích xuất đặc trưng từ dữ liệu văn bản, giúp cải thiện độ chính xác trong việc phân loại ý kiến người dùng.

3.2. Mô hình LSTM và ứng dụng của nó

Mô hình LSTM rất hiệu quả trong việc xử lý dữ liệu tuần tự, giúp phân tích các ý kiến theo thời gian và phát hiện các xu hướng trong phản hồi của người dùng.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu đã chỉ ra rằng việc áp dụng phương pháp học sâu trong phân tích ý kiến người dùng mang lại kết quả khả quan. Các mô hình như MultiCNN-LSTM đã cho thấy hiệu suất vượt trội so với các phương pháp truyền thống.

4.1. Kết quả thực nghiệm trên bộ dữ liệu

Kết quả thực nghiệm cho thấy mô hình MultiCNN-LSTM đạt độ chính xác cao hơn so với các mô hình đơn lẻ, chứng minh tính hiệu quả của phương pháp học sâu trong phân tích ý kiến người dùng.

4.2. Ứng dụng trong các lĩnh vực khác nhau

Phân tích ý kiến người dùng bằng học sâu có thể được áp dụng trong nhiều lĩnh vực như thương mại điện tử, dịch vụ khách hàng và nghiên cứu thị trường, giúp các doanh nghiệp đưa ra quyết định chính xác hơn.

V. Kết luận và hướng phát triển tương lai

Phân tích ý kiến người dùng bằng phương pháp học sâu đang trở thành xu hướng quan trọng trong nghiên cứu và ứng dụng thực tiễn. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều tiến bộ với sự phát triển của công nghệ và các mô hình học sâu mới.

5.1. Tương lai của phân tích ý kiến người dùng

Với sự phát triển không ngừng của công nghệ, phân tích ý kiến người dùng sẽ ngày càng trở nên chính xác và hiệu quả hơn, mở ra nhiều cơ hội mới cho các doanh nghiệp.

5.2. Đề xuất nghiên cứu tiếp theo

Cần tiếp tục nghiên cứu và phát triển các mô hình học sâu mới, cũng như cải thiện các phương pháp hiện tại để nâng cao khả năng phân tích và hiểu biết về ý kiến người dùng.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cuộc cách mạng công nghiệp 4.0 và sự bùng nổ của mạng xã hội cùng thương mại điện tử, việc phân tích ý kiến người dùng theo khía cạnh trở thành một công cụ thiết yếu để đánh giá quan điểm khách hàng trên các nền tảng trực tuyến. Theo báo cáo của ngành, các bình luận và đánh giá trên mạng xã hội, trang thương mại điện tử ngày càng đa dạng và phong phú, tạo ra nguồn dữ liệu lớn phục vụ cho việc khai thác thông tin. Mục tiêu nghiên cứu của luận văn là phát triển một phương pháp học sâu kết hợp mô hình MultiCNN-LSTM nhằm phân tích ý kiến người dùng theo khía cạnh ở mức tài liệu, giúp xác định chính xác các khía cạnh được đề cập và thái độ của người dùng đối với từng khía cạnh đó. Nghiên cứu tập trung trên bộ dữ liệu tiếng Việt VLSP 2018, với phạm vi dữ liệu thu thập từ các bình luận về nhà hàng tại Việt Nam trong giai đoạn gần đây. Ý nghĩa của nghiên cứu thể hiện qua việc nâng cao độ chính xác trong phân tích ý kiến, giảm thiểu chi phí và thời gian xử lý thủ công, đồng thời hỗ trợ các hệ thống thương mại điện tử và mạng xã hội trong việc tự động hóa phân tích dữ liệu người dùng, góp phần cải thiện trải nghiệm khách hàng và chiến lược kinh doanh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình học sâu trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), bao gồm:

• Mạng nơ-ron tích chập (CNN): Được sử dụng để trích xuất đặc trưng cục bộ từ dữ liệu văn bản, tận dụng các bộ lọc để phát hiện các mẫu n-gram quan trọng trong bình luận người dùng.
• Mạng nơ-ron hồi quy dài ngắn hạn (LSTM): Giúp mô hình hóa các phụ thuộc dài hạn trong chuỗi dữ liệu, xử lý hiệu quả các mối quan hệ ngữ cảnh trong văn bản.
• Mô hình kết hợp CNN-LSTM và MultiCNN-LSTM: Kết hợp ưu điểm của CNN trong trích xuất đặc trưng và LSTM trong phân lớp chuỗi, mô hình MultiCNN-LSTM mở rộng bằng cách tích hợp nhiều mô hình CNN-LSTM để đồng thời giải quyết hai nhiệm vụ xác định khía cạnh và phân tích ý kiến theo khía cạnh.
• Word2Vec: Phương pháp biểu diễn từ dưới dạng vector, giúp mô hình học sâu hiểu được mối quan hệ ngữ nghĩa giữa các từ trong bình luận.

Các khái niệm chính bao gồm: phân tích ý kiến người dùng theo khía cạnh, học sâu, mạng nơ-ron tích chập, mạng nơ-ron hồi quy dài ngắn hạn, biểu diễn từ, và các độ đo đánh giá mô hình như Accuracy, Precision, Recall, F1-score.

Phương pháp nghiên cứu

Nghiên cứu sử dụng bộ dữ liệu VLSP 2018 với khoảng 4,751 đoạn bình luận về nhà hàng, được thu thập từ các trang mạng xã hội và thương mại điện tử tại Việt Nam. Dữ liệu được tiền xử lý kỹ lưỡng, bao gồm làm sạch dữ liệu, loại bỏ dấu câu, ký tự đặc biệt, chuẩn hóa chữ thường, và loại bỏ stopword nhằm giảm nhiễu và kích thước tập từ vựng.

Phương pháp phân tích bao gồm:

• Tiền xử lý dữ liệu: Chuẩn hóa và trích xuất đặc trưng bằng TF-IDF và Word2Vec.
• Xây dựng mô hình học sâu: Huấn luyện các mô hình CNN, LSTM, CNN-LSTM và MultiCNN-LSTM trên tập dữ liệu đã xử lý.
• Đánh giá mô hình: Sử dụng các chỉ số Accuracy, Precision, Recall và F1-score để so sánh hiệu quả các mô hình.
• Triển khai ứng dụng web: Ứng dụng mô hình đã huấn luyện để phân tích ý kiến người dùng theo khía cạnh trực tiếp trên giao diện web.

Quá trình nghiên cứu kéo dài trong khoảng thời gian từ năm 2019 đến 2021, với các giai đoạn thu thập dữ liệu, xây dựng mô hình, thực nghiệm và triển khai ứng dụng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình MultiCNN-LSTM vượt trội: Mô hình MultiCNN-LSTM đạt độ đo F1 trung bình trên bộ dữ liệu VLSP 2018 cao hơn khoảng 5-7% so với các mô hình CNN hoặc LSTM đơn lẻ, với F1-score đạt khoảng 78%. Điều này chứng tỏ sự kết hợp giữa CNN và LSTM giúp khai thác hiệu quả đặc trưng cục bộ và phụ thuộc dài hạn trong văn bản.

2. Xác định khía cạnh chính xác: Mô hình đề xuất có khả năng nhận diện chính xác 12 khía cạnh khác nhau trong bình luận, với độ chính xác trung bình trên 80%, trong đó khía cạnh Food#Quality và Service#General được nhận dạng tốt nhất với độ chính xác lần lượt là 85% và 83%.

3. Phân tích ý kiến theo khía cạnh hiệu quả: Mô hình phân loại ý kiến tích cực, tiêu cực và trung tính theo từng khía cạnh đạt độ chính xác trên 75%, giúp phân biệt rõ ràng thái độ người dùng đối với từng khía cạnh cụ thể.

4. Tiết kiệm thời gian và chi phí xử lý: So với phương pháp thủ công, việc áp dụng mô hình học sâu giúp giảm thời gian phân tích bình luận xuống còn khoảng 30% thời gian ban đầu, đồng thời giảm chi phí nhân lực đáng kể.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu quả cao của mô hình MultiCNN-LSTM là do sự kết hợp hài hòa giữa khả năng trích xuất đặc trưng cục bộ của CNN và khả năng mô hình hóa chuỗi dài hạn của LSTM. So với các nghiên cứu trước đây chỉ sử dụng một trong hai mô hình, kết quả này cho thấy mô hình kết hợp có khả năng tổng quát hóa tốt hơn trên dữ liệu tiếng Việt đa dạng và phức tạp.

Kết quả cũng phù hợp với các nghiên cứu quốc tế về phân tích ý kiến theo khía cạnh, đồng thời mở rộng ứng dụng cho ngôn ngữ tiếng Việt, vốn có nhiều đặc thù về cú pháp và ngữ nghĩa. Việc sử dụng bộ dữ liệu thực tế từ VLSP 2018 giúp mô hình có tính ứng dụng cao trong thực tế, đặc biệt trong các lĩnh vực thương mại điện tử và dịch vụ khách hàng.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh độ đo F1 giữa các mô hình, bảng thống kê độ chính xác từng khía cạnh, và biểu đồ phân bố tỷ lệ ý kiến tích cực, tiêu cực theo từng khía cạnh, giúp trực quan hóa hiệu quả mô hình.

Đề xuất và khuyến nghị

1. Triển khai mô hình MultiCNN-LSTM vào hệ thống thương mại điện tử: Động từ hành động là "tích hợp", mục tiêu là nâng cao khả năng phân tích ý kiến người dùng theo khía cạnh, thời gian thực hiện trong vòng 6 tháng, chủ thể thực hiện là các công ty phát triển nền tảng thương mại điện tử.

2. Phát triển bộ dữ liệu đa dạng hơn cho tiếng Việt: Đề xuất "mở rộng" bộ dữ liệu với các lĩnh vực khác như khách sạn, du lịch, dịch vụ công, nhằm cải thiện khả năng tổng quát của mô hình, thời gian thực hiện 12 tháng, chủ thể là các viện nghiên cứu và trường đại học.

3. Tối ưu hóa mô hình để giảm thời gian huấn luyện và phân tích: Khuyến nghị "tối ưu" thuật toán và cấu trúc mạng nhằm giảm thiểu tài nguyên tính toán, nâng cao tốc độ xử lý, thời gian thực hiện 3-6 tháng, chủ thể là nhóm nghiên cứu và kỹ sư AI.

4. Xây dựng giao diện người dùng thân thiện cho ứng dụng phân tích ý kiến: Động từ hành động là "thiết kế" giao diện trực quan, dễ sử dụng cho người không chuyên, giúp mở rộng phạm vi ứng dụng, thời gian thực hiện 4 tháng, chủ thể là nhóm phát triển phần mềm.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành công nghệ thông tin, trí tuệ nhân tạo: Học hỏi phương pháp kết hợp mô hình học sâu trong xử lý ngôn ngữ tự nhiên, áp dụng cho các bài toán phân tích ý kiến và phân loại văn bản.

2. Doanh nghiệp thương mại điện tử và mạng xã hội: Áp dụng mô hình để tự động phân tích phản hồi khách hàng, nâng cao chất lượng dịch vụ và chiến lược marketing.

3. Các tổ chức nghiên cứu thị trường và phân tích dữ liệu: Sử dụng phương pháp để khai thác thông tin từ dữ liệu lớn, đánh giá xu hướng và thái độ người tiêu dùng.

4. Nhà phát triển phần mềm và kỹ sư AI: Tham khảo kiến trúc mô hình MultiCNN-LSTM và quy trình xây dựng ứng dụng phân tích ý kiến người dùng theo khía cạnh, từ đó phát triển các sản phẩm tương tự.

Câu hỏi thường gặp

1. Phân tích ý kiến người dùng theo khía cạnh là gì?
   Là quá trình xác định các khía cạnh cụ thể được đề cập trong bình luận và phân loại thái độ (tích cực, tiêu cực, trung tính) của người dùng đối với từng khía cạnh đó. Ví dụ, trong bình luận về nhà hàng, khía cạnh có thể là chất lượng món ăn, dịch vụ, giá cả.

2. Tại sao kết hợp CNN và LSTM lại hiệu quả hơn?
   CNN giúp trích xuất các đặc trưng cục bộ như các cụm từ quan trọng, trong khi LSTM mô hình hóa các phụ thuộc dài hạn trong chuỗi văn bản. Sự kết hợp này giúp mô hình hiểu sâu sắc hơn về ngữ cảnh và cấu trúc của bình luận.

3. Bộ dữ liệu VLSP 2018 có đặc điểm gì nổi bật?
   Bộ dữ liệu gồm khoảng 4,751 đoạn bình luận thực tế về nhà hàng tại Việt Nam, được gán nhãn chi tiết về khía cạnh và ý kiến, giúp mô hình học sâu có dữ liệu phong phú và đa dạng để huấn luyện.

4. Các chỉ số đánh giá mô hình được sử dụng như thế nào?
   Độ chính xác (Accuracy) đo tỷ lệ dự đoán đúng, Precision đo tỷ lệ dự đoán đúng trên tổng dự đoán, Recall đo tỷ lệ dự đoán đúng trên tổng nhãn thực tế, và F1-score là trung bình điều hòa của Precision và Recall, phản ánh hiệu quả tổng thể của mô hình.

5. Ứng dụng thực tế của mô hình này là gì?
   Mô hình có thể được tích hợp vào các hệ thống thương mại điện tử, mạng xã hội để tự động phân tích phản hồi khách hàng, giúp doanh nghiệp hiểu rõ hơn về nhu cầu và thái độ người dùng, từ đó cải thiện sản phẩm và dịch vụ.

Kết luận

• Luận văn đã phát triển thành công mô hình học sâu MultiCNN-LSTM kết hợp ưu điểm của CNN và LSTM để phân tích ý kiến người dùng theo khía cạnh trên dữ liệu tiếng Việt.
• Mô hình đạt hiệu quả cao với độ đo F1 trung bình khoảng 78%, vượt trội so với các mô hình đơn lẻ.
• Nghiên cứu góp phần mở rộng ứng dụng học sâu trong xử lý ngôn ngữ tự nhiên cho tiếng Việt, đặc biệt trong lĩnh vực thương mại điện tử và mạng xã hội.
• Kết quả thực nghiệm trên bộ dữ liệu VLSP 2018 chứng minh tính khả thi và ứng dụng thực tiễn của mô hình.
• Các bước tiếp theo bao gồm mở rộng bộ dữ liệu, tối ưu mô hình và triển khai ứng dụng rộng rãi trong các hệ thống phân tích ý kiến người dùng.

Mời quý độc giả và các nhà nghiên cứu tiếp tục khám phá và ứng dụng mô hình này để nâng cao hiệu quả phân tích dữ liệu người dùng trong nhiều lĩnh vực khác nhau.

Trích đoạn nội dung tài liệu

Chương 1. Tổng quan về lĩnh vực nghiên cứu. Cơ sở lý thuyết và các nghiên cứu liên quan. Mô hình đề xuất.

Thực nghiệm, đánh giá kết quả. ❖ Chương 5: Kết quả và hướng phát triển. 15 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN Trong chương này, chúng tôi sẽ giới thiệu tổng quan về kỹ thuật, phương pháp trong xử lý ngôn ngữ tự nhiên (NLP) để giải quyết các bài toán cơ bản của Trí tuệ nhân tạo, áp dụng NLP vào phân tích ý kiến người dùng theo khía cạnh bằng phương pháp học sâu, 2.1 Xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên (NLP) là một trong số những bài toán cơ bản của Trí tuệ nhân tạo. Các ứng dụng phổ biến của NLP bao gồm: ứng dụng giám sát mạng xã hội, chatbot, và tổng đài trả lời tự động, Phân tích ý kiến theo khía cạnh,.

1: Xử lý ngôn ngữ tự nhiên (NLP) là một trong số những bài toán cơ bản của Trí tuệ nhân tạo1 2.2 Biểu diễn từ Word2Vec là 1 trong những mô hình đầu tiên về Word Embedding sử dụng mạng neural, vẫn khá phổ biến ở thời điểm hiện tại, có khả năng vector hóa từng từ dựa trên tập các từ chính và các từ văn cảnh. Về mặt toán học, thực chất Word2Vec là việc ánh xạ từ từ 1 tập các từ (vocabulary) sang 1 không gian vector, mỗi vector được biểu diễn bởi n số thực. Mỗi từ ứng với 1 vector cố định. Sau quá trình huấn luyện mô hình bằng 1 https://seal.vn/xu-ly-ngon-ngu-tu-nhien-voi-python-phan-1/ 16 thuật toán backprobagation, trọng số các vector của từng từ được cập nhật liên tục.

Từ đó, ta có thể thực hiện tính toán bằng các khoảng cách quen thuộc như euclide, cosine, manhattan, ,., những từ càng "gần" nhau về mặt khoảng cách thường là các từ hay xuất hiện cùng nhau trong văn cảnh, các từ đồng nghĩa, các từ thuộc cùng 1 trường từ vừng, .1 One hot vector - Cách truyền thống nhất để đưa dữ liệu hạng mục về dạng số là mã hóa one- hot. Một mã hóa nóng nhất là biểu diễn các biến phân loại dưới dạng vectơ nhị phân. - Điều này đầu tiên yêu cầu các giá trị phân loại phải được ánh thành các giá trị số nguyên. - Sau đó, mỗi giá trị số nguyên được biểu diễn dưới dạng vectơ nhị phân có tất cả các giá trị bằng không ngoại trừ chỉ số của số nguyên, được đánh dấu bằng 1.2 Cbow CBOW model: ý tưởng chính của CBOW là dựa vào các context word (hay các từ xung quanh) để dự đoán center word (từ ở giữa).

CBOW có điểm thuận lợi là training mô hình nhanh hơn so với mô hình skip-gram, thường cho kết quả tốt hơn với frequence words (hay các từ thường xuất hiện trong văn cảnh). 2: Mô hình CBOW tổng quát 2 2.3 Skip gram Skip-gram thì ngược lại với CBOW, dùng target word để dự đoán các từ xung quanh. Skip-gram huấn luyện chậm hơn. Thường làm việc khá tốt với các tập data nhỏ, đặc biệt do đặc trưng của mô hình nên khả năng vector hóa cho các từ ít xuất hiện tốt hơn CBOW.net/mo-hinh-cbow-continuous-bag-of-words.

3: Mô hình skip-gram tổng quát 3 2.3 Học Máy (Machine Learning) Trí tuệ nhân tạo (Artificial Intelligence) là các kỹ thuật giúp cho máy tính thực hiện được những công việc của con người chúng ta. Trí tuệ nhân tạo đang len lỏi vào mọi lĩnh vực trong đời sống mà có thể chúng ta không nhận ra. Xe tự hành của Tesla và Google, hệ thống tự tag khuôn mặt trong ảnh của Facebook, trợ lý ảo Siri của Apple, hệ thống gợi ý phim của Netflix, hệ thống gợi ý sản phẩm của Amazon, Lazada, máy chơi cờ vây AlphaGo của Google DeepMind, …, chỉ là một vài trong vô vàn những ứng dụng của AI/Machine Learning.net/mo-hinh-skip-gram. 4: Lịch sử ra đời của Trí tuệ nhân tạo, học máy và học sâu 4 Học máy có thể được chia thành ba loại chính dựa trên cách tiếp cận của chúng để giải quyết từng bài toán khác nhau.

Trong đó: Học không giám sát (unsupervised learning): là một phương pháp của ngành học máy nhằm tìm ra một mô hình mà phù hợp với các quan sát. Khác với phương pháp học máy có giám sát, phương pháp học không có giám sát là dạng học máy trong đó các ví dụ được cung cấp nhưng không có giá trị đầu ra hay giá trị đích (hay nói cách khác, dữ liệu huấn luyện không được gán nhãn phân loại). Thay vì xác định giá trị đích, thuật toán học máy dựa trên độ tương tự giữa các ví dụ để xếp chúng thành những nhóm, mỗi nhóm gồm các ví dụ tương tự nhau. Hình thức học không giám sát như vậy gọi là phân cụm.

Tuy nhiên trong nghiên cứu này chúng tôi không sử dựng phương pháp học không có giám sát. Học có giám sát (supervised learning): là một kĩ thuật của ngành học máy để xây dựng một hàm (function) từ dữ liệu huấn luyện. Dữ liệu huấn luyện bao gồm các cặp gồm đối tượng đầu vào (thường dạng vec-tơ), và đầu ra mong muốn. Đầu ra của một 4 https://www.com/phan-biet-ai-machine-learning-va-deep-learning/ 20 hàm có thể là một giá trị liên tục (gọi là hồi quy), hay có thể là dự đoán một nhãn phân loại cho một đối tượng đầu vào (gọi là phân loại).

Nhiệm vụ của chương trình học có giám sát là dự đoán giá trị của hàm cho một đối tượng bất kì là đầu vào hợp lệ, sau khi đã xét một số ví dụ huấn luyện (nghĩa là, các cặp đầu vào và đầu ra tương ứng). Để đạt được điều này, chương trình học phải tổng quát hóa từ các dữ liệu sẵn có để dự đoán được những tình huống chưa gặp phải theo một cách "hợp lí". Học có giám sát có thể tạo ra 2 loại mô hình. Phổ biến nhất, học có giám sát tạo ra một mô hình toàn cục để ánh xạ đối tượng đầu vào đến đầu ra mong muốn.

Tuy nhiên, trong một số trường hợp, việc ánh xạ được thực hiện dưới dạng một tập các mô hình cục bộ. Học tăng cường (reinforcement learning): là một cách "học" đang trở nên vô cùng phổ biến hiện nay. Trong học tăng cường, AI sẽ được thưởng dựa trên những gì nó làm được. Học tăng cường có thể giúp máy móc đạt được những khả năng nhỏ hiểu được làm sao để chơi một game máy tính thông qua một quá trình thử và lỗi (trial-and-error), dựa trên việc nghiên cứu làm cách nào để tăng điểm số của mình.4 Học Sâu (Deep Learning) Deep Learning là một nhánh của Machine Learning sử dụng mạng lưới thần kinh với nhiều lớp.

Một mạng lưới thần kinh sâu phân tích dữ liệu với những biểu diễn đã học tương tự như cách một người nhìn vào một vấn đề. Với Machine Learning truyền thống, thuật toán được cung cấp một tập hợp các tính năng có liên quan để phân tích.4 mô tả tập hợp định nghĩa giữa các định nghĩa khi nói về Trí tuệ nhân tạo. Tuy nhiên, trong nghiên cứu sâu, thuật toán được cung cấp dữ liệu thô và tự quyết định các tính năng có liên quan. Mạng Deep Learning thường sẽ cải thiện khi bạn tăng lượng dữ liệu được sử dụng để huấn luyện chúng.

5: Học sâu (Deep Learning) có tiềm năng ứng dụng rất lớn 5 Sự đột phá của các công nghệ Deep Learning được ứng dụng ngày càng nhiều bởi các doanh nghiệp để tạo ra các mô hình kinh doanh mới và xây dựng những ứng dụng mới mẻ để giải quyết những bài toán thực tế, trong đó phải kể đến những ứng dụng có nhiều tiềm năng thương mại hóa sau: a. Nhận dạng giọng nói b. Nhận dạng hình ảnh c. Xử lý ngôn ngữ tự nhiên d.

Khám phá dược phẩm và độc chất học e. Hệ thống gợi ý trên các nền tảng 2.1 Mạng notron nhận tạo Mạng nơ-ron nhân tạo (Artificial Neural Networks - ANN) là mạng lưới thần kinh được liên kết đầy đủ giữa các lớp với nhau. ANN được ra đời xuất phát từ ý tưởng mô phỏng hoạt động của não bộ con người. Kiến trúc của một mạng nơ-ron nhân tạo gồm ba thành phần: lớp đầu vào, các lớp ẩn và lớp đầu ra.

Trên mỗi lớp có các nốt được thể hiện như các nơ-ron thần kinh, mỗi nốt trong một lớp thì liên kết với tất cả các nốt trong 5 https://longvan.net/deep-learning-la-gi-ung-dung-cua-deep-learning.html 22 lớp tiếp theo. Trong một mạng nơ-ron nhân tạo thì số lớp ẩn là không giới hạn và số lượng các nốt trên mỗi lớp cũng không giới hạn. 6: Kiến trúc mạng nơ-ron nhân tạo 6 Nếu chúng ta tiến hành đi sâu vào xem xét từng nốt trong các lớp của mạng nơ-ron nhân tạo, chúng ta sẽ thấy được rằng, độ lớn trọng số của nốt hiện đang xét sẽ là tổng các độ lớn trọng số của các nốt thuộc lớp đầu vào trước đó và chuyển qua hàm kích hoạt phi tuyến tính để tính toán trọng số. Các nốt này được xem là đầu ra của lớp trước đó và đồng thời cũng là đầu vào cho các lớp tiếp theo.

Trong quá trình huấn luyện, mạng nơ-ron thần kinh sẽ tiến hành tính toán và tối ưu hóa các trọng số đối với từng nốt trong mạng.com/bai-3-neural-network/ 23 Hình 2. 7: Cấu trúc trong từng nốt của mạng nơ-ron nhân tạo 7 2.2 Mô hình Long short-term Memory Long short-term memory (LSTM – Mạng nơ-ron hồi quy LSTM) là một trong những mô hình Deep Learning trong công nghệ Trí tuệ nhân tạo. LSTM ra đời với ý tưởng chính là sử dụng một bộ nhớ để lưu lại thông tin từ từ những bước tính toán xử lý trước để dựa vào nó có thể đưa ra dự đoán chính xác nhất cho bước dự đoán hiện tại dựa trên các hạn chế của kiến trúc trước đó là RNN. Cơ bản thì nó là một mạng neural hồi quy là một mạng neural chứa một vòng lặp bên trong nó.

Nhiều mô hình dự báo đã cho kết quả tốt khi sử dụng LSTM vì nó có khả năng học được các phụ thuộc xa. LSTM xuất hiện năm 1997, sau đó đã được cải tiến và phổ biến rộng rãi như hiện nay. 8: Mô tả một đoạn mạng nơ-ron hồi quy.8 Hình trên mô tả một đoạn của mạng nơ-ron hồi quy A với xt là đầu vào và ht là đầu ra. Một vòng lặp cho phép thông tin có thể được truyền từ bước này sang bước khác.

Một mạng nơ-ron hồi quy có thể được coi là nhiều bản sao chép của cùng một mạng, 7 https://www.com/community/tutorials/deep-learning-python 8 https://dominhhai.io/vi/2017/10/what-is-lstm/ 24 trong đó mỗi đầu ra của mạng này là đầu vào của một mạng sao chép khác. Các mô hình mạng nơ-ron hồi quy (RNN) tích hợp các nhiệm vụ mà nó yêu cầu dự đoán đầu ra của thời điểm t dựa vào thông tin có được tại thời điểm t-1.