Luận văn: Khai phá dữ liệu văn bản trên thiết bị di động sử dụng dịch vụ đám mây

Luận văn khai thác dữ liệu văn bản trên di động, ứng dụng dịch vụ đám mây để phân tích cảm xúc và xây dựng công cụ đánh giá phản hồi của khách hàng.

Chuyên ngành

Kỹ Thuật Phần Mềm

Người đăng

Ẩn danh

Thể loại

Luận Văn Tốt Nghiệp Thạc Sĩ

2017

75
1
0

Phí lưu trữ

30 Point

Tóm tắt

I. Khái niệm khai thác dữ liệu văn bản trên di động

Khai thác dữ liệu văn bản là quá trình tự động phát hiện, trích xuất và phân tích thông tin từ các tài liệu văn bản không có cấu trúc. Trên nền tảng thiết bị di động, kỹ thuật này cho phép người dùng xử lý và khai thác dữ liệu trực tiếp từ điện thoại, máy tính bảng mà không cần máy chủ cục bộ phức tạp. Sự kết hợp giữa dịch vụ đám mây và khai thác dữ liệu tạo ra giải pháp hiệu quả, tiết kiệm chi phí và dễ tiếp cận. Điều này đặc biệt quan trọng trong bối cảnh kinh tế số, khi doanh nghiệp cần phân tích khối lượng văn bản khổng lồ từ mạng xã hội, email, và các nguồn dữ liệu khác một cách nhanh chóng.

1.1. Định nghĩa khai thác dữ liệu văn bản

Text Mining là quá trình khám phá các mẫu có ý nghĩa từ dữ liệu văn bản. Nó áp dụng các thuật toán xử lý ngôn ngữ tự nhiên (NLP) để trích xuất thông tin, phân tích cảm xúc, phân loại tài liệu và nhận diện các thực thể có tên. Trên di động, quy trình này được tối ưu hóa để hoạt động với tài nguyên hạn chế, cho phép người dùng thực hiện các tác vụ phân tích phức tạp ngay trên thiết bị của họ.

1.2. Vai trò của dịch vụ đám mây

Dịch vụ đám mây (Cloud Computing) cung cấp cơ sở hạ tầng mạnh mẽ để xử lý dữ liệu lớn (Big Data). Các dịch vụ như IaaS, PaaS, SaaS cho phép ứng dụng di động kết nối với các máy chủ từ xa, sử dụng công suất tính toán cao mà không tốn kém. Điều này giúp tối ưu hiệu suấtgiảm tải cho thiết bị di động, đồng thời đảm bảo bảo mậtđộ tin cậy của dữ liệu.

II. Quy trình khai thác dữ liệu văn bản sử dụng đám mây

Quy trình khai thác dữ liệu thường tuân theo mô hình CRISP-DM (Cross-Industry Standard Process for Data Mining), bao gồm các giai đoạn: hiểu biết kinh doanh, chuẩn bị dữ liệu, mô hình hóa, đánh giá và triển khai. Trên nền tảng di động kết hợp đám mây, quy trình này được tối ưu hóa thành các bước nhỏ hơn, cho phép xử lý dữ liệu thời gian thực. Đầu tiên, ứng dụng di động thu thập dữ liệu từ các nguồn như mạng xã hội, email, hoặc cơ sở dữ liệu cục bộ. Sau đó, dữ liệu được gửi đến máy chủ đám mây để xử lý, áp dụng các thuật toán khai thác như máy vectơ hỗ trợ (SVM) hoặc mạng nơ-ron nhân tạo (ANN). Cuối cùng, kết quả được trả về thiết bị di động để hiển thị và phân tích thêm.

2.1. Giai đoạn thu thập và xử lý dữ liệu

Thu thập dữ liệu trên di động có thể từ nhiều nguồn: API từ mạng xã hội, cơ sở dữ liệu cục bộ, hoặc cảm biến. Xử lý dữ liệu bao gồm làm sạch, loại bỏ dữ liệu trùng lặp và chuẩn hóa định dạng. Sử dụng dịch vụ đám mây, các tác vụ nặng được phân tán trên nhiều máy chủ, giảm thời gian xử lý và tiết kiệm pin thiết bị.

2.2. Áp dụng thuật toán khai thác

Các thuật toán như Phân tích Dirichlet Tiềm ẩn (LDA), Nhận diện Thực thể Có tên (NER), và Phân tích Cảm xúc được thực hiện trên máy chủ đám mây. Những thuật toán này yêu cầu lực tính toán cao, do đó sử dụng điện toán đám mây là lựa chọn tối ưu. Kết quả được tối ưu hóa trước khi gửi về di động để hiển thị nhanh.

III. Phân tích cảm xúc và ý kiến trên di động

Phân tích cảm xúc (Sentiment Analysis) là một ứng dụng quan trọng của khai thác dữ liệu văn bản, giúp doanh nghiệp hiểu được cảm nhận của khách hàng đối với sản phẩm hoặc dịch vụ. Trên nền tảng di động sử dụng dịch vụ đám mây, ứng dụng có thể phân tích tập lượng lớn bình luận, đánh giá từ các nguồn khác nhau. Quy trình bao gồm ba bước chính: tiền xử lý văn bản (loại bỏ ký tự đặc biệt, chuẩn hóa), trích xuất đặc trưng (xác định các từ khóa quan trọng), và phân loại cảm xúc (xác định tình cảm tích cực, tiêu cực hoặc trung lập). Sử dụng dịch vụ đám mây, các ứng dụng di động có thể xử lý dữ liệu thời gian thực và cung cấp insights kịp thời cho các nhà quản lý.

3.1. Các mức phân tích cảm xúc

Phân tích cảm xúc cấp văn bản xác định tình cảm chung của toàn bộ tài liệu. Phân tích cấp câu tập trung vào từng câu riêng lẻ. Phân tích cấp khía cạnh xác định cảm xúc đối với các khía cạnh cụ thể của sản phẩm. Mỗi mức phân tích yêu cầu độ phức tạp tính toán khác nhau, và dịch vụ đám mây cho phép xử lý song song hiệu quả.

3.2. Ứng dụng thực tiễn trên di động

Ứng dụng di động có thể phân tích phản hồi khách hàng ngay khi nhân được. Các doanh nghiệp sử dụng dịch vụ đám mây như AWS, Google Cloud, IBM Watson để xử lý khối lượng lớn dữ liệu và cung cấp báo cáo real-time. Điều này giúp cải thiện dịch vụ khách hàngtăng cường chiến lược marketing.

IV. Công cụ và công nghệ hỗ trợ khai thác dữ liệu trên di động

Hiện nay, có nhiều công cụ và nền tảng hỗ trợ khai thác dữ liệu văn bản trên di động thông qua dịch vụ đám mây. Google Cloud Natural Language cung cấp API mạnh mẽ cho phân tích văn bản, cảm xúc và nhận diện thực thể. IBM Watson cung cấp dịch vụ phân tích nâng cao với máy học (machine learning). AWS cung cấp Amazon Comprehend để phân tích văn bản và cảm xúc. Các công cụ mã nguồn mở như Apache Spark, Hadoop cho phép doanh nghiệp xây dựng giải pháp tùy chỉnh. Khi chọn công cụ, cần xem xét chi phí, độ chính xác, khả năng mở rộng, bảo mật dữ liệuhỗ trợ kỹ thuật. Sự phát triển của công nghệ 5G sẽ giúp truyền dữ liệu nhanh hơn, nâng cao hiệu suất ứng dụng di động.

4.1. So sánh các dịch vụ đám mây hàng đầu

Google Cloud nổi bật với khả năng xử lý ngôn ngữ tự nhiên mạnh mẽtích hợp dễ dàng. AWS cung cấp dịch vụ toàn diện với chi phí cạnh tranh. IBM Watson chuyên về AI và học máy. Mỗi dịch vụ có mức giá khác nhau, với thỏa thuận mức dịch vụ (SLA) đảm bảo độ sẵn có cao. Lựa chọn phù hợp phụ thuộc vào nhu cầu cụ thể của dự án.

4.2. Hướng phát triển tương lai

Khai thác dữ liệu văn bản sẽ tiếp tục phát triển với sự xuất hiện của mô hình ngôn ngữ lớn (LLM) như GPT, BERT. Công nghệ 5G sẽ cho phép xử lý dữ liệu real-time hiệu quả hơn. Edge Computing sẽ giảm độ trễtăng bảo mật dữ liệu. Tương lai là sự kết hợp hoàn hảo giữa di động, đám mây và trí tuệ nhân tạo.

28/12/2025

Trích đoạn nội dung tài liệu

LỜI MỞ ĐẦU Trong hoản cảnh ngảnh công nghệ thông tin phát triển mạnh mẽ như hiện nay, các thiết bị thông tin trở thành một phân quan trọng trong đời sống cũng như giao tiếp của con người. Việc sử dụng rộng rãi các thiết bị thông tin trong đời sống và giao tiếp khiển cho lượng dữ liệu mà con người tạo ra ngảy càng lớn. Với lượng dữ liệu không. lỗ đó, việc tìm kiếm thông tin trở nên khó khăn hơn.

Vì vậy nhu câu của việc khai phả dữ liệu để trích xuất được các thông tin hữu ích của người dùng từ một lượng dữ liệu không lỗ là vô cùng cản thiết. Khai phá dữ liệu là một khái niệm trong đó bao gồm. nhiêu lĩnh vực khác nhau, khai thác ý kiến và phân tích cảm xúc là một trong số các lĩnh vực của khai phá đữ liệu. Việc khai thác ý kiến và phân tích cảm xúc đã được nghiên cứu và triển khai trên máy tính bởi một số các doanh nghiệp nhằm mục dich thu thập phản hỏi từ khách hàng.

Tuy nhiên, việc triển khai trên thiết bị di động con gap khó khăn do hạn chế về tải nguyên của thiết bị di đồng. Với sự phát triển công nghệ như hiện nay, việc triển khai khai thác ý kiến và phân tích cảm xúc trên thiết bị di động. trở nên đề dàng hơn dưới sự hỗ trợ của các dịch vụ đám mây. Do đó, sau thời gian nghiên cứu, em đã được nhận đề tài luận văn tốt nghiệp rất thực tế đó là: “Khai phá dữ liệu văn bản trên thiết bị di động sử dụng các dịch vụ dam Lĩnh vực khai phả dữ liệu là một lĩnh vực rộng lớn và phức tạp, do giới hạn vẻ thời gian và năng lực nên em xin tập trung vào bài toản khai thác ÿ kiến và phân tích cảm xúc trong khai phá đữ liệu văn bản.

Luận văn đề xuất phương pháp khai phá dữ liệu sử dụng dịch vụ dam may áp dụng cho các thiết bị dì động nhằm khắc phục các hạn chế về bộ nhớ và tài nguyên. Để tiện theo dõi em xm trình bảy đẻ tài theo 5 phan chỉnh như sau: ~_ Phần đầu là giới thiệu tông quan vẻ khai phá dữ liệu ~_ Phần thử hai lả giới thiệu lý thuyết điện toán đám mây. ~_ Phân thứ ba là giới thiệu lý thuyết của khai thác ý kiền và phân tích cảm xúc - Phan thir tu bao gém bài toán đề xuất, cơ sở xây dung và kết quả đạt được. Học viên thực hiện: Nguyên Thị Thủy Hằng-CB140147-2014B-KTPM 9 LỜI CẢM ƠN Trong quả trình học tập, nghiên cửu và thực hiện luận văn thạc sỹ, tôi đã nhận được nhiều sự hồ trợ, đóng góp nhiệt tình của các cá nhân vả tỏ chức tạo điều kiện cho tôi hoàn thành luận văn nảy.

Qua đây tôi cũng xin gửi lời cảm ơn chân thành, sâu sắc tới các cá nhân và tập thẻ đã giúp đỡ tôi trong thời gian vừa qua. Trước hết, tôi xin chan thành cảm on thay giao PGS.TS Cao Tuan Dũng, Viện Công Nghệ Thông Tin, Trường Dai Học Bách Khoa Hà Nội là người đã trực tiếp hướng dân, nhận xét và giúp đỡ tôi trong suốt quá trình thực hiện luân văn nảy. Tôi xin chân thảnh cảm ơn các thầy cô trong Viện Công Nghệ Thông Tin, các thay cô trong Viện Đảo Tạo Sau Đại Học đã giúp đỡ, tạo điều kiện và hướng dẫn tôi trong suốt thời gian học tập tại trường. Cuối củng, tôi xin chân thành cảm ơn gia đình, bạn bẻ và đồng nghiệp, những người đã gắn bỏ cùng tôi trong suốt thời gian học tập và thực hiện luận văn vả tạo điều kiện cho tôi thực hiện tốt luận văn này.

Do thời gian thực hiện có hạn và hạn chế về kiến thức chuyên ngành nên luận văn của tôi còn nhiều thiêu sót. Mong nhận được các ý kiên đóng góp của các thay c6 để luận văn của tôi được hoản thiện hơn Tôi xin chân thanh cam on! Hà Nội, ngày 01 tháng 11 năm 2017 Học viên Nguyễn Thị Thúy Hằng Học viên thực hiện: Nguyên Thị Thủy Hằng-CB140147-2014B-KTPM 5 LỜI CẢM ƠN Trong quả trình học tập, nghiên cửu và thực hiện luận văn thạc sỹ, tôi đã nhận được nhiều sự hồ trợ, đóng góp nhiệt tình của các cá nhân vả tỏ chức tạo điều kiện cho tôi hoàn thành luận văn nảy. Qua đây tôi cũng xin gửi lời cảm ơn chân thành, sâu sắc tới các cá nhân và tập thẻ đã giúp đỡ tôi trong thời gian vừa qua. Trước hết, tôi xin chan thành cảm on thay giao PGS.TS Cao Tuan Dũng, Viện Công Nghệ Thông Tin, Trường Dai Học Bách Khoa Hà Nội là người đã trực tiếp hướng dân, nhận xét và giúp đỡ tôi trong suốt quá trình thực hiện luân văn nảy.

Tôi xin chân thảnh cảm ơn các thầy cô trong Viện Công Nghệ Thông Tin, các thay cô trong Viện Đảo Tạo Sau Đại Học đã giúp đỡ, tạo điều kiện và hướng dẫn tôi trong suốt thời gian học tập tại trường. Cuối củng, tôi xin chân thành cảm ơn gia đình, bạn bẻ và đồng nghiệp, những người đã gắn bỏ cùng tôi trong suốt thời gian học tập và thực hiện luận văn vả tạo điều kiện cho tôi thực hiện tốt luận văn này. Do thời gian thực hiện có hạn và hạn chế về kiến thức chuyên ngành nên luận văn của tôi còn nhiều thiêu sót. Mong nhận được các ý kiên đóng góp của các thay c6 để luận văn của tôi được hoản thiện hơn Tôi xin chân thanh cam on! Hà Nội, ngày 01 tháng 11 năm 2017 Học viên Nguyễn Thị Thúy Hằng Học viên thực hiện: Nguyên Thị Thủy Hằng-CB140147-2014B-KTPM 5 LỜI CAM ĐOAN Tôi xin cam đoan: 1.

Những nội dung trong luận văn nảy là công trình nghiên cứu của tôi đưới sự hướng. dan trực tiếp của T8. Cao Tuân Dũng. Mọi tham khảo dùng trong luận văn đều được trích dần rõ ràng tên tác giả, tên công, trình, thời gian, địa điểm công bỏ.

Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai công bố trong bat kỳ công trình nảo khác. Mọi sao chép không hợp lẻ, vi phạm quy chế đảo tạo, hay gian trá, tỏi xin chịu hoàn toàn trách nhiệm. Ha Néi, ngay 15 thang 10 năm 2017 Tac giả luận van Nguyễn Thị Thủy Hằng, Học viên thực hiện: Nguyên Thị Thủy Hằng-CB140147-2014B-KTPM 4 DANH MỤC CAC BANG BIEU Bảng 1: Đánh giá kết quả của hệ thống - coe 3 Bang 2: So sánh kết quả giữa dịch vụ của Google và IBM. sacieeruveie I Học viên thực hién: Nguyén Thi Thuy Hang-CB140147-2014B-KTPM 8 ~_ Phân cuối củng lả kết luận sau khi lâm luận văn và định hướng phát triển Trong quả trinh thực hiện, tuy được sự giúp đỡ nhiệt tỉnh của thảy PGS.TS Cao Tuan Dũng là giảng viên Viện công nghệ thông tin và truyền thông — giáo viên hướng dần nhưng với trình độ, thời gian cỏ hạn, tài liệu tham khảo hạn chế nên có thể có nhiều thiểu sót, rất mong được các thây cô vả bạn bẻ góp ý để luận văn của em được tốt hơn.

Học viên thực hiện: Nguyên Thị Thủy Hằng-CB140147-2014B-KTPM 10 DANH MỤC CÁC TỪ VIET TAT VÀ THUẬT NGỮ STT [|Từvittất Y nghĩa 1 CRISP | CrossIndusry Standard Process (Quy trình xử lý dữ liệu công nghiệp chuẩn) 2 SEMMA _| Sample, Explore, Modify, Model, and Assess 3 CRISP- | Cross-Industry Standard Process for Data Mining DM __ | (Quy trình xử lý dữ liệu công nghiệp chuẩn cho khai phá dữ liêu) 4 ANN Artificial Neural Networks (Mang no ron nhan tao) 5 SAS _| Statistical Analysis System (Hé thong phan tich thong ké) 6 PE Processing Element (Yeu to xt ly) 7 TaaS Infrastructure as a Service (Dich vu co sé ha tang) 8 PaaS Platform as a Service (Dich vụ nên tảng) 9 SaaS Software as a Service (Dich vuphan mem) 10 ASP | Application Service Provider (Nha cung cap dich vu l1 C2 ting dung) Elastic Compute Cloud (Dam mây tỉnh toán đàn hồi) 12 SLA Service-Level Agreement (Thỏa thuận mức dich vu) 13 NER | Named Eniity Recogniion (Nhận đạng tên thực thẻ) 14 POS Part of Speech (Từ loại) 15 SVM __| Support Vector Machine (May veetor hé tro) 16 HMM Hidden Markov Model (M6 hinh Markov an) 17 CRF Conditional random Fields (Trường điều kiện ngâu. nhiên) 18 pLSA Probabilistic Latent Semantic Analysis (Phân tích xác suất ngữ nghĩa tiêm an) 19 LDA Latent Dirichlet allocation (Phan bo Dirichlet tiém an) 20 | Amazon $3 | Amazon Simple Storage Service (Dich vụ lưu trữ của Amazon) Học viên thực hiện: Nguyên Thị Thủy Hằng-CB140147-2014B-KTPM 6 DANH MỤC CAC BANG BIEU Bảng 1: Đánh giá kết quả của hệ thống - coe 3 Bang 2: So sánh kết quả giữa dịch vụ của Google và IBM. sacieeruveie I Học viên thực hién: Nguyén Thi Thuy Hang-CB140147-2014B-KTPM 8 DANH MỤC CAC BANG BIEU Bảng 1: Đánh giá kết quả của hệ thống - coe 3 Bang 2: So sánh kết quả giữa dịch vụ của Google và IBM. sacieeruveie I Học viên thực hién: Nguyén Thi Thuy Hang-CB140147-2014B-KTPM 8 LỜI CẢM ƠN Trong quả trình học tập, nghiên cửu và thực hiện luận văn thạc sỹ, tôi đã nhận được nhiều sự hồ trợ, đóng góp nhiệt tình của các cá nhân vả tỏ chức tạo điều kiện cho tôi hoàn thành luận văn nảy.

Qua đây tôi cũng xin gửi lời cảm ơn chân thành, sâu sắc tới các cá nhân và tập thẻ đã giúp đỡ tôi trong thời gian vừa qua. Trước hết, tôi xin chan thành cảm on thay giao PGS.TS Cao Tuan Dũng, Viện Công Nghệ Thông Tin, Trường Dai Học Bách Khoa Hà Nội là người đã trực tiếp hướng dân, nhận xét và giúp đỡ tôi trong suốt quá trình thực hiện luân văn nảy. Tôi xin chân thảnh cảm ơn các thầy cô trong Viện Công Nghệ Thông Tin, các thay cô trong Viện Đảo Tạo Sau Đại Học đã giúp đỡ, tạo điều kiện và hướng dẫn tôi trong suốt thời gian học tập tại trường. Cuối củng, tôi xin chân thành cảm ơn gia đình, bạn bẻ và đồng nghiệp, những người đã gắn bỏ cùng tôi trong suốt thời gian học tập và thực hiện luận văn vả tạo điều kiện cho tôi thực hiện tốt luận văn này.

Do thời gian thực hiện có hạn và hạn chế về kiến thức chuyên ngành nên luận văn của tôi còn nhiều thiêu sót. Mong nhận được các ý kiên đóng góp của các thay c6 để luận văn của tôi được hoản thiện hơn Tôi xin chân thanh cam on! Hà Nội, ngày 01 tháng 11 năm 2017 Học viên Nguyễn Thị Thúy Hằng Học viên thực hiện: Nguyên Thị Thủy Hằng-CB140147-2014B-KTPM 5 DANH MỤC CÁC HÌNH ẢNH Hình1 Quy trình khai phá dữ liệu 14 Hình 2 Mang no ron nhan tạo. 16 Hình 3 Kỹ thuật học cỏ giám sát thong mhmạng nơ ron nhân tạtạo. 17 Hình 4 Kỹ thuật học không giám sát trong mạng nơ ron nhân tạo viel8 Hình 5 Kỹ thuật học tăng cường trong mạng nơ ron nhân tạo.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ