Luận văn thạc sĩ vnu uet ứng dụng phân tích mẫu chuỗi tuần tự vào việc phát hiện thói quen sử dụng các ứng dụng trên thiết bị di động

Luận văn thạc sĩ VNU UET phân tích mẫu chuỗi tuần tự để phát hiện thói quen sử dụng ứng dụng di động, mang lại cái nhìn sâu sắc về hành vi người dùng.

• Người hướng dẫn: Pgs. Nguyễn Hà Nam
• Trường học: Đại Học Quốc Gia Hà Nội Trường Đại Học Công Nghệ
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Ứng Dụng Phân Tích Mẫu Chuỗi Tuần Tự Vào Việc Phát Hiện Thói Quen Sử Dụng Các Ứng Dụng Trên Thiết Bị Di Động
• Loại tài liệu: Luận Văn Thạc Sỹ
• Năm xuất bản: 2013
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 2. CHƯƠNG 2: TỔNG QUAN KHAI PHÁ MẪU CHUỖI TUẦN TỰ
• 2.1. Đặc điểm của dữ liệu
• 2.2. Khai phá dữ liệu mẫu chuỗi tuần tự
• 2.3. Giới thiệu chung
• 2.4. Bài toán Khai phá mẫu chuỗi tuần tự
• 2.5. Một số thuật toán khai phá mẫu tuần tự
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 3.1. Mô hình đề xuất tổng thể
• 3.2. Các phương án tách chuỗi
• 3.3. Tách Itemset trong chuỗi. Tính thời gian cho phương án tách chuỗi
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Bộ dữ liệu thứ nhất
• 4.2. Bộ dữ liệu thứ 2
• PHỤ LỤC A – TÍNH KHOẢNG THỜI GIAN PHÂN TÁCH
• PHỤ LỤC B – MỘT SỐ KẾT QUẢ THỰC NGHIỆM CỤ THỂ
• B.1. Kết quả thực nghiệm bộ dữ liệu thứ 1
• B.2. Kết quả thực nghiệm Bộ dữ liệu thứ 2
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về phân tích mẫu chuỗi tuần tự trong ứng dụng di động

Phân tích mẫu chuỗi tuần tự là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin, đặc biệt là trong việc phát hiện thói quen sử dụng ứng dụng di động. Với sự phát triển nhanh chóng của các thiết bị di động, việc hiểu rõ hành vi người dùng trở nên cần thiết hơn bao giờ hết. Nghiên cứu này không chỉ giúp các nhà phát triển ứng dụng cải thiện sản phẩm mà còn hỗ trợ các doanh nghiệp trong việc xây dựng chiến lược tiếp thị hiệu quả.

1.1. Định nghĩa và tầm quan trọng của phân tích chuỗi tuần tự

Phân tích chuỗi tuần tự là quá trình khai thác dữ liệu để tìm ra các mẫu hành vi trong một chuỗi thời gian. Điều này giúp xác định các thói quen sử dụng ứng dụng, từ đó đưa ra các quyết định kinh doanh chính xác hơn.

1.2. Xu hướng sử dụng ứng dụng di động hiện nay

Sự gia tăng sử dụng ứng dụng di động đã tạo ra một lượng lớn dữ liệu về hành vi người dùng. Việc phân tích dữ liệu này giúp các nhà phát triển hiểu rõ hơn về nhu cầu và thói quen của người dùng, từ đó tối ưu hóa trải nghiệm người dùng.

II. Thách thức trong việc phát hiện thói quen sử dụng ứng dụng di động

Mặc dù có nhiều lợi ích từ việc phân tích mẫu chuỗi tuần tự, nhưng vẫn tồn tại nhiều thách thức. Dữ liệu thu thập từ các ứng dụng di động thường rất lớn và phức tạp, điều này gây khó khăn trong việc xử lý và phân tích. Ngoài ra, việc xác định các mẫu hành vi chính xác cũng là một thách thức lớn.

2.1. Khó khăn trong việc thu thập và xử lý dữ liệu

Dữ liệu từ các ứng dụng di động thường không đồng nhất và có thể chứa nhiều thông tin không cần thiết. Việc lọc và chuẩn hóa dữ liệu là rất quan trọng để đảm bảo tính chính xác trong phân tích.

2.2. Vấn đề về bảo mật và quyền riêng tư

Khi thu thập dữ liệu người dùng, vấn đề bảo mật và quyền riêng tư luôn là mối quan tâm hàng đầu. Các nhà phát triển cần đảm bảo rằng dữ liệu được thu thập và sử dụng một cách hợp pháp và có trách nhiệm.

III. Phương pháp phân tích mẫu chuỗi tuần tự hiệu quả

Để phát hiện thói quen sử dụng ứng dụng di động, nhiều phương pháp phân tích đã được phát triển. Các thuật toán machine learning và khai thác dữ liệu là những công cụ mạnh mẽ giúp phát hiện các mẫu hành vi trong dữ liệu chuỗi tuần tự.

3.1. Sử dụng thuật toán machine learning trong phân tích

Các thuật toán machine learning như cây quyết định và mạng nơron có thể được áp dụng để phân tích dữ liệu chuỗi tuần tự. Những thuật toán này giúp phát hiện các mẫu hành vi phức tạp mà các phương pháp truyền thống không thể làm được.

3.2. Khai thác dữ liệu để phát hiện mẫu hành vi

Khai thác dữ liệu là một phương pháp hiệu quả để tìm ra các mẫu hành vi trong dữ liệu. Các kỹ thuật như tìm luật kết hợp và phân cụm có thể được sử dụng để phát hiện các thói quen sử dụng ứng dụng.

IV. Ứng dụng thực tiễn của phân tích mẫu chuỗi tuần tự

Phân tích mẫu chuỗi tuần tự không chỉ có giá trị trong nghiên cứu mà còn có nhiều ứng dụng thực tiễn. Các doanh nghiệp có thể sử dụng kết quả phân tích để tối ưu hóa sản phẩm và dịch vụ của mình, từ đó nâng cao trải nghiệm người dùng.

4.1. Tối ưu hóa trải nghiệm người dùng

Bằng cách hiểu rõ thói quen sử dụng ứng dụng, các nhà phát triển có thể cải thiện giao diện và tính năng của ứng dụng, từ đó nâng cao trải nghiệm người dùng.

4.2. Xây dựng chiến lược tiếp thị hiệu quả

Kết quả phân tích mẫu chuỗi tuần tự có thể giúp các doanh nghiệp xác định đối tượng mục tiêu và xây dựng các chiến lược tiếp thị phù hợp, từ đó tăng cường hiệu quả kinh doanh.

V. Kết luận và tương lai của phân tích mẫu chuỗi tuần tự

Phân tích mẫu chuỗi tuần tự là một lĩnh vực đầy tiềm năng trong nghiên cứu hành vi người dùng. Với sự phát triển của công nghệ và dữ liệu lớn, việc áp dụng các phương pháp phân tích hiện đại sẽ giúp phát hiện thói quen sử dụng ứng dụng di động một cách chính xác hơn.

5.1. Tương lai của nghiên cứu hành vi người dùng

Nghiên cứu hành vi người dùng sẽ tiếp tục phát triển với sự hỗ trợ của công nghệ mới. Các phương pháp phân tích sẽ ngày càng trở nên tinh vi hơn, giúp các doanh nghiệp hiểu rõ hơn về nhu cầu của người dùng.

5.2. Tác động của công nghệ đến thói quen sử dụng ứng dụng

Công nghệ sẽ tiếp tục ảnh hưởng đến cách mà người dùng tương tác với ứng dụng. Việc nắm bắt và phân tích các thay đổi này sẽ là chìa khóa để phát triển các sản phẩm và dịch vụ phù hợp.

Trích đoạn nội dung tài liệu

Chương 1. Cung cấp thông tin về bài toán phân tích hành vi của người sử dụng trên TBDĐ. Trong chương này, chúng tôi trình bày các hướng nghiên cứu hành vi người dùng khác nhau từ dữ liệu thu được liên quan TBDĐ. Đồng thời, 9 LUAN VAN CHAT LUONG download : add [e-mail] chúng tôi trình bày về hướng nghiên cứu và cách thức giải quyết bài toán của chúng tôi.

Trình bày những kiến thức cơ sở để giải quyết bài toán. Về dữ liệu trình bày đặc điểm của dữ liệu thu được từ pha lấy dữ liệu, cách thức lọc dữ liệu làm đầu vào cho thuật toán. Về giải thuật, đưa ra mô hình khai phá dữ liệu và trình bày các giải thuật về khai phá mẫu chuỗi tuần tự phổ biến theo thời gian và đưa ra lý dọ chọn giải thuật SPAM Chương 3. Trong chương này chúng tôi trình bày Mô hình khai phá dữ liệu dể giải quyết được vấn đề của bài toán.

Trình bày kết quả thực nghiệm và phân tích kết quả thu được. Đánh giá tính đúng đắn và tính hiệu quả của phương pháp đề xuất so với một số phương pháp khác. Kết luận và hướng nghiên cứu tiếp theo 10 LUAN VAN CHAT LUONG download : add [e-mail] Chương 2 - TỔNG QUAN KHAI PHÁ MẪU CHUỖI TUẦN TỰ 2. Đặc điểm của dữ liệu Dữ liệu thu được từ việc người sử dụng kích hoạt các ứng dụng trên TBDĐ sử dụng hệ điều hành Android có dạng như Hình 2.1, trong đó có các thông tin như sau : AppName: là tên ứng dụng.

Stop: thời điểm kết thúc ứng dụng PID: ID của ứng dụng PPID: ID của ứng dụng cha của ứng dụng PID IMEI: mã máy Start: thời điểm khởi động ứng dụng Với dữ liệu sử dụng phần mềm có thể là rất dài đối với một TBDĐ nếu được lấy trong một khoảng thời gian tương đối lớn. Hơn nữa, số lượng các ứng dụng ngày càng nhiều nên khi chúng tôi tìm hiểu cách khai phá tập luật tuần tự thì kết quả không có khả quan. Nhưng khi chúng tôi tìm hiểu các cách để tìm ra các mẫu chuỗi tuần tự thì kết quả khả quan hơn.1 sau minh họa dữ liệu lấy được từ pha lấy dữ liệu, ta có thể nhận ra được rằng trong một thời gian rất ngắn, dữ liệu đã ghi nhận rất nhiều ứng dụng được kích hoạt. Khi quan sát dữ liệu trong Hình 2.1 chúng ta nhận thấy, dữ liệu được lưu quá nhiều, một ứng dụng được lưu quá nhiều lần, các ứng dụng con được kích hoạt từ ứng dụng cha cũng nhiều, có nhiều ứng dụng do hệ điều hành kích hoạt, có nhiều ứng dụng do người dùng kích hoạt.

Vấn đề đặt ra ở đây là làm thế nào chỉ lấy được các ứng dụng gốc do người dùng kích hoạt. Ví dụ, làm thế nào để lấy được ứng dụng gốc như Trình duyệt web, Email, GoogleTalk, … mà không phải các ứng dụng do Hệ thống sinh ra, hoặc ra các ứng dụng gốc đó gọi các ứng dụng khác của hệ thống trong quá trình thực thi. Để làm được việc đó, chúng tôi đã lọc ra các ứng dụng thuộc hệ thống như SystemApplication, Unknow, System,. và toàn bộ các ứng dụng con của nó được kích hoạt qua mã ID và PID.

11 LUAN VAN CHAT LUONG download : add [e-mail] AppName Stop PID IMEI PPID Start SystemApplication Nov 27 22:31:56 2012 90 0 59 Nov 27 22:30:19 2012 Email Nov 27 22:31:57 2012 247 0 244 Nov 27 22:30:29 2012 Launcher Nov 27 22:31:57 2012 132 0 118 Nov 27 22:30:22 2012 Music Nov 27 22:31:57 2012 180 0 179 Nov 27 22:30:24 2012 SystemApplication Nov 27 22:31:58 2012 52 0 32 Nov 27 22:30:19 2012 LogInfo Nov 27 22:31:08 2012 341 0 289 Nov 27 22:31:07 2012 SystemApplication Nov 27 22:31:56 2012 79 0 59 Nov 27 22:30:19 2012 Search Nov 27 22:31:57 2012 187 0 33 Nov 27 22:30:24 2012 SystemApplication Nov 27 22:31:58 2012 137 0 59 Nov 27 22:30:19 2012 LogInfo Nov 27 22:31:06 2012 339 0 289 Nov 27 22:31:05 2012 LogInfo Nov 27 22:31:51 2012 395 0 289 Nov 27 22:31:50 2012 SystemApplication Nov 28 19:14:24 2012 152 0 126 Nov 28 19:13:47 2012 Music Nov 28 19:14:24 2012 256 0 252 Nov 28 19:13:58 2012 Package Access Helper Nov 28 19:14:24 2012 355 0 240 Nov 28 19:13:57 2012 SystemApplication Nov 28 19:14:24 2012 132 0 124 Nov 28 19:13:47 2012 Clock Nov 28 19:14:24 2012 235 0 232 Nov 28 19:13:54 2012 SystemApplication Nov 28 19:14:24 2012 8 0 2 Nov 28 19:13:43 2012 SystemApplication Nov 28 19:14:24 2012 188 0 124 Nov 28 19:13:47 2012 Pico TTS Nov 28 19:14:24 2012 372 0 33 Nov 28 19:14:10 2012 SystemApplication Nov 28 19:14:24 2012 33 0 1 Nov 28 19:13:43 2012 Pico TTS Nov 28 19:14:24 2012 374 0 372 Nov 28 19:14:10 2012 Package Access Helper Nov 28 19:14:24 2012 241 0 240 Nov 28 19:13:56 2012 Maps Nov 28 19:14:24 2012 357 0 33 Nov 28 19:14:09 2012 Search Nov 28 19:14:24 2012 274 0 268 Nov 28 19:14:01 2012 SystemApplication Nov 28 19:14:24 2012 192 0 124 Nov 28 19:13:47 2012 SystemApplication Nov 28 19:14:24 2012 30 0 1 Nov 28 19:13:43 2012 Downloads Jan 02 13:57:11 2012 207 A000002470B55F 203 Jan 02 13:55:04 2012 LogInfo Jan 02 13:55:54 2012 24528 A000002470B55F 24429 Jan 02 13:55:53 2012 SystemApplication Jan 02 13:57:11 2012 14601 A000002470B55F 117 Jan 02 13:55:03 2012 Contacts Storage Jan 02 13:57:11 2012 354 A000002470B55F 272 Jan 02 13:55:11 2012 Network Location Jan 02 13:57:11 2012 857 A000002470B55F 222 Jan 02 13:55:10 2012 Terminal Emulator Jan 02 13:57:11 2012 25545 A000002470B55F 25543 Jan 02 13:55:35 2012 Contract Killer Jan 02 13:57:11 2012 24031 A000002470B55F 24022 Jan 02 13:55:30 2012 LogInfo Jan 02 13:55:52 2012 24522 A000002470B55F 24429 Jan 02 13:55:51 2012 Market Jan 02 13:57:11 2012 18214 A000002470B55F 18208 Jan 02 13:55:16 2012 SystemApplication Jan 02 13:57:11 2012 35 A000002470B55F 2 Jan 02 13:55:03 2012 LogInfo Jan 02 13:55:38 2012 24476 A000002470B55F 24429 Jan 02 13:55:37 2012 Hình 2.1 Dữ liệu thu được từ TBDĐ sử dụng Hệ điều hành Android Để có dữ liệu có dạng chuỗi tuần tự như sau, Si = {app1, app2, ., appn}; Trong đó: - Si là thiết bị cầm tay thứ i - appj với 1≤ j ≤ n là ứng dụng được kích hoạt bởi người dùng trong thiết bị cầm tay Si - appj được kích hoạt trước appj+1 và được kích hoạt sau ứng dụng app j-1. Tức là: 12 LUAN VAN CHAT LUONG download : add [e-mail] tstartappj 1  tstartappj  tstartappj 1 (1) Với t start appi là thời điểm bắt đầu kích hoạt ứng dụng appi Đặc điểm của dữ liệu: Si thường có số lớn các ứng dụng (chuỗi dài - long sequence). Như vậy dữ liệu cuối cùng có dạng: imei, appName, start, stop (imei = s i) AppName Stop PID IMEI PPID Start Email Nov 27 22:31:57 2012 247 0 244 Nov 27 22:30:29 2012 Launcher Nov 27 22:31:57 2012 132 0 118 Nov 27 22:30:22 2012 LogInfo Nov 27 22:31:06 2012 339 0 289 Nov 27 22:31:05 2012 Music Nov 27 22:31:57 2012 180 0 179 Nov 27 22:30:24 2012 Search Nov 27 22:31:57 2012 187 0 33 Nov 27 22:30:24 2012 Clock Nov 28 19:14:24 2012 235 0 232 Nov 28 19:13:54 2012 Maps Nov 28 19:14:24 2012 357 0 33 Nov 28 19:14:09 2012 Music Nov 28 19:14:24 2012 256 0 252 Nov 28 19:13:58 2012 Package Access Helper Nov 28 19:14:24 2012 241 0 240 Nov 28 19:13:56 2012 Pico TTS Nov 28 19:14:24 2012 374 0 372 Nov 28 19:14:10 2012 Search Nov 28 19:14:24 2012 274 0 268 Nov 28 19:14:01 2012 Contacts Storage Jan 02 13:57:11 2012 354 A000002470B55F 272 Jan 02 13:55:11 2012 Contract Killer Jan 02 13:57:11 2012 24031 A000002470B55F 24022 Jan 02 13:55:30 2012 Downloads Jan 02 13:57:11 2012 207 A000002470B55F 203 Jan 02 13:55:04 2012 LogInfo Jan 02 13:55:38 2012 24476 A000002470B55F 24429 Jan 02 13:55:37 2012 Market Jan 02 13:57:11 2012 18214 A000002470B55F 18208 Jan 02 13:55:16 2012 Network Location Jan 02 13:57:11 2012 857 A000002470B55F 222 Jan 02 13:55:10 2012 Terminal Emulator Jan 02 13:57:11 2012 25545 A000002470B55F 25543 Jan 02 13:55:35 2012 Hình 2.2 Dữ liệu ứng dụng gốc được lấy ra từ Hình 2.1 Để có dữ liệu dạng trên thì chúng tôi đã có một pha riêng để lọc dữ liệu, pha này phải làm các công việc sau: xác định các ứng dụng gốc (1), loại bỏ các ứng dụng con được kích hoạt từ ứng dụng gốc. Khai phá dữ liệu mẫu chuỗi tuần tự 2.

Giới thiệu chung Như phần 2.1 đã trình bày, vì đặc điểm của dữ liệu là dạng chuỗi dài theo thời gian và có rất nhiều ứng dụng khác nhau được đưa vào sử dụng nên khi chúng tôi thử nghiệm trên các giải thuật tìm luật tuần tự hành về vi sử dụng của nhiều người thì kết quả không khả quan. Do đó, chúng tôi đã đi tìm hiểu các mẫu chuỗi tuần tự về hành vi sử dụng của nhiều người thì có vẻ khả quan hơn. Chính vì vậy, trong phần này chúng tôi sẽ giới thiệu tổng quan về các giải thuật (1) Ứng dụng gốc là ứng dụng được kích hoạt trực tiếp từ người dùng từ desktop, hoặc từ các nhóm ứng dụng trên hệ điều hành. 13 LUAN VAN CHAT LUONG download : add [e-mail] khai phá mẫu chuỗi tuần tự và lý do chúng tôi chọn giải thuật SPAM cho bài toán này.

Dữ liệu dạng chuỗi các giá trị hoặc các sự kiện được kết hợp với thuộc tính thời gian được gọi là dữ liệu chuỗi thời gian time-series [15] gọi tắt là dữ liệu time-series. Một số dữ liệu time-series như: dữ liệu giao dịch khách hàng trong các siêu thị, dữ liệu về tài chính – chứng khoán, dữ liệu về y học, dữ liệu về khoa học, dữ liệu về thời tiết. Đã có nhiều giải thuật được thiết kế cho dữ liệu time-series [15]. Tuy nhiên, chúng ta có thể gom lại có 4 dạng mẫu (pattern) mà chúng ta khai phá từ dữ liệu time-series sau: - Phân tích xu hướng: phân tích xu hướng là tìm ra các mẫu phát triển của một số thuộc tính theo thời gian, chúng có thể là sự vận động mang tính lâu dài, phát triển quay vòng, vận động có nguyên nhân, các vận động ngẫu nhiên.

Ví dụ như giá vàng theo thời gian, ta có thể mô hình nó dạng Y=F(t) và có thể biểu diễn trên đồ thị. Dựa trên hàm đó ta có thể tìm ra xu hướng là cứ Thứ 2 hàng tuần thì giá vàng tăng 2%, cứ Thứ 6 hàng tuần thì giá vàng tụt xuống 3%. Với phương pháp này được sử dụng nhiều trong phân tích xu hướng chứng khoán. - Tìm chuỗi tuần tự: tìm kiếm chuỗi tương tự là cố gắng để tìm các chuỗi có sự khác biệt đôi chút.

Tìm kiếm chuỗi tương tự là một quá trình đối sánh mờ trong phạm vi sai số nhất định trong một ngưỡng nhất định. Đối sánh chuỗi có thể được phân lớp như: đối sánh chuỗi con và đối sánh toàn bộ chuỗi.