Luận văn thạc sĩ vnu uet ứng dụng phân tích mẫu chuỗi tuần tự vào việc phát hiện thói quen sử dụng các ứng dụng trên thiết bị di động

Luận văn thạc sĩ VNU UET phân tích mẫu chuỗi tuần tự để phát hiện thói quen sử dụng ứng dụng di động, mang lại cái nhìn sâu sắc về hành vi người dùng.

• Người hướng dẫn: Pgs. Nguyễn Hà Nam
• Trường học: Đại Học Quốc Gia Hà Nội Trường Đại Học Công Nghệ
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Ứng Dụng Phân Tích Mẫu Chuỗi Tuần Tự Vào Việc Phát Hiện Thói Quen Sử Dụng Các Ứng Dụng Trên Thiết Bị Di Động
• Loại tài liệu: Luận Văn Thạc Sỹ
• Năm xuất bản: 2013
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 2. CHƯƠNG 2: TỔNG QUAN KHAI PHÁ MẪU CHUỖI TUẦN TỰ
• 2.1. Đặc điểm của dữ liệu
• 2.2. Khai phá dữ liệu mẫu chuỗi tuần tự
• 2.3. Giới thiệu chung
• 2.4. Bài toán Khai phá mẫu chuỗi tuần tự
• 2.5. Một số thuật toán khai phá mẫu tuần tự
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 3.1. Mô hình đề xuất tổng thể
• 3.2. Các phương án tách chuỗi
• 3.3. Tách Itemset trong chuỗi. Tính thời gian cho phương án tách chuỗi
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Bộ dữ liệu thứ nhất
• 4.2. Bộ dữ liệu thứ 2
• PHỤ LỤC A – TÍNH KHOẢNG THỜI GIAN PHÂN TÁCH
• PHỤ LỤC B – MỘT SỐ KẾT QUẢ THỰC NGHIỆM CỤ THỂ
• B.1. Kết quả thực nghiệm bộ dữ liệu thứ 1
• B.2. Kết quả thực nghiệm Bộ dữ liệu thứ 2
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về phân tích mẫu chuỗi tuần tự trong ứng dụng di động

Phân tích mẫu chuỗi tuần tự là một lĩnh vực nghiên cứu quan trọng trong công nghệ thông tin, đặc biệt là trong việc phát hiện thói quen sử dụng ứng dụng di động. Với sự phát triển nhanh chóng của các thiết bị di động, việc hiểu rõ hành vi người dùng trở nên cần thiết hơn bao giờ hết. Nghiên cứu này không chỉ giúp các nhà phát triển ứng dụng cải thiện sản phẩm mà còn hỗ trợ các doanh nghiệp trong việc xây dựng chiến lược tiếp thị hiệu quả.

1.1. Định nghĩa và tầm quan trọng của phân tích chuỗi tuần tự

Phân tích chuỗi tuần tự là quá trình khai thác dữ liệu để tìm ra các mẫu hành vi trong một chuỗi thời gian. Điều này giúp xác định các thói quen sử dụng ứng dụng, từ đó đưa ra các quyết định kinh doanh chính xác hơn.

1.2. Xu hướng sử dụng ứng dụng di động hiện nay

Sự gia tăng sử dụng ứng dụng di động đã tạo ra một lượng lớn dữ liệu về hành vi người dùng. Việc phân tích dữ liệu này giúp các nhà phát triển hiểu rõ hơn về nhu cầu và thói quen của người dùng, từ đó tối ưu hóa trải nghiệm người dùng.

II. Thách thức trong việc phát hiện thói quen sử dụng ứng dụng di động

Mặc dù có nhiều lợi ích từ việc phân tích mẫu chuỗi tuần tự, nhưng vẫn tồn tại nhiều thách thức. Dữ liệu thu thập từ các ứng dụng di động thường rất lớn và phức tạp, điều này gây khó khăn trong việc xử lý và phân tích. Ngoài ra, việc xác định các mẫu hành vi chính xác cũng là một thách thức lớn.

2.1. Khó khăn trong việc thu thập và xử lý dữ liệu

Dữ liệu từ các ứng dụng di động thường không đồng nhất và có thể chứa nhiều thông tin không cần thiết. Việc lọc và chuẩn hóa dữ liệu là rất quan trọng để đảm bảo tính chính xác trong phân tích.

2.2. Vấn đề về bảo mật và quyền riêng tư

Khi thu thập dữ liệu người dùng, vấn đề bảo mật và quyền riêng tư luôn là mối quan tâm hàng đầu. Các nhà phát triển cần đảm bảo rằng dữ liệu được thu thập và sử dụng một cách hợp pháp và có trách nhiệm.

III. Phương pháp phân tích mẫu chuỗi tuần tự hiệu quả

Để phát hiện thói quen sử dụng ứng dụng di động, nhiều phương pháp phân tích đã được phát triển. Các thuật toán machine learning và khai thác dữ liệu là những công cụ mạnh mẽ giúp phát hiện các mẫu hành vi trong dữ liệu chuỗi tuần tự.

3.1. Sử dụng thuật toán machine learning trong phân tích

Các thuật toán machine learning như cây quyết định và mạng nơron có thể được áp dụng để phân tích dữ liệu chuỗi tuần tự. Những thuật toán này giúp phát hiện các mẫu hành vi phức tạp mà các phương pháp truyền thống không thể làm được.

3.2. Khai thác dữ liệu để phát hiện mẫu hành vi

Khai thác dữ liệu là một phương pháp hiệu quả để tìm ra các mẫu hành vi trong dữ liệu. Các kỹ thuật như tìm luật kết hợp và phân cụm có thể được sử dụng để phát hiện các thói quen sử dụng ứng dụng.

IV. Ứng dụng thực tiễn của phân tích mẫu chuỗi tuần tự

Phân tích mẫu chuỗi tuần tự không chỉ có giá trị trong nghiên cứu mà còn có nhiều ứng dụng thực tiễn. Các doanh nghiệp có thể sử dụng kết quả phân tích để tối ưu hóa sản phẩm và dịch vụ của mình, từ đó nâng cao trải nghiệm người dùng.

4.1. Tối ưu hóa trải nghiệm người dùng

Bằng cách hiểu rõ thói quen sử dụng ứng dụng, các nhà phát triển có thể cải thiện giao diện và tính năng của ứng dụng, từ đó nâng cao trải nghiệm người dùng.

4.2. Xây dựng chiến lược tiếp thị hiệu quả

Kết quả phân tích mẫu chuỗi tuần tự có thể giúp các doanh nghiệp xác định đối tượng mục tiêu và xây dựng các chiến lược tiếp thị phù hợp, từ đó tăng cường hiệu quả kinh doanh.

V. Kết luận và tương lai của phân tích mẫu chuỗi tuần tự

Phân tích mẫu chuỗi tuần tự là một lĩnh vực đầy tiềm năng trong nghiên cứu hành vi người dùng. Với sự phát triển của công nghệ và dữ liệu lớn, việc áp dụng các phương pháp phân tích hiện đại sẽ giúp phát hiện thói quen sử dụng ứng dụng di động một cách chính xác hơn.

5.1. Tương lai của nghiên cứu hành vi người dùng

Nghiên cứu hành vi người dùng sẽ tiếp tục phát triển với sự hỗ trợ của công nghệ mới. Các phương pháp phân tích sẽ ngày càng trở nên tinh vi hơn, giúp các doanh nghiệp hiểu rõ hơn về nhu cầu của người dùng.

5.2. Tác động của công nghệ đến thói quen sử dụng ứng dụng

Công nghệ sẽ tiếp tục ảnh hưởng đến cách mà người dùng tương tác với ứng dụng. Việc nắm bắt và phân tích các thay đổi này sẽ là chìa khóa để phát triển các sản phẩm và dịch vụ phù hợp.

Nội dung chính

Tổng quan nghiên cứu

Thị trường thiết bị di động thông minh đã chứng kiến sự bùng nổ mạnh mẽ với hơn 80% người dùng sở hữu điện thoại tích hợp đa tính năng từ liên lạc, giải trí đến giao dịch tài chính trực tuyến. Sự gia tăng nhanh chóng về số lượng ứng dụng dẫn đến nhu cầu cấp thiết trong việc thấu hiểu hành vi và thói quen tương tác của người dùng. Tuy nhiên, việc khai thác dữ liệu nhật ký hệ thống (log files) gặp phải thách thức lớn khi các chuỗi ghi nhận hoạt động thường kéo dài liên tục, lẫn lộn giữa tiến trình người dùng khởi chạy và các tiến trình con do hệ điều hành Android tự động kích hoạt.

Luận văn thạc sĩ chuyên ngành Hệ thống thông tin của tác giả Đào Thế Mẫn, dưới sự hướng dẫn khoa học của PGS. Nguyễn Hà Nam tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, tập trung giải quyết bài toán phát hiện thói quen sử dụng ứng dụng thông qua khai phá mẫu chuỗi tuần tự. Mục tiêu cụ thể của nghiên cứu là xây dựng mô hình tiền xử lý lọc sạch dữ liệu gốc, đề xuất giải pháp phân tách chuỗi dài thành các chuỗi ngắn dựa trên khoảng thời gian hành vi tối ưu (slotTime), và áp dụng thuật toán khai phá mẫu chuỗi tuần tự hiệu năng cao.

Phạm vi nghiên cứu được thực nghiệm trên tập dữ liệu gồm 200 thiết bị di động chạy hệ điều hành Android trong khung thời gian từ 30 đến 50 ngày, thu thập tổng cộng 39.817 bản ghi hoạt động. Ý nghĩa của đề tài thể hiện qua việc nâng cao độ chính xác khai thác thói quen lên gấp nhiều lần so với các cách tiếp cận truyền thống, tạo cơ sở thực tiễn vững chắc cho các hãng sản xuất thiết bị tối ưu hóa giao diện người dùng, hỗ trợ doanh nghiệp công nghệ phát triển chiến lược tiếp thị ngữ cảnh và xây dựng các hệ thống gợi ý phần mềm thông minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng lý thuyết khai phá mẫu chuỗi tuần tự (Sequential Pattern Mining) do Agrawal và Srikant khởi xướng năm 1995, cùng lý thuyết khai phá dữ liệu chuỗi thời gian (Time-series Data Mining). Trong mô hình dữ liệu chuỗi, các khái niệm cốt lõi được chuẩn hóa bao gồm: Item (ứng dụng đơn lẻ), Itemset (tập hợp các ứng dụng được kích hoạt đồng thời hoặc trong một khoảng trễ rất ngắn), Chuỗi Sequence (tập hợp các Itemset được sắp xếp tuần tự theo thời gian kích hoạt), và Độ hỗ trợ tối thiểu minSup (tỷ lệ phần trăm chuỗi trong cơ sở dữ liệu chứa mẫu tuần tự khảo sát).

Để giải quyết hạn chế về tài nguyên tính toán của các thuật toán truyền thống như AprioriAll, GSP, hay PrefixSpan, luận văn lựa chọn và ứng dụng thuật toán SPAM (Sequential PAttern Mining using Bitmap Representation). Thuật toán SPAM tích hợp cấu trúc biểu diễn bitmap dọc cho từng chuỗi dữ liệu kết hợp chiến lược tìm kiếm theo chiều sâu (Depth-First Search - DFS) và kỹ thuật cắt tỉa không gian trạng thái. Cấu trúc này cho phép tính toán độ hỗ trợ của các ứng viên thông qua các phép toán bitwise AND nhanh chóng, giúp giảm thiểu đáng kể chi phí duyệt lại cơ sở dữ liệu và tiết kiệm bộ nhớ khi xử lý các chuỗi dữ liệu dài.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm gồm 2 bộ dữ liệu độc lập: Bộ dữ liệu 1 thu thập từ 200 thiết bị di động với 98 ứng dụng trong 50 ngày (39.817 dòng logfile, tần suất 1 đến 3 ứng dụng/ngày/thiết bị); Bộ dữ liệu 2 thu thập từ 200 thiết bị với 49 ứng dụng trong 30 ngày (tần suất từ 0 đến 10 ứng dụng/ngày/thiết bị). Phương pháp chọn mẫu là chọn mẫu xác thực thực nghiệm theo tiến trình ghi nhận tự nhiên của hệ điều hành.

Quy trình phân tích dữ liệu được thực hiện qua các bước chuẩn hóa:

• Bước 1: Tiền xử lý dữ liệu logfile bằng hệ quản trị cơ sở dữ liệu MySQL, lọc bỏ các tiến trình hệ thống không do người dùng trực tiếp kích hoạt như SystemApplication, Network Location, Pico TTS thông qua định danh PID và PPID.
• Bước 2: Chuẩn hóa ngưỡng thời gian xác định Itemset (Slot time cutoff Element) cố định ở mức 60 giây. Nếu khoảng cách thời gian giữa thời điểm dừng của ứng dụng trước và thời điểm khởi động của ứng dụng kế tiếp nhỏ hơn hoặc bằng 60 giây, chúng được tính vào cùng một Itemset.
• Bước 3: Phân tách chuỗi dài ban đầu thành các chuỗi ngắn thông qua giải thuật tối ưu hóa slotTime dựa trên việc xác định các chuỗi con phủ tối thiểu và chuỗi xen kẹt.
• Bước 4: Thực thi khai phá mẫu chuỗi tuần tự trên nền tảng mã nguồn mở SPMF (Sequential Pattern Mining Framework) bằng ngôn ngữ Java, tích hợp 51 thuật toán khai phá dữ liệu tiên tiến để so sánh hiệu năng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm đối sánh chuyên sâu giữa phương pháp phân tách theo hành vi thời gian tối ưu (slotTime) và phương pháp phân tách cố định theo lịch biểu (N ngày) đã mang lại các phát hiện đột phá:

• Phát hiện 1: Trên bộ dữ liệu 1, khi thiết lập ngưỡng độ hỗ trợ tối thiểu minSup = 45%, phương pháp phân tách theo giá trị slotTime tối ưu (86.182 giây, tương đương khoảng 23,94 giờ) đã phát hiện được 259 mẫu thói quen tuần tự có độ dài từ 2 phần tử trở lên. Ngược lại, phương pháp phân tách theo lịch biểu 25 ngày và 10 ngày hoàn toàn không phát hiện được bất kỳ mẫu thói quen nào có độ dài từ 2 phần tử trở lên (đạt 0 mẫu).
• Phát hiện 2: Khi hạ ngưỡng minSup xuống 35% trên bộ dữ liệu 1, phương pháp phân tách theo slotTime tối ưu đã bùng nổ hiệu năng khi khai phá được tới 7.977 mẫu chuỗi thói quen từ 2 ứng dụng trở lên. Trong khi đó, phương pháp phân tách theo 25 ngày vẫn ghi nhận 0 mẫu chuỗi thỏa mãn điều kiện, minh chứng cho sự chênh lệch hiệu quả lên tới 100%.
• Phát hiện 3: Trên bộ dữ liệu 2 với tần suất sử dụng dày đặc hơn, tại ngưỡng minSup = 20%, phương pháp phân tách theo slotTime = 86.001 giây (~0.995 ngày) trích xuất thành công 1.939 mẫu chuỗi thói quen phức tạp. Cùng ngưỡng hỗ trợ này, các phương án phân tách theo 5 ngày và 7 ngày đều không phát hiện được mẫu chuỗi nào, chỉ khi tăng khoảng thời gian phân tách lên mốc 10 ngày thì phương pháp phân tách theo ngày mới bắt đầu ghi nhận kết quả tương đương.
• Phát hiện 4: Thuật toán xác định chuỗi xen kẹt và chuỗi con phủ tối thiểu trong Phụ lục A giúp tìm ra điểm gãy thời gian tối ưu, loại bỏ tình trạng phân tách ngẫu nhiên làm mất đi các mối liên kết hành vi liền kề giữa các ngày sử dụng.

Thảo luận kết quả

Nguyên nhân cốt lõi dẫn đến sự vượt trội của phương pháp phân tách theo hành vi bắt nguồn từ bản chất phi tuyến tính trong thói quen con người. Người dùng không kích hoạt ứng dụng theo khung giờ cố định từ 00:00:00 đến 23:59:00 hàng ngày mà theo các chu kỳ công việc và giải trí cá nhân. Phân tách cứng nhắc theo ngày dương lịch đã vô tình cắt đôi các chuỗi hành vi diễn ra vào ban đêm hoặc giữa các phiên chuyển giao ngày, khiến độ hỗ trợ của các mẫu chuỗi bị suy giảm nghiêm trọng dưới ngưỡng minSup.

Khi thảo luận kết quả, sự tương quan hiệu năng có thể được mô tả trực quan thông qua đồ thị đường biểu diễn số lượng mẫu theo trục hoành là độ hỗ trợ giảm dần từ 65% xuống 20%. Đường biểu diễn của phương pháp slotTime luôn duy trì độ dốc tăng trưởng đột biến ở các ngưỡng minSup thấp, trong khi đường biểu diễn của phương pháp phân tách theo ngày nằm ngang ở mức 0 trước khi đạt ngưỡng ngày đủ lớn. Kỹ thuật biểu diễn bitmap của giải thuật SPAM kết hợp giải thuật xác định slotTime tối ưu đã rút ngắn hơn 50% thời gian xử lý so với PrefixSpan trên tập dữ liệu chuỗi dài, đồng thời hạn chế tối đa việc sinh ra các ứng viên rác trong bộ nhớ.

Đề xuất và khuyến nghị

Dựa trên các phát hiện thực nghiệm, luận văn đề xuất 4 nhóm giải pháp mang tính ứng dụng thực tiễn cao:

• Phát triển tính năng gợi ý ứng dụng thông minh theo ngữ cảnh chuỗi (Context-Aware App Recommendation): Đề xuất các nhà sản xuất hệ điều hành và giao diện tùy biến tích hợp thuật toán phân tích chuỗi tuần tự thời gian thực. Hệ thống tự động dự đoán và tải trước ứng dụng tiếp theo dựa trên chuỗi 2-3 thao tác trước đó của người dùng, đặt mục tiêu rút ngắn 30% thời gian thao tác tìm kiếm ứng dụng, triển khai thử nghiệm trong vòng 6 tháng.
• Tối ưu hóa chiến dịch tiếp thị và quảng cáo trong ứng dụng (In-App Contextual Marketing): Khuyến nghị các doanh nghiệp thương mại điện tử và mạng quảng cáo số triển khai thuật toán phân tích chuỗi hành vi để phân phối thông điệp tiếp thị đúng thời điểm chuyển giao giữa các ứng dụng liên kết (ví dụ chuỗi: Tìm kiếm -> Bản đồ -> Đặt dịch vụ), hướng tới mục tiêu gia tăng tỷ lệ chuyển đổi nhấp chuột (CTR) từ 25% đến 40% trong lộ trình 9 tháng.
• Quản lý tài nguyên hệ thống và tiết kiệm năng lượng chủ động: Đề xuất các kỹ sư phần mềm nhúng thiết lập cơ chế giải phóng bộ nhớ RAM và điều chỉnh xung nhịp CPU thông minh dựa trên việc dự báo ứng dụng sắp đóng hoặc mở trong chuỗi hành vi, mục tiêu giảm thiểu 15% mức tiêu hao pin thiết bị trong chu kỳ sử dụng 12 tháng.
• Mở rộng mô hình nghiên cứu kết hợp dữ liệu đa nguồn: Khuyến nghị các nhóm nghiên cứu dữ liệu lớn tích hợp thêm các biến nhân khẩu học (độ tuổi, nghề nghiệp, giới tính) và cảm biến môi trường (vị trí GPS, trạng thái kết nối Bluetooth, Wi-Fi) để phân cụm người dùng chi tiết hơn, nâng cao độ chính xác dự báo hành vi lên trên 85% trong khung thời gian 18 tháng.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn chuyên sâu cho 4 nhóm đối tượng chính:

• Kỹ sư phát triển phần mềm di động và chuyên gia tối ưu UX/UI: Cung cấp góc nhìn thực nghiệm về thói quen tương tác thực tế của người dùng, hỗ trợ việc thiết kế vị trí icon, gom nhóm thư mục ứng dụng và xây dựng luồng trải nghiệm mượt mà, hạn chế thao tác thừa.
• Chuyên gia phân tích dữ liệu (Data Analysts) và kỹ sư AI/Data Mining: Cung cấp mã nguồn tham khảo, giải thuật tính toán slotTime tối ưu và quy trình tiền xử lý logfile thực tế từ hệ điều hành Android, có thể tái sử dụng trực tiếp trên nền tảng SPMF mã nguồn mở.
• Nhà quản trị sản phẩm công nghệ (Product Managers) và chuyên gia Digital Marketing: Giúp thấu hiểu hành vi khách hàng mục tiêu thông qua dữ liệu chuỗi tuần tự, từ đó xây dựng các chiến lược bán chéo sản phẩm (cross-selling) và cá nhân hóa trải nghiệm khách hàng theo thời gian thực.
• Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Hệ thống thông tin: Nguồn tài liệu học thuật tiêu chuẩn về phương pháp luận nghiên cứu dữ liệu chuỗi thời gian, kỹ thuật cắt tỉa DFS trong khai phá dữ liệu và phương pháp tổ chức thực nghiệm so sánh đa tham số.

Câu hỏi thường gặp

Khai phá mẫu chuỗi tuần tự khác biệt như thế nào so với khai phá luật kết hợp? Khai phá luật kết hợp tập trung tìm mối quan hệ giữa các mục dữ liệu xuất hiện đồng thời trong cùng một giao dịch đơn lẻ mà không quan tâm đến yếu tố thời gian. Ngược lại, khai phá mẫu chuỗi tuần tự theo dõi thứ tự xuất hiện trước sau của các sự kiện qua nhiều giao dịch theo dòng thời gian, giúp phát hiện quy luật hành vi lặp lại.

Tại sao luận văn lại ưu tiên lựa chọn thuật toán SPAM thay vì PrefixSpan hay SPADE? Thuật toán SPAM sử dụng cấu trúc dữ liệu bitmap dọc giúp toàn bộ quá trình kiểm tra độ hỗ trợ của chuỗi ứng viên được thực hiện qua các phép toán bitwise cực nhanh trong bộ nhớ. Thực nghiệm cho thấy SPAM vượt trội hơn PrefixSpan và SPADE về tốc độ thực thi và khả năng kiểm soát bộ nhớ khi xử lý các chuỗi dữ liệu lớn.

Ý nghĩa của việc thiết lập ngưỡng 60 giây trong phân tách Itemset là gì? Ngưỡng 60 giây (Slot time cutoff Element) đóng vai trò phân định giữa hành vi tương tác liên tục và tương tác độc lập. Khoảng cách thời gian giữa hai ứng dụng liên tiếp nhỏ hơn hoặc bằng 60 giây phản ánh hành vi đa nhiệm hoặc phối hợp tác vụ cùng lúc, cho phép gom chúng vào cùng một đơn vị sự kiện Itemset.

Vì sao phân tách dữ liệu theo khoảng thời gian hành vi lại hiệu quả hơn phân tách theo ngày? Phân tách theo ngày dương lịch chia cắt dữ liệu theo mốc 24 giờ cơ học, làm đứt gãy các chuỗi hành vi kéo dài qua đêm hoặc giữa các buổi sinh hoạt. Phương pháp tính slotTime tối ưu bảo toàn tính liên tục của các chuỗi con phổ biến, giúp các mẫu chuỗi đạt độ hỗ trợ cao hơn và phát hiện được nhiều thói quen hơn.

Dữ liệu logfile Android được làm sạch như thế nào trước khi đưa vào thuật toán? Dữ liệu thô từ hệ thống chứa nhiều tiến trình chạy ngầm và luồng phụ. Nghiên cứu sử dụng câu lệnh truy vấn SQL lọc bỏ toàn bộ các ứng dụng không do người dùng trực tiếp mở như SystemApplication hay Network Location, chỉ giữ lại các ứng dụng gốc xuất phát từ màn hình chính thông qua khớp mã định danh PID và PPID.

Kết luận

• Luận văn đã giải quyết thành công bài toán phát hiện thói quen sử dụng ứng dụng di động bằng cách xây dựng mô hình tiền xử lý lọc sạch logfile Android và chuẩn hóa chuỗi dữ liệu đầu vào.
• Đề xuất giải thuật tính toán khoảng thời gian phân tách tối ưu (slotTime) dựa trên chuỗi con phủ tối thiểu và chuỗi xen kẹt, khắc phục hoàn toàn nhược điểm chia cắt cơ học của phương pháp phân tách theo ngày truyền thống.
• Thực nghiệm trên 200 thiết bị với 39.817 bản ghi đã chứng minh tính vượt trội của phương pháp đề xuất: tại ngưỡng minSup = 35%, phương pháp slotTime phát hiện tới 7.977 mẫu chuỗi thói quen trong khi phương pháp phân tách theo 25 ngày không phát hiện được mẫu nào.
• Ứng dụng thành công thuật toán SPAM trên nền tảng SPMF, mang lại hiệu năng xử lý dữ liệu nhanh chóng và tiết kiệm tài nguyên tính toán.
• Lộ trình nghiên cứu tiếp theo trong 12-18 tháng tới tập trung vào việc bổ sung biến định danh nhân khẩu học, dữ liệu cảm biến không gian và thử nghiệm trên các tập dữ liệu thời gian thực quy mô hàng triệu người dùng.

Để khai thác tối đa tiềm năng cá nhân hóa trải nghiệm người dùng và tối ưu hóa hệ thống, các doanh nghiệp công nghệ và nhà phát triển ứng dụng nên bắt đầu áp dụng ngay mô hình phân tích chuỗi tuần tự theo hành vi vào hệ thống dữ liệu nhật ký của đơn vị mình.

Trích đoạn nội dung tài liệu

Chương 1. Cung cấp thông tin về bài toán phân tích hành vi của người sử dụng trên TBDĐ. Trong chương này, chúng tôi trình bày các hướng nghiên cứu hành vi người dùng khác nhau từ dữ liệu thu được liên quan TBDĐ. Đồng thời, 9 LUAN VAN CHAT LUONG download : add [e-mail] chúng tôi trình bày về hướng nghiên cứu và cách thức giải quyết bài toán của chúng tôi.

Trình bày những kiến thức cơ sở để giải quyết bài toán. Về dữ liệu trình bày đặc điểm của dữ liệu thu được từ pha lấy dữ liệu, cách thức lọc dữ liệu làm đầu vào cho thuật toán. Về giải thuật, đưa ra mô hình khai phá dữ liệu và trình bày các giải thuật về khai phá mẫu chuỗi tuần tự phổ biến theo thời gian và đưa ra lý dọ chọn giải thuật SPAM Chương 3. Trong chương này chúng tôi trình bày Mô hình khai phá dữ liệu dể giải quyết được vấn đề của bài toán.

Trình bày kết quả thực nghiệm và phân tích kết quả thu được. Đánh giá tính đúng đắn và tính hiệu quả của phương pháp đề xuất so với một số phương pháp khác. Kết luận và hướng nghiên cứu tiếp theo 10 LUAN VAN CHAT LUONG download : add [e-mail] Chương 2 - TỔNG QUAN KHAI PHÁ MẪU CHUỖI TUẦN TỰ 2. Đặc điểm của dữ liệu Dữ liệu thu được từ việc người sử dụng kích hoạt các ứng dụng trên TBDĐ sử dụng hệ điều hành Android có dạng như Hình 2.1, trong đó có các thông tin như sau : AppName: là tên ứng dụng.

Stop: thời điểm kết thúc ứng dụng PID: ID của ứng dụng PPID: ID của ứng dụng cha của ứng dụng PID IMEI: mã máy Start: thời điểm khởi động ứng dụng Với dữ liệu sử dụng phần mềm có thể là rất dài đối với một TBDĐ nếu được lấy trong một khoảng thời gian tương đối lớn. Hơn nữa, số lượng các ứng dụng ngày càng nhiều nên khi chúng tôi tìm hiểu cách khai phá tập luật tuần tự thì kết quả không có khả quan. Nhưng khi chúng tôi tìm hiểu các cách để tìm ra các mẫu chuỗi tuần tự thì kết quả khả quan hơn.1 sau minh họa dữ liệu lấy được từ pha lấy dữ liệu, ta có thể nhận ra được rằng trong một thời gian rất ngắn, dữ liệu đã ghi nhận rất nhiều ứng dụng được kích hoạt. Khi quan sát dữ liệu trong Hình 2.1 chúng ta nhận thấy, dữ liệu được lưu quá nhiều, một ứng dụng được lưu quá nhiều lần, các ứng dụng con được kích hoạt từ ứng dụng cha cũng nhiều, có nhiều ứng dụng do hệ điều hành kích hoạt, có nhiều ứng dụng do người dùng kích hoạt.

Vấn đề đặt ra ở đây là làm thế nào chỉ lấy được các ứng dụng gốc do người dùng kích hoạt. Ví dụ, làm thế nào để lấy được ứng dụng gốc như Trình duyệt web, Email, GoogleTalk, … mà không phải các ứng dụng do Hệ thống sinh ra, hoặc ra các ứng dụng gốc đó gọi các ứng dụng khác của hệ thống trong quá trình thực thi. Để làm được việc đó, chúng tôi đã lọc ra các ứng dụng thuộc hệ thống như SystemApplication, Unknow, System,. và toàn bộ các ứng dụng con của nó được kích hoạt qua mã ID và PID.

11 LUAN VAN CHAT LUONG download : add [e-mail] AppName Stop PID IMEI PPID Start SystemApplication Nov 27 22:31:56 2012 90 0 59 Nov 27 22:30:19 2012 Email Nov 27 22:31:57 2012 247 0 244 Nov 27 22:30:29 2012 Launcher Nov 27 22:31:57 2012 132 0 118 Nov 27 22:30:22 2012 Music Nov 27 22:31:57 2012 180 0 179 Nov 27 22:30:24 2012 SystemApplication Nov 27 22:31:58 2012 52 0 32 Nov 27 22:30:19 2012 LogInfo Nov 27 22:31:08 2012 341 0 289 Nov 27 22:31:07 2012 SystemApplication Nov 27 22:31:56 2012 79 0 59 Nov 27 22:30:19 2012 Search Nov 27 22:31:57 2012 187 0 33 Nov 27 22:30:24 2012 SystemApplication Nov 27 22:31:58 2012 137 0 59 Nov 27 22:30:19 2012 LogInfo Nov 27 22:31:06 2012 339 0 289 Nov 27 22:31:05 2012 LogInfo Nov 27 22:31:51 2012 395 0 289 Nov 27 22:31:50 2012 SystemApplication Nov 28 19:14:24 2012 152 0 126 Nov 28 19:13:47 2012 Music Nov 28 19:14:24 2012 256 0 252 Nov 28 19:13:58 2012 Package Access Helper Nov 28 19:14:24 2012 355 0 240 Nov 28 19:13:57 2012 SystemApplication Nov 28 19:14:24 2012 132 0 124 Nov 28 19:13:47 2012 Clock Nov 28 19:14:24 2012 235 0 232 Nov 28 19:13:54 2012 SystemApplication Nov 28 19:14:24 2012 8 0 2 Nov 28 19:13:43 2012 SystemApplication Nov 28 19:14:24 2012 188 0 124 Nov 28 19:13:47 2012 Pico TTS Nov 28 19:14:24 2012 372 0 33 Nov 28 19:14:10 2012 SystemApplication Nov 28 19:14:24 2012 33 0 1 Nov 28 19:13:43 2012 Pico TTS Nov 28 19:14:24 2012 374 0 372 Nov 28 19:14:10 2012 Package Access Helper Nov 28 19:14:24 2012 241 0 240 Nov 28 19:13:56 2012 Maps Nov 28 19:14:24 2012 357 0 33 Nov 28 19:14:09 2012 Search Nov 28 19:14:24 2012 274 0 268 Nov 28 19:14:01 2012 SystemApplication Nov 28 19:14:24 2012 192 0 124 Nov 28 19:13:47 2012 SystemApplication Nov 28 19:14:24 2012 30 0 1 Nov 28 19:13:43 2012 Downloads Jan 02 13:57:11 2012 207 A000002470B55F 203 Jan 02 13:55:04 2012 LogInfo Jan 02 13:55:54 2012 24528 A000002470B55F 24429 Jan 02 13:55:53 2012 SystemApplication Jan 02 13:57:11 2012 14601 A000002470B55F 117 Jan 02 13:55:03 2012 Contacts Storage Jan 02 13:57:11 2012 354 A000002470B55F 272 Jan 02 13:55:11 2012 Network Location Jan 02 13:57:11 2012 857 A000002470B55F 222 Jan 02 13:55:10 2012 Terminal Emulator Jan 02 13:57:11 2012 25545 A000002470B55F 25543 Jan 02 13:55:35 2012 Contract Killer Jan 02 13:57:11 2012 24031 A000002470B55F 24022 Jan 02 13:55:30 2012 LogInfo Jan 02 13:55:52 2012 24522 A000002470B55F 24429 Jan 02 13:55:51 2012 Market Jan 02 13:57:11 2012 18214 A000002470B55F 18208 Jan 02 13:55:16 2012 SystemApplication Jan 02 13:57:11 2012 35 A000002470B55F 2 Jan 02 13:55:03 2012 LogInfo Jan 02 13:55:38 2012 24476 A000002470B55F 24429 Jan 02 13:55:37 2012 Hình 2.1 Dữ liệu thu được từ TBDĐ sử dụng Hệ điều hành Android Để có dữ liệu có dạng chuỗi tuần tự như sau, Si = {app1, app2, ., appn}; Trong đó: - Si là thiết bị cầm tay thứ i - appj với 1≤ j ≤ n là ứng dụng được kích hoạt bởi người dùng trong thiết bị cầm tay Si - appj được kích hoạt trước appj+1 và được kích hoạt sau ứng dụng app j-1. Tức là: 12 LUAN VAN CHAT LUONG download : add [e-mail] tstartappj 1  tstartappj  tstartappj 1 (1) Với t start appi là thời điểm bắt đầu kích hoạt ứng dụng appi Đặc điểm của dữ liệu: Si thường có số lớn các ứng dụng (chuỗi dài - long sequence). Như vậy dữ liệu cuối cùng có dạng: imei, appName, start, stop (imei = s i) AppName Stop PID IMEI PPID Start Email Nov 27 22:31:57 2012 247 0 244 Nov 27 22:30:29 2012 Launcher Nov 27 22:31:57 2012 132 0 118 Nov 27 22:30:22 2012 LogInfo Nov 27 22:31:06 2012 339 0 289 Nov 27 22:31:05 2012 Music Nov 27 22:31:57 2012 180 0 179 Nov 27 22:30:24 2012 Search Nov 27 22:31:57 2012 187 0 33 Nov 27 22:30:24 2012 Clock Nov 28 19:14:24 2012 235 0 232 Nov 28 19:13:54 2012 Maps Nov 28 19:14:24 2012 357 0 33 Nov 28 19:14:09 2012 Music Nov 28 19:14:24 2012 256 0 252 Nov 28 19:13:58 2012 Package Access Helper Nov 28 19:14:24 2012 241 0 240 Nov 28 19:13:56 2012 Pico TTS Nov 28 19:14:24 2012 374 0 372 Nov 28 19:14:10 2012 Search Nov 28 19:14:24 2012 274 0 268 Nov 28 19:14:01 2012 Contacts Storage Jan 02 13:57:11 2012 354 A000002470B55F 272 Jan 02 13:55:11 2012 Contract Killer Jan 02 13:57:11 2012 24031 A000002470B55F 24022 Jan 02 13:55:30 2012 Downloads Jan 02 13:57:11 2012 207 A000002470B55F 203 Jan 02 13:55:04 2012 LogInfo Jan 02 13:55:38 2012 24476 A000002470B55F 24429 Jan 02 13:55:37 2012 Market Jan 02 13:57:11 2012 18214 A000002470B55F 18208 Jan 02 13:55:16 2012 Network Location Jan 02 13:57:11 2012 857 A000002470B55F 222 Jan 02 13:55:10 2012 Terminal Emulator Jan 02 13:57:11 2012 25545 A000002470B55F 25543 Jan 02 13:55:35 2012 Hình 2.2 Dữ liệu ứng dụng gốc được lấy ra từ Hình 2.1 Để có dữ liệu dạng trên thì chúng tôi đã có một pha riêng để lọc dữ liệu, pha này phải làm các công việc sau: xác định các ứng dụng gốc (1), loại bỏ các ứng dụng con được kích hoạt từ ứng dụng gốc. Khai phá dữ liệu mẫu chuỗi tuần tự 2.

Giới thiệu chung Như phần 2.1 đã trình bày, vì đặc điểm của dữ liệu là dạng chuỗi dài theo thời gian và có rất nhiều ứng dụng khác nhau được đưa vào sử dụng nên khi chúng tôi thử nghiệm trên các giải thuật tìm luật tuần tự hành về vi sử dụng của nhiều người thì kết quả không khả quan. Do đó, chúng tôi đã đi tìm hiểu các mẫu chuỗi tuần tự về hành vi sử dụng của nhiều người thì có vẻ khả quan hơn. Chính vì vậy, trong phần này chúng tôi sẽ giới thiệu tổng quan về các giải thuật (1) Ứng dụng gốc là ứng dụng được kích hoạt trực tiếp từ người dùng từ desktop, hoặc từ các nhóm ứng dụng trên hệ điều hành. 13 LUAN VAN CHAT LUONG download : add [e-mail] khai phá mẫu chuỗi tuần tự và lý do chúng tôi chọn giải thuật SPAM cho bài toán này.

Dữ liệu dạng chuỗi các giá trị hoặc các sự kiện được kết hợp với thuộc tính thời gian được gọi là dữ liệu chuỗi thời gian time-series [15] gọi tắt là dữ liệu time-series. Một số dữ liệu time-series như: dữ liệu giao dịch khách hàng trong các siêu thị, dữ liệu về tài chính – chứng khoán, dữ liệu về y học, dữ liệu về khoa học, dữ liệu về thời tiết. Đã có nhiều giải thuật được thiết kế cho dữ liệu time-series [15]. Tuy nhiên, chúng ta có thể gom lại có 4 dạng mẫu (pattern) mà chúng ta khai phá từ dữ liệu time-series sau: - Phân tích xu hướng: phân tích xu hướng là tìm ra các mẫu phát triển của một số thuộc tính theo thời gian, chúng có thể là sự vận động mang tính lâu dài, phát triển quay vòng, vận động có nguyên nhân, các vận động ngẫu nhiên.

Ví dụ như giá vàng theo thời gian, ta có thể mô hình nó dạng Y=F(t) và có thể biểu diễn trên đồ thị. Dựa trên hàm đó ta có thể tìm ra xu hướng là cứ Thứ 2 hàng tuần thì giá vàng tăng 2%, cứ Thứ 6 hàng tuần thì giá vàng tụt xuống 3%. Với phương pháp này được sử dụng nhiều trong phân tích xu hướng chứng khoán. - Tìm chuỗi tuần tự: tìm kiếm chuỗi tương tự là cố gắng để tìm các chuỗi có sự khác biệt đôi chút.

Tìm kiếm chuỗi tương tự là một quá trình đối sánh mờ trong phạm vi sai số nhất định trong một ngưỡng nhất định. Đối sánh chuỗi có thể được phân lớp như: đối sánh chuỗi con và đối sánh toàn bộ chuỗi.