Mở đầu Trình bày khái quát và phát triển bài toán dự đoán chuỗi hành động liên quan tới nhau của con người. Đồng thời cũng trình bày thực trạng, những khó khăn, thách thức và ứng dụng của bài toán. Từ đó xác định mục tiêu, đối tượng và phạm vi nghiên cứu cho khóa luận. Chương 2: Cac công trình nghiên cứu lién quan Trình bày, phân tích và đánh giá các hướng tiếp cận đã được công bồ liên quan đến bài toán dự đoán chuỗi hành động liên quan tới nhau của con người.
Từ những công trình nghiên cứu liên quan, xác định và xây dựng các giải pháp cho những van đề còn ton tại và thách thức trong bài toán. Chương 3: Cơ sở lý thuyết Trinh bày chỉ tiết những cơ sở lý thuyết cần thiết dé xây dựng mô hình dự đoán chuỗi hành động liên quan tới nhau của con người, bao gồm: e Thuật toán Expectation Maximization e M6 hình Gaussian e Quy trinh Hawkes e Phân phối Weibull e Mô hình TIPAS e Mô hình Support Vector Classifier e Mô hình Logistic Regression e M6 hình phân lớp Gaussian Naive Bayes e M6 hình phan lớp K — Nearest Neighbor Chương 4: Mô hình dự đoán chuỗi hành động liên quan tới nhau của con người Trình bày chỉ tiết mô hình dự đoán chuỗi hành động liên quan tới nhau của con người, trong đó bao gồm 3 quá trình: e Xử lý dữ liệu e Huấn luyện mô hình e Du đoán chuỗi hành động liên quan tới nhau của con người Chương 5: Kết quả thực nghiệm và đánh giá Trình bày các kết quả thực nghiệm của phương pháp đề xuất. Tiến hành so sánh, đánh giá và phân tích với các kết quả thực nghiệm của các phương pháp cơ sở đã được công bố thông qua độ đo đánh giá Prediction Accuracy Score và Macro Average Recall. Chương 6: Kết luận và hướng phát triển Kết luận quá trình nghiên cứu và thực nghiệm.
Từ đó, đưa ra những định hướng nghiên cứu mở rộng cho dé tài trong tương lai. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Hiện nay đã có rất nhiều công trình nghiên cứu về dự đoán chuỗi hành động xảy ra trong quá khứ. Một số mô hình thường được sử dụng trong những công trình này là Markov, LTSM và phân phối Weibull. Bên cạnh đó, bởi tính chất phức tạp của hành động mà những công trình liên quan thường kết hợp nhiều thuật toán và phân phối xác suất với nhau [1].
Cụ thể hơn, các đề tài nghiên cứu liên quan được chia theo 3 nhóm chính như sau: 2. Dự đoán hành động tiếp theo Công trình dự đoán hành động tiếp theo đã được nghiên cứu và thực hiện trên nhiều bài toán như dự đoán hành vi người dùng dé xây dựng giao diện phù hợp [2], hay dự đoán những hành vi của người dùng khi tuỳ chọn mục sản phẩm [3], mua hàng trực tuyến [4]. Những công trình này thường sử dụng mô hình Markov nhằm dự đoán một chuỗi hành động có thời gian xảy ra rời rạc. Tuy nhiên, chính bởi tính rời rạc này mà mô hình Markov khi dự đoán những hành động bị ảnh hưởng bởi các chu kì dài hạn sẽ có tỷ lệ chính xác không cao [5].
Bên cạnh đó, các công trình nghiên cứu về bài toán dự đoán hành động tiếp theo còn thường sử dụng mô hình LSTM [6]. Mô hình này cũng có chức năng giả định các khoảng thời gian xảy ra rời rac va thông qua những dt liệu đã xảy ra trong quá khứ hay còn được gọi là lịch sử hoạt động của người dùng mà dự đoán các hành động tiếp theo. Mặc dù đã được cải tiến từ mạng nơ — ron hồi quy (Recurrent Neural Network — RNN), nhưng nhược điểm của LSTM vẫn là bị giới hạn khả năng ghi nhớ trong khoảng thời gian dài hạn. Nhìn chung, mặc dù đã có rất nhiều công trình nghiên cứu về đề tài dự đoán hành động tiếp theo của con người.
Thế nhưng, về lĩnh vực dự đoán hành động hàng ngày như ăn, uống, ngủ, nghỉ,. của con người thì chưa nhiều. Bên cạnh đó, các công trình này thường chỉ dự đoán hành động sẽ xảy ra tiếp theo là hành động nào mà không dự đoán thời điểm sẽ xảy ra. Đặc biệt, bộ dữ liệu thực nghiệm của đề tài ghi lại hành động của con người trong thế giới, vì thé các hành động này sẽ có sự ảnh hưởng bởi các chu kỳ dai hạn.
Vì thế, đề tài của chúng tôi đã giải quyết đồng thời 2 bài toán này với độ phức tạp của hành động lớn hơn và vấn đề giới hạn khả năng ghi nhớ dữ liệu của mô hình LSTM cũng đã được mô hình đề tài sử dụng giải quyết. Kiến trúc lặp lại hành động Con người thường có thói quen lặp lại hành động đã thực hiện trước đó. Ví dụ như, một người đi trên một con đường thì có khả năng cao người đó sẽ đi lại con đường ấy trong tương lai gần. Tổng quan hơn, hành vi của con người thường thay đổi theo thời gian nhưng lại có sự phụ thuộc lẫn nhau và diễn ra theo một chu kì nhất định.
Những công trình đã nghiên cứu về công trình kiến trúc lặp lại hành động thường tập trung vào các hành vi tiêu thụ sản phâm của người ding như xem video cầu nối [7], nghe nhạc [8], tìm kiếm thông tin trên trang web [9],. Những công trình này đã mô hình hoá hành động của nhằm mục đích nghiên cứu tính chất lặp lại hành động cũ và thực hiện các hành động moi cua con người. Ngoài ra, những công trình về kiến trúc lặp lại hành động còn thực hiện những khảo sat quan trong của các đối tượng người dùng khác nhau dé có một cái nhìn tổng quan và khái quát nhất. Cũng nhờ những nghiên cứu thông qua khảo sát và chúng ta có thể kết luận rằng, hành động của con người trong thế giới thực có tính chất lặp lại hành động cũ như một thói quen.
Thêm vào đấy, thời gian hành động này được lặp lại sẽ khác nhau và bị ảnh hưởng vào tính chất của từng hành động cụ thê. Tuy nhiên, hầu hết các hoạt động này không bị ảnh hưởng bởi cái chu kì ngắn hạn hay dài hạn khác nhau và thường it thay đôi theo thời gian. Điều này trái lai với mục tiêu xây du mô hình dự đoán của dé tài. Tuy nhiên, những công trình này là tiền đề dé phát triển quá trình mô hình hoá hành động dựa trên tính chất lặp lại hành động theo thói quen của người dùng.
Quy trình điểm tạm thời Đối với công trình nghiên cứu quy trình điểm tạm thời, các đề tài thường xoay quanh vấn đề dự đoán thời gian diễn ra các hành động thay đổi tiếp theo [10]. Từ đó, thông qua mô hình Poisson và quy trình Hawkes [11] mô hình hoá các ảnh hưởng của người dùng trong mạng xã hội [12] [13] [14]. Sau đó, phân tích sự phát triển của thông tin và cấu trúc mạng [15], phân cum tải liệu [16], thời gian người dùng quay lại thực hiện hành động ct [ L7],. Với mô hình Poisson, đây là một mô hình hồi quy và sử dụng phương thức phân phối xác suất rời rac dé huấn luyện mô hình.
Khác với những mô hình xác suất thông thường, Poisson không dựa vào xác suất các sự kiện xảy ra hay số lần xuất hiện của sự kiện. Thay vào đó, Poisson sẽ tính số lần trung bình hành động đó xảy ra trong một khoảng thời gian nhất định. Còn đối với quy trình Hawkes, còn được xem như một quy trình tự kích thích và quy trình điểm. Vì thế, các sự kiện sắp xảy ra của nó sẽ có sự phụ thuộc vào các sự kiện trước đó.
Bài toán Dự đoán chuỗi hành động liên quan tới nhau của con người đã mở rộng phạm vi nghiên cứu của công trình này và sử dụng phân phối mũ và Weibull kernels dé mô hình hoá xu hướng thay đổi hành động theo thời gian của con người. Qua đó, chứng minh rang tính chất này rất quan trọng khi dự đoán hành động và thời điểm xảy ra hành động của người dùng. Do đó, có thé thay rằng những công trình nghiên cứu về quy trình điểm tạm thời có ý nghĩa rất quan trọng đối với dé tài và đây cũng là tiền đề dé đề tài có thể quyết định lựa chọn mô hình phù hợp với yêu cầu bài toán và bộ dữ liệu phức tạp. Thuật toán Expectation — Maximization Expectation - Maximization là thuật toán thống kê dé tìm tham số của phân phối xác suất.
Thuật toán này còn là một phương pháp đề tìm giá trị MLE (ước tính khả năng xảy ra tối đa) và thường được sử dụng khi dữ liệu không đầy đủ (bị missing data) [18]. Ưu điểm của thuật toán này là đồng thời tối ưu hoá các tham số của mô hình và có khả năng dự đoán các điểm dữ liệu bị thiếu (missing data) trong tất cả các vòng lặp. Thuật toán EM bao gồm3 tiến trình như sau: [19] e E-step: ban đầu thuật toán sẽ khởi tao các tham số một cách ngẫu nhiên cho các phân phối xác suất. Sau đó sử dụng các tham số này dé tính xác suất điểm đữ liệu thuộc một phân phối xác suất cụ thé.
Qua đó có thé gan được từng điểm dữ liệu vào một phân phối xác suất cụ thé. e M-step: sử dụng các điểm dữ liệu đã được gan dé cập nhật tham số của các phân phối xác suất. e Lap lại bước E — step va M — step cho tới khi các tham số của mô hình ồn định hoặc hội tụ. M6 hình Gaussian mixture Gaussian mixture là mô hình xác suất giả định tất cả các điểm đữ liệu được tạo ra từ một tập hữu hạn k các phân phối xác suất chuân (Gaussian distribution - GD) chưa biết tham số.
Thuật toán này xem mỗi cụm là một phân phối xác suất chuân, k GD tương ứng với k cụm [20]. Đối với một tập dữ liệu cụ thể, mô hình Gaussian mixture sẽ xác định xác suất điểm dữ liệu thuộc một phân phối xác suất cụ thể. Các tham số GMM được đánh giá từ việc huấn luyện đữ liệu sử dụng thuật toán Expectation Maximization — EM. Mô hình hỗn hợp Gaussian là tổng k của các mật độ phân phối Gaussian, trong đó k € {1,., K} và K là số lượng phân cụm của bộ dữ liệu (trong bộ dữ liệu thực nghiệm của dé tài có 10 phân cụm hành động người dùng).