Luận Văn Thạc Sĩ Khoa Học Máy Tính: Hướng Dẫn Xây Dựng Hệ Thống Tư Vấn Trên Facebook Fanpage

Luận văn thạc sĩ khoa học máy tính tập trung xây dựng hệ thống tư vấn trên Facebook Fanpage, ứng dụng công nghệ hiện đại để nâng cao trải nghiệm người dùng.

• Tác giả: Võ Trọng Tuấn Anh
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Bách Khoa, Đại học Quốc gia TP. HCM
• Chuyên ngành: Khoa học máy tính
• Đề tài: Xây dựng hệ thống tư vấn trên các trang Facebook Fanpage
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2013
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Giới thiệu

Luận văn thạc sĩ này tập trung vào việc xây dựng hệ thống tư vấn trên Facebook Fanpage, một nền tảng mạng xã hội phổ biến. Với sự phát triển mạnh mẽ của công nghệ thông tin và trí tuệ nhân tạo, việc tạo ra một hệ thống tự động hóa tư vấn trực tuyến trở nên cấp thiết. Luận văn đề xuất phương pháp kết hợp machine learning và xử lý ngôn ngữ tự nhiên để tối ưu hóa quá trình tư vấn, giúp người dùng tiếp cận thông tin nhanh chóng và chính xác.

1.1 Lý do chọn đề tài

Sự bùng nổ của mạng xã hội như Facebook đã thay đổi cách người dùng tương tác và tìm kiếm thông tin. Tuy nhiên, lượng thông tin khổng lồ trên các Fanpage khiến người dùng gặp khó khăn trong việc tìm kiếm nội dung phù hợp. Luận văn thạc sĩ này nhằm giải quyết vấn đề này bằng cách xây dựng hệ thống tư vấn tự động, giúp người dùng dễ dàng tiếp cận thông tin hữu ích.

1.2 Mục tiêu và giới hạn

Mục tiêu chính của luận văn là phát triển hệ thống tư vấn dựa trên nhu cầu người dùng và lượng truy cập trên Facebook Fanpage. Hệ thống tập trung vào việc phân tích dữ liệu và tương tác người dùng để đưa ra kết quả tư vấn chính xác. Tuy nhiên, nghiên cứu bị giới hạn bởi việc không có quyền truy cập sâu vào cơ sở dữ liệu của Facebook và chỉ xử lý dữ liệu tiếng Anh.

II. Cơ sở lý thuyết

Luận văn dựa trên các lý thuyết về khai phá dữ liệu, phân tích dữ liệu, và xử lý ngôn ngữ tự nhiên. Các phương pháp như phân cụm dữ liệu, phân loại, và hồi quy được áp dụng để xử lý thông tin từ Facebook Fanpage. Ngoài ra, machine learning và trí tuệ nhân tạo đóng vai trò quan trọng trong việc tối ưu hóa hệ thống.

2.1 Khai phá dữ liệu

Quá trình khai phá dữ liệu bao gồm các bước: thu thập, làm sạch, chuyển đổi, và phân tích dữ liệu. Luận văn sử dụng các kỹ thuật như phân cụm và phân loại để nhóm các Fanpage có nội dung tương tự, giúp hệ thống đưa ra kết quả tư vấn chính xác hơn.

2.2 Xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên (NLP) là công cụ chính để phân tích nội dung trên Facebook Fanpage. Các thuật toán như loại bỏ stop-words và stemming được áp dụng để chuẩn hóa dữ liệu, giúp hệ thống hiểu và xử lý thông tin hiệu quả hơn.

III. Phương pháp tiếp cận

Luận văn đề xuất phương pháp kết hợp giữa khai thác nội dung web và tương tác người dùng để xây dựng hệ thống tư vấn. Hệ thống sử dụng Facebook API để thu thập dữ liệu từ các Fanpage, sau đó áp dụng các thuật toán machine learning để phân tích và đưa ra kết quả tư vấn phù hợp.

3.1 Thu thập dữ liệu

Dữ liệu được thu thập từ các Facebook Fanpage thông qua Facebook API. Quá trình này bao gồm việc trích xuất nội dung, số lượng truy cập, và các tương tác của người dùng. Dữ liệu sau đó được làm sạch và chuẩn hóa để phục vụ cho việc phân tích.

3.2 Phân tích và tư vấn

Hệ thống sử dụng các thuật toán phân cụm và phân loại để nhóm các Fanpage có nội dung tương tự. Kết quả phân tích được sử dụng để đưa ra các gợi ý tư vấn phù hợp với nhu cầu của người dùng.

IV. Thực nghiệm và kết quả

Luận văn tiến hành thực nghiệm hệ thống trên các Facebook Fanpage thực tế. Kết quả cho thấy hệ thống có khả năng tối ưu hóa tư vấn và cải thiện trải nghiệm người dùng. Các thử nghiệm cũng chỉ ra những hạn chế cần được khắc phục trong tương lai.

4.1 Môi trường thực nghiệm

Hệ thống được thử nghiệm trên các Facebook Fanpage với nội dung đa dạng. Dữ liệu được thu thập và phân tích trong thời gian thực, giúp đánh giá hiệu quả của hệ thống một cách chính xác.

4.2 Đánh giá kết quả

Kết quả thực nghiệm cho thấy hệ thống có khả năng tự động hóa tư vấn và đưa ra các gợi ý phù hợp với nhu cầu người dùng. Tuy nhiên, vẫn còn một số hạn chế về độ chính xác và tốc độ xử lý cần được cải thiện.

V. Kết luận và hướng phát triển

Luận văn thạc sĩ đã thành công trong việc xây dựng hệ thống tư vấn trên Facebook Fanpage, mang lại giá trị thực tiễn cao. Tuy nhiên, hệ thống cần được cải thiện về độ chính xác và tốc độ xử lý. Trong tương lai, việc tích hợp thêm các công nghệ tiên tiến như deep learning và xử lý ngôn ngữ tự nhiên sẽ giúp hệ thống hoạt động hiệu quả hơn.

5.1 Kết luận

Luận văn đã đạt được mục tiêu đề ra là xây dựng hệ thống tư vấn tự động trên Facebook Fanpage. Hệ thống mang lại hiệu quả cao trong việc cải thiện trải nghiệm người dùng và tối ưu hóa quá trình tư vấn.

5.2 Hướng phát triển

Trong tương lai, hệ thống cần được cải thiện về độ chính xác và tốc độ xử lý. Việc tích hợp các công nghệ tiên tiến như deep learning và xử lý ngôn ngữ tự nhiên sẽ giúp hệ thống hoạt động hiệu quả hơn và mở rộng phạm vi ứng dụng.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan Trong chương này, chúng tôi khảo sát cũng như giới thiệu các mạng xã hội đang hoạt động hiện nay đồng thời cũng chỉ ra những thách thức đối với khai phá dữ liệu trên mang xã hội. Qua đó dé ra mục tiêu nghiên cứu và giải quyết của đề tài. * Chương 2: Trong chương 2, chúng tôi giới thiệu về các phương pháp khai thác dữ liệu web truyền thống. * Chương 3: Trong chương 3, chúng tôi sẽ giới thiệu các nghiên cứu liên quan đến nội dung của luận văn.

Phần 2: Sau khi tìm hiểu lý thuyết và các nghiên cứu liên quan. Chúng tôi dé xuất một phương pháp xây dựng hệ thống tư vấn cho người dùng đến các trang facebook fanpage và cài đặt ứng dụng thử nghiệm. Nội dung phần 2 bao gôm các chương sau: 14 Chương ổ +% Chương 4: Trong chương này, chúng tôi đi vào chỉ tiết giải pháp phối hợp giữa khai thác nội dung web và tương tác của người dùng để xây dựng hệ thống tư van cho người dùng đến các trang facebook fanpage phù hợp. + Chương 5: Kiến trúc hệ thống cũng như các thức hoạt động của ứng dụng được chúng tôi mô tả trong chương 5.

* Chương 6: Trong chương nay, chúng tối tién hành thử nghiệm và so sánh kết quả tìm kiếm của hệ thông và kết quả thử nghiệm trên ứng dụng tìm kiếm của google. +% Chương 7: Ở chương này, chúng tôi trình bày kết quả đạt được, những vấn đề còn tồn tại và hướng phát triển trong tương lai. Chúng tôi đã cố gắng rất nhiều dé luận văn đạt kết quả tốt nhất. Tuy nhiên, do kinh nghiệm, điều kiện nghiên cứu cũng như thời gian ngắn nên những sai sót là điều không thé tránh khỏi.

Chúng tôi xin chân thành cảm ơn và trân trọng tiếp thu tất cả những ý kiến đóng góp của quý thầy cô và bạn bè để luận văn được hoàn thiện hơn. 15 Chương Cơ sở ê Chương 2: CƠ SỞ LÝ THUYET 2.1 Các bước của quá trình phát hiện tri thức Về cơ bản, quá trình phát hiện tri thức được quy về 6 bước chính: * Gom dữ liệu Tập hợp dữ liệu là bước đầu tiên trong quá trình khai phá dữ liệu. Đây là bước được khai thác từ các nguồn dữ liệu (cơ sở dữ liệu, kho dữ liệu, các nguồn ứng dung web,. * Trích lọc dữ liệu Ở giai đoạn này dữ liệu được lựa chọn hoăc phân chia theo một số tiêu chuẩn nào đó phục vụ mục đích khai thác.

4 Làm sạch, tiền xử lý và chuẩn bị trước dữ liệu Đây là bước rất quan trọng trong quá trình khai phá dữ liệu. Dữ liệu thu gom được thường tôn tại các phần tử không có tính logic, chứa các giá trị vô nghĩa va không có khả năng tao ra tri thức (ví dụ vận tốc xe đạp là 320km/gi0). Bước này sẽ tiến hành xử lý những dạng dữ liệu không chặt chẽ nói trên. Những dữ liệu loại này được xem như thông tin không có giá tri.

Bởi vậy, đây là một quá trình rat quan trong vi dữ liệu này nếu không được xử lý trước thì sẽ gây nên những sai lệch kết quả ở các bước sau. 4 Chuyến đổi dữ liệu Ở giai đoạn chuyển đổi dữ liệu, dữ liệu được tổ chức lại và sẽ được chuyển đổi về dang phù hợp, sẵn sàng cho việc khai phá tri thức. % Khai phá dé liệu Đây là bước quan trọng, quyết định sự khác biệt giữa các hệ thông khai phá dữ liệu. Ở bước này, tùy vào đặc thù của ứng dụng khai phá dữ liệu, các thuật toán khác nhau sẽ được cài đặt để phục vụ cho việc rút trích tri thức.

l6 Chương Cơ sở ê 4 Đánh giá các luật và biểu diễn tri thức Ở giai đoạn này các mẫu dữ liệu được rút ra bởi thuật toán khai phá dữ liệu. Không phải tất cả các mẫu dữ liệu đều có ý nghĩa và chính xác với yêu cầu, đôi khi nó còn bị sai lệch. Vi vậy, cần phải có các tiêu chuẩn đánh giá dé rút trích ra các tri thức can thiết. Ví dụ như cần cung cấp một phép đo để đánh giá sự hữu ích của các mẫu tri thức rút được.

Sau đó tri thức sẽ được biéu diễn một cách trực quan hóa cho người sử dụng. Các kỹ thuật khai pha dữ liệu 2.1 Khai phá dữ liệu dự đoán Khai phá dữ liệu là quá trình rút ra các luật, các dự đoán dựa trên dữ liệu hiện thời. Nó dựa vào các thông tin có săn trong cơ sở dữ liệu để dự đoán các giá trị không biết hay các giá trị tương lai. Bao gồm các kỹ thuật phân loại (classification), hồi quy (regression).

o Phân loại: Phân loại di liệu là quá trình gán nhãn cho các mẫu dữ liệu. Quá trình phân loại dữ liệu gồm 2 bước: xây dưng mô hình va sử dụng mô hình dé phân loại dữ liệu. e© Bước 1: Từ các mẫu dữ liệu ban đầu gồm có các thuộc tính, trong đó có một thuộc tính quyết định gọi là thuộc tính lớp, mỗi mẫu đều phải thuộc một lớp trước khi xây dựng mô hình. Các mẫu dữ liệu này còn được gọi là tập dữ liệu huấn luyện.

Mô hình sẽ được xây dựng dựa trên việc phân tích tập huấn luyện này. Phương pháp nay được gọi là học có quan sát. e Bước 2: Sau khi xây dựng mô hình, cần phải tính toán độ chính xác của mô hình. Nếu độ chính xác là chấp nhận được, mô hình sẽ được sử dụng để dự đoán nhãn lớp cho các mẫu dữ liệu khác trong trương lai.

Phân loại có thê coi là một hàm ánh xạ một mục dữ liệu vào một trong các lớp cho trước. 17 Chương Cơ sở ê o Hỗi quy: Nếu phân loại dùng để dự đoán các giá tri rời rac của thuộc tính lớp thi hồi quy dùng để dự đoán về các giá tri liên tục. Hồi quy là một hàm ánh xạ một mục dữ liệu vào một biến dự báo giá tri thực.2 Khai pha dữ liệu mô tả Các kỹ thuật này có nhiệm vụ mô tả về các tính chất hoặc các đặc tính chung của dữ liệu trong cơ sở dữ liệu hiện có. Bao gồm các kỹ thuật phân cụm, phân tích luật kết hợp.

o Phân cụm: Phân cụm là quá trình phân loại các đói tượng vào các cụm khác nhau sao cho các đối tượng trong cùng một cụm thì tương đồng nhau còn các đối tượng thuộc khác cụm sẽ không tương đồng. Phân cụm dữ liệu là một ví dụ của phương pháp học không giám sát. Không giống như phân loại dữ liệu, phân cụm đữ liệu không đòi hỏi phải định nghĩa trước các mau dữ liệu huấn luyện. Trong phương pháp này, kết quả các cụm thu được sẽ không được biết trước.

Phân cụm dữ liệu được sử dụng trong các ứng dụng về phân tích thị trường, khách hàng, nhận dạng mẫu, phân loại văn bản. Ngoài ra phần cụm dữ liệu còn có thể được sử dụng như một bước tiền xử lý cho các thuật toán khai phá dữ liệu khác. > Luật kết hợp: Phương pháp luật kết hop dùng dé phát hiện và tìm ra các mối liên hệ giữa các giá trị dữ liệu trong cơ sở dữ liệu. Kết quả đầu ra của giải thuật khai phá dữ liệu là tập luật kết hợp tìm được.

Khai phá luật kết hợp được thực hiện qua 2 bước: e Bước 1: tim tat cả các tập mục phô biên, một tập mục phô biên được xác định qua tính độ hỗ trợ và thỏa mãn độ hỗ trợ cực tiểu. 18 NN’ Chương Cơ sở ê e© Bước 2: sinh ra các luật kết hợp mạnh từ tập mục pho biến, các luật phải thỏa mãn độ hồ trợ cực tiêu và độ tin cậy cực tiêu.3 Các thuật toán xử lý dữ liệu 2.1 Tiền xử lý văn bản Tiên xử lý văn ban là bước dau tiên trong quá trình rút trích tri thức từ dữ liệu văn bản. Bước này đóng vai trò hết sức quan trọng trong quá trình rút trích tri thức tiếp theo. Tiền xử lý văn bản giúp giảm kích thước dữ liệu, tăng tốc quá trình xử lý, phân nhóm và tìm kiêm văn bản.

% Loại bỏ stop-words Stop-words là thuật ngữ dùng dé chỉ các từ xuất hiện nhiều trong văn bản nhưng lại khong đóng vai trò quan trọng trong quá trình xử lý phan loại nội dung văn bản. Không có một danh sách stop-words nao có thé đáp ứng mọi ứng dụng lọc stop-words. Với một ứng dụng cụ thể sẽ có một danh sách stop- words phù hop. + Loại bỏ tiền tổ và hậu tổ (stemming) Bên cạnh việc loại bỏ stop-words, loại bỏ tiền tố và hậu tố cũng là một bước quan trọng trong quá trình xử lý văn bản.

Trong tiếng anh, một từ gốc có nhiều biến thé là các danh từ, động từ, tính từ, trạng từ. Việc chuẩn hóa các từ này về dạng từ gốc sẽ làm tăng tốc quá trình xử lý mà không làm mất đi ý nghĩa của văn bản.2 Thuật toán k-means Phân cụm là kỹ thuật rất quan trọng trong khai phá dữ liệu, nó thuộc lớp các phương pháp học không giám sát trong Machine Learning. Có nhiều định nghĩa khác nhau về kỹ thuật này, nhưng về bản chất ta có thể hiểu phân cụm là quy trình đưa các đối tượng vào các cụm (clusters), sao cho các đối tượng trong cùng một cụm tương tự nhau và các đói tượng khác cụm thi không tương tự nhau. 19 NN’ Chương Cơ sở ê Mục đích của phân cụm là tìm ra bản chât bên trong của các cụm dữ liệu.

Các thuật toán phân cụm điều sinh ra các cum. Tuy nhiên không có tiêu chí nào được xem là tôt nhât đê đánh giá hiệu quả của thuật toán phân cụm, điêu này phụ thuộc vào mục đích của việc phân cụm. +% Thuật toán K-Means K-Means là thuật toán quan trọng và phố biến bậc nhất trong kỹ thuật phân cụm. Y tưởng chính của thuật toán k-means là tìm cách phân nhóm các đối tượng đã cho vào k cụm (k là số cụm được xác định trước và k là số nguyên dương) sao cho tong bình phương khoảng cách giữa các đối tượng đến tâm nhóm là nhỏ nhất.

Thuật toán k-means được mô tả theo sơ đồ sau: i i—_ \ Hình 1. Sơ đỗ thuật toán k-means % Ví dụ minh họa: Ta có 4 đối tượng với 2 thuộc tính được mô tả như bảng sau: 20 Chương Cơ sở ế Thuộc tính 1(X) |Thuộctính2(Y) >tœ£ 1 1 2 | 4 3 5 4 41.5 Bước 1: Khởi tạo Chọn 2 trọng tâm ban đầu: c)(1,1) =A và c,(2,1) = B, thuộc 2 cum 1 và 2 21 Chương Cơ sở ấ 4.