Chương 1: GIỚI THIỆU ĐÈ TÀI 1. Vì sao ta cần một công cụ tìm kiêm (Search engine) ? Ta hãy hình dung khi cần tìm một quyền sách trong thư viện rất lớn nếu không có quy cách tìm kiếm theo thư viện đề ra ban đầu thì việc tìm kiếm này liệu mất bao nhiêu thời gian, một buổi hay cả ngày ? Tương tự vậy tìm kiếm trên mạng internet như thể mò kim đáy biển nếu ta không có công cụ hỗ trợ nào. Bởi lượng thông tin trên mạng chắc hẵn gấp hàng triệu lần các đầu sách có trong một thư viện. Đã vậy lượng thông tin này ngày một dồi giàu hơn do mỗi giây, phút có hàng triệu trang web mới được khai sinh.
Trong bối cảnh đó một yêu cầu thực tiễn được đề ra là xây dựng ngay một động cơ tìm kiếm thật tốt, đáp ứng sâu xác việc tìm ra mọi thông tin dù nhỏ nhất trực thuộc mạng. Bối cảnh đề tài trên thế giới và trong nước Hiện nay trên thế giới có rất nhiều Search Engine chắng hạn như google, yahoo, bing, MSN. có khả năng tìm kiếm theo nhiều ngôn ngữ khác nhau. Và trong nước cũng có các Search Engine như xa lộ, socbay, baamboo, diadiem, gần đây nhất còn có wada.
Về cơ bản các SE đều giống nhau: Các SE gồm ba giai đoạn sau: thu thập thông tin, lập chỉ mục thông tin, tìm kiếm trên chỉ mục và truy vấn, sắp xếp kết quả. Điểm khác nhau ở mỗi search engine là giải pháp xử lý không như nhau dẫn đến kết quả thực thi khác nhau. Bên cạnh đó còn có phương pháp tìm theo ngữ nghĩa bằng việc ứng dụng phương pháp xử lí ngôn ngữ tự nhiên. Để thực hiện đề tài “Phát triển hệ thống search engine cho các mạng xã hội” tôi dùng phương pháp tìm kiếm theo từ khóa.
Quá trình làm luận văn tôi có dùng một số thư viện hỗ trợ cho việc rút trích văn bản từ môt web page L16]IZ/128] 3. Mục tiêu của đề tài Xây dựng một công cụ tìm kiếm thông tin liên quan cho mỗi thành viên mạng (user). Các thông tin người dùng cụ thé như: Thông tin cá nhân, hoạt động người dùng, bạn bè người dùng, blog. Giới hạn của đề tài Đề tài chỉ tìm kiếm theo từ khóa, không tìm kiếm dựa trên ngữ nghĩa.
Ngoài ra, công cụ tìm kiếm chưa thật sự gần gũi cho người dùng. Bởi việc khai báo ban đầu nhằm đưa ra kết quả còn phức tạp. Cụ thé dé truy vấn được kết quả là danh sách bạn bè mỗi thành viên mạng (mạng xã hội) người dùng chương trình phải lưu trữ nội dung webpage hiện hành vào một thư mục riêng, kế đến là việc nhập từ khóa cần tìm kiếm theo giao diện ban đầu. Đóng góp của đề tài Kết quả đề tài là ứng dụng việc rút trích thông tin từ văn bản thô HTML của mỗi webpage thu thập được.
Dựa theo phương pháp tìm kiêm bằng từ khóa, thông tin sau khi rút trích được đánh chỉ mục theo một cấu trúc đữ liệu nhất định. Cùng với các thủ tục đã xây dựng nhằm truy vấn trên chỉ mục nói trên, học viên đã hoàn thành cơ bản công cụ tìm kiếm thông tin liên quan cho một cá thê mạng (mạng xã hội). Cấu trúc của Luận văn Luận văn bao gốm các phần sau: - Phan I: Gidi thigu dé tai. Phần này trong luận văn nêu lên lý do, bối cảnh, mục tiêu, đóng góp và giới hạn đề tài “ Phát triển hệ thống Search Engine cho các mạng xã hội”.
- Phan II: Co sở lý thuyết. Co so ly thuyét cho dé tai gồm: Kiến thức cơ bản về mạng xã hội và phương pháp tìm kiếm. Trong phương pháp tìm kiếm, luận văn thể hiện hai khuynh hướng tìm kiếm chủ đạo: Tìm kiếm theo từ khóa và tìm theo ngữ nghĩa. - _ Phần II: Thực hiện đề tài.
Đề tài đã thực hiện với phương pháp tìm kiếm theo từ khóa. Quá trình thực hiện luận văn được minh họa trên ba mạng xã hội phổ biến Facebook, Twitter và Zing me. Ngoài việc đề cập quá trình xây dựng đề tài, trình bày kết quả, cuối phần này là thông tin kiểm tra thực nghiệm, đánh giá, bàn luận thêm kết quả, cũng như hướng nghiên cứu tiếp theo cho đề tài. - Phan IV: Két ludn.
Day là lời tổng kết đề tài, ghi nhận lại kết quả đạt được, hạn chế và hướng phát triển thêm trong tương lai. Chương 2: CƠ SỞ LÝ THUYÉT 1.1 Mạng xã hội là gì? Xã hội môi trường đề con người giao tiếp, tương tác lẫn nhau trực tiếp hoặc gián tiếp thông qua người này hoặc người kia. Một cách giao tiếp khác nữa là thông qua mạng xã hội ảo (Social network). Đó là kết quả của sự phát triển vượt bậc trong lĩnh vực công nghệ thông tin nói chung và mạng truyền thông nói riêng.
Chỉ cần một chiếc máy vi tính có kết nối mạng và một lần đăng kí là thành viên trang mạng xã hội nào đó là mọi người đã được thỏa sức hòa nhập với những người bạn cùng sở thích ngay tại trang mạng ấy. Mạng xã hội Có nhiều cách thức đề các thành viên mạng kết bạn hay làm ăn với nhau: dưa theo thông tin cá nhân, cá tính hay một sở thích, lĩnh vực quan tâm. Các tính năng cơ bản một mạng xã hội nhu 1a chat, e-mail, phim anh, voice chat, chia sẻ file, blog.Sự hỗ trợ mạnh mẽ này đã làm ảnh hưởng không nhỏ tới cách sinh hoạt hàng ngày của người dùng. Một số mạng xã hội nổi tiếng hiện nay như ở Châu Á Thái Bình Dương có Friendster, riêng Nhật có Mixi, Hàn Quốc có CyWorld và Việt Nam như Zing Me, YuMe.
ỞTây Âu , Bắc Mỹ có Facebook, MySpace; Nam Mỹ có Hi5 và Orkut. Lịch sử mạng xã hội Trang Classmate ra đời năm 1995, lần đầu tiên đánh dấu sự kết nối thành công giữa nhóm bạn học có cùng mục tiêu với nhau. Đến năm 1997 nhu cầu kết bạn dựa trên sở thích được quan tâm, SixDegrees đã được thành lập. Hòa nhập với xu hướng trên, tại Mỹ, năm 2002 Friendster mang đến hàng triệu người một sân chơi mới.
Friendster được hưởng ứng nồng nhiệt đến mức thường xuyên gặp sự quá tải trên server. Không lâu sau đó, vào năm 2004 đã đánh dấu mạng xã hội phát triển thêm một bước tiến mới. Chức năng xem, chia sẻ phim ảnh được tích hợp là một minh chứng cụ thể. Không ai khác đó là MySpace mạng thu hút hàng nghìn người mỗi ngày, trong đó có cả những thành viên của các mạng xã hội cũ.
Hơn thế nữa, ngoài những tiêu chí thỏa mãn tính giao lưu, kết nối và chia sẻ các tiện ích đánh dấu một bước phát triển hoàn thiện cần có của một trang mạng xã hội, năm 2006 Facebook ra đời còn được xây dựng trên nền tảng Platform. Vì vậy nó cho phép người dùng tự tạo ứng dụng riêng cho mình và cho cả thành viên khác. Đây như là thành tựu vượt bậc xứng đáng vị thế đỉnh điểm trong lịch sử hình thành và phát triển mạng xã hội. Cấu thành mạng xã hội Cấu trúc đơn thuần của một mạng lưới nói chung cũng chỉ có hai thành phần cơ bản điểm nút (node) và mối liên kết (tie).
Mạng xã hội cũng được cấu trúc như vậy. Nút mạng xã hôi đại dién cho thực thể thuộc mạng. Thực thé là một tô chức, đoanh nghiệp hay chỉ là cá nhân trực thuộc mạng. Mỗi liên kết biểu diễn mối quan hệ giữa các nút mạng.
Về mặt trực quan mạng xã hội có thể biểu diễn thông qua đồ thi đơn. Trong đó đỉnh đồ thị là nút mạng, cạnh đỗ thị là đoạn thắng giữa hai điểm nút thể hiện mối liên kết mạng, ấy cũng chính là mối quan hệ hiện hữu giữa mỗi thành viên trong xã hội được số hóa. Mục tiêu mạng xã hội Mạng xã hôi đem lại nhiều lợi ích cũng như nhiều mục tiêu khác nhau. Tuy nhiên ta có thể khái quát chúng như sau: Mạng xã hội là nhịp cầu giao lưu, chia sẻ thông tin hữu hiệu lẫn nhau giữa người với người mà không phân biệt không gian, thời gian.
Thứ hai mạng xã hội mang đến lợi ích kinh tế thật thiết thực cho các tô chức, doanh nghiệp hay cá nhân. Quảng bá cũng như phát huy được sức mạnh nội tại của mỗi cá thé mạng. Thứ ba nó có ý nghĩa cộng đồng VÔ cùng to lớn bởi sự lớn mạnh của mỗi cá thể là sự lớn mạnh của một tập thé. Phương pháp tìm kiếm [0][3] 2.1 Tìm theo từ khóa 2.1 Lập chỉ mục (Index) 2.1 Khái quát hệ thống lập chỉ mục Sau khi có danh sách các trang web cần lập chỉ mục, ta tiến hành phân tích chọn lọc các từ, cụm từ cần thiết phục vụ quá trình tìm kiếm.
Thông tin đã trích chọn được lưu trữ tại một cơ sở dữ liệu nhằm đáp ứng được yêu cầu truy xuất của người dùng. Dưới đây là lược đồ xử lý của hệ thống lập chỉ mục: Danh sách các trang, Lọc các thông tin thừa, Web can lap chuyén tai liéu vé dang van chi muc I — Từ điên Tách văn bản thành các từ Danh sách — i An th Loại bỏ stop-word các từ stop- word | Tính trọng số vả loại bỏ những từ có trọng sô thâp J Danh Loại bỏ hậu tô sách các hậu tô CSDL chi J muc thong tin Lap chi muc Hinh 2. Lược đồ xử lý tông quát của hệ thống lập chỉ mục Nội dung của mỗi trang web là tập hợp các từ, cụm từ then chốt. Hệ thống lập chỉ mục sẽ chọn lọc, rút trích các từ, cụm từ trên sao cho thông tin trên web vẫn được đầy đủ, không thiếu hoặc dư thừa.
Việc rút trích không đầy đủ sẽ không thỏa mãn hết nhu cầu tìm kiếm về sau. Dư thừa trong việc lập chỉ mục rõ ràng vô ích vì hiệu năng chương trình không được đảm bảo (tốn kém chỉ phí lưu trữ và chỉ phí tìm kiếm cao). Các bước lập chỉ mục cho một tài liệu tiếng Anh: a. Tokenization: Văn bản được tách thành các chuỗi dựa vào khoảng trắng.
Kết quả thu được là tập các chuỗi riêng biệt. Mỗi chuỗi được xem là một từ. Removal of stop words: Trong văn bản những từ có tần số xuất hiện cao nhưng không cần thiết lập chỉ mục sẽ được loại bỏ. Đa phần chúng là những đại từ, tính từ.
Stemming: Các hậu tố trong tiếng Anh sẽ được loại bỏ, chỉ giữ lại các từ gôc. Thực hiện xong các bước trên, từ thu được dùng vào việc lập chỉ mục. Đối với tài liệu tiếng Việt chi được áp dụng hai bước (a) và (b), bude (c) thì không. Bởi tiếng Việt là ngôn ngữ đơn thẻ.