ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HỌC CÔNG NGHỆ THONG TIN KHOA KY THUAT PHAN MEM HUA PHUOC TRUONG KHOA LUAN TOT NGHIEP HE THONG LANG NGHE MANG XA HOI - ZIE KY SU NGANH KY THUAT PHAN MEM TP. HO CHÍ MINH, 2013 TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN KHOA KỸ THUAT PHAN MEM HỨA PHƯỚC TRUONG - 09520392 KHÓA LUẬN TÓT NGHIỆP HỆ THONG LANG NGHE MẠNG XÃ HỘI - ZIE KỸ SƯ KỸ THUẬT PHÀN MÈM GIẢNG VIÊN HUONG DAN THAC SĨ NGUYEN ĐĂNG KHOA TP. HO CHÍ MINH, 2013 DANH SÁCH HỘI ĐÒNG BẢO VỆ KHÓA LUẬN Hội đồng cham khóa luận tốt nghiệp, thành lập theo Quyết định số.
của Hiệu trưởng Trường Đại học Công nghệ Thông tin. ¬ cence eee e eee eee ee ee — Chủ tịch. PA EEE E ESTES ESTO ITSO SSESTIOSTSSTSSSOIIOS — Thu ký. Boece nh nh nh nh nh nh no kh ky — Ủy viên.
een eneee ~ Ủy viên. 3 NO Xa NOL. eee ccc cesesescscsessescsescsessesesesesessssescsesssssssessseesessseseseseeneneeeanas 3 2. Sức mạnh của mạng xã NGL.
es eee ¿+ + + E*+k+k+kEE£EEEEkEkeEESE TH 1101 kg, 3 KN Mang x h6i tai Viét n6. Bối cảnh nghiên cứu. Động lực nghiên CỨU. Muc ti8u dS n ốc.
NHUNG SAN PHAM TƯƠNG TỰ. ce 8h hs SỐ céÝổ “6. nọ HH HH 0 0111111110101 1p. PHAN TÍCH CHỨC NĂNG.
Tổng quan chức năng. Hệ thống thu thập.-----2++£222EEE2++++tt22E2EEEYYrrretttEEEkkrrrrrrtrrrrrrrrrree 2 3. Use case CTaWÏ€T. cà thà E2 21H HH HH HH ngu 3 3.
Use case CÏI€TI(. càng TH HH HH HH HH hi 4 3. Use case Save DOSE. Use case Push url,.
Use case Pop LIÌ.- ¿S11 1 111111211 H HH HH ghê 18 3. Use Case POSfS. Use case 'TT€TId. 6 ng HT HH 20 3.
Use case SOUTC€S. 2 nh HH HH. Use case Threads hố. Use case SMT (Social Media 'Typ€).
Sơ đồ tuần tự Use case Pop url. Sơ đồ tuần tự Use case Push url. Sơ đồ tuần tự Use case Save post. Sơ dé tuần tu Use case Post Tố ẽ.
So dé tuần tu Use case Trend. Sơ đồ tuần tur Use case SOUPCES TT. So dé tuan tu Use case Threads. Sơ đồ tuần tự Use case SMT.
St HH HH H1. Sơ đồ hoạt động Zie Reporter. Sơ đồ hoạt động Zie CTAWÌÏ€T. - - 551 tt S2 112 11212101 1111011 te 32 Chương 4.
HƯỚNG TIẾP CAN. Một hệ thống duy nhất vừa đảm nhiệm lưu trữ, vừa đảm nhiệm truy xuất. Hai hệ thống, một đảm nhiệm lưu trữ, một đảm nhiệm truy xuất. Đánh giá liên kết dựa trên liên kết đến chính nó.
Đánh giá liên kết dựa trên độ mới của nội dung. Thu thập dữ liệu theo CHIU. Thu thập dữ liệu theo chiều I0 3. NHUNG VAN DE GẶP PHẢI KHI HIỆN THỰC HỆ THONG ZIE.
Lay dữ liệu từ SOUTCe. Nhận diện P OS(.- HH TH HH HH TH HH 40 5. Nhận diện ngôn ngữ. Tính tương thích của hệ thống.------¿++¿+22E+++2EEEEz+ttEEE+zeerrrsrerrrr 43 5.
Xử lý dữ liệu lớn. Nhiều Source dẫn đến nhiều Crawler. THIET KE HE THONG ZIE. Ze Stack oo es escesesesescesesesesessesssesesessessasseesseassaesesseessseersesseaeseenenanes 47 6.
Tổng quan về Zie. ốc cố ốố ốốố. 52 Son ốốốốố ố ốố ố ố ốẻ ẻe. Thiết kế đữ liệu.
¿1k HH HH HT HH hi 54 6.- hàn HH HH HH HH HH HT HH HH ti 55 6. Table thr€ads. óc 6 SE 21211 1 v15 1111 1111 TH TH H010. Kỹ thuật phân chia dữ liệu .ssecescsssssessssssssecsssssecsessecscsssssesssstssccesssusscusssscessssuscesssusecesssusecessseeees 60 Chương 7.
KET LUẬN VÀ HƯỚNG PHÁT TRIÊN. Kết rs A eee 61 7. Hướng phát trién. CÀI ĐẶT MINH HỌA.
HH TH TH TT rên 66 8. TÀI LIEU THAM KHẢO.-222--©222222222+£222EEE2222++tEEEEEEEEEErrrtttEEEEvrrrrrrrrrrrrrer 69 PHU LUC 1: POSTGRESQL. PHU LUC 2: COMPACT LANGUAGE DETECTOR.---- 5-5-5 5cc5+ccccc++ 71 PHU LUC 3: PQ.--- c5: cn tt nhe. 71 PHU LUC 4: SPHINX CLIENT .cccccscsseesesceseseseeesnesescsseneesesesesnesesessscsnsessssassnsnenees 71 PHU LUC 5: ICU.---------‹---+--- PHU LUC 6: CHUAN GIAO TIẾP TRONG ZIE DANH MỤC HÌNH ẢNH Hình 1-1 - Tốc độ phát triển của mang xã hội 2012.------c:+2222vvvvzrrrrrrrrrs 3 Hình 1-2 - Mạng xã hội phát tán theo cấp số nhân (Trích từ slide giới thiệu sản phẩm của Hình 1-3 - Những hoạt động thông thường của người dùng mang xã hội (trích từ báo cáo thường niên của WebM Vietnam 201 3).
- -- 6 tt tk TT ngư 5 Hình 1-4 - Sức lan tỏa cửa mạng xã hỘIi.- ---¿-¿- ¿ ¿+ 2E S* SE re, 6 Hình 3-1 — Use case CTAWÏ€T.- + - 22212223 E2 2 222171213 1217111111111 tre 13 Hình 3-2 - Use case Client. -Ö 14 Hình 3-3 - Sơ đồ tuần tự Use case Pop url. 24 Hình 3-4- Sơ đồ tuần tự Use case Push url 25 Hình 3-5 - Sơ đồ tuần tự Use case Save Post. „ 25 Hình 3-6 - Sơ đồ tuần tuftlSc GAS Rost qe) WB.
Live 26 Hình 3-7 - Sơ đồ tuần tự Use case Trend.-:-22¿+22222+++222E++t22EEESeretrrkxrrrrrkrvee 26 Hình 3-8 - Sơ đồ tuần tự Use case SOUTC€S. --- 2c 2 v33 vEEeerxerrrrrrerrrrrrrrrsrrr 27 Hình 3-9 - Sơ đồ tuần tu Use case Threads TA. 27 Hình 3-10 - Sơ đồ tuần tự Use case SMT .ssssssssssssssssssssssssssecceeceessessnssnsnnsnnnnnnmnnessesseees 28 Hình 3-11 - Sơ đồ hoạt động Zie StaCK. 29 Hình 3-12 - Sơ đồ hoạt động Zie Data.-2:¿--222222222+ttSEEEEEEverrrerrrrrkkrrrrrrrrrrr 30 Hình 3-13 - Sơ đồ hoạt động Zie Reporter.----:2:222++2222++zttSEEESererrrkrrrrrrrrcee 31 Hình 3-14 - Sơ đồ hoạt động Zie CTaWÌ€T.- - +1 kh HH it 32 Hình 4-1 - Sơ đồ mô tả hai hệ thống tách rời (Sphinx + Postgres).--------- 35 Hình 5-1 - Chuẩn canonical meta tag.ccccccsssssesssssssessssssesessssesessssecsesssuesssssseesesssteseeessees Al Hình 5-2 - Người dùng viết lẫn lộn các ngôn ngữ.--:--22cvcvccetcrrrrrrrrrrrrrrrrr 42 Hình 5-3 - Một phan bang mã character entity từ W3.sscccscsssssssssssessessseescesssecscsnsees 43 Hình 5-4 - Một tường lửa đơn giản để nhận diện người dùng.--:---+ 46 Hình 6-1 - Mô hình đơn giản Zi€.---- - - +5 5+ SE E1 E211 0111111 11 tren 47 Hình 6-2 - Hướng di chuyền của người dùng qua liên kết.---- ¿+52 48 Hình 6-3 - Quy trình hoạt động của Zie StaCK.
--- 6-6 ttr+#kekekrrrrkrkerrrrkrrree 49 Hình 6-4 - Sơ đồ quan hệ đơn giản giữa các thành phan trong Zie.-------- 51 Hình 6-5 — Một Crawler được viết bằng i00) V211. 52 Hình 6-6 - Sơ đồ quan hệ.2--- ++=2222+++222EE122222211112271111227111112271112 2211112211 Xe 60 Hình 7-1 - Mức độ quan tâm của người dùng với 3 sản phẩm Iphone 5S, Galaxy S4 và LG G2. 62 Hình 7-2 - Mức độ quan tâm của người dùng internet đến phim tết 2013 62 Hình 8-1 - Khởi động Stack 64 Hình 8-2 - Pop Zie Stack. 65 Hình 8-3 - Cơ chế Log trong Zie Stack.cccccccssssscsssssesssssssecssssusssesssissesssssscesssisecessseescessees 65 Hình 8-4 - Khởi động Zie Data.
66 Hình 8-5 - Lệnh save của Zie Da(a.- th HT nh ngàn nhiệt 67 Hình 8-6 - Zie Crawler thong báo không tìm thay Stack và Data.-------- 68 Hình 8-7 - Crawler chạy thành công .-- --¿-¿--- + + 5+ 5++E+*+E+£#£t+tzkexexerrrkrkrkererreree 68 DANH MỤC BẢNG Bang 8-2 — Cầu trúc table authOrs.--:¿-222222+++22222E2222222222221111222222111 2 xcrrrrrr 53 Bang 8-3 - Cầu trúc table COnt€nIES.-- 22 2222+22EE+++22EE3122222311122221122221112 2221 xe 54 Bảng 8-4 - Cau trúc table languages.-:--222+2222+2222222+t222EE22EEEErrrrrrrrrrrrrrrree 54 Bảng 8-5 - Cấu trúc table pOSẲS. e 55 Bảng 8-6 - Cấu trúc table SOUFC€S.2-- 22222222 922EEE2EEEE511222211112222112222112 2221 xe 56 Bang 8-7 - Cau trúc table stacks. 57 Bang 8-8 - Cấu trúc table threads.--:--22222222++t222E222YY2+rrtEEEEEExrrrrrrrrrrkrrrrrrrrrrrr 58 Bang 8-9 - Cấu trúc table urls. TÓM TÁT LUẬN VĂN Với sự phát triển vượt bậc của mạng xã hội trong những năm gan đây, 81% người dùng Internet sử dụng mạng xã hội để liên lạc, kết nối với bạn bè.
Mạng xã hội dan trở thành một món ăn tinh thần không thẻ thiếu đối với người dùng internet. Bên cạnh đó, mạng xã hội còn là một kênh chứa đựng rất nhiều những thông tin, ý kiến, nhận xét về một thương hiệu, một sản phẩm hay dịch vụ nào đó. Theo thống kê năm 2013 của WebM có 26% người dùng sử dụng mạng xã hội đề cập đến một thương hiệu, sản phẩm hay một dịch vụ. 70% người dùng tin tưởng vào những nhận xét, giới thiệu từ internet chỉ đứng sau duy nhất con số 92% người dùng tin vào những lời nhận xét từ người quen, bạn bè.
Trong khi đó, con số tương ứng cho các quảng cáo trên TV là 40%. Từ những số liệu hấp dẫn trên, các chiến dịch quảng bá sản phẩm, theo dõi ý kiến người dùng trên mang xã hội trở thành một vấn đề rất đáng quan tâm đối với các doanh nghiệp lớn và thậm chí những doanh nghiệp nhỏ đang chọn internet làm điểm đến của họ. Trong bài báo cáo này, em xin dé xuất một hệ thống lắng nghe mạng xã hội, thu thập các bài viết, ý kiến của người dùng sao cho day đủ nhất, giá trị nhất và đưa ra những dữ liệu hữu ích cho các nhà nghiên cứu. MỞ DAU Thị trường luôn thay đổi và doanh nghiệp phải luôn theo sát những thay đổi đó đề có những chiến lược, chiến thuật phù hợp, nhanh nhạy.
Phân tích thị trường là một trong những lý do đầu tiên và quan trọng nhất để lập kế hoạch kinh doanh. Bat luận việc một doanh nghiệp mới bắt đầu hoạt động kinh doanh hay xem xét lại hoạt động kinh doanh hiện tại đều cần phải có phân tích mới về thị trường. Al A lẢ Thị trường doanh nghiệp cần tìm kiếm là thị trường tiềm năng, chứ không phải là thị trường hiện tại. Thị trường mục tiêu của một doanh nghiệp luôn lớn hơn rất nhiều so với số người mà các nhân viên trong công ty tiếp cận được.
Đó là những người mà một ngày nao đó doanh nghiệp có thé tiếp cận hoặc họ tự tìm đến với doanh nghiệp. Chính vì vậy, yêu cầu thực tiễn đã đặt ra một bài toán: có cách nào hỗ trợ doanh nghiệp phân tích, theo dõi thị trường bằng sức mạnh của công nghệ. Mạng xã hội Mang xã hội, hay gọi là mạng xã hội ảo, là dich vụ nối kết các thành viên cùng sở thích trên Internet lại với nhau với nhiều mục đích khác nhau mà không phân biệt không gian và thời gian. Mạng xã hội xuất hiện lần đầu tiên năm 1995 với sự ra đời của trang Classmate với mục đích kết nối bạn học.
Đến nay, mạng xã hội liên tiếp phát triển với tốc độ chóng mặt và mang lại rất nhiều lợi ích cho người dùng internet. cm 29 Hình 1-1 - Tóc độ phát triển của mạng xã hội 2012 1. Sức mạnh của mạng xã hội Cùng với sự phát triển của mạng xã hội, càng ngày mạng xã hội càng trở nên là một nơi lý tưởng để mọi người có thể kết nối với nhau, chia sẽ thông tin. Ngoài ra, bên cạnh những tính năng riêng tư, mạng xã hội còn là một công cụ mạnh mẽ phản ảnh thị trường, thậm chí là chính trị, mọi thứ trên mạng xã hội có khả năng lan truyền với tốc độ nhanh đến chóng mặt.
aye B = 20,000 people To 10 million unique viewers From 20,000 buzz mentions.