CHƯƠNG 1 TONG QUAN VE DIEN TOAN DAM MAY, GIAI THUẬT MAPREDUCE, HỆ THÓNG TÌM KIẾM 1.1 Sw phat tiểu của các mô hình tính toán Mê hình tính toàn các hệ thông phát triển qua nhiều thời kỳ, ngày cảng hiện dại hon, phát triển cả về chiều rộng (mở rộng về không gian tính toán, thêm các tài nguyên), chiều sầu (cãi tiến các thuật toán (tir lap trình cấp thấp, lập trình cấp cao, tính toán song song, tỉnh toán hiệu năng cao,. Phẩn cửng ngảy cảng phát triển nhanh, theo định luật Moore [41] :”Số hượng transitor trên mỗi đơm vị inch vuông sẽ tăng gấp đôi sau mỗi hai năm”. Việc tốc độ các hệ thông tỉnh toán ngày cảng dược phát triển nhanh, giá thành ngày cảng rế hơn giúp chúng ta rút ngắn thời gian tính toán cho các đơn vị dữ liệu lớn. Maore’s Law N „An, _— a 48006808 -Hình 1.1-1: Ảịnh luật oore [42] Củng với việc phát triển của phần cửng, các mô hình lập trình cũng được phat triển với tổo độ chóng mặt.
Ban đâu chỉ là các phương pháp lập trình theo bìa đục lễ, sau đỏ phát triển lên thành mô hình lập trình thea ngôn ngit cap cao, vao thập rúên 1950, 1960, xuất hiện nhiêu ngôn ngữ lập trình cấp cao như FORTRAN, LISP, COBOL,. Từ những năm 1990, kỷ nguyên gủa Internet bắt đầu, các mô hình lập trình ngày cảng phải tiểu bao gồm nhiều phương phép lập trình rưởi như lập trình thưởng sự kiện, lập trình hướng đổi tượng, lập trình logic, lập trình hàm, lập trinh đồng, thời,. Không chỉ lập trình trên máy tỉnh cá nhân đơn lẻ, nhiều mô hình lập trình đã hướng dến môi trường phân tán, song song, giúp người sử dụng có thể triển khai mỗi trường lập trinh trên nhiều máy tỉnh. Mục địch của các mô hình lập trinh này giúp giải quyết các bài toán dữ hệu lớn, các nhụ cầu thực lế của người dùng.
Thứ lưởng lượng, nếu không, có những mô hình lập trình nảy, chứng ta sẽ không, có những ứng dụng trực tuyển khống lễ như Google, Facehook hay Yahoo, không thé phát triển những ứng, dụng trên Intemet như Gmail, Google docs, cae hé théng chia sé file, ảnh, Cùng với sự phát triển nhanh chóng của Internet, các hệ thống tỉnh toán lớn được xây đựng đựa trên sự phát triển về hạ tâng phân cứng và câu trúc phân mềm trong các chương trùnh diều khiển. Mỗi ngày, Google phải xử lý hơn 20 Petabytes dữ liệu, còn Facebook là khoảng 80-90 Terabytes dữ liệu, với Yahoo là 3 Petabytes. Với những, cơn số không lỗ như thể nêu không v6 diy đủ hệ thống phần cứng và phần mềm hỗ trợ chúng ta sẽ không thẻ giải quyết được. Việc phát triển các hệ thống tính toản mới, dựa.
trên nên tảng phần tản là đòi hồi cấp thiết của quá trình giải quyết các vẫn để về tính toán. Hiện nay một trong những mỏ hình dược quan tâm phảt triển nhiều nhật là điện toán đảm mây [1]. Nó vừa giứp giải quyết bải toán về phản cứng khi tôi ưu hỏa, cung cập các giải pháp về phân cứng như máy chủ, hệ thông lưu trữ, cáo nên tảng tính toán, đến các hệ thông, phản mềm như khung lập trình dêu tớ thánh dịch vụ. Điện toản dâm mây là mô hình phát triển của các hệ thống trong tương lai, giúp chứng ta giãi quyết các vận đề về mặt.
hạ tăng, dich vu, cung cap những giải pháp tối ưu cho các hệ thông 3.43 Sử dụng điện toàn dam may trong viée thiét ké module tim kiếm phan tan - $6 3.58 CHƯƠNG 4 XÂY DỰNG LH THÔNG TÌM KIỂM VÀ THỦ NGHỆM THUC TH 60 4.1 — Bài toan tim kiém tin uie.2 Xây đụng hệ thang tim kiểm tin tức theo độ tương quan về nội đúng, thời gian 60 4. Tổng quan vẻ mỏ hình hệ thống tim kiGM eee sccccessseesseesee 2 2 25555:5e 60 22.2 Các thành phần của hệ thỏng.3 Đánh giá kết quả, các hướng cỗi tiến 6 4.31 Các kết quả đạt được. - 70 TÀI LIEU THAM KHẢO. - - - 75 DANH MUC BANG BIEL Bảng 27-1: Kết quả sắp xếp đữ liệu của Yahoo! [L7] 30 Bảng 3.1-1: Số lượng trang web đã được đánh chỉ mục.3-1: Số lượng máy trong các eluster - - - 66 Bảng 4.3-3: Kết quả lim kiếm - - - 70 DANH MUC BANG BIEL Bảng 27-1: Kết quả sắp xếp đữ liệu của Yahoo! [L7] 30 Bảng 3.1-1: Số lượng trang web đã được đánh chỉ mục.3-1: Số lượng máy trong các eluster - - - 66 Bảng 4.3-3: Kết quả lim kiếm - - - 70 - MapReduce xi ly dir ligu theo cip gia ti key/value nén cd kha ning xi ly nhanh cac bai toán cơ bản.
Với những ưu điểm của giải thuật MapReduce như trên, chúng ta có thể xây dựng nhiêu ủng đụng thông dụng như [43] - Cae bai toán thống kê: thông kề log, xử lý log, thông kẽ số lương, thông kề thời tiết, -_ Các bải toán vẻ khai phá dữ liệu, hệ thông giới thiéu (recommendation engines) - Cac bai toan vé phân tích đữ liệu, xử lý gian lận - Bai toan vé xác định mục tiêu dối tượng quảng cáo, phân phối quảng cáo dến đứng đối tượng, với số lượng đúng mức. -_ Bải toán về chất lượng tim kiêm. Tất các bái toán cân xử lý đữ liệu nói chỉng, đặc biệt. là các bài toán dữ liệu lớn đêu có thế sử dụng thuật toản MapReduce 1.
Bài toàn tìm kiểm theo yêu cầu người sử dụng (Object searching by request) Tài toán Lm kiểm đứ liệu đã Lồn tại một thời giai khá lâu. Khi đũ liệu ít, không, có nhiều thì bài toán lá khả dơn giản, có thể được thực hiện bằng vải lệnh của hệ diều hảnh (hệ điều hành Linux). Tuy nhiên khi dữ liệu lớn lên, tăng trướng theo từng ngày, từng giờ, mức độ cập nhật thông tin ngày cảng tăng lêu tủ vẫn để tìm kiêm chính xác theo yêu cầu cửa người ding cảng khó khăn. Những khó khăn chính của bài toán từm kiém [44]: - Khả năng bao phủ nội dung: hệ thông thn kiém có khả năng bao phủ dược những nội dung người đùng cần thiết chưa? Với lượng đữ liệu không lẻ trên Internet, có chiến thuật hay giải thuật nảo để có thế bao phủ được hết số lượng nội đưng trẻn đó? -_ Khả năng cập nhật nội đụng: Lương tự như vẫn dễ bao phủ, thời gian cập nhật nội dưng mới sẽ là bao lâu, có đủ cưng cấp nói dung mdi cho người dùng hay không? 10 Củng với việc phát triển của phần cửng, các mô hình lập trình cũng được phat triển với tổo độ chóng mặt.
Ban đâu chỉ là các phương pháp lập trình theo bìa đục lễ, sau đỏ phát triển lên thành mô hình lập trình thea ngôn ngit cap cao, vao thập rúên 1950, 1960, xuất hiện nhiêu ngôn ngữ lập trình cấp cao như FORTRAN, LISP, COBOL,. Từ những năm 1990, kỷ nguyên gủa Internet bắt đầu, các mô hình lập trình ngày cảng phải tiểu bao gồm nhiều phương phép lập trình rưởi như lập trình thưởng sự kiện, lập trình hướng đổi tượng, lập trình logic, lập trình hàm, lập trinh đồng, thời,. Không chỉ lập trình trên máy tỉnh cá nhân đơn lẻ, nhiều mô hình lập trình đã hướng dến môi trường phân tán, song song, giúp người sử dụng có thể triển khai mỗi trường lập trinh trên nhiều máy tỉnh. Mục địch của các mô hình lập trinh này giúp giải quyết các bài toán dữ hệu lớn, các nhụ cầu thực lế của người dùng.
Thứ lưởng lượng, nếu không, có những mô hình lập trình nảy, chứng ta sẽ không, có những ứng dụng trực tuyển khống lễ như Google, Facehook hay Yahoo, không thé phát triển những ứng, dụng trên Intemet như Gmail, Google docs, cae hé théng chia sé file, ảnh, Cùng với sự phát triển nhanh chóng của Internet, các hệ thống tỉnh toán lớn được xây đựng đựa trên sự phát triển về hạ tâng phân cứng và câu trúc phân mềm trong các chương trùnh diều khiển. Mỗi ngày, Google phải xử lý hơn 20 Petabytes dữ liệu, còn Facebook là khoảng 80-90 Terabytes dữ liệu, với Yahoo là 3 Petabytes. Với những, cơn số không lỗ như thể nêu không v6 diy đủ hệ thống phần cứng và phần mềm hỗ trợ chúng ta sẽ không thẻ giải quyết được. Việc phát triển các hệ thống tính toản mới, dựa.
trên nên tảng phần tản là đòi hồi cấp thiết của quá trình giải quyết các vẫn để về tính toán. Hiện nay một trong những mỏ hình dược quan tâm phảt triển nhiều nhật là điện toán đảm mây [1]. Nó vừa giứp giải quyết bải toán về phản cứng khi tôi ưu hỏa, cung cập các giải pháp về phân cứng như máy chủ, hệ thông lưu trữ, cáo nên tảng tính toán, đến các hệ thông, phản mềm như khung lập trình dêu tớ thánh dịch vụ. Điện toản dâm mây là mô hình phát triển của các hệ thống trong tương lai, giúp chứng ta giãi quyết các vận đề về mặt.
hạ tăng, dich vu, cung cap những giải pháp tối ưu cho các hệ thông DANH MUC BANG BIEL Bảng 27-1: Kết quả sắp xếp đữ liệu của Yahoo! [L7] 30 Bảng 3.1-1: Số lượng trang web đã được đánh chỉ mục.3-1: Số lượng máy trong các eluster - - - 66 Bảng 4.3-3: Kết quả lim kiếm - - - 70 CHƯƠNG 1 TONG QUAN VE DIEN TOAN DAM MAY, GIAI THUẬT MAPREDUCE, HỆ THÓNG TÌM KIẾM 1.1 Sw phat tiểu của các mô hình tính toán Mê hình tính toàn các hệ thông phát triển qua nhiều thời kỳ, ngày cảng hiện dại hon, phát triển cả về chiều rộng (mở rộng về không gian tính toán, thêm các tài nguyên), chiều sầu (cãi tiến các thuật toán (tir lap trình cấp thấp, lập trình cấp cao, tính toán song song, tỉnh toán hiệu năng cao,. Phẩn cửng ngảy cảng phát triển nhanh, theo định luật Moore [41] :”Số hượng transitor trên mỗi đơm vị inch vuông sẽ tăng gấp đôi sau mỗi hai năm”. Việc tốc độ các hệ thông tỉnh toán ngày cảng dược phát triển nhanh, giá thành ngày cảng rế hơn giúp chúng ta rút ngắn thời gian tính toán cho các đơn vị dữ liệu lớn. Maore’s Law N „An, _— a 48006808 -Hình 1.1-1: Ảịnh luật oore [42] 3.43 Sử dụng điện toàn dam may trong viée thiét ké module tim kiếm phan tan - $6 3.58 CHƯƠNG 4 XÂY DỰNG LH THÔNG TÌM KIỂM VÀ THỦ NGHỆM THUC TH 60 4.1 — Bài toan tim kiém tin uie.2 Xây đụng hệ thang tim kiểm tin tức theo độ tương quan về nội đúng, thời gian 60 4.
Tổng quan vẻ mỏ hình hệ thống tim kiGM eee sccccessseesseesee 2 2 25555:5e 60 22.2 Các thành phần của hệ thỏng.3 Đánh giá kết quả, các hướng cỗi tiến 6 4.31 Các kết quả đạt được. - 70 TÀI LIEU THAM KHẢO. - - - 75 CHƯƠNG 1 TONG QUAN VE DIEN TOAN DAM MAY, GIAI THUẬT MAPREDUCE, HỆ THÓNG TÌM KIẾM 1.