Bối cảnh và vấn đề nghiên cứu
Trong bối cảnh mạng Internet phát triển và bùng nổ tài nguyên số, công cụ tìm kiếm đã trở thành phương tiện thiết yếu giúp người dùng định vị và khai thác tài nguyên thông tin. Sự gia tăng nhanh chóng của khối lượng dữ liệu trực tuyến đòi hỏi các công cụ tìm tin phải có khả năng xử lý các biểu thức tìm kiếm phức tạp kết hợp nhiều từ khóa, đồng thời phân loại và sắp xếp kết quả nhằm nâng cao hiệu quả tìm tin.
Tại thời điểm nghiên cứu, Google là công cụ tìm kiếm thông tin phổ biến hàng đầu thế giới với hơn 60% thị phần tìm kiếm toàn cầu. Nhận định về vị thế này, nhà sáng lập Internet Archive - Brewster Kahle - đã so sánh nỗ lực của Google với thư viện Alexandria cổ đại trong việc tập hợp toàn bộ tri thức của nhân loại vào một không gian lưu trữ chung. Khóa luận xuất phát từ câu hỏi nghiên cứu: Bằng phương thức nào Google có thể tập hợp, tổ chức, sắp xếp khối lượng dữ liệu khổng lồ trên mạng Internet và vận hành các dịch vụ tìm kiếm chuyên biệt để phục vụ người dùng một cách hiệu quả.
Mục tiêu nghiên cứu của khóa luận được xác định cụ thể:
- Tìm hiểu tổng quan về công cụ tìm kiếm Google, lịch sử phát triển, mô hình kiến trúc kỹ thuật và thuật toán xếp hạng liên kết.
- Khảo sát cấu trúc trang chủ, nguyên tắc vận hành và 06 dịch vụ tìm kiếm tiêu biểu của Google.
- Đưa ra nhận xét, đánh giá về ưu điểm, hạn chế và dự báo triển vọng phát triển của Google trong tương lai.
Đối tượng và phạm vi nghiên cứu:
- Đối tượng nghiên cứu: Công cụ tìm kiếm Google và các dịch vụ tìm kiếm tiêu biểu bao gồm: Google Web Search, Google Images, Google Videos, Google News, Google Maps và Google Books.
- Phạm vi không gian: Khảo sát trên giao diện trang chủ tìm kiếm toàn cầu (
http://www.google.com) và trang chủ tìm kiếm Google tại Việt Nam (http://google.vn).
- Phạm vi thời gian: Quá trình hình thành và phát triển của công cụ tìm kiếm Google từ khi thành lập (năm 1996) đến thời điểm thực hiện khóa luận (năm 2010).
Cơ sở lý thuyết và phương pháp
Khóa luận tiếp cận đối tượng nghiên cứu dưới góc độ của khoa học Thông tin - Thư viện, sử dụng hệ thống khái niệm chuẩn mực về máy tìm tin (search engine), cơ sở dữ liệu tra cứu, bộ từ khóa và biểu thức logic Boolean (AND, OR, NOT). Tác giả hệ thống hóa các mô hình công cụ tìm kiếm dựa trên ba tiêu chí phân loại chính:
| Tiêu chí phân loại |
Phân nhóm cụ thể |
Đặc điểm vận hành và ví dụ |
| Theo phương thức hoạt động |
Máy nhện (Spider / Crawler) |
Tự động duyệt web, phân tích liên kết và cập nhật chỉ mục (Google, Alta Vista). |
|
Máy truy tìm ảo (Meta-search) |
Không có cơ sở dữ liệu riêng; gửi đồng loạt từ khóa đến các máy tìm kiếm khác rồi tổng hợp kết quả (MetaCrawler). |
|
Thư mục đối tượng (Subject directory) |
Phân cấp tài nguyên theo cấu trúc hình cây/chuyên mục để người dùng duyệt thủ công (Yahoo thời kỳ đầu). |
|
Web ẩn (Invisible Web) |
Tra cứu dữ liệu nằm sâu trong các máy chủ chuyên ngành, không lập chỉ mục thông thường (lii.org, completeplanet.com). |
| Theo đối tượng tìm kiếm |
Định dạng dữ liệu |
Phân tách theo tìm kiếm văn bản, hình ảnh và âm thanh. |
| Theo chức năng nghiệp vụ |
Mục đích khai thác |
Tìm kiếm địa chỉ web, thư điện tử, thông tin cá nhân, thông tin tổ chức hoặc việc làm. |
Về mặt lý thuyết xếp hạng, khóa luận đối chiếu thuật toán PageRank của Google với nguyên lý trích dẫn (citation) và chú giải (annotation) trong ngành xuất bản ấn phẩm truyền thống. Giá trị học thuật của một tài liệu được xác định dựa trên số lượng và uy tín của các ấn phẩm trích dẫn đến nó; Larry Page và Sergey Brin đã chuyển hóa nguyên lý này thành mô hình toán học trên đồ thị liên kết của mạng World Wide Web.
Phương pháp nghiên cứu được triển khai trong khóa luận gồm:
- Phương pháp phân tích và tổng hợp tài liệu: Thu thập, đọc và xử lý các tài liệu lý thuyết về khoa học thông tin, tài liệu hướng dẫn kỹ thuật của Google và các báo cáo thống kê chuyên ngành.
- Phương pháp so sánh, đối chiếu: So sánh Google với các máy tìm kiếm quốc tế (Yahoo, Lycos, MSN, Alta Vista) và các công cụ tìm kiếm nội địa tại Việt Nam (Xalo, Bambo, Socbay, Timnhanh); so sánh giữa phương thức tìm kiếm đơn giản và tìm kiếm nâng cao.
- Phương pháp phỏng vấn sâu: Thu thập ý kiến thực tế từ chuyên gia thông tin và người dùng tin nhằm làm rõ thói quen tra cứu và tính khả dụng của giao diện.
Nguồn dữ liệu thực nghiệm được trích xuất trực tiếp từ các phiên truy vấn trên hệ thống google.com, google.vn, các tài liệu thống kê của ComScore Networks và số liệu công bố từ máy chủ Googleplex.
Nội dung chính theo từng chương
Chương 1: Tổng quan về công cụ tìm kiếm Google
Chương này tái hiện tiến trình hình thành và phát triển của Google, từ dự án nghiên cứu BackRub của Larry Page và Sergey Brin tại Đại học Stanford năm 1996 đến khi thành lập doanh nghiệp. Tên miền google.com được đăng ký vào ngày 15/9/1997; phiên bản Beta ra mắt năm 1998 với phạm vi ban đầu là "Stanford Search". Giai đoạn từ năm 1999 đánh dấu bước ngoặt khi Google vận hành dịch vụ tìm kiếm độc lập, loại bỏ nhãn Beta vào năm 2000 và thay thế dịch vụ Inktomic của Yahoo. Bằng sáng chế cho thuật toán PageRank chính thức được cấp vào ngày 04/9/2001.
| Mốc thời gian |
Quy mô cơ sở dữ liệu (Số website lập chỉ mục) |
Thống kê thị phần và lượt truy vấn |
| Năm 1998 |
~25 triệu trang web |
Giai đoạn thử nghiệm tại Đại học Stanford. |
| Tháng 8/1999 |
Đang mở rộng quy mô |
Phục vụ 3.000 lượt tìm kiếm/ngày. |
| Tháng 9/1999 |
Đang mở rộng quy mô |
Đạt 3,5 triệu lượt truy cập/ngày (~65 lượt/giây). |
| Giữa năm 2000 |
Tiếp tục tăng trưởng |
Đạt 13 triệu lượt truy cập/ngày; thay thế Inktomic trên Yahoo. |
| Năm 2003 |
Hơn 3 tỷ website |
Mở rộng hệ thống máy chủ toàn cầu. |
| Năm 2004 |
Hơn 4 tỷ website |
Xử lý hơn 80% truy vấn tìm kiếm Internet (qua google.com, Yahoo, AOL, CNN). |
| Năm 2005 |
Hơn 8 tỷ website |
Trở thành cơ sở dữ liệu văn bản trực tuyến lớn nhất. |
| Tháng 12/2006 |
Hàng chục tỷ tài liệu |
Chiếm 50,8% thị phần tìm kiếm (vượt Yahoo 23,6% và Windows Live Search 8,4%). |
| Tháng 8/2007 |
Không ngừng gia tăng |
Đạt 37 tỷ lượt tìm kiếm (theo ComScore Network; Yahoo đạt 8,5 tỷ). |
Về mặt hạ tầng và tổ chức kỹ thuật, trụ sở chính của công ty đặt tại 1600 Amphitheatre Parkway, Mountain View, California (Googleplex), vận hành dưới sự điều hành của Tiến sĩ Eric Schmidt với quy mô hơn 20.200 nhân viên. Tác giả phân tích cấu trúc 03 bộ phận hợp thành của Google:
- Nhện Web (Web Spider / Crawler): Hoạt động cố định trên máy chủ, liên tục quay số và gửi truy vấn duyệt các liên kết URL, thu thập toàn bộ nội dung trang, tiêu đề, siêu dữ liệu (metadata) cùng các tệp tin đa định dạng.
- Hệ thống chỉ mục (Index Database): Cơ sở dữ liệu quy mô lớn, sắp xếp thông tin theo tên miền và thực hiện thao tác đảo ngược cơ sở dữ liệu để tạo danh mục từ khóa tương ứng với từng URL.
- Hệ thống chỉ mục chạy thực (Query Processor): Bộ xử lý thông tin trung gian, tiếp nhận câu hỏi tìm kiếm từ giao diện người dùng, đối chiếu với cơ sở dữ liệu chỉ mục và trả về kết quả tức thời. Hệ thống vận hành nhờ cụm hạ tầng hơn 175.000 máy tính.
Cơ chế phân hạng PageRank sử dụng đồ thị web để đo lường tầm quan trọng tương đối của từng trang thông qua số lượng liên kết trỏ đến, chất lượng của trang đặt liên kết, văn bản neo (anchor text) và hơn 100 yếu tố đánh giá khác.
Chương 2: Trang chủ Google và một số dịch vụ tìm kiếm tiêu biểu
Chương 2 đi sâu vào cấu trúc giao diện trang chủ và phân tích kỹ thuật tra cứu. Trang chủ Google duy trì thiết kế tối giản với thanh nhập liệu và hai nút chức năng: "Google Search" (xử lý truy vấn hiển thị danh sách kết quả) và "I'm Feeling Lucky" (chuyển hướng trực tiếp tới trang đầu tiên tìm được).
Tác giả đúc kết các quy tắc tìm kiếm cốt lõi: hệ thống không phân biệt chữ hoa và chữ thường; không cần dùng dấu chấm câu giữa các từ khóa; từ khóa đặt trong dấu ngoặc kép dùng để tìm kiếm cụm từ chính xác; và câu truy vấn quá dài không đặt trong ngoặc kép sẽ gây tình trạng thừa thông tin.
Khóa luận tổng hợp hệ thống cú pháp chuyên biệt trên Google:
| Cú pháp tra cứu |
Chức năng kỹ thuật |
Ví dụ minh họa trong văn bản |
intitle: |
Tìm các trang có tiêu đề chứa từ khóa chỉ định |
intitle:"phần mềm" "toán học" |
inurl: |
Tìm các trang có đường dẫn URL chứa từ khóa |
inurl:sinhvien site:hut.edu.vn |
filetype: |
Giới hạn kết quả theo định dạng tài liệu cụ thể |
filetype:pdf site:org "Toán học" |
site: |
Giới hạn phạm vi tìm kiếm trong một tên miền/website |
"thông tin thư viện" site:ussh.edu.vn |
related: |
Tìm các trang web có nội dung tương tự với trang đích |
related:www.nhandan.com.vn |
link: |
Liệt kê các trang web có đặt liên kết trỏ về website chỉ định |
link:www.moet.gov.vn |
cache: |
Truy xuất bản sao trang web được lưu trong bộ nhớ đệm |
cache:www.tienphong.vn |
intext: |
Buộc từ khóa phải xuất hiện trong phần thân văn bản |
intext:"thông tin thư viện" site:ussh.edu.vn |
Bên cạnh tìm kiếm web, tác giả khảo sát chuyên sâu 06 dịch vụ tìm kiếm tiêu biểu:
| Tên dịch vụ |
Đặc điểm cơ sở dữ liệu và tính năng tìm kiếm đơn giản |
Tính năng lọc và tìm kiếm nâng cao |
| Google Web Search |
Cung cấp bảng tóm tắt kết quả, trích đoạn văn bản (snippet), bản sao bộ nhớ cache, kết quả liên quan và tính năng sửa lỗi chính tả. |
Hỗ trợ 8 vùng lọc: cụm từ chính xác, ngôn ngữ, định dạng tệp (PDF, DOC, XLS, RTF, DWF, KML, SWF...), tên miền, thời gian cập nhật, vị trí từ khóa, vùng lãnh thổ (>200 quốc gia) và quyền sử dụng bản quyền. |
| Google Images |
Hiển thị kích thước, dung lượng, định dạng ảnh (.jpg, .gif), địa chỉ web gốc và liên kết "Find similar images". Hỗ trợ bộ lọc Show options. |
Lọc kích thước từ biểu tượng đến mức tối đa 70MP (9600 x 7200 pixel); phân loại nội dung (khuôn mặt, hình mẫu, tin tức); lọc tỷ lệ khung hình; định dạng tệp (JPG, GIF, PNG, BMP); và bảng lọc 12 màu sắc. |
| Google Videos |
Ra mắt năm 2006; cho phép tìm kiếm, xem trực tuyến và chia sẻ video; hiển thị thời lượng và trích đoạn liên quan. |
Lọc thời lượng (ngắn 0-4 phút, trung bình, dài); thời gian đăng tải (1 giờ qua, phạm vi ngày); chất lượng cao; và chế độ lọc video có phụ đề (closed captions). |
| Google Maps |
Bản đồ số trực tuyến; hỗ trợ các chế độ hiển thị 2D, ảnh vệ tinh (Satellite), địa hình (Terrain), dữ liệu giao thông (Traffic) và thông tin mở rộng (Photos, YouTube, Wikipedia, Real estate). |
Tính năng "My Maps" (User-created maps) cho phép người dùng tự tạo bản đồ, đánh dấu địa điểm (placemark), vẽ đường/vùng và tích hợp kênh tin RSS. |
| Google Books |
Tiền thân là Google Print (10/2004); lưu trữ hơn 7 triệu cuốn sách số hóa từ Dự án Thư viện (28 thư viện như Oxford, Complutense Madrid, Lausanne, Ghent, Keio...) và Chương trình Đối tác (>10.000 NXB từ >100 quốc gia). |
Hỗ trợ hơn 35 ngôn ngữ hiển thị; tra cứu nâng cao theo tên sách, tác giả, nhà xuất bản, chủ đề, chỉ số ISBN/ISSN, năm xuất bản; phân cấp hiển thị: Xem toàn bộ (Full view - sách miền công cộng tải PDF) và Xem trước có hạn chế (Limited preview). |
| Google News |
Cập nhật thông tin báo chí tự động từ các nguồn tin tức toàn cầu; hỗ trợ gom cụm chủ đề thời sự. |
Tìm kiếm tin tức nâng cao theo nguồn tin, khu vực xuất bản, ngày đăng và ngôn ngữ bài viết. |
Chương 3: Nhận xét, đánh giá và triển vọng của công cụ tìm kiếm Google trong tương lai
Chương 3 tổng kết các ưu điểm vận hành của Google: tốc độ truy xuất nhanh, giao diện thân thiện, khả năng cá nhân hóa cao thông qua Lịch sử Web (Google Web History) và tính năng gợi ý từ khóa (Google Suggest ra mắt giữa năm 2008).
Đồng thời, tác giả nêu rõ các mặt hạn chế của hệ thống: nguy cơ thông tin trong bộ nhớ cache bị cũ so với trang web thực tế; thuật toán xếp hạng tự động đôi khi chưa nhận diện chính xác ngữ cảnh chuyên môn sâu; và các rào cản pháp lý về bản quyền tác giả trong dự án số hóa sách Google Books.
Về triển vọng tương lai, khóa luận chỉ ra định hướng mở rộng của Google trong việc phát triển công nghệ tìm kiếm ngữ nghĩa, tích hợp sâu trình duyệt Google Chrome, mở rộng cơ sở ngôn ngữ của Google Translate và ứng dụng điện toán đám mây nhằm tối ưu hóa khả năng tiếp cận tri thức nhân loại.
Kết quả và đóng góp
Khóa luận đã hoàn thành các mục tiêu nghiên cứu và ghi nhận các kết quả cụ thể:
- Hệ thống hóa dữ liệu phát triển của Google: Ghi nhận sự tăng trưởng của cơ sở dữ liệu chỉ mục từ 25 triệu trang web (1998) lên hơn 8 tỷ trang web (2005), xử lý hơn 80% lưu lượng tìm kiếm toàn cầu (2004) và đạt 37 tỷ lượt truy vấn mỗi tháng (tháng 8/2007) trên nền tảng hạ tầng hơn 175.000 máy chủ.
- Làm rõ cấu trúc kỹ thuật và giải thuật: Phân tích mô hình ba thành phần (Nhện web, Hệ thống chỉ mục và Hệ thống chỉ mục chạy thực); giải mã cơ chế phân hạng liên kết PageRank dựa trên nguyên lý trích dẫn ấn phẩm khoa học.
- Xây dựng cẩm nang tra cứu thông tin chuyên sâu: Tổng hợp bảng cú pháp toán tử logic, các lệnh điều hướng trường dữ liệu (
site:, filetype:, intitle:, inurl:, cache:, related:) và hướng dẫn khai thác chi tiết các bộ lọc nâng cao trên 06 dịch vụ của Google.
- Đóng góp khoa học và thực tiễn: Công trình đóng góp vào lý luận nghiệp vụ tra cứu thông tin của ngành Thông tin - Thư viện tại Việt Nam; là một trong những nghiên cứu học thuật đầu tiên ở bậc đại học trong nước phân tích chuyên sâu về hệ sinh thái tìm kiếm Google, hỗ trợ người dùng tin nâng cao kỹ năng tìm kiếm và định vị tài nguyên số chuẩn xác.
Hạn chế và hướng nghiên cứu tiếp
Khóa luận xác định các giới hạn thực tế trong phạm vi nghiên cứu:
- Đề tài tập trung khảo sát các tính năng ở góc độ người dùng tin trên giao diện web công cộng (
google.com và google.vn), chưa có điều kiện tiếp cận mã nguồn hoặc cấu trúc thuật toán lõi độc quyền của công ty.
- Một số dịch vụ có tính chất thử nghiệm hoặc phụ trợ được đề cập trong khóa luận có thể bị biến đổi hoặc ngừng duy trì theo chính sách của Google (ví dụ như dịch vụ danh mục Google Web Directory đã ngừng hoạt động).
- Hướng phát triển tiếp theo của đề tài là nghiên cứu sâu về các thuật toán tìm kiếm thông minh thế hệ mới, đánh giá tác động của các hiệp định bản quyền số đối với dự án Google Books và nghiên cứu khả năng tích hợp các API tìm kiếm của Google vào hệ thống tra cứu mục lục trực tuyến (OPAC) tại các thư viện đại học Việt Nam.
Giá trị tham khảo
Tài liệu là nguồn tham khảo hữu ích cho:
- Sinh viên và giảng viên ngành Thông tin - Thư viện, Quản trị Thông tin: Nắm vững cơ sở lý thuyết về máy tìm kiếm, cấu trúc cơ sở dữ liệu chỉ mục đảo và phương pháp đánh giá mức độ phù hợp của tài liệu số.
- Cán bộ thư viện và người làm công tác thông tin: Ứng dụng bảng cú pháp tra cứu nâng cao (
filetype:, site:, intitle:) để phục vụ công tác thu thập tài liệu số, tra cứu thư mục và hỗ trợ bạn đọc tìm kiếm tài liệu học thuật định dạng PDF, Word, Excel.
- Người nghiên cứu về lịch sử Internet: Cung cấp số liệu lịch sử xác thực về thị phần, quy mô máy chủ và các mốc phát triển dịch vụ của Google trong giai đoạn chuyển giao công nghệ thập niên 2000.
- Nội dung đáng tham khảo nhất: Toàn bộ mục 2.2 của Chương 2 với các bảng hướng dẫn toán tử cú pháp tìm kiếm và quy trình khai thác kho tư liệu sách số hóa trong dịch vụ Google Books.
Câu hỏi thường gặp
1. Thuật toán xếp hạng PageRank của Google được phát triển dựa trên nguyên lý nào?
Thuật toán PageRank được Larry Page xây dựng dựa trên nguyên lý trích dẫn và chú giải trong ngành xuất bản ấn phẩm truyền thống. Mức độ quan trọng và thứ hạng của một trang web được đo lường qua số lượng trang web khác liên kết đến nó, tầm quan trọng của chính các trang đặt liên kết, văn bản neo (anchor text) xung quanh liên kết và hơn 100 yếu tố đánh giá nội dung khác.
2. Dịch vụ Google Books hình thành cơ sở dữ liệu từ những nguồn nào và quy mô đến năm 2007 ra sao?
Cơ sở dữ liệu của Google Books (hơn 7 triệu cuốn sách tại thời điểm nghiên cứu) được thu thập từ hai nguồn chính: Dự án Thư viện (hợp tác với 28 thư viện lớn như Đại học Oxford, Complutense Madrid, Lausanne, Ghent, Keio...) và Chương trình Đối tác (hợp tác với hơn 10.000 nhà xuất bản và tác giả từ hơn 100 quốc gia tính đến tháng 12/2007).
3. Trong dịch vụ Google Images, người dùng có thể lọc hình ảnh theo các tiêu chí kích thước và màu sắc cụ thể nào?
Google Images cho phép lọc kích thước từ mức trung bình, lớn, biểu tượng cho đến kích thước tối đa 70 Megapixel (9600 x 7200 pixel). Về màu sắc, ngoài tùy chọn đủ màu hoặc đen trắng, công cụ cung cấp bảng lọc với 12 màu sắc: đỏ, cam, vàng, xanh lá cây, xanh dương, xanh tím than, tím, hồng, trắng, xám, đen và nâu.
4. Hệ thống kỹ thuật vận hành máy tìm kiếm Google gồm những thành phần cơ bản nào và sử dụng bao nhiêu máy tính?
Hệ thống gồm 03 bộ phận hợp thành: Nhện web (Web spider/robot dò quét URL và thu thập dữ liệu), Hệ thống chỉ mục (Index database lưu trữ và đảo ngược dữ liệu theo từ khóa) và Hệ thống chỉ mục chạy thực (bộ xử lý tiếp nhận truy vấn và hiển thị kết quả). Toàn bộ hệ thống này được vận hành bởi cụm hạ tầng hơn 175.000 máy tính.
5. Tính năng tìm kiếm tệp tin nâng cao (filetype:) trên Google hỗ trợ những định dạng văn bản nào?
Hệ thống hỗ trợ tìm kiếm trên các định dạng tệp chuyên dụng gồm: Adobe Acrobat PDF (.pdf), Adobe Postscript (.ps), Autodesk DWF (.dwf), Google Earth KML/KMZ (.kml, .kmz), Microsoft Excel (.xls), Microsoft Word (.doc), Rich Text Format (.rtf) và Shockwave Flash (.swf), đi kèm tùy chọn xem nhanh (Quick View) hoặc xem dưới dạng HTML.
Kết luận
Khóa luận tốt nghiệp của tác giả Đỗ Thị Mến đã hệ thống hóa toàn diện cơ sở lý thuyết về máy tìm kiếm và làm rõ cơ chế tổ chức thông tin của Google dưới góc độ khoa học Thông tin - Thư viện. Thông qua việc phân tích kiến trúc ba thành phần, thuật toán xếp hạng PageRank và kỹ thuật tra cứu trên 06 dịch vụ tiêu biểu, công trình đã phản ánh chính xác năng lực quản trị thông tin quy mô lớn của Google tính đến năm 2010. Đây là công trình nghiên cứu nghiêm túc, có giá trị tư liệu học thuật và giá trị thực hành nghiệp vụ rõ nét đối với sinh viên và những người làm công tác thông tin - tra cứu.