GoogleBot Crawling mới thu thập thông tin cho điện thoại thông minh, từ khoá bị tụt ?

Mấy bữa nay trên các diễn đàn SEO và mạng xã hội Facebook anh em làm SEO có than là từ khoá tụt bất thường. Ngoài các vấn đề vi phạm các thuật toán của Google không biết thông tin trong bài viết này có phải là một nguyên nhân. Hôm qua 23-02-2014 theo giờ US thì Google chính thức đưa thêm 1 một GoogleBot mới vào hoạt động có nhiệm vụ crawling thu thập thông tin cho điện thoại thông minh. Xem thêm bài viết về Google Bot (Spider ) đọc website của bạn như thế nào ?
GoogleBot dành cho mobile cũ sẽ tạm dừng sau 3-4 tuần nữa, việc thay đổi này ảnh hưởng tới 0,001 kết quả xếp hạng nhưng điều này sẽ giúp các webmaster có thể kiểm soát và tuỳ chỉnh index cho từng loại thiết bị.

Dưới đây là Googlebot cũ:

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; <strong>Googlebot-Mobile</strong>/2.1; +http://www.google.com/bot.html)

Và chúng sẽ được thay thế bởi Googlebot mới:

Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; <strong>Googlebot</strong>/2.1; +http://www.google.com/bot.html)

Việc thay đổi GoogleBot ngày không ảnh hưởng tới loại Googlebot thường còn lại cho web. Xem thêm về các loại Googlet Bot cũ trong bài Hướng dẫn tối ưu hóa khi thiết kế website cho mobile wap
Để kiểm chứng cho sự thay đổi này các bạn có thể truy cập vào Google Webmaster Tools trong phần Tìm nạp như Google(Fetch as Google dùng ngôn ngữ tiếng anh).







Cùng với sự ra đời của GoogleBot mới thì việc thay đổi với file robots.txt cũng thay đổi chút ít, trường hợp bạn muốn chặn tất cả các GoogleBot Crawling thì chỉ cấu trúc vẫn như cũ:

User-agent: Googlebot Disallow: /

Bạn muốn chặn GoogleBot crawling cho điện thoại thông mới thì cấu trúc file robots.txt như sau

User-agent: Googlebot-Mobile Disallow: /

Bonus cho các bạn nào chưa biết thông tin thêm về các loại Bot mà Google dùng để crawl website chúng ta:

Crawler	User-agents	HTTP(S) requests user-agent
Googlebot (Google Web search)	Googlebot	Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) or (rarely used): Googlebot/2.1 (+http://www.google.com/bot.html)
Googlebot News	Googlebot-News (Googlebot)	Googlebot-News
Googlebot Images	Googlebot-Image (Googlebot)	Googlebot-Image/1.0
Googlebot Video	Googlebot-Video (Googlebot)	Googlebot-Video/1.0
Google Mobile	Googlebot-Mobile	[various mobile device types] (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Google Smartphone	Googlebot	Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Google Mobile AdSense	Mediapartners-GoogleorMediapartners (Googlebot)	[various mobile device types] (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
Google AdSense	Mediapartners-Google Mediapartners (Googlebot)	Mediapartners-Google
Google AdsBot landing page quality check	AdsBot-Google	AdsBot-Google (+http://www.google.com/adsbot.html)

Hi vọng sau bài viết này sẽ giúp các bạn làm dịch vụ SEO có thêm kiến thức về làm SEO trên các thiết bị di động smartphone.