Googlebot หรือ Googlespider นั้นมีหน้าที่หลักๆ ก็คือการเข้าไป Crawling และทำสำเนาข้อมูลหน้าเพจ ของเว็บไซต์หรือบล็อกต่างๆ เพื่อใช้ในการทำดัชนี (Index) โดยจะไต่ไปตามลิงค์ต่างๆ ที่มีอยู่ในหน้าเพจหรือเว็บไซต์ การทำงานของ Googlebot นั้นจะทำการบันทึกข้อมูลต่างๆ ที่ได้รับจากหน้าเพจเข้าสู่ฐาน ข้อมูลของ Google Server เพื่อใช้ในการประมวลผลและจัดอันดับตามความเหมาะสมที่ระบบของ Google สร้างขึ้นมาโดยเฉพาะ นอกจากนี้การไต่ไปตามหน้า เพจต่างๆ นั้นก็จะมีการเข้ามาตรวจสอบข้อมูลใหม่ๆ อีกเรื่อยๆ เพื่อทำการบันทึกข้อมูลที่อาจมีการเปลี่ยนแปลงในหน้าเพจเก่าที่เคยบันทึกไป แล้วด้วยเช่นกัน นั่นก็แสดงว่าถ้าเราอัพเดทข้อมูลเว็บเราบ่อยๆบอทมันจะเข้ามาเว็บเราบ่อยตาม ไปด้วย
Google Bot หรือ Google Spider นั้นมีด้วยกัน 2 ชนิดหลักๆดังนี้ครับ
Deepbot = ทำงานเพียงเดือนละครั้งเท่านั้น
Freshbot = ทำงานทุกวันตลอด 24 ชั่วโมง
เพื่อเราจะได้เข้าใจกลไกการทำของเขาได้มากยิ่งขึ้นเราลองมาดูคำอธิบายน้อยๆกันข้างล่างครับ
Deepbot
Deepbot เป็น Spider ตัวหนึ่งของ Google ที่มีนิสัยชอบไปไหนมาไหนไกลๆ เป็นนักค้นหาครับเจ้านี้และขยันมากๆ ครับจะค้นทุกอย่างที่ใครต่อใครไม่เคยรู้เจ้า Spider ตัวนี้จะรู้หมดครับ และหาเจอทุกอย่างที่มีอยู่ในโลกออนไลน์ (อันนี้แหละที่แม้แต่ในระบบที่ล็อกอินก็ยังเข้าไปบันทึกได้) เพราะเดินทางไปเรื่อยๆ และก็จะค้นๆๆๆ แม้แต่เว็บที่ไม่เคยมีการโปรโมทเลยเขาก็หาพบ เจ๋งมากๆ ตัวนี้แต่ด้วยเหตุที่เจาะทะลุทะลวงและเดินทางไกลๆ นี่เองทำให้ Deepbot สามารถทำงานได้ เพียงเดือนละครั้งเท่านั้นครับ โอ้พระเจ้าช่วยตัวนี้เขาแรงจริงๆ
Freshbot
Freshbot จะทำหน้าที่ในการไล่ตรวจข้อมูลเก่าๆ และข้อมูลใหม่ๆ ที่มีการนำเสนอบ่อยๆ เช่นบล็อกต่างๆ รวมไปถึงไปตรวจเว็บที่ Deepbot เคยไปเก็บบันทึกมาอย่างมากมายด้วย ทั้งนี้ Freshbot จะทำหน้าที่ในการตรวจสอบข้อมูลใหม่ๆ ที่เกิดขึ้นในแต่ละวันและขยันมากๆ ครับในแต่ละวันนั้น Freshbot จะเข้าไปตรวจหน้าเพจต่างๆ ทั้งเก่าและใหม่หลายๆ ครั้ง ยิ่งเว็บไหนหรือบล็อกไหนอัพเดทบ่อยๆ ยิ่งไปบ่อยครับนั่นเลยทำให้ได้รับข้อมูลอะไรต่างๆ ที่ใหม่และสดอยู่เสมอนั่นเอง
เครดิต thaievo