robot.txt คือ คือไฟล์ที่เอาไว้กำหนดทิศทางการทำงานของ Bot ในการ Index ข้อมูลของเว็บไซต์ของเรา กล่าวคือหลังจากที่เราได้ทำโครงสร้างของเว็บไซต์ของเราเสร็จแล้ว แต่มีข้อมูลบางส่วนที่ไม่ต้องการจะเผยแพร่ ไม่ต้องการที่จะให้ Bot เข้ามาทำการเก็บข้อมูล เราจะสร้างไฟล์ robot.txt ขึ้นมาเพื่อกำหนดการทำงานให้ Bot ที่จะมาเก็บข้อมูลใน Web Site ของเรา ว่าสามารถที่จะเข้าไปเก็บข้อมูลในส่วนไหนได้บ้าง และเป็น Bot ของ Search Engine ไหนที่จะเข้าไปได้ ในส่วนของไฟล์ robot.txt นั้นจะถูกเก็บไว้ที่ส่วนนอกสุดของ Root Directory เช่น http://www.yourdomain.com/robot.txt