ต่อไปมาดูคำสั่ง Disallow: คือคำสั่งที่จะบอกให้ Robot ว่าไม่อนุญาตให้เก็บไฟล์หรือข้อมูลไหนบ้าง เช่น Disallow: / ตามด้วยเครื่องหมาย / ก็คือบอกให้ Robot รู้ว่าไม่อนุญาตให้เก็บไฟล์ทุกไฟล์ในเว็บของเราเลย หรือ Disallow: เว้นว่างคำสั่งนี้คืออนุญาตให้ Robot เก็บไฟล์ข้อมูลได้ทุกไฟล์ เป็นต้น
เรามาลองดูตัวอย่าง ในตัวอย่างนี้คือให้ Robot Search Engine เข้ามาเก็บข้อมูลได้แต่ยกเว้น Folder templates 3rdparty และ libs เป็นต้น
User-agent: *
Disallow: /templates/
Disallow: /3rdparty/
Disallow: /libs/
เรามาลองดูตัวอย่างอีกซักตัวอย่าง ในตัวอย่างนี้คือให้อนุญาตให้เฉพาะ Robot Google สามารถเข้ามาเก็บข้อมูลได้ Search Engine ตัวอื่นๆไม่อนุญาตให้เก็บข้อมูล
User-agent: Google
Disallow:
User-agent: *
Disallow: /
ลองประยุกต์ใช้ดูตามรูปแบบการใช้งานของเว็บเรานะครับ แต่ถ้ายังไม่ค่อยเข้าใจหรือเบื่อที่จะเขียน หรือพิมพ์เอง แนะนำเว็บที่ Gen Code robot.txt ให้เราตามลิงค์เลยครับ Gen Robot ส่วนวิธีการใช้งานก็ง่ายๆครับ ลองศึกษาดูไม่ยากเกินความสามารถแน่นอน