對於如何在網站內使用 ROBOTS.TXT, 以及 ROBOTS.TXT 的作用為何, 都有許多迷思和不同的解釋. 首先要釐清的是 ROBOTS.TXT 的功能不在於引導搜尋引擎看哪些網頁, ROBOTS.TXT 的主要功能在於告訴搜尋引擎哪些網頁對搜尋引擎是不開放的. 一般來說, 在網站內安裝 ROBOTS.TXT 或不安裝 ROBOTS.TXT 對版位來說都沒有實質的影響. 再說, 不是所有的搜尋引擎都有友善的目的, 網路上不少的搜尋引擎是專門針對網站裡的 EMAIL 地址來的. 蒐集別人網站的 EMAIL 地址用做垃圾式行銷. 防堵這種搜尋引擎的惡劣行經, ROBOTS.TXT 就很有用. 另外, 像是尚在建立的網站,網站的會員區以及私人性質的網站不想對外界曝光, 都可以採用 ROBOTS.TXT 來阻擋搜尋引擎的到訪.