通常,一个搜索引擎要到世界各个网站去下载很多网页,放到自己的数据库。但许多网站希望能控制一下什么网页让下载,欢不欢迎某些/所有搜索引擎来访,他们都有一个表达这样的意愿的文件,名叫robots.txt。比方说,在robots.txt内有这样两行User- :/abcd.php表示:Baidu,注意了,我不希望你访问我的网页abcd.php。这里,baiduspider就是Baidu搜索引擎的名字。robots.txt不是法律。但世界上许多搜索引擎都设有专门的网页,声明自己遵守robots.txt。例如Google,Baidu,Yahoo,......请教,iAsk在robots.txt里该用什么名字?
热心网友
User- Disallow:/*.php