网站使用了google管理员工具，但在抓取工具的权限这一项里，老是有问题，具体是：

第 1行：?User-agent:*   语法有误

认真检查了robots.txt文件，并没有那个门号或其它字符

上网查了下，才知道是编码问题

因为我习惯用UE将所有文件保存成utf-8格式，而google管理员工具是不能正常读取这种格式的

解决方法，保存为ANSI格式

相关日志

• 05/21/2010 -- nginx文件类型错误解析漏洞(80sec) (0)
• 04/05/2010 -- 如何写robots.txt？(摘点石) (1)
• 03/19/2010 -- lightinthebox的robots.txt (0)
• 12/01/2009 -- Meta标签说明 (5)
• 10/28/2009 -- 雅虎和谷歌都宣布robots.txt文件支持通配符 (1)