User-agent: * # 若想要让搜索引擎爬取以下目录,请注释掉相应的索引规则 # 外部数据文件:不允许搜索引擎爬取外部数据文件,以保护敏感数据 Disallow: /data/ # 阻止搜索引擎访问外部数据文件 # 应用程序:不允许搜索引擎爬取应用程序相关的内容 Disallow: /apps/ # 阻止搜索引擎访问应用程序目录 # GitHub相关:不允许搜索引擎爬取与GitHub相关的内容 Disallow: /.github/ # 阻止搜索引擎访问GitHub相关内容 # 模块:不允许搜索引擎爬取模块文件,以保护代码逻辑 Disallow: /module/ # 阻止搜索引擎访问模块文件 # 渐进式Web应用:不允许搜索引擎爬取PWA相关内容 Disallow: /pwa/ # 阻止搜索引擎访问PWA相关内容 # JavaScript文件:不允许搜索引擎爬取JavaScript文件 Disallow: /scripts/ # 阻止搜索引擎访问JavaScript文件 # 字体文件:不允许搜索引擎爬取字体文件 Disallow: /fonts/ # 阻止搜索引擎访问字体文件 # 图像文件:不允许搜索引擎爬取图标文件 Disallow: /icon/ # 阻止搜索引擎访问图标文件 # 图片文件:不允许搜索引擎爬取图片文件 Disallow: /img/ # 阻止搜索引擎访问图片文件 # 音频文件:不允许搜索引擎爬取音频文件 Disallow: /media/ # 阻止搜索引擎访问音频文件