自动数据捕获在互联网上的时间几乎和互联网一样长。如今，公众似乎更倾向于称之为“网络数据采集/网络数据抓取”，有时也称网络数据采集程序为网络爬虫(蜘蛛)。收集常用的方法是写一个自动化程序，向网络服务器要求数据，但大多数不擅长写程序的朋友使用现成的通用网页捕获工具，然后分析数据，提取所需的信息。

然而，许多网页也会保护自己的数据，所以会遇到数据捕获困难的悲剧，更令人沮丧的事情，也就是说，不能捕获，也许提交服务器认为已经处理表格被拒绝，也许是他们自己的 IP 该地址被定义为网络机器人或不知道为什么被网站禁止，无法继续访问。

但是真的抓不到吗？火车收集器告诉你:NO！为了克服网站对部分防收集的预防或收集困难，网页抓取工具火车收集器仍然是一个非常好的方法，前面的高能攻击，请自己得到。

收集国外网站

一些用户提到，外国网站收集非常慢，数据不能直接使用。事实上，这种收集可以使用外国代理服务器，可以有效地提高收集速度。对于需要将数据转换为中文的人，可以使用翻译插件进行翻译和收集。

网站请求未通过

当收到请求时，目标网站通常会对Headers中的User-Agent字段进行验证，如果不携带正常的User-Agent信息，则无法通过请求。因此，我们应该将User-Agent属性设置为不容易引起怀疑的内容。为了防盗链，一些网站还会验证要求Headers中的Referer字段，因此需要通过对要求的抓包分析，将Referer值修改为目标网站域名，这些都可以直接在火车采集器的“其他设置”中修改。此外，列表页、多页、分页Headers可以在火车采集器中定制。

经常访问封锁

总是遇到403个错误？对于同一IP或同一cookie的频繁访问，网站会将其识别为爬虫进行封锁。这种反爬虫可以在火车收集器中切换cookie、控制采集速度（盲目追求速度不明智，合理控制速度是不应破坏的规则，火车采集器支持速度调整，实时生效）、用拨号服务器等方法有效解决二级代理更换ip的问题。

cookie登录

有些网站需要输入合法的登录信息或继续保持登录状态来访问所有内容，网页抓取工具火车收集器的响应是多样化的，一个是通过收集器内置的微浏览器获取登录信息，另一个是通过抓取包分析设置登录信息。

需要输入验证码

如何处理需要频繁输入验证码才能继续访问的网站？火车采集器中的OCR可以识别简单的数字验证码，但是现在有些验证码没那么简单了，所以如果真的很复杂，可以用可视化的火车浏览器自动编码接入平台。

加密网页采集

对于网页脚本的内容加密，可以通过模拟加密算法恢复操作脚本，或编写插件进行扩展。这种技术可能很困难，但它可以通过联系我们的火车收集器的技术支持来帮助。

以上大概就列出来了。如果大神遇到其他类型的防收集，可以反馈给我们，让我们的程序猿为你开发更强大的功能~

详细使用教程请参考：微信单透软件