Akamai：爬虫程序管理的 10 个考量因素（14页）.pdf

《Akamai：爬虫程序管理的 10 个考量因素（14页）.pdf》由会员分享，可在线阅读，更多相关《Akamai：爬虫程序管理的 10 个考量因素（14页）.pdf（14页珍藏版）》请在三个皮匠报告上搜索。

1、电子书爬虫程序管理的 10 个首要考量因素 如果您随机选一个网站探索一番，所发现的结果可能会让您大吃一惊。Akamai 内部研究表明，自动网上机器人（或称爬虫程序）如今已占网站总流量的 30%到 70%之间。简单的统计数据背后，是错综复杂的真相。了解爬虫程序流量是一回事。而懂得怎么应对并且着手去处理，则是另一回事，也更具有挑战性。爬虫程序管理市场是一个不断演变的市场，有很多具有不同规模、经验和能力的供应商。但是，有一点是共同的，那就是营销，人人都说他们能解决您的问题。您需要学会看破营销手段，洞悉每一家供应商真正的能力。就是要不被他人的意见左右，亲自找寻答案。您需要知道如何评估爬虫程序管理解决方

2、案，了解其中的区别对您意味着什么。这也正是本电子书的宗旨所在。请继续阅读。爬虫程序管理的 10 个首要考量因素 哪种爬虫程序管理解决方案更适合您？11.效果 .32.弹性保护 .43.误报 .54.灵活的对策 .65.监测和报告 .76.保护 API .87.本地还是云端 .98.开发费用 .109.网站还是网页 .1110.托管服务 .12做出正确的选择像任何工具一样，合适的爬虫程序管理解决方案是能够完成工作任务的得力工具。它能帮助您实现目标，让您能够支持业务运营，同时有效控制那些让您夜不能寐的不良内容。您要如何才能确切地找到这样一种解决方案，而不用拿您的预算作为赌注，也不用等到一年或者更长

3、时间后才发现所选的解决方案力是否合适？下面是在选择爬虫程序管理解决方案时需要考虑的 10 大首要考量因素。您需要知道如何评估爬虫程序管理解决方案，了解其中的区别对您意味着什么。2有些供应商宣称能检测 99.9%的爬虫程序 听到这种话就可以认定，这只不过是夸张的营销措辞。只要您多想一下，谎言自然不攻自破。如果供应商不能确定他们能检测 100%的爬虫程序，那么又如何知道自己所检测到的爬虫程序占比 99.9%呢？如果供应商真的确切地了解 100%的爬虫程序生态环境，那怎么可能只能检测出其中的 99.9%？所有此类解决方案都能检测爬虫程序，问题是，检测的比例能达到多少。因为爬虫程序一直在变化，所以无法

4、客观地测评解决方案的效果。但您可以测评所检测的爬虫程序的复杂性。您可以了解爬虫程序的发展形势，掌握有关各种爬虫程序检测技术及其比较方法的知识。确保您所考虑采用的解决方案能够检测到您可能会见到的最复杂爬虫程序。考量因素：了解解决方案采用的是哪些爬虫程序检测技术、这些技术的复杂程度以及大致可以期待其提供怎样的成效。并非所有的技术实现方法都是相同的。比较市场上类似的解决方案，了解它们在您的具体环境中表现如何。像攻击者那样思考如今有没有攻击工具能够避开一款解决方案的检测？如果有，那么这款解决方案可能就不够好。1.效果爬虫程序管理的 10 个首要考量因素 确保您所考虑采用的解决方案能够检测到您可能会见到

5、的最复杂爬虫程序。3在您拦截掉一款爬虫程序时，它并不会彻底消失。它随时都会回来，而且还会发生变异，企图躲避您的检测。多数爬虫程序管理解决方案最开始都能检测出爬虫程序（至少其中的一部分），但随着爬虫程序开始发生变异，它们的检测能力就会大打折扣。确保您选择的解决方案能够随着时间推移不断学习和发展，以长期、持续帮助您解决问题。考量因素：寻找采用最复杂爬虫程序检测技术（如用户行为分析）的解决方案。这些解决方案将随着爬虫程序的变异在更长时间里保持效力。请已部署该解决方案的其他客户提供证明或参考，了解其能否长时间保持效力。2.弹性保护多数爬虫程序管理解决方案最开始都能检测出爬虫程序，但随着爬虫程序开始发生

6、变异，它们的检测能力就会大打折扣。4爬虫程序管理的 10 个首要考量因素 当爬虫程序管理解决方案声称它阻止了爬虫程序时，如何才能确定系统阻止的确实是爬虫程序而不是合法用户？很多供应商出手很快，对误报相当宽松。对一些供应商来说，能够向客户表明他们阻止了很多“爬虫程序”，比确保他们没有阻止有效流量（对公司有价值的人类行为或“良性”爬虫程序）要更加重要。但您希望的是在不妨碍业务运营的情况下解决爬虫程序问题。您需要相信，与您合作的供应商也非常关心准确性及误报的影响。考量因素：供应商是将调整误报的任务留给您处理，还是会努力最大限度地降低误报？供应商是否建议使用验证码？这通常将一家供应商的无能暴露无疑。虽