分布式爬虫开发中会遇到的问题 - 网络爬虫

哪位有经验的朋友，能不能把分布式爬虫开发中会遇到的问题罗列一下，最近在写设计文档。或者提供一点参考资料。谢谢！！！