职位描述
职位描述
1、参与爬虫项目的架构设计、研发工作,改进和提升爬虫效率,对反反爬虫技术难点攻坚;
2、设计爬虫策略及系统监控,提升抓取效率和稳定性,参与分布式爬虫和数据采集系统的架构设计和开发
3、解决各类技术疑难问题,以及日常维护工作
4、分析结构化和非结构化数据,并对数据抓取、信息提取、去重、清洗
岗位要求:
1、本科及以上学历、计算机相关专业毕业;
2、熟悉Python-Scrapy、Selenium;
3、要有反爬经验,有滑块验证码经验者优先考虑;
4、对数据采集,浏览器原理等有经验者(尤其是对postgre sql或mysql有经验者 )优先考虑;
5、具备很强的责任心和使命感,深信以数据来分析和优化业务、提供决策支持具有重要价值;
6、对数据敏感,工作细致,能在大量数据中发现规律和异常。