1、負責開發新爬蟲和優化現有的爬蟲；

2、負責網頁信息抓取結果的抽取、數據清洗、分類、聚類等研發工作；

3、負責爬蟲平臺系統的架構設計與開發以及爬蟲核心算法的策略優化研究。

1、 有5年以上Python語言為主的開發經驗（必須），精通網頁抓取原理及技術；

2、對反爬蟲策略，驗證碼破解（非調用打碼平臺）等有一定的經驗。；

3、 熟悉Mysql數據庫開發，熟悉MongoDB、redis；

4、 熟悉html、css、js。