岗位职责:
1、 参与建设分布式网络数据采集系统工作
2、完成分派的采集任务
任职要求:
1.熟悉常用数据提取、数据清洗、数据处理技术 如 re、xpath、pandas、numpy、pandas
2.熟悉常用的数据爬取技术 如 requests模块、验证码破解、代理ip、cookie、session、selenium、puppeteer、phantomjs
3.熟悉常用数据库 如mysql、redis等,了解ClickHouse
4.熟悉主流爬虫框架 如 scrapy
5.熟悉linux常用操作命令
6.会部署分布式爬虫,提升效率
7.了解html,css
8.熟悉js技术,熟悉如何逆向,混淆,脱壳
茶园新区 (重庆市南岸区玉马路8号中国智谷C幢2楼C栋2F) 查看地图
重庆康洲大数据(集团)有限公司
重庆康洲大数据(集团)有限公司是一家专注于医药健康领域全产业链的产业数据服务商。
公司创立于2006年。通过独特的信息处理技术开展医药大数据的收集整理、深度挖掘和应用端开发。 构建了100余个子数据库,涵盖医药研发、药物生产、合理用药及商业行研等产业发展所需的数据库资源。通过旗下健康产业互联网平台药智网,为国内外数千家机构用户和数十万个人用户提供优质专业周到的服务。
行业表现为:公司曾先后荣获工业互联网资源池、大数据应用优秀案例、软件和信息化服务业十强企业、国家电子商务示范企业等荣誉。
立足中国,放眼全球。公司致力于以数据创造价值、以平台赋能用户,倾力打造具有国际影响力的健康产业大数据服务与赋能平台——健康产业互联网公共服务平台,简称CIP。 ...展开