首页 > 其他 > 详细

pipelinewise 基于singer 指南的的数据pipeline 工具

时间:2019-09-17 10:00:41      阅读:122      评论:0      收藏:0      [点我收藏+]

pipelinewise 是基于开源singer 指南开发的数据pipeline工具,与singer tap 以及target 兼容

支持的特性

  • 内置的elt 特性
  • 轻量级
  • 支持多种复制方法,cdc(基于log 的)基于key 的增量模式,全量
  • 管理schema的变动
  • 加载时的数据转换(可以方便进行数据脱敏,数据字段处理)
  • 基于yaml的配置管理
  • 可以集成外部工具
  • 可扩展

说明

pipelinewise 基于singer 但是超越singer,简化了我们基于singer 开发的处理

参考资料

https://transferwise.github.io/pipelinewise/ 
https://github.com/transferwise/pipelinewise 
https://github.com/singer-io/singer-python 
https://github.com/singer-io/getting-started

pipelinewise 基于singer 指南的的数据pipeline 工具

原文:https://www.cnblogs.com/rongfengliang/p/11531498.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!