首页 > Web开发 > 详细

apache beam ElasticSearchIO 遇到异常后job中断执行 自己定制beam IO

时间:2018-12-27 11:05:19      阅读:153      评论:0      收藏:0      [点我收藏+]

可以将 ElasticSearchIO.java 源码拷贝至自己的项目。改名为MyElasticSearchIO.java。自己定制实现。这时编译会遇到auto.value失败。在pom.xml中加入如下依赖:

    <!-- googles -->
    <!-- https://mvnrepository.com/artifact/com.google.auto.value/auto-value -->
<dependency>
    <groupId>com.google.auto.value</groupId>
    <artifactId>auto-value</artifactId>
    <version>1.6.3</version>
    <scope>provided</scope>
</dependency>

    <!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>27.0.1-jre</version>
</dependency>

报错是在flushBatch里面的checkForErrors出现。

apache beam ElasticSearchIO 遇到异常后job中断执行 自己定制beam IO

原文:https://www.cnblogs.com/bigben0123/p/10183608.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!