首页 > 编程语言 > 详细

Python日期存入elasticsearch的坑

时间:2019-08-21 23:39:05      阅读:294      评论:0      收藏:0      [点我收藏+]

今天在消费kafka数据到elasticsearch(以下简称es)中的时候遇到一个问题,也是一个坑,折腾了半天,后来发现得来全不费工夫,全是白忙活啊!!!

问题如下:

kafka数据中有一个字段是时间字符串,格式为:‘2018-05-31 16:33:45:234’

为了方便以后根据日期检索数据,es里已将该字段设置为date类型,

接下来便开始了str到date转换的艰辛之路......

尝试过的解决办法如下:

1、使用datetime将str转换为datetime对象

 

    输出结果如下:

 

    好像成功了,于是开始导入es,但是出错了

 

    这种转换对数据的格式要求比较苛刻,一旦原始字符串格式稍有变化,则抛出异常

所以下一步,捕获异常,将kafka中日期格式不符合要求的数据写到日志文件中,个别处理

最后:

elasticsearch原生支持date类型,json格式通过字符来表示date类型。所以在用json提交日期至elasticsearch的时候,es会隐式转换,把es认为是date类型的字符串直接转为date类型。至于什么样的字符串es会认为可以转换成date类型,参考elasticsearch官网介绍https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html。

  date类型是包含时区信息的,如果我们没有在json代表日期的字符串中显式指定时区,对es来说没什么问题,但是如果通过kibana显示es里的数据时,就会出现问题,数据的时间会晚8个小时。因为kibana从es里读取的date类型数据,没有时区信息,kibana会默认当作0时区来解析,但是kibana在通过浏览器展示的时候,会通过js获取当前客户端机器所在的时区,也就是东八区,所以kibana会把从es得到的日期数据减去8小时。这里就会导致kibana经常遇到的“数据时间延迟8小时”的问题。

  所以最佳实践方案就是:我们在往es提交日期数据的时候,直接提交带有时区信息的日期字符串,如:“2016-07-15T12:58:17.136+0800
————————————————
版权声明:本文为CSDN博主「威震四海」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/Beyond_F4/article/details/80528230

Python日期存入elasticsearch的坑

原文:https://www.cnblogs.com/ExMan/p/11391560.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!