首页 > 其他 > 详细

Arctern Spark单机可视化入门

时间:2020-06-26 20:56:34      阅读:70      评论:0      收藏:0      [点我收藏+]

????Arctern基于开源大数据生态,构建灵活、强大、高性能的时空数据分析平台,帮助用户应对5G/IoT带来的新型数据挑战,加速时空数据的处理、分析、模型预测与呈现。本文中将会介绍Arctern Spark单机可视化安装和简单使用

安装和验证

????参考单机安装arctern和在线安装单机spark

一:要注意的地方conda??info是查看当前的 Conda 环境信息,文档里写的conda env info好像是不对的

二:下载时候使用spark使用国内镜像如清华镜像(http://221.182.132.24/mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz;

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.0.0-preview2/spark-3.0.0-preview2-bin-hadoop2.7.tgz/tmp/fishnetmap.png)

三:验证脚本地址原文中有问题,在arctern-io项目里面找一找,验证通过以后如下图.
https://github.com/arctern-io/arctern/blob/d57c099987dc0a3881ca647b493f335e939219a1/spark/pyspark/examples/gis/spark_udf_ex.py。

技术分享图片

可视化

????重点是可视化的能力,在arctern-io里面找到了相关的脚本https://github.com/arctern-io/arctern/blob/d57c099987dc0a3881ca647b493f335e939219a1/spark/pyspark/examples/render/nyc_taxi.py,使用了arctern-io的数据https://github.com/arctern-io/arctern-bootcamp/tree/master/nytaxi/file,稍微修改下名字就可以使用。修改bounding_box=[-74.060427, 40.680309, -73.924348, 40.910816],sql中范围ST_GeomFromText(‘POLYGON ((-74.060427 40.680309, -73.924348 40.680309, -73.924348 40.910816 ,-74.060427 40.910816, -74.060427 40.680309))。

技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片
技术分享图片

参考资料:

https://arctern.io/docs/versions/v0.2.x/development-doc-cn/html/quick_start/standalone_installation.html

https://arctern.io/docs/versions/v0.2.x/development-doc-cn/html/hide_source/spark/installation_and_deployment/install_arctern_on_spark_cn.html

Arctern Spark单机可视化入门

原文:https://www.cnblogs.com/polong/p/13196249.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!