首页 > 其他 > 详细

Databricks 第10篇:Job

时间:2021-01-27 14:45:56      阅读:31      评论:0      收藏:0      [点我收藏+]

Job是立即运行或按计划运行notebook或JAR的一种方法,通过Job可以定时执行数据的清理和整合,实现数据的自动维护。运行notebook的另一种方法是在Notebook UI中以交互方式运行。

一,使用UI来创建Job

点击“Jobs”图标技术分享图片,进入到Jobs页面,点击下面的“Create Job”按钮来创建Job:

技术分享图片

输入Job的Title,并选择Job执行的Task。

技术分享图片

设置Job的属性:

  • 设置Task,可以选择 Notebook、 Set JAR、Configure spark-submit,通常选择Notebook。
  • 设置Cluster:设置Job运行时使用的Cluster
  • 设置Schedule:设置计划定时执行Job

技术分享图片

二,立即运行Job

若要立即运行作业,请在“Active runs”列表中单击“Run Now”:

技术分享图片

三,查看Job运行结果

可以通过导出作业运行的结果来持久保存作业运行。 对于笔记本作业运行,可以先导出呈现的笔记本,稍后再将其导入到 Databricks 工作区中。

1,在作业详细信息页中,单击“运行”列中的作业运行名称。

技术分享图片

 2,单击“导出到 HTML”。

 技术分享图片

四,控制对Job的访问

Job的所有者和管理员可以通过"Job Access Control"控制权限。使用作业访问控制,作业所有者可以选择允许哪些其他用户或组查看作业的结果。 所有者还可以选择允许谁管理其作业的运行(即,调用“立即运行”,然后单击“取消”)。

Step1,跳转到Job的详细信息页面,点击“Advanced”链接

技术分享图片

 Step2,点击Permissions后面的“Edit”链接

技术分享图片

Step3,在弹出对话框中,通过用户名旁边的下拉菜单分配作业权限。

技术分享图片

 

 

 

参考文档:

Databricks Jobs

Databricks 第10篇:Job

原文:https://www.cnblogs.com/ljhdo/p/14266843.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!