首页 > 2020年05月03日 > 全部分享
从源码看Spark读取Hive表数据小文件和分块的问题
前言 有同事问到,Spark读取一张Hive表的数据Task有一万多个,看了Hive表分区下都是3MB~4MB的小文件,每个Task只处理这么小的文件,实在浪费资源浪费时间。而我们都知道Spark的Task数由partitions决定,所以他想通过repartition(num)的方式来改变分区数, ...
分类:其他   时间:2020-05-03 12:23:26    收藏:0  评论:0  赞:0  阅读:38
SpringBoot自动配置原理分析
Spring Boot Starter 开箱即用的组件 自动装配的功能 Spring Framework IOC applicationContext.xml HelloController hc = (HelloController)context.getbean("name") Bean 的装配 ...
分类:编程语言   时间:2020-05-03 12:23:10    收藏:0  评论:0  赞:0  阅读:50
银耳汤
材料 干银耳 大早 枸杞 冰糖或者白糖 1. 干银耳放入温水中泡发40分钟 2. 用剪刀把因为的银耳根蒂之外的剪成小片 3. 放入锅中,加水,水不要加太少,水煮沸之后,调小火,炖30分钟 4. 加入洗好的,大枣,枸杞,冰糖,继续炖5分钟 5. 可以收锅了 ...
分类:其他   时间:2020-05-03 12:22:46    收藏:0  评论:0  赞:0  阅读:35
把视频设置为背景
```html Document 1 2 ``` ...
分类:其他   时间:2020-05-03 12:22:13    收藏:0  评论:0  赞:0  阅读:35
Spring Boot 警告:An illegal reflective access operation has occurred
转载 "Spring Boot 警告:An illegal reflective access operation has occurred" 现象 将 项目升级到 ,运行时发现警告如下: 解决方案 增加 启动参数: 保存,重新运行,解决 ...
分类:数据库技术   时间:2020-05-03 12:21:36    收藏:0  评论:0  赞:0  阅读:1516
Kali Linux修改桌面默认图标
Kali Linux修改桌面默认图标从Kali Linux 2019.4开始,支持Undercover模式,类似Windows模式。大学霸IT达人当用户切换为Undercover模式后,默认桌面图标包括三个,分别是回收站、文件系统和主文件夹。如果用户希望添加或删除桌面图标,可以编辑默认的桌面图标。下 ...
分类:系统服务   时间:2020-05-03 12:21:03    收藏:0  评论:0  赞:0  阅读:68
【LeetCode】23.最大子序和
题目链接 https://leetcode-cn.com/problems/maximum-subarray/ 题目描述 给定一个整数数组 nums ,找到一个具有最大和的连续子数组(子数组最少包含一个元素),返回其最大和。 示例: 输入: [-2,1,-3,4,-1,2,1,-5,4], 输出: ...
分类:其他   时间:2020-05-03 12:20:44    收藏:0  评论:0  赞:0  阅读:48
POJ1236 Network of Schools(强连通分量)
A number of schools are connected to a computer network. Agreements have been developed among those schools: each school maintains a list of schools t ...
分类:Web开发   时间:2020-05-03 12:19:48    收藏:0  评论:0  赞:0  阅读:61
【题解】多边形染色
"Link" 蒟蒻做的为数不多的环形$dp$,技巧不到位,写题解来总结一下。 $\text{Solution:}$ $dp$柿子还是很好推出来的:$dp[i][j]$表示地$i$个点染色是$j$的方案数。先考虑没有限制的转移: $$dp[i][j]=\sum_{k\not=j} dp[i 1][k] ...
分类:其他   时间:2020-05-03 12:19:29    收藏:0  评论:0  赞:0  阅读:44
指针——指向内存地址的变量
指针是C语言一个重要的数据类型。指针可以访问简单的数组、字符串等,它是C语言的核心所在,用好指针可以在C语言程序开发中起到事半功倍的效果。 1.什么是指针 指针是一个变量,其值为另一个变量的地址,即内存位置的直接地址。 定义指针 跟其他变量和常量一样,必须在使用之前对其进行声明。指针变量声明的一半形 ...
分类:其他   时间:2020-05-03 12:19:13    收藏:0  评论:0  赞:0  阅读:80
绝对差不超过限制的最长连续子数组 RMQ+二分答案
"感谢https://www.cnblogs.com/yyxayz/p/4109390.html" 思路,首先暴力肯定超时了,那么就要想办法来优化,~~当然是百度了~~ 首先很显然的是,如果一个区间的最大值和最小值分别是mi和ma 那么如果ma miRMQ的基本思想就是对区间的进行拆分,来利用动态规 ...
分类:编程语言   时间:2020-05-03 12:18:24    收藏:0  评论:0  赞:0  阅读:60
【树】429. N叉树的层序遍历
题目: 解法: 广度优先遍历就好。 1 /* 2 // Definition for a Node. 3 class Node { 4 public: 5 int val; 6 vector<Node*> children; 7 8 Node() {} 9 10 Node(int _val) { 1 ...
分类:其他   时间:2020-05-03 12:18:02    收藏:0  评论:0  赞:0  阅读:57
3DMAX导出到Unity坐标轴转换问题
这是我在3dmax中创建的1cm*1cm*1cm的立方体,右图为3dmax中的坐标系 当我们把这个立方体导入到unity中发现x轴意外的扭转了90度 为了解决这个问题,你需要对模型做出修正 1、选定其中一个模型,在层次界面选择仅影响轴,先选定其轴。 2、在导出的时候在高级选项中将轴转化中的向上轴改为 ...
分类:编程语言   时间:2020-05-03 12:17:46    收藏:0  评论:0  赞:0  阅读:208
Interface和Abstract区别
Abstract:在面向对象的概念中,所有的对象都是通过类来描绘的,但是反过来,并不是所有的类都是用来描绘对象的,如果一个类中没有包含足够的信息来描绘一个具体的对象,这样的类就是抽象类。 Interface:接口是一种特殊的抽象类,而抽象类又是一种特殊的类,所以可以将接口看作是一种特殊的类。 Tip ...
分类:其他   时间:2020-05-03 12:17:10    收藏:0  评论:0  赞:0  阅读:33
Mybatis学习笔记
简介 官方文档: "链接" MyBatis作用 1. MyBatis 是支持定制化 SQL、存储过程以及高级映射的优秀的持久层框架。 2. MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。 3. MyBatis可以使用简单的XML用于配置和原始映射,将接口和Java的P ...
分类:其他   时间:2020-05-03 12:16:52    收藏:0  评论:0  赞:0  阅读:59
asp.net core用命令方式启动项目
用命令行的方式启动.netcore web项目dotnet 项目启动文件.dll --urls="http://*:对外端口" --ip="本机ip" --port=本机端口例:dotnet demo1.webDemo.dll --urls="http://*:8012" --ip="127.0.0 ...
分类:Web开发   时间:2020-05-03 11:58:23    收藏:0  评论:0  赞:0  阅读:350
python开发一个菜单点菜功能,可以输入菜名前的数字编号点菜
import re option_str = input("请输入数字或方向键:") #re.sub(pattern,repl,string,count=0,flags=0)找到string中可以匹配pattern的部分, #然后将这些部分替换成repl,本例就是将非数字的部分都去掉。 option ...
分类:编程语言   时间:2020-05-03 11:58:07    收藏:0  评论:0  赞:0  阅读:105
第7章 按值传递或按引用传递:7.4 处理字符串字面量和原生数组
7.4 Dealing with String Literals and Raw Arrays 7.4 处理字符串常量和原生数组 So far, we have seen the different effects for templates parameters when using string ...
分类:编程语言   时间:2020-05-03 11:57:46    收藏:0  评论:0  赞:0  阅读:46
Floyd算法
Floyd算法 弗洛伊德算法,用来计算多源最短路径(任意两个点之间的最短路径) 符号描述 D(i,j) 节点i到节点j的最短距离 N(i,j) 节点i到节点j的下一跳节点 思维 1. 如果某个节点位于起点到终点的最短路径上 D(i,j)=D(i,k)+D(k,j) 2. 如果某个节点不位于起点到终点 ...
分类:编程语言   时间:2020-05-03 11:57:12    收藏:0  评论:0  赞:0  阅读:45
pyqt5的QCompleter自动补全 使用模板
使用QCompleter类,就可以实现自动补全功能,效果图如下: 对应的代码很简单 def init_lineedit(self): # 增加自动补全 self.completer = QCompleter(items_list) # 设置匹配模式 有三种: Qt.MatchStartsWith 开 ...
分类:其他   时间:2020-05-03 11:56:27    收藏:0  评论:0  赞:0  阅读:89
1290条   上一页 1 ... 46 47 48 49 50 ... 65 下一页
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!