首页 > 2019年03月21日 > 全部分享
【Spark调优】数据倾斜及排查
【数据倾斜及调优概述】 大数据分布式计算中一个常见的棘手问题——数据倾斜: 在进行shuffle的时候,必须将各个节点上相同的key拉取到某个节点上的一个task来进行处理,比如按照key进行聚合或join等操作。此时如果某个key对应的数据量特别大的话,就会发生数据倾斜。比如大部分key对应10条 ...
分类:其他   时间:2019-03-21 23:08:55    收藏:0  评论:0  赞:0  阅读:70
NSCTF web200
刚恰完饭,看了道题目,好久没做PHP的了,是个编码的题目 代码审计下,查下函数,意思就是定义了一个函数encode,请别把flag反转然后把反转后的每个字符变成ascii+1再变成字符呗,然后连接起来。最后返回的是base64 编码过后再反转再Rot13编码后的密文:a1zLbgQsCESEIqRL ...
分类:Web开发   时间:2019-03-21 23:08:39    收藏:0  评论:0  赞:0  阅读:77
HeadFirst Ruby 第十章总结 Comparable & Enumerable
导言 这一章的标题是 Ready-Made Mixes, 也就是 Ruby 已经准备好的用于 Mix-in 的 Modules, 它们是: Comparable 和 Enumerable, Comparable 常用于比较数字, Enumerable 常用于 Collection 形式的数据.本章介 ...
分类:编程语言   时间:2019-03-21 23:08:24    收藏:0  评论:0  赞:0  阅读:78
arch 安装准备--包管理的使用pacman
https://wiki.archlinux.org/index.php/Pacman/Tips_and_tricks#List_of_installed_packageshttps://wiki.archlinux.org/index.php/Pacman#Installation_reason已 ...
分类:其他   时间:2019-03-21 23:08:10    收藏:0  评论:0  赞:0  阅读:79
card布局解决复杂操作的布局问题
一直不是很待见直接使用card布局,直到对于一些稍微复杂点的业务, 通过border布局和弹窗体的方式解决特别费劲之后,才想起了card布局, 发现card布局真是一个很好的解决办法。 那个使用起来很简单,对于里面的每一个页签,我们都要设置好一个itemId, 这样就可以 setActiveItem ...
分类:其他   时间:2019-03-21 23:07:51    收藏:0  评论:0  赞:0  阅读:63
红黑树
二叉树 左子树所有结点小于等于根结点 右子树所有结点大于等于根结点 二分查找所需的最大次数等于二叉树的高度 红黑树:自平衡的二叉树,最长路径不会超过最短路径的2倍 根结点黑色,每个叶子结点都是黑色的NIL 红色不连续,任意结点到其每个叶子路径上黑色数量相同 变色,左旋转,右旋转 应用:TreeMap ...
分类:其他   时间:2019-03-21 23:07:37    收藏:0  评论:0  赞:0  阅读:81
架构学习(2)
雪崩问题 分布式系统都存在这样一个问题,由于网络的不稳定性,决定了任何一个服务的可用性都不是 100% 的。当网络不稳定的时候,作为服务的提供者,自身可能会被拖死,导致服务调用者阻塞,最终可能引发雪崩连锁效应。 缓存雪崩 当缓存服务器重启或者大量缓存集中在某一个时间段失效,这样在失效的时候,也会给后 ...
分类:其他   时间:2019-03-21 23:07:21    收藏:0  评论:0  赞:0  阅读:70
190320运算符&数据类型
一、运算符 1、算术运算符 \+ 加 \ 减 \ 乘 / 除 \ 平方 // 整除 % 取余 2、比较运算符 == 等于 \ 大于 \= 大于等于 != or 不等于 3、成员运算符 in not in 4、逻辑运算符 and or 5、赋值运算符 = += 二、基本数据类型 数字 int 字符串 ...
分类:其他   时间:2019-03-21 23:07:01    收藏:0  评论:0  赞:0  阅读:64
list转换string
方法1 "".join 若list中为字符型 若list中为整型 先通过 将整型转换为字符型,然后再通过 转换 ...
分类:其他   时间:2019-03-21 23:06:44    收藏:0  评论:0  赞:0  阅读:52
java面试宝典
一 数据库 1.常问数据库查询、修改(SQL查询包含筛选查询、聚合查询和链接查询和优化问题,手写SQL语句,例如四个球队比赛,用SQL显示所有比赛组合;举例2:选择重复项,然后去掉重复项;) 数据库里的密码如何加密(md5); (1)数据库的密码加密:单向加密,insert into users ( ...
分类:编程语言   时间:2019-03-21 23:06:22    收藏:0  评论:0  赞:0  阅读:60
Latex Console 命令
latex xxx.tex,会产生xxx.dvi文件作为输出; dviout xxx.dvi,调用dvi查看器查看dvi文件的内容; dvipdfm xxx.dvi,将dvi文件转换成pdf文件; dvips xxx.dvi,将dvi文件转换成ps文件; psv xxx.ps,调用PS_View查看 ...
分类:其他   时间:2019-03-21 23:06:02    收藏:0  评论:0  赞:0  阅读:60
【java】-- 多线程之间实现通讯
1、多线程之间如何实现通讯 1.1、什么是多线程之间通讯? 多线程之间通讯,其实就是多个线程在操作同一个资源,但是操作的动作不同。 画图演示 1.2、多线程之间通讯需求 需求:第一个线程写入(input)用户,另一个线程取读取(out)用户.实现读一个,写一个操作。 2、代码实现基本实现 2.1、共 ...
分类:编程语言   时间:2019-03-21 23:05:35    收藏:0  评论:0  赞:0  阅读:92
opencv学习笔记3——图像缩放,翻转和阈值分割
图像的阈值分割: 五种阈值分割方法 (分别对应上图的2~6):(主要是为了对灰度图像去噪) (以上图片结果是按顺序排列的。。。。。。) ...
分类:其他   时间:2019-03-21 23:05:15    收藏:0  评论:0  赞:0  阅读:101
python中一个经典的参数错误
直接上代码 为什么com2最后和com3出来是一样的了呢? 通过print(com2.staffs is com3.staffs) True 这一行的执行结果可以看出com2和com3的staffs指向的是同一个内存对象 也就是说Company的__init__中的staffs=[]参数,在多个对象 ...
分类:编程语言   时间:2019-03-21 23:04:57    收藏:0  评论:0  赞:0  阅读:100
Java scirpt简介
JavaScript 是脚本语言 JavaScript 是一种轻量级的编程语言。 JavaScript 是可插入 HTML 页面的编程代码。 JavaScript 插入 HTML 页面后,可由所有的现代浏览器执行。 javascript可以写在head里 也可以写在body里 还可以写在 /html ...
分类:编程语言   时间:2019-03-21 23:04:37    收藏:0  评论:0  赞:0  阅读:88
模板 - 图论 - 单源最短路
第一次用Markdown编辑器写博文呢。 单源最短路的模板,链式前向星写法。 非负权的单源最短路Dijkstra算法。 Dijkstra ...
分类:其他   时间:2019-03-21 23:04:18    收藏:0  评论:0  赞:0  阅读:69
[luogu4479][BJWC2018]第k大斜率【二维偏序+二分+离散化+树状数组】
传送门 https://www.luogu.org/problemnew/show/P4479 题目描述 在平面直角坐标系上,有 n 个不同的点。任意两个不同的点确定了一条直线。请求出所有斜率存在的直线按斜率从大到小排序后,第 k 条直线的斜率为多少。 为了避免精度误差,请输出斜率向下取整后的结果。 ...
分类:编程语言   时间:2019-03-21 23:04:05    收藏:0  评论:0  赞:0  阅读:77
map和reduce
Python内建了 和`reduce()`函数。 map 函数接收两个参数,一个是函数,一个是 ,`map Iterator`返回。 举例说明,有一个函数f(x)=x2,要把这个函数作用在 上,就以用map 传入的第一个参数是 ,即函数对象本身。由于结果 是一个 惰性序列,因此通过 函数让它把整个序 ...
分类:其他   时间:2019-03-21 23:03:48    收藏:0  评论:0  赞:0  阅读:65
测试通过与失败的标准
一般公司不同,标准也不同,以下仅为参考: 测试通过与失败的标准: 测试挂起的标准及恢复的必要条件: ...
分类:其他   时间:2019-03-21 23:03:29    收藏:0  评论:0  赞:0  阅读:81
流程控制(if、while、for)
一、if判断 python中使用缩进来区分代码块 语法: 1、if 条件: 子代码块 2、if 条件: 条件成立执行代子码块 子代码块 else: 条件不成立执行代子码块 子代码块 练习: sex = "female" age = 18 is_beatuiful = True is_successf ...
分类:其他   时间:2019-03-21 23:03:10    收藏:0  评论:0  赞:0  阅读:69
1154条   上一页 1 ... 3 4 5 6 7 ... 58 下一页
© 2014 bubuko.com 版权所有 鲁ICP备09046678号-4
打开技术之扣,分享程序人生!
             

鲁公网安备 37021202000002号