首页 > 2019年06月11日 > 全部分享
Spark学习之路 (十一)SparkCore的调优之Spark内存模型
讨论QQ:1586558083 目录 一、概述 二、堆内和堆外内存规划 2.1 堆内内存 2.2 堆外内存 2.3 内存管理接口 三、内存空间分配 3.1 静态内存管理 3.2 统一内存管理 四、存储内存管理 4.1 RDD 的持久化机制 4.2 RDD 缓存的过程 4.3 淘汰和落盘 五、 执行内 ...
分类:其他   时间:2019-06-11 14:04:05    收藏:0  评论:0  赞:0  阅读:86
Redis专题(2):Redis数据结构底层探秘
Redis的底层数据结构到底是什么样的呢,为什么它能做这么多的事情?本文将探秘Redis的底层数据结构以及常用的命令。 ...
分类:其他   时间:2019-06-11 14:02:59    收藏:0  评论:0  赞:0  阅读:111
xml和json的判断格式是否相等
手动撸了个 xml 和 json 格式匹配的代码。 测试数据: json: xml: 调用: ...
分类:Web开发   时间:2019-06-11 14:02:37    收藏:0  评论:0  赞:0  阅读:127
Spark学习之路 (八)SparkCore的调优之开发调优
讨论QQ:1586558083 目录 调优概述 原则一:避免创建重复的RDD 一个简单的例子 原则二:尽可能复用同一个RDD 一个简单的例子 原则三:对多次使用的RDD进行持久化 对多次使用的RDD进行持久化的代码示例 Spark的持久化级别 如何选择一种最合适的持久化策略 原则四:尽量避免使用sh ...
分类:其他   时间:2019-06-11 14:02:09    收藏:0  评论:0  赞:0  阅读:153
【并发】6、借助FQueue 实现多线程生产消费队列
1.这里先要说一下为什么会想到fqueue,因为这个是一个轻量级的消息队列框架,并且速度很快,用起来很方便,就是这样 当然后期考虑使用redis,这里先上一个fqueue的版本,后面有时间我再吧他改成redis版本吧,感觉可能redis版本可能更适合 测试代码: 效果展示: ...
分类:编程语言   时间:2019-06-11 14:01:40    收藏:0  评论:0  赞:0  阅读:211
Spark学习之路 (十六)SparkCore的源码解读(二)spark-submit提交脚本
讨论QQ:1586558083 目录 一、概述 二、源码解读 2.2 find-spark-home 2.3 spark-class 2.4 SparkSubmit 正文 回到顶部 一、概述 上一篇主要是介绍了spark启动的一些脚本,这篇主要分析一下Spark源码中提交任务脚本的处理逻辑,从spa ...
分类:其他   时间:2019-06-11 14:01:08    收藏:0  评论:0  赞:0  阅读:138
JDBC连接池的九种查询
package JDBC_Demo; import java.sql.SQLException; import java.util.List; import java.util.Map; import org.apache.commons.dbutils.DbUtils; import org.ap ...
分类:数据库技术   时间:2019-06-11 14:00:46    收藏:0  评论:0  赞:0  阅读:170
opencart 开启 gzip
.htaccess添加下面代码 ...
分类:其他   时间:2019-06-11 14:00:01    收藏:0  评论:0  赞:0  阅读:122
vue.js+boostrap最佳实践
一、为什么要写这篇文章 最近忙里偷闲学了一下vue.js,同时也复习了一下boostrap,发现这两种东西如果同时运用到一起,可以发挥很强大的作用,boostrap优雅的样式和丰富的组件使得页面开发变得更美观和更容易,同时vue.js又是可以绑定model和view(这个相当于MVC中的,M和V之间 ...
分类:Web开发   时间:2019-06-11 13:59:23    收藏:0  评论:0  赞:0  阅读:104
poj 1821 Fence(单调队列优化DP)
"poj 1821 Fence" $solution:$ 这道题因为每一个粉刷的人都有一块“必刷的木板”,所以可以预见我们的最终方案里的粉刷匠一定是按其必刷的木板的顺序排列的。这就提示了我们可以用线性 $ DP $,只需要将粉刷匠按必刷的木板排序即可。 设 $F[ $ i $ ][j]$ 表示前 $ ...
分类:其他   时间:2019-06-11 13:58:52    收藏:0  评论:0  赞:0  阅读:123
常见对称加密算法笔记(更新中)
部分总结自:https://www.jb51.net/article/102127.htm 常见对称加密算法: 1、DES(Data Encryption Standard,数据加密标准算法) 2、3DES(Triple DES、DESede,进行了三重DES加密的算法) 3、AES(Advance ...
分类:编程语言   时间:2019-06-11 13:58:24    收藏:0  评论:0  赞:0  阅读:129
机器学习
...
分类:其他   时间:2019-06-11 13:57:59    收藏:0  评论:0  赞:0  阅读:106
【转载】让KVM虚机能使用音箱与麦克风(vnc及ac97)
让KVM虚机能使用音箱与麦克风(vnc及ac97) 原 tantexian 发布于 2016/02/29 16:32 字数 462 阅读 164 收藏 0 点赞 1 评论 0 tantexian 发布于 2016/02/29 16:32 字数 462 阅读 164 收藏 0 点赞 1 评论 0 为什 ...
分类:其他   时间:2019-06-11 13:57:37    收藏:0  评论:0  赞:0  阅读:168
【LeetCode】14.Array and String — Max Consecutive Ones 一的最大连续次数
Given a binary array, find the maximum number of consecutive 1s in this array. Example 1: Note: The input array will only contain 0 and 1. The length ...
分类:其他   时间:2019-06-11 13:57:12    收藏:0  评论:0  赞:0  阅读:102
CAD动态绘制样条线(com接口)
主要用到函数说明: _DMxDrawX::SendStringToExecuteFun 把命令当着函数执行,可以传参数。详细说明如下: 参数 说明 IDispatch* pParam 命令参数,IMxDrawResbuf对象 pszExecute 命令名 c#中实现代码说明: 1 2 3 4 5 6 ...
分类:其他   时间:2019-06-11 13:56:51    收藏:0  评论:0  赞:0  阅读:139
Android 9.0网络权限适配
在做Android开发时,使用华为的p20和平板(均为Android 9.0)测试时,发现不能使用WIFI网络,一番郁闷纠结查找后 直接上方法: 在res文件夹下创建xml文件夹,在xml里面创建文件network_security_config.xml ...
分类:移动平台   时间:2019-06-11 13:56:26    收藏:0  评论:0  赞:0  阅读:511
大数据处理技术怎么学习呢?
首先我们要学习Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。 Java:大家都知道Java的方向有JavaSE、JavaEE、JavaME,学习大数据要学习那个方向呢?只需要学习Java的标准版JavaSE就可以了,像Servlet、JSP、Tomcat、Strut ...
分类:其他   时间:2019-06-11 13:56:02    收藏:0  评论:0  赞:0  阅读:160
Vue+element 解决浏览器自动填充记住的账号密码问题
我们在做form表单的时候,会发现,浏览器会自动的将我们之前保存的密码, 自动的填充到表单中input 为 type="password" 的框中 登录页面也就算了,但是注册页面就很难受了,有一种不受控制的感觉 不行,我的代码必须由我控制,下面是解决方案: 解决方法:只需要在每个input框前面加一 ...
分类:其他   时间:2019-06-11 13:55:34    收藏:0  评论:0  赞:0  阅读:1601
shell学习3.shell函数,正则表达式
shell函数 shell中允许将一组命令集合或语句形成一段可用代码,这些代码块称为shell函数。给这段代码起个名字称为函数名,后续可以直接调用该段代码。 格式 实例1: Shell 函数很简单,函数名后跟双括号,再跟双大括号。通过函数名直接调用,不加小括号。 示例 2:函数返回值 return ...
分类:系统服务   时间:2019-06-11 13:55:08    收藏:0  评论:0  赞:0  阅读:125
sleep(0)、usleep(0)与sched_yield() 调度
结论: 如果你是为了耗掉一个机器周期 ,那直接asm ("nop") , 如果是为了让权,建议把 所有使用 usleep(0) 换成 sched_yield() ; 最近发现很多hpc 领域的MPI程序中在用usleep(0) ,比较差异。 后来问了之前做hpc 的同事 得到的答复是 一般用usle ...
分类:其他   时间:2019-06-11 13:54:37    收藏:0  评论:0  赞:0  阅读:1093
733条   上一页 1 ... 18 19 20 21 22 ... 37 下一页
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!