一、概述上篇blog记录了些在用spark-sql时遇到的一些问题,今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统(一部分scala作业逻辑代码后面blog再给大家分享)遇到的一些SPARK作业错误信息。其中有些问题可能一些数据量或者shuffle量比较小的作业时不会遇到的..
分类:
其他 时间:
2015-02-27 18:32:55
收藏:
0 评论:
0 赞:
0 阅读:
436
在单选按钮中我们一般需要获得当前用户选择的按钮值是什么,想要得到用户的选择有两种方法。
第一种:在改变单选按钮组的值时获取。在改变单选按钮的值时获取选中项的值时,首先需要获取单选按钮组,然后为其添加OnCheckedChangeListener,并在onCheckedChanged()方法中根据参数checkedId获取被选中的单选按钮,并通过其getText()方法获取该单选按钮对应的值;
...
分类:
其他 时间:
2015-02-27 18:29:45
收藏:
0 评论:
0 赞:
0 阅读:
1408
package util;import java.security.MessageDigest;
import java.security.NoSuchAlgorithmException;public class MD5Util {
private static ThreadLocal messageDigestHolder = new ThreadLocal...
分类:
其他 时间:
2015-02-27 18:28:45
收藏:
0 评论:
0 赞:
0 阅读:
325
package util;import java.util.Date;
import java.util.Random;
import java.util.UUID;/**
* 生成订单Id
*
*/
public class OrderInfoIdUtil { public static String getOrderInfoId(){
Random rd=new R...
分类:
其他 时间:
2015-02-27 18:28:25
收藏:
0 评论:
0 赞:
0 阅读:
290
最近使用vs2012做opencv项目的时候,打包时老是碰到cannot extract icon with index 0 from file xxx.exe这样的问题,弄了半天,才搞定。
为了让大家少走弯路,特分享一下解决办法:
1、先将大小为(16*16或32*32或48*48)的.ico格式Icon图片拷贝到项目目录下;
2、然后在vs中的资源管理器中刷新并将该Icon图片添加进项目...
分类:
其他 时间:
2015-02-27 18:28:05
收藏:
0 评论:
0 赞:
1 阅读:
1093
package util;import java.util.HashSet;
import java.util.Set;
import net.sourceforge.pinyin4j.PinyinHelper;
import net.sourceforge.pinyin4j.format.HanyuPinyinCaseType;
import net.sourceforge.pinyin4j.fo...
分类:
其他 时间:
2015-02-27 18:27:35
收藏:
0 评论:
0 赞:
0 阅读:
278
Hadoop的MapReduce工作原理
MapReduce 角色
?Client :作业提交发起者。
?JobTracker: 初始化作业,分配作业,与TaskTracker通信,协调整个作业。
?TaskTracker:保持JobTracker通信,在分配的数据片段上执行MapReduce任务。
提交作业
?在作业提交之前,需要对作业进行配置
?程序代码,主要是...
分类:
其他 时间:
2015-02-27 18:27:15
收藏:
0 评论:
0 赞:
0 阅读:
328
题目:http://www.lydsy.com/JudgeOnline/problem.php?id=2813题意:
定义Fibonacci数列为F1=1,F2=1,Fi=Fi?1+Fi?2(i>=3)F_1=1,F_2=1,F_i=F_{i-1}+F_{i-2}(i>=3)。
对于某一个数F_i,求有多少个F_j能够整除F_i (i可以等于j),以及所有满足条件的j的平方之和。询问...
分类:
其他 时间:
2015-02-27 18:26:46
收藏:
0 评论:
0 赞:
0 阅读:
402
显示变量名libname saslib "H:\ sas";/*varnum表示按观测位置排序变量名,默认为按字母顺序*/data saslib.Student; input name $ Age Score; datalines;李四 25 85.6王五 27 98.12张三 30 78;proc contents varnum data=saslib.Student;r...
分类:
其他 时间:
2015-02-27 18:26:27
收藏:
0 评论:
0 赞:
0 阅读:
283
年味儿还没有完全消退,就这时候开始了这半年来的总结,回顾这半年都干了些啥,带着沉淀和积累的心态来细细品味这半年来的故事。
计算机
8月20日至9月20日
一个月的时间,参与省药监局事件追踪系统项目的一期开发,从开始的了解需求、画原型,到后面负责事件办结或退回的功能实现。这个过程中增长了项目开发的经验,通过使用泛型、Spring.net、ASP.NETMVC、NHibe...
分类:
其他 时间:
2015-02-27 18:25:55
收藏:
0 评论:
0 赞:
0 阅读:
309
在开发过程中,通常会遇到拿到一个安装有应用的设备之后无法判断当前版本是debug版还是release版,之前的做法是进入应用,找到一个内付费点,执行付费,看苹果弹出的购买提示框是否带有sandbox,耗时费力且极不高大上。于是使用给应用加前缀的方式,一目了然。废话不多说,直接上图
1、选择对应target-build settings,点红框
2、点击之后会看到...
分类:
其他 时间:
2015-02-27 18:25:45
收藏:
0 评论:
0 赞:
0 阅读:
342
题目:http://www.lydsy.com/JudgeOnline/problem.php?id=3157题意:求∑ni=1im?mimod109+7\sum_{i = 1}^n{i ^ m * m ^ i}\;mod\;10^9+7。n≤109,m≤1000n\leq10^9, m\leq1000。题解:
若m=1m=1,显然答案为n?(n+1)2\frac{n*(n+1)}{2}。
否则...
分类:
其他 时间:
2015-02-27 18:25:15
收藏:
0 评论:
0 赞:
0 阅读:
470
原创作品,出自 “深蓝的blog” 博客,欢迎转载,转载时请务必注明以下出处,否则追究版权法律责任。
深蓝的blog:
当需要登陆tomcat管理界面时,需要用户名和密码,我们可以在后台进行设置。
找到配置文件“tomcat-users.xml”的路径,例如D:\soft\tomcat6\tomcat6\conf\tomcat-users.xm...
分类:
其他 时间:
2015-02-27 18:25:05
收藏:
0 评论:
0 赞:
0 阅读:
216
这两天刚刚上班,忙里偷闲的改写了一下android.support.v4.widget.SwipeRefreshLayout类,使其可以上拉加载更多数据。其中对
android.support.v7.widget.RecyclerView支持更好一些,当然也支持listview。
这次我也终于有机会能做一个有用的项目供大家使用,以前总是使用别人的开源项目。如果对程序有疑问可以发邮件到...
分类:
其他 时间:
2015-02-27 18:24:35
收藏:
0 评论:
0 赞:
0 阅读:
416
在app后端的工作中,经常会接触到新的技术。作为一名后端人员,面对开发的压力,快速地入门新的技术,融入到项目当中,这已经成了一个后端人员的必备技能。在这篇文章,根据总结出来的一个核心思维模式,介绍4种快速入门新技术的方法。...
分类:
其他 时间:
2015-02-27 18:23:25
收藏:
0 评论:
0 赞:
0 阅读:
262
http://basho.com/why-your-riak-cluster-should-have-at-least-five-nodes/...
分类:
其他 时间:
2015-02-27 18:23:15
收藏:
0 评论:
0 赞:
0 阅读:
346
http://uva.onlinejudge.org/index.php?option=com_onlinejudge&Itemid=8&page=show_problem&problem=737
/***
Uva 796 求桥
题目要求:输出题目中所有的桥,按其所连接的点从小到大的顺序输出
解题思路:tarjan算法,所有树枝边都是桥(dfn[u]<low[v]),利用vector存储一下就可...
分类:
其他 时间:
2015-02-27 18:22:35
收藏:
0 评论:
0 赞:
0 阅读:
133
原文地址:http://www.cppblog.com/kang/archive/2009/04/05/78984.html在原文基础上进行了一些小修改~memmove、memcpy和memccpy三个函数都是内存的拷贝,从一个缓冲区拷贝到另一个缓冲区。 memmove(void *dest,voi...
分类:
其他 时间:
2015-02-27 18:21:34
收藏:
0 评论:
0 赞:
0 阅读:
212
add by zhj: 有两条非常受用,第一条:能够在完美主义和实用主义之间找到平衡。第二条:他们是否对软件工程的理解超越了代码的级别?他们是否对软件工程的理解达到了架构级别?或者他们是否能够深谋远虑?对于第一条,非常有感触,因为我之前一直在追求完美,为此做事效率很低,好的程度员一定是能在完美主义和...
分类:
其他 时间:
2015-02-27 18:21:24
收藏:
0 评论:
0 赞:
0 阅读:
211
搭建好Hadoop集群环境或者单机环境,并运行,MapReduce进程要起来1. 假设已经配置了下列环境变量export JAVA_HOME=/usr/java/defaultexport PATH=$JAVA_HOME/bin:$PATHexport HADOOP_CLASSPATH=$JAVA_...
分类:
其他 时间:
2015-02-27 18:19:05
收藏:
0 评论:
0 赞:
0 阅读:
619