业务保障部有一个需求，需要用hive实时计算上一小时的数据，比如现在是12点，我需要计算11点的数据，而且必须在1小时之后运行出来，但是他们用hive实现的时候发现就单个map任务运行都超过了1小时，根本没法满足需求，后来打电话让我帮忙优化一下，以下是优化过程：...
分类：
其他 时间：
2015-03-19 14:54:32
收藏：
0 评论：
0 赞：
0 阅读：
466
data student1;input name$ age score;datalines;wangwu 29 68lisi 30 85wangxi 28 79lixingxun 32 91wufang 27 56;run;data student;set student1;run;data student2;input name$ age score;datalines;wangwu 29 88...
分类：
其他 时间：
2015-03-19 14:54:02
收藏：
0 评论：
0 赞：
0 阅读：
267
之前写了两篇文章，介绍了我在边缘检测上面的研究，实际上，使用GPU对渲染图像进行边缘检测，前提是需要进行两遍渲染，前一遍渲染的结果作为后一遍结果的输入纹理，接着在第二遍渲染的时候，对二维图像做一些图像处理，最终得出带轮廓的描边渲染效果，接着和正常渲染混合在一起，就成为渲染的最终图像。可是，这样的做法，是对二维图像做的图像处理，即使像上次对提取的深度进行图像处理，也无法准确地根据深度的突变来提取我们需要的边缘。所以我们需要新的方法来提取模型的边缘。...
分类：
其他 时间：
2015-03-19 14:53:02
收藏：
0 评论：
0 赞：
0 阅读：
846
描述10 年一度的银河系赛车大赛又要开始了。作为全银河最盛大的活动之一， 夺得这个项目的冠军无疑是很多人的梦想，来自杰森座 α星的悠悠也是其中之一。 赛车大赛的赛场由 N 颗行星和M条双向星际航路构成，其中每颗行星都有 一个不同的引力值。大赛要求车手们从一颗与这 N 颗行星之间没有任何航路的 天体出发，访问这 N 颗行星每颗恰好一次，首先完成这一目标的人获得胜利。 由于赛制非常开放，很多人驾驶着千奇...
分类：
其他 时间：
2015-03-19 14:52:51
收藏：
0 评论：
0 赞：
0 阅读：
349
线阴影：box-shadow：0 3px 6px rgba(0, 0, 0, .175)...
分类：
其他 时间：
2015-03-19 14:52:42
收藏：
0 评论：
0 赞：
0 阅读：
335
本代码是采用em标签制作的列表三角形标号效果，除了使用em制作外，其实用dIV也可以完成，不过在本代码中，主要是采用em制作，希望可以帮助CSS爱好者可拓一下思路。...
分类：
其他 时间：
2015-03-19 14:52:22
收藏：
0 评论：
0 赞：
0 阅读：
307
Problem Description
In our daily life we often use 233 to express our feelings. Actually, we may say 2333, 23333, or 233333 … in the same meaning. And here is the question: Suppose we have a matrix ca...
分类：
其他 时间：
2015-03-19 14:51:01
收藏：
0 评论：
0 赞：
0 阅读：
265
局部敏感哈希在检索技术中，索引一直需要研究的核心技术。当下，索引技术主要分为三类：基于树的索引技术（tree-based index）、基于哈希的索引技术（hashing-based index）与基于词的倒排索引（visual words based inverted index）[1]。本文主要对哈希索引技术进行介绍。...
分类：
其他 时间：
2015-03-19 14:50:50
收藏：
0 评论：
0 赞：
0 阅读：
276
运用mapreduce计算文档中每个单词的tfidf值...
分类：
其他 时间：
2015-03-19 14:50:12
收藏：
0 评论：
0 赞：
0 阅读：
439
开始下载前设置BufferSize即可解决：
ftpClient.setBufferSize(1024*1024);
查看commons-net的源码，可以发现如果未设置该参数，将会一个字节一个字节的读取数据。...
分类：
其他 时间：
2015-03-19 14:49:51
收藏：
0 评论：
0 赞：
0 阅读：
355
有些函数执行前后,需要加日志、记录耗时、还要处理panic,都是些重复性的东西。
所以弄了个模板式的东西,碰到这类需求,直接把相关函数和参数,丢到run函数去就不用管了,省得浪费时间。...
分类：
其他 时间：
2015-03-19 14:49:31
收藏：
0 评论：
0 赞：
0 阅读：
368
第二章SignalR所支持的平台
SignalR支持各种服务器和客户端的配置。此外，每种传输方式都有自身的配置要求和限制；如果某种传输方式不被系统支持，SignalR优雅地将故障转移到其他类型的传输方式。详细说明，请参阅上一章的传输方式和协商转换。
1服务器端要求：
1) 系统要求：win7，win8，win2008r2，win2012或以上系统
2) .NetFramewor...
分类：
其他 时间：
2015-03-19 14:49:02
收藏：
0 评论：
0 赞：
0 阅读：
321
干活的时候要多思考-------- 题记
昨天下午接到任务把内容汇聚平台和分发平台加上统一认证登录，之前弄过CAS，想想这个过程也就是按部就班的事情。在两个系统中web.xml添加 CAS相关filter，添加上CAS Client 端的jar包，修改退出接口为CAS退出接口，修改把用户信息写入到session模块，设置session的失效时间等，关于这一切配置完毕后执行，登录是可以成功登录的，并且实现了统一登录认证。但是在退出的时候貌似失效了，当遇到问题的时候不管三七...
分类：
其他 时间：
2015-03-19 14:48:52
收藏：
0 评论：
0 赞：
0 阅读：
445
上篇文章《ONOS高可用性和可扩展性实现初探》讲到了ONOS系统架构在高可用、可扩展方面技术概况，提到了系统在分布式集群中如何保证数据的一致性。在数据最终一致性方面，ONOS采用了Gossip协议，这一部分的变化不大，而在强一致性方案的选择方面则在不断进行调整，其主要原因是分布式系统中强一致性对系统性能影响较大，而且现有的支持Paxos算法的实现不多。本文承接上一篇提出的一个问题：ONOS为什么从...
分类：
其他 时间：
2015-03-19 14:48:42
收藏：
0 评论：
0 赞：
0 阅读：
276
demo下载地址http://download.csdn.net/detail/metis100/8498401安卓开发一年，开始想整理些资料成库，以备日后快速开发。
第一天，整理了常用的dialog,包括：single Choice Dialog,Multiple choice Dialog，Input Dialog ,Progress Dialog….
代码在云盘中 ,点击链接下载http:...
分类：
其他 时间：
2015-03-19 14:48:32
收藏：
0 评论：
0 赞：
0 阅读：
264
cocos luacompile
cocos luacompile
OverviewUsageAvailable ArgumentsSamples
Overview
Compile the .lua files to .luac.
Usage
cocos luacompile [arguments]
Available Arguments
arg
avai...
分类：
其他 时间：
2015-03-19 14:47:32
收藏：
0 评论：
0 赞：
0 阅读：
1274
在使用Entity Framework操作数据库时遇到的这个错误。
这个错误比较奇怪，在园子里看到一位兄弟写到有位大哥提出的原因是：http://www.cnblogs.com/plwang1990/articles/2025334.html
sqlServer2008中提供datetime2类型的数据（比datetime更精确），而用entity framework4会默认的把C#中的...
分类：
其他 时间：
2015-03-19 14:46:21
收藏：
0 评论：
0 赞：
0 阅读：
303
无法更新 EntitySet“Project_project”，因为它有一个 DefiningQuery，而 元素中没有支持当前操作的 元素。百思不得其解释，最后发现
1：实体中的表必须有主键（这里指示T_User表中必须有主键），如果没有，会有这样的提示
2：主键设置好后，运行还是会出现类似问题，那就一个郁闷
1）：方法一先从EF中删除刚设置主键的模型，然后再重新添加到...
分类：
其他 时间：
2015-03-19 14:46:12
收藏：
0 评论：
0 赞：
0 阅读：
270
最近公司申请著作版权，需要统计代码的行数，用网上找了下工具，还得安装什么的，感觉不靠谱，就自己写了一个python脚本统计一下1.原理：先获取所有文件，然后统计每个文件中代码的行数，最后将行数相加，思路很简单。import os
import os.path
import time
rootdir = '文件路径'
filelists = []#遍历文件
def getFile(rootdir):...
分类：
其他 时间：
2015-03-19 14:46:01
收藏：
0 评论：
0 赞：
0 阅读：
350
1. 目前有四种主题theme_gray(), theme_bw() , theme_minimal(),theme_classic()2. X轴设置刻度scale_x_continuous(limits=c(1950,2000),breaks=seq(1950,2000,5))3. Bar & L...
分类：
其他 时间：
2015-03-19 14:43:31
收藏：
0 评论：
0 赞：
0 阅读：
338
