cd sparkapp/ ls find . /usr/local/sbt/sbt packagepackage完成：hadoop@Athena:~/sparkapp$ lsproject simple.sbt src target打包位置：我们就可以将生成的 jar 包通过 spark-submi... ...
分类：
其他 时间：
2016-06-25 08:27:05
收藏：
0 评论：
0 赞：
0 阅读：
263
Redis支持持久化只是它的一件武器，另外，它针对不同的需求也提供了多达5种数据存储方式，以最大效率上的实现你的需求，下面分别说一下： 一 string（字符串） string是最简单的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value，其上支持的操作与Memcach ...
分类：
其他 时间：
2016-06-25 08:26:55
收藏：
0 评论：
0 赞：
0 阅读：
316
伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：./bin/hdfs dfs -mkdir -p /user/hadoop接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/... ...
分类：
其他 时间：
2016-06-25 08:26:45
收藏：
0 评论：
0 赞：
0 阅读：
314
1.首先下载Node.js 安装nodejs很简单直接点击安装文件下一步直至成功即可，安装notejs的同时npm也会同时安装 成功后打开notejs的命令行工具 输入“node -v”,"npm -v" 输出版本号标识安装成功 2.Ant 下载与安装 Ant是二进制文件，下载后不需要安装 只需要配 ...
分类：
Windows开发 时间：
2016-06-25 08:26:36
收藏：
0 评论：
0 赞：
0 阅读：
245
http://m.blog.csdn.net/article/details?id=7026402 当我们扑捉程序错误时，调试器是开发者们最得力的助手。然而，ASP.NET的跟踪，在调试时是一个很棒的不容忽视的辅助，它允许你的ASP.NET代码在执行期间输出消息，提供有用信息有效帮助你发现问题所在。 ...
分类：
Web开发 时间：
2016-06-25 08:26:26
收藏：
0 评论：
0 赞：
0 阅读：
234
1/增加hadoop 的用户;sudo useradd -m hadoop -s /bin/bash创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。设置密码：sudo passwd hadoop2/可为 hadoop 用户增加管理员权限 sudo adduser ... ...
分类：
其他 时间：
2016-06-25 08:26:16
收藏：
0 评论：
0 赞：
0 阅读：
303
独立应用程序（Self-Contained Applications）现在基于一个简单的APP，通过 Spark API 编写一个独立应用程序。使用 Scala 编写的程序需要使用 sbt 进行编译打包，相应的，Java 程序使用 Maven 编译打包，而 Python 程序通过 spark-sub... ...
分类：
其他 时间：
2016-06-25 08:26:10
收藏：
0 评论：
0 赞：
0 阅读：
309
微信图片反防盗链的方法(此图片来自微信公众平台，未经允许不可饮用) (未找到出处，如有侵犯，请及时告知，谢谢) 因为在<img>标签中引用微信的图片 <?php $img = "http://mmbiz.qpic.cn/mmbiz /ibbmVK4uC7iacR4KGWnyJHvQxl276DK6e ...
分类：
微信 时间：
2016-06-25 08:25:59
收藏：
0 评论：
0 赞：
0 阅读：
306
...
分类：
Web开发 时间：
2016-06-25 08:25:36
收藏：
0 评论：
0 赞：
0 阅读：
309
新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用... ...
分类：
其他 时间：
2016-06-25 08:25:26
收藏：
0 评论：
0 赞：
0 阅读：
327
Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修... ...
分类：
其他 时间：
2016-06-25 08:25:16
收藏：
0 评论：
0 赞：
0 阅读：
303
1. 实验环境 ubuntu14.4 + django1.9.7 2. 问题描述 在配置完数据库mysite/settings.py后，通常需要运行python manage.py syncdb为数据库中每个应用建立一个数据库表。然而如果你安装的Django Version >= 1.9，那么会出现 ...
分类：
数据库技术 时间：
2016-06-25 08:24:56
收藏：
0 评论：
0 赞：
0 阅读：
1813
1. C++中的多重继承 （1）一个子类可以拥有多个父类 （2）子类拥有所有父类的成员变量 （3）子类继承所有父类的成员函数 （4）子类对象可以当作任意父类对象使用 （5）多重继承的语法规则 class Derived: public BaseA, public BaseB, public Base ...
分类：
其他 时间：
2016-06-25 08:24:46
收藏：
0 评论：
0 赞：
0 阅读：
382
Spark StreamingSpark Streaming 使用 Spark API 进行流计算，这意味着在 Spark 上进行流处理与批处理的方式一样。因此，你可以复用批处理的代码，使用 Spark Streaming 构建强大的交互式应用程序，而不仅仅是用于分析数据。Spark Streami... ...
分类：
其他 时间：
2016-06-25 08:24:35
收藏：
0 评论：
0 赞：
0 阅读：
226
进入交互界面./bin/spark-shell创建textFile，从本地文件，val textFile = sc.textFile("file:///usr/local/spark/README.md")从HDFS读取，scala> val textFile = sc.textFile("inpu... ...
分类：
其他 时间：
2016-06-25 08:24:25
收藏：
0 评论：
0 赞：
0 阅读：
261
缓存Spark 支持在集群范围内将数据集缓存至每一个节点的内存中，可避免数据传输，当数据需要重复访问时这个特征非常有用，例如查询体积小的“热”数据集，或是运行如 PageRank 的迭代算法。调用 cache()，就可以将数据集进行缓存：linesWithSpark.cache() Spark SQ... ...
分类：
其他 时间：
2016-06-25 08:24:16
收藏：
0 评论：
0 赞：
0 阅读：
217
运行 Hadoop 程序时，为了防止覆盖结果，程序指定的输出目录（如 output）不能存在，否则会提示错误，因此运行前需要先删除输出目录。在实际开发应用程序时，可考虑在程序中加上如下代码，能在每次运行时自动删除输出目录，避免繁琐的命令行操作：Configuration conf = new Con... ...
分类：
其他 时间：
2016-06-25 08:23:56
收藏：
0 评论：
0 赞：
0 阅读：
438
最近公司搞征文比赛，就把我以前写过过的数独算法再深入研究了一下，形成这篇小文。一共介绍了五种方法来求解数独：回溯法，排列组合法，精确覆盖问题法，模拟退火法以及约束编程法。 ...
分类：
其他 时间：
2016-06-25 07:21:56
收藏：
0 评论：
0 赞：
0 阅读：
387
CRM：ClusterResourceManagement，集群资源管理crmd：作为进程运行，监控一个端口5560/tcp/mgmtd，提供管理APIGUI：图形化管理界面CLI：命令行管理集群节点超过两个（奇数个），集群分裂时，某一个子集群的法定票数超过半数，可认为自己正常启用crm#vim/etc/ha.d/haresources，..
分类：
其他 时间：
2016-06-25 06:18:56
收藏：
0 评论：
0 赞：
0 阅读：
512
一、事件1.什么是事件：事件是可以被JavaScript侦测到的行为onClick单击事件onMouseOver鼠标经过事件onMouseOut鼠标移出事件onChange文本内容改变事件onSelect文本框选中事件onFocus光标聚集事件onBlur移开光标事件onLoad网页加载事件onUnload关闭网页事件<!DOCTYPEhtml>..
分类：
编程语言 时间：
2016-06-25 06:18:46
收藏：
0 评论：
0 赞：
0 阅读：
210
