首页 > 2019年07月15日 > 全部分享
Hadoop项目调优
一、调优的目的 充分的利用机器的性能,更快的完成mr程序的计算任务。甚至是在有限的机器条件下,能够支持运行足够多的mr程序。 二、调优的总体概述 从mr程序的内部运行机制,我们可以了解到一个mr程序由mapper和reducer两个阶段组成,其中mapper阶段包括数据的读取、map处理以及写出操作 ...
分类:其他   时间:2019-07-15 09:05:01    收藏:0  评论:0  赞:0  阅读:83
5. RDD编程进阶
5.1 累加器 累加器用来对信息进行聚合,通常在向Spark传递函数时,比如使用map()函数或者用filter()传条件时,可以使用驱动器程序中定义的变量,但是集群中运行的每个任务都会得到这些变量的一份新的副本,更新这些副本的值也不会影响驱动器中的对应变量。如果我们想实现所有分片处理时更新共享变量 ...
分类:其他   时间:2019-07-15 09:03:40    收藏:0  评论:0  赞:0  阅读:92
11、【设计模式】构建器模式
一、引言在日常的开发中,我们可能经常能看到如下的代码: 在Android中,也会看到下面创建AlertDialog代码: 观察上面这两段代码,都有一个共同的特点,就是都可以进行链式操作,这就是我们要学习的Builder模式,下面就来详细学习一下。 二、Builer模式的使用场景在《Effective ...
分类:其他   时间:2019-07-15 09:03:12    收藏:0  评论:0  赞:0  阅读:101
PAT甲级——A1013 Battle Over Cities
It is vitally important to have all the cities connected by highways in a war. If a city is occupied by the enemy, all the highways from/toward that c ...
分类:其他   时间:2019-07-15 09:02:39    收藏:0  评论:0  赞:0  阅读:101
通过rsync实现文件备份
实验目标:通过本实验掌握Linux运维中的备份操作。实验步骤:1、新建/configbackup目录2、将/etc下的所有内容自动同步到/configbackup参考命令:[root@centos/]#rsync-av/etc/configbackup/含义:把/etc同步到/configbackup-a为递归,就是etc下的所有下级目录和文件均同步-v显示同步的文件内容,不打v的话只复制没有提示
分类:其他   时间:2019-07-15 00:41:21    收藏:0  评论:0  赞:0  阅读:113
python内置函数
abs()方法语法:abs(x)参数:x--数值表达式返回值:函数返回x(数字)的绝对值。all()方法语法:all(iterable)参数:iterable--可迭代对象返回值:如果all(x)参数x对象的所有元素不为0、‘‘、False或者x为空对象,则返回True,否则返回Falseany()方法语法:any(iterable)参数:iterable--可迭代对象返回值:判断
分类:编程语言   时间:2019-07-15 00:40:10    收藏:0  评论:0  赞:0  阅读:97
003 centos7中关闭防火墙
在centos7中,防火墙有了新的变化。下面是常用的几个命令。 1.查看状态 systemctl status firewalld 2.关闭防火墙 systemctl stop firewalld.service 3.开机禁止启动 systemctl disable firewalld.servic ...
分类:其他   时间:2019-07-15 00:37:54    收藏:0  评论:0  赞:0  阅读:123
想转行大数据,开始学习 Hadoop?
学习大数据首先要了解大数据的学习路线,首先搞清楚先学什么,再学什么,大的学习框架知道了,剩下的就是一步一个脚印踏踏实实从最基础的开始学起。 这里给大家普及一下学习路线:hadoop生态圈——Strom——Spark——算法。 所以学习hadoop是第一步,在这里声明一下,在学习hadoop之前需要有 ...
分类:其他   时间:2019-07-15 00:37:25    收藏:0  评论:0  赞:0  阅读:223
python输出带颜色字体详解--转载
本文转载自https://www.cnblogs.com/daofaziran/p/9015284.html 在python开发的过程中,经常会遇到需要打印各种信息。海量的信息堆砌在控制台中,就会导致信息都混在一起,降低了重要信息的可读性。这时候,如果能给重要的信息加上字体颜色,那么就会更加方便用户 ...
分类:编程语言   时间:2019-07-15 00:36:31    收藏:0  评论:0  赞:0  阅读:130
[Leetcode] 652. Find Duplicate Subtrees
Given a binary tree, return all duplicate subtrees. For each kind of duplicate subtrees, you only need to return the root node of any one of them. Two ...
分类:其他   时间:2019-07-15 00:35:19    收藏:0  评论:0  赞:0  阅读:104
js中使用extends实现子类继承父类
//1.父类 ,可以直接理解成原型对象 protorype class persons { constructor(name,age) { this.name = name; this.age = age; } } //2.子类,在class类中使用extends 关键字实现子类继承父类 ... ...
分类:Web开发   时间:2019-07-15 00:34:40    收藏:0  评论:0  赞:0  阅读:589
利用贝塞尔曲线和着色器来写一个飞线
为了加深自己对着色器语言的认识,于是就着手写了一个简版的"飞线"。 做3D的或者做可视化的应该对这个词不陌生,一般会用在地理方面的3D需求上,废话不多说,先上今天的demo的gif图示: 看完效果,让我们继续一步一步地看是怎么实现的 一、写在着色器之前 三部分: 1??地球 地球的旋转,直接在每次渲 ...
分类:其他   时间:2019-07-15 00:34:04    收藏:0  评论:0  赞:0  阅读:120
selenium--表格和复选框的定位
表格定位 HTML代码 页面效果 定位表格中的某个元素 目的:在被测网页中,定位显示表格的第二行第二列单元格 xpath表达式//*[@id='table']/tbody/tr[2]/td[2] python定位语句 表达式中tr[2]表示第二行,td[2]表示第二列,组合起来就是第二行第二列的单元 ...
分类:其他   时间:2019-07-15 00:33:00    收藏:0  评论:0  赞:0  阅读:138
go 类型转换
//跨大类型转换,可以使用strconv包提供的函数 // 字符串转int:Atoi() // int转字符串: Itoa() // ParseTP类函数将string转换为TP类型:ParseBool()、ParseFloat()、ParseInt()、ParseUint()。因为string转其 ...
分类:其他   时间:2019-07-15 00:31:54    收藏:0  评论:0  赞:0  阅读:92
002 centos7中遇到的问题
在关机的时候,发现输入密码之后竟然报错了,然后确认普通用户的密码没有问题。下面是处理方式。 一:问题 1.问题 当在终端执行sudo命令时,系统提示“caojun is not in the sudoers file”: 其实就是没有权限进行sudo,解决方法如下(这里假设用户名是cuser): 二 ...
分类:其他   时间:2019-07-15 00:31:01    收藏:0  评论:0  赞:0  阅读:159
如何防范web前端安全攻击
一、对于XSS防御: 1、不要信任任何外部传入的数据,针对用户输入作相关的格式检查、过滤等操作,以及转义字符处理。最普遍的做法就是转义输入输出的内容,对于括号,尖括号,斜杠进行转义 但是对于显示富文本来说,显然不能通过上面的办法来转义所有字符,因为这样会把需要的格式也过滤掉。对于这种情况,通常采用白 ...
分类:Web开发   时间:2019-07-15 00:30:37    收藏:0  评论:0  赞:0  阅读:112
单例设计模式(饿汉式,懒汉式)
单例设计模式 正常情况下一个类可以创建多个对象 1. 单例设计模式的作用 单例模式,是一种常用的软件设计模式。通过单例模式可以保证系统中,应用该模式的这个类只有一个实例。即一个 类只有一个对象实例。 2. 单例设计模式实现步骤 1. 将构造方法私有化,使其不能在类的外部通过new关键字实例化该类对象 ...
分类:其他   时间:2019-07-15 00:30:16    收藏:0  评论:0  赞:0  阅读:101
编译安装MySQL数据库
1. 安cmake工具 # yum install -y cmake 2. 创建mysql用户 # useradd -M -s /sbin/nologin mysql 3. 创建数据目录 # mkdir -p /mysql/data # chown -R mysql.mysql /mysql/ 4. ...
分类:数据库技术   时间:2019-07-15 00:29:57    收藏:0  评论:0  赞:0  阅读:114
js数组方法大全
1、什么是数组 数组就是一组数据的集合 其表现形式就是内存中的一段连续的内存地址 数组名称其实就是连续内存地址的首地址 2、关于js中的数组特点 数组定义时无需指定数据类型 数组定义时可以无需指定数组长度 数组可以存储任何数据类型的数据(比如说一个元素保存整型,一个元素保存字符串型,这个在JS中是可 ...
分类:编程语言   时间:2019-07-15 00:29:31    收藏:0  评论:0  赞:0  阅读:104
莫比乌斯反演
公式 形式1: $\;F(n) = \sum\limits_{d|n}f(d)$ $\;f(n) = \sum\limits_{d|n}\mu(d)F(\frac{n}{d})$ $\;$证明:$f(d) = \sum\limits_{d|n}\mu(d)F(\frac{n}{d}) = \sum\ ...
分类:其他   时间:2019-07-15 00:28:57    收藏:0  评论:0  赞:0  阅读:114
745条   上一页 1 ... 33 34 35 36 37 38 下一页
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!