MapReduce是一个分布式运算程序的编程，框架核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在Hadoop集群上。 既然是做计算的框架，那么表现形式就是有个输入（input），MapReduce操作这个输入（input），通过本身定义好的计算模型，得到一 ...
分类：
其他 时间：
2019-09-14 21:03:57
收藏：
0 评论：
0 赞：
0 阅读：
87
一、dubbo是什么？ 1）本质：一个Jar包,一个分布式框架,，一个远程服务调用的分布式框架。 既然是新手教学，肯定很多同学不明白什么是分布式和远程服务调用，为什么要分布式，为什么要远程调用。我简单画个对比图说明（图1看到图2。画板画的，勿喷）。 你想一下，以前什么的都在一个服务器上，调用方法直接 ...
分类：
其他 时间：
2019-09-14 21:03:21
收藏：
0 评论：
0 赞：
0 阅读：
68
很早就想梳理一下浏览器的缓存机制了，一直没有时间，实际是上懒啦(*^▽^*)，你知道的，人都有惰性，本大神只是个假神o(´^｀)o，也不例外。 难得今天较为清闲，还是借鉴一下成功人的经验，梳理一下吧，好记性不如烂笔头，说不定哪次面试遇到了呢 在前端开发中，性能是一个永恒的话题，没有最好，只有更好。判 ...
分类：
其他 时间：
2019-09-14 21:02:46
收藏：
0 评论：
0 赞：
0 阅读：
79
每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一。 combiner是MR程序中Mapper和Reducer之外的一种组件 combiner组件 ...
分类：
其他 时间：
2019-09-14 21:02:13
收藏：
0 评论：
0 赞：
0 阅读：
85
[TOC] 1. 引用的定义 C++新增加了引用的概念： 引用可以看作一个已定义变量的别名 引用的语法 2. 引用的本质 引用在C++中的内部实现是一个常量指针 C++编译器在编译过程中使用常量指针作为引用的内部实现，因此引用所占用的内存大小和指针相同 从使用的角度，引用只是一个别名，C++为了实用 ...
分类：
其他 时间：
2019-09-14 21:01:42
收藏：
0 评论：
0 赞：
0 阅读：
71
1、所需组件： VMware ACS5.8 iso 2、安装要求： 2 Core Processor 4 GB RAM 60 GB Hard drive 这些要求算是比较低的要求，不能比这个更low了。例如，Hard drive配置一个30G，肯定无法安装成功！ 3、安装过程： 3.1、新建虚拟机 ...
分类：
系统服务 时间：
2019-09-14 21:00:55
收藏：
0 评论：
0 赞：
0 阅读：
136
web框架本质 我们可以这样理解：所有的Web应用本质上就是一个socket服务端，而用户的浏览器就是一个socket客户端。 这样我们就可以自己实现Web框架了。 半成品自定义web框架 可以说Web服务本质上都是在这十几行代码基础上扩展出来的。这段代码就是它们的祖宗。 用户的浏览器一输入网址，会 ...
分类：
其他 时间：
2019-09-14 21:00:31
收藏：
0 评论：
0 赞：
0 阅读：
99
dao: service： ...
分类：
编程语言 时间：
2019-09-14 20:59:59
收藏：
0 评论：
0 赞：
0 阅读：
117
在MR中，牢牢记住key时什么，因为key许多默认属性 排序 》key的字典序 分区 》key的哈希值 % reduce task Num 分组 》key相同为一组 <!--more--> x 1 排序 》key的字典序 2 分区 》key的哈希值 % reduce task Num 3 分组 》k ...
分类：
其他 时间：
2019-09-14 20:59:38
收藏：
0 评论：
0 赞：
0 阅读：
90
学习路线 介绍完大数据框架，接着就可以介绍其对应的学习路线了，主要分为以下几个方面： 语言基础 1. Java 大数据框架大多采用 Java 语言进行开发，并且几乎全部的框架都会提供 Java API 。Java 是目前比较主流的后台开发语言，目前大多数框架要求 Java 版本至少是 1.8，这是由 ...
分类：
其他 时间：
2019-09-14 20:59:19
收藏：
0 评论：
0 赞：
0 阅读：
99
练习5：（1）创建带有两个默认构造器（空参数列表）的类A和类B。从A中继承产生一个名为C的新类，并在C内创建一个B类的成员。不要给C编写构造器。创建一个C类的对象并观察其结果。 一：我的答案 我的理解：A类 继承 C类， 二：参考答案 我的答案里面没有 B继承A，答案更能说明继承关系 三： 练习4： ...
分类：
其他 时间：
2019-09-14 20:58:56
收藏：
0 评论：
0 赞：
0 阅读：
73
"题目链接" Solution [AHOI2009]中国象棋 题目大意:求在$n$行$m$列的棋盘上放置若干个炮使得它们互不攻击的方案数,对$9999973$取模 分析: 没有炮互相攻击等价于没有三个炮在同一行/列 考虑用$f[i][m_1][m_2]$表示前$i$行,有$m_1$列有一个炮,$m_ ...
分类：
其他 时间：
2019-09-14 20:58:38
收藏：
0 评论：
0 赞：
1 阅读：
84
在shuffle阶段，大量的数据从map阶段输出，发送到reduce阶段，这一过程中，可能会涉及到大量的网络IO。 输出数据较大时，使用hadoop提供的压缩机制对数据进行压缩，可以指定压缩的方式。减少网络传输带宽和存储的消耗； 可以对map的输出进行压缩（map输出到reduce输入的过程，可以s ...
分类：
其他 时间：
2019-09-14 20:58:17
收藏：
0 评论：
0 赞：
0 阅读：
99
1 win10配置 Vagrant 环境 Vagrant 概述 vagrant是一个操作虚拟机的工具.是一个基于Ruby的工具，用于创建和部署虚拟化开发环境。 通过命令和配置文件来管理虚拟机,很快就能完成一套开发环境的部署,并可以打包传播,统一了开发环境,也解决了重复配置环境的麻烦. 和 Docke ...
分类：
Windows开发 时间：
2019-09-14 20:58:00
收藏：
0 评论：
0 赞：
0 阅读：
98
1.printf() ? 在C语言中printf()函数不仅可以将指定信息打印输入到屏幕上，同时这个函数在执行的过程中会存在一个返回值，这个返回值就是所要输出字符串的字符数(包括空格和换行符) 结果: 包括\n换行符。 2.scanf() ? scanf()在C语言中一般是读取输入的字符，也就是输入 ...
分类：
编程语言 时间：
2019-09-14 20:57:35
收藏：
0 评论：
0 赞：
0 阅读：
81
大数据处理流程 上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解： 数据收集 大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行 ...
分类：
其他 时间：
2019-09-14 20:57:17
收藏：
0 评论：
0 赞：
1 阅读：
80
感觉这一章有点散，还是来说一下需要注意的点吧。 一、数组知识点 1、数组的初始化方式 数组分配空间，但是没有初始化，就是默认0值。 2、数组与容器的不同点 数组进行这样的向上转型是合法的，而List这样转型不合法，因为List<Fruit>与ArrayList<Apple>根本不是子类与父类的关系。 ...
分类：
编程语言 时间：
2019-09-14 20:56:55
收藏：
0 评论：
0 赞：
0 阅读：
84
<!--more--> ...
分类：
其他 时间：
2019-09-14 20:56:40
收藏：
0 评论：
0 赞：
0 阅读：
108
<!--more--> ...
分类：
其他 时间：
2019-09-14 20:56:22
收藏：
0 评论：
0 赞：
0 阅读：
113
一、红芯事件 2018年8月16日，号称中国自主研发的游览器红芯浏览器，被曝光其背后采用的是谷歌游览器内核，并且开放的源代码注释过多中。 二、我的评价 抛开代码来谈，红芯事件其背后所暴露出的问题值得深思。浮躁带来的快节奏使得一些人急于求成，于是想借着别人的基底一步登天，这是万万不可取的；唯有脚踏实地 ...
分类：
其他 时间：
2019-09-14 20:56:02
收藏：
0 评论：
0 赞：
0 阅读：
145
