提出问题 1. spark shuffle的预聚合操作是如何做的，其中底层的数据结构是什么？在数据写入到内存中有预聚合，在读溢出文件合并到最终的文件时是否也有预聚合操作？ 2. shuffle数据的排序是如何做的？ 分区内的数据是否是有序的？若有序，spark 内部是按照什么排序算法来排序每一个分区 ...
分类：
其他 时间：
2019-08-07 01:48:12
收藏：
0 评论：
0 赞：
0 阅读：
119
零：环境 python3.6.5 JetBrains PyCharm 2018.1.4 x64 本文中链接均为锚链接，可点击快速跳到指定位置处查看 一：类的变量 由于python中没有常量标准，所以只讨论变量 类的变量有两大类，一个是实例变量一个是类变量 1、实例变量 是在方法里定义的变量，只能被实 ...
分类：
编程语言 时间：
2019-08-07 01:47:17
收藏：
0 评论：
0 赞：
0 阅读：
115
1、编写装饰器，为多个函数加上认证功能(用户的账户密码来源文件)要求登录成功一次，后续的函数都无需再输入用户名和密码 flag = False def login(func): def inner(*args,**kwargs): global flag """登录程序""" if flag: re... ...
分类：
编程语言 时间：
2019-08-07 01:46:06
收藏：
0 评论：
0 赞：
0 阅读：
125
statefulset （sts）控制器 可以用于部署有状态的服务，比如说redis,mysql ,zk等等。。。 1. 稳定且唯一的网络标志符；2. 稳定且持久的存储3. 有序，平滑地部署和扩展；4. 有序，平滑地删除和终止5.有序的滚动更新 statefulset必须有三个部分组成 headle ...
分类：
其他 时间：
2019-08-07 01:44:40
收藏：
0 评论：
0 赞：
0 阅读：
129
Maven 的41种骨架功能介绍（转） Maven 的41种骨架： ...>mvn archetype:generate 1: internal -> appfuse-basic-jsf (创建一个基于Hibernate，Spring和JSF的Web应用程序的原型) 2: internal -> a ...
分类：
其他 时间：
2019-08-07 01:43:47
收藏：
0 评论：
0 赞：
0 阅读：
149
使用注解 @Message 来让你可以序列化你自己类中对象的 public 字段。 本代码可以在 https://github.com/cwiki-us-demo/messagepack-6-demo-java/blob/master/src/test/java/com/insight/demo/m ...
分类：
编程语言 时间：
2019-08-07 01:42:25
收藏：
0 评论：
0 赞：
0 阅读：
103
html {{$store.state.count}} js computed: { count() { return this.$store.state.count; }, js computed:{ ...mapState(["count"]) } // 视图中{{count}} js gett ...
分类：
其他 时间：
2019-08-07 01:41:27
收藏：
0 评论：
0 赞：
0 阅读：
117
12.存储卷 重点： pv pvc configMap secret 1.emptyDir 只在节点本地使用，pod一删除，存储卷也就删除，临时目录,可以当缓存空间使用，无持久性，生命周期与pod一样 存储卷是可以在一个pod中的各个容器中共享。 2.gitRepo 本质上也是一个emptyDir ...
分类：
其他 时间：
2019-08-07 01:40:49
收藏：
0 评论：
0 赞：
0 阅读：
140
解决办法：settings.py文件夹加入DATABASES['OPTIONS']['init_command'] = "SET sql_mode='STRICT_TRANS_TABLES'" ...
分类：
数据库技术 时间：
2019-08-07 01:40:11
收藏：
0 评论：
0 赞：
0 阅读：
132
python2默认编码是ASCII码。 python3默认编码是UTF-8。 在python2中开头声明 1 # -*- coding:utf-8 -*- 变量：就是将一些运算的中间结果暂存到内存中，以便后续代码调用。 变量规范： 1、必须由数字、字母、下划线组成，且不能以数字开头。 2、不能是py ...
分类：
其他 时间：
2019-08-07 01:38:51
收藏：
0 评论：
0 赞：
0 阅读：
98
效果图： 代码： 类的基本结构： class 类名([父类]) : 公共的属性... # 对象的初始化方法 def __init__(self,...): ... # 其他的方法 def method_1(self,...): ... def method_2(self,...): ... ... ...
分类：
编程语言 时间：
2019-08-07 01:38:18
收藏：
0 评论：
0 赞：
0 阅读：
318
一.正则表达式 正则表达式定义：一种匹配字符串的规则 应用领域： 登录注册页的表单验证 爬虫 自动化开发，日志文件 惰性匹配：量词？ 登录注册页的表单验证 爬虫 自动化开发，日志文件 二.re模块用法 findall方法 search方法 match方法 替换(sub,subn) 切割split 进 ...
分类：
编程语言 时间：
2019-08-07 01:37:16
收藏：
0 评论：
0 赞：
0 阅读：
137
资源清单定义入门：资源： 对象1.workload: Pod,ReplicaSet,Deployment,StatefulSet DaemonSet,Job2.服务发现及均衡： service3.配置与存储： CSI容器存储接口，Volume （云端存储，分布式存储，nfs，glastfs） con ...
分类：
其他 时间：
2019-08-07 01:36:44
收藏：
0 评论：
0 赞：
0 阅读：
92
k最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。 ...
分类：
其他 时间：
2019-08-07 01:35:59
收藏：
0 评论：
0 赞：
0 阅读：
119
深入理解计算机系统 1.1 010101（比特序列）八位一字节，一字节表示某些文本字符。ASCII即用单字节大小的整数值表示字符 只有ASCII码字符构成的文件为文本文件，其他为二进制文件 1.2 预处理 根据 读取头文件中内容并插入原文本文件.c得到.i文本文件 编译 编译器（ccl）将.i文本文 ...
分类：
其他 时间：
2019-08-07 01:35:25
收藏：
0 评论：
0 赞：
0 阅读：
105
记一个奇怪的事 更深入了解lxml 在contents里面存在20个ele对象，但是在进行遍历的时候，i.xpath并非是对局部ele进行文档局部遍历，依旧是对整个contents进行遍历 ...
分类：
其他 时间：
2019-08-07 01:34:20
收藏：
0 评论：
0 赞：
0 阅读：
93
Maven 中央仓库地址： 1. http://www.sonatype.org/nexus/ 2. http://mvnrepository.com/ （本人推荐仓库） 3. http://repo1.maven.org/maven2 ...
分类：
其他 时间：
2019-08-07 01:33:59
收藏：
0 评论：
0 赞：
0 阅读：
101
"""生产者消费者模型(celery消息队列) 生产者:生产的数据(做包子的) 消费者:处理数据的(吃包子的) 生产者消费模型是用来平衡生产者与消费者之间的能力的,例如有时候消费者消费的速度太快, 生产者来不及生产那么多的数据,或者有时候消费者的消费速度太慢.生产者生产的数据大量的累积在一起 有了这 ...
分类：
其他 时间：
2019-08-07 01:33:31
收藏：
0 评论：
0 赞：
0 阅读：
153
网上的教程现在已经有很多了，我只是记录一下我自己搭建环境的过程 1.首先进入阿里云官网登录之后直接搜索“学生机”，然后点击“云翼计划”，我购买的是一个服务器ECS，在右边选择想要的预装环境，我购买的是一个CentOS 7.3 64位，地域的话，看自己的位置来就好了 2.购买成功之后，进入管理控制台（ ...
分类：
编程语言 时间：
2019-08-07 01:32:30
收藏：
0 评论：
0 赞：
0 阅读：
140
kubernetes认证及serviceaccount 认证 授权：RBAC（目前的主流授权方式） 准入控制：了解即可 --> 认证 授权 准入控制 客户端 --》api-server: user: username,uid group: extra: API Request path servic ...
分类：
Web开发 时间：
2019-08-07 01:31:40
收藏：
0 评论：
0 赞：
0 阅读：
102
