1、Spark已打造出结构一体化、功能多样化的大数据生态系统，请简述Spark生态系统 Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成一套完整生态系统，既能够提供内存计算框架，也可以支持SQL即席查询、实时流式计算、机器学习和图计算等。Spark可以部署在资源管理器YARN之上， ...
分类：
其他 时间：
2021-06-06 00:36:31
收藏：
0 评论：
0 赞：
0 阅读：
31
java 栈（java stack）： 解释： 栈管运行，堆管存储 程序=算法+数据结构 程序=框架+业务逻辑 队列（FIFO） 栈(FILO) java 方法 = 栈 帧，在java中叫main 方法，进入栈中叫 栈帧 栈是什么 栈存储什么 八种数据类型，对象的引用变量，实例方法 栈帧（方法中）中 ...
分类：
编程语言 时间：
2021-06-06 00:36:11
收藏：
0 评论：
0 赞：
0 阅读：
29
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 ...
分类：
其他 时间：
2021-06-06 00:35:58
收藏：
0 评论：
0 赞：
0 阅读：
20
1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类：
数据库技术 时间：
2021-06-06 00:35:45
收藏：
0 评论：
0 赞：
0 阅读：
26
1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E ...
分类：
其他 时间：
2021-06-06 00:35:26
收藏：
0 评论：
0 赞：
0 阅读：
20
1、根据索引值查找字符串中的某个字符 strs = 'fmvmza[ji2984qtj[afffqr=aerjewqjgeq525fd-ijgl;ojglejqejfa' while 1: try: index = int(input('请输入查找的索引位置:')) except ValueErro ...
分类：
其他 时间：
2021-06-06 00:35:11
收藏：
0 评论：
0 赞：
0 阅读：
21
任务：将"abc123"中的bc12反转再拼接a3，变成 a21cb3 public class work { public static void main(String[] args) { String a = "abc123"; // 切割字符串指定的位置 String a1 = a.subs ...
分类：
其他 时间：
2021-06-06 00:35:03
收藏：
0 评论：
0 赞：
0 阅读：
31
使用逆向工程，帮我们更快的建立pojo类、mapper接口及xml映射文件等，无需手写，替代了一部分的mybatis功能。 一、导入MyGenarator逆向工程项目 二、修改xml配置文件 三、执行代码 生成与自己项目结构相同的文件 四、将文件拷贝至自己项目下 五、使用 1.查询 1.1 无条件查 ...
分类：
其他 时间：
2021-06-06 00:34:49
收藏：
0 评论：
0 赞：
0 阅读：
28
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 ...
分类：
其他 时间：
2021-06-06 00:34:36
收藏：
0 评论：
0 赞：
0 阅读：
23
一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 ...
分类：
其他 时间：
2021-06-06 00:34:23
收藏：
0 评论：
0 赞：
0 阅读：
24
#include <iostream> #include <memory> using namespace std; class Base { public: virtual ~Base() = default; /* 使其多态 */ }; class A : public Base { publi ...
分类：
编程语言 时间：
2021-06-06 00:34:08
收藏：
0 评论：
0 赞：
0 阅读：
44
前言 插入排序是一种简单的排序方法，它的基本思想是将一个记录插入到已经排好序的有序表中，从而一个新的、记录数增1的有序表。在其实现过程使用双层循环，外层循环对除了第一个元素之外的所有元素，内层循环对当前元素前面有序表进行待插入位置查找，并进行移动。 具体实现 实现类 public class Ins ...
分类：
编程语言 时间：
2021-06-06 00:33:52
收藏：
0 评论：
0 赞：
0 阅读：
28
把数据的采集和存储打通： logstash->kafka->flink->hbase 直接用django中的数据对接到kafka中，直接对接到kafka中，遇到了各种各样的委托 更新kafka遇到的第一个比较大的问题 .KafkaTimeoutError: KafkaTimeoutError: Fa ...
分类：
其他 时间：
2021-06-06 00:33:42
收藏：
0 评论：
0 赞：
0 阅读：
33
对于日志类型的字段,默认都是String类型,但是有的本身是Int类型,需要转换//对于数字类型的日志数据字段转换object NumFormat { def toInt(str: String): Int = { try { str.toInt } catch { //其他类返回0 case _: Exception => 0 ...
分类：
其他 时间：
2021-06-06 00:33:26
收藏：
0 评论：
0 赞：
0 阅读：
19
