原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） scrapy-redis组件 使用scrapy-redis的去重+调度实现分布式爬取 持久化 从Redis中获取起始URL # 完全复制粘贴过来的博客 ...
分类：
其他 时间：
2018-01-26 21:44:33
收藏：
0 评论：
0 赞：
0 阅读：
217
import numpy as np import pandas as pd from pandas import Series,DataFrame import numpy as np import pandas as pd from pandas import Series,DataFrame ...
分类：
其他 时间：
2018-01-26 21:44:15
收藏：
0 评论：
0 赞：
0 阅读：
229
一.内存（id） 1.查询内存地址（id） 2.判断是否是同一内存地址（is） 二.小数据池 int str int -5 256 str 如果是全部由字母组成的字符串 都是指向一个内存地址.如果是数字与str(单个字母)想乘,则20以内(包含20)的是同一个内存地址.其他数据类型 则没有小数据池概 ...
分类：
编程语言 时间：
2018-01-26 21:43:57
收藏：
0 评论：
0 赞：
0 阅读：
237
struts常用标签 <body> <s:form action="" method="post"> <s:textfield name="username" label="用户名"></s:textfield> <!-- 文本框 --> <s:password name="password" la ...
分类：
其他 时间：
2018-01-26 21:43:06
收藏：
0 评论：
0 赞：
0 阅读：
256
一、添加配置 添加后效果 二、配置添加样式和js的引用 打开.angular-cli.json文件，在styles和scripts中添加链接。 需要注意添加的链接是下划线开头的目录 三、修改Html测试效果 打开src/app/app.component.html文件修改内容为 四、重启服务查看运行 ...
分类：
Web开发 时间：
2018-01-26 21:42:35
收藏：
0 评论：
0 赞：
0 阅读：
270
从通信的双方信息交互的方式来看，分为三种基本方式。 单工通信、半双工通信和全双工通信。 来源信源的信号常称为基带信号。基带信号中常包含有低频成分，甚至直流成分，许多信道不能传输，所以必须对基带信号进行调制。 调制分为两类：（1）对基带信号的波形进行变换。这称为基带调制。（2）使用载波进行调制，把基带 ...
分类：
其他 时间：
2018-01-26 21:42:18
收藏：
0 评论：
0 赞：
0 阅读：
207
Could not fetch URL https://pypi.python.org/simple/six/: There was a problem confirming the ssl certificate: [SSL: CERTIFICATE_VERIFY_FAILED] certific ...
分类：
其他 时间：
2018-01-26 21:42:00
收藏：
0 评论：
0 赞：
0 阅读：
749
本随笔主要阐述数组和指针，很多人觉得C语言里面最难得就是数组和指针，我以我的理解写下了此篇随笔与大家分享。本文所有代码均在32位windows下运行。 ...
分类：
编程语言 时间：
2018-01-26 21:41:39
收藏：
0 评论：
0 赞：
0 阅读：
246
Vsphere ESXi安装 ESXi作为虚拟化环境的Hypervisor层，负责将服务器虚拟成资源池，提供接口供管理组件调用，将下面的iso刻录成光盘或可启动U盘，安装在服务器裸机上： 下载地址请见上节 安装过程 开机做好阵列，选择从安装介质启动 按F11继续 输入密码：rootroot，密码最少 ...
分类：
系统服务 时间：
2018-01-26 21:41:17
收藏：
0 评论：
0 赞：
0 阅读：
270
前面我们看到了tuple一旦创建就不能修改。现在，我们来看一个“可变”的tuple： >>> t = ('a', 'b', ['A', 'B']) 注意到 t 有 3 个元素：'a'，'b'和一个list：['A', 'B']。list作为一个整体是tuple的第3个元素。list对象可以通过 t[... ...
分类：
编程语言 时间：
2018-01-26 21:40:25
收藏：
0 评论：
0 赞：
0 阅读：
173
铭文一级： 整合Flume和Kafka的综合使用 avro-memory-kafka.conf avro-memory-kafka.sources = avro-sourceavro-memory-kafka.sinks = kafka-sinkavro-memory-kafka.channels ...
分类：
其他 时间：
2018-01-26 21:39:48
收藏：
0 评论：
0 赞：
0 阅读：
251
Given an array arr that is a permutation of [0, 1, ..., arr.length - 1], we split the array into some number of "chunks" (partitions), and individuall ...
分类：
其他 时间：
2018-01-26 21:38:59
收藏：
0 评论：
0 赞：
0 阅读：
338
一 介绍 原来scrapy的Scheduler维护的是本机的任务队列（存放Request对象及其回调函数等信息）+本机的去重队列（存放访问过的url地址） 所以实现分布式爬取的关键就是，找一台专门的主机上运行一个共享的队列比如Redis，然后重写Scrapy的Scheduler，让新的Schedul ...
分类：
其他 时间：
2018-01-26 21:38:41
收藏：
0 评论：
0 赞：
0 阅读：
274
(+new Date() 是简略写法，得到毫秒 超过多行显示省略号 构造函数才有prototype(可以构造其它对象)； 对象的__proto__ 指向其构造函数的prototype属性，构造函数的prototype有个constructor属性指向构造函数本身。 Number,String,Obj ...
分类：
Web开发 时间：
2018-01-26 21:38:25
收藏：
0 评论：
0 赞：
0 阅读：
213
进入redis目录下 redis-cli -h IP -p 端口 -a 密码 flushall ...
分类：
其他 时间：
2018-01-26 21:37:35
收藏：
0 评论：
0 赞：
0 阅读：
204
模板题，字典树最基本的操作 在看别人的板子的时候学到了一点小技巧 下面贴AC代码，顺便补一补字典树相关 Trie三兄弟——标准Trie、压缩Trie、后缀Trie 字符串模式匹配算法——BM、Horspool、Sunday、KMP、KR、AC算法一网打尽 ...
分类：
其他 时间：
2018-01-26 21:37:05
收藏：
0 评论：
0 赞：
0 阅读：
184
php artisan queue:table 先创建job 队列表 php artisan migrate 执行表 php artisan make:job SendMessage 创建一个job 数据库驱动方式还要改成database php artisan queue:work 开始执行队列, ...
分类：
其他 时间：
2018-01-26 21:36:46
收藏：
0 评论：
0 赞：
0 阅读：
435
配置tomcat为系统服务 ...
分类：
其他 时间：
2018-01-26 21:36:30
收藏：
0 评论：
0 赞：
0 阅读：
428
HTML中的三种布局方式：标准流、浮动、定位 两大元素： 块级元素：div、table、H1~H6、有序无序列表（ol、ul、li）、p段落等 内联元素：a、span、img、input等块级元素单独占一行，内联元素会从左到右依次排列在一行。 常用的定位position可分为以下四种: static ...
分类：
Web开发 时间：
2018-01-26 21:35:41
收藏：
0 评论：
0 赞：
0 阅读：
214
鉴于昨天的文章<<使用Interlocked在多线程下进行原子操作，无锁无阻塞的实现线程运行状态判断>>里面有一个封装好的无锁的类库可以判断并发下的结束状况，我们可以完成并发时，以及并发的同时做一些事，因此，今天我做了个小demo: 但是发现了一个问题: 这CPU使用率....然后我看了下输出结果: ...
分类：
其他 时间：
2018-01-26 21:35:01
收藏：
0 评论：
0 赞：
0 阅读：
127
