在爬取网站内容的时候，最常遇到的问题是：网站对IP有限制，会有防抓取功能，最好的办法就是IP轮换抓取（加代理） 下面来说一下Scrapy如何配置代理，进行抓取 1.在Scrapy工程下新建“middlewares.py” # Importing base64 library because we'l ...
分类：
其他 时间：
2017-01-21 16:02:41
收藏：
0 评论：
0 赞：
0 阅读：
307
Natural earth: Free vector and raster map data download http://www.naturalearthdata.com/downloads/ openstreetmap:开源地图 1openstreetmap.org 网站本身提供地图数据的下载 ...
分类：
其他 时间：
2017-01-21 16:02:30
收藏：
0 评论：
0 赞：
0 阅读：
232
最近在进行前端开发的时候发现Charles一个非常牛叉的功能，就是可以通过代理将网络请求定向至本地文件。有了这个功能在进行iOS开发时就可以在缺少后台接口的情况下更加真实的进行数据mock了（反正我们公司的后台。。。不想吐槽了）。 我们先用NSURLSession发送一段简单的post请求： 创建一 ...
分类：
其他 时间：
2017-01-21 16:02:00
收藏：
0 评论：
0 赞：
0 阅读：
273
http://www.lydsy.com/JudgeOnline/problem.php?id=3527 (题目链接) 题意 $${F_i=\sum_{j<i} {\frac{q_iq_j}{(i-j)^2}} - \sum{j>i} {\frac{q_iq_j}{(i-j)^2}}}$$ 给出${ ...
分类：
其他 时间：
2017-01-21 16:01:25
收藏：
0 评论：
0 赞：
0 阅读：
200
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Document</title> </head> <body> <script type="text/javascript"> var name = "this ...
分类：
其他 时间：
2017-01-21 16:00:29
收藏：
0 评论：
0 赞：
0 阅读：
153
【题目链接】 http://poj.org/problem?id=2886 【题目大意】 一些人站成一个圈，每个人手上都有一个数字， 指定从一个人开始淘汰，每次一个人淘汰时，将手心里写着的数字x展示 如果x是正数，则淘汰右手边第x个人，否则淘汰左手边地-x个人。 每个人淘汰的时候将获得积分，积分的多 ...
分类：
其他 时间：
2017-01-21 16:00:13
收藏：
0 评论：
0 赞：
0 阅读：
152
云计算的出现 基本上，云计算只是一种把 IT 资源当作服务来提供的手段。几乎所有 IT 资源都可以作为云服务来提供：应用程序、计算能力、存储容量、联网、编程工具，以至于通信服务和协作工具。 云计算最早为 Google、Amazon 等其他扩建基础设施的大型互联网服务提供商所采用。于是产生一种架构：大 ...
分类：
其他 时间：
2017-01-21 15:59:14
收藏：
0 评论：
0 赞：
0 阅读：
138
第一步，找到模板文件 VS2015安装路径的模版目录：C:\Program Files (x86)\Microsoft Visual Studio 14.0\Common7\IDE\ItemTemplates\CSharp\Code\2052\ Class目录=类模版文件 Interface目录=接 ...
分类：
其他 时间：
2017-01-21 15:59:00
收藏：
0 评论：
0 赞：
0 阅读：
617
ROS系统查错的功能: NEW 1 $ roscd $ roswtf #看起来很简单,但是具体怎么用?没搞懂. 这部分的内容太少了...来个有用的指令 roslocate uri <package_name> ...
分类：
其他 时间：
2017-01-21 15:57:01
收藏：
0 评论：
0 赞：
0 阅读：
150
hessian 是一款开源的二进制远程通讯协议，使用简单方法提供了RMI功能，主要用于面向对象的消息通信。 优点：跨平台、多语言支持、使用简单 缺点：传递复杂对象性能会下降，不适合安全性高的应用 一 、hessian demo 示例： 1、新建一个maven项目，包含3个模块 API 模块（远程接口 ...
分类：
其他 时间：
2017-01-21 15:56:33
收藏：
0 评论：
0 赞：
0 阅读：
294
最近要着手ios的sdk，然而一点oc语言还没看过，于是乎拷贝一份网上别人的，自己抽时间看看，原文出处 http://blog.csdn.net/returningprodigal/article/details/51822101 OC语言 一、 OC入门 OC除了包含C所有的关键字外，还有本身特有 ...
分类：
其他 时间：
2017-01-21 15:55:55
收藏：
0 评论：
0 赞：
0 阅读：
341
#include<stdio.h>int lcm(int x,int y){ int t; if(x<y){ //把大数放到前面 t=y; y=x; x=t; } while(y!=0) //用辗转相除法 { t=x%y; x=y; y=t; } return (x); }int main(){ i ...
分类：
其他 时间：
2017-01-21 15:53:34
收藏：
0 评论：
0 赞：
0 阅读：
203
声明一个C++字符串 声明一个C++字符串 string类的构造函数和析构函数如下： string s; //生成一个空字符串s string s(str) //拷贝构造函数 生成str的复制品 string s(str,ss) //将字符串str内以ss开始的部分当作字符串的初值 string s ...
分类：
其他 时间：
2017-01-21 15:53:04
收藏：
0 评论：
0 赞：
0 阅读：
253
一osm2pgsql+postgresql+postgis osm2pgsql——是由OpenStreetMap开发的一个命令行工具负责将OSM数据导入到基于PostgresSql的Postgis的数据库中。下载地址：http://customdebug.com/osm/osm2pgsql.zip ...
分类：
其他 时间：
2017-01-21 15:52:36
收藏：
0 评论：
0 赞：
0 阅读：
848
2016学习了python自动化测试 2016学习了http post flood 1.自动化测试，还有很多知识需要学习， 2.http post flood 我以后论文的写作方向，年前功能已经实现了，依然还有很大的优化空间，对这块业务理解的还不彻底 编写完v6代码的时候，已经渐渐的对这块有一定的掌 ...
分类：
其他 时间：
2017-01-21 15:51:44
收藏：
0 评论：
0 赞：
0 阅读：
207
3931: [CQOI2015]网络吞吐量 Description 路由是指通过计算机网络把信息从源地址传输到目的地址的活动，也是计算机网络设计中的重点和难点。网络中实现路由转发的硬件设备称为路由器。为了使数据包最快的到达目的地，路由器需要选择最优的路径转发数据包。例如在常用的路由算法OSPF(开放 ...
分类：
其他 时间：
2017-01-21 15:11:01
收藏：
0 评论：
0 赞：
0 阅读：
313
nginx根据目录反向代理到后端不同的服务器 server { listen 80; server_name demo.domain.com; #通过访问service二级目录来访问后台 location /service/ { #DemoBackend1后面的斜杠是一个关键，没有斜杠的话就会传递s ...
分类：
其他 时间：
2017-01-21 15:10:24
收藏：
0 评论：
0 赞：
0 阅读：
307
ubuntu 14.04 64bit sudo apt-get install nginx sudo vim /etc/nginx/sites-available/default curl localhost:80 sudo service nginx stop sudo service nginx ...
分类：
其他 时间：
2017-01-21 15:10:11
收藏：
0 评论：
0 赞：
0 阅读：
297
rhel6.5 [root@kazihuo~]# wget -O /etc/yum.repos.d/yum.repo http://mirrors.aliyun.com/repo/Centos-6.repo [root@kazihuo~]# sed -i 's/$releaserver/6/g' / ...
分类：
其他 时间：
2017-01-21 15:09:02
收藏：
0 评论：
0 赞：
0 阅读：
230
通常，struts.xml文件都会继承一个struts-default.xml文件通过一些基本的拦截器来提供一些基本的配置设置之类的。 配置例： struts-default.xml的详细内容 1 <?xml version="1.0" encoding="UTF-8" ?> 2 <!-- 3 /* ...
分类：
其他 时间：
2017-01-21 15:05:45
收藏：
0 评论：
0 赞：
0 阅读：
510
