首页 > 2018年01月23日 > 全部分享
爬虫框架 Scrapy
一 介绍 crapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可以应用在获取API所返回的数据(例如 Amazon Ass ...
分类:其他   时间:2018-01-23 18:08:44    收藏:0  评论:0  赞:0  阅读:305
web前端性能优化
1、web前端本质上是一种前端GUI(图形界面系统)软件,本可以直接借鉴其他GUI系统架构设计方法。但web前端有点特别 B/S 2、浏览器的一个请求从发送到返回都经历了什么? 3、请求过程中一些潜在的性能优化点? dns是否可以通过缓存减少dns查询时间? 网络请求的过程走最近的网络环境? 相同的 ...
分类:Web开发   时间:2018-01-23 18:08:06    收藏:0  评论:0  赞:0  阅读:290
关于各浏览器下Hack的写法
下面是我收集有关于各浏览器下Hack的写法: 1、Firefox @-moz-document url-prefix() { .selector { property: value; } } 上面是仅仅被Firefox浏览器识别的写法,具体如: @-moz-document url-prefix()... ...
分类:其他   时间:2018-01-23 18:07:18    收藏:0  评论:0  赞:0  阅读:217
linux 重新设置mysql密码
先登陆服务器,找到自己的my.cnf文件,通常会在 /etc目录下(如果不在,可以用find / -name my.cnf命令找一下),然后使用 vi my.cnf 命令编辑该文件(建议先备份),在[mysqld]下面加上 skip-grant-tables , 作用是登陆时跳过登陆认证,换句话说就 ...
分类:数据库技术   时间:2018-01-23 18:06:57    收藏:0  评论:0  赞:0  阅读:235
wampmysqld 无法启动 1067错误
1.右击我的电脑-管理-服务 查看wampmysqld 服务是否能够启动,如果无法启动 2.找到你们windows安装wamp目录(比如:E:\wamp\bin\mysql\mysql5.6.17\data) 找到ib_logfile0和ib_logfile1,删掉这两个文件,再重启wamp就可以变 ...
分类:数据库技术   时间:2018-01-23 18:05:38    收藏:0  评论:0  赞:0  阅读:339
垃圾回收之倒置复制法
刚才浏览了这篇文章,http://www.importnew.com/26821.html,了解了垃圾回收的一些方法。 我发现其中的复制法有非常聪明的地方,就是能方便的重新排序。其中的划分空间 ...
分类:其他   时间:2018-01-23 18:05:23    收藏:0  评论:0  赞:0  阅读:230
css盒子模型
css盒子模型,包括内容(content),内边距(padding),边框(border),外边距(margin)。 图中最内部的框是元素的实际内容,也就是元素框,紧挨着元素框外部的是内边距padding,其次是边框(border),然后最外层是外边距(margin),整个构成了框模型。通常我们设置... ...
分类:Web开发   时间:2018-01-23 18:04:06    收藏:0  评论:0  赞:0  阅读:320
如何提升爬虫性能相关的知识点
如何提升爬虫性能相关的知识点 爬虫的本质是伪造socket客户端与服务端的通信过程,如果我们有多个url待爬取,只用一个线程且采用串行的方式执行,那只能等待爬取一个url结束后才能继续下一个,这样我们就会发现效率非常低。 原因:爬虫是一项IO密集型任务,遇到IO问题就会阻塞,CPU运行就会停滞,直到 ...
分类:其他   时间:2018-01-23 18:03:18    收藏:0  评论:0  赞:0  阅读:290
js格式化json数据 + json着色 - 附源码
其实json格式化没想象中的那么复杂,难点就是json格式化的工作流程。 正好工作上需要,于是就搞了一套json格式化+json着色的方法,原生的方法,可以直接使用。json数据格式化前后对比图,如下: 下面是源码,可以根据个人需求适当修改: ...
分类:Web开发   时间:2018-01-23 18:02:44    收藏:0  评论:0  赞:0  阅读:522
页面调试
(转载)页面调试总结: 一. 先来认识一下这些按钮 先来看这张图最上头的一行是一个功能菜单,每一个菜单都有它相应的功能和使用方法,依次从左往右来看 1.箭头按钮:用于在页面选择一个元素来审查和查看它的相关信息,当我们在Elements这个按钮页面下点击某个Dom元素时,箭头按钮会变成选择状态 2.设 ...
分类:其他   时间:2018-01-23 18:02:27    收藏:0  评论:0  赞:0  阅读:234
通信项目开发的原理与范例
本文旨在介绍文本协议设计的一般方法,通过对于文本协议与二进制协议的本质的掌握,大家就能根据实际的需要来针对性的实现其通信协议了。 ...
分类:其他   时间:2018-01-23 18:01:58    收藏:0  评论:0  赞:0  阅读:360
EASYUI DATAGRID加合计
想达到的效果(计算当前展示的20条的合计数量(一言难尽)): 参考http://www.jb51.net/article/85645.htm(万分感谢该文的作者) 相关代码: 其中datagrid是数据表格名称,baseTypeName和browseNum是列名(field)。 ...
分类:其他   时间:2018-01-23 18:01:27    收藏:0  评论:0  赞:0  阅读:184
document.body.scrollTop用法
网页可见区域宽:document.body.clientWidth; 网页可见区域高: document.body.clientHeight; 网页可见区域宽: document.body.offsetWidth (包括边线的宽); 网页可见区域高: document.body.offsetHeig ...
分类:其他   时间:2018-01-23 18:00:40    收藏:0  评论:0  赞:0  阅读:128
Java 笔记20180123
在批量添加数据时候采用List或者Map或者SetSet<Student> students = new Set<Student>();// 客户端验证:js;服务器端验证:必须有1对动作类中的所有方法进行验证a.动作类需要继承ActionSupport方法,覆盖public void valida ...
分类:编程语言   时间:2018-01-23 18:00:20    收藏:0  评论:0  赞:0  阅读:245
Python远程连接主机之paramiko模块
Python的paramiko模块能够连接远程主机,并在该主机上执行命令,和该主机之间进行文件传输。paramiko支持用明文密码登录远程主机和秘钥登录。使用之前要安装一下这个模块哈,pip install paramiko,不会安装可以百度哈。 (1)密码登录 来看执行结果: (2)秘钥登录 (3 ...
分类:编程语言   时间:2018-01-23 18:00:00    收藏:0  评论:0  赞:0  阅读:301
[osg][osgEarth][原]基于OE自定义自由飞行漫游器(初级版)
由于受够了OE的漫游器,想搞个可以在全球飞行的漫游器,所以就做了一个: 请无视我的起名规则······ 类头文件:EarthWalkManipulator.h 类实现:EarthWalkManipulator.cpp 使用:main.cpp 由于是初级版,所以有些操作还是比较反人类··· 运行起来是 ...
分类:其他   时间:2018-01-23 17:59:10    收藏:0  评论:0  赞:0  阅读:361
mysql分组(五)
MySQL GROUP BY 语句 GROUP BY 语句根据一个或多个列对结果集进行分组。 在分组的列上我们可以使用 COUNT, SUM, AVG,等函数。 GROUP BY 语法 SELECT column_name, function(column_name) FROM table_name ...
分类:数据库技术   时间:2018-01-23 17:58:16    收藏:0  评论:0  赞:0  阅读:224
001:我和Python的第一次亲密接触
测试题 1. 如果我需要在一个字符串中嵌入一个双引号,正确的做法是?[两种方法] 答: 使用IDLE的小技巧 1.TAB完成 输入一些代码后,按下TAB键,IDLE会提示相关的建议,帮助你完成这些语句。 2.回退代码 Alt+P回退到前一条代码(Previous),Alt+N移动到下一跳代码(Nex ...
分类:编程语言   时间:2018-01-23 17:58:00    收藏:0  评论:0  赞:0  阅读:232
深入浅出话命令
转自:http://blog.csdn.net/lisenyang/article/details/18312387 WPF为我们准备了完善的命令系统,你可能会问:“有了路由事件为什么还需要命令系统呢?”。事件的作用是发布、传播一些消息,消息传达到了接收者,事件的指令也就算完成了,至于如何响应事件送 ...
分类:其他   时间:2018-01-23 17:57:43    收藏:0  评论:0  赞:0  阅读:305
简单Promise回顾
1:传统的CallBack回调函数let ajax=function(callback){ //dosomething this.setTimeout(()=>{ callback&&callback() },1000)} ajax(console.log("isCallBack")) 多层回调回会 ...
分类:其他   时间:2018-01-23 17:57:25    收藏:0  评论:0  赞:0  阅读:203
1144条   上一页 1 ... 21 22 23 24 25 ... 58 下一页
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!