首页 > 2019年10月23日 > 全部分享
python3+Scrapy爬虫使用pipeline数据保存到文本和数据库,数据少或者数据重复问题
爬取的数据结果是没有错的,但是在保存数据的时候出错了,出现重复数据或者数据少问题。那为什么会造成这种结果呢? 其原因是由于Spider的速率比较快,而scapy操作数据库操作比较慢,导致pipeline中的方法调用较慢,这样当一个变量正在处理的时候,一个新的变量过来,之前的变量的值就会被覆盖。 就比 ...
分类:数据库技术   时间:2019-10-23 15:24:54    收藏:0  评论:0  赞:0  阅读:86
python 获取本机 IP
# 局域网IP import socket #获取本机电脑名 myname = socket.getfqdn(socket.gethostname( )) #获取本机ip myaddr = socket.gethostbyname(myname) print myname print myaddr ...
分类:编程语言   时间:2019-10-23 15:24:25    收藏:0  评论:0  赞:0  阅读:61
懒要懒到底,能自动的就不要手动,Hibernate正向工程完成Oracle数据库到MySql数据库转换(含字段转换、注释)
需求描述 需求是这样的:因为我们目前的一个老项目是Oracle数据库的,这个库呢,数据库是没有注释的,而且字段名和表名都是大写风格,比如 在代码层面的po呢,以前也是没有任何注释的,但是经过这些年,大家慢慢踩坑多了,也给po加上了一些注释了,比如: 现状就是这样,再说说目标是:希望把这个库能转成my ...
分类:数据库技术   时间:2019-10-23 15:23:58    收藏:0  评论:0  赞:0  阅读:82
2018 China Collegiate Programming Contest Final (CCPC-Final 2018)-K - Mr. Panda and Kakin-中国剩余定理+同余定理
"2018 China Collegiate Programming Contest Final (CCPC Final 2018) K Mr. Panda and Kakin 中国剩余定理+同余定理" 【Problem Description】 $$ 求解x^{2^{30}+3}=c\pmod n ...
分类:其他   时间:2019-10-23 15:23:34    收藏:0  评论:0  赞:0  阅读:84
python 类中的self
今天工作中写python代码,在def函数定义的时候总要写一个self参数,不明白何意思…百度了一下这个self代表的是类的实例,不是类,所以学习一下相关知识。 下面这个Sms类中的函数是用post请求获取数据,获取的数据是json格式,取json中的body 在send函数中我们就定义了变量sel ...
分类:编程语言   时间:2019-10-23 15:22:56    收藏:0  评论:0  赞:0  阅读:63
Java数据结构之单链表
这篇文章主要讲解了通过java实现单链表的操作,一般我们开始学习链表的时候,都是使用C语言,C语言中我们可以通过结构体来定义节点,但是在Java中,我们没有结构体,我们使用的是通过类来定义我们所需要的节点,链表。 下面我主要说明5个操作:增加元素(两种),查找元素,更新元素,删除元素,遍历单链表中的 ...
分类:编程语言   时间:2019-10-23 15:22:35    收藏:0  评论:0  赞:0  阅读:70
HikariCP连接池配置
官网: https://github.com/brettwooldridge/HikariCP HikariCP现在已经是spring-boot-starter-jdbc中自带的默认连接池,在我们的生产环境下必须对其默认参数做一些针对自己业务的调整,具体的参数有如下: 1、必须的参数: 2、经常使用 ...
分类:其他   时间:2019-10-23 15:22:10    收藏:0  评论:0  赞:0  阅读:77
The connection to the server localhost:8080 was refused - did you specify the right host or port?
Kubernetes-kubectl命令出现错误 【The connection to the server localhost:8080 was refused - did you specify the right host or port?】 ...
分类:其他   时间:2019-10-23 15:21:52    收藏:0  评论:0  赞:0  阅读:565
java方法
java java中方法的本质就是对象行为. 方法分为 方法 构造方法 构造方法是用于初始化对象的,子类中所有的构造方法默认都会访问父类中无参的构造方法。子类的构造方法隐式的调用父类的不带参数的构造方法 成员方法 方法的重载 在同一个类中,方法名相同,参数列表不同 方法的重写 有继承关系,在子类中 ...
分类:编程语言   时间:2019-10-23 15:21:29    收藏:0  评论:0  赞:0  阅读:72
模块学习-json pickle
json json序列化 json反序列化 pickle pickle序列化 pickle反序列化 ...
分类:Web开发   时间:2019-10-23 15:21:05    收藏:0  评论:0  赞:0  阅读:85
.NET Reactor使用教程(加密源代码示例)
1、打开 Eziriz .NET Reactor,主界面如图1所示: 图1 2、单击 Main Assembly 右边的 Open,选择要加密的软件文件exe 或 dll 都可以。 3、勾选 Quick Settings 下要加密的项,每项的含意如下: NecroBit:把程序集转为非托管代码; N ...
分类:Web开发   时间:2019-10-23 15:20:47    收藏:0  评论:0  赞:0  阅读:77
团队项目-选题报告
团队项目描述 福州大学二手交易平台“福鱼” NABCD分析引用 Need需求 我们的目的是解决大学生无用的商品,如看过的教科书、购买后没怎么穿过的衣服、离校后无法带走的电动车等,将它们卖给有需求的人,使这些物品的价值得到充分的利用,让买家卖家都得到好处。 Approach做法 我们团队会用HTML、 ...
分类:其他   时间:2019-10-23 15:20:14    收藏:0  评论:0  赞:0  阅读:72
如何查看执行计划
2.2 如何查看执行计划 1. explain plan命令 2. DBMS_XPLAN包 3. SQLPLUS 中的AUTOTRACE开关 4. 10046事件 5. 10053事件 6. AWR报告或Statspack报告 7. 一些现成的脚本(如display_cursor_9i.sql等) ...
分类:其他   时间:2019-10-23 15:19:25    收藏:0  评论:0  赞:0  阅读:84
多线程的使用场景
常见的浏览器、Web服务(现在写的web是中间件帮你完成了线程的控制),web处理请求,各种专用服务器(如游戏服务器) servlet多线程 FTP下载,多线程操作文件 数据库用到的多线程 分布式计算 tomcat,tomcat内部采用多线程,上百个客户端访问同一个WEB应用,tomcat接入后就是 ...
分类:编程语言   时间:2019-10-23 15:19:10    收藏:0  评论:0  赞:0  阅读:72
反向传播算法推导过程
转自:https://www.zhihu.com/question/24827633/answer/91489990 1. 前向传播 对于节点 来说, 的净输入 如下: 接着对 做一个sigmoid函数得到节点 的输出:类似的,我们能得到节点 、 、 的输出 、 、 。 2. 误差 得到结果后,整个 ...
分类:编程语言   时间:2019-10-23 15:18:46    收藏:0  评论:0  赞:0  阅读:98
gitlab最新讲解
Gitlab的安装: 硬件要求: 至少2G内存,硬盘跟内核看着选 到这里就安装完成了 下图是生成环境流程图: Gitlab项目: 生成环境svn,将里面的镜像往gitlab上面迁移,但是考虑到项目经理是突然提出来的,先是将代码放到测试环境下,最后再转入用服务器搭建的gitlab生成环境中。 Svn服 ...
分类:其他   时间:2019-10-23 15:18:27    收藏:0  评论:0  赞:0  阅读:77
NGINX学习(九)--nginx配置示例
一个简单的nginx优化配置文件 ...
分类:其他   时间:2019-10-23 15:18:05    收藏:0  评论:0  赞:0  阅读:75
基于xfs格式的分区做磁盘限制
1.磁盘配额的作用范围: xfs_quota设置的磁盘配额功能,只在指定的文件系统(分区)内有效,用户使用其他未设置配额的文件系统时,将不受限制。 2.磁盘配额的限制对象: xfs_quota主要针对系统中指定的用户账号、组账号进行限制,没有被设置限额的用户或组将不受影响。对组账号设置配额后,组内所 ...
分类:其他   时间:2019-10-23 15:17:33    收藏:0  评论:0  赞:0  阅读:101
Android LayoutInflater.inflate()使用详解
有一次面试,问到inflate()三个参数,平时开发经常用,但是具体细节很少追究,瞬间懵B了,找到一个比较好的文章,摘录下来。 摘自:https://www.jianshu.com/p/c92243287793 相信大家都用过LayoutInflater(布局填充器),今天主要说下我对inflate ...
分类:移动平台   时间:2019-10-23 15:17:15    收藏:0  评论:0  赞:0  阅读:81
Docker常用命令
转载:https://mp.weixin.qq.com/s/us1b8gLbS5djEAFnTlQyGQ 1.杀死所有正在运行的容器 docker kill $(docker ps -a -q) 2.删除所有已经停止的容器 docker rm $(docker ps -a -q) 3.删除所有镜像 ...
分类:其他   时间:2019-10-23 15:16:39    收藏:0  评论:0  赞:0  阅读:71
1315条   上一页 1 ... 37 38 39 40 41 ... 66 下一页
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!