安装APP爬取相关库
安装APP爬取相关库
背景介绍
除了在web上进行信息爬去之外,还会对app进行爬取。
但是app没有浏览器,无法直观的查看请求,所以就需要通过抓包的方式进行数据抓取。
redis集群
环境说明node1 centos6.7 192.168.96.1 关闭防火墙和selinux masternode2 centos6.7 192.168.96.2 关闭防火墙和selinux slavenode3 centos6.7 192.168.96.3 关闭防火墙和selinux slave
软件准备redis-3.2.0.tar.gz
软件安装node1 2 3
tar zxf redis-3.2.8.tar.gz
cd redis-3.2.8
yum install gcc -y ###源码编译安装需要C语言编译器,所以需要安装gcc
make
make install
./utils/install_server.sh #自动配置 包括端口配置文件等等
服务配置经过上述操作,在三台主机上安装了redis的服务。但是由于redis本身的安全性配置,默认情况下是只允许通过本机连接的。
通过telnet 127.0.0.1 6379可以发现,redis的服务是可以使用的。但是telnet 192.168.96.1 6379会发现拒绝访问。并不推荐使用telnet,以 ...
Linux封装虚拟机
封装在日常实验以及练习中,如果在真机进行操作,当有些错误操作或者要一个纯净的系统的话,就要将系统格式化或者重新安装系统,这样不仅浪费时间,还会对硬件造成不必要的损坏。这时,就可以使用虚拟机,在虚拟机中进行实验,这样在错误操作导致系统奔溃以至于无法修复时,可以直接使用其他的虚拟机。但是,一台新安装的虚拟机,我们要对他进行许多配置才能使用,这同样很浪费时间。所以我们可以使用Linux的快照功能,通过对模板虚拟机的硬盘进行快照,快速创建虚拟机。
环境准备
redhat7.2的Virtual Machine Manager虚拟机管理器
redhat6.5的.iso镜像包
主机名 zhang.example.com
主机桥接IP172.25.133.250
主机配置的redhat6.5yum源位置 /var/www/html/6.5
安装虚拟机在虚拟机管理器中,通过iso安装方法安装事先准备好的redhat6.5的.iso镜像包。需要注意的是,在选择内存大小时,如果设置为512M,那么redhat会默认进行最小化安装而不会安装图形界面,这样的好处在于可以节约主机的资源。创建虚拟机之后,系统会自 ...
cifs
cifs
yum install samba-client
smbclient -L //ip
smbclient //ip/sharename
#或
mount //ip/sharename /mountpoint -o username=guest
vim /etc/fstab
//ip/sharename /mountpoint cifs defaults,username=guest 0 0
mount -a
kill -USER1原理
kill -USER1原理123456789101112在没有执行kill USR1 `cat ${pid_path}`之前,即便已经对文件执行了mv命令而改变了文件 名称,nginx还是会向新命名的文件” xxx.log_ 20130909”照常写入日志数据的。原因在于: linux系统中,内核是根据文件描述符来找文件的。 一 对linux文件描述符的理解 文件描述符是linux内核为每个打开的文件命名的一个整数标识。 linux内核为每一个进程生成(或者说维护)一个”文件描述符表”,这个文件描述符表记录的 是“此进程所打开的文件(进行标识)”。 在这里的环境中,nginx就是一个运行中的进程,这个进程早就打开了一个日志文件,在文 件描述符表是记录了文件的。 即便日志文件的路径改变了,但是还是能够找到(根据文件描述符表可以定位)。 二 cat nginx.pid含义 当执行命令“kill USR1 `cat ${pid_path}`”的时候,nginx.pid文件中保存的其实就是一个数 字(自己可以打开看一下,我这里是894),ngin ...