符十三郎

基于docker安装Crawlab简介基于Golang的分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架. 项目地址 文档地址 环境介绍os:Ubuntu 20.04 LTS docker:19.03.12 安装部署安装Docker-Compose为了方便起见，我们用docker-compose的方式来部署。docker-compose是一个集群管理方式，可以利用名为docker-compose.yml的yaml文件来定义需要启动的容器，可以是单个，也可以（通常）是多个的。 12apt install python3-pippip3 install docker-compose 安装好 docker-compose 后，请运行 docker-compose ps 来测试是否安装正常。正常的应该是显示如下内容。 123Name Command State Ports-------------------------------------------------------------- 这是没有 Docker 容器在运行的情况，也就是空列表。如果有容器在运行，可以看 ...

1. 什么是activeMQActiveMQ是一种开源的，实现了JMS1.1规范的，面向消息(MOM)的中间件，为应用程序提供高效的、可扩展的、稳定的和安全的企业级消息通信。 2. 部署mkdir /activemq tar zxf apache-activemq-5.14.4-bin.tar.gz -C /activemq/ cd /activemq/ cd apache-activemq-5.14.4/ cd bin/ ./activemq start #此时服务已经开启，默认的端口为61616 netstat -anp | grep 61616 3. 密码配置在activemq服务的根目录下/conf/activemq.xml中有这样一个bean值： <!-- Allows us to use system properties as variables in this configuration file --> <bean class="org.springframework.beans.factory.config.Propert ...

安装APP爬取相关库 背景介绍 除了在web上进行信息爬去之外，还会对app进行爬取。 但是app没有浏览器，无法直观的查看请求，所以就需要通过抓包的方式进行数据抓取。

环境说明node1 centos6.7 192.168.96.1 关闭防火墙和selinux masternode2 centos6.7 192.168.96.2 关闭防火墙和selinux slavenode3 centos6.7 192.168.96.3 关闭防火墙和selinux slave 软件准备redis-3.2.0.tar.gz 软件安装node1 2 3 tar zxf redis-3.2.8.tar.gz cd redis-3.2.8 yum install gcc -y ###源码编译安装需要C语言编译器，所以需要安装gcc make make install ./utils/install_server.sh #自动配置 包括端口配置文件等等 服务配置经过上述操作，在三台主机上安装了redis的服务。但是由于redis本身的安全性配置，默认情况下是只允许通过本机连接的。 通过telnet 127.0.0.1 6379可以发现，redis的服务是可以使用的。但是telnet 192.168.96.1 6379会发现拒绝访问。并不推荐使用telnet，以 ...

封装在日常实验以及练习中，如果在真机进行操作，当有些错误操作或者要一个纯净的系统的话，就要将系统格式化或者重新安装系统，这样不仅浪费时间，还会对硬件造成不必要的损坏。这时，就可以使用虚拟机，在虚拟机中进行实验，这样在错误操作导致系统奔溃以至于无法修复时，可以直接使用其他的虚拟机。但是，一台新安装的虚拟机，我们要对他进行许多配置才能使用，这同样很浪费时间。所以我们可以使用Linux的快照功能，通过对模板虚拟机的硬盘进行快照，快速创建虚拟机。 环境准备 redhat7.2的Virtual Machine Manager虚拟机管理器 redhat6.5的.iso镜像包 主机名 zhang.example.com 主机桥接IP172.25.133.250 主机配置的redhat6.5yum源位置 /var/www/html/6.5 安装虚拟机在虚拟机管理器中，通过iso安装方法安装事先准备好的redhat6.5的.iso镜像包。需要注意的是，在选择内存大小时，如果设置为512M，那么redhat会默认进行最小化安装而不会安装图形界面，这样的好处在于可以节约主机的资源。创建虚拟机之后，系统会自 ...