我们都知道可以通过robots.txt来引导蜘蛛抓取内容,多个域名的时候可以301重定向转移权重,但有时候我们可能要特定某个域名不允许抓取,这个时候就需要rewrite来控制。 如果要直接屏蔽蜘蛛抓取...
CPU缓存 CPU缓存(L1的数据缓存和L1的指令缓存)、二级缓存、三级缓存 cookie与session Cookie是访问某些网站以后在本地存储的一些网站相关的信息,下次再访问的时候减少一些步骤,比如加密后...
简介说明 1. 站长主动向百度搜索推送数据,可缩短爬虫发现网站链接时间,可加快爬虫抓取速度,但无法解决网站内容是否收录问题。2. 百度搜索资源平台为站长提供链接提交通道,但不保证一定能够...
限制蜘蛛抓取可以用robots.txt,但是并非所有蜘蛛都会严格遵守,所以robots.txt也可以认为是“君子”协议,非“君子”可能一样会抓取,所以要用rewrite方式直接拒绝访问。 注:规则中HTTP_USER_AGE...
众所周知,阿里云、腾讯云的服务器都自带监控(AliYunDun/阿里云盾/安骑士),大家都不想自己的所作所为都被监控着,比如我在上面安装XX服务,一旦云监控查到,会被警告,很麻烦,我们总想着自...
现在新版本的宝塔面板强制绑定宝塔官网账号,否则就无法继续使用面板。网上绕过强制绑定账号的方法也很多,但是都显得比较麻烦,不符合宝塔面板针对小白用户的定位。因此我总结了只需要在SSH输...
Nginx自带的sub_filter模块可以将自定的关键字替换为指定的字符,比如将Admin字符替换为mydns字符,方法如下 location /{ root /home/wwwroot/mydns/; random_index on; index index.html in...
本文整理了关于 Linux 目录权限的一些基础知识,希望可以帮助一些刚接触 Linux 的朋友,比如使用 VPS 的博友等。 下图直观的展现了 Linux 系统中文件目录权限信息,有了它,应该能很快的算出,...
这是一个 Linux 系统常见的故障,网络上也能轻易的找到解决办法,我也只是在工作中遇到了这个问题,所以在博客记录下,以备不时之需。 一、报错截图: 图为 resin 的报错日志,很明显提示了 T...
昨天下午,RTX 群里面公司负责游戏运营的 MM 发来求助: 我还真是孤陋寡闻,以前还真没见过这个问题,赶紧度了度,很快就帮 MM 解决了问题。 解决办法也很简单: 方法①、 关闭所有浏览器,右...
之前一直有博主要求整理下 VPS 主机优化方法,那么如果你是 VPS 主机(Linux),可以尝试一下了,尤其是 linux 系统的内核参数优化。 一、增加 SWAP 分区 VPS(Virtual Private Server 虚拟专...
简单使用: awk :对于文件中一行行的独处来执行操作 。awk -F :'{print $1,$4}' :使用‘:’来分割这一行,把这一行的第一第四个域打印出来 。 AWK命令介绍 awk 语言的最基本功能是在文...
windos系统内 downloader常用方法:wget ftp powershell ,直接可以在命令行运行的只有 certUtil powershell bitsadminftp 受安全和环境限制,好用的有bitsadmin和certUtil 今天学习下bitsad...
ping 命令以前是一个很好用并且常用的网络测试工具,它是基于 ICMP 协议,但是出于网络安全等因素,大部分网络环境以及云环境可能都会禁止 ICMP 协议,所以在工作中,我们必须掌握一些其他比较...
Python是一种计算机程序设计语言。是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),随着版本的不断更新和语言新功能的添加,越来越多被用于独立的、大型项目的开发。下面...
有站长找到我,说数据库坏了,访问网站报错如下: Error establishing a database connection 看了下 MySQL 的错误日志,报错如下: Error: Table './db_name/table_name' is marked as cras...
MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库...
首先开启环境的redis扩展 然后编辑 /data/config.php 35行左右 查找如下代码(修改前请将config.php文件复制备份一下,以免出现错误可还原)$config['setting']['cache'] = 'mysql';改成 $confi...
我们的网站部署在linux的服务器上,特别是web服务器,我们可能有时候做为运维人员,肯定是要查看网站的并发连接数是不是达到瓶颈等,所以在linux下,我们如何查看服务器的并发连接数呢?使用以...
cat php-fpm.conf 看到 pid = /var/run/php-fpm/php-fpm.pid php-fpm配置测试 /usr/local/php/sbin/php-fpm -t/usr/local/php/sbin/php-fpm -c /usr/local/php/etc/php.ini -y /usr/local/...