发布时间:2022-11-03 05:25 作者:永远
HTTPS站点如何做才能让百度蜘蛛抓取
我们可以根据user-agent来判断spider。然后做301/302定向,百度spider引擎定向到HTTP
非百度SPIDER 定向到HTTPS
目前百度的度各个产品使用的user-agent:
目前有两种方法
第一种方法:可以采用.htaccess 301重定向
RewriteEngine On
# BEGIN Force SSL
RewriteCond %{HTTPS} !on [NC]
RewriteCond %{HTTP_USER_AGENT} !( Baiduspider| Baiduspider-image | Baiduspider-video | Baiduspider-news | Baiduspider-favo | Baiduspider-cpro | Baiduspider-ads | Baiduspider) [NC]
RewriteRule (.*) https://%{SERVER_NAME}%{REQUEST_URI} [R=301,NC,L]
# END Force SSL
第二种方法:php的 $_SERVER['HTTP_USER_AGENT']来进行判断