首页 实用教程

简单统计网站的蜘蛛记录

发布时间:2025年03月01日评论数：1 阅读数：50

在根目录下创建一个zhizhu.php文件代码：

    <?php
    // 定义常见搜索引擎蜘蛛的特征字符串
    $spiders = array(
        'ToutiaoSpider' => 'ByteDanceSpider',
        'BaiduSpider' => 'BaiduSpider',
        '360Spider' => '360Spider',
        'SogouSpider' => 'SogouSpider',
        'Bingbot' => 'Bingbot',
        'Googlebot' => 'Googlebot',
        'ShenmaSpider' => 'YisouSpider'
    );

    // 获取用户代理信息
    $user_agent = isset($_SERVER['HTTP_USER_AGENT']) ? $_SERVER['HTTP_USER_AGENT'] : '';

    // 获取当前访问的链接
    $current_url = (isset($_SERVER['HTTPS']) && $_SERVER['HTTPS'] === 'on' ? "https" : "http") . "://$_SERVER[HTTP_HOST]$_SERVER[REQUEST_URI]";

    // 检查是否为蜘蛛访问
    $is_spider = false;
    $spider_name = '';
    foreach ($spiders as $name => $pattern) {
        if (strpos($user_agent, $pattern) !== false) {
            $is_spider = true;
            $spider_name = $name;
            break;
        }
    }

    // 如果是蜘蛛访问，记录统计信息到日志文件
    if ($is_spider) {
        $log_file = 'zhizhu.txt';
        $log_entry = date('Y-m-d H:i:s') . " - {$spider_name} - {$current_url} - {$user_agent}\n";
        file_put_contents($log_file, $log_entry, FILE_APPEND);
    }
    ?>

=====================
2.在根目录创建一个zhizhu.txt的空白文件用来记录。

=====================

3.在根目录创建读取文件 duqu.php

    <?php
    // 统计蜘蛛访问次数和链接
    function count_spider_visits() {
        $log_file = 'zhizhu.txt';
        if (!file_exists($log_file)) {
            return [];
        }

        $lines = file($log_file, FILE_IGNORE_NEW_LINES);
        $spider_counts = [];
        $spider_url_counts = [];

        foreach ($lines as $line) {
            $parts = explode(' - ', $line);
            if (count($parts) >= 3) {
                $spider = $parts[1];
                $url = $parts[2];

                // 统计蜘蛛总访问次数
                if (!isset($spider_counts[$spider])) {
                    $spider_counts[$spider] = 0;
                }
                $spider_counts[$spider]++;

                // 统计蜘蛛访问每个链接的次数
                if (!isset($spider_url_counts[$spider])) {
                    $spider_url_counts[$spider] = [];
                }
                if (!isset($spider_url_counts[$spider][$url])) {
                    $spider_url_counts[$spider][$url] = 0;
                }
                $spider_url_counts[$spider][$url]++;
            }
        }

        return [
            'spider_counts' => $spider_counts,
            'spider_url_counts' => $spider_url_counts
        ];
    }

    // 调用统计函数
    $stats = count_spider_visits();

    // 输出统计结果
    echo "<h2>蜘蛛总访问次数统计</h2>";
    foreach ($stats['spider_counts'] as $spider => $count) {
        echo "<p>{$spider}: {$count} 次</p>";
    }

    echo "<h2>蜘蛛访问链接详细统计</h2>";
    foreach ($stats['spider_url_counts'] as $spider => $urls) {
        echo "<h3>{$spider}</h3>";
        foreach ($urls as $url => $count) {
            echo "<p>链接: {$url}, 访问次数: {$count}</p>";
        }
    }
    ?>

========================

把代码：

    <?php include('zhizhu.php'); ?>

放到网站的通用底部，比如放统计代码的地方就行了。
==============================
蜘蛛读取查看地址   域名/duqu.php（名字自行更改）
数据太多就把txt文件清空一下就好。

本文作者：伤痕磊磊文章标题：简单统计网站的蜘蛛记录
本文地址：https://www.wufeilong.com/63.html
版权声明：內容出自于原创和网络, 版权归原作者所有。