FastAdmin和QueryList框架实现后台自动采集的示例代码

在FastAdmin中创建一个名为“采集”（Collect）的模型（model），并添加需要采集的字段。例如，我们可以添加如下字段：

<?php

namespace app\admin\model;

use think\Model;

class Collect extends Model
{
    protected $name = 'collect'; // 数据表名
    protected $autoWriteTimestamp = true; // 自动写入时间戳字段

    // 定义数据表字段
    protected $schema = [
        'id' => 'int',
        'title' => 'string',
        'url' => 'string',
        'content' => 'text',
        'update_time' => 'datetime',
        'create_time' => 'datetime',
        'status' => 'int',
    ];
}

<?php

namespace app\admin\model;

use think\Model;

class Source extends Model
{
    protected $name = 'collect_source'; // 数据表名
    protected $autoWriteTimestamp = true; // 自动写入时间戳字段

    // 定义数据表字段
    protected $schema = [
        'id' => 'int',
        'name' => 'string',
        'url' => 'string',
        'content_selector' => 'string',
        'url_selector' => 'string',
        'title_selector' => 'string',
        'status' => 'int',
        'update_time' => 'datetime',
        'create_time' => 'datetime',
    ];
}

<?php

namespace app\admin\controller;

use think\Controller;
use QL\QueryList;

class Collect extends Controller
{
    /**
     * 执行采集任务
     */
    public function execute()
    {
        // 获取所有启用状态的采集源
        $sources = model('Source')
            ->where('status', 1)
            ->select();

        // 遍历所有采集源，执行采集任务
        foreach ($sources as $source) {
            $html = file_get_contents($source->url); // 采集页面内容

            // 使用QueryList解析HTML页面
            $data = QueryList::html($html)
                ->find($source->content_selector)
                ->map(function ($item) use ($source) {
                    return [
                        'title' => $item->find($source->title_selector)->text(),
                        'url' => $item->find($source->url_selector)->attr('href'),
                    ];
                })
                ->toArray();

            // 遍历采集结果，保存到数据库中
            foreach ($data as $item) {
                $collect = new \app\admin\model\Collect();
                $collect->title = $item['title'];
                $collect->url = $item['url'];
                $collect->status = 1;
                $collect->save();
            }
        }

        $this->success('执行任务成功');
    }
}

<?php

return [
    'name' => '采集任务',
    'icon' => 'fa fa-cloud-download',
    'children' => [
        [
            'name' => '执行任务',
            'act' => 'collect/execute',
            'icon' => 'fa fa-play',
        ],
    ],
];

本文来自投稿，不代表站三界导航立场，如若转载，请注明出处：https://www.zhansanjie.com/article/details/43670.html