Автоматический сбор всех ссылок сайта через карту сайта (sitemap)
Этот шаблон автоматически извлекает все ссылки веб-сайта через анализ карты сайта и сохраняет их в Google Таблицы.
Целевая аудитория
- SEO-специалисты и digital-маркетологи
- Владельцы сайтов и контент-менеджеры
- Разработчики, занимающиеся аудитом сайтов
- Аналитики, работающие с веб-данными
Решаемая проблема
Вам больше не нужно вручную искать все страницы сайта или использовать сложные парсеры! Шаблон автоматически находит все ссылки через карту сайта, включая те, что скрыты в архивах и вложенных XML-файлах.
Что автоматизируется?
- Запуск по домену: Вы просто отправляете домен сайта через вебхук
- Поиск карты сайта: Автоматически проверяет robots.txt и sitemap.xml
- Рекурсивный обход: Находит и сканирует все вложенные XML-файлы карты сайта
- Обработка архивов: Распаковывает сжатые .gz файлы
- Фильтрация ссылок: Отделяет обычные URL от XML-ссылок
- Сохранение результатов: Записывает все найденные ссылки в Google Таблицы
Используемые сервисы
- ScrapingBee : Обходит блокировки и скачивает файлы карты сайта
- Google Sheets : База данных для хранения всех извлеченных ссылок
- n8n Webhook : Триггер для запуска workflow по домену
Сложность настройки: Средняя
Примерное время настройки: 15-20 минут
Что нужно для запуска?
- Аккаунт ScrapingBee: Ключ API для обхода блокировок
- Аккаунт Google: Настроенный доступ к Google Sheets через OAuth2
- Google Таблица: Готовая таблица с колонкой «links» для сохранения результатов
- n8n с нодами сообщества: Требуется установка узла ScrapingBee
Примеры использования
- SEO-аудит сайта: Получите полный список всех страниц для анализа индексации и оптимизации
- Миграция сайта: Убедитесь, что все страницы перенесены, имея полную карту старого сайта
- Мониторинг контента: Регулярно проверяйте появление новых страниц и разделов на сайте конкурента
- Создание карты сайта: Для старых сайтов, где карта сайта отсутствует или неполная
Результат
После настройки вы получите:
- Полную карту сайта : Все ссылки страниц в одном месте
- Экономию времени : Минуты вместо часов ручного сбора
- Обход блокировок : ScrapingBee обходит защиту от парсинга
- Рекурсивный анализ : Автоматически находит ссылки даже в сложных структурах
- Готовые данные : Ссылки сразу сохраняются в удобном табличном формате
Важное примечание
Некоторые большие карты сайта могут потреблять много памяти. Рекомендуется использовать тарифные планы n8n с достаточным объемом памяти или самохостинг.
#seo #карта_сайта #scraping #автоматизация #google_sheets #аналитика #n8n
А получить workflow «Автоматический сбор всех ссылок сайта через карту сайта: n8n workflow для SEO-аудита» и другие шаблоны для n8n (более 1000 готовых сценариев автоматизации) вы можете в нашем Закрытом Нейроклубе по кнопке ниже:
Также рекомендуем подписаться на наш Telegram-канал AI Мастерская.
Там выходят подробные разборы популярных сценариев для n8n, реальные кейсы автоматизации бизнеса и примеры, где рутинную работу полностью берут на себя роботы, а не человек.
Напишите в комментариях, какой шаблон для n8n вам нужен и какие задачи он должен выполнять. Я подберу подходящее решение или добавлю новый workflow.
