RankforBot
Краулер веб-анализа Rankfor.AI
Что такое RankforBot?
RankforBot — официальный веб-краулер Rankfor.AI, платформы для анализа территорий в ИИ. Наш бот помогает компаниям понять, как системы ИИ воспринимают и представляют их контент в вебе.
RankforBot анализирует общедоступный веб-контент, чтобы дать представление о территориях контента, конкурентном позиционировании и возможностях оптимизации видимости в ИИ.
Технические детали
Строка User Agent:
Скорость обхода:
Мы применяем адаптивную скорость обхода, чтобы минимизировать нагрузку на ваши серверы. Мы учитываем стандартные crawl-delay директивы в robots.txt.
Что мы анализируем
- Структурированные данныеJSON-LD, разметка Schema.org, теги Open Graph и другие машиночитаемые метаданные, которые помогают системам ИИ понять ваш контент.
- Территории контентаТемы, ключевые слова и семантические кластеры, которые определяют ландшафт вашего контента и конкурентное позиционирование.
- Навигация и структура сайтаТо, как организован и связан ваш контент, влияет на то, каким страницам системы ИИ отдают приоритет и на какие ссылаются.
- Файлы для LLMМы проверяем наличие файлов llm.txt и llms.txt, которые дают ИИ-ассистентам контекст о вашем бренде и услугах.
Конфиденциальность и использование данных
Мы анализируем только общедоступный контент. RankforBot не будет:
- Получать доступ к защищённым паролем или закрытым разделам
- Отправлять формы или POST-данные
- Выполнять JavaScript или взаимодействовать с динамическим контентом после первоначальной загрузки страницы
- Хранить персональные данные пользователей или PII (персональные идентифицируемые данные)
- Передавать ваш контент третьим лицам
Проанализированные данные используются исключительно для того, чтобы предоставлять пользователям нашей платформы аналитику AI Brand DNA. Мы уважаем ваши права на контент и соблюдаем все применимые нормы о защите данных.
Как управлять RankforBot
Чтобы полностью заблокировать RankforBot:
User-agent: RankforBot Disallow: /
Чтобы разрешить доступ только к определённым разделам:
User-agent: RankforBot Allow: /blog/ Disallow: /
Чтобы задать собственную задержку обхода:
User-agent: RankforBot Crawl-delay: 10
Контакты и поддержка
Если у вас есть вопросы о RankforBot, вы хотите сообщить о проблеме или запросить особые правила обхода для вашего домена, свяжитесь с нами: