Контентная платформа «Дзен» (принадлежит VK) указала, что роботу GPTBot отOpenAI (разработчик ChatGPT и GPT-4) нельзя собирать информацию со страницыdzen.ru, пишет «Ъ».

Соответствующая директива была найдена в файле robots.txt, предназначенномдля программ по автоматическому сбору информации с сайтов. Мера была принятадля того, чтобы уменьшить нагрузку на серверы «Дзена», поясняют изданию впресс-службе компании. В частности, «сервисы работают беспрерывно иобрабатывают более 150 тысяч запросов в секунду», что делает их нагрузку оченьвысокой. Также в компании уточняют, что в «Дзене» постоянно появляются миллионыпубликаций, в том числе в формате видео.

Однако файл robots.txt носит рекомендательный характер. Он не сможетзапретить роботам игнорировать прописанные в нем директивы.