5. Что такое User Agent и каким он бывает?

User Agent — это строка, которую клиентское приложение передает серверу в HTTP‑запросе, чтобы идентифицировать себя. Например, какой это браузер или бот или на какой операционной системе он работает. Иногда передается и информация о версии или контактной информации. Для вебмастера это один из первых и самых простых сигналов о том, кто обращается к сайту. Но полагаться только на него опасно: строка легко подделывается, а современные браузеры сокращают ее подробность ради приватности.

Что говорит стандарт

Поле «User Agent» — это стандартный заголовок HTTP. В спецификации HTTP его описывают как способ сообщить серверу сведения о клиенте: зачем это делается, когда возникают проблемы совместимости, и как инструмент статистики. RFC фиксирует рекомендацию: агенту следует отправлять это поле, если оно не отключено явно.

Браузеры исторически включали в User Agent сочетание «имя/версия», движка рендеринга и деталей платформы. Со временем строка превратилась в длинный набор меток, частично по историческим причинам совместимости, частично по желанию сервисов распознавать устройства и поведение пользователей.

Какие бывают User Agent’ы

• Классические браузеры. Chrome, Firefox, Safari и их производные. Строки содержат данные о движке, платформе и версии. Современные версии браузеров постепенно сокращают эти данные в пользу Client Hints.
• Мобильные браузеры и приложения‑встроенные WebView. Часто содержат модель устройства и информацию об операционной системе.
• Поисковые роботы и краулеры. Официальные боты (Googlebot, Bingbot и другие) обычно указывают свое имя и страницу с правилами. Их полезно отслеживать.Иногда им дают расширенный доступ, а иногда ограничивают.
• Библиотеки и инструменты для запросов. curl, Wget, Python-requests и HTTP‑клиенты часто отправляют простые User Agent’ы или оставляют поле пустым по умолчанию.
• Headless‑браузеры и автотесты. Puppeteer, Playwright, PhantomJS и подобные инструменты иногда обозначают себя явно, иногда маскируются под обычные браузеры.
• Прокси, скрейперы и кастомные клиенты. Здесь встречается все: от аккуратно оформленных строк с контактами до сознательной подмены популярных браузеров.

Современные изменения

Последние годы браузеры движутся к сокращению подробностей в традиционной строке User Agent, чтобы уменьшить возможности трекинга по атрибутам устройства. Вместо этого вводятся механизмы Client Hints, это набор специальных заголовков и интерфейсов, через которые сервер может запросить у клиента конкретную информацию по необходимости.

У крупных движков есть планы и практические шаги по «устранению» User Agent. В целом, владельцам сайтов рекомендовано мигрировать к Client Hints, если нужна точная информация о клиенте.

Зачем сайту знать User Agent

User Agent используют для аналитики, адаптивной выдачи контента и для взаимодействия с поисковыми роботами. Но есть несколько важных оговорок:

• Строку легко подделать. Любой HTTP‑клиент может отправить любой текст в этом поле; поэтому полагаться на нее как на надежный признак — рискованно.
• Совместимость. Многие сайты по старинке «подстраивают» контент под строку браузера. Это приводит к ошибкам и лишней поддержке устаревших комбинаций.
• Конфиденциальность. Детализированный User Agent дает дополнительные признаки для отпечатка браузера, поэтому платформы стремятся уменьшить его информативность.

В антидетект-браузере 0DETECT вы можете настроить параметры User Agent. Причем вы можете воспользоваться как уже заполненным вариантом, так и задать свой.