Автоматизация демократии: заменит ли искусственный интеллект государство?

***

Шошана Зубофф. Эпоха надзорного капитализма. Битва за человеческое будущее на новых рубежах власти. М: Издательство Института Гайдара, 2022

От интернета и информационных технологий ожидали ответа на глобальные вызовы современности: ощущение неустойчивости и неопределённости, ослабление старых сообществ и авторитетов, недоверие государству и пропаганде, стремление к свободе и самовыражению, стагнацию экономического роста. «Визионеры», возглавлявшие быстро укрупняющиеся корпорации, с удовольствием взяли на себя мессианскую роль — установить новый научный и технологичный порядок.

Понятия личного пространства, конфиденциальности, собственности, законности, монополии были отброшены как устаревшие. Критики справедливо бьют тревогу по поводу слежки и торговли персональными данными, но не стоит отмахиваться от пафосной риторики IT-гигантов как формального оправдания банального шпионажа. Так ли много ценности для сильных мира сего в доказательствах, что рядовой Вася изменяет жене, а Петя верит, что земля плоская? Исследования показывают, что алгоритмы соцсетей не интересуются философским содержанием книг, находящихся в вашем списке «любимых». Им важнее узнать, какие поля заполняет пользователь и как часто их изменяет, каким образом взаимодействует с сайтом, сколько друзей добавляет и лайков ставит. Потому, например, Facebook регулярно обвиняют в попустительстве экстремистскому контенту (недавний выпад против России случился не на ровном месте).

Человек должен быть просчитан не как нравственный субъект, ориентирующийся на глубокие смыслы, а как машина, как «организм среди организмов» (принцип бихевиоризма). Тип психики, чувствительность к разным видам воздействий, эмоциональное состояние — существует лишь то, что можно классифицировать, выразить в цифрах и просчитать.

Информационная утопия, маячащая за видимыми нарушениями закона, это утопия абсолютной управляемости, устраняющая «человеческий фактор». Данные, собираемые ею, правильнее было бы охарактеризовать не как «личные», а как «поведенческие» (это создаёт иллюзию мягкости: нет нужды силой насаживать конкретную идеологию). В первую очередь, в интересах дикого капиталистического рынка: продать услугу, уменьшить риски, увеличить предсказуемость, дисциплинировать работников. Но во вторую — в интересах господства и искоренения политического сопротивления (бессильное инакомыслие уже не так страшно). В конечном итоге, машину всегда можно перенастроить под актуальные задачи.

Насколько реальна такая утопия и насколько серьёзно вкладываются в её реализацию крупнейшие IT-корпорации, показывает социальный психолог, теоретик информационных технологий из США Шошана Зубофф в книге «Эпоха надзорного капитализма». Автор анализирует эволюцию Google и Facebook с учётом множества факторов и контекстов: выступления руководителей, детали зарегистрированных патентов, изменения внутренней структуры компаний, лоббистские усилия, сближение с аппаратами государств, скандалы и «сливы», результаты сторонних исследований и расследований и т.д.

Зубофф доказывает, что эти корпорации создали принципиально новую бизнес-схему, основанную на анализе, предсказании и корректировке человеческого поведения в духе радикального бихевиоризма Макса Мейера (бывшего физика) и Б.Ф. Скиннера. Первоначально IT-компании действительно использовали полученные от пользователей данные для развития предоставляемых им сервисов, вроде поиска или приложения для общения. Однако к началу XXI века обнаружилось, что пользователи генерируют большой «излишек» поведенческой информации, не связанный напрямую с функционированием сервиса, но достаточный для подстройки рекламы под конкретного человека. Коммерческий успех этой идеи спас Google в ситуации пузыря доткомов, когда под давлением инвесторов IT-компании лихорадочно искали перспективные источники прибыли.

В рамках новой логики поиск, соцсети, интерактивные карты, игры, телефоны, медицинское оборудование, иные товары или услуги (умный дом, автомобильные компьютеры и вообще всё «цифровое») оказывались предлогом (и способом) собрать новые виды поведенческой информации. Проще говоря, прибыль извлекалась не из продажи умного термостата или даже автомобиля (что нередко убыточно — подобно «бесплатным» интернет-сервисам), а из наблюдений за тем, как люди пользуются термостатом или автомобилем. Зубофф приводит массу примеров того, что программы и «умные» устройства становятся всё более сложными системами слежения. Так, большинство приложений на мобильном телефоне игнорируют формально запрашиваемые «разрешения» на доступ к тем или иным данным и сканируют всё, что только можно: геолокацию, список контактов, переписку, камеру, микрофон, даже акселерометр. При этом одно приложение, как правило, в фоновом режиме запускает десятки других и регулярно отправляет данные на сотни серверов. Исследования популярных приложений для Android сходятся в том, что информация отправляется преимущественно на сервера Google; в ином случае — на сервера, принадлежащие Facebook или нескольким крупным компаниям, занимающимся глубинным анализом данных. Показателен скандал вокруг специальных автомобилей, снимающих панорамы улиц для гугл-карт. Помимо всего прочего, они подключались к соседним wi-fi сетям и перехватывали всю идущую по ним незашифрованную информацию, среди которой оказались электронные письма и пароли. Google признал «ошибку», но возложил вину на конкретного работника, бывшего хакера (конечно, продолжившего работу).

Важный вывод: поборники конфиденциальности в интернете не схватывают суть проблемы. Под давлением общественности (и законов ЕС) соцсети разрешили пользователям выгружать «персональные данные»: фото, видео, сообщения, текстовые профили. Однако тот же Facebook продаёт своим корпоративным клиентам отнюдь не коллекции фотографий котят, еды или даже голых тел. Соцсети торгуют, например, данными о психологических типах пользователей, или отслеживанием эмоций людей во время просмотра видеороликов. Некоторые правозащитники и активисты в США добивались выдачи им именно такой информации, но корпорации ссылались на то, что эти данные хранятся в обезличенном виде в сложнейших системах, и извлечь их оттуда невозможно. В этой связи Зубофф говорит о «теневом тексте» — системах, скрытых от пользователей, где собираются, хранятся и обрабатываются «излишки» информации. Приведённый в книге разбор патентов и докладов IT-корпораций инвесторам демонстрирует шокирующее разнообразие этих данных.

Автор подчёркивает, что попытки обезопасить лично себя шифрованием не ломают, а даже подтверждают логику системы. По той же причине малоэффективна и борьба с «монополиями»: конкурирующие корпорации всё равно занимаются одним и тем же, к тому же у них распространён обмен базами данных. То же касается правительства и спецслужб, обменивающихся с частными фирмами сотрудниками, данными, услугами.

Наконец, погоня за точными прогнозами привела корпорации к зловещей догадке: предсказания работают лучше, если прямо влиять на поведение пользователей. В ход идут и мягкие «подталкивания» в стиле поведенческой экономики Ричарда Талера, и прямые ограничения. Зубофф дополняет проведённый Аароном Перзановски и Джейсоном Шульцем анализ «лицензионных соглашений». Например, отказ делиться с неопределённым кругом третьих лиц данными, собранными умным термостатом, не только блокирует большую часть его функционала, но ещё и делает его работу опасной: без обновлений программного обеспечения он может быть взломан, что приведёт к пожару. Умный автомобиль же вовсе перестанет заводиться. При этом отправка данных всё равно не остановится.

Декларируемый нейтралитет IT-корпораций не мешает им участвовать в работе спецслужб и политиков. Так, прообразом китайского социального кредита выступают экспертные системы страхования и банковского кредитования. Продвинутые программы составляют и постоянно корректируют подробный портрет водителя или потенциального заёмщика, хотя факторы, влияющие на выставляемый ими рейтинг, остаются непрозрачными. «Эксперименты» соцсетей и агрегаторов с новостными лентами или приглашениями голосовать уже оказывают заметное влияние на итоги выборов — применяемые технологии берутся из рекламы. Впрочем, в отличие от тотальных государств XIX—XX веков, целью манипуляторов становится не «промывка мозгов», а механический контроль и обеспечение необходимого поведения.

Зубофф указывает, что новый порядок отказывает людям в свободном принятии решений. Человек, по мнению идеологов «надзорного капитализма», слишком иррационален. Если первые проекты автоматизации предполагали, что глубокий анализ данных поможет пользователям лучше понимать собственную психологию и принимать более взвешенные решения, то теперь на повестке дня стоит автоматизация человечества. Автор акцентирует внимание на вопросах: кто обладает знанием? Кто принимает решения? Кто определяет, кому принимать решения? При надзорном капитализме все ответы отсылают к владельцам информационных систем, руководствующихся вульгарной рыночной логикой. Причём даже структуры самих корпораций устроены так, что решения принимают буквально несколько руководителей.

Вопреки риторике «безальтернативного прогресса», подобные политические выводы не вытекают из технологии как таковой. Социолог Джон Урри доказывал, что скорее отбор технологий производится под влиянием политических решений. Зубофф указывает на сумму локальных и долговременных факторов, направивших процесс автоматизации и использования данных не по пути помощи свободному человеку, а по пути надзорного капитализма: господство неолиберального свободного рынка в экономике, приоритет «безопасности» после терактов 11 сентября (и вообще политика «секьюритизации»), недоверие к централизованной государственной власти (при культе предпринимателей-«визионеров»), кризис межличностного доверия, ослабление гражданской самоорганизации.

В связи с этим стоит отметить главы книги, посвящённые воздействию соцсетей на психологию молодёжи. Важный этап развития психики (продолжающийся до 30 лет) — поиск своей автономии от социального окружения, сопровождающийся кризисами, конфликтами, переживанием неудачи. Здесь существенно наличие безопасной приватной зоны, где человек может быть «самим собой». Соцсети же сознательно эксплуатируют ориентацию молодёжи на сверстников, доводя её до нездорового предела: если ты не участвуешь активно в раскрытии своей каждодневной жизни, если не следуешь модным тенденциям (задаваемым непрозрачными алгоритмами), то рискуешь стать невидимым, изолированным. Механизмы «персонализации» ленты обеспечивают одновременно и полное «отзеркаливание» тебя другими, и стыд из-за несоответствия идеализированным образам «успешных» и популярных личностей. Исследования показывают, что вместо успокоения или развлечения «зависание» в соцсетях вводит пользователей в подавленное, депрессивное состояние, лишь усиливающее попытки получить удовольствие от «лайков» или комментариев. В итоге в людях взращивается слепое подражание, боязнь остаться «вне трендов» (то есть быть автономным) — при том, что вся эта система существует под надзором капитала и его скрытых интересов.

Ответ на описанные негативные изменения Зубофф видит в организованной борьбе граждан за свои права — в данном случае за право самостоятельно принимать решения. Автор приводит в пример аналогичное движение в США 1970-х годов, выступавшее за ограничение применения развивавшихся тогда технологий манипуляции. Важно не поддаваться ощущению, что всё происходящее — нормально, что оно «естественным образом» вытекает из неумолимого развития технологий. Поверхностное знание того, что IT-корпорации нами манипулирует, принятие этого факта как малой платы за удобство (как будто оно невозможно без передачи решений нескольким «визионерам») притупляет наше негодование по поводу очередного скандала, не даёт увидеть полную картину происходящего.

Мы теряем способность удивляться и возмущаться — в тот момент, когда мир лишь начинает стремительно преобразовываться, и ещё ничего не решено (хотя власть имущие и любят делать вид, будто всё уже конечно). ХХ век, начавшийся с тотальных государств и мировых войн, продолжился революциями, профсоюзами, социальными государствами и правами человека. Немало смелых проектов рухнуло, даже если они поддерживались насилием и жёстким контролем. Нынешние поколения более образованы, имеют больше доступа к информации и коммуникациям, да и у власть имущих, несмотря на все доступные им технологии, нет внятного позитивного проекта (контроль вводится во имя сиюминутной «безопасности» и частной выгоды). Всё, с чем мы сталкиваемся — на самом деле авантюристическая и утопичная попытка ликвидировать нависшую над человечеством неопределённость. В такой ситуации важно сохранять принципы и мужество, поддерживать моральное чувство и искать возможности. История показывает, что болезненное самодовольство власть имущих не может эти возможности не создать.