Те, що розроблялося для таргетованої реклами, може і буде використовуватися для таргетованих репресій.
Мені колись дуже сподобався фільм "Життя інших" (The lives of others), який входить до сотні фільмів усіх часів від IMDB. У стрічці показується кінець епохи НДР. Офіцер Штазі стежить за драматургом Георгом Драйманом, якого підозрюють у нелояльності. Цей офіцер, капітан Герд Візлер, поступово змінюється під впливом життя. Фільм болісний, глибоко людяний і водночас неймовірно точний у деталях бюрократичного абсурду, який тримається на страху й контролі.
Технології того часу не могли вирішити завдання, які ставило перед собою Штазі. Прослуховування велося вручну: хтось годинами сидів у навушниках, записуючи розмови. Спостереження вимагало сидіння в під'їзді, встановлення мікрофонів, ведення паперових досьє. Виявлення нелояльності базувалося на доносах, інтуїції та рутині, де кожна помилка – це або втрата сліду, або зруйноване життя. Абсурд, але, на жаль, він працював і руйнував життя мільйонам людей.
Я подумав: якби Штазі мало сучасні технології – ШІ, розпізнавання голосу й облич, аналіз великих даних, соцмереж, геолокації, емоцій та поведінки, – наскільки ефективною була б його робота? Схожі питання ставлять автори багатьох книжок, які я читаю, і їх відповідь лякає: сучасні системи роблять авторитарні режими ефективними до рівня тотальності. Що ми зараз маємо в руках контрольних органів і як потенційно або реально це впливає на наше життя?
Якщо офіцеру Штазі доводилося годинами сидіти в навушниках, записуючи кожне слово підозрюваних, то сучасні системи роблять цю роботу за лічені секунди. ШІ-алгоритми можуть обробляти мільйони телефонних розмов, автоматично їх транскрибувати і виділяти підозрілі фрагменти за ключовими словами. Системи розпізнають емоційний стан мовця, виявляють сарказм і приховане невдоволення.
Ці технології давно використовують навіть у корпоративних колцентрах. Замість сотень агентів, які не могли прослухати всіх, алгоритми та ШІ-агенти можуть обробляти весь телефонний трафік одночасно. Алгоритми навчаються розпізнавати патерни нелояльності: хто часто скаржиться на владу, хто обговорює заборонені теми, хто контактує з "неблагонадійними" особами.
Система може автоматично створювати досьє, відзначати рівень загрози та прогнозувати ймовірність участі в протестах. Те, на що Штазі витрачало місяці ручної роботи, тепер може відбуватися в режимі реального часу майже без людського втручання, як мінімум, в автократичних країнах.
Візлеру доводилося особисто стежити за драматургом, ховаючись у під'їздах і ризикуючи бути поміченим. Зараз сотні тисяч камер роблять це автоматично. ШІ-системи можуть розпізнавати обличчя з точністю до 99%, навіть якщо людина в масці, окулярах чи з новою зачіскою. Кожен крок по місту фіксується: о 8:15 вийшов з дому, о 8:27 зайшов у метро, о 9:03 зустрівся з підозрюваним на площі.
Алгоритми можуть будувати детальні карти соціальних зв'язків (схожі на Linkedin InMaps): хто з ким зустрічається, як часто, де саме. Алгоритми можуть виявляти аномалії в поведінці: чому людина змінила маршрут, чому уникає певних місць, чому раптом почала зустрічатися з новими людьми. Ба більше, ШІ може аналізувати міміку та мову тіла, визначаючи емоційний стан і навіть наміри.
Якщо Штазі могло стежити лише за обраними, то сучасна система стежить за всіма, маючи змогу створювати цифрові копії поведінки кожного громадянина.
Офіцерам Штазі доводилося покладатися на фотографії та словесні описи, щоб впізнати підозрюваних. Зараз біометричні системи унеможливлюють анонімність. Крім розпізнавання облич, ШІ може аналізувати унікальну ходу людини, розпізнаючи її зі спини в натовпі. Голосові відбитки дозволяють ідентифікувати особу в телефонній розмові, навіть якщо вона намагається змінити голос.
Біометричні дані збираються всюди: від розблокування смартфона обличчям до проходу через "розумні" камери. Системи аналізують дані з фітнес-браслетів і смарт-годинників: пульс при перегляді контенту, стрес на зустрічах, аномальну фізичну активність – усе, що може вказувати на підозрілий емоційний стан.
Якщо драматург з фільму міг сховатися в натовпі чи виїхати під чужим ім'ям, то сучасні біометричні системи впізнають людину за десятками параметрів одночасно. Тіло стає паспортом, якого неможливо позбутися чи підробити.
Штазі збирало інформацію про людей роками: перехоплені листи, донесення сусідів, записи розмов. Люди протягом останніх 20 років самі викладають своє життя онлайн в соцмережах, а зараз – і при розмові з ШІ-ботами. У той же час самі ШІ-алгоритми можуть миттєво аналізувати кожен лайк, емоційне забарвлення коментарів та репостів і створювати детальний психологічний портрет людини.
Наші дані – не просто інформація, а важіль влади над громадянами. У такій ситуації найкращий захист від нового Штазі – приватність, захист якої стає формою політичного спротиву. Проте й алгоритми вчаться боротися з цим супротивом. Вони можуть виявляти "слабкі сигнали" нелояльності: людина не лайкнула урочистий пост лідера, поширила двозначний мем, підписалася на "неправильний" канал.
ШІ здатний прогнозувати, хто може долучитися до протестів, аналізуючи історію пошукових запитів, придбання книг, перегляди відео. Система може виявляти приховані зв'язки між людьми через метадані соцмережі: спільне перебування в одній локації або схожі патерни онлайн-активності. Те, що раніше вимагало місяців роботи агентури, тепер робиться онлайн через аналіз цифрового сліду.
Щоб почати прослуховувати квартиру драматурга, Візлеру довелося фізично проникнути туди і встановити мікрофони в стінах. Зараз достатньо одного кліка по зараженому посиланню і смартфон перетворюється на ідеального шпигуна. Програми на кшталт Pegasus непомітно встановлюються на телефон, надаючи повний доступ до листувань у месенджерах, фотографій, геолокації та паролів.
Камера й мікрофон вмикаються дистанційно, записуючи все, що відбувається навколо, навіть коли телефон здається вимкненим. Шпигунське ПЗ може підміняти повідомлення, створювати фальшиві докази або непомітно видаляти "небезпечну" інформацію. На відміну від громіздких мікрофонів Штазі, які можна було знайти, сучасні троянські програми невидимі. Кожен громадянин носить у кишені пристрій, який може транслювати його життя спецслужбам добровільно і за власні гроші.
У фільмі драматург зміг написати п'єсу про самогубства в НДР і надрукувати її на схованій друкарській машинці. Зараз ШІ-системи можуть аналізувати текст ще на етапі написання. Алгоритми скануютьслова в Google Docs і виявляють "підривні" теми, метафори, алюзії, особливо якщо ви надаєте доступдо своїх документів зовнішнім програмам. Система розпізнає стиль автора, порівнюючи з базою даних інших текстів, і навіть якщо ви пишете під псевдонімом, ШІ впізнає ваш стиль за частотою вживання слів, структурою речень та улюбленими метафорами.
Алгоритми можуть виявляти приховані смисли: що насправді означає "сіра хмара" в контексті твору, чи не є концепція "темного лісу" (dark forest) метафорою режиму. Система може автоматично блокувати"небезпечні" тексти ще до публікації або звітувати про них, а їхніх авторів вносити в списки підвищеної уваги для влади.
ШІ навіть здатний прогнозувати, який резонанс може викликати твір, аналізуючи реакцію схожої аудиторії на подібні тексти в минулому. Творчість стає прозорою для алгоритмів, які спроможні бачити підтекст краще за людей-цензорів у Штазі.
Якщо Штазі реагувало на скоєні "злочини думки", то сучасні системи їх передбачають. Це як у фільмі Minority Report з Томом Крузом, тільки замість екстрасенсів працюють алгоритми, а замість убивств передбачають політичну нелояльність. Системи спроможні аналізувати мільйони точок даних: від придбань та банківських транзакцій до маршрутів пересування та споживання контенту.
Штучний інтелект може виявляти патерни, які передують "небезпечній поведінці": людина почала частіше відвідувати певні райони, змінила коло спілкування, купує незвичні товари, читає "неправильні" онлайн-книги. Алгоритми можуть створювати "індекс ризику" для кожного громадянина, прогнозуючи ймовірність участі в протестах, поширення "шкідливої" інформації чи контактів з опозицією.
Системи можуть навчатися на історичних даних та автоматично підвищувати рівень спостереження за "групами ризику", рекомендувати блокувати банківські рахунки, обмежувати пересування чи відправляти на "профілактичні бесіди".
У світі вже використовують ШІ-алгоритми в предикативній поліції: LASER у Лос-Анджелесі, PredPol у Нью-Йорку, SARA в Мемфісі. Багато проєктів є у Європі. Деякі неурядові організації, які наглядають за поліцією, уже рапортують про значні ризики дискримінації в діях поліції, яка використовує предикативні алгоритми.
Штазі вело паперові досьє на підозрюваних, але висновки робили люди, а покарання вимагали бюрократичних процедур. Системи соціального рейтингу, як у Китаї, автоматизують весь процес: від спостереження до покарання. Кожна дія громадянина оцінюється в балах: перейшов дорогу на червоне світло – мінус 5, критикував владу в соцмережах – мінус 50, доніс на сусіда – плюс 20.
Алгоритми в Китаї збирають дані з усіх джерел: камер спостереження, транзакцій в WeChat, історії придбань, поведінки в інтернеті. Перша серія третього сезону серіалу "Чорне дзеркало", яка називалася "Під укіс" або Nosedive англійською, ще в 2016 році показала, як може працювати така система ще до того, як вона була впроваджена в Китаї, і до чого це призводить. Подивіться, якщо не бачили.
Низький рейтинг обмежує можливості: не можна купити квиток на швидкісний потяг, узяти кредит, влаштувати дитину в хорошу школу. Система створює цифрове гетто для "неблагонадійних" без судів і в'язниць. Рейтинг враховує коло спілкування: дружба з людиною з низьким балом знижує і твій рейтинг. Це змушує уникати "токсичних" контактів. Візлер мав вирішувати, чи лояльний драматург, а алгоритм робить це автоматично, призначаючи покарання в режимі реального часу.
Поєднання цих технологій створює систему контролю, про яку Штазі могло лише мріяти. Основні ризики очевидні та загрозливі.
По-перше – безпрецедентна масштабованість. Якщо раніше спецслужби могли стежити лише за обраними "підозрілими", то тепер алгоритми обробляють дані мільйонів людей, виявляючи "небезпечні" патерни в реальному часі.
По-друге – автоматизація дискримінації. Алгоритми, навчені на упереджених даних, дискримінують цілі групи, створюючи цифрове гетто для "неблагонадійних".
По-третє – підрив основ демократії. Коли кожен крок може бути використаний проти тебе, люди починають себе цензурувати, що вбиває свободу думки і слова.
По-четверте – відсутність підзвітності. На відміну від офіцера Штазі, який міг зробити моральний вибір, алгоритми працюють у "чорній скриньці" без можливості оскарження. Ці технології вже розгортаються, часто без контролю, публічного обговорення чи розуміння довгострокових наслідків для людської свободи.
Більшість цих тем детально розкриті в книжках. Так, Кеті О'Ніл у Weapons of Math Destruction у 2017 році фокусувалася на конкретних механізмах алгоритмічної несправедливості. Вона показувала, як непрозорі математичні моделі, що використовуються в поліції, судах і системах соціального забезпечення часто підсилюють дискримінацію під виглядом об'єктивності.
Алгоритми створюють замкнені цикли: людей з певних районів частіше перевіряє поліція, тому там фіксується більше порушень і тому алгоритм направляє туди ще більше патрулів. Те, що виглядає як нейтральна математика, стає інструментом системного пригнічення. Ми в США це бачили самі.
Шошана Зубофф у The Age of Surveillance Capitalism у 2020 році, ще до появи сучасних ШІ-моделей, попереджала, що неконтрольований капіталізм нагляду загрожує основі демократії та людської автономії. Те, що розроблялося для таргетованої реклами, може і буде використовуватися для таргетованих репресій.
Кейт Кроуфорд в Atlas of AI розвінчує міф про нейтральність штучного інтелекту. Вона доводить, що ШІ-системи завжди підтримують владні структури та інтереси їх творців. Коли авторитарна держава впроваджує алгоритми масового стеження, вона не просто автоматизує старі методи Штазі, а створює принципово нову систему контролю, де влада бачить усе, залишаючись непрозорою для громадян. Кроуфорд називає це "реєстром влади", який закріплює та посилює нерівності.
Те, що для Штазі вимагало армії інформаторів та кілометрів паперових досьє, тепер роблять ШІ-алгоритми. Найважливіше зараз – усвідомити, що технології вже тут, вони не зникнуть і нам доведеться навчитися жити у світі, де приватність стає розкішшю, а анонімність – майже неможливою. Питання в тому, чи встигнемо ми виробити нові правила гри для такого світу. Скоріш за все, ні і нам з цим жити далі.
