Цифровий таємний суд

Алгоритми створюють досьє про вас.

У недавній серії подкастів під назвою Instaserfs, колишній водій Uber на ім'я Мансур дав страшний опис нового комп'ютеризованого робочого місця. По-перше, компанія намагалася переконати його взяти грабіжницький кредит на купівлю нового автомобіля. Мабуть, програма вважала, що у нього високий ризик порушення договору. По-друге, ніхто з Uber ніколи не відповідав йому особисто - він тільки отримував автоматичні текстові повідомлення та електронні листи. Цей стиль нагляду був серією ультиматумів прийми-це-або-йди - такий собі закодований цифровий бос.

Потім компанія раптом стала знімати на свою користь все більшу частину доходу від нього та інших водіїв. І, нарешті, те, що здалося Мансуру найбільш обурливим: його робота могла бути припинена без повідомлення, якщо кілька пасажирів дали йому одну зірку, оскільки це може перетягнути його рейтинг в середньому нижче 4,7. За його словами, у Uber немає реальної процедури апеляції або іншої належної правової процедури для рейтингової системи, яка може миттєво позбавити водія роботи - вона просто перемелює числа.

Історія Мансура - це стисла розповідь про давні тенденції в області кредиту і зайнятості і вона ні в якому разі не унікальна. Інтернет-магазини живуть у страху перед «стратою Google» - раптовим, загадковим падінням у рейтингу пошукових систем, якщо вони зробили щось, що гуглівські алгоритми виявлення спаму розцінили як шахрайство. У США шукають роботу в Walmart та інших великих компаніях проходять загадкові «особистісні тести», які обробляють їх відповіді нерозкритими способами. І білі комірці стикаються з CV-сортувальними програмами, які можуть занизити або повністю проігнорувати їх кваліфікацію. Один алгоритмічний аналізатор резюме вирішив, що всі 29 000 людей, які претендували на «більш-менш стандартну інженерну посаду» недостатньо кваліфіковані.

Дитинство Інтернету закінчилося. У міру того як онлайнові простори дорослішали, Facebook, Google, Apple, Amazon та інші потужні корпорації встановлювали правила, які регулюють конкуренцію серед журналістів, письменників, кодерів і фірм електронної комерції. Uber, Postmates та інші платформи додають програмний, цифровий вимір до таких звичних професій як водіння і робота в сфері послуг. Кіберпростір - це більше не втеча від «реального світу». Тепер це сила, що керує ним за допомогою алгоритмів: схожі на рецепт набори інструкцій з вирішення проблем. Від пошуку Google до звідництва OkCupid, програми впорядковують і завантажують сотні змінних в чисті, прості інтерфейси, ведучи нас від запиту до рішення. Відповідями управляє складна математика, але вона прихована з уваги, або через секретність, встановлену законом, або через внутрішню складність, яку сторонні не здатні розгадати.

Алгоритми набувають все більшого значення, оскільки підприємства, які рідко сприймаються як високотехнологічні, витягли уроки з успіхів інтернет-гігантів. Дотримуючись поради Джеффа Джарвіса (Jeff Jarvis) - «What Would Google Do» («Що б зробив Google»), - вони збирають дані про працівників і клієнтів, використовуючи алгоритмічні інструменти для прийняття рішень, щоб відокремити бажане від непотрібного. Компанії можуть проаналізувати ваш голос і кредитну історію, коли ви їм телефонуєте, щоб визначити, чи відповідаєте ви статусу «ідеальний клієнт», або ви просто «марна трата» часу і ресурсів, якої можна знехтувати. Epagogix радить кіностудіям, які сценарії купувати, ґрунтуючись на тому, наскільки вони збігаються з минулими успішними сценаріями. Навіть винороби використовують алгоритмічні рішення, засновані на статистичному аналізі погодних умов та інших характеристик хороших і поганих років далекого минулого.

Коли мова йде про вини або фільми, ставки не дуже високі. Але коли алгоритми починають впливати на ключові можливості працевлаштування, кар'єрного зростання, охорони здоров'я, освіти і кредиту, вони заслуговують більшої уваги. Американські лікарні використовують орієнтовані на великі дані системи, щоб визначити пацієнтів з високим ризиком, і ці визначення формуються даними досить далекими від традиційних медичних записів. IBM тепер використовує алгоритмічні інструменти оцінки для сортування співробітників по всьому світу за критеріями економічної ефективності, але оберігає топ-менеджерів від такого інвазивного нагляду та оцінки. У сфері державного управління алгоритмічні оцінки небезпеки також можуть призвести до збільшення термінів для засуджених, або чорних списків для мандрівників. Оцінка кредитоспроможності пускає мільярди доларів на кредити, але методи оцінки залишаються непрозорими. Середній позичальник може втратити десятки тисяч доларів за все життя через неправильно або несправедливо оброблені дані.

Ця тенденція до використання все більшого обсягу даних, щоб ранжувати і оцінювати нас все більш неясними способами, може здатися неминучою. Тим не менш, в точному розвитку таких комп'ютеризованих методів сортування немає нічого автоматичного. Пошукові системи, наприклад, є парадигматичними прикладами алгоритмічної технології, але їх нинішній вид і функції багато в чому зобов'язані юридичним заходам. Наприклад, завдяки діям Федеральної комісії з торгівлі в 2002 році, закони про захист споживачів США вимагають відокремлення реклами від неоплаченого, «органічного» контенту. У світі, де фірми по роботі із засобами реклами постійно намагаються затушувати відмінність між змістом і «природною рекламою», цей закон має значення. Регулятори Європейського союзу зараз намагаються забезпечити, щоб непотрібна, застаріла або упереджена інформація не потрапляла в результати «пошуку на ім'я» - серйозне завдання в епоху, коли багато потенційних роботодавців гуглять інформацію про тих, кого вони розглядають як потенційних працівників. ЄС також стимулював пошукові системи взяти до уваги людську гідність - шляхом, наприклад, задоволення прохання «жертви фізичного насильства, яка просила, щоб результати, що описують напад, видалили із запитів її імені».

Такі суперечки породили рух за алгоритмічну відповідальність. На Governing Algorithms, конференції 2013 року в Нью-Йоркському університеті (New York University), вчені та активісти об'єдналися для критичного аналізу результатів алгоритмічних процесів. Сьогодні ці вчені і активісти сприяють раціональному діалогу про алгоритмічну відповідальність або скорочено # algacc. Подібно руху за «доступ до знань» (A2K) у 2000-ті, # algacc привертає увагу до важливої проблеми соціальної справедливості 2010-х.

Деякі в діловому світі воліли б бачити роботу цієї спільноти, яка закінчилася, перш ніж вона навіть почалася. Представники і лобісти страховиків, банків і великого бізнесу в цілому вважають, що ключові алгоритми заслуговують «залізний» захист торгової таємниці, тому вони ніколи не можуть вивчатися (не кажучи вже про те, щоб їх піддати критиці) сторонніми особами. Але юристи раніше вже оскаржували таке засекречування, і зроблять це знову.

Регулятори можуть зробити орієнтовані на дані фірми більш відповідальними. Але, по-перше, вони повинні бути обізнані про багато випадків, коли бізнес-обчислення можуть бути проведені невірно. Дані, що використовуються, можуть бути неточними або некоректними. Алгоритмічне моделювання або аналіз можуть бути упередженими або неприйнятними. До того ж використання алгоритмів, як і раніше, непрозоре в багатьох ключових секторах - наприклад, ми можемо навіть не знати, чи оцінюють нас наші роботодавці згідно з секретною формулою. Насправді, однак, на кожному етапі алгоритмічного прийняття рішень, прості правові реформи можуть ввести основні засоби захисту (наприклад, належну правову процедуру і антидискримінаційний закон) в комп'ютерну епоху.

Всім відомо, якими недостовірними можуть бути звіти про кредитні операції і як важко їх виправити. Але кредитні історії насправді є однією з найбільш регульованих сфер економіки даних, з потужним захистом, доступною для підкованих споживачів. Набагато більшу тривогу викликає тіньовий світ тисяч в основному нерегульованих брокерів даних, які створюють досьє людей без відома цих людей, згоди і часто без права на перегляд або виправлення. Якась випадкова пляма на вашій репутації може увійти в випадкову базу даних без вашого відома, а потім потрапити в сотні інших цифрових досьє, нібито для того щоб повідомити про стан вашого здоров'я, фінансове становище, компетентність або судимість.

Цей новий цифровий паралельний світ може зіпсувати репутацію. Одну жінку приватний брокер даних помилково звинуватив у тому, що вона продає метамфетамін, і потрібні були роки, щоб виправити запис - роки, протягом яких домовласники і банки відмовляли їй у житлі і кредитах. Ситуація з державними базами даних може бути ще гірше, в США, наприклад, невинних людей зганьбили «Звіти про підозрілу діяльність», або неточні записи про арешти. Обидві проблеми турбували нещасних громадян протягом багатьох років. Жадібність до даних як державних, так і ринкових акторів означає, що недостовірні записи можуть швидко поширюватися.

У ситуації, коли неправдива інформація, що дискредитує, може миттєво поширюватися між базами даних, але потрібні місяці або роки біганини і адвокатських зусиль, щоб все виправити, архітектура даних дефектна спочатку. Майбутні системи репутації повинні дозволити усувати стигму настільки ж швидко, як вони сприяють її поширенню. Це не є нерозв'язною проблемою: Конгрес США ухвалив «Закон про справедливу кредитну звітність» 1970 року для регулювання практики збору даних кредитними бюро. Розширення і модернізація її засобів захисту буде створювати підзвітність, механізми об'єктивної оцінки і виправлення в системах даних, які зараз створюються тільки з інтересів швидкого прибутку, а не з інтересів громадян.

Проблеми збору даних виходять за межі неточності. Деякі методи роботи з даними є занадто інвазивними, щоб допускатися в цивілізованому суспільстві. Навіть якщо претенденти так відчайдушно потребують роботи, що згодні на відеозйомку у ванній кімнаті в якості умови зайнятості, закон про конфіденційність повинен покласти край подібним операціям. Збір цифрових даних також може переходити кордон. Наприклад, колишня співробітниця міжнародної служби електронних перекладів Intermex стверджує, що її звільнили після того, як вона відключила додаток, який дозволяв фірмі постійно відстежувати її місце розташування.

Зверніть увагу, що у роботодавця для такого стеження крім вуаєризму можуть бути міркування бізнесу. Він може виявити, що співробітники, які завжди вдома о 8 вечора, як правило, краще працюють на наступний день, а потім поступово вводити стимули, або навіть вимога такої поведінки для всього свого персоналу. Скільки б обізнаність про кожен момент життя працівника не додавала прибутку, демократичне суспільство має цьому протистояти. Між роботою і неробочим часом повинна зберігатися деяка межа.

Обмеження на збір даних розчарують знавців Big Data. Генеральний директор ZestFinance гордо заявив, що «всі дані - це кредитні дані», тобто, для прогностичного аналізу можна взяти практично будь-який фрагмент інформації про людину, проаналізувати, чи відповідає характеристика свідомо кредитоспроможним людям, і відповідним чином екстраполювати цю інформацію. Такі дані можуть включати в себе сексуальну орієнтацію або політичні погляди. Але навіть якщо б ми знали, що прихильники Джорджа Буша більш схильні затримувати виплати за рахунками, ніж виборці Джона Керрі, чи насправді це знання, яке ми довіряємо нашим банкам або кредитним реєстраторам? Чи це знання, яким вони повинні володіти? Шлюбне консультування може розглядатися як сигнал про нестабільність, що насувається, і призвести до підвищення процентних ставок або зниження кредитних лімітів - проти однієї американської компанії, CompuCredit, вже був висунутий судовий позов (без визнання правопорушення) саме за це. Але така інтимна інформація не повинна бути монетизована. Занадто багато знавців великих даних прагнуть аналізувати всю уловлювану інформацію, але коли їх маячні фантазії про ідеально відомий світ стикаються з базовими цінностями, вони повинні поступитися.

У той час як більшість прихильників конфіденційності зосередилися на питанні збору даних, загроза, що виходить від бездумного, поганого, або дискримінаційного аналізу цілком може бути сильнішою. Розглянемо «ймовірну оцінку успіху зайнятості», яка значною мірою залежить від раси претендента, його поштового індексу або відсутності роботи в поточний момент. Кожна з цих частин даних може бути безневинною або навіть доречною в правильному контексті. (Наприклад, фірма Entelo намагається підібрати заявників з числа меншин для фірм, які хочуть більше різноманітності.) Але вони також вимагають ретельного вивчення.

Розгляньмо спочатку расизм. Існує довга і тривожна історія дискримінації меншин. Збережені антидискримінаційні закони у сфері зайнятості вже забороняють упередженість, і можуть призвести до великих штрафів. Таким чином, багато прихильників алгоритмічного прийняття рішень скажуть, навіщо турбуватися про нашу нову технологію? Дискримінація в будь-якій формі, будь то особиста, технологічна, що там ще - вже заборонена. У кращому випадку це наївно. Алгоритмічні процеси прийняття рішень разом з персональними та соціальними даними від суспільства отримують і проблему дискримінації. Суспільство рясніє даними, які часто є простими провідниками дискримінації - такі, наприклад, поштові індекси.

Розглянемо змінну, яка виглядає, на перший погляд, менш проблемною: місяці з останнього місця роботи. Такі дані можуть допомогти роботодавцям, які воліють працівників швидко переходять з роботи на роботу - або посприяти дискримінації щодо тих, хто потребує вільного часу, щоб оговтатися від хвороби. Стурбовані потенційно дискримінаційним впливом таких міркувань, деякі юрисдикції заборонили роботодавцям в оголошеннях про вакансії уточнювати, що від безробітних заявки не приймаються. Це похвальний політичний крок, але незалежно від його достоїнств, який вплив у нього буде, якщо роботодавці ніколи не бачать резюме, виключені алгоритмом, який відсіює тих, чий останній запис старішає, ніж кілька місяців? Великі дані можуть легко перетворитися на складний інструмент для поглиблення вже поширених форм нечесних практик.

Правоохоронці майбутнього могли б виявити, що важко дізнатися всі змінні, які задіяні в рішеннях про видачу кредиту і прийому на роботу. Захищені комерційною таємницею, багато алгоритмів залишаються непроникними для зовнішніх спостерігачів. Коли їх спробують розкрити, позивачі можуть зіткнутися з Уловкою-22. Обґрунтовано стурбовані тим, щоб зупинити збір компромату, суди можуть виносити рішення про запит документів, тільки якщо у позивача накопичилася деяка кількість доказів дискримінації. Але якщо ключовим суб'єктом, який приймав рішення, був безликий секретний алгоритм, тоді що є основою для початкової підозри в дискримінації?

Насправді, після прийняття «Закону про рівні кредитні можливості» (1974), американські регулятори часто рекомендують фірмам використовувати алгоритми для прийняття рішень. Регулятори хочуть уникнути нераціональної або підсвідомої упередженості людей, які приймають рішення, але, звичайно, люди, які приймають рішення розробили ці алгоритми, сформували дані, і вплинули на їх аналіз. Жоден «шар коду» не може створити рівне ігрове поле «вмикай і працюй». Завжди будуть необхідні політика, людське судження і право. Алгоритми ніколи не допоможуть уникнути суспільства.

Органи влади повинні забезпечити, щоб алгоритми, які вони просувають, служили своїм декларованим цілям, а не руйнували їх. Іпотечна криза дає хороший приклад правового провалу в минулому та інноваційне рішення для нього. Рейтингові агентства Moody's і S&P, наприклад, використовують алгоритмічні оцінки кредитоспроможності, даючи дозвіл штампувати сумнівні іпотечні цінні папери (MBS's) в якості AAA - це найвищий рівень кредитоспроможності. Рейтингові агентства використовували алгоритмічні способи оцінки платоспроможності за кредитами для формального присвоєння сумнівним MBS (цінних паперів, забезпечених закладною) найвищого рейтингу ААА. Ці ерзаці дозволяють у свою чергу залучати потік грошей для низькоякісних кредитів. Критики стверджують, що агентства змінили свої методи рейтингу для того, щоб більше залучити тих, хто продає цінні папери, забезпечені закладною. Рейтинг AAA (визначення найвищої кредитоспроможності) після зміни методу може означати щось дуже відмінне від попередніх, але багатьом інвесторам не вистачає знань параметру ліквідації зобов'язань з одними цінними паперами і укладення угод з інших.

Для вирішення цієї проблеми, закон Додда - Франка вимагає, щоб рейтингові агентства розкривали суттєві зміни у своїх методах. Така відкритість допомагає учасникам ринку розуміти «підноготну» рейтингу ААА, а не бездумно вважати, що він завжди гарантував, і завжди буде гарантувати певний рівень надійності. Як вам скаже будь-який інвестор, інформація - це влада, а кредитні рейтинги не обов'язково інформація - це просто скорочення.

У той час як кредитні рейтинги оцінюють вартість цінних паперів, алгоритмічна оцінка споживачів оцінює людей, а також будь-яке число параметрів, у тому числі (але аж ніяк не тільки) їх кредитоспроможність. Як показала доповідь Всесвітнього Форуму з питань конфіденційності The Scoring of America в 2014, існують тисячі таких оцінок. Коли відповідальна особа вирішує їх використовувати, вона або вона зобов'язані точно пояснити ранжованим і класифікованим людям, які саме дані використовувалися, як вони були проаналізовані, і як потенційні помилки, упереджене ставлення або порушення закону можуть бути ідентифіковані, виправлені або оскаржені. У різних областях, починаючи від банківської справи і зайнятості до житла і страхування, алгоритми цілком можуть бути «ділниками королів», вирішуючи, хто отримає роботу або буде звільнений, хто отримає підвищення, а хто знижений на посаді, хто отримає 5 відсотків або 15 відсотків процентної ставки. Люди повинні бути в змозі зрозуміти, як вони працюють, або не працюють.

Зростаюча індустрія «прогностичної аналітики» буде противитися цій пропозиції, заявляючи, що її методи оцінки і класифікації людей заслуговують абсолютного захисту і статусу комерційної таємниці. Така інтелектуальна власність добре захищена відповідно до чинного законодавства. Тим не менш, влада може умовою фінансування зробити використання або розголошення даних і методів, що використовуються підрядниками. Влада уряду використовувати свої важелі впливу в якості замовника величезна, і він може скасовувати контракти компаній, які, наприклад, використовують секретні алгоритми для прийняття рішень про прийом на роботу або кредитні рішення на основі сумнівних даних.

У США прийшов час, щоб федеральні кошти витрачалися на створення відкритого алгоритмічного прийняття рішень, а не просто платилися за будь-які інструменти, які придумали підрядники. Ми не стали б терпіти парки, нашпиговані підслуховуючими пристроями, які записують кожну розмову, або відмову у вході в громадські туалети тим, кому секретні програми приписали «ризик вандалізму». Ми повинні мати однакові і справедливі оцінки приватного життя з боку тисяч алгоритмічних систем, які уряд прямо або побічно фінансує щороку.

Деякі вербувальники клінічних досліджень виявили, що люди, які володіють мінівенами, у яких немає маленьких дітей, а також підписані на безліч каналів кабельного телебачення, більш ймовірно будуть страждати ожирінням. Принаймні, в їх базах даних, і, можливо, в інших, що володіють мінівеном, бездітні, любителі кабельного ТБ раптом перетворюються на нову групу - «схильні до ожиріння», і цей висновок є новою порцією даних, створених про цих людей.

Подібний логічний висновок може бути сам по собі небагато і означає. Але як тільки люди ідентифіковані таким чином, він може легко бути об'єднаний і рекомбінований з іншими списками, скажімо, списками хмарчних покупців, або частих покупців фаст-фуду - які кристалізуються в судження. Новий алгоритм Facebook миттєво відзначає людей на фотографіях, ґрунтуючись на типі тіла або пози. Святий Грааль алгоритмічної репутації - це найповніша база даних, можливо, кожного університету, що об'єднує кредит, телекомунікації, місце розташування, покупки і десятки інших потоків даних у цифрового двійника.

Наскільки б вони не були обізнані про наш ріст, або вагу, або стан здоров'я, збирачам даних вигідно зберігати класифікацію туманної. Людина може, в принципі, висунути судовий позов про захист честі і гідності проти брокера даних, який хибно стверджував, що людина хвора на діабет. Але якщо брокер вибирає нечітку класифікацію, таку як «член стурбованого діабетом домогосподарства», це для судів виглядає набагато більшою мірою як думка, ніж факт. Набагато складніше довести, що думки є дискредитуючими - як вам довести, без всяких сумнівів, що ваша сім'я в якійсь мірі не «стурбована діабетом»? Але більш м'яка класифікація може призвести до таких же невигідних результатів, що і більш строго фактична класифікація.

Подібні арбітражні стратегії можуть залучити інші фірми. Наприклад, якщо роботодавець каже вам, що він не прийме вас на роботу, тому що ви діабетик, це явно незаконно. Але що, якщо існує якась евфемістична термінологія, яка оцінює вашу «витривалість» як працівника? Навіть якщо оцінка частково заснована на інформації, пов'язаній зі здоров'ям, це може виявитися практично неможливо довести, тому що кандидати майже ніколи не знають, що впливає на рішення роботодавця не проводити співбесіду або не давати їм роботу. Роботодавець може навіть стверджувати, що не знає, що входить в оцінку. Дійсно, в якийсь момент в процесі прийому на роботу або оцінки, заявники можуть зіткнутися з менеджерами або фахівцям з кадрів, які насправді не знають, що склало рейтинг «витривалості». Коли такий антидискримінаційний закон вимагає від позивачів довести намір роботодавця використовувати заборонені класифікації, невігластво може бути блаженством.

Ці проблемні ситуації буде набагато легше регулювати, до того як вони встигнуть стати широко поширеними і повсюдними діловими практиками. Комісія з рівних можливостей зайнятості (КСРТ) розглядає спори, що випливають з особистісних тестів роботодавців, які містять питання, які, схоже, призначені виявляти образ думок, пов'язаний з психічними розладами, але не пов'язаний з солідною професійною кваліфікацією або продуктивністю. Ці дослідження повинні продовжуватися, і поширитися на зростаючий клас алгоритмічних оцінок минулої або ймовірної роботи. У деяких випадках простого розкриття та аналізу алгоритмічних оцінок не достатньо, щоб зробити їх справедливими. Швидше, їх використання слід заборонити у важливих ситуаціях, починаючи від працевлаштування до житла, від отримання кредиту до освіти.

Коли проблеми з алгоритмічним прийняттям рішень стають відомі громадськості, великі фірми, як правило, грають у гру музичної експертизи. Юристам кажуть, що ті не розуміють код; юристи і самі з цим згодні. Програмісти чують на свою адресу, що не розуміють закон, і не схильні заперечувати. Економісти, соціологи і фахівці з етики чують і те, і інше.

По правді кажучи, знадобилося поєднання обчислювальних, юридичних і соціальних наукових навичок, щоб розкопати кожен з розглянутих вище прикладів - настирливий збір даних, поганий або упереджений аналіз і дискримінаційне використання інформації. Співпраця між експертами в різних областях може призвести до ще більш важливої роботи. Наприклад, правознавці Райан Кало (Ryan Calo) з Університету штату Вашингтон (University of Washington), і Джеймс Гріммельман (James Grimmelmann) з Університету штату Меріленд (University of Maryland), разом з іншими фахівцями з етики, запропонували критерії для оцінки алгоритмічної маніпуляції змістом і людьми. Засновані на добре зарекомендували себе емпіричних методах соціальних наук, їх моделі можуть і повинні, використовуючи алгоритми, інформувати керівництво фірм і державних органів.

Емпірики можуть бути розчаровані секретним характером алгоритмічного процесу прийняття рішень. Вони можуть працювати з правознавцями та активістами, щоб відкрити його певні аспекти (через принцип свободи інформації та справедливу обробку даних). Журналісти, у свою чергу, об'єднавшись з програмістами і суспільствознавцями, також можуть викрити нові технологію збору, аналізу та використання даних, що вторгаються в приватне життя, і підштовхнути регуляторів до боротьби зі злісними правопорушниками.

Дослідники виходять за рамки аналізу існуючих даних і приєднуються до коаліцій незалежних спостерігачів, архівістів, прихильників відкритих даних, а також адвокатів суспільних інтересів, щоб забезпечити більш збалансований набір «сировини» для аналізу, синтезу і критики. Соціологи та інші повинні серйозно поставитися до життєво важливого і довгострокового проекту по забезпеченню того, що алгоритми виробляють справедливу і релевантну документацію. В іншому випадку штати, банки, страхові компанії та інші сильні актори будуть виробляти все більш недоступні дані про суспільство і людей і володіти ними. Алгоритмічна відповідальність - це великий проект, що вимагає навичок теоретиків і практиків, юристів, соціологів, журналістів та інших. Це невідкладне глобальне завдання, для здійснення якого небайдужі та активні експерти шукають підтримки.

Світ сповнений алгоритмічних рішень. Помилкова або дискримінаційна частина інформації може позбавити когось роботи або кредитів. Дуже важливо, щоб громадяни мали можливість бачити і регулювати цифрові досьє гігантів бізнесу та державних установ. Навіть якщо хтось переконаний, що ніяку інформацію не слід «видаляти», що кожні вчинені кимось промах і помилка повинні бути зафіксовані навічно - це все ще зберігає важливі рішення, які будуть прийматися на основі обробки даних. Алгоритми можуть бути більш відповідальними, дотримуються справедливості і гідності, за які боролися покоління. Завдання носить не технічний, а політичний характер, і першим кроком є закон, який дасть людям можливість "