Персонализированное право и фундаментальные права
Published: Dec. 20, 2020
Latest article update: Nov. 23, 2023
В последние годы в научном сообществе возрос интерес к идее персонализированного права, предполагающего разработку и реализацию индивидуализированных правовых норм посредством алгоритмической обработки данных подобно тому, как компании персонализируют свои услуги с использованием технологий больших данных. Статья ставит целью определить место и роль персонализированного права, оценить риски и последствия персонализации в условиях становления цифровой экономики. В работе обосновывается теоретическая интерпретация персонализированного права сквозь призму концепции «мягкого позитивизма», обеспечивающего равновесие между социологической фактичностью права и нормативизмом. В исследовании раскрываются содержание и основные признаки, а также дается определение понятия «персонализированное право».
Проводится анализ соотношения персонализированного права с фундаментальными правами, в рамках которого оцениваются риски и последствия персонализации. В частности, существует вероятность дискриминации вследствие ошибочного принятия решения алгоритмом вразрез с реальной волей лица. Алгоритмическая персонализация представляется оправданной на первых порах только в тех сферах правоотношений, где минимален риск нарушения фундаментальных норм и вторжения в пространство общественной дискуссии. Подчеркивается, что транспарентность публичного сектора и процесса принятия решения алгоритмом на основе данных имеет ключевое значение в условиях персонализированного права, но в то же время способна обесценить его вследствие оппортунистических практик. Обнаруженные вызовы приводят к выводу о востребованности в будущем профессионалов, обладающих фундаментальными правовыми знаниями и необходимым уровнем познания в области компьютерных наук, которые могут исполнить роль независимых экспертов и органа контроля, обеспечивающего права субъекта персональных данных.
Keywords
Цифровая экономика, права человека, персональные данные, Большие данные, оборот данных, дискриминация, персонализированное право, принятие решений на основании исключительно автоматизированной обработки персональных данных, комплаенс, детализированные правовые нормы
«Если машины могут обеспечить соблюдение закона, это здорово.
Но для начала должен быть закон».Лоуренс Лессиг
Число девайсов, ежеминутно «снимающих цифровые отпечатки» с наших действий, реакций и атрибутов каждодневной деятельности, экспоненциально растет. Рост качества и количества данных, сегодня часто именуемых нефтью цифровой эры, наряду с инструментами их аналитики, не только способствуют инновациям в экономике, но и обусловливают смену парадигмы в правовом регулировании.
С момента проведения в 2018 г. на базе Юридической школы Чикагского университета симпозиума “Personalized Law” в научном сообществе стал оживленно обсуждаться феномен персонализированного права1, выражающийся в том, что данные и технологии их обработки в контексте правового регулирования создают предпосылки для фундаментальных изменений относительно порядка принятия и реализации правовых норм: единообразные правила могут уступить место детализированным нормам, которые «примеряются» к нуждам, ожиданиям, особенностям и условиям жизни конкретного человека, открывая возможности для достижения беспрецедентной степени регулятивной точности.
При всех своих достоинствах концепция персонализации заставляет задуматься о соотношении такой модели регулирования с фундаментальными правами, в частности, с принципом равенства, гарантируемым ст. 19 Конституции Российской Федерации2, и запретом дискриминации, закрепленным в ст. 1 Протокола № 12 к Конвенции о защите прав человека и основных свобод3 (далее — Европейская конвенция). Кроме того, индивидуализация права немыслима без динамичной обработки различного рода персональных данных (например, о скорости движения автомобиля или о покупках в супермаркетах), аспекты защиты которых в цифровую эпоху обретают более чувствительный характер. В частности, на способность правительств, организаций и физических лиц в условиях цифровизации «отслеживать, перехватывать и собирать информацию» и, как следствие, ущемлять право на свободу мнений и право на неприкосновенность частной жизни, указано в Резолюции Генеральной Ассамблеи ООН от 18.12.2013 № 68/167 «Право на неприкосновенность личной жизни в цифровой век»4. Ученое сообщество также обращает внимание на остроту вопросов интерпретации и объяснения логики принятия алгоритмом тех или иных решений — в особенности для таких областей, как безопасность, здравоохранение и право (Abdrakhmanova et al., 2019).
Значимость сказанного для российской правовой системы подтверждается политикой перехода к цифровой экономике и цифровому здравоохранению. Постановлением Правительства РФ от 26.12.2017 № 1640 «Об утверждении государственной программы Российской Федерации «Развитие здравоохранения» определена подпрограмма «Развитие и внедрение инновационных методов диагностики, профилактики и лечения, а также основ персонализированной медицины»5. Приказом Министерства здравоохранения РФ от 24.04.2018 № 186 утверждена «Концепция предиктивной, превентивной и персонализированной медицины»6. Отмечается, что в России имеются все ресурсы для развития персонализированной медицины и что отсутствие внедрения ее подходов может обернуться отставанием показателей экономического роста7. Однако, как видно, нормативные сдвиги в сторону персонализации на основе современных технологий имеют фрагментарный характер и лежат преимущественно в административно-правовой плоскости. Очевидно, что сейчас необходим комплексный и всесторонний анализ научным сообществом данного направления в развитии права.
Впервые идею о правовых нормах, приведенных в соответствие с условиями рынка и индивидуальными характеристиками его участников, высказал Ян Айрес, который еще в 1989 г. предпринял попытку разработать теорию «оптимальной индивидуализации» (Ayres, 1993). Ученый, в частности, опирался на исходные данные в виде наблюдений И. Эрлиха и Р. А. Познера (Ehrlich & Posner, 1974), которые, проводя экономический анализ законотворчества, писали, что «в качестве правонарушения можно квалифицировать не просто езду на автомобиле со скоростью выше шестидесяти миль в час … но езду, являющуюся необоснованно быстрой в конкретных обстоятельствах». В 2006 г. Дж. Гейс поставил вопрос о том, должны ли законодательные органы принимать более сложные правовые нормы, которые могут обеспечить «кастомизированное» регулирование для различных рынков или даже различных участников правоотношений (Geis, 2006). Весомый вклад в проработку данного направления также сделал один из авторов теории подталкивания К. Санстейн (Sunstein, 2013), указавший, что, в принципе, персонализированные нормы могут быть предусмотрены в отношении каждого индивида. Рассуждая о персонализации диспозитивных норм, ученый полагал, что в идеальном представлении они сочетают в себе преимущества как универсальных (стандартизированных) норм, так и активного свободного выбора самого лица. Как и универсальные нормы, они упрощают жизнь, не требуя активных действий со стороны индивида, но при этом обеспечивают достижение полезного эффекта за счет технологических возможностей, как если бы такие активные действия были предприняты, обеспечивая тем самым точность в регулировании без необходимости затрачивания большого количества времени. Автор одним из первых указывает на серьезность вопроса защиты права на неприкосновенность частной жизни, а также обращает внимание на значимость фактора доверия публичным институтам, риски пристрастности или недостаточной информированности государственных служащих.
Само понятие «персонализированное право» (англ. “personalized law”) впервые было упомянуто в 2014 г. в работе А. Пората и Л. Страхилевица (Porat & Strahilevitz, 2014) как амбициозная идея персонализировать не только диспозитивные нормы наследственного, договорного права или законодательство в сфере раскрытия информации, но право в целом.
Весомый вклад в развитие теоретических оснований персонализированного права был сделан немецким исследователем Ф. Бендером (Bender, 2020), обозначившим и противопоставившим две концепции персонализации. Первая концепция — эмпирический субъективизм, имеющий в своей основе немецкую доктрину юриспруденции интересов, повлиявшую на становление американской доктрины правового реализма. Данная траектория персонализации права согласуется с идеями поведенческой экономики и юриспруденции и опирается на конкретные, осязаемые предпочтения и волю индивидов (Bender, 2020). Вторая траектория персонализации является, по сути, контрконцепцией, предложенной самим автором, и именуется как «нормативный объективизм». В качестве конечного легитимирующего источника права данный подход признает не сугубо волю субъектов, а объективные политические соображения, в основе которых лежит ценностно-ориентированный подход (Bender, 2020).
Автор критикует как социологические теории, так и юридический позитивизм, который, по его мнению, возводит в закон эмпирически распознаваемые предпочтения, не обеспечивая теоретического базиса для анализа содержания принятой нормы. Персонализация в экстремальном ее понимании, по замечанию ученого, аналогично транслирует индивидуальные предпочтения в правовые нормы, даже если эти предпочтения являются дискриминационными (Bender, 2020). Более того, реальные предпочтения индивидов бывают незаметны, т. к. могут непрерывно изменяться и противоречить друг другу. В итоге получается, что персонализированные правовые нормы, в основе которых лежат лишь предпочтения, обретают в значительной степени оторванный от реальности, иллюзорный характер. Исходя из этого, возникает необходимость в дополнительном критерии, выходящего за рамки эмпирического субъективизма как подхода к персонализации права (Bender, 2020).
Нормативный объективизм как подход к персонализации права рассматривает нормативно-правовые акты в качестве основанных на некоем авторитете, стоящем выше воли конкретного субъекта, и подразумевает телеологический, ценностный анализ правовых норм, методологически характерный для юриспруденции ценностей, используемой в немецком праве (Bender, 2020). В рамках юриспруденции ценностей законодатель призван установить баланс частных и публичных интересов путем построения некой системы ценностей, в системе координат которой «происходит поиск решения в каждом конкретном случае». При формировании системы ценностей принципиальное значение отводится конституции (Kurzinski-Singer, 2011). Напротив, подходы, сущность которых состоит лишь в воспроизведении предпочтений (юриспруденция интересов) или максимизации благосостояния (экономический анализ права), и которые утверждают нейтральность по отношению к ценностям, по мнению Ф. Бендера, потенциально тоталитарны. Так, например, максимизация благосостояния — это только одна из ценностей, и она должна быть сбалансирована с принципами справедливости и недискриминации (Bender, 2020).
Тем не менее, как представляется, немецкий исследователь недостаточно всесторонне оценивает социологический подход к пониманию персонализированного права, несколько упуская такие особенности права в представлении социологии, как значительная «диверсифицированность, подвижность и относительность». В действительности, фундаментальные нормы, ценностный характер которых признается автором, также могут иметь социологические корни. Так, школа естественного права и права народов, начало которой положил Г. Гроций, основывалась на социологических данных: в частности, Ж.-Ж. Руссо развивал идею естественного состояния, исследуя «быт племен до открытия Америки европейцами» (Karbon’ye, 1986). Это, в свою очередь, соответствует позитивистскому правопониманию Г. Харта, согласно которому естественно-правовые установки, выраженные в законе, не всегда обязательно обусловлены моралью, а являются результатом объективно сложившихся социальных взаимодействий. Дж. Раз, продолживший развивать концепцию своего учителя, также отмечал, что содержание закона обусловлено прежде всего социальным фактом (Nekhayev, 2019).
Социологический подход к пониманию персонализированного права также позволяет учитывать существование внутри одной правовой системы разнородных правовых пространств (в терминологии Ж. Карбонье) — частных групп, в которых может возникать спонтанное правотворчество. Это справедливо, если мы говорим не о праве в строго догматическом понимании, а о правовой системе в целом, охватывающей весь комплекс юридических явлений, существующих в обществе (Karbon’ye, 1986). Это могут быть обычаи и сложившиеся устойчивые практики внутри мелких групп, которые не охватываются издаваемыми государством нормами, что характерно для сложных правовых систем. В принципе, персонализированное право посредством технологий больших данных может объять и правовые явления, ныне незаметные для взгляда государственных органов и существующих стихийно, и, не разрушая их, придать сложившимся институциональным правилам большую четкость и действенность.
Таким образом, очевидна сущностная связь персонализированного права с конкретным теоретическим подходом и концепцией правопонимания, от которых зависит практический эффект его реализации и влияния на правовой статус отдельного лица. Исходя из вышесказанного, представляется, что, с одной стороны, нельзя приоритизировать социологический подход в чисто эмпирическом и субъективистском смысле, не признающим за законодательно оформленной нормой как таковой должной обязывающей силы, как, например, в представлении правовых реалистов. С другой стороны, нормативистский подход демонстрирует минимальную детерменированность нормативных предписаний в социальных практиках или же полное ее отсутствие. Неопозитивистская концепция Г. Харта наиболее полно отражает все достоинства, как социологических течений, так и позитивистских представлений о праве, в условиях формирования доктринального подхода к пониманию персонализированного права. Концепция предполагает существование неких фундаментальных норм и соответствие юридической действительности специфическим моральным принципам и ценностям, не игнорируя естественно-правовые и социологические взгляды на сущность права (Kasatkin, 2008).
Отвлекаясь от теоретических аспектов персонализированного права, целесообразно осветить его историко-экономические предпосылки, содержание и признаки с учетом практико-ориентированной логики преобладающих на сегодняшний день исследований, а также возможные сферы персонализации права. Отталкиваясь от концепции мягкого позитивизма, планируется сформулировать авторское определение понятия «персонализированное право», предварительно установив для этой цели соотношение персонализированного права с фундаментальными правами.
Согласно определению, данному И. Земаном (Zeman, 1966), информация — это «сведения, полученные в процессе познания, отражающие объективные факты и закономерности мира в системе точных понятий, дающих возможность предвидения и преобразования действительности в интересах общества». Эта дефиниция интересна тем, что в ней указана функция информации, выражающаяся в предоставлении возможности предвидеть и преобразовывать реальность и подчеркивающая генетическую взаимосвязь информации с понятиями «управление» и «регулирование». Ученые в области информационного права также отмечают, что большая информированность управляющего позволяет снизить долю неопределенности и риска, являющихся составной частью принимаемых решений (Khizhnyakov & Lebedev, 2011), а анализ информации занимает предваряющую ступень в ходе подготовки и принятия решений по отношению к другим функциям управления (Khizhnyakov & Lebedev, 2011).
Данные особенности информации можно назвать ключевыми с точки зрения цели персонализированного права и содержания его понятия. В демократическом государстве право выполняет важную роль регуляции общественных отношений сообразно сигналам, которые исходят от субъектов этих правоотношений и формируют содержание нормативно-правового корпуса.
Однако в привычном нам виде право максимально унифицировано и однообразно, что вполне можно объяснить экономическими причинами. Создание казусного законодательства, предусматривающего разного рода исключения (возможно, перекрестные), учет в нем огромного количества нюансов общественных отношений были бы связаны с необходимостью осуществления несоизмеримых затрат. Создание такой сложной системы правил явило бы собой сложность не только для законодателя. Адресаты норм могли бы столкнуться с трудностями в понимании и реализации правовых норм. Отсутствие единообразия норм также могло бы стать барьером при рассмотрении споров.
К. Буш полагает, что стандартизированность правовых норм явилась прямым следствием возможностей человека и общества обрабатывать информацию, и представляет собой продукт доцифровой, индустриальной эпохи (Busch, 2019), направленный на охват как можно большего количества субъектов. Современное право, возможно, в некоторой степени по инерции, продолжает данные тенденции. Хотя, как видно, стандартизированное правовое регулирование было направлено на снижение трансакционных издержек, с другой стороны, оно порождало или не учитывало другие — психологические, поведенческие (Porat & Strahilevitz, 2014), временные, а также связанные с асимметрией информации. Как в случае с написанием завещания, неиспользование предоставляемой законодателем диспозиции для многих людей может быть следствием слишком высоких издержек (Porat & Strahilevitz, 2014), в связи с чем они смиряются с действием норм, работающих «по умолчанию».
Цифровая революция, позволившая улучшать продукты и сервисы и оптимизировать решения на основе информации, имеет потенциал преодоления вышеуказанных барьеров. Благодаря машинному обучению стало возможным обнаруживать кластеры и паттерны в данных, позволяющие строить прогнозы на базе взаимосвязи различных параметров.
Так, в одном из последних исследований персонализированное право определяется как направленное на использование преимуществ технологических прорывов в области сбора данных и науки о данных, которые позволяют передавать, хранить, организовывать и анализировать данные эффективно и своевременно с целью «специально разработать» (англ. “tailor”) правовые нормы под конкретных лиц (Elkin-Koren & Gal, 2019). Например, вместо установления единого скоростного лимита скоростные лимиты могут быть персонально «спроектированы» под конкретных водителей на основании их опыта, водительской истории и дорожных условий в режиме реального времени (Elkin-Koren & Gal, 2019). Правореализация в отношении субъектов может происходить мгновенно посредством смартфонов, умных автомобилей и других смарт-устройств. Тем самым закон может «взвесить» все имеющие значение факты, тотчас проанализировать, какое поведение допустимо «в каждом возможном сценарии», как следствие, максимизируя полезный эффект правового регулирования (Barry et al., 2020).
Немецкие правоведы Г. Григолейт и Ф. Бендер (Grigoleit & Bender, 2019) указывают на генетическое родство персонализированного права с двумя изменениями технологической сферы: во-первых, со значительным ростом объема собираемых и доступных данных (англ. “Big Data”), и, во-вторых, с повсеместным распространением современных информационно-коммуникационных систем, позволяющим довести информацию до каждого отдельного лица и тем самым связывающим такое лицо с остальным обществом (англ. “Big Link”). В целом, идею того, как два этих явления способны преобразовать правовой ландшафт, авторы выражают в следующем: на первом этапе при помощи алгоритмов может быть обработан огромный массив доступных в отношении конкретного индивида данных с целью выявить посредством корреляций на основе различных косвенных показателей поведенческие паттерны и предпочтения, которые затем учитываются в процессе разработки нормативных предписаний. На втором этапе современные девайсы делают возможным коммуникацию предписаний соответствующим индивидам или правоприменителям. Как следствие, правовые нормы приобретают тенденцию к большей персонализации, а право в целом может быть весьма существенно (или даже бесконечно) персонализировано (Grigoleit & Bender, 2019).
В частности, персонализация права обладает потенциалом в сфере раскрытия информации потребителю. Вообще, нормы потребительского законодательства о раскрытии информации основаны на модели среднего потребителя, являющегося в известной мере внимательным и информированным. Эффективность такого единого регулятивного подхода ставится под сомнение, поскольку раскрытие информации в стандартизированном формате часто не имеет пользы и, более того, может нанести ущерб, т. к. человек оказывается перегруженным иррелевантными сведениями, в массиве которых теряется то, что действительно актуально (Busch, 2019). Посредством персонализации раскрытие информации может стать более осмысленным: в случае, если беременная женщина приобретает лекарство и в инструкции мелким шрифтом указано, что оно имеет определенные побочные последствия для беременных, эта информация будет подсвечена и явным образом доведена до внимания как наиболее релевантная.
Вместе с тем не будет ошибкой сказать, что персонализация в некоторой степени уже присутствует в отечественном законодательстве. П. 10.1 Постановления Правительства РФ от 23.10.1993 № 1090 «О Правилах дорожного движения»8 устанавливает различные допустимые значения скорости движения в зависимости от типа используемого транспортного средства, характера местности и класса автомобильной дороги, а также обязанность учитывать интенсивность движения, особенности и состояние транспортного средства и груза, дорожные и метеорологические условия, в частности видимость в направлении движения. Можно представить, что в цифровых реалиях данные условия могут быть достоверно установлены автоматически и доля неопределенности в вопросе необходимости корректировки управления автомобилем, соответственно снижена. В этом отношении, наверное, можно говорить о персонализированном праве не как о нечто совершенно новом, а как о «революции» в персонализации. Эта мысль находит подтверждение у профессоров Э. Дж. Кейси и Э. Ниблетта (Casey & Niblett, 2019), по словам которых «идея, что право должно наилучшим образом соответствовать релевантному контексту, который оно призвано регулировать, является очевидной и существует с момента возникновения права как такового».
Исходя из сказанного, представляется преждевременным говорить о взаимосвязи персонализированного права с цифровыми устройствами как об исключительной и неотъемлемой составляющей с точки зрения создания правовых норм. Электронные девайсы также не всегда могут быть необходимы для их реализации. Конечно, они задействуются непосредственно в случае, когда, например, врач, спешащий оказать медицинскую помощь, едет на автомобиле, на дисплее которого напрямую отображается скоростной лимит, а перекрестные светофоры активируют зеленый сигнал при его приближении. Однако можно представить ситуацию персонализированного налогообложения, когда данные о совершении человеком социально полезных действий учитываются налоговым органом и оптимизируют налогооблагаемую базу. Приведение в исполнение нормы или ее коммуникация лицу посредством информационных технологий в таком случае необязательны.
Обобщая сказанное, можно выделить следующие основные признаки персонализированного права: зависимость от степени распространенности и использования цифровых устройств и технологий; зависимость от количества и качества доступных данных, в особенности — персональных данных; правотворчество преимущественно на базе алгоритмической обработки и анализа данных; правореализация и доведение информации до субъекта, как правило, посредством смарт-устройств.
Между тем, аспекты обеспечения права на неприкосновенность частной жизни в условиях оборота данных в контексте персонализированного права побуждают человека понять для себя, какую меру детализации он хотел бы ожидать от правового регулирования. Намереваясь получить ответ на данный вопрос с позиции доктрины мягкого позитивизма, необходимо установить соотношение персонализированного права с фундаментальными правами.
Одним из основополагающих фундаментальных прав является право на свободу, закрепленное в ст. 22 Конституции РФ и ст. 5 Европейской конвенции. На первый взгляд, персонализация норм в соответствии с ожиданиями индивидов стимулирует свободу и автономию личности, поскольку с большей вероятностью корреспондирует специфическим предпочтениям и сопутствующим обстоятельствам, нежели нормативный правовой акт общего действия. Однако для того, чтобы убедиться, так ли это на самом деле, необходим более тщательный анализ юридической концепции свободы.
Свобода измеряется не только соответствием результата правореализации персональным ожиданиям и предпочтениям. Понятие свободы гораздо шире и содержит определенный элемент свободы выбора (Bratanovskiy & Ostapets, 2019), или свободы воли (англ. “agency element”). Полная свобода проявляется в возможности человека выбирать по своему желанию — в отсутствие подталкивания и навязывания выбора из ограниченного списка альтернатив. Данная концепция свободы тесно связана с рыночной экономикой и демократической организацией общества (Bender, 2020).
Подобная интерпретация принципа свободы приводится и сторонником классического либерализма Ф. А. Хайеком, который с опорой на идеи А. Смита признает ее «совершенную необходимость» в целях «дать место непредсказуемому и непредвиденному» (Khayyek, 2018), учитывая то обстоятельство, что «человеческое знание распылено», а централизованное планирование не способно в полной мере усваивать и контролировать информацию (Khayyek, 1992). Ученый указывает на необходимость отделять абстрактные нормы, т. е. законы, от «специфических команд-распоряжений», поскольку законы имеют «абстрактно-всеобщий характер», возникают спонтанным образом и никем не спроектированы. Они «наперед известны и определены для всех без изъятия»9.
Принимая во внимание либеральную концепцию правопонимания и соответствующую ей интерпретацию свободы, Ф. Бендер признает очевидным, что персонализация норм способствует повышению результативности (англ. “realization-dimension”), но значительно ослабляет свободу выбора (Bender, 2020).
Следует отметить, что персонализированное право ущемляет свободу воли индивида, также вследствие оценки алгоритмами лишь внешних аспектов поведения человека и риска не уловить постоянно меняющиеся предпочтения. Человек в таком случае может лишиться возможности приведения нормы в соответствие с реальными параметрами и ожиданиями (Bender, 2020). Несомненно, алгоритмы становятся все более совершенными и на удивительно высоком уровне способны «замерять» наши предпочтения. Тем не менее, их возможности применительно к возможности «считывать» настроения и интересы субъектов в целях регулирования общественных отношений можно легко переоценить.
Персонализированное право также может знаменовать сужение пространства частной инициативы и переход от фигуры «предпринимателя» к фигуре «потребителя» как наиболее доминантной. Это может быть проиллюстрировано на примере функции и роли договора в обществе. Если в контексте традиционного правового регулирования договор представляет собой главный образец реализации транзакционной автономии лица и является фундаментом социального порядка, основанного на рыночной модели, то в системе персонализированного права договор в значительной степени может быть вытеснен государственным регулированием, что создает благоприятную почву для установления патерналистского режима социальной организации. Данную точку зрения можно раскрыть на примере последствий ценовой персонализации. Так, алгоритмы не могут персонализировать диспозитивные нормы в узком смысле, т. е. ограничить свое распространение на такие свободно согласовываемые сторонами положения, как, например, гарантии (Bender, 2020). Они должны быть способны также каким-то образом модифицировать и цену. Ведь если контрагент, стремящийся обезопасить себя от рисков и получающий договорные гарантии, платит ту же цену за товар, что и нечувствительные по отношению к рискам акторы, последние, исходя из соображений справедливости, тоже захотят пользоваться преимуществами гарантий. Следовательно, ценовая чувствительность в системе персонализированных диспозитивных норм неизбежна. При заключении договора купли-продажи алгоритм, соответственно, должен определить, какие дополнительные издержки созданы для продавца включением гарантий. В то же время, если алгоритм имеет такую способность — утверждает Ф. Бендер — вероятно, он также должен суметь рассчитать и расходы на создание самого товара. Логично полагать, что алгоритм, обладающий подобными качествами, также сможет определить наиболее эффективный коэффициент прибыли (англ. “margin of gain”), и если в действительности алгоритм имеет настолько широкие возможности, он вполне способен симулировать (англ. “mimic”) функционирование рынка и в конечном итоге полностью его заменить. Ф. Бендер характеризует складывающуюся в этих условиях организацию общества как «микросоциализм» (Bender, 2020). Представляется, что в таком мире понятие свободы предпринимательства теряет привычно вкладываемый в него смысл.
Аналогичное прогнозное наблюдение отражено в труде профессора права Э. Познера и преподавателя курса проектирования цифровой экономики, д. э. н. Г. Вейла, согласившихся во мнении о том, что сегодняшние вычислительные мощности и методы машинного обучения создали условия для осуществления «укрупненного планирования, обобщения рыночных сигналов и масштабирования планирования на уровне функции полезности индивида». Такие сервисы, как Amazon, Uber и Netflix, по мнению ученых, уже сейчас успешны и способны реализовать «тотальное планирование с помощью распределенных вычислений и экосистемы из приложений, которые обеспечат долгосрочное администрирование поведения большого количества индивидов». Такое планирование будет не централизованным планированием как таковым, «но уже и не рыночным механизмом». В этой парадигме с использованием «распределенных компьютеров» происходит переход от рынка как способа функционирования экономики к распределенному планированию (Belyavskiy, 2020), где искусственный интеллект может взять на себя выполняемую на данный момент ценовой системой функцию «руководства» эффективным распределением благ (Isztin, 2019).
Персонализация на основе предпочтений также может ограничить свободу выбора в публичной сфере. Для демократии необходимо, чтобы закон был предметом прений на публичном форуме, исполняющего роль «рынка идей» (или «пространства идей») (англ. “marketplace of ideas”). Для того чтобы народ пользовался свободой воли, его представители также должны ею обладать. Однако в мире персонализированного права содержание многих законодательных актов может оказаться детерминированным не дискуссией народных представителей, а экспертами и учеными в области компьютерных наук, контролирующими алгоритмы (Bender, 2020). Кроме того, вызывает опасения возможность ненадлежащего использования данных для каких-либо узковедомственных целей — например, посредством придания «большего веса» в алгоритмах тем или иным характеристикам, способствующим достижению определенной политической выгоды.
Данные суждения порождают размышления и об аспектах внутренней свободы человека и связанных с этим негативных последствиях. В условиях персонализированного регулирования человек может ощущать себя несвободным, ограниченным в возможности демонстрировать разнообразные грани своей персоны в различных условиях. В качестве примера можно привести меры «сортировки пассажиров» в метро, о реализации которых в ближайшее время объявили в Китае. Согласно принятым мерам, для цели сокращения времени на проход через рамки металлоискателей и рентгеновскую проверку багажа в час пик планируется использование алгоритмов анализа внешнего вида, походки, жестов и других индивидуальных атрибутов, в результате которого будет приниматься решение о том, является ли тот или иной человек подозрительным, и происходить выборочное направление на досмотр10. Возникает мысль о том, не вторгаются ли эти акции в сферу действия презумпции невиновности и не будут ли они нарушать принцип недискриминации. Рассуждая о проблемах объективности алгоритмических систем, профессор Нива Элкин-Корен отмечает, что субъект может намеренно быть осторожным и рассудительным в большинстве сфер своей жизни, в то же время позволяя себе рискованные действия в такой области, где отсутствует возможность причинить вред другим людям (Elkin-Koren & Gal, 2019). Неизвестны гарантии того, что таким действиям не будет придаваться непропорционально большее значение, вследствие чего о данном лице алгоритм придет к выводам, аналогичным, например, степени рискованности опрометчивого водителя, представляющего опасность для пешеходов. В любом случае, очевидно, такое использование алгоритмов для целей персонализированного правоприменения вступает в конфронтацию с концепцией многогранности личности. Даже те люди, которые не признают ощущения морального дискомфорта в условиях слежки, соглашаются с тем, что эффект внутренней скованности может иметь место, когда слежка влечет за собой риск возникновения неблагоприятных последствий (Kaminski & Witnov, 2015). Испытываемые индивидом ощущения, в свою очередь, могут напрямую воздействовать на волю лица. Пример предпосылок к этому — китайская система социального кредита, на основе методов стимулирования и наказания способствующая формированию у индивидов конкретных паттернов поведения11. Указанная причинно-следственная связь неоднократно подтверждается в литературе: применение персонализированных «стандартов» в данном случае также представляет собой инструмент, который может в действительности придавать конкретную форму поведению субъектов персональных данных (Elkin-Koren & Gal, 2019).
Представляется, что такое воздействие обработки данных на человека объективно может способствовать ограничению его участия в определенной деятельности, данные о которой фиксируются, или использования девайсов, собирающих данные. Следовательно, существенно снизится количество доступных для обработки данных (Elkin-Koren & Gal, 2019).
Можно допустить, что персонализированное право при задействовании техник подталкивания в ряде случаев будет вступать в противоречие с принципом неприкосновенности человеческого достоинства (ст. 1 Хартии основных прав Европейского союза12), помещенным европейским законодателем перед нормой о праве на жизнь, и принципом достоинства личности (п. 1 ст. 21 Конституции РФ). Интересна в этой связи мысль Р. Дворкина (Dvorkin, 2004), который пишет, что без необходимости защиты человеческого достоинства утверждение об обладании лицом фундаментальным правом по отношению к государству (например, правом на свободу слова) не имеет смысла. Высказываемая теоретиком права идея человеческого достоинства предполагает существование способов крайне несправедливого обращения с человеком, «несовместимым с признанием его полноправным членом человеческого общества» (Dvorkin, 2004). Соглашаясь с приведенной логикой и рассуждая об особенностях принятия алгоритмических решений на основе больших данных, А. И. Савельев (Savel’yev, 2019) справедливо указывает, что «прогнозирование поведения» с использованием манипулятивных практик «дегуманизирует человека, упрощая его до ограниченного набора характеристик, выраженных в виде переменных, вводимых в прогнозную модель алгоритма».
Очередная проблема, потенциально ограничивающая реализацию принципа свободы, связана с тем, что в условиях правовой системы с высокой степенью персонализации возникают вопросы относительно уяснения содержания закона. В этом смысле можно говорить также о невозможности в определенных случаях реализовать конституционное право на информацию. В обычных условиях образованный человек может понять, как закон функционирует, обратившись к официальному тексту. Вместе с тем персонализированный закон может быть представлен в виде алгоритма и сложного набора взаимосвязанных, взаимоотсылающих норм. Это может вызвать необходимость обладания новыми навыками (например, в сфере науки о данных или программирования). Иначе может случиться, что даже законодатели будут испытывать сложности в понимании того, за что они проголосовали. Соответственно, если речь идет не просто о потребности в формальном разрешении определенного спора, персонализация может чинить препятствия для объективного анализа закона с целью установить, является ли он в целом «хорошим» (Verstein, 2019), правовым, справедливым.
В этой связи показательны решения Федерального Конституционного суда Германии, указавшего, что демократия предполагает в качестве необходимого условия непрерывные свободные дебаты между сталкивающимися между собой социальными силами, интересами и идеями, в процессе которых раскрываются и меняются политические цели, в результате которых общественное мнение придает предварительную форму политической воле. Это также подразумевает, что процедуры принятия решения органами, осуществляющими суверенную власть, и преследуемые политические цели в каждом случае должны быть в целом доступными для понимания и распознаваемыми. Данные соображения немецкий суд спроецировал на отношения государств внутри Европейского союза и признал в качестве необходимых критериев их интеграции13.
Безусловно, не каждое правовое предписание может быть эффективно рассмотрено на публичном или парламентском форуме. Тем не менее даже открытый дискурс в среде квалифицированных специалистов (ученых и практикующих юристов) имеет важнейшую демократическую легитимирующую силу, которая может быть кардинально уменьшена в результате глубоко укоренившейся алгоритмизации права (Bender, 2020).
Необходимо отметить, что угроза «рынку идей» еще более глубока и потому, что персонализация также влияет на самих участников дискурса, тем самым расшатывая его базис. Именно человеческое взаимодействие и общение обеспечивают согласованную позицию для принятия решения через призму нефактических, ценностных аргументов (в отличие от опоры на сугубо субъективные предпочтения). Для концепции гражданина, являющегося субъектом публичных дебатов, право судить является сущностным, тогда как потребитель может быть охарактеризован лишь определенным набором предпочтений. Можно предположить, что в мире персонализированного права одновременно с уменьшением ценности гражданина «пространство идей» рискует утратить не только свой предмет, но и субъектов (Bender, 2020).
Что касается принципа равенства (англ. “equality”), многие авторы не подвергают его глубокому критическому анализу — напротив, неоднократно подчеркивается, что персонализация может стимулировать равенство благодаря моделированию норм с учетом конкретных нюансов (Elkin-Koren & Gal, 2019).
Вместе с тем может бытовать и такое мнение, что персонализация и детализация де-факто несут в себе новые формы дискриминации, лишь замаскированные «техническим жаргоном». В сущности, есть конкретное опасение, что старые формы «грубой» дискриминации, полностью запрещенные на базе конституционно-правового регулирования, «вернутся через черный ход под маской психологически и научно обоснованного регулирования» (de Franceschi & Busch, 2018).
Многие авторы не усматривают противоречия между персонализированным правом и принципом равенства. Напротив, как утверждает Н. Элкин-Корен, персонализация права может уменьшить институционализированную дискриминацию (Elkin-Koren & Gal, 2019). В качестве примера можно привести укоренившуюся в потребительских отношениях невидимую, на первый взгляд, дискриминацию, вызванную использованием механизма перекрестного субсидирования, когда издержки, вызванные частой практикой возврата товара отдельными потребителями, закладываются в единую для всех покупателей цену за товар (Porat & Strahilevitz, 2014). Ф. Хакер отмечает, что принцип формального равенства может обусловливать применение разных норм, если анализ больших данных обнаруживает различия между индивидами (Hacker, 2017). В данном аспекте автор приводит позицию Суда справедливости Европейского союза, высказавшего утверждение о том, что дискриминация состоит лишь в применении разных правил к схожим ситуациям или в применении одного и того же правила к различным ситуациям14.
В дополнение к выводам суда хотелось бы отметить, что оценка релевантных индивидуальных различий должна быть составной частью законодательной процедуры, а не правоприменения. Этой позиции, в частности, придерживаются, А. де Франчески и К. Буш (de Franceschi & Busch, 2018). Авторы утверждают, что вопрос о том, отличаются ли две ситуации до такой степени, чтобы на них распространялся различный правовой режим, является нормативным, а не только эмпирическим. Исследователи также справедливо указывают на потребность в более проработанном теоретическом обосновании индивидуализации правовых норм.
Ф. Бендер гораздо более категоричен. По мнению ученого персонализация на основе личных предпочтений не может быть обоснована и, следовательно, неконституционна, если в перечень принимаемых во внимание алгоритмом предпочтений для принятия решения включены такие неоднозначные элементы, как, например, расовый фактор. Автор свидетельствует об очевидных сложностях критического анализа норм на базе ценностей, лежащих за пределами индивидуальных предпочтений (Bender, 2020).
На фоне высказываний авторов, утверждающих о совместимости персонализации права с принципом формального равенства благодаря усилению «осязаемости» релевантных индивидуальных различий (Hacker, 2017), важно выделить две особенности алгоритма, которые упускаются из виду и вызывают обоснованные опасения.
Первая особенность непосредственно связана с элементом субъективной воли и критерием объективности ее отражения алгоритмом (Grigoleit & Bender, 2019). Поскольку алгоритмы производят оценку предпочтений посредством анализа доступных данных, вполне можно допустить, что эти данные будут неполностью отражать реальную волю субъекта в конкретный момент времени, т. к. персонализированная норма опирается на презюмированные персональные предпочтения, отсутствие их в действительности делает норму произвольной.
Вторая особенность не связана с вопросом «улавливания» реальной воли лица, а относится лишь к внешнему аспекту — точности самого алгоритма. Существует опасение, что неточность анализа данных или неполнота данных, которые алгоритм должен принимать в расчет, могут способствовать формированию не соответствующих действительности профайлов. Необъективность может также вытекать из факта опоры алгоритма на ранее принятые им же самим решения (эффект домино). Представляется, что подобная непредсказуемость может привести к тому, что граждане будут действовать стратегически, намеренно стараясь избегать «попадания» определенных их действий (Elkin-Koren & Gal, 2019) в совокупность данных, анализируемых для принятия решения.
Помимо недостатков точности самого алгоритма человек также может намеренно «подгонять» факты, транслируемые в обрабатываемые алгоритмом данные, для достижения наиболее благоприятного для себя персонализированного правового режима. В таком контексте желание государства скрыть особенности функционирования алгоритмов для воспрепятствования манипулирования ими субъектов в интересах личной выгоды может быть вполне оправданным (Barry et al., 2020). Дело в том, что если в соответствии с принципом транспарентности, а тем более той логикой, что права и обязанности должны быть закреплены в законе15, алгоритмы являются прозрачными, то может возникнуть фактическое неравенство граждан вследствие существенных различий в уровне познаний в сфере информационных технологий или попросту неоднородности индивидуальных побудительных мотивов и проявления оппортунистического поведения. Получаемый на выходе результат в таком случае, безусловно, идет вразрез с изначальным смыслом персонализации и может сложиться так, что она будет приносить больше вреда, чем пользы (Barry et al., 2020). В качестве примера подобных нежелательных для регулятора действий можно привести случай Уго Батлера, который за короткое время возвел на первую строчку рейтинга авторитетного веб-портала рекомендаций TripAdvisor несуществующий ресторан16, ставший основным объектом внимания клиентской аудитории. Учитывая неудачи интернет-гигантов в борьбе с такого рода махинациями и демократически необходимую прозрачность порядка принятия решений алгоритмом, сложно представить, что люди не воспользуются возможностями для манипуляции персонализированными нормами в своих интересах. Таким образом, может возникнуть порочный круг, когда персонализация на основе скрытых алгоритмов может приводить к ущемлению права человека на информацию, а обеспечение их прозрачности — к получению необоснованной выгоды и социальному неравенству.
Сказанное позволяет взглянуть на стандартизированные правовые нормы с нового ракурса и обнаружить их некоторую недооцененность. Так, А. де Франчески и К. Буш (de Franceschi & Busch, 2018) отмечают, что, возможно, одним из преимуществ типифицированных правовых норм является то, что, имея приблизительный характер, они намеренно игнорируют персональные детали и тем самым даруют защитное пространство индивидуальной свободы, в которое право не ступает, и могут играть важную роль для социальной конструкции равенства. Ф. Бендер (Bender, 2020) также делает акцент на их преимуществах по сравнению с персонализированными нормами и высказывает сомнения относительно возможности каким-то образом обеспечить исключение из алгоритмического анализа больших данных неоднозначных факторов, требующих общественного обсуждения. Другими словами, неясно, существуют ли достаточные эффективные механизмы комплаенса для алгоритмов.
Принцип равенства, таким образом, отсылает каждую правовую норму к минимальным требованиям разумности, которым личные предпочтения могут удовлетворять только в связке с общеполитическими ориентирами (Grigoleit & Bender, 2019). Индивидуальные предпочтения относятся преимущественно к категории «сущего», однако для обретения ими правового характера необходимо наладить их взаимосвязь с категорией «должного».
По результатам проведенного исследования наиболее оптимальным доктринальным подходом к пониманию персонализированного права видится концепция «мягкого позитивизма», обеспечивающего равновесие между социологической фактичностью права и нормативизмом.
В качестве основных признаков персонализированного права предлагается выделить следующие: 1) зависимость от степени распространенности и использования цифровых устройств и технологий; 2) зависимость от количества и качества доступных данных, в особенности — персональных данных; 3) правотворчество преимущественно на базе алгоритмической обработки и анализа данных; 4) правореализация и доведение информации до субъекта, как правило, посредством смарт-устройств.
Исследование позволило обнаружить, что персонализированное право может противоречить праву на свободу, праву на информацию, праву на неприкосновенность частной жизни, принципам формального равенства и недискриминации, а также достоинства личности.
Автор предлагает определить понятие персонализированного права как систему принятых или признанных государством норм, индивидуализированных на основе анализа персональных данных лица, в том числе информации о его физиологических и психических характеристиках, культурных особенностях, интересах и предпочтениях, преимущественно посредством алгоритмической обработки данных с обеспечением мер, направленных на соблюдение прав и свобод человека.
Алгоритмы, предназначенные для разработки правовых норм, не должны превышать ту степень детализации на основе индивидуальных предпочтений, которая может привести к ущемлению свободы выбора субъекта, и должны учитывать общепризнанные ценности. Судья должен пользоваться свободой усмотрения в пределах фундаментальных ценностных норм, обеспечивая баланс между правовыми принципами и эффективностью алгоритмов.
Учитывая трудноразличимую многоаспектность проблематики имплементации фундаментальных прав в структуру алгоритмов, целесообразна подготовка в дальнейшем особых кадров — специалистов, обладающих одновременно фундаментальными юридическими знаниями, профессиональными навыками в области компьютерных наук и принимающих непосредственное участие в разработке алгоритмов для персонализированного правового регулирования и их аудите в интересах граждан.
Избрание профессионалов с такими компетенциями представительной властью в качестве независимых экспертов-наблюдателей также может способствовать обеспечению транспарентности и соблюдения прав человека.
В целях надлежащего функционирования системы персонализированной регуляции необходим менеджмент качества данных с точки зрения их достоверности и полноты, а также внедрение процедур аудита алгоритмов.
Как представляется, на первых порах можно допустить персонализацию в тех сферах правоотношений, где это проще осуществить и связано с наименьшими рисками для прав человека. В форме законодательного эксперимента можно провести персонализацию в области обязательного раскрытия информации или диспозитивных норм о механизмах договорной защиты. Институт наследования по закону также может быть такой «тестовой» сферой правоотношений, персонализированной на основе достоверных данных.
1. Abdrakhmanova, G. I., Vishnevskiy, K. O., & Gokhberg, L. M. (Eds.). (2019). Chto takoye tsifrovaya ekonomika? Trendy, kompetentsii, izmereniye: Doklad k XX Aprel’skoy mezhdunarodnoy nauchnoy konferentsii po problemam razvitiya ekonomiki i obshchestva [What is the digital economy? Trends, competencies, measurement: Report to the XX April International Scientific Conference on the development of economy and society]. Izdatel’skiy dom Vysshey Shkoly Ekonomiki.
2. Ayres, I. (1993). Preliminary thoughts on optimal tailoring of contractual rules. Southern California Interdisciplinary Law Journal, 3, 1-18.
3. Barry, J. M., Hatfield, J. W., & Kominers, S. D. (2020). To thine own self be true? Incentive problems in personalized law. San Diego Legal Studies Paper No. 20-439. https://doi.org/10.2139/ssrn.3536174
4. Belyavskiy B. A. (2020). «Vrag moyego vraga», ili Ob obyedinyayushchem potentsiale rynochnogo radikalizma. Retsenziya na knigu: Posner E. A. , & Weyl G. E. (2018). Radical markets: Uprooting capitalism and democracy for a just society. Princeton University Press [“The enemy of my enemy”, or on the unifying potential of market radicalism. Book review: Posner E. A., & Weyl G. E. 2018. Radical markets: Uprooting capitalism and democracy for a just society. Princeton University Press]. Ekonomicheskaya Sotsiologiya, 21(2), 76-90.
5. Bender, P. M. (2020). Limits of Personalization of default rules - Towards a normative theory. Working Paper 2020-02. Max Planck Institute for Tax Law and Public Finance.
6. Bratanovskiy, S. N., & Ostapets, O. G. (2019). Konstitutsionnoye pravo Rossiyskoy Federatsii: Uchebnik dlya vuzov [Constitutional law of the Russian Federation: Textbook for universities]. Direkt-Media.
7. Busch, C. (2019). Implementing personalized law: Personalized disclosures in consumer law and data privacy law. The University of Chicago Law Review, 86(2), 309-332. https://lawreview.uchicago.edu/publication/implementing-personalized-law-personalized-disclosures-consumer-law-and-data-privacy-law
8. Casey, A. J., & Niblett, A. (2019). Framework for the new personalization of law. The University of Chicago Law Review, 86(2), 333-358. https://lawreview.uchicago.edu/publication/framework-new-personalization-law
9. De Franceschi, A., & Busch, C. (2018). Granular legal norms: Big Data and the personalization of private law. In V. Mak, E. T. T. Tai, & A. Berlee (Eds.), Research handbook on data science and law. (pp. 17). Edward Elgar.
10. Dvorkin, R. (2004). O pravakh vser’yez [Taking rights seriously]. ROSSPEN.
11. Ehrlich, I., & Posner, R. A. (1974). An economic analysis of legal rulemaking. The Journal of Legal Studies, 3(1), 257-286. https://doi.org/10.1086/467515
12. Elkin-Koren, N., & Gal, M. S. (2019). The chilling effect of Governance-by-Data on data markets. The University of Chicago Law Review, 86 (2), 403-432.
13. Geis, G. S. (2006). An experiment in the optimal precision of contract default rules. Tulane Law Review, 80, Article 1109.
14. Grigoleit, H. C., & Bender, P. (2019). The law between generality and particularity - Chances and limits of personalized law. In C. Busch, & A. de Franceschi (Eds.), Data economy and algorithmic regulation: A handbook on personalized law (pp. 45). Beck C. H.
15. Hacker, P. (2017). Personalizing EU private law: From disclosures to nudges and mandates. European Review of Private Law, 25(3), 651-678.
16. Isztin, P. (2019). Eric Posner and E. Glen Weyl, radical markets: Uprooting capitalism and democracy for a just society. OEconomia, 9(4), 873-880. https://doi.org/10.4000/oeconomia.6984
17. Kaminski, M. E., & Witnov, S. (2015). The conforming effect: First Amendment implications of surveillance, beyond chilling speech. University of Richmond Law Review, 49, 465-518. https://lawreview.richmond.edu/2015/01/15/the-conforming-effect-first-amendment-implications-of-surveillance-beyond-chillingspeech
18. Karbon’ye, ZH. (1986). Yuridicheskaya sotsiologiya (V. A. Tumanova, Per. i Vstup.) [Legal sociology (V. A. Tumanova, Trans. and Intr.)]. Progress.
19. Kasatkin, S. N. (2008). Osnovnyye idei «Postskriptuma» Herbert L. A. Kharta [The main ideas of “Postscript” by Herbert L. A. Hart]. Vestnik Samarskoy Gumanitarnoy Akademii. Seriya “Pravo”, (1), 3-26.
20. Khayyek, F. A. (2018). Konstitutsiya svobody [The Constitution of Liberty]. Novoye Izdatel’stvo: Biblioteka Svobody.
21. Khayyek, F. A. (1992). Pagubnaya samonadeyannost’. Oshibki sotsializma [Pernicious arrogance. The mistakes of socialism]. “Novosti” pri uchastii izd-va “Catallaxy”.
22. Khizhnyakov, D. P., & Lebedev, S. D. (2011). Informatsionnyye bar‘yery v sisteme gosudarstvennogo upravleniya [Information barriers in the public administration system]. Nauchnyye Vedomosti BelGU. Seriya: Filosofiya. Sotsiologiya. Pravo, 2(87), 223-232.
23. Kurzinski-Singer, E. (2011). Yurisprudentsiya tsennostey kak osnova metodiki nemetskogo prava [Jurisprudence of values as the basis of the methodology of German law]. Nauchnyye Trudy Adilet, (1), 87-94. https://docplayer.ru/42965789-Yurisprudenciya-cennostey-kak-osnova-metodiki-nemeckogo-prava.html
24. Nekhayev, A. V. (2019). Plokhoy zakon kak chistoye pravo: Kriticheskiye zametki k filosofii prava H. L. A. Kharta [Bad law as pure law: Critical notes to the concept of law of H. L. A. Hart]. Vestnik TGU, (440), 72-80. https://doi.org/10.17223/15617793/440/10
25. Porat, A., & Strahilevitz, L. J. (2014). Personalizing default rules and disclosure with Big Data. Michigan Law Review, 112(8), 1417-1478. https://repository.law.umich.edu/mlr/vol112/iss8/2
26. Savel’yev, A. I. (2019). Na puti k kontseptsii regulirovaniya dannykh v usloviyakh tsifrovoy ekonomiki [Towards a data regulation concept in the digital economy]. Zakon, (4), 174-195.
27. Sunstein, C. R. (2013). Deciding by default. The University of Pennsylvania Law Review, 162(1), 1-57. https://scholarship.law.upenn.edu/penn_law_review/vol162/iss1/1
28. Verstein, A. (2019). Privatizing personalized law. The University of Chicago Law Review, 86(2), 551-580. https://lawreview.uchicago.edu/publication/privatizing-personalized-law
29. Zeman, I. (1966). Poznaniye i informatsiya. Gnoseologicheskiye problemy kibernetiki (R. Ye. Mel’tser, Per.) [Knowledge and information. Epistemological problems of cybernetics (R. E. Melzer, Trans.)]. Progress.