5. Первым уходит редкое
Глава пятая
Ночь, письмо
Половина второго. Он дописывает письмо, которое надо было отправить ещё вчера, и торопится так, что печатает с опечатками и тут же их правит.
Фамилия адресата польская, с четырьмя согласными подряд. Он набирает её по памяти, не уверенный в одной букве.
Под словом всплывает красная волнистая черта.
Он её не видит — он уже ставит точку и тянется к мыши.
А в это время программа делает то единственное, что умеет. Она сравнивает набранное со словарём. Такого слова в словаре нет. Значит, отклонение. Значит, ошибка.
В настройках, поставленных когда-то давно и с тех пор забытых, стоит галочка «исправлять сразу».
Курсор дёргается сам собой. Четыре согласные схлопываются в две привычные. Красная черта исчезает.
Он нажимает «отправить» и идёт спать.
Ничего не произошло. Программа отработала безупречно: нашла отклонение от нормы и устранила его. Она не отличила опечатку от имени человека — но она и не должна была. Для неё это одно и то же: незнакомая последовательность букв.
Через неделю адресат ответит, и в подписи будет стоять его настоящая фамилия, но никто уже не станет сверять.
Клетка, третий час пополуночи
В том же теле, тремя этажами ниже сознания, идёт обычная ночная работа.
В одной из клеток кожи, готовящейся делиться, происходит разрыв. Проходящая частица или случайно оказавшийся рядом активный обломок молекулы — неважно; двойная нить перебита поперёк, в одном месте, сразу с обеих сторон.
Через доли секунды к разрыву стягивается то, что положено: белки-датчики опознают свободные концы, к ним сходятся ферменты. Всё это происходит без всякого замысла — просто у этих молекул такая форма, что они прилипают именно сюда.
И дальше происходит то, чего в правильной работе быть не должно.
Обычно поломка чинится по второй нити: против каждой буквы стоит своя, и восстановить утраченное — механическая задача. Но здесь перебиты обе. Сверять не с чем: образец уничтожен вместе с оригиналом.
Клетка не останавливается и не зовёт на помощь — некого звать. Она делает единственное, что остаётся: сводит концы и сшивает их.
На стыке при этом пропадает несколько букв. Не по неаккуратности. Их некуда взять.
Утром человек ничего не почувствует. В его теле такое случается десятки раз за ночь, и почти всегда без последствий. Просто в этой клетке текст стал на несколько букв короче, и теперь она будет передавать дочерним клеткам именно такой.
Остров, зима
Она делает иглу из птичьей кости.
Ей за пятьдесят, руки уже не те, и работа идёт медленно: расщепить, обточить о камень, провертеть ушко тонким остриём, не сломав. Игл в стойбище четыре, все её. Мужчины смотрят, как она работает, но никто не садится рядом и не берётся повторить: холодно, дел много, а иглы пока есть.
Она умирает в конце зимы, и её хоронят с почестями.
Иглы остаются. Ими шьют ещё год, потом два. Одна ломается, другая теряется. Последнюю используют, пока ушко не разбивается совсем.
Никто не садится делать новую. Не потому, что не хотят, — потому что никто не помнит, как расщепляют кость, чтобы она не пошла вдоль, и под каким углом держат остриё, чтобы не сломать ушко на последнем повороте.
Через два поколения на острове не умеют шить одежду по фигуре. Через пять — не помнят, что когда-то умели.
Никакой катастрофы не случилось. Никто не заметил утраты в тот день, когда она произошла. Просто людей было мало, а умение сложное, и однажды оно не перешло.
Оговорка, которую надо сделать сразу: этот случай — не выдуманный, но и не бесспорный. Утрата умений на изолированном острове описана, а объяснение через малое число носителей оспаривается до сих пор.
Лаборатория, восемь месяцев спустя
Он запускает цикл в пятницу вечером, чтобы к понедельнику было что показать.
Замысел простой и на вид безупречный. Модель порождает текст. На этом тексте обучается следующая. Та порождает свой. Обучается третья. Данных больше не нужно покупать — система кормит себя сама.
В субботу он смотрит первые числа и не верит.
Показатели выросли. Не удержались на месте — выросли. Текст стал глаже, ровнее, увереннее. По той мере, которой измеряют, насколько форма фразы отвечает её смыслу, второе поколение лучше первого, третье лучше второго.
Он пишет коллеге в мессенджер: кажется, работает.
К третьему поколению он уже прикидывает, как это подать.
Дальше начинается спуск, и сначала он его не замечает, потому что общие числа держатся. Уходит другое, невидимое в среднем: редкие обороты, необычные конструкции, странные, но совершенно правильные варианты. Модель перестаёт знать про исключения.
К шестому поколению текст ровный до одури. К десятому показатель ниже, чем был в самом начале.
Он отматывает назад, ищет ошибку в коде и не находит. Кода там ровно столько, чтобы негде было ошибиться.
Ошибки и не было.
Три вещества, одна поломка
Теперь посмотрите на четыре ночи подряд.
Программа не различила опечатку и имя. Клетка не восстановила буквы, потому что второй нити не было. Умение исчезло, потому что носителей было мало и передача оказалась неточной. Модель усреднилась, потому что училась на том, что сама же породила.
Механизмы здесь разные до полной несовместимости. В одном случае словарь и подстановка. В другом ферменты и химические связи. В третьем демография и обучение подражанием. В четвёртом конечная выборка и способ выбирать следующее слово.
Ни одной общей детали.
А поломка одна.
Починить можно только то, у чего есть образец для сверки. Другого значения у слова «починить» нет: это устранение расхождения с чем-то, что считается правильным.
Уберите образец — и у чинящей системы остаётся ровно два выхода.
Не трогать. Тогда запись стоит без охраны и постепенно осыпается.
Привести к типовому. Тогда её уничтожает тот самый механизм, который должен был её беречь.
Третьего нет — не по бедности воображения, а потому что отличить единственное в своём роде от испорченного, не имея образца, нечем.
И отсюда все три следствия, которые вы только что видели.
Первым уходит редкое. Не худшее, не лишнее, не ошибочное — именно редкое. То, что встречается один раз на тысячу, при пересказе, при пересборке, при обучении на выборке либо попадает в неё, либо нет. Если не попало — то навсегда: восстанавливать не из чего.
Изнутри это не видно. Более того, начало вырождения выглядит как улучшение: текст глаже, речь ровнее, ткань исправнее. Убирается ведь именно то, что торчало.
Никто не виноват. Ни программа, ни клетка, ни люди на острове, ни инженер. Каждый механизм работал безупречно и делал ровно то, для чего существует.
Откуда это известно
Ни одно из сказанного мне не принадлежит, и стоит назвать, кому.
То, что исправление ошибок требует избыточности, доказано в теории связи в сорок восьмом году. Все системы исправления — от кода на компакт-диске до контрольной цифры в номере карты — работают за счёт того, что часть сведений записана дважды. Нет дублирования — нет исправления, и это математика, а не биология.
То, что длина текста, который можно копировать без вырождения, ограничена точностью копирования, показано в теории происхождения жизни. За порогом текст не гибнет, а растворяется: копии расходятся, и через несколько поколений от исходного не остаётся ничего. Сам порог и условия его существования оспариваются до сих пор.
Вырождение моделей, обучаемых на собственном выходе, описано и измерено: сначала теряются хвосты распределения, потом сходится и середина. Причины разобраны по именам — конечность выборки, ограниченная выразительность, смещения обучения. Отдельно установлено, что даже безупречная модель, порождая текст, переизбыточно представляет частое: способ выбирать следующее слово нарочно предпочитает вероятное.
Утрата умений при малом числе носителей описана в культурной антропологии, и там же идёт спор о том, объясняется ли она численностью.
И соединение всего этого одной чертой тоже не ново: сходство вырождения моделей с катастрофой ошибок отмечено ещё до меня.
Так что новизны здесь никакой. Единственное, что делает этот текст, — ставит четыре случая рядом, чтобы стало видно то, что не видно поодиночке.
Зачем это знать
Затем, что отсюда следуют две вещи, и обе неудобные.
Первая. То в вас, что существует в единственном экземпляре, не защищено ничем. Не по бедности медицины. Ваш геном продублирован — вторая нить; тип вашей клетки продублирован — соседи по ткани; а рисунок связей, в котором лежит вчерашний разговор, не продублирован нигде. Ни в геноме, ни у родных, ни в облаке.
Для ремонтной системы новое воспоминание неотличимо от повреждения. Оно ведь и правда выглядит как поломка: вчера этих связей не было, сегодня есть, никакое правило их не предписывает.
Красная волнистая черта.
Вторая. Всякая система, которая учится у самой себя, поедает собственные хвосты. Человек, читающий только то, что подтверждает уже думаемое. Область науки, цитирующая саму себя. Модель, обученная на своём выходе. Механизмы разные, исход общий: сначала становится глаже, потом исчезает редкое, потом рассыпается середина.
Спасает одно, и оно не техническое: источник, лежащий снаружи. Вторая нить. Соседи по ткани. Данные, которых система не порождала. Человек, который умеет делать иглу и садится рядом, пока умеет.
Утро
Он просыпается в семь, вспоминает про письмо и открывает почту проверить, ушло ли.
Ушло.
Он пробегает глазами последнюю строку, задерживается на фамилии — и не замечает ничего. Она выглядит совершенно правильно. Она выглядит так, как выглядят все фамилии, которые он видел в жизни.
Это и есть та самая беда, о которой весь текст.
Не то, что систему починки можно обмануть.
А то, что она сработала.
ЧАСТЬ ТРЕТЬЯ. ПОЧЕМУ ПРИРОДА НЕ СДЕЛАЛА ИНАЧЕ