Уже около года все новостные издания только и делают, что трубят о нейросетях. Начиналось это с простых приколов, созданных для того чтобы ты один раз сказал ОГО, а теперь же это настоящий феномен. Но восторг от понимания возможностей сменился опаской по этому же поводу. И опаска не от абы кого, а от глав биг-тех индустрии, глав государств и профессоров технических институтов, которые высказываются против развития нейросетей, в попытке не дать им привести к мировому кризису. Но насколько такие опасения обоснованы?
Краткая историческая справка
Нейросети вещь далеко не новая. Математические модели подобных структур начали появляться еще в прошлом веке. Одна из первых математических моделей была названа перцептрон. Впервые она была опробована в виде электронной машины в 1960 году, и уже тогда могла распознавать некоторые буквы. Революцией это не стало — до 1975 года практическая разработка сетей застопорилась — у техники того времени не хватало вычислительных мощностей для обучения на больших объемах данных, да и в самой архитектуре и работе нейронов хватало проблем.
Но все еще шло теоретическое осмысление, благодаря чему в 1975 году эти проблемы постепенно решили — мощности начинали расти, а архитектурных проблем начало становиться все меньше.
В том же году была разработана первая многослойная сверточная нейросеть. В 80х нейросети научили самообучению и начали развивать, создав метод обратного распространения ошибки. В период до 2006 создавалось еще огромное количество самых разных и более совершенных методов. В 2006 же эти методы, в купе со сверточными и реккурентными нейросетями объединились в метод, под названием “глубокое обучение”.
Как раз благодаря “глубокому обучению” нейросети и начали развиваться не как интересная, но ненужная штука, а как полезная в быту вещь. Сначала теоретически, а позже и практически, “глубокое обучение” ставило все новые и новые рекорды. Флагманами в этом направлении стали 3 известных всем товарища — Apple, Google и Microsoft вместе с их обработчиками речи.
После своеобразного открытия “глубокого обучения” нейросети начали достаточно быстро развиваться. Но обеспечение их работы, по большей части, было абсолютно нерентабельным. Нужно было держать целый серверный кластер для постоянной и бесперебойной работы, и количество серверов могло исчисляться тысячами, и это только для одной нейросети.
Все меняется в 2017 году, когда Google представляет новую архитектуру и модель обучения под названием Трансформер.
Архитектуры
Теперь же пора разобраться в том, что такое нейронная сеть и как машина может понимать речь человека без посредников. Я это сильно упрощу, дабы не растягивать статью и потому что я вовсе не специалист в этой области, а если будет интересно, можете прочитать все это сами по ссылкам в источниках.
Есть такая штука у нас в голове, называется мозг. Мозг почти целиком состоит из нейронов. Нейроны, значительно упрощая, работают на электрохимических сигналах, изменяя их частоту и амплитуду. У нейрона есть несколько входов, на которые приходит этот самый сигнал, и один выход, с которого уже измененный сигнал выходит.
У нейронной сети, как аналога мозга, тоже есть нейроны. Они тоже получают на вход различные электрические сигналы, специально кодированные человеком и, преобразуя их как математическую функцию, отправляют их следующим нейронам.
Теперь разберемся с количеством — первая нейросеть, перцептрон, представляла собой всего один нейрон и являлась функцией вероятности. Мы подаем на вход картинку треугольника, а нейросеть, попиксельно разбирая ее, делает прогноз о том, является ли это треугольником или нет, и ответ с большей вероятностью и является итоговым. Вообще, нейросети являются прикладной реализацией теории вероятностей, просчитывающей все возможные факторы, доступные ей из входных данных.
Позже из этих нейронов начали собирать слои, дабы усложнить задачи и улучшить их выполнение. Слои бывают трех видов — входной, на который мы и подаем сигналы, скрытый, который ведет обработку не показывая промежуточный результат, и выходной слой, где полученные данные исходя из вероятности преобразуются в ответ. Если скрытых слоев нейросети больше одного, она называется глубокой.
Но как же нам все это великолепие обучить? В первых нейросетях функции искусственных нейронов просчитывались вручную, в связи с чем нейронов в системе было очень мало. С появлением метода обратной отправки ошибки стало легче — теперь можно, получив неправильный итог от нейросети, отправить его обратно по нейронам, а функции каждого будут корректироваться в процессе и автоматически. В угоду краткости не буду пояснять как, поскольку это очень сложный математический процесс. Но они страдали от одной проблемы — в большой нейросети при съеме данных с входного слоя мы могли не получить отражения изменений, поскольку внутри нейросети сигнал изменялся на изначальный.
Эту проблему решило создание новых архитектур и методов. Самой продвинутой архитектурой долго время считались “реккурентная” и “сверточная”. Реккурентная, сильно упрощая, является нейросетью с памятью. Она сохраняет предыдущие конфигурации нейронов и лучше обучается методом обратной ошибки, поскольку на входе при возврате сигнала он еще в значительной степени остается. Сверточная, в свою очередь, заточена под распознавание образов и имеет специальные фильтры в каждом нейроне для этого.
Постепенно появлялись все новые и новые методы строения и обучения сетей, пока все не пришло к тому самому Трансформеру от Google. Она была создана для распознавания и обработки человеческой речи и инновационным в ней стал “множитель внимания”, который позволял нейросети обрабатывать слова не последовательно и давать им разную приоритетность, получив, упрощенно, аналог смыслового ударения. Теперь нейросеть могла понять, какие слова в запросе важны и какой ответ хочет получить пользователь.
Что же поменяла Google?
А поменяла она очень многое. Такая архитектура сети позволила совершить скачок в области умных помощников и распознавания речи. Большинство популярных нынче нейросетей, таких как ChatGPT, Midjourney (частично), переводчиков, поисковых систем вроде Bing AI и даже Балабоба от Яндекса основаны на этой технологии.
Всего за 6 лет с презентации этой архитектуры мы достигли того, что компьютерная речь звучит осмысленно и многие уже не представляют свою жизнь без нейросетей. Но стоит ли нам этого бояться? Чем нам грозит такое близкое сотрудничество с ИИ?
Открытое письмо
28 марта 2023 года вышло открытое письмо за подписями многих известных людей из биг-тех отрасли и ректоров/профессоров различных технических институтов. Общий посыл письма был таковым — нужно немедленно приостановить развитие нейросетей хотя бы на 6 месяцев, потому что
“мы должны спросить себя: должны ли мы позволять машинам наводнять наши информационные каналы пропагандой и неправдой? Должны ли мы автоматизировать все рабочие места, в том числе выполняющие? Должны ли мы развивать нечеловеческие умы, которые в конечном итоге могут превзойти нас численностью, перехитрить, сделать устаревшими и заменить нас? Должны ли мы рисковать потерей контроля над нашей цивилизацией?”
Некоторые из ученых выступают даже за полную остановку развития нейросетей, следуя тому же самому страху. Кроме всего этого, в Европе уже принялись блокировать ChatGPT. Первой из таких стран стала свободная Италия, а ряд государств думают ее поддержать.
Но так ли нейросети опасны?
Первое, о чем стоит сказать — нейросети как не имели воли, так и не будут иметь. Это исключительно инструмент, которым человек пользуется в своих целях. Нейросеть на данный момент не может самомодифицироваться, расширяться, дообучаться вне контроля, а даже если и смогут — нейросети никогда не способны понять иронию, постиронию и остальные ее подвиды. Поэтому у той же ChatGPT так много галлюцинаций — она не может понять, что является шутейкой, что фейком, а что правдивой информацией.
В теории, мы можем сильно доучить нейросеть, дать ей гигантские, террабайтные объемы данных и дать им возможность самомодификации. А нет, не можем. Кризис полупроводников на дворе. Кроме того, мы уже почти дожали техпроцесс — близится 1 нм, и пусть даже техпроцесс меньше является возможным, для достижения даже этого нам потребуется немалых усилий и времени. Мы не можем быстро обучать нейросети на огромных массивах данных, потому что у нас банально не хватает на это мощности. Есть вариант, конечно, собрать огромный процессорный кластер, но тут уже встает вопрос рентабельности такого — это просто мегаватты энергии ежедневно. Нейросети, даже если мы отбросим их программные ограничения, чисто физически не получится доразвить до уровня, на котором они действительно смогут представлять нам хоть какую-то угрозу, не то что заменить нас.
Решением всех проблем, указанных в этом письме, стала бы открытость. Чтобы не плодить пропаганду и фейки, нужно открыть тренировочные базы данных, открыть, хотя бы частично, исходный код, сделать внятную документацию со списком запрещенных/ограниченных тем в нейросети и стать в целом открытыми и контролируемыми. У нас сейчас есть примеры таких нейросетей в виде Stable Diffusion и LLama, которые могут дотренироваться пользователями под их нужды.
Но почему тогда вместо открытости все эти известные лица выступают за приостановку развития нейросетей? Ведь они точно знают, как конкретно работают нейросети многократно глубже.
Интернет для ИИ
Интернет и сейчас полон мусора. Большинство находящихся в интернете “людей” являются ботами, пытающимися внедрить вам нужное мнение. Все медиа-корпорации ежесекундно борются за ваше внимание. Нейросети — хороший инструмент в этом. Даже слишком хороший.
Подобное полугодовое ограничение, в худшем варианте, может быть исключительно публичным, давая инвесторам в кулуарах возможность заточить нейронки под прямой захват вашего внимания. А даже если приостановка будет совершенно открытой, то это поможет людям, владеющим медиа, хотя бы ненадолго отсрочить себе конкуренцию с универсальным источником информации. Монополизированным источником информации.
Сейчас, на самом деле, идет передел рынка. Передел рынка внимания. И развитие нейросетей может привести к потере элитой возможности влиять и контролировать общественное мнение. Нейросети уже сейчас могут генерировать абсолютно любой вид контента лучше многих людей, контролируются ограниченной когортой и имеют свободный доступ в интернет, который рано или поздно может превратиться в мусорную свалку, где не будет совершенно никакой полезной информации, а из посетителей у интернета будут нейросети обучающиеся и нейросети генерирующие. Тогда человек вновь вернется в среду с ограниченными и редактируемыми источниками информации, причем информации обычной и не анонимной. Вернется время книг, журналов, местных газет и остальных атрибутов без-интернетной эпохи.
Но, при соблюдении условия открытости, нейросети станут великолепным помощником и неотъемлемой частью нашей жизни. Они будут давать людям возможность мгновенно и беспрепятственно получать любую необходимую информацию не занимаясь просмотром тонны сайтов и проверкой фактов. Что и плохо для тех, кто сейчас контролирует ваше мнение.
Вывод
Фантасты в 20 веке ожидали другого. Что роботы отберут у нас тяжелый труд, дадут нам больше времени на творчество и науку, погрузив человечество в быстрый культурно-технический прогресс. Но на деле получилось наоборот. Оказывается, творчество это не уникальное качество человека, и даже правильно натренированная машина из закрытой комнаты сможет правильно выдать иероглиф. Теперь сантехника заменить сложнее, чем писателя и художника.
Ведь если посадить бессмертную обезьяну за печатную машинку, согласно теории вероятности, рано или поздно она напишет “Войну и Мир”.