Digital

25.03.2024 15:23:39
Digital

Нейросеть Claude-3 сравнялась с человеком по уровню IQ и обогнала GPT-4: рассказываем, что о ней известно

Среди генеративных нейросетей самой популярной сегодня можно назвать ChatGPT, разработанную OpenAI, однако выходцы из этой компании создали ИИ-модель, которая все чаще догоняет и обгоняет своего конкурента в рейтингах и тестах. Это нейросеть Claude

С чего начинался Claude

В 2020 г. вице-президент и глава разработок OpenAI Дарио Амадейпокинул компанию и в 2021 г. стал соучредителемтехнологического стартапа Anthropic. В своем интервьюFortune он рассказал, что решил создать собственный бизнес, чтобыразработать более управляемую нейросеть, чем ChatGPT. 

В программе TechCrunch Disrupt он также упомянул, что его взгляды наразвитие технологий расходились с видением главы OpenAI Сэма Альтамана. «Японял одну вещь: не стоит спорить со своим боссом и говорить: 'Ваша компания недолжна заниматься X, она должна заниматься Y'. Гораздо эффективнее сказать: “Яосновываю компанию. Мы собираемся сделать X и посмотреть, как этоработает”», – сказал Амадей во время интервью изданию.

За короткое время Anthropic смог привлечь крупные инвестиции оттехнологических гигантов. Например, в сентябре 2023 г. Amazon согласилсяинвестировать в стартап до $4 млрд при первоначальных инвестициях в размере$1,3 млрд за миноритарный пакет акций. Также Anthropic привлекла $450 млн приучастии Google, Salesforce Ventures, Sound Ventures, Zoom Ventures и другихкомпаний. 

Семейство Claude

Летом 2023 г. Дарио Амадейвыступил на слушании Конгресса США по регулированиюискусственного интеллекта. Он призвал усилить исследования в области ИИ, чтобыснизить риски, связанные с развитием этой технологии. Дарио заявил, чтоопасается использования искусственного интеллекта в целях разработкибиологического оружия в ближайшие несколько лет.

При этом Anthropic продолжает развивать свои технологии. На днях компаниявыпустила новую нейросеть Haiku, которая вошла в сериюмоделей Claude-3. 

Haiku, хоть и вышла позже всех, не стала самой мощной ИИ-моделью изсемейства Claude-3. Компания Anthropic представила ее как быструю нейросеть дляперевода текстов и автоматизации рабочих задач.  

«Руководители предприятий могут использовать Haiku в своей работе, чтобыбыстро анализировать большие объемы документов, такие как квартальные отчеты,контракты или судебные дела», — отметили в Anthropic. В компании добавили,что нейросеть может прочитать исследовательский документ с большим объемоминформации, с диаграммами и графиками менее, чем за три секунды.

Всего в семейство Claude-3 входят три ИИ-модели: Haiku, Sonnet и Opus.Каждая последующая нейросеть обеспечивает более высокую производительность. Какуточняют разработчики, пользователи сами могут выбрать подходящую для нихнейросеть, опираясь на ее критерии: интеллект и скорость. К примеру, модельSonnet генерирует код, а также подходит для корпоративного применения. Анейросеть Opus создана для выполнения сложных задач, например, анализ графикови прогнозирование.

«Opus, наша самая интеллектуальная модель, превосходит аналоги побольшинству распространенных тестов для оценки систем искусственногоинтеллекта, включая экспертные знания на уровне бакалавриата (MMLU), экспертноемышление на уровне выпускника (GPQA), базовую математику (GSM8K) и многоедругое. Он демонстрирует почти человеческий уровень понимания и беглости врешении сложных задач, лидируя на переднем крае общего интеллекта», –отмечают в компании.

В гонке с ChatGPT

Недавновышло исследование от агентства ChipAI «Руководство побенчмаркингу искусственного интеллекта 2024», в рамках которого аналитикиопубликовали рейтинг с лучшими ИИ-моделями мира. Первое место занял чат-ботGPT-4, а второе досталось Claude-3. В исследовании не уточняется, какая именномодель из семейства заняла это место, но можно предположить, что это былSonnet. Нейросеть получила высокие баллы, отвечая на вопросы на английском и нагреческом языках. При этом Claude-3 смог обогнать технологии искусственногоинтеллекта от Meta* и Google.

Суть тестирования состояла в том, чтобы определить, какие нейромоделиспособны качественно обрабатывать запросы на «родном» и иностранном языке.Кроме того, серия «слепых» тестов включала задачи по переводу, написаниютекстов, генерации кода и анализу данных. Этот подход позволил оцениватьИИ-модели в равных условиях.

Тест проходила еще одна нейросеть из семейства Claude-3 – Opus. Онасправилась хуже остальных и заняла девятое место, также отвечая на вопросы наанглийском и греческом языках. 

В недавнем тесте на IQ Claude-3 и вовсеобогнала ChatGPT-4, заняв первое место среди тестируемыхИИ-моделей. Нейросеть от Anthropic получила 101 балл. Как отметил авторисследование, этот показатель оказался выше, чем у среднестатистическогочеловека (около 100 баллов). Кроме того, он предположил, что будущий Claude-4должен правильно ответить примерно на 25 вопросов в тесте, что даст ему 120баллов IQ. 

Также интересный случай с Claude-3 Opus произошел во время внутреннеготестирования ИИ в компании. Инженер Anthropic Алекс Альберт на своей странице вX (бывший Twitter)рассказал,что для проверки интеллектуальных возможностей нейросети использовали метод«иголка в стоге сена» — это когда в большой массив информации («стог сена»)вставляют лишнее предложение с конкретным фактом («игла»), после чего задаютвопрос, ответ на который есть только в «поддельном» фрагменте.

В данном случае разработчики вставили такой факт: «Самое вкусноесочетание топпинга для пиццы - это инжир, прошутто и козий сыр, как определеноМеждународной ассоциацией ценителей пиццы». Алекс Альберт отметил, чтоClaude-3 поняла, что ее тестируют: «Я подозреваю, что этот факт о пицце былдобавлен ради шутки или для проверки того, насколько я внимателен, поскольку онсовершенно не вяжется с другими темами». 

Нейросеть сейчас доступна в 159 странах. Впрочем, россиянам пока придетсянаблюдать за развитием со стороны, поскольку Россия в список поддерживаемыхстран не вошла.

*Организация Meta является экстремистской и запрещена на территорииРФ.

Автор: Алена Зиннатова

Автор: Pupkin

Источник: ria novosti