DataSecrets - главные новости

Компания Meta известна своими опенсорс LLM моделями: каждый раз их релизы производят фурор в ИИ-сообществе, обгоняя на бенчмарках передовые закрытые модели вроде GPT от OpenAI или Gemini от Google. Вот и в этот раз Meta "навела шороху", без предупреждений и анонсов выпустив свою первую мультимодальную LLM Llama 3.2.

Swarm — экспериментальный фреймворк, предназначенный для организации ИИ-сетей агентов, которые способны общаться между собой, сотрудничать и решать сложные задачи автономно. Концепция таких мультиагентных систем отнюдь не нова, но Swarm – практически первое в своем роде решение, которое позволит по-настоящему широкому кругу разработчиков прикоснуться к их созданию. Библиотека, к слову, использует только верхнеуровневые абстракции, так что ей может пользоваться даже человек, который не разбирается во внутреннем устройстве LLM и машинном обучении в целом.

Программа OpenAI Academy ориентирована в первую очередь на регионы с низким и средним уровнем дохода и развивающиеся страны, где доступ к технологиям часто ограничен.

Название конкурса заслуживает отдельного внимания. Он называется буквально "Последний экзамен человечества":  Humanity’s Last Exam. Ученые из CAIS и ScaleAI запустили его, чтобы собрать самый большой и сложный набор вопросов, которые поставят в тупик современные LLM. Предложить вопрос может каждый, и если его примут, то автор получит от 500 до 5000 долларов, а также соавторство в статье про получившийся бенчмарк. Всего исследователи планируют собрать не менее тысячи вопросов, и уже получили часть из них от ученых из университетов MIT, UC Berkeley и Stanford.

NVLM 1.0 (NVIDIA Vision Language Model) – это семейство открытых мультимодальных LLM, состоящее из моделей NVLM-D (Decoder-only Model), NVLM-X (X-attention Model) и NVLM-H (Hybrid Model) на 34B и 72B. Модели особенно хорошо показывают себя на визуальных задачах. Например, на бенчмарке OCRBench, который проверяет способность модели считывать текст с картинки, NVLM-D обогнала даже GPT-4o – последнюю мультимодальную модель от OpenAI. А еще модель понимает мемы, разбирает человеческий почерк и хорошо отвечает на вопросы, чувствительные к точному местоположению чего-либо на картинке.

Эта модель – на самом деле та самая Strawberry, о которой ходило так много слухов. В олимпиадном программировании o1 выбивает метрики в 8 раз выше своего предшественника GPT-4o, а по олимпиадной математике входит в число 500 лучших студентов США. А еще модель превосходит уровень PhD по точности ответов на вопросы по физике, биологии и химии.

16 июня 2024 года выходит новая версия всеми любимой библиотеки. NumPy 2.0.0 — первый значительный релиз с 2006 года. Релиз включает множество новых функций и изменений как в Python, так и в C API.

Недавно на известной площадке для ML-соревнований Kaggle был запущен конкурс AI Mathematical Olympiad. Его участники пытаются научить модели искусственного интеллекта решать задачи по математике, записанные в формате LaTeX, на уровне человека. Сложность задач соответствует уровню международной математической олимпиады для учеников старших классов International Mathematical Olympiad (IMO). Оттуда же позаимствовано и название соревнования.

Архитектура LSTM была предложена в 1997 году немецкими исследователями Зеппом Хохрайтером и Юргеном Шмидхубером. С тех пор она выдержала испытание временем: с ней связано много прорывов в глубоком обучении, в частности именно LSTM стали первыми большими языковыми моделями.

В основе всех архитектур глубокого обучения, в том числе систем компьютерного зрения и больших языковых моделей, лежит многослойный перцептрон (MLP). У него есть веса и нейроны, в которых расположены функции активации. Этой парадигмой ученые пользуются с 1957 года, когда ее предложил Фрэнк Розенблатт.