Название конкурса заслуживает отдельного внимания. Он называется буквально "Последний экзамен человечества": Humanity’s Last Exam.
Ученые из CAIS и ScaleAI запустили его, чтобы собрать самый большой и сложный набор вопросов, которые поставят в тупик современные LLM.
Предложить вопрос может каждый, и если его примут, то автор получит от 500 до 5000 долларов, а также соавторство в статье про получившийся бенчмарк.