ChatGPT спечели Международната олимпиада по математика

Ето и останалата част от изложението му.

"И така, какво е различното? Разработихме нови техники, които правят LLM много по-добри в трудно проверими задачи. Задачите на олимпиадата бяха перфектното предизвикателство за това: доказателствата са дълги страници и отнемат на експертите часове за оценяване. Сравнете това с AIME, където отговорите са просто цяло число от 0 до 999.

Също така, този модел мисли "дълго" време. o1 мисли секунди. Deep Research - минути. Този мисли с часове. Важно е, че е и по-ефективен в мисленето си. И има много място за по-нататъшно повишаване на изчислителните способности и ефективността по време на теста.

Струва си да се замислим колко бърз е бил напредъкът на ИИ, особено в математиката. През 2024 г. лабораториите за ИИ използваха математика в началното училище (GSM8K) като оценка в своите модели. Оттогава сме наситили гимназиалния бенчмарк MATH, след това AIME и сега сме на ниво златен медал от Международната математическа олимпиада.

Накъде ни води всичко това? Колкото и бърз да е бил досегашният напредък на ИИ, напълно очаквам тенденцията да продължи. Важно е, че мисля, че сме близо до това ИИ да допринесе съществено за научните открития. Има голяма разлика между ИИ малко под най-високите човешки постижения и малко над тях.

Това беше екипно усилие, водено от Александър Вей. Той поде изследователска идея, в която малцина вярваха, и я използва, за да постигне резултат, който много малко хора смятаха за възможен. Това също не би било възможно без години изследвания и инженерни работи на много хора в OpenAI и по-широката общност на ИИ.

Когато работите в подобна лаборатория, обикновено знаете къде са граничните възможности месеци преди всички останали. Но този резултат е съвсем нов, използващ наскоро разработени техники. Беше изненада дори за много от изследователи в OpenAI. Днес всеки може да види къде е границата.

Решихме правилно 5 от 6 задачи, което е постижение на ниво златен медал за тазгодишното състезание", завършва Браун.

Ако искате да разгледате, решенията му на задачите от олимпиадата, те са публично достъпни тук