Microsoft обучава нов AI модел достатъчно голям, за да се конкурира с основните LLM

Microsoft разработва нов голям езиков модел (LLM) с кодовото име MAI-1, който има потенциал да се конкурира с LLM модели, разработвани от Google и OpenAI. За първи път Microsoft разработва толкова голям LLM – откакто инвестира милиарди долари в OpenAI за правата да използва технологията им в своите софтуерни пакети за продуктивност.

Разработката на MAI-1 се ръководи от Google DeepMind и съоснователя на Inflection, Мустафа Сулейман, според доклад на The Information. През март 2024 г. Microsoft придоби няколко служители на Inflection в сделка на стойност 650 милиона долара.

Според доклада, публикуван на 6 май, MAI-1 ще има приблизително 500 милиарда параметри, което го поставя някъде между отчетените един трилион параметри на GPT-4 на OpenAI и 70 милиарда параметри на Meta Llama 3 AI модела. Очаква се също така този модел да бъде „много по-голям“ и по-скъп от всеки предишен малък AI с отворен код на Microsoft (Phi-3 и WizardLM-2), тъй като ще изисква повече изчислителна мощ и данни за обучение.

Докато MAI-1 може да използва техники и данни за обучение от Inflection, той остава различен от всички други модели и технологии, произведени от OpenAI и Inflection. Според служители на Microsoft, които са запознати с проекта, MAI-1 е напълно нов LLM, разработен вътрешно от Microsoft.

Microsoft все още не са обявили точната цел на MAI-1 и неговата конкретна употреба ще зависи от представянето му. Междувременно, компанията е отделила голям клъстер от сървъри с Nvidia GPU и използва големи количества данни от различни източници, за да подобри модела.

Според докладите, в зависимост от напредъка, компанията може да представи MAI-1 на конференцията за разработчици Build по-късно този месец, но това все още не е потвърдено.