LegoGPT: ИИ превръща текстови подсказки в творения от Lego

Изследователи от Университета Карнеги Мелън представиха LegoGPT, нова AI система, която създава реални Lego конструкции от писмени описания.

Това е първият ИИ от своя род, който не само следва текстова насока – като „строително издължено съдилище“ – но също така гарантира, че получената конструкция е физически стабилна и може да бъде построена, тухла по тухла.

„За да постигнем това, създаваме голяма, физически стабилна база данни от конструкции на LEGO, заедно с техните съпътстващи описания“, обясниха от екипа в тяхната научна статия.

LegoGPT беше обучен използвайки над 47 000 стабилни модели на Lego, свързани с детайлни описания, генерирани от GPT-4o. Те бяха построени от 3D форми, превърнати в конструкции на Lego, след което бяха тествани за стабилност в реални условия чрез симулации на физически закони.

Всяка структура беше описана и от 24 ъгъла, така че изкуственият интелект да може да научи как трябва да изглеждат различните дизайни в думи.

Екипът използва специална техника, наречена „физика-осъзнато връщане назад“, при която нестабилните части на дизайна се премахват и престрояват, докато цялата структура не стане здрава. Това подобри успеваемостта на изграждането от 24% на 98.8%.

AI моделът, базиран на LLaMA-3.2-Instruct на Meta, предсказва кой Lego блок да бъде поставен следващ – подобно на начина, по който ChatGPT предсказва следващата дума. Всеки предложен блок се проверява за място на поставяне, размер и потенциални сблъсъци, преди да бъде добавен към модела.

Творенията на LegoGPT могат да бъдат изградени от хора и роботи. „Нашите експерименти показват, че LegoGPT произвежда стабилни, разнообразни и естетически приятни Lego дизайни, които тясно съответстват на входните текстови подсказки“, написаха изследователите.

За сега, LegoGPT използва само осем основни типа тухли и работи в пространство от 20×20×20, но екипът се надява да го разшири.

Пълните им данни, код и модел са свободни за достъп, така че други могат да продължат да развиват това изследване. Алтернативно, можете просто да си поиграете с тяхната демо версия.