LegoGPT: Yapay Zeka ile Metinden LEGO Tasarımları Üreten Araç

Carnegie Mellon Üniversitesi’nden bir araştırma ekibi, yalnızca metin girdileriyle geçerli LEGO tasarımları üretebilen LegoGPT adlı bir yapay zeka modeli geliştirdi. Ekip, GitHub'da yayımladığı araştırma makalesinde, “bir ardışık büyük dil modelini, bir sonraki tuğlayı tahmin ederek tasarım oluşturmaya yönelik eğittiklerini” belirtti. Ancak en önemli çıkarım, LegoGPT'nin LEGO tasarımlarını sıfırdan oluşturabilme yeteneği oldu.

LegoGPT, 28.000'den fazla benzersiz 3B nesne (kitaplıklar, masalar, sandalyeler, arabalar, gemiler, gitarlar ve daha fazlası) içeren 47.000'den fazla LEGO yapısının yer aldığı bir veri setiyle eğitildi. Bu sayede yapay zeka modeli, yalnızca metin komutlarından yola çıkarak özgün ve orijinal tasarımlar geliştirebiliyor.

Araç, GitHub üzerinden ücretsiz olarak kullanıma sunuldu. Kullanıcılar, bu sistemi bir görüntü işleme yapay zekasıyla eşleştirerek daha işlevsel hale getirebilir. Örneğin, sahip oldukları LEGO parçalarının fotoğrafını çekip, eldeki parçalarla inşa edilebilecek çok sayıda özgün tasarımı LegoGPT ile oluşturabilirler.

Araştırmacılar, modelin çıktılarının her zaman geçerli ve fiziksel olarak istikrarlı olmasını sağlamak amacıyla geçerlilik kontrolü ve fizik farkındalıklı geri alma (rollback) mekanizması da geliştirdi. Mekanizma üst üste binen ya da havada duran parçalar gibi hatalı tasarımları önlüyor. LegoGPT'nin ürettiği nihai tasarımlar hem insanlar hem de robotlar tarafından inşa edilebiliyor.

Ekip, LegoGPT’nin eğitiminde kullanılan StableText2Lego veri setini şu şekilde oluşturdu: İlk olarak metin girdisi ShapeNetCore ağına dönüştürüldü; 20 x 20 x 20 voxel ızgaraya yerleştirilerek başlangıç LEGO yerleşimi belirlendi. Daha sonra bu yerleşim genel şekli koruyarak çeşitlendirildi ve dengesiz tasarımlar elendi. Kalan tasarımlar 24 farklı açıdan render edildi, ardından GPT-4o modeli kullanılarak son çıktılar için açıklayıcı metinler oluşturuldu.

LegoGPT, yeni bir tasarımı metinden üretirken şu adımları izliyor: Girilen metin, LEGO tasarımına dönüştürülüyor ve bu tasarım alttan üste sıralanmış metin tokenlarına çevriliyor. Ardından, yapı taşlarının yerleşimiyle eşleşen açıklamalar oluşturuluyor. Bu süreç, yapay zekanın metin girdisi ile fiziksel tuğlalar arasındaki ilişkiyi kavramasını sağlıyor.

Sonrasında LegoGPT, ardışık modelleme yoluyla tasarım için gerekli bir sonraki tuğlayı tahmin ediyor. Her adımda tuğlanın geçerliliği denetleniyor: biçim, kütüphanede mevcut olma durumu ve mevcut tuğlalarla çakışmaması kontrol ediliyor. Tasarım tamamlanana kadar bu süreç devam ediyor. Tamamlandığında, tasarımın yapısal dengesi test ediliyor. Eğer model çıktının dengesiz olduğunu belirlerse, son dengeli duruma geri dönerek tasarımı bu noktadan devam ettiriyor. Böylece ortaya çıkan son tasarım her zaman inşa edilebilir ve sağlam oluyor.

Projeyle ilgilenen kullanıcılar için ekip, veri setini, kodları ve modelleri GitHub üzerinden paylaştı. Böylelikle herkes çalışmayı kendine göre geliştirebiliyor. İleriye dönük olarak, bu sistemin özelleştirilebilir bir tuğla kütüphanesiyle çalışan indirilebilir bir yapay zeka uygulamasına dönüştürülmesi de olasılıklar arasında gösteriliyor.

‍

‍

‍

Kaynak:https://www.tomshardware.com/tech-industry/artificial-intelligence/legogpt-creates-stable-lego-designs-using-ai-and-text-inputs-tool-now-available-to-the-public