Microsoft, yeni Phi-3.5 modellerini piyasaya sürdü.

Microsoft yeni bir LM ailesini duyurdu. Phi-3.5 serisi, ilk kez Uzmanların Karışımı teknolojisini kullanan bir model de dahil olmak üzere üç model içeriyor. Bu teknoloji modeli GPT-4o-mini seviyesine yaklaştırmaktadır.

Phi-3.5 Microsoft tarafından Hugging Face üzerinde kullanıma sunulmuştur. Üç çeşidi bulunmaktadır: Phi-3.5-vision, Phi-3.5-MoE ve Phi-3.5-mini. Bu LM serisinde Microsoft ilk kez Uzmanların Karışımı teknolojisini deniyor ve bu yaklaşım işe yarıyor gibi görünüyor. Phi-3.5-MoE, yapay zeka modelleri için en sık kullanılan kıyaslamalarda 8B'nin Llama-3.1, Gemma-2-9B ve Gemini-1.5 Flash'ından daha yüksek sonuç veriyor. Phi-3.5 varyantı 3.8B'nin çok daha küçük modellerinden oluşurken bu doğrudur.

Uzmanların Karışımı tekniğinde, “uzmanlar” olarak adlandırılan birden fazla model mevcuttur, bu durumda on altı model vardır. Ancak çalışma sırasında model, iki uzman kullanarak yalnızca 6,6 milyar aktif parametre kullanır.

Bu teknolojinin kullanımının bir diğer avantajı da LLM'nin eğitimidir. Özellikle, eğitim daha az hacimlidir ve daha ucuz modellerle daha az hesaplama gücü gerektirir. Phi-3.5-MoE, 512 H100 GPU üzerinde 4,9 trilyon token üzerinde eğitilmiştir. Phi-3.5 ailesinin mini modeli de aynı hesaplama gücüne sahiptir ve 3,4 trilyon parametre üzerinde eğitilmiştir.

Son olarak, Phi-3.5-vision 256 A100 GPU üzerinde 500 milyar parametre ile eğitilmiştir. Sonuç 4.2B'lik bir modeldir. Bu modelin dikkat çeken özelliği hem metin hem de görüntüleri işleyebilmesidir. Bu nedenle girdi olarak görüntü veya video verilebilir.

Her üç model de 128K jetondan oluşan bir bağlam penceresi içermektedir. MIT lisansı altında Hugging Face aracılığıyla temin edilebilirler. Böylece geliştiriciler yapay zeka modellerini Microsoft'un yayınladığı şekilde kullanabilir ya da kendi ihtiyaçlarına göre uyarlayabilirler.