Microsoft, yazılımcılar için yapay zeka test aracı ASSERT'i tanıttı

Yapay zeka (AI) araştırmacıları ve laboratuvarları, modelleri güvenlik, uyumluluk ve uyarlanabilirlik açısından değerlendirmede büyük ilerlemeler kaydediyor. Ancak şirketler ve geliştiriciler, kendi ürünleri için özel olarak geliştirilen AI sistemlerinin beklendiği gibi çalışmasını sağlama konusunda yeni zorluklarla karşılaşıyor. Bu süreci basitleştirmek amacıyla Microsoft, ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing) adlı yeni bir açık kaynaklı çerçeve duyurdu. Bu haberi Techcrunch.com aktarıyor.

ASSERT sistemi, doğal dilde yazılmış tanımlara dayanarak AI modellerinin davranışlarını değerlendirmeye olanak tanır. Çerçeve, üst düzey hedefleri, politikaları veya beklenen davranışları analiz ederek bunları sistematik testlere dönüştürür. Bu, geliştiricilerin uygulamalarına özgü karmaşık senaryoları otomatik olarak test etmelerini ve sonuçları puan bazında değerlendirmelerini sağlar.

Bu araç, AI sisteminin izlediği yolları, ara adımları ve harici araçlara yapılan çağrıları kaydeder. Bu, hataların nerede meydana geldiğini tam olarak görmeye yardımcı olur. Örneğin, belgelerle çalışan bir AI temsilcisinin şirket dışındaki kişilere e-posta göndermemesi veya gizli verileri yalnızca yöneticilere göstermesi gerekiyorsa, ASSERT bu kurallara uyulup uyulmadığını sürekli olarak kontrol eder.

Microsoft temsilcisi Sarah Bird, değerlendirme sürecinin doğru kararlar almak için kritik öneme sahip olduğunu belirtti. Sistemin davranışları tam olarak anlaşılmazsa, organizasyonel gereksinimleri karşılayıp karşılamadığını bilmek zordur. ASSERT sistemi, sadece geliştirme sürecinde değil, aynı zamanda canlıya alındıktan sonra sürekli izleme için de faydalı bir araçtır.

Bu yenilik, AI endüstrisindeki daha geniş değişimlerin arka planında gerçekleşiyor. Modeller daha güçlü hale geldikçe, araştırmacılar Stanford'un HELM veya MLCommons'un AILuminate gibi projeleri aracılığıyla modelleri farklı koşullarda tekrarlı test etmeye daha fazla odaklanıyorlar.