Anthropic eylül ayına üç model sığdırdı. Fable 5.1 ailenin en tepesine oturdu. 22 Eylül'de Opus 5.5 geldi, altı gün sonra, 28 Eylül'de Sonnet 5.5.
Kâğıt üzerinde tanıdık bir sıralama: en güçlü, orta, hızlı. Ama bu üçlünün en ilginç yanı, aralarındaki mesafenin hiç olmadığı kadar kapanmış olması.
Aşağıdaki rakamların hepsi Anthropic'in kendi duyurularından. Bağımsız ölçümler geldikçe ayrıntılar değişebilir; yön değişecek gibi görünmüyor.
Fable 5.1: tepedeki model
Fable 5.1, Anthropic'in herkese açık en yetenekli modeli. İlginç bir ayrıntı: Mythos 5.1 ile aynı model, yalnızca güvenlik önlemleri farklı. Mythos 5.1 herkese açık değil; siber güvenlik ve yaşam bilimleri alanında doğrulanmış kurumlara, güvenilir erişim programlarıyla veriliyor.
Öne çıkanlar:
- Fiyat: milyon giriş token'ı 10 dolar, milyon çıkış token'ı 50 dolar. Önbellekten okuma 0,25 dolara indi. Anthropic'e göre tipik işlerde toplam maliyet yaklaşık yüzde 25, ajan ağırlıklı işlerde yüzde 45'e kadar düşüyor.
- Ajan işlerinde sıçrama: ajan olarak kod yazmayı ölçen Terminal-Bench 4.0'da skor yüzde 42,0'dan yüzde 55,8'e çıktı. Bilimsel terminal işlerini ölçen Terminal-Bench-Science'ta neredeyse ikiye katlandı: yüzde 24,7'den yüzde 52,6'ya.
- Siber güvenlik: güvenlik filtreleri meşru işleri artık yüzde 60 daha az yanlışlıkla engelliyor. Fable 5.1 yazılımdaki açıkları bulmak için kullanılabiliyor ama o açıklar için saldırı kodu geliştirmiyor.
- Bilim: duyuruda protein tasarımından Venüs'ün yükselti haritasına kadar örnekler var. Benim işimden uzak ama modelin nereye gittiğini gösteriyor.
Opus 5.5: Fable seviyesi, daha düşük fiyat
Opus 5.5, yeni Claude 5.5 ailesinin ilk modeli. Anthropic'in iddiası net: çoğu işte Fable 5.1 seviyesinde, Opus 5'ten yüzde 40 daha ucuza çalışıyor ve çıktıyı yüzde 30'dan fazla daha hızlı üretiyor.
Token fiyatı milyon giriş için 4 dolar, çıkış için 20 dolar. Opus 5'i yazdığımda bu rakamlar 5 ve 25 dolardı. Token başına fiyat yüzde 20 düştü; Anthropic'e göre toplam çalıştırma maliyeti ise yüzde 40 daha düşük.
Bir de hızlı mod var: iki katı fiyata (giriş 8, çıkış 40 dolar) 2,5 kata kadar hız.
Anthropic'in tablosunda Opus 5.5, Fable 5.1'i birçok testte geçiyor:
- Terminal-Bench 4.0 (ajan olarak kod): Opus 5.5 yüzde 66,4, Fable 5.1 yüzde 55,8.
- OSWorld 2.1 (bilgisayar kullanımı): yüzde 81,8'e karşı yüzde 80,7.
- Humanity's Last Exam (zor akıl yürütme): yüzde 67,7'ye karşı yüzde 65,6.
- AutomationBench (iş otomasyonu): yüzde 40,0'a karşı yüzde 31,4.
Güvenlik tarafında da iddialı. Model, aralarında METR'in de bulunduğu dış değerlendiricilerce yayından önce test edilmiş ve Anthropic'in otomatik davranış denetiminde bugüne kadarki en iyi sonucu almış. Sınırları aşmaya çalışma eğilimi Opus 5 ve Mythos 5.1'e göre yüzde 85 daha az.
Sonnet 5.5: günlük işin yeni ağır topu
Sonnet 5.5'in fiyatı Sonnet 5 ile aynı: milyon giriş token'ı 2 dolar, çıkış 10 dolar. Ama yüzde 30'dan fazla hızlı çalışıyor ve Anthropic'e göre çoğu işte toplam maliyet yüzde 30'a kadar düşüyor.
Asıl şaşırtıcı olan, Opus 5.5'e ne kadar yaklaştığı:
- Terminal-Bench 4.0: Sonnet 5.5 yüzde 70,6 ile bu testte Opus 5.5'i bile geçiyor (yüzde 66,4).
- OSWorld 2.1: yüzde 80,1'e karşı Opus 5.5'in yüzde 81,8'i.
- GDPval-AA (bilgi işi görevleri): 1844'e karşı 1846 puan. Pratikte aynı.
- Humanity's Last Exam: yüzde 64,5'e karşı yüzde 67,7. Zor akıl yürütmede Opus hâlâ önde.
Anthropic, Sonnet 5.5'in daha net yazdığını ve kapsamı belli günlük işlerde (hata düzeltme, belge, sunum, tablo) güçlü olduğunu söylüyor. Bir de eğlenceli not: yalnızca ekran görüntülerine bakarak Pokémon Red'i bitiren ilk Sonnet bu.
Bu rakamlara nasıl bakmalı
Üç uyarım var.
Rakamlar üreticinin. Hepsi Anthropic'in kendi tablolarından. Bağımsız ölçümler daha temkinli çıkabilir.
Testlerin sürümleri farklı. Fable 5.1'in duyurusu ile Opus 5.5'in duyurusu bazı testlerin farklı sürümlerini kullanıyor. Rakamları duyurular arasında yan yana koymak yanıltıcı olur; ben her karşılaştırmayı tek bir tablonun içinden verdim.
Test, iş değildir. Bir testte yüzde 70 almak, sizin projenizde yüzde 70 isabet demek değil. Bu rakamlar yön gösterir, garanti vermez.
Prodüksiyon ajansında hangisi nereye
Benim işimde yapay zekâ çekimin öncesini ve sonrasını hızlandırıyor: teklif ve kapsam belgeleri, çekim planı, beş dilli site içeriği, kendi yazılım altyapım. Sete, karara ve göze dokunmuyor. Bu üçlü bu tabloyu değiştirmiyor; hangi işi hangi modele vereceğimi değiştiriyor.
- Sonnet 5.5: günlük, kapsamı belli işler. Çekim planı, call sheet, teklif taslağı, sunum iskeleti. Hızlı ve ucuz; artık "idare eder" seviyesinde değil.
- Opus 5.5: uzun ve karmaşık işler. Site altyapısı, çok adımlı içerik işleri, saatlerce süren ajan işleri. Fable seviyesine bu fiyatla ulaşmak bir yıl önce düşünülemezdi.
- Fable 5.1: en zor problemler. Benim işimde nadir. Bir şey gerçekten takıldığında uzanılacak en üst raf.
Varsayılanım Opus 5.5 olur; hız gereken yerde Sonnet 5.5'e inerim, Fable 5.1'i gerçekten gerektiğinde açarım.
Asıl haber: fiyat-performans eğrisi kırıldı
Bu ayın asıl hikâyesi tek tek modeller değil. Bir önceki neslin en üst performansı, bir alt modele ve daha düşük fiyata iniyor. Opus 5.5 Fable seviyesine, Sonnet 5.5 neredeyse Opus seviyesine geldi. Bir gün önce yazdığım GPT-6 Astra ve GPT-6.1 Sol tarafında da aynı ay aynı şey oldu.
Benim gibi küçük ve yoğun bir ajans için anlamı şu: bir yıl önce maliyet yüzünden yapmadığım işler artık hesaba giriyor. Çok dilli içerik, arşiv etiketleme, uzun teknik işler. Güçlü model artık lüks değil, gündelik bir araç.
Ama şunu yine söyleyeyim: model güçlendikçe çıktısı daha ikna edici görünüyor. İkna edici görünmek doğru olmak demek değil. Rakamı, cümleyi, kodu kontrol etmek benim işim; o iş devredilmiyor.
Sıradan, en güçlü modeli sorar. Asi, hangi işe hangisini vereceğini bilir.
