Yavaş Yapay Zeka'ya Nakit İsraf Etmeyi Durdurun. Transformatörlerimiz Maliyetleri %30 Oranında Düşürüyor.

Her yapay zeka isteğinin bir maliyeti vardır. Bir modelin yanıt vermesi daha uzun sürdüğünde bulut faturanız her istemde artabilir. Gecikme ayrıca müşteri desteğini, belge işlemeyi, aramayı ve diğer günlük iş akışlarını da etkiler. Düşük hacimde uygun fiyatlı görünen bir model, kullanım arttıkça pahalı hale gelebilir. Bu modeli sıklıkla görüyorum: Daha küçük bir transformatör ihtiyaç duyulan sonucu daha az işlemle sunabildiğinde bile ekipler her görev için büyük bir model seçiyor. Transformatör tabanlı modellerimiz, ortak yapay zeka görevleri için gereken çalışmayı azaltmak üzere tasarlanmıştır. Modele, iş yüküne, giriş uzunluğuna ve sunum kurulumuna bağlı olarak bazı ekipler, çıktı kalitesini kullanım senaryolarına uygun tutarken çıkarım maliyetlerini %30'a kadar azaltabilir. Bu rakam her proje için bir vaat değildir. Kendi trafik ve kalite hedeflerinize göre test edebileceğiniz pratik bir kıyaslamadır. Yaklaşım şu şekilde işliyor. Modeli görevle eşleştirin Her isteğin büyük, genel amaçlı bir modele ihtiyacı yoktur. Biletleri sınıflandıran, sipariş ayrıntılarını çıkaran veya dili algılayan bir destek sistemi, daha küçük bir transformatörle iyi çalışabilir. Daha derin muhakeme gerektiren veya daha uzun yanıtlar gerektiren talepler için daha büyük bir model mevcut kalabilir. Bu bölünme gereksiz bilgi işlemin azaltılmasına yardımcı olur. Ayrıca sistem davranışının ölçülmesini kolaylaştırır. Yinelenen işlemleri azaltın Birçok uygulama, her istekte aynı bağlamı gönderir. Ürün ayrıntıları, politika metni ve hesap bilgileri, yalnızca küçük bir kısmı değişse bile tekrar tekrar eklenebilir. Daha iyi bir kurulum, görevin izin verdiği ölçüde daha kısa istemleri, yeniden kullanılabilir bağlamı, yapılandırılmış girişleri veya önbelleğe alınmış sonuçları kullanabilir. Daha az girdi tokenı genellikle daha az işlem süresi ve daha düşük kullanım maliyeti anlamına gelir. Tepki hızından daha fazlasını ölçün Hızlı çıktı faydalıdır ancak hız tek başına bir modelin uygun olup olmadığını göstermez. Aşağıdakileri izlemenizi öneririm: - İstek başına maliyet - Ortalama ve en yüksek yanıt süresi - Giriş ve çıkış jetonu kullanımı - Hata ve yeniden deneme oranları - Görev doğruluğu - İnsan inceleme süresi - Model sıkıştırma veya yönlendirme sonrasında kalite değişiklikleri Para tasarrufu sağlayan ancak daha fazla manuel çalışma yaratan bir model, iş akışının toplam maliyetini azaltmayabilir. Hepsi için tek model yerine yönlendirmeyi kullanın Basit bir yönlendirme katmanı, kolay istekleri daha küçük bir modele gönderebilir ve daha fazla kapasiteye ihtiyaç duyan durumlar için daha büyük modelleri ayırabilir. Örneğin, çevrimiçi bir perakendeci, sipariş durumu sorularını tanımlamak için kompakt bir transformatör kullanabilir. Geri ödemeleri, politika istisnalarını veya belirsiz müşteri dilini içeren talepler, incelenmek üzere daha büyük bir modele taşınabilir. Bu tasarım her isteğe ihtiyaç duyduğu işleme düzeyini verir. Kendi verilerinizle test edin Herkese açık karşılaştırmalar erken karşılaştırmaya yardımcı olabilir ancak trafiğinize dayalı testlerin yerini almaz. Yararlı bir değerlendirme seti şunları içerebilir: - Yaygın kullanıcı soruları - Uzun ve kısa girişler - Yazım hataları - Karışık diller - Uç durumlar - İnsan incelemesi gerektiren istekler Aynı seti mevcut modelinizde ve daha düşük maliyetli seçenekle çalıştırın. Kaliteyi, hızı ve toplam işletme maliyetini karşılaştırın. %30'luk bir tasarruf yalnızca sonuç hâlâ hizmet gereksinimlerinizi karşıladığında faydalıdır. Her gün faturalarla ilgilenen bir belge işleme ekibini düşünün. Mevcut modeli her sayfayı aynı işlem seviyesinde okuyabilmektedir. Daha küçük bir dönüştürücü, tedarikçi adlarını, tarihleri ​​ve toplamları çıkarırken olağandışı belgeler daha büyük bir modele veya incelemeciye aktarılabilir. Ekip, zor dosyalar için inceleme sürecini değiştirmeden bilgi işlem kullanımını azaltabilir. En iyi sonuç, ne zaman daha küçük bir model kullanılacağını, ne zaman daha fazla işlem isteneceğini ve ne zaman bir kişiyi dahil edeceğini bilen bir sistemden gelir. Transformatör çözümlerimiz bu süreci model seçimi, iş yükü testi ve maliyet takibi ile destekleyebilir. Tek bir iş akışıyla başlayabilir, sonuçları karşılaştırabilir ve yalnızca veriler değişikliği desteklediğinde genişletebilirsiniz. Daha düşük yapay zeka maliyetleri, her istek için en küçük modeli seçmekle sağlanmaz. Doğru modelin kullanılması, tekrarlanan çalışmaların sınırlandırılması ve iş akışının tamamının ölçülmesiyle elde edilirler.

Yapay zeka, aramayı, desteği, belge incelemeyi ve müşteri hizmetlerini hızlandırabilir. Ayrıca bulut faturalarını beklenenden daha hızlı artırabilir. Aynı modeli birçok yapay zeka projesinde gördüm: Bir ekip büyük bir transformatör modeliyle başlar, her isteği bu model üzerinden gönderir ve kullanılmayan kapasite, tekrarlanan istemler, uzun çıktılar ve boşta kalan GPU süresi için ödeme yapar. Model çalışıyor ancak maliyet her isteğin değeriyle eşleşmiyor. Daha akıllı bir kurulum, bazı iş yüklerinde harcamaları %30'a kadar azaltabilir. Kesin sonuç trafiğe, model boyutuna, donanıma, istem uzunluğuna ve optimizasyon çalışmasının kalitesine bağlıdır. İşte buna nasıl yaklaşacağım. ### 1. Modeli rastgele değiştirmek yerine net bir maliyet resmiyle başlıyorum mevcut maliyeti ölçün. Kontrol ediyorum: - İstek başına maliyet - Giriş ve çıkış için kullanılan belirteçler - GPU veya CPU kullanımı - Ortalama yanıt süresi - En yüksek trafik - Boşta kapasite - Düşük değerli sonuçlar döndüren istekler - Tekrarlanan istemler ve mükerrer sorgular Basit bir rapor, paranın nereye gittiğini ortaya çıkarabilir. Örneğin bir destek asistanı, yanıtın kendisinden çok uzun istemlere daha fazla para harcayabilir. Bilgi istemi, her talepte aynı şirket politikasını, ürün listesini ve hesap talimatlarını içerebilir. Bu veriler bana geçerli bir hedef veriyor. Bu olmadan, daha düşük bir fatura, daha yavaş yanıtlar veya daha düşük kaliteyle gelebilir. ### 2. Her görevi doğru modelle eşleştirin Büyük bir transformatör modeli zor görevler için kullanışlıdır, ancak birçok günlük istek onun tam kapasitesine ihtiyaç duymaz. Basit istekleri daha küçük bir modele yönlendirebilirim: - Sipariş durumu kontrolleri - Ürün kategorisi aramaları - Kısa metin sınıflandırması - Dil algılama - Temel form doldurma - Tekrarlanan müşteri soruları Daha büyük model, karmaşık belge analizi veya çok adımlı destek vakaları gibi daha derin akıl yürütme gerektiren görevleri yerine getirebilir. Bu model yönlendirme yaklaşımı, kaliteyi önemli olduğu yerde tutar ve pahalı aramaların sayısını azaltır. Bir talebin her aşamada aynı modele ihtiyacı yoktur. ### 3. Bilgi istemi boyutunu azaltın Uzun istemler belirteç kullanımını artırır. Ayrıca sistemi yavaşlatabilirler. Bilgi istemini gözden geçirip şunları kaldırıyorum: - Tekrarlanan talimatlar - Eski örnekler - Kullanılmayan ürün ayrıntıları - Yinelenen politika metni - Yanıtı etkilemeyen bağlam Modeli yönlendiren ve istikrarlı bilgileri daha iyi bir erişim sistemine taşıyan kuralları koruyorum. Amaç her istemi kısa kesmek değil. Amaç her jetonu kullanışlı hale getirmektir. Bir müşteri destek botu, yalnızca 500 jeton gerektiren bir soruyu yanıtlamadan önce 4.000 jeton alabilir. Bu girişi 2.000 jetona düşürmek, kullanıcı deneyimini değiştirmeden her isteğin maliyetini düşürebilir. ### 4. Tekrarlanan çalışmalar için önbelleğe almayı kullanın Birçok yapay zeka sistemi, gün boyunca benzer sorular alır. Bir önbellek, aynı amaca ve kararlı bilgiye sahip isteklerin yanıtlarını saklayabilir. Şu konularda yardımcı olabilir: - Gönderim politikası soruları - Çalışma saatleri - Ürün özellikleri - Dahili süreç kılavuzları - Ortak teknik talimatlar Dinamik bilgilerin hâlâ yeni bir şekilde aranması gerekiyor. Teslimat tahmini, hesap bakiyesi veya stok sayımı, önbelleğe alınmış eski bir yanıta dayanmamalıdır. Önbelleğe almayı bir kalite özelliğinin yanı sıra bir maliyet aracı olarak ele alıyorum. Önbellek kuralları bir süre sonu süresi ve kaynak değiştiğinde bilgileri yenilemenin bir yolunu içermelidir. ### 5. Çıkış uzunluğunu kontrol edin Bazı modeller kullanıcıların ihtiyaç duyduğundan daha uzun cevaplar üretir. Fazladan kelimeler jeton tüketir ve yanıt süresini artırır. Göreve göre pratik çıktı sınırları belirledim: - Etiket için bir cümle - Destek yanıtı için kısa bir paragraf - Ürün karşılaştırması için yapılandırılmış bir liste - Yalnızca kullanıcı ayrıntı istediğinde daha uzun yanıt Bu, her yanıtı aynı formatta zorlamak anlamına gelmez. İyi bir sistem, gereksiz tekrarlardan kaçınarak modele görevi tamamlaması için yeterli alan sağlar. ### 6. Sunum verimliliğini artırın Model, faturanın yalnızca bir kısmıdır. Çalıştırılma şekli de önemlidir. Şunları gözden geçiriyorum: - Toplu iş boyutu - Niceleme ayarları - GPU kullanımı - Otomatik ölçeklendirme kuralları - Bellek kullanımı - İstek kuyrukları - Soğuk başlatma süresi - Trafiğin düşük olduğu dönemlerde kapasite Niceleme bellek ihtiyaçlarını azaltabilir, ancak gerçek görevlere karşı test edilmelidir. Küçük bir kalite düşüşü, sınıflandırma için kabul edilebilir ve yasal veya tıbbi inceleme için uygun olmayabilir. Doğru seçim, kullanım senaryosuna ve inceleme sürecine bağlıdır. Otomatik ölçeklendirme, sistemin kapasiteyi taleple eşleştirmesine yardımcı olabilir. Sessiz saatlerde tam kapasiteyle çalışan bir hizmet, kimsenin kullanmadığı kaynaklar için para ödüyor olabilir. ### 7. Maliyetin yanı sıra kaliteyi de takip edin Sistem daha fazla hata yaratıyorsa, daha düşük bir fatura yararlı bir sonuç değildir. Maliyeti aşağıdakilerle birlikte takip ediyorum: - Doğru yanıt oranı - İnsan inceleme oranı - Kullanıcı memnuniyeti - Yanıt süresi - Başarısız istekler - Destek personeline iletilen bildirimler - Halüsinasyon raporları Ayrıca üründen gerçek, anonimleştirilmiş örnekler içeren bir test seti tutuyorum. Her model veya istem değişikliği, yayınlanmadan önce o sete göre çalışır. Bir maliyet raporu %30'luk bir azalma gösterebilirken, bir kalite raporu önemli yanıtların güvenilirliğinin azaldığını gösterir. Bu bitmiş bir gelişme değil. Sistemin başka bir düzenlemeye ihtiyacı var. ### Pratik bir maliyet örneği Her ay 100.000 isteği karşılayan bir yapay zeka destek hizmeti düşünün. Ekip şunları buldu: - İsteklerin %40'ı basit - %25'i tekrarlanan istem içeriği içeriyor - %15'i önbelleğe alınmış yanıtları kullanabiliyor - GPU kapasitesi günün bir bölümünde boş kalıyor Ekip basit istekleri daha küçük bir modele yönlendiriyor, tekrarlanan istemleri kısaltıyor, güvenli önbelleğe alma ekliyor ve kapasiteyi talebe uyacak şekilde ayarlıyor. Aylık fatura 10.000$'dan 7.000$'a düşerse tasarruf %30 olur. Bu örnek her işletme için bir vaat değil, olası bir iş yüküne dayanmaktadır. Gerçek tasarrufların dağıtımdan sonra ölçülmesi gerekir. ### Daha güvenli bir kullanıma sunma planı Ölçülebilen küçük değişiklikleri tercih ederim. 1. Mevcut maliyet ve kaliteyi kaydedin. 2. Yüksek hacimli bir iş akışı seçin. 3. Daha küçük bir modeli veya daha kısa bir istemi test edin. 4. Maliyeti, hızı ve yanıt kalitesini karşılaştırın. 5. Değişikliği sınırlı bir trafik payına bırakın. 6. Hataları ve kullanıcı geri bildirimlerini inceleyin. 7. Veriler desteklediğinde değişikliği genişletin. Bu süreç yaygın bir hatanın önlenmesine yardımcı olur: sistemin birkaç parçasını aynı anda değiştirmek ve sonuca neyin sebep olduğunu takip etmek. En iyi yapay zeka maliyet planı, en küçük modeli seçmek veya her yanıtı kesmekle ilgili değildir. Bu, yalnızca önemli olan bağlamı kullanarak ve her adımda kaliteyi kontrol ederek doğru modele doğru talebi göndermekle ilgilidir. Net ölçüm ve dikkatli testlerle ekipler, uygun iş yüklerinde trafo maliyetlerini %30'a kadar düşürürken, hizmeti ona güvenen kişiler için faydalı tutabilir.

Yapay zeka harcamaları sessizce artabilir. Bir ekip daha fazla bilgi istemi ekler, sohbet geçmişlerinin tamamını gönderir, her görev için büyük bir model kullanır ve aylık faturanın büyümesini izler. Aynı zamanda kullanıcılar hâlâ hızlı yanıtlar bekliyor. Ana sorunun nadiren pahalı bir istek olduğunu buldum. Maliyet genellikle binlerce istekte tekrarlanan küçük seçimlerden kaynaklanır. Bazı ekipler için kullanıcı deneyimini yavaşlatmadan %30'luk bir indirim mümkün olabilir. Sonuç trafiğe, model fiyatlarına, bilgi istemi boyutuna ve sistemin istekleri işleme şekline bağlıdır. Her işletmenin sabit bir tasarrufu yoktur. Basit bir maliyet incelemesiyle başlıyorum. En az bir faturalandırma döngüsü için bu sayıları izleyin: - Toplam talepler - Ortalama giriş jetonları - Ortalama çıktı jetonları - Model başına maliyet - Yanıt süresi - Hata ve yeniden deneme oranı - Yüksek kapasiteli bir model gerektiren talepler - Daha küçük bir model kullanabilen talepler Bu bana bütçenin nereye gittiğine dair net bir fikir veriyor. Çoğu ekip, maliyetin çoğunu tekrarlanan küçük bir grup görevin oluşturduğunu keşfeder. Yararlı bir örnek, her ay 12.000 isteği işleyen bir destek asistanıdır. Sistem her soruyu büyük bir modele gönderiyor. Her istek tam müşteri geçmişini, ürün kılavuzunu ve dahili talimatları içerir. Ortalama talebin maliyeti yaklaşık 0,08 ABD dolarıdır ve bu da yaklaşık 960 ABD doları tutarında bir aylık model faturası oluşturur. Pratik bir inceleme şunları gösterebilir: - Soruların %55'i basit hesap veya ürün sorgularıdır - %25'i belge aramayı gerektirir - %15'i ayrıntılı bir cevaba ihtiyaç duyar - %5'i insan incelemesine ihtiyaç duyar 12.000 isteğin tamamının aynı modele gönderilmesi nadiren gerekli olur. Trafiği göreve göre ayırıyorum. Daha küçük bir model şu gibi kısa soruları yanıtlayabilir: - "Şifremi nasıl sıfırlarım?" - “Faturamı nerede bulabilirim?” - “Hangi dosya türlerini kabul ediyorsunuz?” Daha güçlü bir model, uzun belgeleri, belirsiz talepleri ve çok adımlı akıl yürütmeyi ele alabilir. Bir insan hassas veya olağandışı vakaları inceleyebilir. Bu model yönlendirme, karmaşık istekler için aynı hizmet düzeyini korurken maliyeti düşürebilir. Bir modeli yalnızca fiyata göre değerlendirmiyorum. Yanıt kalitesini, yanıt süresini ve oluşturduğu yeniden deneme sayısını karşılaştırırım. İstemin boyutu da faturayı etkiler. Çoğu sistem her isteğe aynı büyük talimat bloğunu ekler. Bu materyali şu şekilde azaltıyorum: - Tekrarlanan kuralları kaldırarak - Sabit bilgileri aranabilir bir bilgi tabanına taşıyarak - Yalnızca ilgili belge bölümünü göndererek - Müşteri geçmişini yararlı bir sınır içinde tutarak - Uzun örnekleri kısa örneklerle değiştirerek - Sistem talimatlarını görev verilerinden ayırarak Daha kısa bir istem, modelin işlenecek daha az içeriğe sahip olması nedeniyle yanıt süresini de artırabilir. Amaç yararlı bağlamı ortadan kaldırmak değildir. Amaç, mevcut soruyu yanıtlamaya yardımcı olmayan bağlamı kaldırmaktır. Önbelleğe alma tekrarlanan istekleri işleyebilir. Birçok kullanıcı aynı ürün sorusunu sorarsa sistemin her seferinde yeni bir yanıt üretmesine gerek kalmaz. Sabit sorular için onaylanmış yanıtları saklıyorum ve değişebilecek bilgiler için bir inceleme süresi belirliyorum. Örneğin, bir gönderim politikası birkaç hafta boyunca değişmeden kalabilir. Bir ürünün fiyatı her gün değişebilir. Bu iki bilgi türü farklı önbellek ayarlarına ihtiyaç duyar. Ayrıca, birden fazla istek aynı kaynağı aradığında, paylaşılan belge sonuçlarını da önbelleğe alıyorum. Bu, tekrarlanan çalışmaları azaltırken nihai yanıtın kullanıcının sorusuyla eşleşmesine olanak tanır. Toplu işlem, anında yanıt gerektirmeyen görevlerde yardımcı olur. Rapor oluşturma, e-posta etiketleme, belge etiketleme ve veri temizleme işlemleri genellikle gruplar halinde yürütülebilir. Bir ekip, her öğeyi ayrı bir canlı istek olarak göndermek yerine bu görevleri toplayabilir ve belirli aralıklarla işleyebilir. Bu yaklaşım canlı sohbete uygun değildir. Kısa bir gecikmenin müşteriyi etkilemediği arka planda çalışmaya uygun olabilir. Yeniden denemeler yakın ilgiyi hak ediyor. Başarısız bir istek iki veya üç kez tekrar gönderilebilir. Bu maliyeti artırır ve sistemin daha yavaş hissetmesine neden olabilir. Her yeniden denemenin nedenini kontrol ediyorum: - Geçici ağ hatası - İstek zaman aşımı - Geçersiz yanıt formatı - İçerik filtresi yanıtı - Araç hatası - Kötü bilgi istemi tasarımı Yeniden deneme sınırı, net hata yönetimi ve yapılandırılmış çıktı, tekrarlanan aramaları engelleyebilir. Asıl sorun bozuk bir alet veya geçersiz veriler olduğunda sistem aynı modelden aynı yanıtı sormaya devam etmemelidir. İş akışı daha basit olduğunda hız ve maliyet genellikle birlikte iyileşir. Gereksiz çağrıları kaldırıyorum, örneğin: 1. Bir isteği bir modelle sınıflandırmak 2. İkinci bir modelle yeniden yazmak 3. Üçüncü bir çağrıyla belgeleri aramak 4. Dördüncü bir çağrıyla yanıt oluşturmak Bazı görevler birkaç aşama gerektirir. Bazıları bunu yapmıyor. Cevap kalitesini düşürmeden iki aramanın dört aramanın yerini alıp alamayacağını test ediyorum. Pratik bir test süreci şuna benzer: - 100 ila 300 temsili isteği seçin - Mevcut maliyeti ve yanıt süresini kaydedin - Daha düşük maliyetli bir iş akışı oluşturun - Yanıt doğruluğunu ve kullanıcı memnuniyetini karşılaştırın - Uç durumları ve hassas istekleri kontrol edin - Değişikliği küçük bir trafik grubuna yayın - Daha geniş kullanımdan önce sonuçları inceleyin Test sırasında geri alma seçeneğini koruyorum. Maliyet kontrolü yeni bir destek sorunu yaratmamalıdır. Örnek bir azalma şu şekilde görünebilir: - Model yönlendirme: %15 daha düşük maliyet - Daha kısa istemler: %8 daha düşük maliyet - Tekrarlanan yanıtları önbelleğe alma: %5 daha düşük maliyet - Daha az yeniden deneme: %3 daha düşük maliyet Bu rakamlar bir vaat değil örnektir. Her değişiklikten elde edilen tasarruflar örtüşebilir, bu nedenle her yüzdeyi toplamak yerine toplamı test ettikten sonra hesaplarım. Ekibin ayrıca kalite kontrolüne ihtiyacı var. Şunları izlerim: - Doğruluk - Eksik bilgi - Ton - Yanıt süresi - İlerletme oranı - Müşteri şikayetleri - İnsan incelemesi sonuçları Daha fazla destek bildirimi oluşturan daha ucuz bir yanıt, gerçek bir tasarruf değildir. Güveni zedeleyen büyük bir kesinti yerine istikrarlı hizmetle ölçülü bir azalmayı tercih ederim. Benim görüşüm basit: Yapay zeka maliyet kontrolü, aceleye getirilmiş bir model değişikliğiyle değil, trafik analiziyle başladığında en iyi sonucu verir. Görevin izin verdiği ölçüde daha küçük bir model kullanın, istemlere odaklanın, istikrarlı sonuçları yeniden kullanın ve daha yüksek maliyetli işlemleri gerçekten ihtiyaç duyan istekler için ayırın. Bu yaklaşım, ekibe hız ve yanıt kalitesini inceleme altında tutarken harcamaları azaltma konusunda net bir yol sağlar.

Çoğu ekip, her istemde API faturalarının artmasıyla karşılaşmadan daha güçlü yapay zeka sonuçları istiyor. Sorun genellikle bir şirketin ne kadar yapay zeka kullandığı değildir. Her görevin bir modele atanması budur. Basit bir model yönlendirme planı, kaliteyi sabit tutarken yapay zeka maliyetlerinin kontrol edilmesine yardımcı olabilir. Karmaşık işleri yüksek kapasiteli bir modele gönderiyorum ve rutin görevleri daha düşük maliyetli bir seçeneğe yönlendiriyorum. Bu, boşa harcanan harcamaları azaltabilir ve bazı ekipler kullanım kalıplarına bağlı olarak %30'a yakın tasarruf görebilir. ## Maliyet sorunu Genellikle her istek için tek bir model kullanılır: - Müşteri mesajı sıralama - Ürün açıklaması taslakları - Veri çıkarma - Kod inceleme - Araştırma özetleri - Karmaşık iş analizi Bu görevler aynı düzeyde işleme gerektirmez. Kısa bir sınıflandırma talebi, daha küçük bir modelle iyi sonuç verebilir. Yasal bir belge incelemesi veya ayrıntılı bir teknik analiz, daha güçlü bir modele ihtiyaç duyabilir. Her talep aynı pahalı modele gittiğinde şirket, görevin gerektirdiğinden daha fazla kapasite için ödeme yapabilir. ## Akıllı hareket: görevleri zorluğa göre yönlendirin Üç seviyeli basit bir yapı kullanıyorum. ### Rutin görevler Bunlar arasında şunlar yer alır: - Destek bildirimlerini sıralama - Mesajın amacını algılama - İsimleri, tarihleri ​​ve sipariş numaralarını çıkarma - Kısa metni yeniden yazma - Basit ürün etiketleri oluşturma Daha düşük maliyetli bir model, istem ve çıktı formatı net olduğunda genellikle bu işi halledebilir. ### Standart görevler Bunlar arasında şunlar yer alır: - Müşteri yanıtlarını yazmak - Raporları özetlemek - Kampanya taslakları oluşturmak - Ürün özelliklerini karşılaştırmak - Dahili notlar oluşturmak Orta düzey bir model, maliyet ve çıktı kalitesi arasında iyi bir denge sağlayabilir. ### Karmaşık görevler Bunlar şunları içerir: - Çok adımlı analiz - Teknik planlama - Uzun belge incelemesi - Kod hata ayıklama - Daha fazla bağlama ihtiyaç duyan iş kararları Bu istekler daha yetenekli bir modele gönderilebilir. Amaç daha güçlü modellerden kaçınmak değil. Amaç bunları değer katacakları yerde kullanmaktır. ## Pratik bir maliyet örneği Bir destek ekibinin her ay 100.000 yapay zeka isteği gönderdiğini düşünün. Yaklaşık 70.000 istek yalnızca mesajları sınıflandırıyor veya temel ayrıntıları çıkarıyor. Geriye kalan 30.000 soru ise daha uzun cevaplar veya daha derin analizler gerektiriyor. Tüm taleplerde yüksek maliyetli bir model kullanılıyorsa aylık fatura gerekenden fazla olabilir. Ekip bu kurulumu test edebilir: 1. Temel istekleri daha düşük maliyetli bir modele yönlendirin. 2. Orta sınıf bir modelde standart istekleri koruyun. 3. Karmaşık istekleri daha güçlü modele gönderin. 4. Her hafta çıktıların bir örneğini gözden geçirin. 5. Kalite değiştiğinde görevleri gruplar arasında taşıyın. Orijinal aylık maliyet 10.000 ABD Doları ise, %30'luk bir indirim yaklaşık 7.000 ABD Dolarına getirecektir. Gerçek sonuç, token hacmine, model fiyatlarına, bilgi istemi uzunluğuna, çıktı uzunluğuna ve daha güçlü işlem gerektiren isteklerin sayısına bağlıdır. Tasarruf varsayılmamalı, ölçülmelidir. ## Model yönlendirmeyi nasıl ayarlarım ### Mevcut iş yükünü haritalayın Bir veya iki haftalık istek verilerini toplarım ve kaydederim: - İstek türü - Giriş uzunluğu - Çıkış uzunluğu - Kullanılan model - Yanıt süresi - Hata oranı - İnsan düzeltme oranı - İstek başına maliyet Bu, bütçenin nereye gittiğini gösterir. Bir ekip, kullanımının büyük bir kısmının kısa ve tekrarlanan isteklerden kaynaklandığını keşfedebilir. ### Açık yönlendirme kuralları oluşturun Kurallar basit kalabilir: - Kısa sınıflandırma isteği → düşük maliyetli model - Standart yazma isteği → orta düzey model - Karmaşık analiz isteği → daha güçlü model - Düşük güvenirlik yanıtı → daha güçlü bir modele veya insan incelemeciye gönderme Güven kontrolünde bir puan, gerekli bir saha testi veya modelin yanıt formatının incelemesi kullanılabilir. ### Test çıktısı kalitesi Maliyet kontrolü müşteri hizmet kalitesini düşürmemelidir. Farklı modellerden gelen yanıtları aynı istek dizisiyle karşılaştırırım. İnceleme şunları kontrol edebilir: - Doğruluk - Ton - Tamlık - Biçimlendirme - Politikaya uygunluk - İnsan tarafından düzenleme süresi Yoğun düzeltme gerektiren daha ucuz bir yanıt, gerçek bir tasarruf sağlamayabilir. ### Doğru sayıları takip edin Yararlı bir kontrol paneli şunları gösterebilir: - 1.000 istek başına maliyet - İstek başına ortalama jeton - Görev türüne göre maliyet - İlerletme oranı - İnsan düzeltme süresi - Müşteri yanıt kalitesi Bu sayılar kararı kolaylaştırır. Daha düşük maliyetli bir model, görevi iyi bir şekilde yerine getiriyorsa ve inceleme süresini kısaltıyorsa, bu iyi bir seçim olabilir. Aksi takdirde görev başka bir modele geçebilir. ## Küçük bir işletme örneği Beş kişilik bir çevrimiçi perakendeci, ürün sorularını yanıtlamak ve destek mesajlarını düzenlemek için yapay zekayı kullandı. Kurulumun yönetilmesi kolay olduğundan ekip her isteği tek bir modele gönderdi. Ekip, verilerini inceledikten sonra çoğu talebin ürün kategorileri, gönderim soruları ve sipariş ayrıntılarından oluştuğunu tespit etti. Yalnızca daha küçük bir grubun ayrıntılı bir cevaba ihtiyacı vardı. Perakendeci üç rota oluşturdu: - Temel sipariş ayrıntıları → daha düşük maliyetli model - Ürün soruları → orta sınıf model - Şikayetler ve karmaşık talepler → insan incelemesiyle daha güçlü model Ekip daha sonra iki hafta boyunca yanıt kalitesini karşılaştırdı. Daha düşük model harcamaları gördükten ve müşteri düzeltmelerinde belirgin bir artış görülmedikten sonra yeni yönlendirme planını korudu. Sonuç, yapay zeka özelliklerinin kaldırılmasından değil, aracın görevle eşleştirilmesinden geldi. ## Kaçınılması gereken yaygın hatalar Her istek için bir model kullanmak, sonuçları iyileştirmeden maliyetleri artırabilir. Her istemde uzun sohbet geçmişi göndermek de jeton kullanımını artırabilir. Kullanılmayan bağlamı kaldırıyorum, talimatlara odaklanıyorum ve tekrarlanan bilgileri yapılandırılmış bir formatta saklıyorum. Kalite kontrolleri yapılmadan maliyetlerin düşürülmesi başka bir risk oluşturur. Bir model, eksik, belirsiz veya müşteri için uygun olmayan, daha ucuz bir yanıt üretebilir. Ayrıca sistemin birkaç parçasını aynı anda değiştirmekten kaçınıyorum. Model, bilgi istemi, iş akışı ve inceleme kurallarının tümü birlikte değiştiğinde sonuca neyin sebep olduğunu belirlemek zorlaşır. ## Basit bir başlangıç ​​planı - Aylık kullanıma göre en iyi 10 yapay zeka görevini listeleyin. - Bunları zorluk derecesine göre gruplandırın. - Daha düşük maliyetli bir modeli rutin işlerde test edin. - Kalite kontrolleri için bir inceleme örneği saklayın. - İki hafta boyunca maliyeti ve düzeltme süresini takip edin. - Yönlendirme kurallarını verilere göre ayarlayın. Yapay zeka maliyetinin azaltılması, daha zayıf hizmet gerektirmez. Göreve dayalı bir yönlendirme planı, her isteğe ihtiyaç duyduğu işleme düzeyini verirken, ekibin kalite, gizlilik ve harcama üzerindeki kontrolünü elinde tutmasını sağlar. En faydalı soru “Her şey için hangi modeli kullanmalıyız?” değildir. “Hangi model bu göreve uyuyor?” Daha fazlasını mı öğrenmek istiyorsunuz? Amy Wu ile iletişime geçmekten çekinmeyin: amy.wu@ihuagroup.com/WhatsApp +8613612662976.

Ashish Vaswani, 2017, İhtiyacınız Olan Tek Şey Dikkat Jared Kaplan, 2020, Nöral Dil Modelleri için Ölçekleme Yasaları Jordan Hoffmann, 2022, Bilgi İşlem İçin Optimal Büyük Dil Modellerinin Eğitimi Tim Dettmers, 2022, LLM.int8: Transformers at Scale Tri Dao için 8-Bit Matris Çarpması, 2022, FlashAttention: Hızlı ve Bellek Verimliliği IO Farkındalığı ile Tam Dikkat Song Han, 2016, Derin Sıkıştırma: Derin Sinir Ağlarını Budama, Eğitimli Niceleme ve Huffman Kodlama ile Sıkıştırma