Transformers Açıklandı: Bugün Model Doğruluğunu Artırmanın 7 Sırrı

Birçok Transformer projesi, eğitim kaybının sağlıklı göründüğü ancak doğrulama doğruluğunun sabit kaldığı bir noktaya ulaşır. Bunun metin sınıflandırıcılarda, arama sistemlerinde ve belge modellerinde gerçekleştiğini gördüm. Bunun nedeni nadiren bir eksik parametredir. Veri kalitesi, tokenizasyon, dikkat tasarımı, değerlendirme ve eğitim seçenekleri sıklıkla birbirini etkiler. Bu yedi uygulama bana bir Transformer modelini tahminlere dayanmadan geliştirmem için net bir yol sunuyor. ## 1. Daha temiz etiketlerle başlayın Bir Transformer, yararlı olanları öğrendiği gibi yanlış etiketlerden de kalıpları öğrenebilir. Eğitim seti karışık kurallar, yinelenen kayıtlar veya belirsiz kategoriler içeriyorsa model kararsız sonuçlar üretebilir. Küçük bir etiket incelemesiyle başlıyorum: - Her sınıftan rastgele bir örnek okuyun. - Tüm etiketlerde aynı kuralın kullanılıp kullanılmadığını kontrol edin. - Yinelenen veya neredeyse yinelenen kayıtları kaldırın. - Anlaşılmayan örnekleri bir sınıfa girmeye zorlamak yerine işaretleyin. - Modelin düşük güvenle tahmin ettiği örnekleri inceleyin. Pratik bir örnek duygu sınıflandırmasından gelir. Bir inceleme hem övgü hem de eleştiri içerebilir: > “Kamera keskin ama pil zayıf.” Görev genel duyarlılıksa, etiketin açık bir kurala ihtiyacı vardır. Görev, boyuta dayalı duyarlılıksa, aynı cümlenin kamera ve pil için ayrı etiketlere ihtiyacı vardır. İnsanların tanımlamadığı bir etiketleme politikasını bir model çözemez. Karışık kararlarla dolu daha büyük bir veri kümesi yerine tutarlı etiketlere sahip daha küçük bir veri kümesini tercih ederim. ## 2. Verilere uygun bir tokenizer kullanın Tokenizasyon, modelin ne görebildiğini kontrol eder. Zayıf bir tokenizer ürün kodlarını, tıbbi terimleri, kullanıcı adlarını veya yazılım adlarını birçok küçük parçaya bölebilir. Bu, dizi uzunluğunu artırır ve yararlı kalıpları gizleyebilir. Üç alanı kontrol ediyorum: - Yaygın kelimelerin nasıl bölündüğü - Nadir alan terimlerinin ne kadar bölündüğü - Modelin maksimum dizi uzunluğuna ne sıklıkta ulaştığı Bir destek veri kümesinin 'RX-4500-Pro' gibi ürün kodları içerdiğini varsayalım. Tokenizer kodu ilgisiz parçalara ayırırsa model bir ürünü diğerinden ayırt etmekte zorlanabilir. Yeni terimlerin değişikliği haklı çıkaracak kadar sık ​​görünmesi koşuluyla, kelime dağarcığına alan adı terimlerini eklemek yardımcı olabilir. Belirteç aynı zamanda dağıtım sırasında kullanılan metinle de eşleşmelidir. Temiz cümleler üzerine eğitilmiş bir model, kullanıcılar kısaltmalar, emojiler, yazım hataları veya kopyalanan sistem günlükleri gönderdiğinde farklı davranabilir. Eğitimden önce tokenizer'ı küçük bir ortak giriş tablosuyla test ediyorum. Bu basit kontrol, saatlerce süren hesaplamayı tüketmeden önce bir sorunu ortaya çıkarabilir. ## 3. Dizi uzunluğunu bir model seçimi olarak değerlendirin. Daha uzun girdi her zaman daha iyi tahminler üretmez. İlgisiz içerik ekleyebilir, bellek kullanımını artırabilir ve optimizasyonu zorlaştırabilir. Doğrudan bir soru soruyorum: Girdinin hangi kısmı görev için gereken kanıtları içeriyor? E-posta sınıflandırmasında konu ve mesajın ilk kısmı faydalı sinyaller taşıyabilir. Yasal belge analizi için sonlara doğru bir anahtar madde görünebilir. Müşteri desteği açısından en son kullanıcı mesajı eski bir konuşma bloğundan daha önemli olabilir. Yararlı seçenekler şunları içerir: - Bilinen kanıt etrafında metni kısaltmak - Uzun belgeleri bölümlere ayırmak - Üst üste binen pencereler kullanmak - Sınıflandırmadan önce uzun pasajları özetlemek - Bölüm düzeyindeki tahminleri birleştirmek Yaygın bir hata, büyük bir maksimum uzunluk belirlemek ve modelin her belirteci iyi kullanacağını varsaymaktır. Veri kümesindeki uzunluk dağılımını kontrol ediyorum ve doğrulama sonuçlarıyla karşılaştırıyorum. Örneklerin çoğu kısaysa, büyük bir sınır, sinyal eklemeden maliyeti artırabilir. ## 4. Dikkati görevle eşleştirin Kişisel dikkat, her bir jetonun diğer jetonlardan gelen bilgileri kullanmasına olanak tanır. Modelin iş için hâlâ doğru dikkat kurulumuna ihtiyacı var. Sınıflandırma için BERT gibi çift yönlü bir kodlayıcı, bir kelimenin her iki tarafındaki bağlamı inceleyebilir. Metin üretimi için kod çözücü nedensel dikkati kullanır, böylece tahmin sırasında gelecekteki belirteçleri okumaz. Bir rol için tasarlanan bir model, uygun değişiklikler yapılmadan başka bir role zorlandığında düşük performans gösterebilir. Dikkat maskesini de inceliyorum. Dolgu belirteçleri sonucu etkilememelidir. Bir çift cümlede ayırıcı ve segment bilgilerinin tutarlı bir şekilde ele alınması gerekir. Küçük bir maskeleme hatası, değerlendirme sonuçlarına zarar verirken makul eğitim günlükleri oluşturabilir. Cümle çifti görevi için kelime sırasının anlamı değiştirdiği örnekleri test ediyorum: > "Tedarikçi talebi onayladı." > “Talep tedarikçiyi onayladı.” Yararlı bir model yalnızca paylaşılan kelimelere değil, değişen ilişkiye de tepki vermelidir. Dikkat kalıpları model davranışının tam bir açıklaması değildir ancak girdi yapısının beklendiği gibi ele alınıp alınmadığını ortaya çıkarmaya yardımcı olabilirler. ## 5. İstikrarlı bir eğitim planıyla ince ayar yapın İnce ayar, öğrenme oranı küçük olduğunda ve eğitim programı kontrol edildiğinde genellikle daha iyi çalışır. Büyük bir öğrenme oranı, önceden eğitilmiş kullanışlı gösterimleri çok hızlı değiştirebilir. Çok küçük bir oran, göreve özgü katmanların yetersiz eğitilmesine neden olabilir. Büyük bir ızgarada arama yapmak yerine genellikle birkaç ayarı karşılaştırırım: - Öğrenme oranı - Toplu iş boyutu - Dönem sayısı - Isınma adımları - Ağırlık azalması - Bırakma oranı - Gradyan birikimi En iyi ayar, veri kümesi boyutuna ve görevin zorluğuna bağlıdır. Küçük bir veri kümesi yalnızca birkaç çağdan sonra aşırı sığabilir. Büyük bir veri kümesi daha fazla eğitime ihtiyaç duyabilir ancak doğrulama eğrisi karara yön vermelidir. Takip ediyorum: - Eğitim kaybı - Doğrulama kaybı - Doğruluk - F1 puanı - Sınıf başına geri çağırma - Tahmin güveni Doğruluk tek başına küçük sınıflardaki zayıf performansı gizleyebilir. Bir dolandırıcılık veri kümesinin %95'i normal işlemler içeriyorsa, her kayıt için "normal"i tahmin eden bir model, gerçek görevde başarısız olurken yüksek doğruluk gösterebilir. Makro F1 ve azınlık sınıfı geri çağırma daha kullanışlı bir görünüm sağlar. Doğrulama performansının iyileşmesi durduğunda erken durdurma yardımcı olabilir. Yalnızca en düşük eğitim kaybını değil, ürün hedefiyle eşleşen metriği temel alarak kontrol noktalarını kaydediyorum. ## 6. Sızıntıyı azaltın ve veri bölünmesini kontrol edin Veri sızıntısı, bir modelin test sırasında doğru görünmesine ve yayınlandıktan sonra güvenilmez görünmesine neden olabilir. Değerlendirme kümesindeki bilgiler kopyalar, kullanıcı kayıtları, gelecekteki olaylar veya ön işleme adımları yoluyla eğitime ulaştığında gerçekleşir. Modelin yeni verileri nasıl alacağını yansıtan bölmeler kullanıyorum. Bir müşteri mesajı sınıflandırıcısı için rastgele bölme, aynı müşteriden gelen mesajları hem eğitim hem de doğrulama setlerine yerleştirebilir. Model, genel görev yerine müşterinin yazma alışkanlıklarını öğrenebilir. Kullanıcı düzeyindeki bir bölünme daha dürüst bir tahmin sağlar. Zamana dayalı veriler için daha önceki kayıtlar üzerinde eğitim alıyorum ve daha sonraki kayıtlar üzerinde doğrulama yapıyorum. Bu, kalıpların değişebileceği talep tahmini, haber sınıflandırması ve sistem izleme açısından önemlidir. Ayrıca yalnızca eğitim setine ön işleme adımlarını da uyguluyorum. Kelime güncellemeleri, normalleştirme kuralları, özellik seçimi ve veri istatistikleri doğrulama veya test kayıtlarını kullanmamalıdır. Yararlı bir denetim şu soruyu sorar: - Bölmelerde yinelenen metinler mevcut mu? - Aynı kullanıcıya ait kayıtlar birden fazla bölümde mi görünüyor? - Zaman damgası etiketi ortaya çıkarıyor mu? - Test seti hiperparametreleri seçmek için kullanıldı mı? - Sentetik numuneler değerlendirme verilerine dayanıyor mu? Daha düşük ancak güvenilir bir puan, sızıntının yarattığı yüksek puandan daha faydalıdır. ## 7. Sadece ortalama durumları değil, zor durumları da test edin Ortalama doğrulama doğruluğu, modelin nerede başarısız olduğunu göstermez. Kullanıcıların gönderebileceği durumları temsil eden hedefli test grupları oluşturuyorum. Bir metin modeli için bu gruplar şunları içerebilir: - Kısa mesajlar - Uzun mesajlar - Yazım hataları - Karışık diller - Olumsuzluk - Alaycılık - Nadir adlar - Yeni ürün terimleri - Bir mesajda birden fazla amaç - Boş veya neredeyse boş girdi Yanlış pozitifleri ve yanlış negatifleri elle gözden geçiririm. Bir karışıklık matrisi, iki etiketin sıklıkla karıştırıldığını gösterebilir. Bu modelin arkasındaki örnekler genellikle bir sonraki eylemi önerir: Etiketleri iyileştirin, eğitim örnekleri ekleyin, sınıflandırmayı gözden geçirin veya giriş formatını ayarlayın. Güven puanlarının da bakıma ihtiyacı vardır. Bir model son derece kendinden emin olabilir ve tanıdık olmayan bir metinde yine de hatalı olabilir. Bir doğrulama kümesindeki güveni gerçek doğrulukla karşılaştırırım ve uygulama eşik değerleri kullandığında kalibrasyon yöntemlerini dikkate alırım. Örneğin, bir destek sistemi mesajları yalnızca güven yüksek olduğunda otomatik olarak yönlendirebilir. Eşiğe yakın vakalar, gerçek kişi olan incelemeciye gidebilir. Bu tasarım genellikle her tahmini otomatik bir yola zorlamaktan daha iyi çalışır. ## Kullandığım pratik bir iş akışı Doğruluk hedefin altında olduğunda beş değişkeni aynı anda değiştirmekten kaçınırım. Bu da sonucun açıklanmasını zorlaştırıyor. Sürecim şuna benziyor: 1. Hedef metriği ve her hatanın maliyetini tanımlayın. 2. Etiketleri, kopyaları ve sınıf dengesini denetleyin. 3. Belirteçlendirmeyi ve dizi uzunluğunu gözden geçirin. 4. Temiz, göreve uygun bir veri bölümü oluşturun. 5. Sabit ayarlarla küçük bir taban çizgisi çalıştırın. 6. Her seferinde bir ana faktörü değiştirin. 7. Sonuçları sınıfa ve zor durum grubuna göre karşılaştırın. 8. Değişikliği yalnızca yeni bir hata modeli oluşturmadan hedef metriği iyileştirdiğinde saklayın. Temel, basit bir sınıflandırma kafasına sahip, önceden eğitilmiş bir kodlayıcı olabilir. Bu bana bir referans noktası sağlıyor. Karmaşık bir değişiklik, temiz bir doğrulama kümesinde bu referansı geçemezse, eğitim süreci daha gelişmiş göründüğü için bunu saklamam. Transformatörün doğruluğu genellikle küçük, test edilebilir kararlar zinciri yoluyla iyileşir. Daha iyi etiketler daha iyi dikkati destekler. Daha iyi giriş işleme, daha kararlı ince ayarı destekler. Adil bir değerlendirme bölümü, kazanımların eğitim verileri dışında da devam edip etmeyeceğini gösterir. Yalıtılmış sıralama rakamları yerine kanıtlara odaklandığımda, model iyileştirmenin ölçülmesi ve sürdürülmesi daha kolay hale geliyor.

Çoğu yapay zeka sistemi, bir cümlenin birden fazla anlam, uzak kelimeler veya uzun bir belgeye yayılmış bilgiler içermesi durumunda sorun yaşar. Bir model her kelimeyi doğru bir şekilde tanıyabilir ancak aralarındaki ilişkiyi gözden kaçırabilir. Bu boşluk zayıf çevirilere, yanlış cevaplara ve net olmayan özetlere yol açabilir. Transformers, kelimelerin birbirleriyle nasıl ilişki kurduğunu inceleyerek bu sorunun azaltılmasına yardımcı olur. Bir yapay zeka sisteminden bir sözleşme maddesini açıklamasını, bir paragrafı tercüme etmesini veya bir raporla ilgili bir soruyu yanıtlamasını istediğimde, model her kelimeyi ayrı bir öğe olarak ele almıyor. Kelimeleri karşılaştırır ve anlamı şekillendiren kısımlara daha fazla önem verir. ### Dikkat, modelin bağlamı okumasına yardımcı olur Transformer'ın arkasındaki ana özelliğe dikkat denir. Şu cümleyi düşünün: "Maria kitabı Anna'ya verdi çünkü okumayı bitirmişti." “O” kelimesi Maria veya Anna'ya atıfta bulunabilir. Bir dil modelinin, bir yorumu seçmeden önce çevredeki kelimeleri incelemesi gerekir. Dikkat, modelin "o" kelimesini cümledeki diğer kelimelerle karşılaştırmasına ve hangi bağlantıların daha olası olduğunu tahmin etmesine olanak tanır. Bu süreç metnin birçok bölümünde gerçekleşir. Paragrafın sonuna yakın bir kelime, başlangıca yakın bir kelimeye bağlanabilir. Eski dil modelleri genellikle metni sabit bir sırayla işliyordu ve bu da uzun mesafeli ilişkilerin izlenmesini zorlaştırıyordu. Transformers birçok ilişkiyi aynı anda inceleyebilir. Bu, modele bir sonraki kelimeyi tahmin etmeden veya bir cevap üretmeden önce daha fazla bilgi verir. ### Çoklu dikkat katmanları farklı sinyalleri yakalar Bir Transformer tek bir dikkat modeline bağlı değildir. Birkaç dikkat kafası kullanır ve her kafa farklı bir bağlantı türüne odaklanabilir. Bir kafa dilbilgisini takip edebilir. Bir diğeri isimlere, tarihlere veya konumlara odaklanabilir. Ayrı bir başlık, bir soruyu cevabını içeren pasajla bağlayabilir. Bir yapay zeka aracını müşteri destek mesajıyla test ettiğimde, bu modeller sistemin şunları tanımlamasına yardımcı olabilir: - Müşterinin ana sorunu - İlgili ürün veya hizmet - İstenen eylem - Mesajın tonu - Yararlı bir yanıt için gereken ayrıntılar Model bu sinyalleri birçok katmanda birleştirir. Her katman metnin dahili temsilini değiştirerek sistemin girdiye ilişkin daha zengin bir görünüm oluşturmasına yardımcı olur. Doğruluk tek bir kuraldan gelmez. Birçok küçük ilişkinin birlikte işlenmesinden gelir. ### Transformers daha uzun bağlamı ele alır Kısa bir soru, uzun bir belgeden bilgi gerektirebilir. Bir destek temsilcisinin, müşterinin şikayetinden birkaç sayfa uzakta bir garanti koşulu bulması gerekebilir. Bir araştırmacı, bir raporun birden fazla bölümüne yayılmış ayrıntılara bağlı bir soru sorabilir. Dönüştürücüler bu durumlarda kullanışlıdır çünkü işleme sırasında daha büyük miktarda metni karşılaştırabilirler. Model, bir paragraftaki ürün adını başka bir paragraftaki tarih, koşul veya istisna ile bağlayabilir. Bu, sistemin her uzun belgeyi doğru anladığı anlamına gelmez. Uzun girişler yine de gözden kaçan ayrıntılara, tekrarlanan yanıtlara veya uydurma bağlantılara neden olabilir. Sonucun kalitesi modele, eğitim verilerine, bilgi istemine ve belgenin sağlanma şekline bağlıdır. ### Eğitim, Transformers'ın geniş metin, kod, resim, ses veya diğer veri koleksiyonlarından öğrenmesini sağlayacak model kalıplarını verir. Eğitim sırasında model, eksik veya takip edilen içeriği tahmin eder ve tahmin yanlış olduğunda dahili ayarlarını düzenler. Bir dil modeli şu tür cümleleri görebilir: "Paket gecikti çünkü teslimat kamyonu..." Cümleyi "trafik", "hava durumu" veya "rota" gibi kelimelerin takip edebileceğini öğrenir. Birçok örnek işlendikten sonra model, dil ve anlamla ilgili istatistiksel modeller oluşturur. BERT iyi bilinen bir örnektir. Aramayı anlama ve metin sınıflandırma gibi görevlere yardımcı olan, kelimeleri etraflarındaki kelimelerle ilişkili olarak okumak için tasarlandı. GPT modelleri, adım adım metin oluşturmak için Transformer tasarımlarını kullanır. Çeviri sistemleri ayrıca iki dildeki kelimeleri karşılaştırmak için Transformer modellerini kullanır. Bu sistemler her cevabı basit bir liste halinde saklamaz. Yeni girdiler için uygun çıktıları tahmin etmelerine yardımcı olacak kalıpları öğrenirler. ### Daha iyi girdi, sonucu iyileştirebilir Gerçek sorun net olmayan girdi olduğunda insanların genellikle yapay zeka modelini suçladığını buldum. Bir Transformer bağlamı işleyebilir ancak yine de yararlı bağlama ihtiyaç duyar. Pratik bir iş akışı şuna benzer: 1. Görevi doğrudan dille belirtin. 2. Kaynak metni veya verileri sağlayın. 3. İstediğiniz formatı açıklayın. 4. Kelime sayısı veya hedef kitle gibi sınırlamalar ekleyin. 5. Modelden bilinen gerçekleri belirsiz noktalardan ayırmasını isteyin. 6. Cevabı orijinal kaynağa göre kontrol edin. Örneğin, “Bu raporu özetleyin” birçok seçeneği açık bırakıyor. Daha net bir talep şöyle olabilir: "Raporu beş maddede özetleyin. Ana bulguyu, iki destekleyici rakamı, bir sınırlamayı ve bilgilerin yer aldığı bölüm adlarını ekleyin." İkinci istek modele daha net bir hedef verir. Transformer dikkatini görev için önemli olan ayrıntılara odaklayabilir. ### Doğruluk hâlâ insan incelemesine ihtiyaç duyuyor Transformatörler, öngörüyü ve bağlam yönetimini geliştirir, ancak doğru bilgiyi garanti etmezler. Bir model, yanlış tarih, desteklenmeyen iddia veya eksik istisna ile akıcı bir yanıt üretebilir. Müşteri hizmetleri için yapay zekayı kullanan bir şirket, sistemin gelen mesajları sınıflandırmasına izin verirken bir kişi de para iadesi, hesap erişimi veya hassas kayıtları içeren yanıtları inceleyebilir. Bir tıbbi bilgi aracı araştırmanın düzenlenmesine yardımcı olabilir, ancak yine de sonucun nitelikli bir profesyonel tarafından değerlendirilmesi gerekir. Transformer çıktısını kanıt olarak değil, çalışma taslağı olarak ele alıyorum. İçeriği kullanmadan önce isimleri, numaraları, alıntıları, kaynakları ve talimatları kontrol ederim. Transformatörler, modellere sözcükleri, görüntüleri ve diğer bilgi parçalarını bağlamak için daha güçlü bir yol sağlayarak yapay zeka doğruluğunu artırır. Dikkat, yararlı ilişkilerin belirlenmesine yardımcı olur. Çoklu katmanlar farklı desenleri algılar. Büyük ölçekli eğitim, üzerinde çalışılacak model dilini ve görev sinyallerini verir. En iyi sonuçlar üç bölümün birlikte çalışmasıyla elde edilir: Yetenekli bir model, net girdi ve dikkatli inceleme. Teknoloji, yapay zeka yanıtlarını daha alakalı ve tutarlı hale getirebilir ancak insan muhakemesi sürecin bir parçası olmaya devam ediyor.

Birçok ekip, algoritmaları değiştirerek veya daha fazla katman ekleyerek model doğruluğunu iyileştirmeye çalışır. Bu yaklaşım asıl sorunu gözden kaçırabilir. Zayıf etiketler, zayıf veriler, veri sızıntısı ve eğitim verileri ile kullanıcı davranışı arasındaki uyumsuzluk genellikle daha büyük bir etkiye sahiptir. Verilerle ve modelin kullanılma şekliyle başlıyorum. Bu yedi adım, projeyi bir tahmin egzersizine dönüştürmeden doğruluğu artırmam için bana pratik bir yol sunuyor. ### 1. Hedefi açıkça tanımlayın Bir model, belirsiz bir hedeften yararlı bir model öğrenemez. Geç teslimatları tespit eden bir sistem kurduğumu varsayalım. Etiket şu anlama gelebilir: - Paket söz verilen tarihten sonra ulaştı - Paket iki günden fazla gecikti - Müşteri şikayette bulundu - Teslimat durumu beklenen süreden sonra güncellendi Her tanım farklı bir veri kümesi ve farklı bir sonuç oluşturur. Modeli eğitmeden önce hedef kuralı bir cümleyle yazıyorum. Ayrıca kuralın iş hedefiyle eşleşip eşleşmediğini de kontrol ediyorum. Bir müşteri hizmetleri ekibi şikayetlerle ilgilenirken, bir lojistik ekibi teslimat tarihlerini önemseyebilir. Net bir hedef, modele net bir görev verir. ### 2. Etiketlerinizin kalitesini kontrol edin Bir model yalnızca aldığı örneklerden öğrenebilir. Birçok örneğin yanlış etiketi varsa, algoritma iyi seçilse bile doğruluk düşük kalabilir. Genellikle rastgele bir kayıt örneğini elle incelerim. Bir e-posta sınıflandırma modeli için "spam" ve "spam değil" olarak işaretlenen iletileri inceleyebilirim. Birkaç tanıtım e-postası normal mesaj olarak etiketlendiyse eğitim verileriyle ilgilenilmesi gerekir. Yararlı kontroller şunları içerir: - Eksik etiketleri sayın - Çakışan etiketleri arayın - Farklı gözden geçirenlerin etiketlerini karşılaştırın - Karar sınırına yakın örnekleri inceleyin - Anlamı belirsiz olan kayıtları kaldırın Küçük bir inceleme, bir grafiğin göstermediği kalıpları ortaya çıkarabilir. Yaygın bir müşteri desteği vakasında, geri ödemeler ve iptallerle ilgili mesajlar genellikle aynı kategoriye yerleştirildi. Model sadece rastgele hatalar yapmıyordu. İnsanların tutarsız bir şekilde tanımladığı kategorilerden öğreniyordu. ### 3. Veri sızıntısını ortadan kaldırın Veri sızıntısı, model bir tahmin yapıldığında kullanılamayacak bilgileri aldığında meydana gelir. Dağıtımdan sonra performans düşerken test puanı güçlü görünebilir. Bir kredi başvurusunun onaylanıp onaylanmayacağını tahmin ettiğinizi hayal edin. Giriş özellikleri arasında son onay durumunu gösteren bir alan görünmemelidir. Aynı sorun daha az belirgin şekillerde de ortaya çıkabilir. Bir destek bileti "kapalı tarih" içerebilir veya tıbbi kayıt, tahmin süresinden sonra eklenen bir sonucu içerebilir. Her özellik için şu soruyu soruyorum: > Bu değer, modelin tahminini yaptığı anda mevcut olur mu? Cevap hayırsa özelliği kaldırıyorum veya veri hattını yeniden tasarlıyorum. Zamana dayalı problemler ekstra dikkat gerektirir. Rastgele bir eğitim-test bölünmesi, gelecekteki kayıtları eğitim setine, eski kayıtları ise test setine yerleştirebilir. Zamana dayalı bir bölünme genellikle talep tahmini, dolandırıcılık tespiti ve müşteri kaybı tahmini için daha dürüst bir tahmin sağlar. ### 4. Değerlendirme metriğini görevle eşleştirin Doğruluk, sınıflar dengeli olduğunda ve her hatanın maliyeti benzer olduğunda faydalıdır. Pek çok pratik görev bu koşulları karşılamıyor. İşlemlerin yalnızca %1'i sahtekarlık içeriyorsa, her işlemi güvenli olarak etiketleyen bir model, hiçbir sahtekarlık bulmadan %99 doğruluğa ulaşabilir. Bu durumda ayrıca şunları da incelerim: - Hassasiyet - Geri çağırma - F1 puanı - Hassasiyet-geri çağırma eğrisinin altındaki alan - Karışıklık matrisi Bir hastane tarama sisteminin güçlü bir geri çağırmaya ihtiyacı olabilir çünkü olası bir vakayı kaçırmanın maliyeti yüksek olur. İnceleme denetleme sistemi, gereksiz kaldırma işlemlerini azaltmak için hassasiyete daha fazla ağırlık verebilir. Tahminleri kullanan kişilerle yanlış pozitiflerin ve yanlış negatiflerin maliyetini tartıştıktan sonra ölçüyü seçiyorum. En iyi metrik, en büyük sayıyı üreten değil, karara bağlı olandır. ### 5. Özellikleri iyileştirin Daha iyi özellikler, basit bir modelin iyi performans göstermesine yardımcı olabilir. Daha fazla özellik her zaman yardımcı olmuyor. Bazıları gürültü ekler, aynı bilgiyi tekrarlar veya dağıtımdan sonra var olmayacak bir modeli tanımlar. Bir perakende talep modeli için yararlı özellikler şunları içerebilir: - Ürüne göre önceki satışlar - Haftanın günü - Tatil dönemleri - Yerel hava durumu verileri - Stok durumu - Promosyon durumu Ham zaman damgası saat, hafta içi gün ve sezon için ayrı alanlardan daha az kullanışlı olabilir. Metin verileri temizlemeden, anlamlı kelime gruplarından veya alana özgü terimlerden faydalanabilir. Özellikleri küçük gruplar halinde test edip sonucu kaydediyorum. Bu, hangi değişikliklerin yardımcı olduğunu anlamayı kolaylaştırır. Bu aynı zamanda projenin uzun bir tahmin listesine dönüşmesini de engeller. Özellik oluşturma tahmin süresine saygı göstermelidir. Gelecekteki satışlar daha önceki talebi tahmin etmek için kullanılırsa puan gerçek kullanımı temsil etmeyecektir. ### 6. Modeli adil bir doğrulama süreciyle ayarlayın Model ayarları sonuçları etkileyebilir ancak ayarlamanın kontrollü bir süreç takip etmesi gerekir. Verileri eğitim, doğrulama ve test setlerine bölüyorum. Eğitim seti modele uygundur. Doğrulama seti ayarların karşılaştırılmasına yardımcı olur. Test seti son kontrole kadar dokunulmadan kalır. Yararlı ayarlar şunları içerebilir: - Öğrenme oranı - Ağaç derinliği - Ağaç sayısı - Düzenleme gücü - Toplu iş boyutu - Karar eşiği Çapraz doğrulama, veri kümesi küçük olduğunda yardımcı olabilir. Zamana bağlı veriler için geçmiş ve gelecek kayıtları karıştırmak yerine olayların sırasını koruyan bölmeler kullanıyorum. Pratik bir örnek, görüntü sınıflandırmasından gelir. Bir model, nesnenin kendisini öğrenmek yerine eğitim görüntülerinin arka planını ezberleyebilir. Model ayarlarını değiştirmek bu sorunu çözmez. Daha çeşitli görüntüler, uygun büyütme ve daha iyi bir veri bölünmesi daha büyük bir etkiye sahip olabilir. ### 7. Dağıtımdan sonra performansı izleyin Bir model, test sırasında iyi performans gösterebilir ve daha sonra doğruluğunu kaybedebilir. Müşteri davranışları değişebilir, ürün özellikleri değişebilir, veri toplama sistemleri güncellenebilir. Şunları izlerim: - Tahmin doğruluğu - Hata türleri - Eksik giriş değerleri - Özellik dağılımları - Sınıf dengesi - Tahmin güvenirliği - Kullanıcı davranışındaki değişiklikler Bir destek modelinin, bir masaüstü uygulaması hakkındaki mesajlar üzerinde eğitildiğini varsayalım. Mobil sürümden sonra kullanıcılar yeni terimleri kullanmaya ve farklı sorunları bildirmeye başlar. Eski eğitim verileri artık güncel soruları temsil etmeyebilir. Bir inceleme programı belirliyorum ve yeniden eğitim için bir koşul tanımlıyorum. Giriş verilerindeki ani bir değişiklik, model güncellenmeden önce araştırma yapılmasını gerektirebilir. Sebebini kontrol etmeden yeniden eğitim almak aynı sorunu daha yeni verilerle tekrarlayabilir. ### Pratik bir iş akışı Model doğruluğunu iyileştirmem gerektiğinde şu sırayı izlerim: 1. Tahmin hedefini onaylayın 2. Etiketleri ve eksik değerleri inceleyin 3. Sızıntıyı kontrol edin 4. Değerlendirme metriklerini seçin 5. Özellikleri iyileştirin veya kaldırın 6. Modeli adil bir bölünmeyle ayarlayın 7. Yayınlandıktan sonra sonuçları izleyin Bu sıra, model karmaşıklığından önce veri ve ölçümle ilgilendiğinden zaman kazandırır. Temiz etiketlere ve adil bir değerlendirme sürecine sahip daha küçük bir model, belirsiz verilerle eğitilmiş daha büyük bir modelden daha faydalı olabilir. Doğruluk tüm sürecin bir sonucudur. Hatalar ortaya çıktığında sadece algoritmaya bakmıyorum. Örnekleri, etiketleri, her özelliğin zamanlamasını ve tahminin desteklediği kararı inceliyorum.

Birçok trafo projesi basit nedenlerden dolayı başarısız oluyor: Görevin çok belirsiz olması, girdinin yetersiz hazırlanması veya model çıktısının kontrol edilmeden kabul edilmesi. Daha net bir istem, daha iyi etiketler veya daha kısa bir girdi ana sorunu çözerken ekiplerin modelleri değiştirmek için saatler harcadığını gördüm. Bir transformatör metin, resim, ses ve kodu işleyebilir. Sonuçları, görevi nasıl tanımladığıma, verileri nasıl hazırladığıma, modeli nasıl seçtiğime ve çıktıyı nasıl test ettiğime bağlıdır. Bu yedi uygulama bana daha güvenilir bir başlangıç ​​noktası sağlıyor. 1. Net bir görev tanımlayın Belirli bir soruyla başlıyorum: - Metin sınıflandırmasına ihtiyacım var mı? - Özet oluşturmak istiyor muyum? - Model adları, tarihleri ​​veya ürün kodlarını mı çıkarmalı? - Sistemin bir cevap üretmesi gerekiyor mu? - Metni bir dilden diğerine çevirmeli mi? "Müşteri geri bildirimlerini anlamak" gibi geniş bir talebin ölçülmesi zordur. Bunu şu şekilde değiştirerek daha kullanışlı hale getirebilirim: > "Her incelemeyi olumlu, tarafsız veya olumsuz olarak sınıflandırın ve ana nedeni belirtin." Bu değişiklik modeli, eğitim verilerini, çıktı formatını ve değerlendirme yöntemini etkiler. Açık bir görev aynı zamanda basit bir sınıflandırma problemi için büyük bir üretken model kullanmaktan kaçınmama da yardımcı olur. 2. Modeli işe göre eşleştirin Farklı iş türleri için farklı transformatör modelleri üretilmiştir. BERT gibi bir kodlayıcı modeli sınıflandırma, arama ve metin eşleştirme için iyi çalışabilir. Kod çözücü modeli metin, kod veya yapılandırılmış yanıtlar üretebilir. Kodlayıcı-kod çözücü modeli, çeviri ve özetleme gibi görevleri destekleyebilir. Bir modeli sırf popüler olduğu için seçmiyorum. Şunları kontrol ediyorum: - Giriş dili - Maksimum giriş uzunluğu - Modelin eğitim amacı - Gerekli yanıt formatı - Mevcut donanım - Lisans ve kullanım koşulları - İhtiyaç duyulan doğruluk düzeyi Örneğin, biletleri yalnızca "faturalandırma", "giriş yapma" veya "teknik sorun" olarak etiketlemesi gereken bir destek ekibi daha küçük bir sınıflandırma modeli kullanabilir. Bir yazma asistanının üretken bir modele ihtiyacı olabilir. Daha küçük seçeneğin çalıştırılması, test edilmesi ve bakımı daha kolay olabilir. 3. Girişi temizleyin ve biçimlendirin Bir transformatör, metni benim gördüğüm gibi görmez. Belirteçleri, dikkat maskelerini ve diğer sayısal değerleri alır. Küçük girdi sorunları çıktıyı etkileyebilir. Bir modele metin göndermeden önce şunları kontrol ederim: - Boş alanlar - Tekrarlanan alanlar - Bozuk karakterler - Net olmayan konuşmacı etiketleri - Yinelenen içerik - Kullanıcı verileri içindeki gizli talimatlar - Model sınırını aşan metin Bir inceleme sınıflandırıcı oluşturduğumu varsayalım. Bu iki girdi aynı anlamı taşıyabilir: > “Teslimat gecikti ama ürün iyi çalışıyor.” > "Teslimat geç. Ürün iyi çalışıyor." Eğitim verileri tutarsız yazma stilleri içerdiğinde bir model bunları farklı şekilde ele alabilir. Formatı mümkün olduğu kadar sabit tutuyorum ve yararlı bağlamı koruyorum. Bir sohbet sistemi için her rolü açıkça etiketliyorum: Metin Sistemi: Sağlanan ürün kılavuzunu kullanarak yanıtlayın. Kullanıcı: Teslimat adresimi nasıl değiştiririm? Bağlam: [ürün kılavuzu metni] Net yapı, modele uzun bir karışık içerik bloğundan daha iyi bir sinyal verir. 4. Kesin bilgi istemleri ve örnekler kullanın Bir bilgi istemi, modele ne yapması gerektiğini, nelerden kaçınması gerektiğini ve sonucun nasıl biçimlendirileceğini anlatmalıdır. Görevin belirli bir tarzı olduğunda genellikle bir veya iki örnek ekliyorum. Zayıf bir talimat şunu söyleyebilir: > “Bu mesajı inceleyin.” Daha açık bir versiyon şöyle diyebilir: > "Mesajı faturalandırma, hesap erişimi, teslimat veya başka şekilde sınıflandırın. Bir etiket ve bir kısa neden döndürün. Mesajda yer almayan gerçekleri yaratmayın." Örnekler çeşitliliği azaltabilir: Metin Mesajı: Şifremi değiştirdikten sonra oturum açamıyorum. Etiket: hesaba erişim Sebep: Kullanıcı bir oturum açma sorunu bildiriyor. En iyi istem her zaman en uzun olan değildir. Ekstra talimatlar ana görevle rekabet edebilir. Modelin cevabı karar vermesine, yazmasına veya biçimlendirmesine yardımcı olmayan tüm satırları kaldırıyorum. Üretilen içerik için hedef kitleyi ve okuma düzeyini belirliyorum. Yeni kullanıcılara yönelik bir ürün açıklaması, bir araştırma makalesi gibi görünmemelidir. Mühendislere yönelik bir teknik not, genel okuyucunun kafasını karıştıracak terimler içerebilir. 5. Bağlamı ve giriş uzunluğunu kontrol edin Uzun bağlam, modelin ayrıntıları bulmasına yardımcı olabilir, ancak daha fazla metin her zaman daha iyi bir yanıt üretmez. Alakasız pasajlar modelin dikkatini dağıtabilir veya yararlı bilgiyi etkili dikkatin ötesine itebilir. Büyük dokümanları daha küçük bölümlere ayırıp kullanıcının sorusuyla ilgili bölümleri alıyorum. Her bölüm kısa bir başlık ve kaynak referansı içerebilir. Bir şirket politikası asistanı için şunları saklayabilirim: metin Bölüm: Geri ödeme penceresi Metin: Müşteriler, satın alma tarihinden itibaren 30 gün içinde geri ödeme talebinde bulunabilir. Kaynak: Geri Ödeme Politikası, sayfa 2 Bir kullanıcı geri ödemeler hakkında soru sorduğunda sistem, politika kılavuzunun tamamı yerine ilgili bölümü gönderebilir. Ayrıca net bir yanıt uzunluğu belirledim. "Bunu sade bir İngilizce kullanarak üç madde halinde açıklayın" gibi bir isteği kontrol etmek, "Ayrıntılı bir yanıt verin" yerine daha kolaydır. Giriş uzun olduğunda modelin hâlâ başlangıca, ortaya ve sona yakın bilgileri kullanıp kullanmadığını test ediyorum. Bu basit kontrol, bağlam sorunlarını kullanıcılar bildirmeden önce ortaya çıkarabilir. 6. Küçük, kullanışlı bir değerlendirme seti ile test edin Birkaç başarılı örneğe güvenmiyorum. Kullanıcıların sorması muhtemel soruları yansıtan bir test seti oluşturuyorum. Bir müşteri hizmetleri modeli için set şunları içerebilir: - Açık istekler - Kısa mesajlar - Yazım hataları - Bir mesajda birden fazla sorun - Eksik ayrıntılara sahip istekler - Sistemin kapsamı dışındaki sorular - Yanıtta görünmemesi gereken hassas bilgiler Model çıktısını insan tarafından onaylanmış bir yanıt veya etiketle karşılaştırırım. Sınıflandırma için doğruluğu, kesinliği, hatırlamayı ve etiketler arasındaki karışıklığı izleyebilirim. Üretim için gerçek doğruluğu, alakayı, üslubu ve formatı gözden geçiriyorum. Yararlı bir test örneği şuna benzer: Metin Girişi: Aynı sipariş için kartımdan iki kez ödeme alındı. Beklenen etiket: faturalandırma Beklenen eylem: Sipariş numarasını ve ödeme tarihini isteyin. Model sürümünü, istemi, giriş formatını ve ayarları kaydediyorum. Bir sonuç değiştiğinde tahmin etmek yerine sebebin izini sürebilirim. 7. Koruma önlemleri ekleyin ve çıktıyı gözden geçirin Bir transformatör, hata içeren akıcı metinler üretebilir. İyi dilbilgisi cevabın doğru olduğunun kanıtı değildir. Göreve uygun kontroller ekliyorum: - Sabit bir etiket seti gerektir - JSON'u kullanmadan önce doğrulayın - Desteklenmeyen iddiaları engelleyin - Gerçek yanıtlar için kaynak pasajlarını gösterin - Gerektiğinde kişisel verileri maskeleyin - Belirsiz durumları bir kişiye gönderin - Gerekmeyen verileri saklamadan günlükleri tutun Bir ürün destek asistanı için, her yanıtın ürün kılavuzundaki bilgileri kullanmasını isteyebilirim. Rehberde bir cevap yoksa asistan yeterli bilginin olmadığını söylemeli ve bir destek kanalı önermelidir. Ayrıca olağandışı girdileri de test ediyorum. Kullanıcı, asistanın kurallarını değiştirmeye çalışan bir istem yapıştırabilir. Sistem, verileri talimatlardan ayrı tutmalı ve model dışında erişim kontrolleri uygulamalıdır. Pratik bir model, sınıflandırma için güven eşiklerini kullanmaktır. Model, bir bildirimin faturalandırmayla ilgili olduğundan eminse otomasyon devam edebilir. Faturalandırma ile hesaba erişim arasında sonuç belirsizse bir personel bunu inceleyebilir. Daha iyi transformatör sonuçları genellikle tek bir ayardan veya tek bir model seçiminden değil, komple bir süreçten gelir. Görevi tanımlar, uygun bir model seçer, temiz girdiler hazırlar, yanıtı yönlendirir, bağlamı kontrol eder, gerçek kullanıcı örneklerini test eder ve belirsiz çıktıları gözden geçiririm. Yararlı bir başlangıç ​​alıştırması basittir: amaçlanan kullanım senaryosundan yirmi tipik örnek alın, beklenen sonuçları yazın ve bunların hepsine karşı aynı istemi veya modeli çalıştırın. Boşlukların görülmesi kolaylaşır. Buradan tüm sistemi değiştirmeden önce verileri veya talimatları geliştirebilirim. Bu makalenin içeriğiyle ilgili sorularınız için lütfen Amy Wu ile iletişime geçin: amy.wu@ihuagroup.com/WhatsApp +8613612662976.

Vaswani, A ve diğerleri (2017) İhtiyacınız Olan Tek Şey Dikkat Devlin, J ve diğerleri (2018) Dil Anlamak için Derin Çift Yönlü Transformatörlerin BERT Ön Eğitimi Liu, Y ve diğerleri (2019) RoBERTa Sağlam Bir Şekilde Optimize Edilmiş BERT Eğitim Öncesi Yaklaşımı Raffel, C ve diğerleri (2020) Birleşik Metinden Metne Transformatör ile Transfer Öğrenmenin Sınırlarını Keşfetmek Wolf, T ve diğerleri (2020) Transformers Son Teknoloji Doğal Dil İşleme Kaplan, J ve diğerleri (2020) Nöral Dil Modelleri için Ölçekleme Yasaları