İşaret Dili Tespit Transformer'ı Eğittim — Sen de Yapabilirsin

Nicholas Renotte ilk işaret dili modelinden dört yıl sonra konuya dönüyor ve bu kez tüm kütüphaneyi transformer tabanlı bir dedektör etrafında sıfırdan kuruyor. Vaadi iddialı: kendi verini topla, kırk dakikanın altında kişisel modelini eğit. Yeniden yazım, eski kodda bağımlılık sorunu yaşayan izleyicilerin şikayetine de yanıt veriyor.

İşin çekirdeği 2020 tarihli makalenin tarzında bir Tespit Transformer'ı: ResNet-50 omurgası görüntüden öznitelik çıkarıyor, konumsal gömmeler ekleniyor, sonuç transformer kodlayıcı ve kodçözücü katmanlarından geçiyor. Ekrandaki mimari döküm 26,9 milyon eğitilebilir parametre gösteriyor; kodlayıcı derinliği, kodçözücü derinliği, dikkat başlığı ve gizli boyut ayarlanabilir bırakılmış. Uçta iki tahmin başlığı var: biri merhaba, seni seviyorum, teşekkürler üçlüsünden sınıfı söylüyor, diğeri kareye kutuyu çiziyor.

Eğitimi özel kılan parça Macar eşleştirici denen doğrusal atama yordamı; modelin sabit 25 sorguluk tahmin kümesini gerçek kutularla eşleştiriyor. Üç kayıp terimi ağırlıklandırılıp toplanıyor: sınıflandırma terimi, kutu koordinat regresyonu ve geometriyi işin içine katan genelleştirilmiş örtüşme terimi. Yardımcılar klasöründeki küçük örnek, merak edenlerin bu eşleştirme mantığını kurcalamasına izin veriyor.

En hızlı kazanım ilk beş dakikada geliyor: depoyu klonlayıp VS Code'da açıyorsun, uv çalıştırıcıyla canlı betiği koşuyorsun, gelen hazır ağırlıklar web kamerasından anında tahmin yapmaya başlıyor. Bu hazır ağırlıklar harici GPUsuz bir MacBook üzerinde kabaca bir gün süren 4.426 epochluk bir eğitimin ürünü. Özel kayıt paneli model adını, sınıf sayısını, çıkarım süresini ve saniyelik kare hızını basıyor; kamera aygıt numarası da çoğu kamera hatasını çözüyor.

Veri toplama bilinçli olarak sade: yakalama yardımcısı eğitim için sınıf başına otuz kare, test için sınıf başına beş kare topluyor. Sayaç ilerlerken her işareti kadrajda gezdiriyorsun, ardından bulanık veya kadraj dışı kareleri siliyorsun. Videonun dürüst cümlesi şu: kötü kare girerse kötü kutu çıkar.

Etiketleme emekli masaüstü araçtan yerel ve ücretsiz çalışan Label Studio'ya taşınmış. Sınırlayıcı kutu şablonu seçiliyor, üç etiket videodaki sırayla ekleniyor; sıra kritik çünkü eğitim ve canlı tahmin bu dizilime göre eşleşiyor. Klavye kestirmeleri kutu çizmeyi hızlandırıyor, yüklemeler yüz dosyalık sınırın altında partilerle yapılıyor, biten küme görsellerle birlikte YOLO biçiminde dışa aktarılarak eğitim ve test klasörlerinin yerini alıyor.

Veri modülü iki karakterli standart bir PyTorch veri kümesi: eğitimde rastgele kırpma ve renk oynama uygulanarak küçük küme esnetiliyor, test kolunda bu oyunlar kapatılıyor. Modülü test kipinde koşturup kutulu, normalize görüntüleri ekrana basmak, eğitim öncesi hazır olma kontrolü işlevi görüyor.

Eğitim betiği iki yol sunuyor: hazır ağırlıklardan ince ayar yapmak veya tek satırı yoruma alıp rastgele başlatmak. Önerilen rota hazır ağırlıkları koruyor; öğrenme oranı ve kayıp terimi ağırlıkları ayrı ayrı ayarlanabiliyor. Tam koşu on bin epoch hedefleyip dört binin üzerinde kesilmiş; demoda her on epochta bir kontrol noktası yazılıyor. Kayıp 7-8 bandından 5-6 bandına iniyor, ara noktalarda 4'lü değerlere değiyor; sabit kalan test kaybı küçük test kümesine bağlanıyor.

Test betiği son kontrol noktası dosyasını yükleyip ayrı tutulmuş kareler üzerinde koşuyor. Panel veri kümesi istatistiklerini, aktif dönüşümleri, mimari özeti ve tahmin başına sınıf adı, güven ve kutu koordinatlarını döküyor. Demonun dürüst kısmı bu satır satır döküm: modelin neyi, ne güvenle yakaladığını aynen görüyorsun.

Finalde kişisel ağırlıklar canlı betiğe takılıp web kamerasına doğrultuluyor. Yüzde seksenlik güven eşiği 25 sorguyu elde tutulurlara indiriyor; eşiği canlı yayında düşürme deneyi ham sorgu kümesinin ne kadar gürültülü olabildiğini gösteriyor. Mikrofonun kadrajı kapatması gibi küçük aksaklıklar bile yayın akışında düzeltiliyor.

Toparlarsam video tek oturuşta tam bir döngü kuruyor: topla, etiketle, eğit, test et, canlıya al; hepsi veri merkezi donanımı olmadan bir dizüstünde dönüyor. Kendi eline alışmış kişisel ağırlıklar sessiz kazanç. İzleyici isterse saatlik mimari turu sözü de veriliyor.