Hazır istemler
Yapay zekâ haberleri

LM Studio kurulumu ve ilk yerel modeli başlatma

İlk yayın: · Sergey Zhadov

Bu, arşivdeki bir yazının çevirisidir. Tarih ve fiyatlar ilk yayına aittir; bugün yapılmış yeni bir duyuru değildir.

LM Studio bir dil modelini indirmenizi, belleğe yüklemenizi ve normal bir pencere içinde sohbet etmenizi sağlar. İlk sohbet için terminal gerekmez. Yine de mucize yoktur: büyük model RAM, grafik belleği ve diski yer. Bilgisayarı kontrol edin, kompakt bir kuantize sürüm seçin ve dev modellere geçmeden önce kısa test yapın.

LM Studio grafik arayüzüyle yerel dil modeli başlatma
Grafik arayüz komut uğraşını kaldırır, ama bellek, model boyutu ve sağduyuyu ortadan kaldırmaz.

LM Studio'nun komutsuz ne yaptığını görün

Uygulama model arama, indirme, belleğe yükleme, sohbet ve yerel API'yi tek pencerede toplar. Yeni başlayan için dosya, parametre ve komutları elle yönetmekten kolaydır. Model sürümleri ve indirme durumu görünür.

LM Studio tek bir sinir ağı değildir. Arayüz ve çalışma ortamıdır. Yanıt kalitesi model, kuantizasyon, bağlam, sistem istemi ve bilgisayara bağlıdır. Şık pencere zayıf modeli dahi yapmaz.

Bilgisayarın kaldırıp kaldırmadığını kontrol edin

Resmi gereksinimler 16 GB RAM önerir. Windows x64 için AVX2 destekli CPU gerekir ve 4 GB ayrılmış VRAM önerilir. Mac tarafında Apple Silicon ile macOS 14 veya yenisi desteklenir, Intel Mac desteklenmez.

Uygulamanın kurulması her modelin çalışacağı anlamına gelmez. Dosyalar gigabayt yer kaplar ve yüklenirken bellek ister. Sisteme pay bırakın. Swap başlar, fanlar bağırır ve kelimeler tek tek gelirse bilgisayar bu saçmalığı bırakmanızı söylüyordur.

Match model size to memory, graphics memory and storage
Match model size to memory, graphics memory and storage

İlk modeli gösteriş yapmadan seçin

Discover içinde sohbet ve talimatlar için hazırlanmış bir instruct modeli arayın. İsimle veya model bağlantısıyla arama yapılabilir. Aynı modelin Q4 ya da Q8 gibi işaretlenmiş birden fazla kuantize dosyası olabilir.

Kuantizasyon dosya ve bellek ihtiyacını azaltırken biraz doğruluktan vazgeçer. İlk testte belleğe sığan 4 bit veya daha iyi bir sürüm mantıklıdır. En büyük dosyayı sırf rakam havalı diye indirmeyin. Çocukça bir iştir.

Modeli belleğe yükleyin

İndirdikten sonra Chat bölümüne geçip model yükleyiciyi açın ve dosyayı seçin. Uygulama ağırlıklar ve parametreler için bellek ayırır. Bellek yetmezse yükleme bozulur veya tüm bilgisayar acı verici biçimde yavaşlar.

İlk denemede bağlamı ve her ileri ayarı tavana vurmayın. Makul varsayılanlarla hızı ölçün, sonra tek ayarı değiştirin. Yoksa slayt gösterisi alır ve hangi kahrolası düğmenin bozduğunu anlayamazsınız.

Choose a useful balance between model size and fidelity
Choose a useful balance between model size and fidelity

Kısa bir sohbetle test edin

Yeni sohbet açın ve doğrulanabilir cevabı olan somut soru sorun. Ardından düzeltme veya başka format isteyin. Modelin talimatı izleyip izlemediğini, bağlamı koruyup korumadığını ve donanımda yeterince hızlı olup olmadığını görürsünüz.

Gizli belgelerle başlamayın ve tek güzel yanıtla karar vermeyin. Özet, metin yapısı, küçük kod veya sınıflandırma deneyin. Yerel çalışma faydalıdır, fakat model hâlâ kendinden emin çöp üretebilir.

Gerçekte neyin çevrimdışı çalıştığını anlayın

Model ve runtime indirildikten sonra yerel sohbet, belge işlemleri ve yerel sunucu internetsiz çalışabilir. Konuşma verisi cihazda işlenir. Özel testler ve berbat bağlantılar için kullanışlıdır.

Yeni model aramak ve indirmek, istatistikler, runtimelar ve güncellemeler ağ ister. Çevrimdışı modu önceden hazırlayın. Dosyalar yokken interneti kesip boş aramaya sövmek oldukça aptalca bir numaradır.

Protect the local API with a closed loop, token and firewall
Protect the local API with a closed loop, token and firewall

Sunucuyu sohbetten sonra başlatın

Developer sekmesinde bir anahtar API sunucusunu terminalsiz başlatır. Varsayılan adres localhost:1234 olur. Kendi uygulamanız yerel modeli REST ve uyumlu uçlarla çağırabilir.

Önce localhost üzerinde bırakın. API varsayılan olarak kimlik doğrulamasız olabilir, ayarlardan token açılabilir. Ağ erişiminden önce token, güvenlik duvarı ve izinli istemcileri ayarlayın. Korumasız açık port cesaret değil, deliktir.

Sonuç: kolay arayüz, aynı sınırlar

LM Studio, komut satırı olmadan yerel modellere başlamak için iyidir. Mantıklı sıra donanım kontrolü, uygun instruct modeli, bellek yüklemesi, kısa sohbet ve sonrasında sunucu ya da büyük bağlamdır.

Yaygın hata, rahat arayüzü teknik sınırların sonu sanmaktır. Arayüz uğraşı azaltır ama bellek eklemez. Modeli bilgisayara uydurun, sunucuyu kapalı tutun ve ilk başlangıcı gereksiz yere bok etmeyin.

Çeviri kontrolü: