Büyük Dil Modeli (LLM) Nedir?

ChatGPT, Gemini ya da Claude ile konuştuğunda aslında bir büyük dil modeli ile konuşuyorsun. İngilizcesi large language model, kısaca LLM. Bu yazıda LLM’in ne olduğunu, nasıl çalıştığını ve neden bazen kendinden emin bir şekilde yanlış söylediğini sade bir dille anlatıyorum.

Kısa tanım

Bir büyük dil modeli, çok büyük miktarda metin üzerinde eğitilmiş ve bir metnin devamında hangi kelimenin geleceğini tahmin etmeyi öğrenmiş bir yapay zekâ modelidir. Ne kadar akıllı görünürse görünsün, temelde yaptığı şey bu: “Buraya kadar yazılana göre sıradaki kelime ne olmalı?”

Telefonundaki klavyeyi düşün

Telefonda mesaj yazarken klavyenin üstünde üç kelime önerisi çıkar. “Günaydın” yazınca “nasılsın” önerir, çünkü daha önce yazdıklarından bu ikisinin sık sık peş peşe geldiğini öğrenmiştir. Bir LLM bu fikrin çok, çok daha büyük bir versiyonu.

Bu fikri birkaç satır Python ile deneyebiliriz. Aşağıdaki minik “dil modeli” beş cümle okuyor ve her kelimeden sonra hangi kelimenin kaç kez geldiğini sayıyor:

from collections import Counter, defaultdict
metin = """bugün hava çok güzel
bugün hava biraz soğuk
bugün okula gittim
yarın hava çok sıcak olacak
hava çok güzel olunca parka gideriz"""
# Her kelimeden sonra hangi kelimenin kaç kez geldiğini say
sonraki = defaultdict(Counter)
for satir in metin.splitlines():
    kelimeler = satir.split()
    for once, sonra in zip(kelimeler, kelimeler[1:]):
        sonraki[once][sonra] += 1
def tahmin_et(kelime):
    toplam = sum(sonraki[kelime].values())
    return {k: f"%{100 * s / toplam:.0f}" for k, s in sonraki[kelime].most_common()}
print("bugün →", tahmin_et("bugün"))   # {'hava': '%67', 'okula': '%33'}
print("hava →", tahmin_et("hava"))     # {'çok': '%75', 'biraz': '%25'}

Modelimiz “bugün” kelimesinden sonra %67 ihtimalle “hava” geleceğini öğrendi. Her seferinde en olası kelimeyi seçersek sıfırdan bir cümle bile üretebiliyor: bugün hava çok güzel.

Bu modeli gerçek bir LLM’den ayıran iki şey var:

1. Sadece bir önceki kelimeye bakıyor. Gerçek bir LLM, yazılan metnin tamamına bakıyor ve hangi kelimenin hangisiyle ilgili olduğunu tartıyor. Bunu sağlayan “dikkat” mekanizmasını, Attention Is All You Need yazısında anlattım.
2. Beş cümle okudu. Gerçek bir LLM kitaplar, makaleler ve web sayfalarından oluşan devasa bir metin yığını okuyor.

“Büyük” ne demek?

Bir modelin büyüklüğü genellikle parametre sayısıyla ölçülür. Parametreleri, modelin eğitim sırasında ayarladığı milyonlarca düğme gibi düşünebilirsin; bizim minik modelimizde bunların karşılığı “hangi kelimeden sonra ne geliyor” sayacıydı. Örneğin 2020’de tanıtılan GPT-3’ün 175 milyar parametresi vardı. Bugünün modelleri daha da büyük, ama şirketler sayıları artık her zaman açıklamıyor.

Nasıl eğitiliyor?

Kabaca iki aşamada:

1. Ön eğitim (pre-training): Model devasa bir metin yığını üzerinde, cümlelerin devamını tahmin ederek eğitilir. Tahmin yanlışsa düğmeler biraz düzeltilir. Bu, milyarlarca kez tekrarlanır. GPT’deki “P” harfi buradan geliyor: pre-trained.
2. İnce ayar (fine-tuning): Sadece metnin devamını tahmin eden bir model sohbet etmeyi bilmez. Bu aşamada model, insanların yazdığı örnek soru-cevaplarla ve insanların hangi cevabı daha iyi bulduğuna dair geri bildirimlerle eğitilir. Bu yöntemlerden birinin adı RLHF, yani insan geri bildirimiyle pekiştirmeli öğrenme.

LLM’ler neden bazen uyduruyor?

Model “doğru olanı” değil, “en olası görüneni” üretmek üzere eğitildi. Bir soruya cevap verirken, gerçekten var olmayan bir kitap adı ya da tarih, dil açısından çok “olası” görünebilir. Buna halüsinasyon deniyor ve ayrı bir yazının konusu. Şimdilik akılda tutman gereken: bir LLM’in verdiği bilgiyi, özellikle sayı, tarih ve kaynaklarda, mutlaka kontrol et.

Bilinen örnekler

• ChatGPT (OpenAI): GPT serisi modelleri kullanıyor.
• Gemini (Google)
• Claude (Anthropic)
• Llama (Meta): Açık ağırlıklı modeller; kendi bilgisayarında ya da sunucunda çalıştırabiliyorsun.

Bir cümlede

Bir büyük dil modeli, devasa miktarda metinden “bir metnin devamında ne gelir?” sorusunu cevaplamayı öğrenmiş ve bu basit yeteneği sohbet, özetleme, çeviri ve kod yazmaya kadar genişletmiş bir modeldir.