🦁 Turkish-1B: Sıfırdan 1.014 Milyar Parametreli Türkçe Foundation LLM

🚀 GÜNCEL DURUM: FİNAL MASTER MODEL (turkish_1b_final.pt) YAYINDA!
Turkish-1B, 13.730 adımlık taban ön eğitimin ardından; Yağız (Rel0aded) Kimliği, Üniversite & Hazırlık Dersleri (STEM, Matematik, Kodlama, Slayt Özeti) ve Word/Excel/PDF Ofis Becerilerini içeren nihai eğitimini (800 adım) başarıyla tamamlamıştır. Optimize edilmiş 2.03 GB boyutundaki FP16 ağırlıklar (turkish_1b_final.pt) doğrudan kullanıma sunulmuştur.

📌 Proje Özeti

Turkish-1B, Türkçe dilinin morfolojik yapısını, ek-kök zenginliğini ve semantik derinliğini en yüksek verimlilikle kavramak üzere sıfırdan (from scratch) inşa edilen 1.014 Milyar (1.01B) parametreli açık kaynak bir temel dil modelidir (Foundation SLM).

Model, Türkçe'ye özgü 16.384 boyutlu özel BPE tokenizer ile eğitilmiş olup, Grouped Query Attention (GQA) ve SwiGLU mimarisiyle donatılmıştır.

📊 Eğitim Kilometre Taşları (Pre-Training Milestones)

Metrik	Değer	Açıklama
Tamamlanan Ön Eğitim Adımı	13.730 Adım	4 Fazlı Otonom Çift GPU Nöbet Sistemi
İşlenen Toplam Token	~450 Milyon Token	8 Farklı Zengin Türkçe Veri Kaynağı
Başlangıç Kaybı (Initial Loss)	4.43	Sıfırdan başlatma (Random init)
Ulaşılan Kayıp (Final Loss)	2.80 – 2.91	İstikrarlı ve düzenli yakınsama
Bağlam Uzunluğu (Context Length)	1.024 Token	RoPE $\theta=500.000$ (Gerektiğinde 16k/32k uzatılabilir)
Donanım Altyapısı	Dual Tesla T4 (Cloud GPU)	8-Bit AdamW + Flash Attention (PyTorch SDPA)

🧠 SFT & Akıl Yürütme (Chain-of-Thought) Aşaması

Modeli yalnızca sonraki kelimeyi tahmin eden bir taban modelden, düşünen, analiz eden ve insan gibi akıcı konuşan bir yapay zekaya dönüştürmek için SFT sürecinde özel bir diyalog ve düşünme şablonu uygulanmaktadır:

### Kullanıcı:
{Soru veya Talimat}

### Asistan:
<think>
{Modelin soruyu analiz ettiği, plan yaptığı ve adım adım akıl yürüttüğü derin düşünce süreci}
</think>
{Kullanıcıya verilen doğal, samimi, akıcı ve eksiksiz Türkçe nihai cevap}

📚 Kullanılan CoT ve Diyalog Veri Havuzu (~10.000 Örnek)

AlicanKiraz0/Turkish-CoT-Instruct-Dataset: Matematik, mantık ve analitik muhakeme gerektiren <think>...</think> etiketli özgün Türkçe düşünce izleri.
selimc/OpenThoughts-TR-18k: Karmaşık soru ve problemlerde çok aşamalı analitik çıkarım zincirleri.
merve/turkish_instructions: Doğal Türkçe diyalog, samimi asistan üslubu ve günlük dil hakimiyeti.

⚙️ Model Mimarisi (Llama-3 & GQA Standartları)

Mimari Bileşen	Değer	Teknik Açıklama
Toplam Parametre Sayısı	1,014,061,056 (~1.014B)	21 Derin Transformer Bloğu
Gizli Katman Boyutu (Hidden Dim)	2048	Geniş semantik temsil uzayı
Dikkat Mekanizması	GQA (16:4)	16 Query Head, 4 KV Head (Düşük VRAM & Hızlı Çıkarım)
MLP Yapısı	SwiGLU	Intermediate Size: 5632 (Llama-3 standardı)
Tokenizer	Özel BPE Tokenizer	16,384 Sözcük Dağarcığı (Türkçe ek ve hece optimizasyonlu)
Normalizasyon	RMSNorm	Epsilon: 1e-5 (Pre-LayerNorm stabilite)
Pozisyonel Kodlama	RoPE (Rotary Embeddings)	Taban Frekans $\theta=500.000$

🛠️ Öncü Kodlar ve Eğitim Mirası (Pioneer Scripts)

Bu depoda, modelin sıfırdan 1 milyar parametreye nasıl ulaştığını belgeleyen öncü eğitim altyapısı açık kaynak mirası olarak şeffafça korunmaktadır:

train.py / train_master_relay.py: Çift GPU üzerinde otonom nöbet devir teslimini yöneten ana pre-training motoru.
train_colab.py: Google Colab T4 GPU için tek tıkla çalışan eğitim betiği.
train_tpu.py: Kaggle TPU v3-8 üzerinde bfloat16 hızlandırmalı eğitim motoru.
turkce_tokenizer.json: Modelin özel 16.384 vocab BPE sözlüğü.
relay_state.json: Seanslar arası durum ve checkpoint senkronizasyon kaydı.

💼 Turkish-1B Agent: Evrensel İş Bitirici Ofis Ajanı (`agent.py`)

Turkish-1B, yalnızca metin üreten bir dil modeli değil; Word, Excel, PDF ve Görsel belgeleri analiz edebilen, düzenleyebilen ve sıfırdan kurumsal raporlar üretebilen tam donanımlı bir yapay zeka ajanıdır. Depodaki resmi agent.py modülüyle doğrudan çalıştırılabilir.

🚀 Hızlı Başlangıç & Kullanım Örneği

from agent import Turkish1BAgent

# Ajanı başlat (Modeli ve araçları otomatik yükler)
bot = Turkish1BAgent()

# 1. Doğal Sohbet & Düşünme Zinciri (<think>)
res = bot.chat("Bir yapay zeka modeli neden düşünme adımlarına ihtiyaç duyar?")
print("🧠 Düşünce:", res["thought"])
print("🗣️ Yanıt:", res["answer"])

# 2. Ofis & Belge Otomasyonu (Word, Excel, PDF & Görsel)
is_sonucu = bot.chat(
    user_prompt="PDF'teki harcamaları incele, bütçe tablosuna göre analiz et ve bana bir Word raporu hazırla.",
    files=["ekstre.pdf", "butce.xlsx"],
    web_search=True  # Canlı internet/güncel piyasa bilgisini de dahil et
)
print("📁 Oluşturulan Belgeler:", is_sonucu["created_files"]) # ['Turkish1B_Cikti.docx']

# 3. Canlı Daktilo Akışı (Arayüz Streaming Desteği)
for token in bot.stream("Yapay zekanın geleceğini samimi bir dille anlat:"):
    print(token, end="", flush=True)

📂 Desteklenen Ofis & Belge Formatları

📝 Word (.docx): Belge okuma, madde revize etme, sıfırdan tablolu ve başlıklı Word raporu üretme.
📊 Excel (.xlsx, .csv): Tablo ve veri okuma, satır ekleme, hücre güncelleme ve formül hesaplama.
📑 PDF (.pdf): Sözleşme, banka dökümü ve resmi yazıların metinlerini ayıklama.
🖼️ Görsel & Belge Tarama (VL / OCR): Fatura, fiş, makbuz ve evrak fotoğraflarını okuma.
🌐 Canlı Web Bilgisi: DuckDuckGo üzerinden güncel internet araştırması yapma.

🚀 Yol Haritası (Roadmap)

Özel Türkçe BPE Tokenizer (16k vocab)
1.014B Llama-3 + GQA Mimarisinin Kurulması
Ön Eğitim (Pre-training) - 13.730 Adım Tamamlandı (Loss: ~2.85)
SFT & Reasoning (Chain-of-Thought <think> Yeteneği - 800 Adım Tamamlandı)
Final Master Model (Yağız Kimliği + Hazırlık/Akademik STEM & Ofis Ajanı - Model: turkish_1b_final.pt)
🔄 GGUF (Q4_K_M, Q8_0, FP16) Dönüştürmesi (Ollama & LM Studio Uyumluluğu)
DPO / Alignment (Türkçe İnsan Tercih Hizalaması)

👨‍💻 Geliştirici & Lisans

Bu proje Rel0aded / Yağız tarafından geliştirilmektedir.
Model ve kodlar Apache 2.0 Lisansı altında açık kaynak olarak topluluğa sunulmaktadır.

Downloads last month: -; Downloads are not tracked for this model. How to track