berkbirkan

gemma-3-lora-finetune-x-replies

README

License: other

Bağlantılar / Links

Eğitilen model / Trained model: berkbirkan/gemma-3-lora-finetune-x-replies
Eğitim dataseti / Training dataset: berkbirkan/turkish-x-engagement-replies
Dataset GitHub: berkbirkan/x-replies-quotes-dataset
Bu deneyin GitHub reposu / Experiment repository: berkbirkan/gemma-3-lora-finetune-x-replies
Notebook: Gemma3_(4B)_ipynb_x_replies_dataset_finetuning.ipynb

Adlandırma notu / Naming note: Notebook dosya adında 4B yazmasına rağmen çalıştırılan model_name açıkça unsloth/gemma-3-1b-it değeridir. Eğitim logunda da toplam parametre sayısı 1.006.408.832 olarak görünür. Bu rapor gerçek çalıştırmayı esas alır ve modeli Gemma 3 1B olarak tanımlar.

Although the notebook filename contains 4B, the executed model_name is explicitly unsloth/gemma-3-1b-it, and the trainer reports 1,006,408,832 total parameters. This report follows the actual run and identifies the model as Gemma 3 1B.

Türkçe

Projenin amacı

Bu deney, genel amaçlı Gemma 3 1B Instruct modeline Türkçe sosyal medya reply üslubu kazandırmayı hedefler. Hedef davranışlar:

Ana gönderinin bağlamına doğrudan cevap vermek
Kısa ve doğal Türkçe kullanmak
Reply ile quote davranışlarını karıştırmamak
Konuşmayı ilerleten veya anlamlı tepki veren cevaplar üretmek
Sosyal medya dilindeki mention ve kısa ifade kalıplarına uyum sağlamak

Bu çalışma modelin virallik üretmesini veya etkileşim garantisi vermesini amaçlamaz. X etkileşimleri görünürlük, takipçi ağı, zamanlama, konu ve platform algoritmasından etkilenir.

Dataset

Kaynak dataset: berkbirkan/turkish-x-engagement-replies

Table with columns: Split, Kayıt
Split	Kayıt
Train	823
Validation	126
Test	51
Toplam	1.000

Notebook yalnız split="train" ile 823 train örneğini yüklemiştir. Validation ve test splitleri veri kaynağında mevcut olmasına rağmen SFTTrainer içinde eval_dataset=None bırakılmıştır; bu nedenle bu deneyde validation loss veya test metriği yoktur.

Her satır yalnızca messages sütununa sahip iki turlu bir konuşmadır:

json
{
  "messages": [
    {
      "role": "user",
      "content": "Aşağıdaki X gönderisine bağlama uygun, doğal ve kısa bir reply yaz: ..."
    },
    {
      "role": "assistant",
      "content": "Seçilmiş gerçek reply metni"
    }
  ]
}

Notebookta gösterilen ilk eğitim örneğinde kullanıcı, Çin ve ABD arasındaki ticaret savaşını konu alan bir X gönderisine kısa reply ister. Hedef cevap:

@ProfDemirtas Valla bi şekilde biz görürüz gibi geliyor ya

Bu örnek datasetin resmi olmayan, kısa ve sosyal medya bağlamına özgü üslubunu gösterir.

Veri istatistikleri

Yerel olarak saklanan ve Hugging Face'e yüklenen nihai Parquet dosyaları üzerinde hesaplanan mesaj uzunluğu istatistikleri:

Table with columns: Split, Alan, Ortalama karakter, Medyan karakter, Min–maks karakter, Ortalama kelime, Medyan kelime
Split	Alan	Ortalama karakter	Medyan karakter	Min–maks karakter	Ortalama kelime	Medyan kelime
Train	User prompt	316,37	342	101–419	44,28	48
Train	Reply	140,01	111	19–350	18,63

Ek yüzey özellikleri:

Table with columns: Split, Mention içeren reply, URL içeren reply
Split	Mention içeren reply	URL içeren reply
Train	743 / 823 (`%90,28`)	111 / 823 (`%13,49`)
Validation	113 / 126 (`%89,68`)	14 / 126 (`%11,11`)
Test	50 / 51 (`%98,04`)	10 / 51 (`%19,61`)

Mention oranının yüksek olması modelin @kullanıcı biçimini öğrenmesine yardımcı olabilir; aynı zamanda modelin gereksiz mention üretme riski bulunduğu için bu davranış ayrıca değerlendirilmelidir. URL içeren hedefler de modelin link benzeri metin üretmesini teşvik edebilir. Üretimde gerçek dışı kullanıcı adı veya URL oluşturmayı engellemek için post-processing ve güvenlik kontrolü gerekir.

Eğitim ortamı

Notebook çıktısında kaydedilen ortam:

Table with columns: Bileşen, Değer
Bileşen	Değer
GPU	NVIDIA Tesla T4
GPU sayısı	1
Toplam GPU belleği	14.563 GB
Platform	Linux / Google Colab
Unsloth	2026.7.4
Transformers	4.56.2
PyTorch	2.11.0+cu128
CUDA Toolkit	12.8
Triton	3.6.0

Notebook, Unsloth'un trl, transformers ve peft paketlerinden önce import edilmesi gerektiğine dair bir uyarı üretmiştir. Eğitim tamamlanmış olsa da tekrar çalıştırmada import unsloth satırını diğer ilgili importlardan önce çalıştırmak performans ve patch tutarlılığı açısından daha güvenlidir.

Gemma 3 bu ortamda float16 eğitimle çalışmadığı için Unsloth eğitimi float32'ye geçirmiştir. Temel model belleğe 4-bit yüklenmiş, güncelleme LoRA adaptörleri üzerinden yapılmıştır.

Model ve LoRA yapılandırması

Table with columns: Parametre, Değer
Parametre	Değer
Gerçek temel model	`unsloth/gemma-3-1b-it`
Maksimum dizi uzunluğu	2.048 token
Temel model yükleme	4-bit
Full fine-tuning	Kapalı
Yöntem	PEFT / LoRA
LoRA rank (`r`)	8
LoRA alpha	8
LoRA dropout	0

Model parametrelerinin yalnız yaklaşık %0,65i güncellenmiştir. Bu yaklaşım, tam fine-tuning'e kıyasla eğitilebilir parametre ve adaptör boyutunu azaltır. Notebook ayrıca adaptörü yaklaşık 26,1 MB olarak Hub'a göndermiş, ardından adaptörleri temel modele birleştirerek yaklaşık 2,00 GB'lık 16-bit model exportu hazırlamıştır.

SFT yapılandırması

Table with columns: Parametre, Değer
Parametre	Değer
Kullanılan train örneği	823
Trainer tarafından gösterilen epoch aralığı	1
Gerçek tamamlanan örnek oranı	Yaklaşık `0,29 epoch`
Toplam step	30
Cihaz başına batch	2
Gradient accumulation	4
Etkin batch	8
Yaklaşık örnek sunumu	240

30 step × etkin batch 8 = yaklaşık 240 örnek sunumu eder. 240 / 823 ≈ 0,292 olduğu için eğitim tüm train datasetini bir kez dolaşmamıştır. Trainer “Num Epochs = 1” yazsa da progress widgetın Epoch 0/1 göstermesi ve hesaplanan oran, çalıştırmanın yaklaşık %29luk bir epoch olduğunu doğrular.

Notebook açıklamasında şablondan kalan “60 steps” ifadesi bulunur; fakat gerçek SFTConfig, trainer logu ve loss tablosu max_steps=30 olduğunu açıkça gösterir. Bu raporda gerçek çalıştırma olan 30 step esas alınmıştır.

train_on_responses_only, user/instruction tokenlarını -100 ile maskeleyerek loss hesabını yalnız assistant reply tokenlarına uygulamıştır.

Training loss

Table with columns: Step, Loss, Step, Loss, Step, Loss
Step	Loss	Step	Loss	Step	Loss
1	7.6616	11	4.4814	21	5.1123
2	7.0608	12	4.7906	22	4.5131
3	7.2619	13

Özet:

Table with columns: Metrik, Değer
Metrik	Değer
İlk step loss	7.6616
Son step loss	4.7589
İlk–son düşüş	`%37,89`
İlk 5 step ortalaması	6.8813
Son 5 step ortalaması	4.8346
İlk 5 / son 5 ortalama düşüşü	`%29,74`
Minimum loss	4.4656 — step 29
30 step ortalaması

Loss ilk 10 stepte hızlı biçimde düşmüş, sonraki bölümde yaklaşık 4,5–5,2 bandına yerleşmiştir. Son step ilk stepten %37,89, son beş step ortalaması ise ilk beş ortalamasından %29,74 daha düşüktür. Bu, yalnız train datası açısından optimizerın reply hedeflerine uyum sağlamaya başladığını gösteren olumlu bir sinyaldir.

Eğri monoton değildir ve son bölümde belirgin dalgalanma sürer. Üstelik eğitim train splitinin yalnız yaklaşık %29una karşılık gelen örnek sunumuyla sonlanmıştır. Bu nedenle loss platosunun kalıcı olup olmadığı veya daha fazla stepte iyileşmenin sürüp sürmeyeceği bu çalışmadan belirlenemez.

Validation ve test splitleri eğitim datasında mevcut olduğu halde trainer'a bağlanmadığı için validation loss, perplexity veya reply kalite metriği yoktur. Training loss düşüşü tek başına görülmemiş gönderilere daha iyi reply üretildiğini kanıtlamaz.

Süre ve GPU belleği

Table with columns: Metrik, Değer
Metrik	Değer
Trainer tarafından raporlanan süre	359.0106 saniye
Dakika	5.98 dakika
Başlangıçta ayrılmış bellek	1.512 GB
Peak reserved memory	1.869 GB
Eğitim/LoRA için ek reserved memory	0.357 GB
Peak / toplam GPU belleği	`%12,834`
Ek eğitim belleği / toplam	`%2,451`

Progress widget 30/30 02:56 gösterirken trainer_stats toplam süreyi 359.0106 saniye olarak raporlar. Bu raporda resmi toplam süre olarak trainer metriği kullanılmıştır; widget yalnız step döngüsünün farklı bir bölümünü ölçüyor olabilir.

Eğitim sonrası cevaplar

Notebookta üç genel amaçlı inference örneği kaydedilmiştir. Önemli sınırlama: eğitim sonrası gerçek bir Türkçe X reply promptu çalıştırılmamıştır. Bu nedenle notebook çıktılarından modelin ana hedef olan reply kalitesini doğrudan ölçmek mümkün değildir.

1. Fibonacci dizisi

Prompt:

text
Continue the sequence: 1, 1, 2, 3, 5, 8,

Model cevabı:

The sequence is the Fibonacci sequence. So the next numbers in the sequence are: 13, 21, 34, 55, 89, 144...

Cevap doğrudur. Kısa fine-tuning sonrasında temel örüntü tamamlama ve genel bilgi yeteneğinin korunduğuna dair olumlu fakat tek örneklik bir sinyaldir.

2. Gökyüzü neden mavidir?

Prompt:

text
Why is the sky blue?

Kaydedilen cevap:

Okay, let's break down why the sky is blue! It's a fascinating phenomenon that boils down to a combination of physics and light. Here's the explanation: 1. Sunlight and its Colors: Sunlight, which appears white to us, is actually made up of all the...

Cevap fizik ve ışık açıklamasına doğru yönde başlamıştır; ancak max_new_tokens=64 sınırında tamamlanmamıştır. Bu çıktı reply fine-tuning kalitesini değil, genel İngilizce açıklama davranışının tamamen kaybolmadığını gösterir.

3. Gemma 3 nedir?

Prompt:

text
What is Gemma-3?

Model Gemma 3'ü açık ağırlıklı bir dil modeli ailesi olarak açıklamaya doğru başlamış, fakat cevap yine 64 yeni token sınırında kesilmiştir. Tek örnekle olgusal doğruluk veya catastrophic forgetting ölçülemez.

Sonuç

Teknik eğitim akışı başarıyla tamamlanmıştır:

30/30 step çalışmıştır.
Loss genel olarak belirgin biçimde düşmüştür.
Yalnız %0,65 parametre LoRA üzerinden eğitilmiştir.
Peak reserved GPU belleği toplam T4 belleğinin %12,834ünde kalmıştır.
Fibonacci örneği doğru cevaplanmıştır.
Adaptör ve birleştirilmiş 16-bit model Hugging Face'e gönderilmiştir.

Bu sonuçlar, düşük maliyetli kısa bir LoRA koşusunun train reply hedeflerine uyum sağlamaya başladığını ve temel genel yeteneklerin en azından örneklenen sorularda korunduğunu gösteren olumlu sinyallerdir. Buna karşın gerçek bir X-reply inference testi ve eval metriği olmadığı için modelin hedef davranışta ne kadar geliştiği henüz gösterilmemiştir. Bu bir başarısızlık değil, teknik pipeline'ı ve öğrenme sinyalini doğrulayan ilk deneydir; bir sonraki aşama hedef-domain evaluation olmalıdır.

Önerilen sonraki deney

Mevcut 126 validation ve 51 test örneğini gerçekten kullanmak.
Base model ve fine-tuned modeli aynı 30–50 Türkçe X gönderisinde kör biçimde karşılaştırmak.
Bağlam uygunluğu, doğal Türkçe, kısalık, özgünlük, toxicity ve spam için insan veya LLM-as-judge rubriği oluşturmak.
Mention doğruluğu ve uydurma kullanıcı adı oranını ayrı ölçmek.
Gerçek dışı URL üretimini kontrol eden bir metrik eklemek.
Temperature etkisini ayırmak için greedy/low-temperature ve sampling sonuçlarını birlikte raporlamak.
Validation loss izlemeden learning rate veya step sayısını artırmamak.
Tam epoch, daha düşük learning rate ve farklı LoRA rank değerleriyle küçük ablation deneyleri yapmak.
Reply promptlarını inference notebookuna eklemek ve çıktıları kaydetmek.

Güvenlik ve kullanım sınırlamaları

Dataset gerçek sosyal medya metinlerinden türetilmiştir; telif, platform koşulları, yeniden dağıtım ve model eğitimi izinleri kullanım senaryosuna göre ayrıca değerlendirilmelidir.
Model kullanıcı adı, URL, iddia veya kişisel bilgi uydurabilir.
Model taciz, hedefleme, taklit, spam veya manipülatif etkileşim üretmek için kullanılmamalıdır.
Üretim çıktıları yayımlanmadan önce toxicity, gizlilik, doğruluk ve insan denetiminden geçirilmelidir.
Notebookta gerçek Hugging Face tokenı tutulmaz; credentiallar environment variable veya Colab Secrets üzerinden sağlanmalıdır.

English

Objective

This experiment adapts the general-purpose Gemma 3 1B Instruct model to the style of short Turkish X replies. The intended behavior is to respond directly to the context of a parent post, use natural and concise Turkish, and preserve the distinction between reply and quote-post behavior. It does not promise virality or engagement.

Dataset

The source is berkbirkan/turkish-x-engagement-replies, with 823 train, 126 validation, and 51 test examples. Every row contains one two-turn messages conversation: the user asks for a contextually appropriate reply to a parent X post, and the assistant message contains the selected reply.

Only the 823-example train split was loaded by the notebook. Although validation and test data exist, eval_dataset=None was used, so this run has no validation loss or test-quality metric.

Train replies average 140.01 characters and 18.63 words; their median is 111 characters and 15 words. 743 of 823 train replies (90.28%) contain an @mention, and 111 (13.49%) contain a URL. These patterns are relevant to the target style but also create risks of unnecessary mentions and fabricated handles or links.

Training configuration

Table with columns: Component, Value
Component	Value
Actual base model	`unsloth/gemma-3-1b-it`
Framework	Unsloth 2026.7.4 / TRL SFTTrainer
GPU	1× NVIDIA Tesla T4, 14.563 GB
Maximum sequence length	2,048 tokens
Base-model loading	4-bit
Training precision	Switched to float32 by Unsloth
Method	PEFT / LoRA
LoRA rank / alpha / dropout	8 / 8 / 0

The trainer banner displays one epoch because the step-limited run falls within the first epoch. In practice, 30 steps × effective batch 8 = about 240 example presentations, or 240 / 823 ≈ 0.292 of the training split. The progress widget accordingly reports Epoch 0/1.

A template markdown cell still says “60 steps,” but the executed SFTConfig, trainer output, and loss table all show max_steps=30; 30 is authoritative.

The Gemma 3 chat template was applied, and train_on_responses_only masked user tokens so that loss was calculated only over assistant replies.

Training-loss analysis

Training loss

Table with columns: Metric, Value
Metric	Value
Step 1 loss	7.6616
Step 30 loss	4.7589
First-to-last decrease	37.89%
Mean of first 5 steps	6.8813
Mean of last 5 steps	4.8346
First-5 to last-5 decrease	29.74%
Minimum loss	4.4656 at step 29
Mean across all 30 steps	5.2760

Loss dropped rapidly during the first ten steps and then fluctuated mainly in the 4.5–5.2 range. The final loss is 37.89% below the first step, while the last five-step mean is 29.74% below the first five-step mean. This is a positive training-only signal that optimization began adapting to the reply targets.

It does not establish out-of-sample reply quality. Only about 29% of one epoch was completed, the late-stage curve remains noisy, and no validation loss was recorded.

Runtime and memory

Table with columns: Metric, Value
Metric	Value
Trainer-reported runtime	359.0106 seconds
Runtime in minutes	5.98 minutes
Initial reserved memory	1.512 GB
Peak reserved memory	1.869 GB
Additional reserved training memory	0.357 GB
Peak / total GPU memory	12.834%
Additional training memory / total	2.451%

The progress widget displayed 30/30 02:56, whereas trainer_stats reported 359.0106 seconds. This report uses the trainer metric as the official total runtime; the widget may represent only a narrower portion of the step loop.

Post-training responses

The notebook records three general-purpose prompts but does not run an actual Turkish X reply inference prompt after training. Therefore, its outputs cannot directly establish improvement on the target task.

Fibonacci sequence

For Continue the sequence: 1, 1, 2, 3, 5, 8,, the model correctly identified the Fibonacci sequence and continued with 13, 21, 34, 55, 89, 144. This is a small positive signal that a basic general capability remained intact.

Why is the sky blue?

The answer started in a scientifically relevant direction by discussing sunlight, colors, physics, and light, but was truncated at the 64-new-token limit. This tests retained general English explanation behavior rather than X reply quality.

What is Gemma-3?

The model began a plausible explanation of Gemma 3 as an open-weight model family, again truncated at 64 new tokens. One sample is insufficient to evaluate factual accuracy or catastrophic forgetting.

Conclusion

The technical pipeline completed successfully: all 30 steps ran, training loss decreased substantially, only 0.65% of parameters were updated, peak reserved memory stayed at 12.834% of the T4 capacity, and the Fibonacci example remained correct. The adapter and merged 16-bit model were uploaded to Hugging Face.

These are encouraging signs for a short, resource-efficient LoRA run. However, because no domain-specific reply inference and no evaluation metrics were recorded, the improvement on real Turkish X reply generation remains unproven. This should be treated as a successful pipeline and learning-signal experiment, followed by a target-domain evaluation phase.

Recommended next experiment

Use the existing 126-example validation and 51-example test splits.
Compare the base and fine-tuned models blindly on the same 30–50 Turkish X posts.
Score context relevance, natural Turkish, brevity, originality, toxicity, and spam risk.
Measure mention accuracy and fabricated-handle rate.
Measure fabricated or invalid URL generation.
Compare greedy/low-temperature decoding with sampling.
Do not increase steps or learning rate without validation-loss monitoring.
Run small ablations over full-epoch training, learning rate, and LoRA rank.
Add and save real reply-generation prompts in the inference section.

Safety and limitations

The source contains real social-media text; users must independently evaluate platform terms, copyright, redistribution, privacy, and training permissions.
The model may fabricate handles, URLs, claims, or personal information.
Do not use it for harassment, impersonation, spam, targeting, or manipulative engagement.
Apply toxicity, privacy, factuality, and human-review checks before publishing generated replies.
Keep Hugging Face credentials in environment variables or Colab Secrets, never in notebook cells, outputs, or Git history.

Reproduction

Open the notebook in a Tesla T4 Google Colab runtime and run the cells in order. Import Unsloth before TRL/Transformers/PEFT, configure Hugging Face credentials through Colab Secrets or environment variables, and add target-domain inference and evaluation cells before treating the model as production-ready.

Turkish MMLU benchmark

The fine-tuned model was evaluated with the existing Turkish MMLU benchmark algorithm from alibayram/yapay_zeka_turkce_mmlu_bolum_sonuclari. All models received the same Turkish multiple-choice prompt, random seed (42), generation limit (42 new tokens), answer parsing, semantic-similarity fallback, and scoring procedure. The run used a Hugging Face Job with one NVIDIA T4 GPU.

Table with columns: Model, Parameters, Correct answers, Accuracy, Test duration
Model	Parameters	Correct answers	Accuracy	Test duration
`unsloth/gemma-3-1b-it` (base)	1B	2,680	43.23%	1,072.517 s
`Qwen/Qwen2.5-1.5B-Instruct`	1.5B	2,485	40.08%	1,323.730 s
`berkbirkan/gemma-3-lora-finetune-x-replies`

The reply-focused fine-tuned model scored 4.34 percentage points below its base model and 1.19 points below Qwen 2.5 1.5B. This result does not show that the fine-tuning failed at its intended social-media reply task: the training data targeted short Turkish X replies, whereas MMLU measures multiple-choice academic knowledge and reasoning. It does show that this short LoRA run did not improve general Turkish MMLU performance and may have traded some general benchmark ability for target-domain behavior.

Detailed outputs:

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Container

Run this model inference with full control and performance in your environment.

Learn more

Model Details

Model Provider

berkbirkan

Model Tree

Base

unsloth/gemma-3-1b-it

Adapter

this model

Input Modalities

Text

Output Modalities

Text

Supported Functionality

Dedicated Endpoints

Container

Explore FriendliAI today

Get started Talk to an engineer

README

License: other

Bağlantılar / Links

Eğitilen model / Trained model: berkbirkan/gemma-3-lora-finetune-x-replies
Eğitim dataseti / Training dataset: berkbirkan/turkish-x-engagement-replies
Dataset GitHub: berkbirkan/x-replies-quotes-dataset
Bu deneyin GitHub reposu / Experiment repository: berkbirkan/gemma-3-lora-finetune-x-replies
Notebook: Gemma3_(4B)_ipynb_x_replies_dataset_finetuning.ipynb

Adlandırma notu / Naming note: Notebook dosya adında 4B yazmasına rağmen çalıştırılan model_name açıkça unsloth/gemma-3-1b-it değeridir. Eğitim logunda da toplam parametre sayısı 1.006.408.832 olarak görünür. Bu rapor gerçek çalıştırmayı esas alır ve modeli Gemma 3 1B olarak tanımlar.

Although the notebook filename contains 4B, the executed model_name is explicitly unsloth/gemma-3-1b-it, and the trainer reports 1,006,408,832 total parameters. This report follows the actual run and identifies the model as Gemma 3 1B.

Türkçe

Projenin amacı

Bu deney, genel amaçlı Gemma 3 1B Instruct modeline Türkçe sosyal medya reply üslubu kazandırmayı hedefler. Hedef davranışlar:

Ana gönderinin bağlamına doğrudan cevap vermek
Kısa ve doğal Türkçe kullanmak
Reply ile quote davranışlarını karıştırmamak
Konuşmayı ilerleten veya anlamlı tepki veren cevaplar üretmek
Sosyal medya dilindeki mention ve kısa ifade kalıplarına uyum sağlamak

Bu çalışma modelin virallik üretmesini veya etkileşim garantisi vermesini amaçlamaz. X etkileşimleri görünürlük, takipçi ağı, zamanlama, konu ve platform algoritmasından etkilenir.

Dataset

Kaynak dataset: berkbirkan/turkish-x-engagement-replies

Table with columns: Split, Kayıt
Split	Kayıt
Train	823
Validation	126
Test	51
Toplam	1.000

Her satır yalnızca messages sütununa sahip iki turlu bir konuşmadır:

json
{
  "messages": [
    {
      "role": "user",
      "content": "Aşağıdaki X gönderisine bağlama uygun, doğal ve kısa bir reply yaz: ..."
    },
    {
      "role": "assistant",
      "content": "Seçilmiş gerçek reply metni"
    }
  ]
}

Notebookta gösterilen ilk eğitim örneğinde kullanıcı, Çin ve ABD arasındaki ticaret savaşını konu alan bir X gönderisine kısa reply ister. Hedef cevap:

@ProfDemirtas Valla bi şekilde biz görürüz gibi geliyor ya

Bu örnek datasetin resmi olmayan, kısa ve sosyal medya bağlamına özgü üslubunu gösterir.

Veri istatistikleri

Yerel olarak saklanan ve Hugging Face'e yüklenen nihai Parquet dosyaları üzerinde hesaplanan mesaj uzunluğu istatistikleri:

Table with columns: Split, Alan, Ortalama karakter, Medyan karakter, Min–maks karakter, Ortalama kelime, Medyan kelime
Split	Alan	Ortalama karakter	Medyan karakter	Min–maks karakter	Ortalama kelime	Medyan kelime
Train	User prompt	316,37	342	101–419	44,28	48
Train	Reply	140,01	111	19–350	18,63

Ek yüzey özellikleri:

Table with columns: Split, Mention içeren reply, URL içeren reply
Split	Mention içeren reply	URL içeren reply
Train	743 / 823 (`%90,28`)	111 / 823 (`%13,49`)
Validation	113 / 126 (`%89,68`)	14 / 126 (`%11,11`)
Test	50 / 51 (`%98,04`)	10 / 51 (`%19,61`)

Eğitim ortamı

Notebook çıktısında kaydedilen ortam:

Table with columns: Bileşen, Değer
Bileşen	Değer
GPU	NVIDIA Tesla T4
GPU sayısı	1
Toplam GPU belleği	14.563 GB
Platform	Linux / Google Colab
Unsloth	2026.7.4
Transformers	4.56.2
PyTorch	2.11.0+cu128
CUDA Toolkit	12.8
Triton	3.6.0

Model ve LoRA yapılandırması

Table with columns: Parametre, Değer
Parametre	Değer
Gerçek temel model	`unsloth/gemma-3-1b-it`
Maksimum dizi uzunluğu	2.048 token
Temel model yükleme	4-bit
Full fine-tuning	Kapalı
Yöntem	PEFT / LoRA
LoRA rank (`r`)	8
LoRA alpha	8
LoRA dropout	0

SFT yapılandırması

Table with columns: Parametre, Değer
Parametre	Değer
Kullanılan train örneği	823
Trainer tarafından gösterilen epoch aralığı	1
Gerçek tamamlanan örnek oranı	Yaklaşık `0,29 epoch`
Toplam step	30
Cihaz başına batch	2
Gradient accumulation	4
Etkin batch	8
Yaklaşık örnek sunumu	240

train_on_responses_only, user/instruction tokenlarını -100 ile maskeleyerek loss hesabını yalnız assistant reply tokenlarına uygulamıştır.

Training loss

Table with columns: Step, Loss, Step, Loss, Step, Loss
Step	Loss	Step	Loss	Step	Loss
1	7.6616	11	4.4814	21	5.1123
2	7.0608	12	4.7906	22	4.5131
3	7.2619	13

Özet:

Table with columns: Metrik, Değer
Metrik	Değer
İlk step loss	7.6616
Son step loss	4.7589
İlk–son düşüş	`%37,89`
İlk 5 step ortalaması	6.8813
Son 5 step ortalaması	4.8346
İlk 5 / son 5 ortalama düşüşü	`%29,74`
Minimum loss	4.4656 — step 29
30 step ortalaması

Süre ve GPU belleği

Table with columns: Metrik, Değer
Metrik	Değer
Trainer tarafından raporlanan süre	359.0106 saniye
Dakika	5.98 dakika
Başlangıçta ayrılmış bellek	1.512 GB
Peak reserved memory	1.869 GB
Eğitim/LoRA için ek reserved memory	0.357 GB
Peak / toplam GPU belleği	`%12,834`
Ek eğitim belleği / toplam	`%2,451`

Eğitim sonrası cevaplar

1. Fibonacci dizisi

Prompt:

text
Continue the sequence: 1, 1, 2, 3, 5, 8,

Model cevabı:

The sequence is the Fibonacci sequence. So the next numbers in the sequence are: 13, 21, 34, 55, 89, 144...

Cevap doğrudur. Kısa fine-tuning sonrasında temel örüntü tamamlama ve genel bilgi yeteneğinin korunduğuna dair olumlu fakat tek örneklik bir sinyaldir.

2. Gökyüzü neden mavidir?

Prompt:

text
Why is the sky blue?

Kaydedilen cevap:

Okay, let's break down why the sky is blue! It's a fascinating phenomenon that boils down to a combination of physics and light. Here's the explanation: 1. Sunlight and its Colors: Sunlight, which appears white to us, is actually made up of all the...

3. Gemma 3 nedir?

Prompt:

text
What is Gemma-3?

Sonuç

Teknik eğitim akışı başarıyla tamamlanmıştır:

30/30 step çalışmıştır.
Loss genel olarak belirgin biçimde düşmüştür.
Yalnız %0,65 parametre LoRA üzerinden eğitilmiştir.
Peak reserved GPU belleği toplam T4 belleğinin %12,834ünde kalmıştır.
Fibonacci örneği doğru cevaplanmıştır.
Adaptör ve birleştirilmiş 16-bit model Hugging Face'e gönderilmiştir.

Önerilen sonraki deney

Mevcut 126 validation ve 51 test örneğini gerçekten kullanmak.
Base model ve fine-tuned modeli aynı 30–50 Türkçe X gönderisinde kör biçimde karşılaştırmak.
Bağlam uygunluğu, doğal Türkçe, kısalık, özgünlük, toxicity ve spam için insan veya LLM-as-judge rubriği oluşturmak.
Mention doğruluğu ve uydurma kullanıcı adı oranını ayrı ölçmek.
Gerçek dışı URL üretimini kontrol eden bir metrik eklemek.
Temperature etkisini ayırmak için greedy/low-temperature ve sampling sonuçlarını birlikte raporlamak.
Validation loss izlemeden learning rate veya step sayısını artırmamak.
Tam epoch, daha düşük learning rate ve farklı LoRA rank değerleriyle küçük ablation deneyleri yapmak.
Reply promptlarını inference notebookuna eklemek ve çıktıları kaydetmek.

Güvenlik ve kullanım sınırlamaları

Dataset gerçek sosyal medya metinlerinden türetilmiştir; telif, platform koşulları, yeniden dağıtım ve model eğitimi izinleri kullanım senaryosuna göre ayrıca değerlendirilmelidir.
Model kullanıcı adı, URL, iddia veya kişisel bilgi uydurabilir.
Model taciz, hedefleme, taklit, spam veya manipülatif etkileşim üretmek için kullanılmamalıdır.
Üretim çıktıları yayımlanmadan önce toxicity, gizlilik, doğruluk ve insan denetiminden geçirilmelidir.
Notebookta gerçek Hugging Face tokenı tutulmaz; credentiallar environment variable veya Colab Secrets üzerinden sağlanmalıdır.

English

Objective

Dataset

Only the 823-example train split was loaded by the notebook. Although validation and test data exist, eval_dataset=None was used, so this run has no validation loss or test-quality metric.

Training configuration

Table with columns: Component, Value
Component	Value
Actual base model	`unsloth/gemma-3-1b-it`
Framework	Unsloth 2026.7.4 / TRL SFTTrainer
GPU	1× NVIDIA Tesla T4, 14.563 GB
Maximum sequence length	2,048 tokens
Base-model loading	4-bit
Training precision	Switched to float32 by Unsloth
Method	PEFT / LoRA
LoRA rank / alpha / dropout	8 / 8 / 0

A template markdown cell still says “60 steps,” but the executed SFTConfig, trainer output, and loss table all show max_steps=30; 30 is authoritative.

The Gemma 3 chat template was applied, and train_on_responses_only masked user tokens so that loss was calculated only over assistant replies.

Training-loss analysis

Training loss

Table with columns: Metric, Value
Metric	Value
Step 1 loss	7.6616
Step 30 loss	4.7589
First-to-last decrease	37.89%
Mean of first 5 steps	6.8813
Mean of last 5 steps	4.8346
First-5 to last-5 decrease	29.74%
Minimum loss	4.4656 at step 29
Mean across all 30 steps	5.2760

It does not establish out-of-sample reply quality. Only about 29% of one epoch was completed, the late-stage curve remains noisy, and no validation loss was recorded.

Runtime and memory

Table with columns: Metric, Value
Metric	Value
Trainer-reported runtime	359.0106 seconds
Runtime in minutes	5.98 minutes
Initial reserved memory	1.512 GB
Peak reserved memory	1.869 GB
Additional reserved training memory	0.357 GB
Peak / total GPU memory	12.834%
Additional training memory / total	2.451%

Post-training responses

Fibonacci sequence

Why is the sky blue?

What is Gemma-3?

Conclusion

Recommended next experiment

Use the existing 126-example validation and 51-example test splits.
Compare the base and fine-tuned models blindly on the same 30–50 Turkish X posts.
Score context relevance, natural Turkish, brevity, originality, toxicity, and spam risk.
Measure mention accuracy and fabricated-handle rate.
Measure fabricated or invalid URL generation.
Compare greedy/low-temperature decoding with sampling.
Do not increase steps or learning rate without validation-loss monitoring.
Run small ablations over full-epoch training, learning rate, and LoRA rank.
Add and save real reply-generation prompts in the inference section.

Safety and limitations

The source contains real social-media text; users must independently evaluate platform terms, copyright, redistribution, privacy, and training permissions.
The model may fabricate handles, URLs, claims, or personal information.
Do not use it for harassment, impersonation, spam, targeting, or manipulative engagement.
Apply toxicity, privacy, factuality, and human-review checks before publishing generated replies.
Keep Hugging Face credentials in environment variables or Colab Secrets, never in notebook cells, outputs, or Git history.

Reproduction

Turkish MMLU benchmark

Table with columns: Model, Parameters, Correct answers, Accuracy, Test duration
Model	Parameters	Correct answers	Accuracy	Test duration
`unsloth/gemma-3-1b-it` (base)	1B	2,680	43.23%	1,072.517 s
`Qwen/Qwen2.5-1.5B-Instruct`	1.5B	2,485	40.08%	1,323.730 s
`berkbirkan/gemma-3-lora-finetune-x-replies`

Detailed outputs: