khoin68

Qwen2.5-Coder-7B-Stage1-100K-LoRA

README

License: apache-2.0

📌 1. TỔNG QUAN CHECKPOINT 100K MẪU

Đây là bộ trọng số LoRA Đại Nền Móng (Stage 1 Checkpoint) trong chuỗi dự án tối ưu hóa mô hình lập trình viên tiếng Việt, được đào tạo tiếp nối từ khoin68/Qwen2.5-Coder-7B-Vietnamese-LoRA (v1.0).

Mô hình đã hấp thụ trọn vẹn 100.000 mẫu dữ liệu SFT tuyển chọn thông qua 1.500 bước huấn luyện liên tục trên cụm máy chủ đám mây Kaggle GPU T4:

🛠️ 40.000 mẫu Tool Calling & Function Calling: Huấn luyện khả năng nhận diện và xuất cú pháp gọi hàm JSON chuẩn mực.
💻 30.000 mẫu Lập trình & Phân tích mã nguồn: Đa ngôn ngữ (Python, JS/TS, C++, Go, Java, Rust, SQL...) kèm giải thích chi tiết.
🇻🇳 30.000 mẫu Tiếng Việt Đời Sống & Tư Duy: Nạp kho hội thoại đời thường và tư duy suy luận logic sâu sắc.

📊 2. CHI TIẾT THÀNH PHẦN 100.000 MẪU DỮ LIỆU

Table with columns: Phân loại, Tên Dataset nguồn, Số lượng, Trọng tâm năng lực
Phân loại	Tên Dataset nguồn	Số lượng	Trọng tâm năng lực
Tool Calling	`glaiveai/glaive-function-calling-v2`	40.000 mẫu	Kỹ năng gọi hàm JSON qua thẻ `<tool_call>`
Code Chuyên Sâu	`m-a-p/CodeFeedback-Filtered-Instruction`	30.000 mẫu	Giải thuật, Clean Code, Debug và Refactoring
Tiếng Việt Đời Sống	`nguyenphuthien/vietnamese_ultrachat_200k`	20.000 mẫu	Hội thoại giao tiếp tự nhiên bản xứ
Tư Duy Logic	`5CD-AI/Vietnamese-alpaca-gpt4-gg-translated`	10.000 mẫu	Nghe hiểu mệnh lệnh và phân tích logic GPT-4
TỔNG CỘNG	5 Bộ Dataset mở hàng đầu	100.000 mẫu	Nền móng toàn diện 100%

⚙️ 3. THÔNG SỐ HUẤN LUYỆN (HYPERPARAMETERS)

Base Model: unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit (kế thừa trọng số v1.0).
Framework: Unsloth (OpenAI Triton Kernels) + Hugging Face TRL (SFTTrainer).
LoRA Rank ( $r$ ): 32 | LoRA Alpha ( $α$ ): 32 | Dropout: 0.0.
Target Modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"].
Trainable Parameters: 80,740,352 / 7,696,356,864 (1.05% tổng tham số).

💻 4. HƯỚNG DẪN SỬ DỤNG TRONG PYTHON

Nạp Model để Huấn luyện tiếp nối (Stage 2 SFT) hoặc Chạy suy luận:

python
import torch
from unsloth import FastLanguageModel

# 1. Nạp Model nền móng 100K mẫu
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "khoin68/Qwen2.5-Coder-7B-Stage1-100K-LoRA",
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = True,
)

# 2. Bật chế độ suy luận nhanh
FastLanguageModel.for_inference(model)

# 3. Gửi câu hỏi kiểm tra khả năng gọi tool
messages = [
    {"role": "system", "content": "Bạn là trợ lý AI thông minh hỗ trợ gọi hàm hệ thống qua thẻ <tool_call>."},
    {"role": "user", "content": "Kiểm tra danh sách các file trong thư mục src/ và đọc nội dung file config.json giúp tôi."}
]

inputs = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt").to("cuda")
outputs = model.generate(input_ids=inputs, max_new_tokens=256, temperature=0.3)
print(tokenizer.batch_decode(outputs)[0])

📜 5. BẢN QUYỀN & LỜI CẢM ƠN Phát triển và huấn luyện bởi: @khoin68. Mô hình gốc: Qwen2.5-Coder-7B (Alibaba Cloud). Công nghệ tăng tốc: Unsloth AI.

Available on FriendliAI

Dedicated Endpoints

Run this model inference on single tenant GPU with unmatched speed and reliability at scale.

Learn more

Container

Run this model inference with full control and performance in your environment.

Learn more

Model Details

Model Provider

khoin68

Model Tree

Base

unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit

Adapter

this model

Input Modalities

Text

Output Modalities