訓練配置

訓練結果

使用方法

python
Copy code
from transformers import pipeline

pipe = pipeline("text-generation", model="Marcoson320/codeparrot-ds-from-scratch", device=0)

prompt = """\
# create some data
x = np.random.randn(100)
y = np.random.randn(100)

# create scatter plot with x, y
"""

print(pipe(prompt, max_new_tokens=64, num_return_sequences=1)[0]["generated_text"])

範例輸出：

python
Copy code
# create scatter plot with x, y
axScatter = fig.add_subplot(111)
axScatter.scatter(x, y, s=50, marker="d", c="red", alpha=0.7)

已知限制

• 小模型 + ctx=128：容易在 continuation 中陷入 repetition loop，可在推論時加 repetition_penalty=1.2 或 no_repeat_ngram_size=3 緩解。
• API coverage 有限：訓練資料雖然覆蓋 pandas/sklearn/matplotlib/seaborn，但較少見的 API call 可能寫不出來。
• 無 instruction tuning：純 continuation model，不能對話。

致謝

• 訓練配方來自 HuggingFace LLM Course Chapter 7.6
• 資料集由 HuggingFace Course 團隊整理
• Tokenizer 沿用 huggingface-course/code-search-net-tokenizer

License

Apache-2.0