simpo-training
De la autor
Simple Preference Optimization for LLM alignment. Reference-free alternative to DPO with better performance (+6.4 points on AlpacaEval 2.0). No reference model needed, more efficient than DPO. Use for preference alignment when want simpler, faster training than DPO/PPO.
Instalare
npx skills add KalarisLabs/research-agent-skills --skill simpo-training -a claude-code
Se instalează în .claude/skills/simpo-training/ · Fiecare comandă descarcă skill-ul direct de pe GitHub cu utilitarul open source skills.
Identic octet cu octet cu commit-ul scanat, cu licența depozitului și un fișier SOURCE.txt.
Vrei ca agentul să-ți propună skill-uri în timp ce scrii? Vezi cum folosești skill-urile din IDE.
Verificări de siguranță pe SKILL.md
Niciun avertisment.
De ce 82
aiqbench calculează scorul de încredere din semnale publice. Nu este un audit de securitate, așa că citește un skill înainte să-l instalezi.
Skill-uri similare
Cele mai apropiate de acesta prin ce fac și când sunt folosite.
- simpo-losscxcscmu/SkillLearnBenchSimPO (Simple Preference Optimization) loss computation for LLM alignment without a reference model.Altele★ 91
- preference-optimizationwshobson/agentsAlign a fine-tuned model with preference data using DPO, ORPO, KTO, or SimPO. Use when preference pairs or thumbs-up/down feedback exist, when choosing between preference-optimization methods, or when a DPO run needs hyperparameters or debugging.Inginerie★ 41.7K
- fine-tuning-with-trlKalarisLabs/research-agent-skillsFine-tune LLMs using reinforcement learning with TRL - SFT for instruction tuning, DPO for preference alignment, PPO/GRPO for reward optimization, and reward model training. Use when need RLHF, align model with preferences, or train from human feedback. Works with HuggingFace Transformers.Altele★ 61
- evo-simpo-code-reproductionOpenLAIR/OpenSkillImplements the SimPO (Simple Preference Optimization) loss function and handles environment setup, execution, and result saving for code reproduction tasks.Inginerie★ 97
- huggingface-trlcxcscmu/SkillLearnBenchUsing Hugging Face TRL library for building custom trainers for Preference Optimization methods like DPO, SimPO, etc.Altele★ 91
- run2_simpo-losscxcscmu/SkillLearnBenchComplete implementation of the SimPO (NeurIPS 2024) loss function with all variants and edge cases - use when reproducing SimPO or implementing reference-free preference optimization.Altele★ 91
Note și recenzii
—
nicio recenzie
Ai încercat acest skill? Notează-l ca să-i ajuți pe alții. Autentifică-te
Discuție
Intră în discuție. Autentifică-te