Lyse.ai est un projet de modèles de langue open-source axé sur l'entraînement de modèles Transformer légers et efficaces, développés de A à Z (from scratch).
L'objectif principal est de prototyper des architectures compactes, de tester des stratégies d'entraînement optimisées et de fournir des bases légères pour le traitement du langage naturel (principalement en français et en anglais).
| Modèle | Paramètres | Contexte | Vocabulaire | Description |
|---|---|---|---|---|
| Lyse-67M | 67M | 512 tokens | 32 000 | Modèle ultra-léger avec pré-entraînement & SFT. |
| Lyse-336M | 336M | 512 tokens | 32 005 | Modèle causal (24 couches) entraîné sur Wikipédia FR/EN. |
Lyse.ai est sous développement actif. Les architectures, pipelines d'entraînement et capacités des modèles sont susceptibles d'évoluer au fil des itérations.
fr), (Anglais (en))