Treniranje velikih jezičnih modela započelo je s korpusima knjiga i znanstvenih tekstova. Kad je slobodnog i aktualnog sadržaja ponestalo neki su se poslužili piratskim izvorima.