A mesterséges intelligencia fejlődésével egy elsőre hihetetlennek tűnő, ám egyre égetőbb kérdés merül fel a kutatók fejében: vajon kifogyunk-e előbb-utóbb az adatokból, amelyeken az egyre nagyobb nyelvi modelleket tanítjuk?
(A szerző befektetési szakember. Korábbi írásai itt olvashatók.)
Akármilyen nehéz is elképzelni, egyáltalán nem elméleti probléma, hogy elfogyhatnak a mesterséges intelligencia (AI) nyelvi modelljeik (LLM) tanítására használható releváns adatok. Az olyan vezető modelleket, mint például a Meta által fejlesztett Llama 3, már most is elképesztő mennyiségű adaton – több mint 15 000 milliárd ún. tokenen – képzik. A token a betáplált adategység. Szöveg esetén például egy mondat tokenei mindazok az elemek – például a szavak és az írásjelek –, amelyekre a feldolgozáshoz szükség van.