Sam Altman, sjef i OpenAI, adverer mot at forskningsstrategien som ga liv til ChatGPT har spilt ut sin rolle.
Det er derfor uklart hvor framtidige framskritt vil komme fra, skriver Wired.
Nå må du begynne å leke deg med AI, mener Jens Andreas
Høye kostnader
OpenAI har levert en rekke imponerende fremskritt innen AI som behandler språk, ved å bruke eksisterende maskinlæringsalgoritmer og skalere dem opp til gigantiske størrelser, skriver teknologimagasinet.
Ifølge Wired ble GPT-4, som var det siste av disse prosjektene, sannsynligvis trent ved hjelp av milliarder av ord og flere tusen kraftige databrikker.
Denne prosessen skal ha kostet over 100 millioner dollar.
Musk går i strupen på Google og OpenAI - starter sin egen TruthGPT
Slutten av en epoke
Nå sier altså Sam Altman at fremtidige fremskritt ikke vil komme ved å gjøre modellene større.
- Jeg tror vi er ved slutten av epoken med disse gigantiske, gigantiske modellene, sa Sam Altman på et arrangement ved MIT nylig.
- Vi vil gjøre dem bedre på andre måter, la han til ifølge Wired.
Mozilla advarer om AI-makt, investerer 30 millioner dollar i AI
Fysiske begrensinger
Wired skriver at Altmans uttalelse antyder at GPT-4 kan være det siste store framskrittet som kommer fra OpenAIs strategi om å gjøre språkmodellene større og gi dem mer data.
Ifølge magasinet sa ikke Altman hvilke forskningsstrategier eller teknikker som tar denne fremgangsmåtens plass.
I artikkelen som beskriver GPT-4, sier OpenAI at estimatene deres antyder avtagende avkastning ved å skalere opp modellstørrelsen.
Altman skal også ha sagt at det er fysiske begrensninger for hvor mange datasentre selskapet kan bygge - og hvor raskt det kan bygge dem.