ChatGPT, Gemini, Dall-E en nog veel meer AI toepassingen zijn inmiddels meer dan bekend. Deze online tools creëren ogenschijnlijk uit het niets enorme hoeveelheden content door slimme algoritmes. Wat deze tools wel gemeen hebben is dat deze algoritmes draaien op servers ergens in de wereld, ofwel Cloud AI. Maar wat als je AI wilt gebruiken zonder internetverbinding? Kan dat?
Wat is generatieve AI
Specifiek onderscheid generatieve kunstmatige intelligentie zich door creatie. Het is eigenlijk de laatste stap van een wetenschap die al veel langer bestaat. In de basis werkt alle generatieve op algoritmes (idioot lange wiskundige formules) die enorme ladingen data analyseren, patronen ontdekken en structuren analyseren. Als dat algoritme voldoende data heeft “gezien” kan het op basis van de ontdekte en geanalyseerde structuren nieuwe data genereren die lijkt op alle data die aan het model zijn gevoerd. Platgeslagen, je laat een algoritme 1.000 foto’s van een kat zien, en hierna vraag je het algoritme een nieuwe afbeelding te maken van een kat. Hetzelfde geldt voor tekst, muziek of video.
Heel veel rekenkracht
Om dit te bewerkstelligen heb je computers nodig die deze algoritmes aankunnen, en hiervoor gebruikt met neurale netwerken, hier wordt dan het zogeheten “Deep Learning” uitgevoerd. Neurale netwerken zijn een soort simulatie van het menselijk brein. Vooral het trainen van een neuraal netwerk kost ongelofelijk veel energie. Als voorbeeld, voor het trainen van ChatGPT 3.0 is ongeveer 1,3GWh nodig geweest, dat is voldoende om 430 huishoudens een jaar lang van stroom te voorzien. Het menselijk brein, wat nog altijd geavanceerder is dan de huidige AI-modellen die we kennen, gebruikt ongeveer 20w. Als je 100 jaar oud wordt, verbruikt jouw brein in totaal nog geen 0,02GWh.
Is die rekenkracht dan constant nodig? Nee, zodra een algoritme getraind is wordt het aanzienlijk zuiniger (nog steeds niet zo zuinig als het menselijk brein), zo zuinig dat je zou kunnen dromen dat een hedendaagse moderne computer bijvoorbeeld een taalmodel als ChatGPT kan draaien. Een hedendaagse BTO bijvoorbeeld…
Passende hardware voor Kunstmatige Intelligentie
De hardware die dit het beste kan simuleren? Videokaarten, heel veel videokaarten. NVIDIA heeft veel van de serverruimtes van bijvoorbeeld OpenAI voorzien van GPU’s om de modellen te trainen en te laten draaien. Maar een reeds getraind taalmodel is dan al een heel stuk zuiniger. NVIDIA heeft inmiddels een taalmodel klaar, ChatRTX dat in staat is lokaal te draaien op systemen met RTX30- en RTX40-series videokaarten met minimaal 8GB VRAM. Daarnaast heb je minimaal Windows 11 nodig en 16GB RAM (meer is altijd beter).
ChatRTX van NVIDIA
Met ChatRTX kun je lokaal, en offline, gebruik maken van een taalmodel, gewoon op jouw PC. Daarnaast kun je met ChatRTX jouw eigen opslag als data voor het taalmodel laten fungeren. Hierdoor is het mogelijk het taalmodel te laten zoeken in jouw eigen documenten. Handig als je op zoek bent naar een specifiek stukje uit een PDF waarvan je niet meer zeker weet waar het is opgeslagen, of hoe het heet.