Entfesseln Sie das Potenzial Ihrer NLP-Projekte mit dem richtigen Talent. Veröffentlichen Sie Ihre Stelle bei uns und ziehen Sie Kandidaten an, die genauso leidenschaftlich über natürliche Sprachverarbeitung sind.
NLP-Experten einstellenLassen Sie uns angesichts der anhaltenden Klimakrise über den CO2-Fußabdruck künstlicher Intelligenz sprechen.
Für den normalen Internetnutzer ist es vielleicht schwer zu begreifen, dass Die Verwendung von ChatGPT oder das Ansehen von von YouTube empfohlenen Videos kann Treibhausgasemissionen. Und verständlicherweise könnten sie am wenigsten besorgt sein von „Green AI“ oder „Environmental AI“ beim Einsatz dieser Technologien. Aber für Forscher und Datenwissenschaftler ist der CO2-Fußabdruck, der entsteht, ein Ergebnis der Maschinen, Computer und digitalen Geräte, die mit Strom versorgt werden durch maschinelles Lernen (ML) - ist ein wachsendes Problem, insbesondere da die globale Der Klimawandel schreitet weiter voran.
Algorithmen, die auf maschinellem Lernen basieren, erzeugen große Mengen an Treibhausgasemissionen. Fossile Brennstoffe werden verbrannt für Elektrizität, die einige hochentwickelte und leistungsstarke Datenverarbeitungsanlagen mit Strom versorgt Server, die täglich Millionen bis Milliarden von Anfragen bearbeiten. Und, lasst uns nicht zu vergessen all die vernetzten Maschinen und Computer, oder das Netzwerk und die Internet-Infrastruktur, die sie unterstützt - vor allem Daten Zentren - die Daten und Anwendungen speichern und fast unvorstellbare Machtniveaus weltweit.
Und da Transferlernen das nächste große Ding in der Welt der maschinelles Lernen“, Unternehmen und Organisationen aller Größenordnungen und alle Sektoren müssen wirklich über clevere Wege nachdenken, um ihre CO2-Fußabdruck des maschinellen Lernens.
Eine kurze Randbemerkung: Googles BERT-Modell ist ein gutes Beispiel für die Übertragung Lernen in ML - wir werden auch darauf später im Artikel näher eingehen. Artikel, also schnappen Sie sich Ihre Tasse Tee und genießen Sie die ausführliche Lektüre.
Bevor wir einige Möglichkeiten und Ideen diskutieren, um unseren maschinellen Lernprozess zu reduzieren CO2-Fußabdruck, ist es nur fair, dass wir kurz verstehen, die Auswirkungen auf die Umwelt können maschinelles Lernen und Datenwissenschaft haben in allgemein.
Jede Software - von den Apps auf unseren Smartphones bis hin zu die in der Cloud betriebenen Data Science-Pipelines – verbrauchen Strom. Solange wir diesen Strom nicht ausschließlich aus erneuerbaren Quellen erzeugen, hinterlässt einen CO2-Fußabdruck. Daher werden maschinelle Lernmodelle hinterlassen auch Sie einen CO2-Fußabdruck.
Im gesamten Artikel bezeichnen wir diesen CO2-Fußabdruck als „den Menge an CO₂e-Emissionen“, wobei das „e“ für Äquivalente steht. Andere Gase wie Lachgas, Methan oder sogar Wasserdampf haben eine Erwärmungseffekt, also ein standardisiertes Maß, um zu beschreiben, wie viel Erwärmung eine bestimmte Menge an Gas wird in der Regel gespendet durch CO₂e-Emissionen zur Vereinfachung.
Soweit wir wissen, liegen derzeit keine Berichte über den Gesamtbetrag vor der CO₂e-Emissionen insbesondere im Bereich des maschinellen Lernens. Es wurden jedoch mehrere Versuche unternommen, die Gesamtleistung abzuschätzen Verbrauch der globalen Rechenzentrumsbranche.
Wenn wir dies auf die organisatorische Ebene reduzieren, im Sinne von Umwelt-KI, Google behauptet, dass 15% seiner gesamten Energie Verbrauch war hin zum maschinellen Lernen bei der Nutzung von Computern für Forschung, Entwicklung und Produktion. Der Grafikkarten-Riese NVIDIA schätzt, dass 80-90 % des ML Arbeitslast ist auf Inferenzverarbeitung zurückzuführen. Darüber hinaus bietet Amazon Web Services berichteten, dass 90 % ihrer ML Nachfrage in der Cloud ist der Inferenz gewidmet.
Diese Schätzungen sind tatsächlich viel höher als die von einem unbekannter, aber großer Cloud-Computing-Anbieter in einer OECD Bericht. Der Anbieter schätzt, dass etwa 7 bis 10 Prozent der Die gesamten Ausgaben für die Computerinfrastruktur von Unternehmenskunden sind hin zu KI-Anwendungen – hier entfallen 4,5 % auf Inferenz und 3-4,5 % zum Trainieren von ML-Modellen.
Alles in allem kann es ziemlich schwierig sein, ein genaues Bild zu zeichnen von der CO2-Fußabdruck des ML-Bereichs und welche spezifischen Maßnahmen Unternehmen sollten unternehmen, um einen „grüneren KI-Fußabdruck“ zu erzielen. Insgesamt mangelt es an Daten, obwohl dies von der breiten Öffentlichkeit verstanden wird. Mehrheit der Unternehmen, dass bestimmte Modelle des maschinellen Lernens, insbesondere Sprachmodelle können einen sehr großen CO2-Fußabdruck hinterlassen. Dies korreliert mit dem, was einige Organisationen tun, wenn sie erheblich großer Teil ihres gesamten Stromverbrauchs für ML-bezogene Aktivitäten.
Was können wir nun persönlich tun, um unsere maschinellen Lernprozesse zu verkürzen? CO2-Fußabdruck so weit wie möglich zu reduzieren und mit einem eher „grünen“ Stattdessen KI-Fußabdruck?
Bevor wir mit der Diskussion über Möglichkeiten zur Reduzierung unseres maschinellen Lernens beginnen CO2-Fußabdruck müssen wir sicherstellen, dass aus terminologischer Sicht Standpunkt, wir sind beide an Bord:
In diesem Abschnitt können wir zwischen zwei verschiedenen Arten von CO2-Fußabdrücken - derjenige, der durch Schulungen entsteht ein ML-Modell und das aus der Verwendung eines ML-Modells. Wir beziehen uns also auf die Ersteres als Modelltraining oder Modellentwicklung und Letzteres als Operationen ; d. h. die Betriebsphase des Lebenszyklus des ML-Modells wo es für Schlussfolgerungen verwendet wird.
Natürlich ist unsere erste Empfehlung ziemlich einfach und hat nichts zu Es geht nicht darum, den Platzbedarf eines einzelnen Modells zu reduzieren, sondern vielmehr darum, den Fußabdruck der Arbeit im Allgemeinen.
Wir müssen also den CO2-Fußabdruck unserer Modelle schätzen. Dabei Diese Informationen können Sie bei der Modellauswahl berücksichtigen.
Nehmen wir an, Sie befinden sich in einer Situation, in der Ihr bestes Modell einen MAE erhält (Mittlerer absoluter Fehler), der 13 % niedriger ist als Ihr zweitbestes Modell – Ihr bestes Modell weist jedoch gleichzeitig einen CO2-Fußabdruck auf das ist etwa 9.000% größer. Entscheiden Sie sich für eine Reduzierung des Modells Fehler bei der Umgehung der erheblichen Zunahme des CO2-Fußabdrucks?
Das ist sehr kontextabhängig. Letztendlich kommt es auf Ihre individuelles Unternehmen und basierend auf Daten, die Ihr ML-Ingenieur liefert oder Datenwissenschaftler.
Es gibt jedoch eine Formel, mit der Sie den CO2-Fußabdruck berechnen können eines ML-Modells: E*C.
Das „E“ steht hier für die Gesamtzahl der während eines Rechenprozess (Kilowatt pro Stunde oder kWh), während C die Volumen oder Menge an CO₂e, die pro kWh Strom emittiert wird, manchmal auch als Kohlenstoffintensität der Elektrizität bezeichnet. Die Kohlenstoffintensität kann von geografischer Region zu Region unterschiedlich sein, da Energie Die Quellen variieren in verschiedenen Regionen der Welt.
Einige Regionen der Welt verfügen möglicherweise über reichlich erneuerbare Energien Energiequellen, während andere möglicherweise über weniger verfügen.
Es gibt Tools, mit denen sich der CO2-Fußabdruck von Maschinen berechnen lässt Lernmodelle, die im Allgemeinen in eine der beiden Kategorien fallen:
consumption (E)
of energy consumption (E)
Sie können auch andere handelsübliche Werkzeuge finden, aber am besten ist es, Konsultieren Sie einen Data Science-Experten, der die Software auf einer maßgeschneiderten Basis, unter Berücksichtigung Ihrer spezifischen Anwendungsfälle, Region und Branche Bedürfnisse.
Sie haben vielleicht schon einmal den Begriff „Seitengewichtsbudget“ im Web gehört. Entwicklung. Es gibt an, wie viel eine Website idealerweise wiegen sollte Kilobyte, soweit es die verschiedenen Dateien betrifft - also Text, Bilder, Symbole, Grafiken usw.
Genauer gesagt ist es die Größe der übertragenen Dateien von der Hauptquelle zum Endbenutzer, wenn die Webseite geladen wird. Web Entwickler legen das Seitengewichtsbudget vor der eigentlichen Entwicklung fest beginnt, da es als Leitstern im gesamten Prozess fungiert, vom Design bis hin zur Umsetzung.
Nun, Sie könnten sicherlich ein ähnliches Konzept in der Datenwissenschaft entwickeln. Sie könnten zum Beispiel eine Grenze für die Menge an Kohlenstoff festlegen, die Sie Ihren maschinelles Lernmodell, das während seiner gesamten Lebensdauer emittiert. Konkret wäre der anzustrebende Maßstab der CO2-Fußabdruck pro Inferenz'.
Dies ist in der Praxis relativ einfach, doch Datenwissenschaftler bekommen oft Sie sind so in die Mischung vertieft, dass sie vergessen, sich an eines zu erinnern sehr wichtige und grundlegende Regel: Eine komplexere Lösung ist nicht immer das Beste.
Jedes Mal, wenn Sie ein neues Projekt starten, berechnen Sie zunächst eine günstige, praktische und vernünftige Basis. Für die Zeitreihenprognose, für Sie können beispielsweise eine einfache und „günstige“ Basislinie erstellen, um die Wert bei tn , da der vorhergesagte Wert für t - ‘n’ 24 sein könnte, für Wenn sich die Daten beispielsweise auf eine stündliche Auflösung beziehen und tägliche Saisonalität.
In der Verarbeitung natürlicher Sprache oder NLP werden Heuristiken als reguläre Ausdrücke implementiert ist das, was man eine „angemessene Basis“ nennen würde. In der Regression ist eine gute Die Basislinie kann so einfach sein wie die Verwendung des Mittelwerts der Zielvariable, die möglicherweise nach einer anderen Variable gruppiert ist.
Sobald Sie eine vernünftige Basislinie festgelegt haben, können Sie diese vergleichen gegen das oben genannte, nur um zu sehen, ob komplexere Lösungen tatsächlich sind, sogar die zusätzliche Arbeit und vor allem die CO2-Emissionen wert. Wenn ein Mit dem Skateboard kommst du ans Ziel, also lass das Sportauto links liegen!
What we can do for you
Wahrscheinlich verwenden Sie einen Cloud-Anbieter wie Azure, AWS oder Google Cloud. Wenn dies der Fall ist, können Sie auswählen, in welcher Region Ihr Rechenverfahren.
Untersuchungen zeigen, dass die Emissionen um das bis zu 30-fache gesenkt werden können, indem durch Experimente in Regionen, die mehr erneuerbare Energien nutzen Energiequellen. Offensichtlich variiert die Kohlenstoffintensität der Elektrizität von Die Unterschiede sind von Region zu Region unterschiedlich und liegen oft weit auseinander. Treffen Sie Ihre Wahl also entsprechend.
Entgegen der landläufigen Meinung ist Strom in der Regel „sauberer“ mittags als nachts. Darüber hinaus kann die Kohlenstoffintensität der Elektrizität variieren täglich und sogar stündlich.
Das bedeutet, dass Sie den CO2-Fußabdruck Ihrer Arbeit verringern können, indem Sie Planung eines intensiven Modelltrainings in Zeiten mit wenig Energie sauberer. Wenn Sie es jedoch eilig haben, ein neues Modell zu trainieren, so bald wie möglich, dann möchten Sie vielleicht mit der Ausbildung beginnen zu einer Zeit, in der die Kohlenstoffintensität in Ihrer spezifischen Wolkenregion unter einem bestimmten Schwellenwert. Unterbrechen Sie einfach Ihr Training, wenn die Die Kohlenstoffintensität überschreitet den Schwellenwert.
Wenn Sie mit der Torch-Bibliothek vertraut sind, dann haben Sie wahrscheinlich das auf dieser Bibliothek basierende Framework für maschinelles Lernen verwendet, PyTorch , mit dem Sie bequem speichern und Laden Sie Ihr Modell. Coden Sie die Stunden einfach fest oder geben Sie sie manuell ein während der Ihre Wolkenregion saubere Energie hat. Alternativ können Sie Beziehen Sie diese Daten von einem kostenpflichtigen Dienst wie Electricity Karte das Echtzeit-Zugriff auf Daten und Prognosen zur Kohlenstoffintensität bietet in verschiedenen Regionen.
Wenn Sie große Machine-Learning-Modelle destillieren, können Sie Ihre den CO2-Fußabdruck des Modells während der Produktionsphase. Sie werden vielleicht sehen Modelldestillation als Prozess der Wissensverlagerung von einem deutlich größeres ML-Modell in ein kleineres. Manchmal kann dies Dies wird erreicht, indem ein kleineres Modell trainiert wird, um die des größeren Modells zu replizieren. bereits antrainiertes Verhalten.
DistilBERT ist ein gutes Beispiel für ein destilliertes, vortrainiertes Sprachmodell. Vergleicht man es mit der „undestillierten“ Version (BERT), ist es zumindest 40 % kompakter in Bezug auf die Gesamtparameteranzahl und gute 60% schneller in der Inferenz. Perfekt für Transferlernen und all dies unter Beibehaltung von 97 % seiner Sprachverständnis.
Die Modelldestillation wurde erfolgreich angewendet auf Bild Anerkennung und wir stellen es uns vor kann auch in anderen Bereichen eingesetzt werden, beispielsweise bei der Zeitreihenprognose unter Einbeziehung neuronaler Netzwerke.
Es scheint, dass die Modelldestillation sehr effektiv sein kann in ein Modell zu erstellen, das rechnerisch effizienter ist und bei dem Sie nicht auf Kosten der Genauigkeit. Wenn Sie jedoch Modell anwenden Destillation nur, um den CO2-Fußabdruck Ihres Modells zu reduzieren, dann ist es Es ist anzumerken, dass die zusätzlichen Kohlenstoffemissionen durch die Destillationsprozess wird die Emissionseinsparungen nicht aufheben oder überwiegen die Sie während der Zeit des Modells in der Produktionsphase haben.
Manche Datenwissenschaftler neigen dazu, blindlings mehr Rechenleistung auf ihre Problem, in der Hoffnung, ein besseres Ergebnis zu erzielen. Wenig überraschend, die meisten von uns denken instinktiv, dass die Reduzierung der Ausführungszeit bestimmter Verfahren würden automatisch ihren CO2-Fußabdruck verringern.
Dies kann nur erreicht werden, wenn Sie Ihren Code ganz einfach beschleunigen indem man von Anfang an besseren Code schreibt, damit dieser schneller ausgeführt wird. Dies ist der Punkt, an dem die meisten Forscher und Datenwissenschaftler versagen: versuchen, ihre Programme zu beschleunigen, indem sie mehr Rechenleistung auf sie, was sie möglicherweise “grüner” macht, aber nur bis zu einem gewissen Grad.
In dieser Studie , Die Forscher maßen die Verarbeitungszeit und den CO2-Fußabdruck von Ausführen einer Teilchenphysik-Simulation unter Verwendung einer CPU mit unterschiedlichen Anzahl der Kerne. Wenn Sie einen kurzen Blick auf die Studie werfen, werden Sie feststellen dass die grüne Linie die Laufzeit angibt - also die Gesamtzeit, die dauerte, um die Simulation auszuführen - während die orange Linie anzeigt die CO2-Emissionen als Ergebnis dieser Simulation. Es ist zu beachten, dass bei einer Anzahl von CPU-Kernen, die zum Ausführen von Die Simulation verdoppelte sich von 30 auf 60, die Ausführungszeit nicht deutlich verringert, während der CO2-Fußabdruck sogar zunahm ungefähr 300 gCO₂e bis über 450 gCO₂e.
Aus diesen Erkenntnissen schlussfolgerten die Autoren der Studie, dass im Allgemeinen Wenn die Reduzierung der Simulationslaufzeit geringer ist als als die relative Zunahme der Gesamtzahl der Kerne, dann Die Verteilung der Berechnungen auf mehr Kerne führt zu einer erhöhter CO2-Fußabdruck. Und für jede parallelisierte Berechnung gibt es wird wahrscheinlich eine bestimmte optimale Anzahl von Kernen sein, um Minimieren Sie die Treibhausgasemissionen.
Wussten Sie, dass Cloud-Rechenzentren 1,4-mal bis doppelt so viel kosten können? energieeffizienter als die typischen Rechenzentren? Darüber hinaus sind ML-spezifische Hardware kann bis zu 5-mal effizienter sein als „von der Stange“ Systeme.
Der maßgeschneiderte TPU-v2-Prozessor von Google beispielsweise verbraucht 1,2-mal weniger Energie für das Training großer Sprachmodelle im Vergleich zu NVIDIAs Tesla P100-Prozessor.
Durch den Einsatz hocheffizienter Rechenzentren reduzieren Sie effektiv Ihre den CO2-Fußabdruck des maschinellen Lernens sowohl während der Entwicklung als auch Betriebsphase.
Eine relativ einfache Möglichkeit, Ihren ML-CO2-Fußabdruck zu verringern, besteht darin, Reduzierung der Gesamtzahl der prozeduralen Modelltrainingsläufe.
Es ist immer besser, mit kleinen Teilmengen von Daten zu experimentieren, bevor man tatsächlich den gesamten Trainingsvorgang zu starten. Auf diese Weise können Sie auch finden Fehler schneller erkennen und den Gesamtstromverbrauch während der Modellentwicklungsphase.
Auch das ist ein Selbstläufer. In unserem Bestreben, mit grüner KI zu arbeiten und Um die Auswirkungen von KI auf die Umwelt zu verringern, sollten wir es vermeiden, große Sprachmodelle von Grund auf neu - also, es sei denn, wir müssen unbedingt aus geschäftlicher Sicht.
Eine bessere Herangehensweise und Reduzierung unseres CO2-Ausstoßes durch maschinelles Lernen Fußabdruck wäre die Feinabstimmung der bestehenden oder vorab trainierten Sprache Modelle zur Verfügung. Huggingface ist eine Möglichkeit, die bestehenden Sprachmodelle, die Sie haben. Wäre dies ein direkter Konkurrent?
Wussten Sie, dass die Energie, die eine Cloud-Instanz verbraucht, auf der ein großer Sprachmodell funktioniert, ist sehr hoch, auch wenn dieses Modell nicht Anfragen aktiv bearbeiten? Was Sie bedenken sollten, ist ob Ihr Service tatsächlich 24/7/365 genutzt wird oder Sie kann es sich leisten, es zeitweise abzuschalten.
Sie nutzen beispielsweise einen auf maschinellem Lernen basierenden Dienst für interne Verwendung in Ihrem Unternehmen - in einigen Fällen können Sie vernünftigerweise erwarten, niemand nutzt diesen Dienst, sagen wir, nachts, oder?
Die Rechenressource, auf der Ihr Dienst läuft, kann also sicher zu bestimmten Zeiten der Nacht abgeschaltet und dann wieder in Leben am nächsten Morgen. Ihr Geschäft wird keinen Schaden davontragen und Sie werden Reduzieren Sie effektiv Ihren CO2-Fußabdruck beim maschinellen Lernen. Das ist eine mehr Punkte für grüne KI!
Wie Sie wahrscheinlich wissen, erfordern neuronale Netzwerke eine Menge rechnen, um zu trainieren. Allerdings können spärlich oder teilweise aktivierte Netzwerke bieten die gleiche Leistung bei deutlich geringerem Verbrauch Energie. Ein spärliches oder teilweise aktiviertes Netzwerk ist ein Netzwerk, in dem nur ein ein bestimmter Prozentsatz aller möglichen Verbindungen besteht.
Wenn Sie die Aufgabe mit 65 % Ihres neuronalen Netzwerks erledigen können, dann es ist nicht nötig, die vollen 100% zu aktivieren, oder? Und das ist ein weiterer Punkt für grüne/ökologische KI!
Bei herkömmlichen Bereitstellungen wird ein Server ausgeführt, der immer eingeschaltet ist. Es besteht auch die Möglichkeit, als Dienst zu fungieren. Dies bedeutet, dass Sie Ihren Code als ausführbare Funktion schreiben und nicht als Server, der einen Status beibehält und im Speicher vorhanden ist.
Die drei großen Cloud-Anbieter bieten ihre eigenen serverlosen Lösungen an: Azure Functions, AWS Lambda und Google Cloud Functions.
Wir haben festgestellt, dass selbst große ML-Lösungen problemlos serverlos bereitgestellt werden können. Es gibt einen kleinen Kompromiss in Bezug auf einen „Kaltstart“ – eine Wartezeit von einigen Sekunden, wenn Sie ein Modell zum ersten Mal verwenden. Aber insgesamt schont serverlos sowohl Ihren Geldbeutel als auch die Umwelt.
Nun, das hat nicht direkt etwas mit maschinellen Lernmodellen zu tun, aber es ist ein gute Möglichkeit, den CO2-Ausstoß Ihrer gesamten Anwendung zu senken. Platzbedarf. Tatsächlich verbrauchen einige Datenspeicherlösungen einfach weniger Energie oder sind generell energieeffizienter als andere.
AWS Glacier bietet eine großartige Datenarchivierungslösung, die unserer Meinung nach energieeffizienter sein als andere. Es kann eine Weile dauern, bis Sie Ihre Daten abrufen, aber Sie werden sicherlich eine Speicherlösung zu schätzen wissen das ist energieeffizienter, als nur schneller zu sein und hinterlässt einen größeren CO2-Fußabdruck.
Natürlich ist es sinnvoll, über die Auswirkungen der KI auf die Umwelt zu sprechen. Ausbildung von LLMs wie GPT-3, während wir beim Thema Reduzierungsmaschine sind CO2-Fußabdruck lernen.
LLMs müssen rechnerisch trainiert werden. Sie basieren auf Transformer Architekturen, die riesige Mengen Text verbrauchen. Sprachtraining für GPT-3 bedeutet, dass 175 Milliarden Parameter halbzufällige Anpassung - das heißt, sie müssen so “angepasst” oder “abgestimmt” werden, dass die Die Ausgabetexte sind genau das, was die Leute erwarten, wenn sie eine Abfrage an Es.
Dies wird nur einmal durchgeführt - zumindest theoretisch. Was tatsächlich passiert, ist, dass während des Testens und der Entwicklung kann das “Einmal” immer wieder auftreten bis es abgestimmt ist. Endbenutzer können die Sprachmodelle auch feinabstimmen Das bedeutet, dass noch mehr Berechnungen erforderlich sind, um alle Parameter anzupassen.
Nach mehreren Trainingsrunden erhalten Sie ein Transformer-Neuralnetz das Milliarden von optimierten oder ‘abgestimmten’ Parameterwerten hat, die nicht nur Texte „autocompleten“, sondern auch ganze Absätze zusammenhängend schreiben, Anweisungen geben, auf detaillierte Fragen antworten und mehr.
Interessanterweise sind weder ChatGPT noch GPT-3 die größten LLMs, obwohl sie sicherlich die beliebtesten sind. PaLM aus Google-Recherche und die Open Source BLOOM sind jeweils 500 Milliarden Parameter und Jeweils 176 Milliarden Parameter.
Unterm Strich lässt sich sagen: Die Ausbildung zum LLM ist sehr, sehr CO2-intensiv.
Die Datenmengen sind enorm und die Anzahl der Parameter variiert ständig in Milliardenhöhe. Dies erfordert Tausende von Stunden berechnen. Und deshalb ist der CO2-Fußabdruck eines maschinellen Lernens LLM wie GPT-3 ist im Moment ein so heißes Thema. Die Berechnung erfolgt bei große Cloud-Datenzentren, die über die ganze Welt verteilt sind Welt. Es hat das Leben sicherlich bequemer gemacht, aber zu welchem Preis für die Umfeld?
Studien wurden veröffentlicht, um zur Reduzierung des CO2-Fußabdrucks bei der Ausbildung beizutragen LLMs, aber das reicht möglicherweise nicht aus, da die Auswirkungen der KI auf die Umwelt die Zahl nimmt von Tag zu Tag zu.
Lassen Sie uns dies nun in die richtige Perspektive rücken und seine Auswirkungen im Hinblick auf Grüne KI und Nachhaltigkeit:
energy and produces 47 metric tonnes of CO₂ emissions.
megawatts of energy while producing 56 metric tonnes of emissions.
doubt the most popular of them all, consumes a whopping 1,287
megawatts (that's 1.3 gigawatt) of energy while producing 552 metric
tonnes of CO₂ emissions. Let's think about that for a moment --
that's the equivalent of covering a distance of 1.3 million miles
across the UK in a petrol-driven car in one hour!
-[Source](https://www.linkedin.com/pulse/stop-using-gpt-3-especially-you-care-sustainability-isabell-kunst)
Jeder US-Amerikaner stößt jährlich etwa 15 Tonnen CO₂ aus. während der Durchschnittsbürger anderswo auf der Welt etwa 4 bis 5 Tonnen CO₂ pro Jahr. Die kohlenstoffintensivsten Zahlen aller Zeiten Der für das Training von GPT-3 aufgezeichnete CO₂-Ausstoß beträgt etwa 200.000 kg. Das bedeutet, dass 12 Menschen in den USA 200 Tonnen CO₂ ausstoßen, und 50 Nicht-US-Bürger stoßen im Laufe eines Jahres die gleiche Menge an CO2 aus.
Die für das Training von GPT-3 verzeichneten Zahlen mit der geringsten CO2-Intensität liegen bei 4.000 kg CO2. Wenn Sie es also mit einem sauberen Gitter trainieren (mehr energieeffiziente Systeme und größere Verfügbarkeit erneuerbarer Energien), das sind 25 % der jährlichen Emissionen eines Amerikaners.
Ein benzinbetriebenes Auto stößt heute typischerweise 5 Tonnen CO2 aus, wenn man es fährt das ganze Jahr über. Das einmalige Training von GPT-3 auf einem sauberen Grid ist also die das Äquivalent dazu, ein Jahr lang dieses eine Auto zu fahren. Training auf einem schmutzigen Gitter, auf der anderen Seite - also eine Region, in der die Systeme energiehungrig und es gibt einen Mangel an erneuerbaren Energiequellen - ist die Das entspricht dem jährlichen Betrieb von 40 Autos, von denen jedes 5 Tonnen ausstößt.
Man kann wohl sagen, dass wir in Sachen Ökologie noch einen weiten Weg vor uns haben. KI oder die entsprechenden Schritte zur Integration positiverer Umwelt-KI-Praktiken.
Heutzutage ist es jedoch immer noch eine große Herausforderung, die Umweltauswirkungen des maschinellen Lernens als Fachgebiet einschätzen.
Spezifische Standardtools können Praktikern dabei helfen, ihre Machine Learning CO2-Fußabdruck, obwohl die Ideen, die wir vorgestellt haben oben sollten Sie auf einen guten Start schicken. Wir geben zu, einige dieser Ideen sind definitiv leicht umzusetzen, während andere mehr Fingerspitzengefühl, Ausprobieren und Fachwissen erfordern.
Bei Fast Data Science liegt uns die Umwelt-KI sehr am Herzen und wir alles Mögliche, um den CO2-Fußabdruck des maschinellen Lernens so weit wie möglich zu reduzieren wie wir können. Wenn Sie vor besonderen geschäftlichen Herausforderungen stehen, die eine maßgeschneiderte KI/ML-Lösung, können wir eine sehr kostengünstige und umweltfreundliche KI/ML-Lösung, die Ihnen hilft, diese Herausforderungen direkt anzugehen.
Suchen Sie Experten in Natürlicher Sprachverarbeitung? Veröffentlichen Sie Ihre Stellenangebote bei uns und finden Sie heute Ihren idealen Kandidaten!
Veröffentlichen Sie einen Job
Generative KI Einführung Generative KI , ein Teilbereich der KI, verändert Branchen grundlegend und gestaltet die Zukunft. Durch die Nutzung fortschrittlicher Algorithmen kann generative KI Inhalte, Designs und Lösungen erstellen, die zuvor undenkbar waren.
Große Daten Das Aufkommen von Big Data hat ganze Branchen revolutioniert und traditionelle Geschäftsmodelle und Entscheidungsprozesse verändert. In dieser umfassenden Untersuchung gehen wir der Frage nach, was Big Data ist, welche erheblichen Auswirkungen es auf die Geschäftsstrategie hat und wie Unternehmen riesige Datenmengen nutzen können, um Innovationen voranzutreiben und sich einen Wettbewerbsvorteil zu verschaffen.
What we can do for you