Tauchen Sie ein in die Welt der Natürlichen Sprachverarbeitung! Entdecken Sie modernste NLP-Rollen, die zu Ihren Fähigkeiten und Leidenschaften passen.
NLP-Jobs entdeckenLassen Sie uns angesichts der anhaltenden Klimakrise über den CO2-Fußabdruck künstlicher Intelligenz sprechen.
Für den alltäglichen Internetnutzer dürfte es schwierig sein, sich das vorzustellen Die Verwendung von ChatGPT oder das Ansehen von von YouTube empfohlenen Videos kann zu Problemen führen Treibhausemissionen. Und verständlicherweise könnten sie am wenigsten besorgt sein über „Green AI“ oder „Environmental AI“ beim Einsatz dieser Technologien. Aber für Forscher und Datenwissenschaftler entsteht der CO2-Fußabdruck als ein Ergebnis der Stromversorgung der Maschinen, Computer und digitalen Geräte durch maschinelles Lernen (ML) – ist ein wachsendes Problem, insbesondere als globales Thema Der Klimawandel eskaliert weiter.
Auf maschinellem Lernen basierende Algorithmen verursachen große Mengen an Treibhausgasemissionen. Fossile Brennstoffe werden verbrannt Elektrizität, die einige hochentwickelte und leistungsstarke Daten antreibt Server, die täglich Millionen bis Milliarden von Anfragen bearbeiten. Und, lasst uns nicht zu vergessen alle miteinander verbundenen Maschinen und Computer bzw. das Netzwerk und die sie unterstützende Internetinfrastruktur – vor allem Daten Zentren – die Daten und Anwendungen vorrätig haben, ziehen fast unvorstellbare Ausmaße an Macht weltweit.
Darüber hinaus ist Transferlernen das „nächste große Ding in der Welt“. „Maschinelles Lernen“ für Unternehmen und Organisationen aller Größenordnungen Alle Branchen müssen wirklich über clevere Möglichkeiten zur Reduzierung nachdenken CO2-Fußabdruck durch maschinelles Lernen.
Nebenbei bemerkt: Das BERT-Modell von Google ist ein gutes Beispiel für einen Transfer Lernen in ML – wir werden später auch etwas Licht darauf werfen Schnappen Sie sich also eine Tasse Kaffee und genießen Sie die ausführliche Lektüre.
Bevor wir einige Möglichkeiten und Ideen diskutieren, um unser maschinelles Lernen zu reduzieren CO2-Fußabdruck, es ist nur fair, dass wir das kurz verstehen Welche Auswirkungen maschinelles Lernen und Datenwissenschaft auf die Umwelt haben können allgemein.
Jede Software – von den Apps, die wir auf unseren Smartphones ausführen, bis hin zu Die in der Cloud betriebenen Data-Science-Pipelines verbrauchen Strom. Als Solange wir diesen Strom nicht ausschließlich aus erneuerbaren Quellen produzieren, werden wir wird einen CO2-Fußabdruck hinterlassen. Daher Modelle des maschinellen Lernens Hinterlassen Sie auch einen CO2-Fußabdruck.
Im gesamten Artikel bezeichnen wir diesen CO2-Fußabdruck möglicherweise als „der Menge der CO₂e-Emissionen“, wobei das „e“ für Äquivalente steht. Andere Gase wie Lachgas, Methan oder sogar Wasserdampf haben eine Erwärmungseffekt, daher ein standardisiertes Maß, um zu beschreiben, wie viel Das Erwärmen einer bestimmten Gasmenge wird typischerweise durch Spende gespendet CO₂e-Emissionen zur Vereinfachung.
Soweit wir wissen, gibt es derzeit keine Berichte mit Angaben zum Gesamtbetrag der CO₂e-Emissionen insbesondere im Bereich des maschinellen Lernens. Es wurden jedoch mehrere Versuche unternommen, die Gesamtleistung abzuschätzen Verbrauch der globalen Rechenzentrumsbranche.
Wenn wir dies auf die organisatorische Ebene eingrenzen Umwelt-KI behauptet Google, dass 15 % seiner Gesamtenergie Verbrauch war hin zum maschinellen Lernen, das mit der Nutzung von Computern verbunden ist Forschung, Entwicklung und Produktion. Der Grafikkartenriese NVIDIA schätzt, dass 80-90 % der ML Arbeitsbelastung ist auf die Inferenzverarbeitung zurückzuführen. Zusätzlich Amazon Web Services berichteten, dass 90 % ihrer ML Nachfrage in der Cloud ist der Inferenz gewidmet.
Diese Schätzungen sind tatsächlich viel höher als die von a gemeldeten unbekannter, aber großer Cloud-Computing-Anbieter in einem OECD Bericht. Der Anbieter schätzt, dass etwa zwischen 7 % und 10 % davon liegen Die Gesamtausgaben für die Recheninfrastruktur der Unternehmenskunden sind dediziert hin zu KI-Anwendungen – wobei 4,5 % für Inferenz und 3–4,5 % ausgegeben werden zum Training von ML-Modellen.
Alles in allem kann es ziemlich schwierig sein, sich ein genaues Bild davon zu machen den CO2-Fußabdruck von ML als Bereich und welche spezifischen Maßnahmen Unternehmen sollten sich darum bemühen, einen „grüneren KI“-Fußabdruck zu erreichen. Nach Alles in allem mangelt es an Daten, obwohl diese von der Masse verstanden werden Die meisten Unternehmen nutzen insbesondere bestimmte Modelle des maschinellen Lernens Sprachmodelle können sehr große CO2-Fußabdrücke hinterlassen. Dies korreliert mit dem, was einige Organisationen tun, während sie Geld ausgeben Ein erheblicher Teil ihres Gesamtstromverbrauchs entfällt auf ML-bezogene Aktivitäten.
Was können wir nun persönlich tun, um unser maschinelles Lernen zu reduzieren? Verbessern Sie Ihren CO2-Fußabdruck so weit wie möglich und arbeiten Sie mit einem „grüneren“ Ansatz. Stattdessen KI-Fußabdruck?
Bevor wir beginnen, die Möglichkeiten zur Reduzierung unseres maschinellen Lernens zu diskutieren Was den CO2-Fußabdruck anbelangt, müssen wir dies anhand einer Terminologie sicherstellen Standpunkt, wir sind beide an Bord:
In diesem Abschnitt können wir zwischen zwei verschiedenen unterscheiden Arten von CO2-Fußabdrücken – derjenige, der als Ergebnis des Trainings entsteht ein ML-Modell und die Möglichkeit, ein ML-Modell zu verwenden. Wir beziehen uns also auf die Ersteres als Modelltraining oder Modellentwicklung und letzteres als Operationen ; wie in der Betriebsphase des Lebenszyklus des ML-Modells wo es zur Schlussfolgerung verwendet wird.
Natürlich ist unsere erste Empfehlung ziemlich einfach und hat nichts mit der Sache zu tun Es geht darum, den Platzbedarf eines einzelnen Modells zu reduzieren, sondern darum, Ihren eigenen zu reduzieren den Fußabdruck der Arbeit im Allgemeinen.
Wir müssen also den CO2-Fußabdruck unserer Modelle abschätzen. Dabei Sie können diese Informationen bei der Modellauswahl berücksichtigen.
Nehmen wir an, Sie befinden sich in einer Situation, in der Ihr bestes Modell eine MAE erhält (mittlerer absoluter Fehler), der 13 % niedriger ist als Ihr zweitbestes Modell – Trotzdem hinterlässt Ihr bestes Modell einen CO2-Fußabdruck Das ist etwa 9.000 % größer. Entscheiden Sie sich für eine Modellverkleinerung? Fehler machen und gleichzeitig den starken Anstieg des CO2-Fußabdrucks umgehen?
Das ist sehr kontextabhängig. Letztlich kommt es auf Sie an individuelles Unternehmen und basierend auf Daten, die von Ihrem ML-Ingenieur oder bereitgestellt werden Datenwissenschaftler.
Es gibt jedoch eine Formel, mit der Sie den CO2-Fußabdruck abschätzen können eines ML-Modells: E*C.
Das „E“ ist hier die Gesamtzahl der während eines Zeitraums verbrauchten Stromeinheiten Rechenprozess (Kilowatt pro Stunde oder kWh), während C der ist Menge oder Menge an CO₂e, die pro kWh Strom emittiert wird wird manchmal auch als Kohlenstoffintensität von Elektrizität bezeichnet. Das Die Kohlenstoffintensität kann je nach geografischer Region als Energie variieren Die Quellen variieren je nach Region auf der Welt.
Einige Regionen der Welt verfügen möglicherweise über ein reichliches Angebot an erneuerbaren Energien Energiequellen zum Beispiel, während andere möglicherweise weniger haben.
Es stehen Tools zur Verfügung, um den CO2-Fußabdruck einer Maschine abzuschätzen Lernmodelle, die im Allgemeinen in eine der beiden Kategorien fallen:
consumption (E)
of energy consumption (E)
Möglicherweise finden Sie auch andere handelsübliche Tools, obwohl dies am besten ist Konsultieren Sie einen Data-Science-Experten, der die Software auf einer maßgeschneiderten Grundlage erstellen kann basierend auf Ihren spezifischen Anwendungsfällen, Ihrer Region und Ihrem Unternehmen Bedürfnisse.
Möglicherweise haben Sie im Internet schon einmal von dem Begriff „Seitengewichtsbudget“ gehört Entwicklung. Es gibt an, wie viel eine Website idealerweise wiegen sollte Kilobyte, soweit es alle verschiedenen Dateien betrifft – also Text, Bilder, Icons, Grafiken usw.
Genauer gesagt ist es die Größe der übertragenen Dateien von der Hauptquelle zum Endbenutzer, wenn die Webseite geladen wird. Netz Entwickler legen vor der eigentlichen Entwicklung das Budget für die Seitenstärke fest beginnt als Leitstern im gesamten Prozess bereits beim Design bis hin zur Umsetzung.
Nun, Sie könnten sicherlich ein ähnliches Konzept in der Datenwissenschaft entwickeln. Sie könnten beispielsweise eine Grenze dafür festlegen, wie viel CO2 Sie zulassen dürfen Modell für maschinelles Lernen, das während seiner gesamten Lebensdauer emittiert. So mehr Konkret wäre die anzustrebende Metrik „CO2-Fußabdruck pro Jahr“. Inferenz'.
Dies ist in der Praxis relativ einfach, doch Datenwissenschaftler schaffen es oft Sie sind so in der Mischung gefangen, dass sie vergessen, sich an eines zu erinnern Sehr wichtig und Grundregel: Eine komplexere Lösung ist nicht immer möglich der beste.
Jedes Mal, wenn Sie ein neues Projekt starten, beginnen Sie mit der Berechnung eines günstigen, praktische und vernünftige Basis. Also für Zeitreihenvorhersagen, z Sie können beispielsweise eine einfache und „günstige“ Basislinie für die Verwendung entwickeln Wert bei tn , da der vorhergesagte Wert für t - ‘n’ 24 sein könnte, z Wenn sich die Daten beispielsweise auf eine stündliche Auflösung beziehen und täglich angezeigt werden Saisonalität.
Bei der Verarbeitung natürlicher Sprache oder NLP werden Heuristiken als Regex implementiert ist das, was man als „angemessene Grundlinie“ bezeichnen würde. In der Regression ein gutes Die Basislinie kann so einfach sein wie die Verwendung des Mittelwerts der Zielvariablen. die möglicherweise nach einer anderen Variablen gruppiert ist.
Sobald Sie eine angemessene Ausgangsbasis ermittelt haben, können Sie diese vergleichen Vergleichen Sie das oben Gesagte, nur um zu sehen, ob komplexere Lösungen tatsächlich möglich sind. sogar die zusätzliche Arbeit und vor allem die CO2-Emissionen lohnen sich. Wenn ein Skateboard kann dich dorthin bringen, lass den Sportwagen weg!
What we can do for you
Möglicherweise nutzen Sie einen Cloud-Anbieter wie Azure, AWS oder Google Wolke. Wenn dies der Fall ist, können Sie auswählen, welche Region Sie ausführen möchten Rechenverfahren.
Untersuchungen zeigen, dass Emissionen einfach um das 30-fache reduziert werden können durch die Durchführung von Experimenten in Regionen, die mehr erneuerbare Energien nutzen Energiequellen. Offensichtlich variiert die CO2-Intensität von Elektrizität Die Unterschiede variieren von Region zu Region und oft mit großem Abstand, also wählen Sie entsprechend aus.
Entgegen der landläufigen Meinung ist Elektrizität tendenziell „sauberer“. Mittags als nachts. Darüber hinaus kann die Kohlenstoffintensität von Elektrizität variieren variieren täglich und sogar stündlich.
Das bedeutet, dass Sie den CO2-Fußabdruck Ihrer Arbeit reduzieren können Planen Sie schweres Modelltraining in Zeiten, in denen die Energie hoch ist Reiniger. Wenn Sie es jedoch eilig haben, ein neues Modell zu trainieren Wenn Sie die frühestmögliche Gelegenheit haben, dann möchten Sie vielleicht mit der Ausbildung beginnen zu einem Zeitpunkt, an dem die Kohlenstoffintensität in Ihrer spezifischen Wolkenregion hoch ist unter einer bestimmten Schwelle. Legen Sie Ihr Training einfach auf Eis, wenn das Die Kohlenstoffintensität überschreitet den Schwellenwert.
Wenn Sie mit der Torch-Bibliothek vertraut sind, dann haben Sie es wahrscheinlich getan verwendete das auf dieser Bibliothek basierende Framework für maschinelles Lernen, PyTorch , mit dem Sie bequem speichern und Laden Sie Ihr Modell. Codieren Sie einfach die Stunden fest oder geben Sie die Stunden manuell ein Während dieser Zeit verfügt Ihre Cloud-Region über saubere Energie. Alternativ können Sie auch Erhalten Sie diese Daten von einem kostenpflichtigen Dienst wie Strom Karte das Echtzeitzugriff auf Daten und Prognosen zur Kohlenstoffintensität bietet über verschiedene Regionen hinweg.
Wenn Sie große Modelle für maschinelles Lernen destillieren, können Sie Ihre reduzieren CO2-Fußabdruck des Modells während der Produktionsphase. Vielleicht sehen Sie es Modelldestillation als Prozess der Wissensübertragung von einem deutlich größeres ML-Modell zu einem kleineren. Manchmal kann das sein Dies wird erreicht, indem ein kleineres Modell trainiert wird, um das größere Modell zu replizieren Verhalten, das bereits trainiert wurde.
DistilBERT ist ein gutes Beispiel für ein destilliertes vorab trainiertes Sprachmodell. Wenn man es mit der „undestillierten“ Version (BERT) vergleicht, ist es das zumindest 40 % kompakter im Hinblick auf die Gesamtzahl der Parameter und gut 60 % schneller in der Inferenz. Perfekt für Transferlernen und all dies wird 97 % davon beibehalten Sprachverständnis.
Die Modelldestillation wurde erfolgreich auf [Bild] angewendet Anerkennung](https://arxiv.org/abs/1503.02531) und wir stellen es uns vor kann auch in anderen Bereichen verwendet werden, beispielsweise bei der Zeitreihenvorhersage unter Einbeziehung neuronaler Netze.
Es scheint, dass die Modelldestillation sehr effektiv sein kann Erstellen eines Modells, das recheneffizienter ist, und wo Sie Verzichten Sie nicht auf Genauigkeit. Wenn Sie jedoch ein Modell anwenden Destillation nur, um den CO2-Fußabdruck Ihres Modells zu reduzieren, dann ist es das Erwähnenswert ist, dass die zusätzlichen CO2-Emissionen, die sich daraus ergeben Der Destillationsprozess wird die Emissionseinsparungen nicht außer Kraft setzen oder überwiegen Sie werden während der Zeit des Modells in der Produktionsphase haben.
Einige Datenwissenschaftler neigen blindlings dazu, mehr Rechenleistung auf sich zu nehmen Problem, in der Hoffnung, ein besseres Ergebnis zu erzielen. Es überrascht nicht, dass die meisten von uns Ich denke instinktiv, dass sich die Ausführungszeit bestimmter Dinge verkürzt Verfahren würden automatisch ihren CO2-Fußabdruck verringern.
Nun, das kann nur erreicht werden, wenn Sie Ihren Code ganz einfach beschleunigen indem Sie zunächst besseren Code schreiben, damit dieser schneller ausgeführt wird. Jetzt, Hier scheitern die meisten Forscher und Datenwissenschaftler: Sie versuchen, ihre Programme zu beschleunigen, indem sie mehr Rechenleistung bereitstellen was sie möglicherweise „grüner“ macht, aber nur bis zu einem gewissen Grad Grad.
In dieser Studie , Forscher haben die Bearbeitungszeit und den CO2-Fußabdruck von gemessen Ausführen einer Teilchenphysiksimulation mit einer CPU, die über eine variierende Anzahl der Kerne. Wenn Sie einen kurzen Blick auf die Studie werfen, werden Sie fündig dass die grüne Linie die Laufzeit angibt, also die Gesamtzeit benötigt, um die Simulation auszuführen oder auszuführen – während die orange Linie anzeigt die CO2-Fußabdruckemission als Ergebnis der Durchführung dieser Simulation. Nun lohnt es sich, dies zu beobachten, wenn die Anzahl der CPU-Kerne verwendet wird, die ausgeführt werden Die Simulation verdoppelte sich von 30 auf 60, die Ausführungszeit jedoch nicht deutlich verringert, während sich der CO2-Fußabdruck tatsächlich erhöht hat ca. 300 gCO₂e bis über 450 gCO₂e.
Aus diesen Erkenntnissen kamen die Autoren der Studie zu dem Schluss, dass im Allgemeinen Sprich, wenn die Verkürzung der Simulationslaufzeit geringer ausfällt als der relative Anstieg der Gesamtzahl der Kerne Das Verteilen der Berechnungen auf mehrere Kerne führt zu einem erhöhter CO2-Fußabdruck. Und für jede parallelisierte Berechnung dort Es wird wahrscheinlich eine bestimmte optimale Anzahl von Kernen geben, die angestrebt werden sollen Treibhausgasemissionen minimieren.
Wussten Sie, dass Cloud-Rechenzentren 1,4-mal bis doppelt so groß sein können? energieeffizienter als die typischen Rechenzentren? Darüber hinaus ML-spezifisch Hardware kann bis zu fünfmal effizienter sein als „von der Stange“ Systeme.
Der benutzerdefinierte TPU v2-Prozessor von Google verbraucht beispielsweise 1,2-mal weniger Energie für das Training großer Sprachmodelle im Vergleich zu NVIDIAs Tesla P100-Prozessor.
Durch den Einsatz hocheffizienter Rechenzentren können Sie Ihre Kosten effektiv reduzieren Der CO2-Fußabdruck des maschinellen Lernens sowohl während der Entwicklung als auch Betriebsphase.
Eine relativ einfache Möglichkeit, Ihren ML-CO2-Fußabdruck zu reduzieren, ist: Reduzierung der Gesamtzahl der Modelltrainings-Prozedurläufe.
Es ist immer besser, vorher mit kleinen Datenteilmengen zu experimentieren Beginn des gesamten Schulungsverfahrens. Auf diese Weise können Sie auch finden Beseitigen Sie Fehler schneller und reduzieren Sie Ihren Gesamtstromverbrauch während der Modellentwicklungsphase.
Dies ist ein weiteres Kinderspiel. In unserem Bestreben, mit grüner KI zu arbeiten und Um die Auswirkungen der Umwelt-KI zu reduzieren, sollten wir große Schulungen vermeiden Sprachmodelle von Grund auf zu entwickeln – zumindest, es sei denn, wir müssen es unbedingt tun aus betriebswirtschaftlicher Sicht.
Eine bessere Möglichkeit, Dinge anzugehen und den CO2-Ausstoß unseres maschinellen Lernens zu reduzieren Footprint wäre die Feinabstimmung der vorhandenen oder vorab trainierten Sprache Modelle zur Verfügung. Huggingface ist eine Möglichkeit, das Bestehende zu optimieren Sprachmodelle, die Sie haben. Wäre das ein direkter Konkurrent?
Wussten Sie, dass die Energie, die eine Cloud-Instanz verbraucht, groß ist? Wenn das Sprachmodell funktioniert, ist es sehr hoch, selbst wenn das Modell nicht funktioniert Bearbeiten Sie Ihre Anfragen aktiv? Das, was Sie bedenken sollten, ist ob Ihr Service tatsächlich 24/7/365 in Anspruch genommen wird oder Sie kann es sich leisten, es zeitweise abzuschalten.
Beispielsweise nutzen Sie einen auf maschinellem Lernen basierenden Dienst für interne Zwecke Verwendung innerhalb Ihres Unternehmens – in einigen Fällen können Sie vernünftigerweise damit rechnen Niemand nutzt diesen Dienst, sagen wir mal, nachts, oder?
Die Rechenressource, auf der Ihr Dienst ausgeführt wird, kann also sicher sein zu bestimmten Stunden der Nacht abgeschaltet und dann wieder in Betrieb genommen Leben am nächsten Morgen. Ihr Unternehmen wird keinen Schaden nehmen, und Sie werden es tun Reduzieren Sie effektiv Ihren CO2-Fußabdruck durch maschinelles Lernen. Das ist eins mehr Sinn für grüne KI!
Wie Sie wahrscheinlich wissen, erfordern neuronale Netze eine ganze Menge Berechnen, um zu trainieren. Bei spärlich oder teilweise aktivierten Netzwerken ist dies jedoch möglich bieten Ihnen die gleiche Leistung bei deutlich geringerem Verbrauch Energie. Ein spärliches oder teilweise aktiviertes Netzwerk ist eines, in dem nur a Es besteht ein bestimmter Prozentsatz aller möglichen Verbindungen.
Wenn Sie die Aufgabe mit 65 % Ihres neuronalen Netzwerks erledigen können, dann Es ist nicht nötig, die volle 100 %-Aktivierung vorzunehmen, oder? Und das ist Ein weiterer Punkt für grüne/umweltfreundliche KI!
Bei herkömmlichen Bereitstellungen wird ein Server ausgeführt, der immer eingeschaltet ist. Es gibt auch die Option „Function as a Service“, was bedeutet, dass Sie Ihren Code als ausführbare Funktion schreiben und nicht als Server, der einen Zustand beibehält und im Speicher existiert.
Die drei großen Cloud-Anbieter bieten ihre eigenen serverlosen Lösungen an: Azure Functions, AWS Lambda und Google Cloud Functions.
Wir haben festgestellt, dass selbst große ML-Lösungen problemlos serverlos bereitgestellt werden können. Einen kleinen Kompromiss gibt es im Hinblick auf einen „Kaltstart“ – eine Wartezeit von einigen Sekunden, wenn Sie ein Modell zum ersten Mal verwenden. Insgesamt schont Serverless jedoch sowohl Ihren Geldbeutel als auch die Umwelt.
Nun, das hat nicht unbedingt mit Modellen des maschinellen Lernens zu tun, aber es ist eins Dennoch ist es eine gute Möglichkeit, den CO2-Ausstoß Ihrer gesamten Anwendung zu reduzieren Fußabdruck. Tatsächlich verbrauchen einige Datenspeicherlösungen einfach weniger Energie oder sind generell energieeffizienter als andere.
AWS Glacier bietet eine großartige Datenarchivierungslösung, die wir gefunden haben energieeffizienter sein als andere. Es kann eine Weile dauern, bis Sie fertig sind Ihre Daten abrufen, aber Sie werden eine Speicherlösung sicherlich zu schätzen wissen Das ist energieeffizienter, anstatt nur schneller zu sein einen größeren CO2-Fußabdruck hinterlassen.
Natürlich ist es sinnvoll, über die Auswirkungen von KI auf die Umwelt zu sprechen Training von LLMs wie GPT-3, während wir uns mit der Reduzierung der Maschine befassen CO2-Fußabdruck lernen.
LLMs müssen rechnerisch trainiert werden. Sie sind auf einem Transformator aufgebaut Architekturen, die große Textmengen verbrauchen. Sprachtraining für GPT-3 bedeutet, dass 175 Milliarden Parameter halbzufällig sein müssen Anpassung – das heißt, sie müssen „angepasst“ oder „abgestimmt“ werden, damit die Ausgabetexte sind genau das, was die Leute erwarten, wenn sie eine Abfrage stellen Es.
Dies geschieht nur einmal – theoretisch. Was tatsächlich passiert, ist Folgendes Während des Testens und Entwickelns kann das „Einmal“ immer wieder vorkommen bis es abgestimmt ist. Endbenutzer können die Sprachmodelle auch verfeinern Das bedeutet noch mehr Rechenaufwand für die Anpassung aller Parameter.
Nach mehreren Trainingsrunden erhalten Sie ein transformatorisches neuronales Netzwerk das über Milliarden optimierter oder „abgestimmter“ Parameterwerte verfügt, die dies nicht können nicht nur Texte „autovervollständigen“, sondern auch ganze Absätze zusammenhängend schreiben, Geben Sie Anweisungen, beantworten Sie detaillierte Fragen und vieles mehr.
Interessanterweise sind sowohl ChatGPT als auch GPT-3 nicht einmal die größten LLMs obwohl sie sicherlich die beliebtesten sind. PaLM aus der Google-Recherche und die Open Source BLOOM sind jeweils 500 Milliarden Parameter und Jeweils 176 Milliarden Parameter.
Das Fazit lautet: Die Ausbildung zum LLM ist sehr, sehr CO2-intensiv.
Die Größe der Datensätze ist riesig und die Anzahl der Parameter schwankt immer in Milliardenhöhe. Dies ist etwas, das Tausende von Stunden erfordert berechnen. Und aus diesem Grund ist der CO2-Fußabdruck eines maschinellen Lernens LLM wie GPT-3 ist derzeit ein heißes Thema. Die Berechnung erfolgt um große Cloud-Data-Cloud-Zentren, die über das gesamte Gebiet verteilt sind Welt. Es hat das Leben sicherlich angenehmer gemacht, aber um welchen Preis Umfeld?
Studien wurden veröffentlicht, um dazu beizutragen, den mit Schulungen verbundenen CO2-Fußabdruck zu reduzieren LLMs, aber das reicht möglicherweise nicht aus, da die KI Auswirkungen auf die Umwelt hat es nimmt von Tag zu Tag zu.
Lassen Sie uns dies nun ins rechte Licht rücken und seine Auswirkungen im Hinblick darauf untersuchen Grüne KI und Nachhaltigkeit:
energy and produces 47 metric tonnes of CO₂ emissions.
megawatts of energy while producing 56 metric tonnes of emissions.
doubt the most popular of them all, consumes a whopping 1,287
megawatts (that's 1.3 gigawatt) of energy while producing 552 metric
tonnes of CO₂ emissions. Let's think about that for a moment --
that's the equivalent of covering a distance of 1.3 million miles
across the UK in a petrol-driven car in one hour!
-[Source](https://www.linkedin.com/pulse/stop-using-gpt-3-especially-you-care-sustainability-isabell-kunst)
Der durchschnittliche Mensch in den USA emittiert jedes Jahr etwa 15 Tonnen CO₂. während der durchschnittliche Mensch anderswo auf der Welt etwa 4 bis 5 ausstößt Tonnen CO₂ pro Jahr. Die kohlenstoffintensivsten Zahlen aller Zeiten Der für das GPT-3-Training aufgezeichnete CO₂-Ausstoß beträgt ca. 200.000 kg. Das Das bedeutet, dass 12 Menschen aus den USA pro Jahr 200 Tonnen CO₂ ausstoßen Jahr und 50 Nicht-US-Bürger emittieren denselben Wert im Laufe eines Jahres.
Die am wenigsten kohlenstoffintensiven Zahlen, die für das Training von GPT-3 aufgezeichnet wurden, liegen bei etwa 4.000 kg CO2. Wenn Sie es also mit einem sauberen Gitter trainieren (mehr energieeffiziente Systeme und größeres Angebot an erneuerbarer Energie), Das sind 25 % der jährlichen Emissionen eines Amerikaners.
Heute stößt ein benzinbetriebenes Auto beim Fahren typischerweise 5 Tonnen CO2 aus während des ganzen Jahres. Es ist also sinnvoll, GPT-3 nur einmal auf einem sauberen Gitter zu trainieren Das entspricht etwa dem Fahren dieses einen Autos ein Jahr lang. Training auf einem schmutzigen Gitter, andererseits - also eine Region, in der sich die Systeme befinden Sie sind energiehungrig und es mangelt an erneuerbaren Energiequellen Das entspricht dem Fahren von 40 Autos ein Jahr lang, von denen jedes 5 Tonnen ausstößt.
Man kann mit Fug und Recht sagen, dass wir in Sachen Umwelt noch einen weiten Weg vor uns haben KI oder die entsprechenden Schritte zur Einbindung positiverer Maßnahmen ergreifen Umwelt-KI-Praktiken.
Heutzutage ist es jedoch immer noch eine große Herausforderung, genau zu sein Messen Sie die Umweltauswirkungen des maschinellen Lernens als Feld.
Spezifische handelsübliche Tools können Praktikern dabei helfen, ihre Kosten einzuschätzen Der CO2-Fußabdruck von maschinellem Lernen, obwohl die von uns vorgestellten Ideen Das obige sollte Ihnen einen guten Start bescheren. Wir geben zu, einige davon Ideen sind auf jeden Fall einfache Früchte, die Sie leicht umsetzen können. während andere mehr Nuancen, Versuch und Irrtum und Fachwissen erfordern.
Bei Fast Data Science legen wir großen Wert auf Umwelt-KI, und das tun wir auch alles Mögliche, um den CO2-Fußabdruck des maschinellen Lernens so weit wie möglich zu reduzieren Wie wir können. Wenn Sie vor spezifischen geschäftlichen Herausforderungen stehen, die eine Mit einer maßgeschneiderten KI/ML-Lösung können wir eine sehr kostengünstige und umweltfreundliche Lösung anbieten KI/ML-Lösung, die Ihnen hilft, diese Herausforderungen direkt anzugehen.
Suchen Sie Experten in Natürlicher Sprachverarbeitung? Veröffentlichen Sie Ihre Stellenangebote bei uns und finden Sie heute Ihren idealen Kandidaten!
Veröffentlichen Sie einen Job
Mittlerweile sind es Organisationen aller Größenordnungen und fast aller Sektoren werden zunehmend datengesteuert, insbesondere als größere Datenspeicher Systeme und schnellere Computer treiben die Leistungsgrenzen immer weiter voran.
Aufgrund des umfangreichen Einsatzes von Technologie und der Arbeitsteilung hat die Arbeit des durchschnittlichen Gig-Economy-Arbeiters jeden individuellen Charakter und damit auch jeden Charme für den Arbeitnehmer verloren.
Die Auswirkungen von KI auf die Humanressourcen Die Arbeitswelt verändert sich rasant, sowohl aufgrund der Einführung traditioneller Data-Science-Praktiken in immer mehr Unternehmen als auch aufgrund der zunehmenden Beliebtheit generativer KI-Tools wie ChatGPT und Googles BARD bei nicht-technischen Arbeitnehmern.
What we can do for you