foto freepik

Es wird viel über das Training von KI-Modellen geschrieben, aber Datenwissenschaftler verbringen einen Großteil ihrer Zeit mit den Prozessen, die vor und nach dem Modelltraining ablaufen. In all diesen verschiedenen Phasen werden die Daten umgewandelt und erweitert. Um ein effektives und nützliches KI-Modell zu erstellen, müssen die Daten, die dem Modell zugrunde liegen, leicht zu finden, zugänglich, KI-fähig und genau sein. Unternehmen sollten überlegen, wie sie Datenwissenschaftler befähigen, das Datenwachstum nachhaltig zu unterstützen. Angesichts des schnellen Wandels bei KI-Projekten müssen sie sicherstellen, dass sie über die Technologie verfügen, um aktuelle und künftige Anforderungen mit As-a-Service-Lösungen zu erfüllen.

Im Folgenden werden von Pure Storage die sechs Phasen beschrieben, die Daten im Allgemeinen durchlaufen, und einige Überlegungen dazu, wie sich Daten umwandeln und erweitern lassen.

Auffinden und Laden von Daten

Befinden sich die Daten in der Cloud, vor Ort, in einer Datenbank, sind sie unstrukturiert oder strukturiert? Wahrscheinlich handelt es sich um eine Kombination aus all diesen Datenquellen, realen Datenquellen, Transaktionsdaten und Daten aus Geschäftsanwendungen. Möglicherweise müssen die Daten in ein Format exportiert werden, das einfacher zu verwenden ist. Dies führt zu einer Vervielfältigung dieser Daten, wenn auch in einem anderen Format. Möglicherweise gilt es, die Daten zudem für die Analyse an einen anderen Ort zu kopieren.

Je nach Anwendungsfall und Knappheit der Quelldaten wollen Wissenschaftler die Daten durch die Generierung synthetischer Daten mitunter »erweitern«. Synthetische Daten lassen sich erstellen, indem man die Quelldaten heranzieht und geringfügige Änderungen vornimmt. Dadurch kann sich die zu speichernde Datenmenge erheblich vergrößern. Ein Hinweis dazu: Es gibt zunehmende Bedenken, dass synthetische Daten das KI-Training »vergiften« können, wenn sie von KI-Modellen generiert wurden, daher ist bei der Betrachtung synthetischer Daten ein gewisses Maß an Skepsis angebracht.

Aufbereitung der Daten (Pre-Processing)

Um die Daten nutzbar zu machen, kann es sein, dass sie nicht im richtigen Format vorliegen (oder dass Werte fehlen), was sie für einige Arten von KI unbrauchbar macht. Ebenso gibt es einige Daten, die aus anderen Gründen von der Analyse auszuschließen sind. Je nach Art der KI, für die die Daten vorgesehen sind (z. B. prädiktive KI vs. generative KI), müssen sie möglicherweise auch gekennzeichnet, also mit Metadaten angereichert werden.

Feature-Engineering ist der Prozess der Auswahl und Verbesserung bestimmter Teile der Daten, um die Leistung des Modells zu verbessern. Dies kann dazu führen, dass zusätzliche Metadaten erzeugt werden, die gespeichert werden müssen. Bei der prädiktiven KI müssen zudem einige der Daten vom Training ausgeschlossen und für Tests reserviert werden, um die Ergebnisse des Trainings später zu validieren.

Training

In dieser Phase erfolgt der Zugriff hauptsächlich auf die vorverarbeiteten Daten. Während des Trainings wird eine andere Form von Daten erstellt: Dies sind resultierende Modelle sowie Metadateninformationen über diese Modelle und die Daten, auf denen sie trainiert wurden. Kontrollpunkte dienen dabei als Möglichkeit, den Fortschritt zu speichern, bevor das Training abgeschlossen ist. Diese Innovation im Bereich der KI ist nützlich, um das Training teilweise rückgängig zu machen, ohne die gesamte Arbeit wiederholen zu müssen, was wichtig ist, da die GPU-Ressourcen begrenzt sind. Mit diesen Kontrollpunkten wird eine andere Art von Metadaten erstellt.

Bewertung des Modells nach dem Training:

Für die prädiktive KI sind die Daten, die zuvor (am Ende der zweiten Phase) für die Tests zur Verfügung gestellt wurden, von Nutzen. Während des Testens werden weitere Metadaten erzeugt, um die Ergebnisse zu messen und zu verfolgen. Bei der generativen KI bedeutet Testen, dass neue Daten erzeugt werden. Oft erfolgt eine Aufbewahrung dieser Daten für weitere Analysen, da Wissenschaftler die Ergebnisse im Laufe der Zeit auf Kohärenz oder Vielfalt vergleichen möchten. In diesem Fall müssen nicht nur die generierten Inhalte gespeichert werden, sondern auch das Feedback der an der Bewertung beteiligten Personen.

Einsatz nach dem Training:

Bei prädiktiver KI werden möglicherweise nicht selbst Daten generiert, aber es ist wahrscheinlich, dass die Wissenschaftler überwachen und aufzeichnen wollen, wie und wann das Modell verwendet wurde. Diese Überwachung und Protokollierung erzeugt eine andere Art von Daten, die in einigen Fällen, insbesondere, wenn die KI erklärungsbedürftig ist, ebenso wichtig sind wie die Quelldaten oder das Modell selbst.

Bei generativer KI hängt die Frage, ob der gesamte erstellte Inhalt gespeichert wird, von einer Reihe von Faktoren ab, z. B. davon, wer das Modell verwendet und zu welchem Zweck. Werden Inhalte in einem kundenorientierten Kontext eingesetzt, entscheiden sich Unternehmen oft, alle generierten Inhalte zu speichern, da diese später benötigt werden könnten, wenn beispielsweise Beschwerden auftreten. Dies kann dazu führen, dass viel mehr Daten anfallen als die ursprünglichen Quelldaten, die zum Trainieren des Modells verwendet wurden.

Neuere KI-Optimierungstechniken wie Retrieval-Augmented Generation (RAG) komme zum Einsatz, um die Ergebnisse der generativen KI zu verbessern. Hier erfolgt eine Analyse zusätzlicher Informationen oder Dokumente, die in der Trainingsphase nicht verwendet wurden. Dazu kann es erforderlich sein, die Daten »KI-fähig« zu machen, indem »Vektoren« oder Metadaten für alle Dokumente, die es zu durchsuchen gilt, vorberechnet und gespeichert werden.

Wiederholen

Der Aufbau eines KI-Modells ist nicht etwas, das einmal erfolgt, sondern etwas, das ständig weiterentwickelt und verbessert wird. Die obigen Schritte wiederholen sich je nach Situation:

Neue Quelldaten werden erstellt, aus denen das Modell lernen muss, da sie unterschiedliche Muster aufweisen können, wobei Techniken wie die Modellfeinabstimmung zum Einsatz kommen. Bei der Nutzung des KI-Modells kann menschliches Feedback zu den Modellergebnissen wertvolle Informationen liefern, die zur Verbesserung der nächsten Iteration des Trainings nutzbar sind.

Die zyklische Natur der KI wird ebenfalls zusätzliche Daten generieren, da Wissenschaftler möglicherweise nachverfolgen wollen, welche Version eines Modells zu welchen Ergebnissen geführt hat und vielleicht sogar welche Daten für das Training oder die Feinabstimmung verwendet wurden. Code-Repositories und Artefaktspeicher, wie sie in der Welt der Softwareentwicklung üblich sind, werden Teil der Landschaft sein und ihre eigenen Daten erzeugen.

Mehr Daten in unterschiedlichen Formaten

Während dieser Reise werden die ursprünglichen Daten vervielfältigt, erweitert, in verschiedenen Formaten gespeichert und mit Metadaten angereichert. Die erzeugten KI-Modelle werden ebenfalls beginnen, eigene Daten und Nutzungsinformationen zu erzeugen. Insgesamt übersteigt die Menge der Daten, Metadaten und Protokollierungsinformationen den Umfang der Daten zu Beginn des Prozesses erheblich und umfasst nun eine Vielzahl unterschiedlicher Formate.

Um sicherzustellen, dass sie den potenziellen Datenwildwuchs in den Griff bekommen und die Nachhaltigkeit im Auge behalten, müssen Unternehmen ihre Datenspeicherung überdenken, um die Wirkung von KI-Projekten zu maximieren. Dazu gehören unter anderem Überlegungen zur Nachhaltigkeit und zu As-a-Service-Modellen.

Welche Herausforderung dieser Prozess mit sich bringt

Der mehrstufige Prozess der Aufbereitung und Nutzung von Daten für die KI birgt drei Herausforderungen:

Die schiere Menge der erzeugten Daten und die Umweltauswirkungen der Speicherung.
Die große Anzahl von Tools, die für eine durchgängige Bearbeitung dieses Prozesses erforderlich sind.
Die Komplexität des Umgangs mit sich ständig ändernden Anforderungen.

Der Umgang mit großen Datenmengen und die Auswirkungen auf die Nachhaltigkeit

Nicht nur die Daten- und Speicheranforderungen steigen, sondern auch die Komplexität des Umgangs mit ihnen und die Umweltauswirkungen können zunehmen. Durch die Wahl einer Infrastruktur, die den Energieverbrauch senkt und so konzipiert ist, dass sie den Anforderungen der KI besser gerecht wird, können Unternehmen diese Herausforderungen jedoch meistern.

Es ist wichtig zu bedenken, dass es so etwas wie kalte Daten nicht mehr gibt. Bestenfalls handelt es sich um »warme« Daten, die schnell und bedarfsgerecht für Datenwissenschaftler verfügbar gemacht werden müssen. Flash-Speicher ist die einzige Lösung, die dieses Maß an Verfügbarkeit für die unstrukturierten Daten bietet, die KI für ihren Erfolg benötigt. Die Verknüpfung von KI-Modellen mit Daten erfordert eine Speicherlösung, die jederzeit einen zuverlässigen und einfachen Zugriff auf Daten über Silos und Anwendungen hinweg ermöglicht. Genau dies ist mit einer HDD-Speicherlösung oft nicht möglich.

Da sich immer mehr Unternehmen wissenschaftlich fundierte Nachhaltigkeitsziele setzen, müssen sie auch über die Umweltkosten der Speicherung nachdenken. Die Betreiber von Rechenzentren setzen energieeffizientere Technologien ein, um mit speicherhungriger KI fertig zu werden. Das Problem wird nicht dadurch gelöst, dass man es auf andere abwälzt (z. B. auf einen Public-Cloud-Anbieter). Viele Unternehmen werden bald verpflichtet sein, über Scope-3-Emissionen zu berichten, die die vor- und nachgelagerten Umweltkosten umfassen. Die Zusammenarbeit mit einem Anbieter, der den Platz-, Strom- und Kühlungsbedarf für die Speicherung reduzieren kann, ist ein wichtiger Weg, um die Herausforderung der Speicherung wachsender Datenmengen, die aus der KI resultieren, zu bewältigen.

Tools zur Unterstützung von Datenwissenschaftlern

Da Datenwissenschaftler so viel Zeit zur Vorverarbeitung und Erkundung von Daten aufwenden, benötigen sie die Tools, Ressourcen und Plattformen, um diese Arbeit effizient und bedarfsgerecht durchzuführen. Python und Jupyter Notebooks sind zu den alltäglichen Sprachen und Tools für Datenwissenschaftler geworden, und die Tools zur Datenaufnahme, -verarbeitung und -visualisierung haben alle eines gemeinsam: Sie können als Container bereitgestellt werden. Die ideale Plattform für Datenwissenschaftler sollte daher all diese Tools unterstützen und es ermöglichen, Container schnell und einfach zu implementieren und auszuführen – und das vor allem auf Self-Service-Basis.

Da laut 451 Research 95 Prozent der neuen Anwendungen in Containern geschrieben werden, ist es für Datenwissenschaftler noch wichtiger geworden, schnellen und einfachen Zugang zu haben. Wird dies nicht ermöglicht, wirkt sich dies negativ auf das Gesamtwachstum eines Unternehmens, die digitale Transformation, den Kundenservice und die Innovation aus. Jeder Bereich eines Unternehmens ist betroffen, wenn Datenwissenschaftler nicht angemessen unterstützt werden.

Führende KI-Organisationen bauen jetzt »Data Science as-a-Service«-Plattformen auf, die viele der oben genannten Tools nutzen und auf einer Softwareinfrastruktur wie Kubernetes basieren. Um erfolgreich zu sein, müssen diese Plattformen jedoch nicht nur die Daten-Frameworks und Tools as-a-Service bereitstellen, sondern auch die Daten selbst, da sonst der Vorteil der Selbstbedienung zunichtegemacht wird. Datenplattformen, die eng mit Kubernetes integriert sind und eine einfache gemeinsame Nutzung, das Kopieren, Checkpointing und Rollback der Daten selbst ermöglichen, sind der Schlüssel zum Erfolg in diesem Bereich.

Flexibilität einer As-a-Service-Nutzung

Eine der Hauptsorgen von IT-Organisationen in Bezug auf KI ist die Geschwindigkeit, mit der sich der Markt weiterentwickelt und die den durchschnittlichen Investitionszyklus von Unternehmen weit übersteigt. Neue KI-Modelle, -Frameworks, -Tools und -Methoden tauchen regelmäßig auf, und ihre Einführung kann massive Auswirkungen auf die zugrundeliegenden Software- und Hardwareplattformen haben, die für KI verwendet werden. Dies führt zu ungeplanten Kosten, wenn Änderungen an der zugrundeliegenden Technologie erforderlich sind.

As-a-Service-Verbrauchsmodelle sind ein wirksames Instrument zur Erhöhung der Flexibilität der KI-Plattform. Sie ermöglichen es den Entwicklern, problemlos neue Lösungen zu integrieren oder ihre Infrastruktur zu ändern, um den sich ständig ändernden Anforderungen der Datenwissenschaftler gerecht zu werden. Im Wesentlichen unterstützen sie alle sechs der im ersten Teil dieses Beitrags genannten Schritte.

Darüber hinaus können Unternehmen mit As-a-Service-Modellen ihre Nachhaltigkeitsziele erreichen, indem sie die Energiekosten durch einen geringeren Stromverbrauch besser kontrollieren und nur die Ressourcen nutzen, die zum jeweiligen Zeitpunkt erforderlich sind. Einige Storage-as-a-Service-Angebote werden auch durch SLAs unterstützt, die auch die Stromkosten abdecken, und sie unterstützen Nachhaltigkeitsziele, indem sie Rip-and-Replace-Zyklen und den dabei entstehenden Elektroschrott eliminieren.

Lösungen zur Bewältigung von KI-Datenherausforderungen

Der Weg der Daten für KI ist ein Weg der Datenerweiterung. Auf jeder Stufe der KI-Reise werden Daten und Metadaten erstellt und ergänzt. Dies erfordert eine immer umfangreichere Infrastruktur, um die Entwicklung zukünftiger KI zu unterstützen. Data Science as-a-Service ist das, was Datenwissenschaftler wollen, um die Anforderungen der KI zu bewältigen. Das bedeutet, dass sowohl Tools als auch Daten auf Abruf und durch Automatisierung bereitgestellt werden. Um dies zu erreichen, bedarf es der richtigen Software- und Hardwareinfrastruktur in Kombination mit dem richtigen Nutzungsmodell. Dies ist entscheidend, damit das KI-Engagement ein Erfolg wird und ein Unternehmen von der Datenerfassung zur Innovation gelangt.

671 Artikel zu „Daten KI Storage“

NEWS | EFFIZIENZ | FAVORITEN DER REDAKTION | INFRASTRUKTUR | NACHHALTIGKEIT | RECHENZENTRUM

Supercomputer des KIT ist einer der energieeffizientesten der Welt

14. Mai 2024

Der »Hochleistungsrechner Karlsruhe« (HoreKa), der seit Juni 2021 am Karlsruher Institut für Technologie (KIT) in Betrieb ist, zählt derzeit zu den schnellsten Rechnern Europas. Nach einem kürzlich erfolgten Upgrade belegt er nun außerdem Rang 6 in der halbjährlich erscheinenden Green500-Liste der energieeffizientesten Rechner der Welt. Damit verbessert sich der Supercomputer um sieben Plätze im Vergleich…