Merkmalspeicher organisieren die Datenverarbeitung, die Modelle des maschinellen Lernens antreibt. Zur Unterstützung des Modelltrainings und der Produktionsinferenz haben ML-Modelle spezifische Datenzugriffsanforderungen. Der Feature Store fungiert als Brücke zwischen Ihren Rohdaten und den Schnittstellen des Modells. Feature Stores ermöglichen es Datenwissenschaftlern, die Verarbeitung von Merkmalswerten zu automatisieren, Trainingsdatensätze zu erstellen und Merkmale online mit produktionsgerechten Leistungen anzubieten, wodurch diese Abstraktion geschaffen wird.
Was ist der Zweck eines Feature Stores?
Feature Stores lösen diese Probleme, indem sie es Datenteams ermöglichen,:
- Gemeinsame Erstellung einer Merkmalsbibliothek unter Verwendung von Standardmerkmalsdefinitionen.
- Mit nur wenigen Zeilen Code können Sie genaue Trainingsdatensätze erzeugen.
- Stellen Sie Funktionen in Echtzeit für die Produktion bereit, indem Sie bewährte DevOps-Techniken anwenden.
- Gemeinsame Nutzung, Entdeckung und Wiederverwendung von Funktionen innerhalb eines Unternehmens
Komponenten des Feature Store
Da der Feature Store ein neues Konzept ist, ändert sich die genaue Definition ständig. Im Folgenden werden häufige Merkmale eines Feature-Stores aufgeführt:
- Versionskontrollierter Code wird in der Feature Registry als Feature definiert. Die Feature Registry ist ein zentraler Katalog für alle Feature-Definitionen und Metadaten. Sie ermöglicht es Datenwissenschaftlern, neue Funktionen zu finden, zu suchen und gemeinsam daran zu arbeiten.
- Merkmalspeicher organisieren Datenpipelines zur Umwandlung von Rohdaten in Merkmalswerte. Sie können Batch-, Streaming- und Echtzeitdaten verarbeiten, um historischen Kontext mit den aktuellsten Informationen zu verbinden.
- Merkmalspeicher bieten sowohl Online-Speicher für Abrufe mit geringer Latenz in großem Umfang als auch Offline-Speicher für die kostengünstige Kuratierung historischer Datensätze, die im Merkmalspeicher aufbewahrt werden.
- Merkmalspeicher bieten einen API-Endpunkt für die Bereitstellung von Online-Merkmalswerten mit niedriger Latenz.
- Funktionsspeicher überwachen sowohl die Datenqualität als auch die Betriebsindikatoren. Sie können Daten auf ihre Genauigkeit prüfen und Datenabweichungen erkennen. Sie haben auch ein Auge auf Schlüsselindikatoren im Zusammenhang mit der Speicherung von Merkmalen (Kapazität, Unbeständigkeit) und der Bereitstellung von Merkmalen (Latenz, Durchsatz).
Was ist bei der Auswahl eines Feature Stores zu beachten?
Die Nutzer können nun aus einer breiten Palette von Feature-Store-Produkten wählen. AWS, Databricks, Google Cloud, Tecton und Feast (Open Source) sind nur einige Beispiele. Nicht alle Feature-Stores sind jedoch gleichwertig. Bei der Auswahl eines Angebots sollte ein Benutzer die folgenden Faktoren berücksichtigen:
- Integrationen und das Ökosystem: Einige Feature-Stores sind eng mit einer bestimmten Umgebung verbunden. Der AWS SageMaker-Funktionsspeicher beispielsweise ist so konzipiert, dass er gut mit dem SageMaker-Ökosystem funktioniert. Andere Feature Stores, wie Feast oder Hopsworks, sind nicht an ein bestimmtes Ökosystem gebunden und arbeiten cloudübergreifend. Sind Sie an eine bestimmte Umgebung gebunden oder suchen Sie eine anpassungsfähigere Lösung?
- Dateninfrastruktur: Die meisten Feature-Stores sind so konzipiert, dass sie Datenströme über die bestehende Infrastruktur orchestrieren. Der Databricks-Feature-Store ist beispielsweise für die Ausführung auf Delta Lake vorgesehen. Einige Feature Stores werden mit einer eigenen Datenarchitektur geliefert, z. B. Objektspeicher und Key-Value-Stores. Möchten Sie eine bestehende Dateninfrastruktur wiederverwenden oder eine neue Dateninfrastruktur von Grund auf aufbauen?
- Bereitstellungsmodell: Einige Funktionsspeicher sind als vollständig verwaltete Leistungen verfügbar. Andere Feature Stores müssen selbst implementiert und verwaltet werden. Bevorzugen Sie die vollständig verwalteten Leistungen oder die Freiheit der selbstverwalteten Lösungen?
- Umfang der Verwaltung von Merkmalen: Die meisten Merkmalspeicher befassen sich mit der Lösung des Problems der Bereitstellung. Sie bieten eine Standardmethode zum Speichern und Bereitstellen von Feature-Werten, aber diese Feature-Werte müssen außerhalb des Feature-Speichers behandelt werden. Andere Feature-Stores, wie z. B. Databricks, verwalten die gesamte Lebensdauer von Features, einschließlich Feature-Transformationen und automatisierter Pipelines. Letzteres ist sehr praktisch, um anspruchsvolle Änderungen wie Streaming- oder Echtzeit-Features durchzuführen.