Hierarchischer Namespace

Auf dieser Seite erhalten Sie einen Überblick über den hierarchischen Namespace, einschließlich der wichtigsten Funktionen, gängigen Anwendungsfälle, Vorteile und Einschränkungen.

Übersicht

Der hierarchische Namespace ist eine Funktion von Cloud Storage, mit der Sie Objekte in Ordnern organisieren und Ihre Daten in einer logischen Dateisystemstruktur speichern können. Wenn Sie Ihre Daten in einer Dateisystemstruktur speichern, wird die Leistung verbessert, die Konsistenz gewährleistet und die Verwaltung von datenintensiven und dateiorientierten Arbeitslasten vereinfacht.

Ordneroperationen bieten Zuverlässigkeit und Verwaltungsfunktionen, einschließlich Erstellen, Löschen, Auflisten und Umbenennen von Ordnern. Die hierarchische Organisation von Objekten vereinfacht die Datenorganisation und optimiert Datenverwaltungsaufgaben. Ein Ordner in einem Bucket mit aktiviertem hierarchischen Namespace kann Objekte, andere Ordner oder eine Kombination aus beidem enthalten.

Wenn Sie Ordner in einem Bucket verwenden möchten, müssen Sie beim Erstellen des Buckets den hierarchischen Namespace aktivieren. Die Einstellung für den hierarchischen Namespace des Buckets kann nach dem Erstellen nicht mehr geändert werden. Informationen zum Aktivieren des hierarchischen Namespaces für Ihren Bucket finden Sie unter Buckets mit aktiviertem hierarchischen Namespace erstellen und verwalten.

Das folgende Diagramm zeigt ein Beispiel für einen Bucket mit aktiviertem hierarchischem Namespace, in dem Objekte in einer hierarchischen Ordnerstruktur organisiert sind.

Wichtige Features

Der hierarchische Namespace bietet folgende Funktionen:

• Höhere anfängliche Abfragen pro Sekunde (QPS): Für das Lesen und Schreiben von Objekten bieten Buckets mit aktiviertem hierarchischen Namespace bis zu achtmal höhere anfängliche QPS-Limits als Buckets ohne aktiviertem hierarchischen Namespace. Die höhere anfängliche Anzahl von Abfragen pro Sekunde erleichtert die Skalierung datenintensiver Arbeitslasten und sorgt für einen höheren Durchsatz. Informationen zu Methoden zur Leistungsoptimierung bei der Verwendung von Ordnern in Buckets mit aktiviertem hierarchischen Namespace finden Sie unter Ordnerverwaltung.

• Ordner: Ordner fungieren als Container für Objekte und andere Ordner. Sie unterstützen Vorgänge wie das Erstellen, Löschen und Abrufen von Ordnern.

• Ordner umbenennen: Mit dieser Operation können Sie den Pfad eines Ordners und seiner zugrunde liegenden Ordner atomar umbenennen, ohne Objekte zu löschen. Diese Methode ist effizient und zeitsparend, insbesondere bei großen Ordnern mit mehreren Objekten.

• Ordner auflisten: Mit dieser Operation werden alle Ordner im Bucket oder unter einem bestimmten Ordner aufgelistet. So können Sie die Struktur Ihrer in einem Bucket gespeicherten Daten verwalten und nachvollziehen.

Wann sollten Sie den hierarchischen Namespace für Ihren Bucket aktivieren?

Sie sollten den hierarchischen Namespace aktivieren, wenn Sie Anwendungen verwenden, die eine dateisystemähnliche Hierarchie und Semantik erwarten. Der hierarchische Namespace eignet sich für datenintensive Aufgaben wie Analysen, KI- und ML-Arbeitslasten. Hier sind einige häufige Szenarien, in denen Sie den hierarchischen Namespace verwenden sollten:

• Hadoop-basierte Verarbeitung: Hadoop- und Spark-Arbeitslasten erwarten traditionell eine speicherähnliche Dateisystemstruktur und eine zeitbasierte Benennung von Dateien und Ordnern. Der hierarchische Namespace lässt sich in den Cloud Storage-Connector einbinden, um den Durchsatz zu erhöhen und atomare Ordnerumbenennungen zu ermöglichen. So werden die Datenintegrität und ‑konsistenz für viele Datenverarbeitungspipelines verbessert.

• Dateiorientierte Arbeitslasten: Arbeitslasten wie Batchanalysen, Finanzdienstleistungen oder Hochleistungs-Computing sind in Partitionen unterteilt, die auf einer Hierarchie von Ordnern und Dateien basieren. Der hierarchische Namespace unterstützt die Verwaltung dieser Umgebungen mit einer speziellen API für die Ordnerverwaltung. Außerdem vereinfacht der hierarchische Namespace die Verwaltung von Ordnern, die andere Ordner und Objekte enthalten. Mit einem einzigen API-Befehl können Sie einen Ordner und seinen gesamten Inhalt schnell umbenennen und so wertvolle Zeit und Ressourcen sparen.

• KI- und ML-Verarbeitung: KI- und ML-Tools wie TensorFlow, Pandas und PyTorch erwarten einen dateisystemähnlichen Zugriff und eine dateisystemähnliche Semantik. Der hierarchische Namespace bietet, insbesondere in Kombination mit Cloud Storage FUSE, einen höheren Durchsatz und einen effizienten Datenzugriff. Daher verbessert der hierarchische Namespace die Leistung und Zuverlässigkeit der ML-Modelliteration.

Bevor Sie den hierarchischen Namespace für Ihren Bucket aktivieren, sollten Sie die Einschränkungen des hierarchischen Namespaces berücksichtigen. Informationen zu Einschränkungen des hierarchischen Namespaces finden Sie unter Einschränkungen.

Vorteile des hierarchischen Namespaces

Wenn Sie den hierarchischen Namespace für Ihre Buckets aktivieren, haben Sie folgende Möglichkeiten:

• Organisation optimieren: Sie können Ihre Daten in einer hierarchischen Ordnerstruktur organisieren, um Dateien oder Datasets besser zu verwalten und zu finden.

• Dateisystemähnliches Ökosystem einrichten: Der hierarchische Namespace führt dateisystemähnliche Funktionen wie Ordner, Ordnerumbenennung und Ordnerauflistung ein, die für dateiorientierte Anwendungen, einschließlich des Hadoop-Ökosystems sowie KI- und ML-Arbeitslasten, von Vorteil sind.

• Leistungssteigerung: Durch die Skalierung datenintensiver Arbeitslasten zur Verarbeitung eines höheren Durchsatzes können Sie die Gesamtleistung Ihrer Anwendung verbessern.

Plattform-Support

Buckets mit hierarchischem Namespace unterstützen die folgenden Cloud Storage-Plattformfunktionen:

• Alle Cloud Storage-Objekt-APIs und häufig verwendete Cloud Storage-Funktionen. Weitere Informationen zu nicht unterstützten Funktionen finden Sie unter Einschränkungen.

• Datenübertragung von einem Standard-Bucket in einen Bucket mit hierarchischem Namespace mit Storage Transfer Service.

• Einbindung in die folgenden Produkte:

  • Cloud Storage-Connector, der von Dataproc für Hadoop-Arbeitslasten verwaltet wird. Weitere Informationen finden Sie unter Buckets mit aktiviertem hierarchischen Namespace für Hadoop-Arbeitslasten verwenden.

  • Cloud Storage FUSE für den dateisystemähnlichen Bucket-Zugriff über Clients.

Kompatibilität mit Cloud Storage-Vorgängen und ‑Funktionen

Buckets mit aktiviertem hierarchischen Namespace haben die folgenden Interaktionen mit anderen Cloud Storage-Vorgängen:

Objektvorgänge

In Buckets mit aktiviertem hierarchischen Namespace werden Objektvorgänge auf folgende Weise verarbeitet:

• Bei Vorgängen wie Upload, Rewrite und Compose werden automatisch alle fehlenden übergeordneten Ordner erstellt, sofern Sie die erforderlichen Berechtigungen haben. Daher müssen Sie Ordner nicht vor dem Hochladen von Objekten erstellen.
• Ordner können zwar automatisch bei Objektvorgängen erstellt werden, Sie müssen sie jedoch explizit mit dem Vorgang DeleteFolder löschen.
• Wenn Sie den Vorgang ListObjects mit dem Parameter delimiter verwenden, wird für jeden untergeordneten Ordner ein Bucket als prefix. zurückgegeben. Leere Ordner werden jedoch standardmäßig ausgeschlossen. Wenn Sie leere Ordner einbeziehen möchten, ähnlich wie bei einer typischen Dateisystemauflistung, müssen Sie den Parameter includeFoldersAsPrefixes festlegen. Informationen zu Methoden zur Leistungsoptimierung beim Auflisten von Objekten in Buckets mit aktiviertem hierarchischen Namespace finden Sie unter Objekte auflisten.

Vorgänge für verwaltete Ordner

In Buckets mit aktiviertem hierarchischen Namespace werden Vorgänge für verwaltete Ordner auf folgende Weise verarbeitet:

• Buckets mit aktiviertem hierarchischen Namespace bieten eine detaillierte Zugriffssteuerung über verwaltete Ordner. Wenn Sie den Zugriff innerhalb eines Ordners verwalten möchten, müssen Sie einen verwalteten Ordner mit demselben Namen erstellen und dann IAM-Richtlinien darauf anwenden. Ein verwalteter Ordner kann nicht ohne den entsprechenden Ordner vorhanden sein.
• Wenn Sie einen verwalteten Ordner erstellen, werden automatisch alle fehlenden übergeordneten Ordner erstellt, einschließlich des Ordners mit demselben Namen.
• Wenn Sie einen Ordner löschen, wird der zugehörige verwaltete Ordner automatisch gelöscht.
• Wenn Sie einen Ordner umbenennen, werden die zugehörigen verwalteten Ordner automatisch umbenannt.
• Buckets mit hierarchischem Namespace müssen den Regeln für Namen verwalteter Ordner und den Regeln für Ordnernamen entsprechen. Ordnernamen können bis zu 50 Ebenen verschachtelt werden, verwaltete Ordnernamen jedoch nur bis zu 15 Ebenen. Die maximale Größe des Namens eines verwalteten Ordners ist durch die maximale Größe des Ordnernamens begrenzt, die bei UTF-8-Codierung 512 Byte beträgt.

Bucket-Vorgänge

Sie können einen Bucket mit aktiviertem hierarchischen Namespace auf dieselbe Weise wie jeden anderen Bucket löschen. Wenn ein Bucket mit aktiviertem hierarchischen Namespace nur leere Ordner und keine Objekte oder verwalteten Ordner enthält, kann er gelöscht werden.

Verwaltung des Objektlebenszyklus

Mit der Verwaltung des Objektlebenszyklus können Sie Aktionen für Objekte basierend auf Bedingungen wie Alter oder Präfix automatisieren. Regeln zur Verwaltung des Objektlebenszyklus können sich jedoch in Buckets mit hierarchischem Namespace und in Buckets mit flachem Namespace aufgrund des Vorgangs RenameFolder unterschiedlich verhalten:

• Regeln für die Verwaltung des Objektlebenszyklus für Buckets mit einem flachen Namespace: Beim Umbenennen wird jedes Objekt mit Tools umbenannt, indem jedes Objekt an einen Zielort kopiert und das ursprüngliche Objekt vom Quellort gelöscht wird. Daher werden am Zielort neue Objekte mit neuen Erstellungszeiten erstellt. Wenn altersbasierte Regeln zur Verwaltung des Objektlebenszyklus für den Zielort angewendet werden, gelten sie nicht sofort für die neuen Objekte, da ihre Erstellungszeiten zurückgesetzt werden.

• Regeln zur Verwaltung des Objektlebenszyklus für Buckets mit aktiviertem hierarchischen Namespace: Das Umbenennen eines Ordners erfolgt auf Ordnerebene, ohne dass jedes einzelne Objekt umbenannt werden muss. Die Erstellungszeit der Objekte bleibt erhalten. Das bedeutet, dass die altersbasierten Regeln für die Verwaltung des Objektlebenszyklus sofort auf umbenannte Objekte angewendet werden, wenn sie die Alterskriterien erfüllen.

Buckets mit aktiviertem hierarchischen Namespace verwalten

Sie können alle Buckets mit aktiviertem hierarchischen Namespace auflisten, unabhängig von ihrem Speicherlayout. Das Speicher-Layout eines Buckets beschreibt, wie Objekte in einem Bucket angeordnet sind, entweder in einem flachen Namespace oder einem hierarchischen Namespace. Eine Anleitung zum Aufrufen des Speicherlayouts eines Buckets finden Sie unter Speicherlayout eines Buckets abrufen. Eine Anleitung zum Auflisten aller Buckets finden Sie unter Buckets auflisten.

Sie können einen Bucket mit aktiviertem hierarchischen Namespace auf dieselbe Weise wie jeden anderen Bucket löschen. Wenn ein Bucket mit aktiviertem hierarchischen Namespace nur leere Ordner und keine Objekte oder verwalteten Ordner enthält, gilt er für Löschvorgänge als leer. Eine Anleitung zum Löschen von Buckets finden Sie unter Buckets löschen.

Preise

Informationen zu den Preisen finden Sie unter Cloud Storage – Preise.

Beschränkungen

Hier sind die Einschränkungen für den hierarchischen Namespace:

• Sie müssen beim Erstellen des Buckets auswählen, ob der hierarchische Namespace verwendet werden soll. Die Einstellung für den hierarchischen Namespace des Buckets kann nach dem Erstellen nicht mehr geändert werden.

• Damit der hierarchische Namespace verwendet werden kann, muss für den Bucket auch der einheitliche Zugriff auf Bucket-Ebene aktiviert sein.

• Die folgenden Cloud Storage-Funktionen werden für Buckets mit hierarchischem Namespace nicht unterstützt:

  • Autoclass
  • Bucket-Sperre
  • Objekt-Holds
  • Objektaufbewahrungssperre
  • Objektversionsverwaltung
  • Verschieben von Buckets

Nächste Schritte

• Buckets mit aktiviertem hierarchischen Namespace erstellen
• Ordner erstellen und verwalten
• Ordner umbenennen
• Verwenden Sie einen hierarchischen Namespace für Hadoop-Arbeitslasten.
• Leistung optimieren

Überzeugen Sie sich selbst

Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit von Cloud Storage in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

Cloud Storage kostenlos testen