GaussDB(DWS)-Datenimport und -export
GaussDB(DWS) bietet eine Reihe von L?sungen, mit denen Sie Daten in verschiedenen Formaten importieren und exportieren k?nnen.
Tools für Import und Export
Sie k?nnen nach Bedarf aus den folgenden Tools w?hlen, um Daten in GaussDB(DWS) zu importieren oder aus GaussDB(DWS) zu exportieren.
Tabelle 3-1 Tools für den Datenimport und -export
Nutzung | Tool |
|---|---|
Batch-Import oder -Export einer gro?en Datenmenge | GDS |
Batch-Import oder -Export einer kleinen Datenmenge | copy to/from (file/Stdin) |
Export der Abfrageergebnisse | copy query to/from (file/Stdin) |
Importieren oder Exportieren einer kleinen Datenmenge in oder aus anderen Datenbanken | insert into values / ETL |
Sicherung/Wiederherstellung von Datenbank-Metadaten | gs_dump/gs_restore |
Datenimport aus HDFS | HDFS-Fremdtabelle |
Datenimport aus OBS | OBS-Text-Fremdtabelle, OBS-ORC-Fremdtabelle |
Datenmigration/-sicherung zwischen Clustern | Roach |
Gauss Data Service (GDS)
Sie k?nnen das Gauss Data Service(GDS)-Tool verwenden, um Text effizient zu importieren und zu exportieren.
Wie in der folgenden Abbildung dargestellt, wird auf jedem physischen Knoten in einem Cluster ein GDS-Server bereitgestellt, um Daten parallel zu importieren und zu exportieren. Die Geschwindigkeit eines einzelnen Knotens kann 700 MB/s erreichen.
Abbildung 3-1 Paralleler Datenimport und -export mit GDS
GDS kann mit dem Foreign Data Wrapper (FDW) zusammenarbeiten, der den Datenzugriff über Cluster hinweg erm?glicht, um Sie bei der schnellen und einfachen Migration von Daten von einem Cluster zu einem anderen zu unterstützen. Wie in der folgenden Abbildung dargestellt, richtet GDS einen Datenübertragungs-Kanal zwischen zwei Clustern ein. Daten k?nnen aus dem Quell-Cluster exportiert und direkt in das Ziel-Cluster importiert werden, ohne auf Datentr?ger geschrieben zu werden.
Abbildung 3-2 Clusterübergreifende Datenmigration
Vorteile
- Einfache Benutzung. Sie k?nnen Daten migrieren, indem Sie eine einzelne SQL-Anweisung ausführen: INSERT INTO ... SELECT ... FROM ... [WHERE];
- Hohe Leistung: Die Rechenleistung beider Cluster kann vollst?ndig genutzt werden.
- Daten werden w?hrend der Migration nicht auf Datentr?ger geschrieben, sodass sie keinen Speicherplatz belegen.
Nutzung
- Vollst?ndige Datenmigration zwischen GaussDB(DWS)-Clustern
- Partielle Datenmigration basierend auf Filterbedingungen zwischen GaussDB(DWS)-Clustern