Une meilleure expérience d'importation de données pour LOAD DATA

Dans les versions récentes d'IRIS, une nouvelle commande puissante de chargement de données a été introduite dans SQL : LOAD DATA. Cette fonctionnalité a été hautement optimisée pour importer des données dans IRIS de manière extrêmement rapide, permettant d'insérer des centaines de gigaoctets de données en quelques secondes au lieu d'heures ou de jours.

Il s’agit d’une amélioration très intéressante. Cependant, un gros problème persiste lors du chargement des données. À savoir le temps et les tracas nécessaires pour :

1. Définissez le schéma de la table dans laquelle vous souhaitez charger les données.
2. Découvrez la syntaxe de la commande LOAD DATA.

J'ai développé une interface utilisateur qui gère de manière invisible l'étape CREATE TABLE, puis génère la syntaxe pour LOAD DATA, le tout dans un assistant pratique !

Au moins dans mon cas (même si je travaille dans le secteur des bases de données depuis des décennies), je n'importe des données que quelques fois par an. Par conséquent, mes compétences CREATE TABLE deviennent rouillées, et c'est vraiment bien d'avoir un outil qui s'en occupe pour moi. Et cet outil ne gère pas seulement la syntaxe. Il inspecte également le fichier CSV d'entrée à l'aide d'un utilitaire de la bibliothèque SQL Utilities de @Benjamin De Boe pour déterminer les types de données et leur longueur. Ensuite, il pose quelques questions supplémentaires pour définir la syntaxe de la commande LOAD DATA requise. L'application peut l'exécuter ou vous pouvez simplement copier la syntaxe et la modifier vous-même.

Voici une procédure pas à pas.

Étape 1 : Installez l'application et examinez le fichier CSV

Après avoir suivi les instructions pour installer la solution, vous aurez une application Angular publiée en tant qu'application CSP et une application ObjectScript backend qui sert d'API pour s'interfacer avec la base de données.

Jetez un œil à mon exemple d'ensemble de données (en utilisant l'extension Rainbow CSV dans VS Code). Il contient un mélange de colonnes numériques, de texte et vides.

Étape 2 : Accédez à l'application

Vous trouverez probablement l'application à l'adresse http://localhost:52773/csp/dataloadapp/index.html si vous utilisez le port IRIS et le nom de l'application Web par défaut.

Étape 3 : Spécifiez l'emplacement du fichier CSV

Étape 4 : Spécifiez le format du fichier CSV

LOAD DATA doit connaître certaines choses comme le caractère délimiteur de colonne et par où commencer dans le fichier.

Étape 5 : Définissez un nom de table de destination, avec également le nom du schéma

Étape 6 : Affinez les noms de champs et les types de données

La plupart de ces informations seront remplies pour vous et devraient être assez précises, mais vous souhaiterez probablement ajuster certains noms ou longueurs de champs.

Et c'est tout! Appuyez sur "Load CSV" et l'application côté client appellera le serveur pour exécuter une commande CREATE TABLE SQL, puis exécutera LOAD DATA avec la syntaxe indiquée dans la case noire à droite. En accédant au Management Portal (ou à tout autre client SQL), vous pouvez voir que le fichier CSV est maintenant chargé dans IRIS.

Je dois m'excuser d'avance car il n'y a pas encore beaucoup de vérification d'erreurs, mais c'est open source donc si vous trouvez cet outil utile, rejoignez-moi pour l'améliorer sur GitHub.