BaSYS ASCII-Import Schnittstelle

ASCII Import Definitionen

Die BaSYS ASCII-Import Schnittstelle schreibt Daten aus ASCII-Dateien mit festen (*.TXT, *.PRN, ...) oder variablen (*.CSV) Spaltenbreiten sowie aus Shapedateien (*.SHP) in die BaSYS-Datenbank. In den ASCII Import Definitionen werden für alle Fachbereiche Vorlagen im Configuration Explorer verwaltet, die auf übliche Anwendungsfälle wie den Import von Knoten / Armaturen der Wasser- und Gasversorgung, von Haltungsstammdaten, Schachtgeometrien oder Bibliotheksdaten abgestimmt sind. Projektspezifisch erforderliche Vorlagen sowie oft verwendete Datei- und Inhaltskonfigurationen können dort neu erstellt und dann gespeichert werden. Die Arbeit wird durch eine Datenvorschau und die integrierte Protokoll (Plausibilitätskontrolle) unterstützt. Aufruf aus Gruppe Schnittstellen der klassischen Barthauer Management Console.

Abschnitte der Hilfe

In der Hilfe werden folgende Abschnitte beschrieben:

So geht's

Die wichtigen Hinweise und die nachfolgenden empfohlenen Arbeitsschritte sind für einen erfolgreichen Import der ASCII- oder Shape-Daten zu beachten.

Start der ASCII-Import Schnittstelle

Erstellung einer neuen leeren ASCII-Import Definition

So geht's:

Verwendung einer vordefinierten Vorlage aus dem BCE

So geht's:

Konfiguration der ASCII-Import Definition

Spalten- und Zeilenzahl

Die erste Spalte / Zeile wird vom System als Spalte / Zeile 0 erkannt!

Bei der Definition der Importspalten für den variablen Import muss die Zuweisung der Spalten zwingend in Zeile 0 erfolgen. Andernfalls kann infolge unterschiedlicher Textlängen innerhalb der Spalten eine falsche Zuordnung erfolgen.

Überschreibverhalten von Standardwerten

Das Überschreibverhalten von Standardwerten wird über die Spalte Standardwert-Verhalten der Inhaltskonfiguration definiert.

Serieller Import aus mehreren Dateien

Falls die Daten nacheinander aus mehreren Dateien importiert werden, sind die im Folgenden beschriebenen Hinweise zu beachten.

Geometriedaten

Sollen Punktgeometrien mit einem definierten Index importiert werden, muss der zu importierende Datenwert für den Index 1-basiert sein.

Beispiel: Sollen zwei Punktgeometrien mit derselben Kennung importiert werden (z.B. DMP) muss in der Importdatei der Index = 1 oder Index = 2 sein. Wenn der Index = 0 ist, würde die Punktgeometrie als weiterer Punkt angehängt werden (z.B. mit Index = 3).

Liniengeometrien müssen je Objekt vollständig importiert werden (siehe unten). Der Import einzelner Linienpunkte wird nicht unterstützt.

Stammdaten Fachschale Abwasser

Stammdaten sollten seriell in der Reihenfolge des "idealen" Datenaufbaus importiert werden:

• Schächte / Bauwerke --> Haltungen --> Anschlusspunkte --> Anschlussleitungen

Beispielsweise sind die Stammdaten importierter Schächte beim nachfolgenden Import der Haltungen nicht erneut erforderlich.

Stammdaten anderer Fachschalen

Stammdaten anderer Fachschalen werden ähnlich wie für die Fachschale Abwasser beschrieben importiert. Alle Knoten sind standardmäßig sonstige Knoten. Durch Datenabgleiche können die (mit importierten) Detailtypen (wie Armatur) nachträglich den Knotenobjekten zugewiesen werden.

Import von Leitungsgeometrien

Beim Import von Leitungsgeometrien muss die korrekte Reihenfolge Zulauf .. Zwischenpunkte .. Ablauf eingehalten werden.

Fachschale Abwasser

Für die Geometrien einer Haltung / Anschlussleitung ist die Reihenfolge RAPZ, LZP, ..., LZP, RAPA einzuhalten. Als Startpunkt wird RAPZ, als Endpunkt RAPA erwartet. Dabei sind die Kennungen der genannten Punkte in der Importdatei irrelevant.

Die Nummerierung der Leitungszwischenpunkte hat keinen Einfluss auf die Erstellung der Geometrie. Maßgebend ist die Reihenfolge in der Importdatei.

Zur erfolgreichen Erstellung der Leitungsgeometrie müssen RAPZ und RAPA gleichzeitig importiert werden.

Andere Fachschalen

Für die Leitungsgeometrien anderer Fachschalen ist ebenfalls die Reihenfolge Zulauf .. Zwischenpunkte .. Ablauf einzuhalten.

Nach dem Start des ASCII-Importes öffnet sich der Configuration Explorer zur Auswahl eines ASCIIi-Import-Definitionsdokumentes.

Nach der Dokumentwahl wird die Benutzeroberfläche der ASCII-Schnittstelle geöffnet, die in die Menüleiste und vier Arbeitsbereiche gegliedert ist.

Die allgemeinen Funktionen des ASCII-Importes werden über die Menüleiste gesteuert.

Integrierte Funktionen:

Im diesem Arbeitsbereich werden der Dateityp und weitere Eigenschaften der zu importierenden Datei definiert. Der Arbeitsbereich wird abhängig vom gewähltem Dateityp aufgebaut:

• ASCII-Dateien mit festen Spaltenbreiten.

• ASCII-Dateien mit variablen Spaltenbreiten (CSV-Dateien).

• Shapedateien /GDAL.

Die Beschreibung der zugehörigen Optionen folgt im Abschnitt nach der Vorstellung der Formate.

Folgende Eigenschaften werden angezeigt:

ASCII- / Shape-Datei

Dateityp

ASCII-Fest

Filter

Kennung	KS;KR
Start	24
Länge	4

Vorschau

Zeilenzahl

20

Import

Von Zeile	1
Bis Zeile	-1

Textkodierung

Kodierungstyp	ASCII (8bit) ANSI Unicode
Codepage

Folgende Eigenschaften werden angezeigt:

ASCII- / Shape-Datei

Dateityp

ASCII-Variabel

Filter

Kennung	KS;KR
Feld	7
Trennzeichen	;
Textkennzeichen	'

Vorschau

Zeilenzahl

20

Import

Von Zeile	1
Bis Zeile	-1

Textkodierung

Kodierungstyp	ASCII (8bit) ANSI Unicode
Codepage

Folgende Eigenschaften werden angezeigt:

ASCII- / Shape-Datei

Dateityp

Shape

Filter

Kennung	KS;KR
Feldname	Kanalart

Vorschau

Zeilenzahl

20

 

ASCII- / Shape-Datei

Dateityp

GDAL

Filter

Kennung	KS;KR
Feldname	Kanalart

Vorschau

Zeilenzahl

20

Im Folgenden werden die Optionen der Konfiguration beschrieben.

Dateityp

Der Dateityp der Importdatei muss gesetzt sein:

ASCII-Fest

Die Spalten der Importdatei besitzen fest definierte Breiten.

So geht's:
1. Markierung der gewünschten Zeilenspalten im Arbeitsbereich <Vorschau>.
2. Wechsel in den Arbeitsbereich <Inhaltskonfiguration>.
3. Anklicken der Zelle in Spalte Start, die zur Zeile des relevanten Datenfeldes gehört.
4. Dort wird automatisch die Startposition des gewählten Wertes eingetragen.
5. Gleichzeitig wird in Spalte Länge die Zeilenspaltenanzahl des Wertes zugewiesen.

ASCII-Variabel

Die Spalten der Importdatei sind durch ein vereinbartes Zeichen (meist Semikolon) voneinander separiert.

So geht's:
1. Anklicken der gewünschten Spalte im Arbeitsbereich <Vorschau>.
2. Wechsel in den Arbeitsbereich <Inhaltskonfiguration>.
3. Anklicken der Zelle in Spalte Feldpostion, die zur Zeile des relevanten Datenfeldes gehört.
4. Dort wird automatisch die Spaltennummer des gewählten Wertes eingetragen.

Shape / GDAL

Die Daten sollen aus einer Shape- bzw. GDAL-Datei importiert werden.

So geht's:
1. Markierung des gewünschten Feldes im Arbeitsbereich <Vorschau>.
2. Wechsel in den Arbeitsbereich <Inhaltskonfiguration>.
3. Anklicken der Zelle in Spalte Feldname, die zur Zeile des relevanten Datenfeldes gehört.
4. Dort wird automatisch der Feldname des gewählten Wertes eingetragen.

Filter

Die zu importierenden Objekte werden automatisch über das gewählte Filterkriterium im Feld Kennung gewählt.

Folgende vordefinierte Filtermöglichkeiten im Feld Kennung sind aus der Auswahlliste wählbar:

Das Filterkriterium wird in das Feld Kennung eingegeben. Es werden ausschließlich die Objekte importiert, die dem Filterkriterium genügen:

Das Filterkriterium ist nur dann gültig, wenn die zugehörige Datenspalte angegeben ist. Der Verweis auf die Datenspalte hängt vom gewählten Datentyp ab:

ASCII-Fest

• Start - Erste Zeilenspalte der Kennung.

• Länge - Zeilenspalten der Kennung.

ASCII-Variabel

• Feld - Spaltennummer der zu importierenden Objekte.

• Trennzeichen - Zeichen des in der ASCII-Datei genutzten Spaltenseparators (';' .. ',' .. '/').

• Textkennzeichen - In der ASCII-Datei genutztes Texterkennungszeichen (meist ')

Shape / GDAL

• Feldname - Der Feldname bezeichnet die gesuchte Datenspalte in der Shapedatei.

Vorschau

Über den im Feld <Zeilenzahl> angegebenen Wert wird festgelegt, wie viele Zeilen der Importdatei maximal im Arbeitsbereich Vorschau visualisiert werden.

Import

Wahl der aus der Importdatei zu importierenden Zeilen. Dadurch können bestimmte Zeilen und / oder Kopfzeilen der Datei vom Import ausgeschlossen werden. Gemäß wichtige Hinweise gilt die erste Dateizeile immer als Zeile 0. Die zu importierenden Zeilen werden wie folgt definiert:

• Von Zeile - Erste zu importierende Zeile

• Bis Zeile - Letzte zu importierende Zeile. Bei Angabe von '-1' wird automatisch bis zur letzten Zeile importiert.

Textkodierung

Zur einwandfreien Übernahme von Umlauten und Sonderzeichen muss ein Kodierungstyp gesetzt sein. Zusätzlich kann die Bezeichnung einer Codepage angegeben werden.

Im diesem Arbeitsbereich werden die inhaltlichen Eigenschaften der Importdatei festgelegt. Alle zugewiesenen Werte können im Arbeitsbereich kontrolliert und editiert werden. Abhängig von der gewählten Dateikonfiguration werden ausschließlich die Spalten der relevanten Eigenschaften angezeigt.

Werkzeugleiste

In die Werkzeugleiste sind Funktionen zum Zeilen Einfügen und Löschen integriert.

Importspalten einfügen

Per Klick auf die Schaltfläche wird der Ausdruckseditor geöffnet, um eine neue Importspalte aus den Datenbankspalten (= Datenfelder) zu wählen. Ist die hinzuzufügende Importspalte ein Unique-Key-Datenfeld, wird deren Referenzspalte automatisch mit hinzugefügt. Wird z.B. eine Strasse.Name als Importspalte hinzugefügt wird, wird die Referenzspalte Strasse.Gemeinde (algeId) automatisch zugefügt. Die Importspalte wird als neue Zeile nach der letzten Zeile des Arbeitsbereiches angefügt.

Importspalte editieren

Ein Editorfenster zeigt die Eigenschaft der Importspalte (Designation/Opath/Datentyp/Standardwert..). Die Funktion kann ebenfalls per Rechtsklick auf eine Spalte aus dem Kontextmenü aufgerufen werden. Sobald ein neuer Opath-Ausdruck ausgewählt ist, wird der entsprechende Datentyp und ggf. Standardwert automatisch ermittelt.

Selektierte Importspalte löschen

Die im Arbeitsbereich <Inhaltskonfiguration> gewählte Zeile (= Importspalte der Datenbank) wird gelöscht. Vor dem Löschen erfolgt eine Sicherheitsmeldung.  

Die Funktion kann ebenfalls per Rechtsklick auf eine Spalte aus dem Kontextmenü aufgerufen werden.

Referenzspalten ein-/ ausblenden

Über die Schaltfläche Referenzspalten ein-/ ausblenden werden die Referenzen auf verknüpfte Tabellen (z.B. GemeindeId)  gezeigt oder verborgen. Die Referenzspalten werden eingerückt unterhalb der zugeordneten Hauptdatenspalte angezeigt.

Referenzspalte hinzufügen

Für jede Importspalte können weitere Referenzspalten über ein Formular eingefügt werden. Diese Funktion ist erst aktiviert, wenn Referenzspalten eingeblendet sind. Die Funktion kann ebenfalls per Rechtsklick auf eine Spalte aus dem Kontextmenü aufgerufen werden.

Anzeige des aktuellen Konfigurationstyps

Ein grafisches Icon zeigt den Daten-Typ der aktuellen ASCII-Import-Konfiguration. Es gibt insgesamt vier Typen:

Daten- / Geometrie-Optionen

Die Konfigurationsoptionen für die Geometrien und Daten können über einen Editor geändert und bearbeitet werden. Vorher war dies nur über das Bearbeiten der XML-Datei möglich.

Typ

	Objekttyp	AbwHaltung
	Geometrietyp	POLYLINIE

Punktkennung der Polylinie

	Kennung Anfang	DMPZ; SMP
	Kennung Mitte	LHP
	Kennung Ende	SMPZ

Verhalten

Zusammenfügen (MergeMode)

Kreisbogen

	Kreisbogen importieren
	CentralAngle / Bulge	CentralAngle          Bulge

Drehung

Drehung importieren

OK

Abbrechen

Objekttyp ändern

Eine ASCII-Konfiguration besitzt immer einen eindeutigen Objekttyp, dieser kann über die Auswahlliste Objekttyp geändert werden. Mit einem Klick auf die Schaltfläche wird ein Auswahlfenster zur Auswahl des Fachbereiche und des Objekttyps geöffnet. Eine anschließende Sicherheitsabfrage vor der Ausführung soll vor einem unbeabsichtigten Ändern des Objekttyps warnen.

Geometrietyp ändern

Der zu importierende Geometrie-Typ der aktuellen Konfiguration lässt sich über die Auswahlliste ändern. Je nach gewählten Geometrie-Typ werden die passenden Geometrie-Parameter angezeigt.

Nach der Bestätigung des Editor-Fensters werden die Geometrie-Importspalten (in der Tabelle blau markiert) entsprechend angepasst.

Soll beispielsweise die Drehung importiert werden, so gibt es dann eine zusätzliche Importspalte 'geoRotation'. Wurde der Geometrietyp "Keine Geometrie" gewählt, werden die kompletten Geometrie-Spalten aus der Konfiguration entfernt.

Je nach Geometrie-Option werden die Geometrie-Importspalten in der Tabelle angepasst.

Die folgende Übersicht zeigt die verwendeten Eigenschaften in Abhängigkeit von der eingestellten Datei-Konfiguration, die sich in der ersten Spalte befindet:

Konfiguration	Bez.	Start	Länge	Feldpos.	Feldname	Import	Standardwert	Stwv.	Pflicht	Kontrolle	Ersetzungsdaten
ASCII-Fest	X	X	X			X	X	X	X	X	X
ASCII-Variabel	X			X		X	X	X	X	X	X
Shape	X				X	X	X	X	X	X	X

Bezeichnung (Bez.)

Bezeichnung des Datenfeldes.

Start

Erste Zeilenspalte des Wertes.

Länge

Die Länge ergibt sich, indem von der letzten Zeilenspalte des Wertes die erste Zeilenspalte abgezogen wird.

Feldposition (Feldpos.)

Laufende Nummer der per Trennzeichen (beispielsweise ';') separierten Spalte. Die Spalte vor dem ersten Trennzeichen muss die Spaltennummer 0 besitzen (siehe wichtige Hinweise).

Feldname

Bezeichnung des Shape-Feldes.

Import

Bei gesetztem Häkchen wird das Feld importiert. Alle Spalten, die nicht importiert werden sollen, dürfen in der zugehörigen Zeile kein Häkchen besitzen!

Standardwert

Für den Standardwert können neben der manuellen Eingabe auch vordefinierte Werte aus einer Auswahlliste gewählt werden (z.B. Gemeindevariante, Importdateiname/Pfad, aktuelles Datum, Zeilennummer etc.).

Zusammengesetzte Feld-Expressions

Ist die Import-Quelle eine Shape- oder GDAL-Datei, können im defaultValue-Attribut auch Werte aus mehreren Spalten ausgelesen, kombiniert und dynamisch zusammensetzt werden, die dann als ein Wert importiert werden. Dazu muss der Ausdruck mit \\ beginnen und die Felder durch geschweifte Klammern und Prozentzeichen umschlossen sein. Die Felder sind wiederrum die OPath-Attribute aus anderen <Destinations> derselben Datei.

Beispiel:

\\{%Feldname1%}_{%Feldname2%}

\\{%geoX%}-{%geoY%}-{%geoZ%}

 

Wenn für ein Feld der Importdatei ein Standardwert (beispielsweise KS) definiert ist, wird das Feld immer dann mit dem Standardwert importiert, wenn das gewählte Standardwert-Verhalten zutrifft. Mit dem Standardwert sind folgende Funktionen verbunden:

• Nach dem Eintragen eines Standardwertes wird die Auswahlliste der Spalte Standardwert-Verhalten sofort angezeigt.

• Nach dem Löschen eines Standardwertes wird die Auswahlliste der Spalte Standardwert-Verhalten sofort verborgen.

Standardwert-Verhalten (Stwv.)

Über das Standardwert-Verhalten wird definiert, ob vorhandene Importdaten durch den Standardwert ersetzt werden oder nicht. Die erforderliche Vorgabe wird per Auswahlliste gesetzt:

• Immer verwenden --> Der Standardwert wird immer importiert.

• Nur bei leeren Importdaten --> Vorhandene Importdaten werden immer importiert.

Standardmäßig ist der Eintrag <Immer verwenden> gewählt. Dies betrifft:

• Jeden neu editierten Standardwert.

• Vordefinierte Vorlagen, die Standardwerte beinhalten.

Das Standardwert-Verhalten kann nur durch das Löschen des Standardwertes deaktiviert werden.

Pflicht

Durch das Setzen eines Häkchens wird die Importspalte als Pflichtspalte bzw. eindeutig definiert. Importdateien mit mindestens einer leeren Pflichtspalte können nicht importiert werden. Alle Zeilen mit Pflichtspalte sind im Arbeitsbereich automatisch rot hinterlegt. Über die Funktion Importspalte editieren kann das Pflichtfeld /Eindeutigkeit gesetzt werden.

Kontrolle

In dieser Spalte werden die im Arbeitsbereich Vorschau gewählten Werte ausgegeben.

Ersetzungsdaten

Während des Importes können tabellarische Ersetzungen durchgeführt werden. Die jeweilige Definition der zu ersetzenden Werte wird in die Spalte Ersetzungsdaten eingetragen. Die Eingabe erfolgt entweder manuell oder über den Ersetzungseditor.

Ersetzungseditor

Mit Hilfe des Ersetzungseditors werden die Ersetzungsdaten über eine tabellarische Eingabe automatisch in die richtige Syntax gebracht.  

Einfach-Ersetzung

Suchwert und Ersetzung werden durch Komma voneinander separiert. Im folgenden Beispiel werden alle Werte SW durch KS ersetzt:

• SW,KS

Mehrfach-Ersetzung

Die Paare aus Suchwert und Ersetzung werden durch Semikolon voneinander separiert. Im folgenden Beispiel werden die Ersetzungen SW --> KS, RW --> KR, MW --> KM durchgeführt:

• SW,KS;RW,KR;MW,KM

Das Protokoll fasst die wichtigsten Ereignisse des Importvorgangs zusammen und gibt somit Schlüsseldaten zum Erfolg / Misserfolg des Imports aus. Unterhalb des Protokolls wird während des Importvorgangs ein Fortschrittsbalken angezeigt.

Die im Folgenden kurz erläuterten Schlüsseldaten werden sequentiell in das Protokoll geschrieben.

Importdatei

Angabe des vollständigen Pfades und der importierten ASCII oder Shape Datei.

Datenmenge

Anzahl der importierten Objekte und der berücksichtigten Dateizeilen.

Schreibvorgang

Nach dem erfolgreichem Auslesen werden die Daten in die BaSYS Datenbank geschrieben. Zunächst werden die Stammdaten, danach die Geometriedaten eingelesen. Importfehler werden an den relevanten Positionen des Protokolls dokumentiert.

Import beendet

Mit der Meldung Import beendet ist der Importvorgang abgeschlossen. Falls keine Importfehler protokolliert sind, wurde der Import erfolgreich durchgeführt. Die importierten Daten sollten unbedingt in einer BaSYS-Applikation auf ihre fachliche Richtigkeit geprüft werden.

Vorschau

In der Vorschau wird der Inhalt der zu importierenden ASCII oder Shape Datei visualisiert. Durch markieren der Datenabschnitte und Zuweisung im Arbeitsbereich Inhaltskonfiguration werden die Datenwerte den Tabellenspalten zugeordnet.

Vorschau öffnen

Die Vorschau wird über die gleichnamige Schaltfläche der Menüleiste für die ASCII oder Shape Datei geöffnet.

Bereiche markieren

Um einen Bereich der Vorschau in die Inhaltskonfiguration zu übernehmen, sind folgende Arbeitsschritte erforderlich:

1. Markieren des relevanten Datenbereiches mit der gedrückten linken Maustaste im Vorschaubereich.

2. Der markierte Datenbereich erscheint blau hinterlegt.

3. Im Arbeitsbereich Inhaltskonfiguration wird der markierte Bereich der relevanten Datenspalte im Datenfeld Feldposition bzw. Start per Klick auf die Schaltfläche zugewiesen.

4. Im Datenfeld Kontrolle wird die konfigurierten Datenfeldposition bzw. Datenwerte angezeigt.