Reality Network editor
Editovat síť reality je možné přes typ akceptoru Reality Network. V první části si ho blíže popíšeme. O editaci sítě reality se dozvíte více v souvislosti s konfigurací tohoto akceptoru.
Cílem tohoto akceptoru je vytvořit síť reality a udržovat ji aktuální napojením na externí zdroje dat.
Externími zroji dat mohou být buď CSV soubory nebo databáze (např. uživatelů, počítačů, místností, atd.)
Díky tomuto akceptoru můžete externí data převést na aktiva, která poté propojíte pomocí hran v síť reality.
Velmi názorně tak uvidíte provázanost aktiv z různých externích zdrojů mezi sebou.
Akceptor má 3 základní funkce:
- napojení se na externí datové zdroje,
- transformace dat z externích zdrojů na aktiva,
- propojování těchto dat.
Akceptor pracuje jako jeden celek, tzn. že činnosti nad datovými zdroji nejsou oddělené. Akceptor právě naopak umožňuje datové zdroje spojovat do jednoho celku - sítě reality.
Detail každého akceptoru slouží nejen jako výpis těch nejpodrobnějších informací, ale zahrnuje také funkční tlačítka, prostřednictvím kterých můžete s akceptorem dále nakládat.
Kromě běžných funkcí nabízí detail tohoto akceptoru i možnost
vynucení okamžité činnosti akceptoru tlačítkem Execute. Akceptor
se sám spouští periodicky podle jeho nastavení. Tímto tlačítkem lze
běh vynutit kdykoli potřebujete, např. když víte, že došlo ke
změně zdrojových dat a chce je do sítě reality promítnout co
nejdříve.
Atributy akceptoru jsou shodné s ostatními akceptory. Navíc zde najdete proklik do sítě reality pomocí odkazu Go to network browser.
Oproti jiným akceptorům zde naleznete sekci Execution details, kde najdete dvě další podsekce, které souvisí s činností akceptoru: Summary a Raw Logs.
-
V části Summary přehledně vidíte, zda správně funguje průběh akceptoru. Najít můžete tyto kategorie:
- Database configurations / konfigurace datových zdrojů
- Assets / aktiva
- Edges / hrany
- Run results / výsledky běhu akceptoru
- Run validation / validace běhu akceptoru
- Send to kafka / posílání do Kafky
Barevný puntík vlevo značí stav fungování jednotlivých kategorií. Na ilustrativním obrázku můžete vidět téměř u všech kategorií zelený puntík. Pouze u Run validation vidíte žlutou barvu se 2 varování, že v běhu nastal dvakrát nějaký potenciální problém.
U jednotlivých kategorií vidíte rozpis entit, které k ní náleží a počet těchto entit.
-
V části Raw Logs je zobrazení původních, nezpracovaných logů pro daný Run. Vidíte zde velmi podrobně a přesně chronologicky seřazené události, které probíhaly v souvislosti s akceptorem.
Do kompletního výpisu logů se dostanete přes odkaz Go to acceptor logs, kde už uvidíte logy vyfiltrované pro daný akceptor. Nazdíl od výpisu logů v Raw Logs se však jedná o výpis logů všech runů.
Bez tohoto odkazu byste logy našli po záložkou LOGS v horní liště. Pokud se budete k logům dostávat touto cestou, nezapomeňte si v levém panelu vyfiltrovat logy pro požadovaný akceptor.
Při konfiguraci Reality Network akceptoru vytváříte a editujete síť reality. Ke konfiguraci se dostanete prostřednictvím tlačítkem Change configuration, a to buď z tabulky s přehledem akceptorů pod záložkou ACCEPTORS, nebo z detailu akceptoru.
Reality Network akceptor je považován za jednu činnost(tzv. Job), i když má více funkcí
Akceptor pracuje jako jeden celek, tzn. že činnosti nad datovými zdroji nejsou oddělené. Pro nastavení konfigurace tohoto typu akceptoru je však potřeba projít těmito 4 sekcemi (Global, Data Sources, Assets a Edges).
V části Global nastavujete:
- Kafka- připojení k uložišti Kafka,
- Topic - topic, ke kterému se akceptor váže,
- Schedule - sem zadáváte, jak často se má akceptor spouštět v syntaxi Cron expression https://en.wikipedia.org/wiki/Cron#Cron_expression.
V části Data Source definujete napojení na datové zdroje, které chcete k tvorbě sítě reality použít.
Vybrat si můžete z několika různých typů zdrojů.
Zdroj volíte pod roletkou vpravo.
Každou konfiguraci můžete nechat zkontrolovat tlačítkem Check configuration.
Nejjednoduším datovým vstupem, avšak současně nejméně mocným je soubor typu CSV. Vložíte-li do systému data prostřednictvím této tabulky, akceptor z nich sice vytvoří aktiva pro síť reality, ale nebude je moci propojovat tak, jako by tomu bylo, kdyby pracoval s databázemi.
Po zadání typu CSV Simple, nahrajete soubor typu CSV.
Dále uvedete v poli Quote character symbol pro escapování hodnot. Výchozím symbolem jsou dvojité uvozovky.
Do pole Delimiter uveďte oddělující symbol. Výchozím symbolem je čárka.
CSV Simple je vhodné využít, pokud chci doplnit data nad autoritativní, primární data.
Se soubory, které nahrajete, můžete dále nakládat. Importovat je, exportovat, uložit je a přímo v editoru upravovat.
CSV Dataset je založen na souboru CSV, ale funguje jinak. Každý soubor CSV se nahraje do databáze jako tabulka a pak s nimi lze zacházet jako s databází. CSV Dataset nastavujete následujícím způsobem.
Po zadání typu CSV Dataset nahrajete soubor typu CSV.
Opět zadáte do pole Quote character znak pro citace. Výchozím symbolem jsou uvozovky.
Do pole Delimiter uveďte oddělující symbol. Výchozím symbolem je čárka.
V typu CSV dataset je nutné vyplnit sloupce do výsledné tabulky dat. Ikonkou šipek předvyplníte sloupce podle zdrojové tabulky. Tato funkce velmi pomůže při větším množství dat.
-
Do pole Name zadáváte název sloupce z původní, zdrojové tabulky.
-
Do pole Alias jméno, které bude uvedeno ve výsledné tabulce dat.
-
Do pole Type pak typ hodnoty. Vybírat lze mezi text, numeric, integer, real a blob.
Znaménkem plus můžete definovat další sloupec.
Zdrojů můžete přidávat v tomto případě více, opět přes znaménko plus.
Tabulek si můžete nakonfigurovat víc, s každou pracujete jako s databází.
K datovému zdroji se můžete dostat přes LDAP.
Nutné je zadat LDAP hosta do pole Host.
Dále zadáváte LDAP verzi. Pokud si nejste jisti, zadejte tu nejnovější.
Volíte typ autentifikace, zda Simple (pro přihlášení se pomocí hesla) nebo Anonymous (pro anonymní přístup bez přihlášení).
V Bind DN zadejte identifikaci uživatele v LDAP a v poli Password heslo pro tohoto uživatele.
- Pro připojení k databázi tohoto typu, zadejte v poli Type MS SQL.
- Dále je potřeba zadat do pole Hostname hostname databáze, ke které se má akceptor připojit.
- Do pole Database zadejte název databáze.
- Do pole User zadejte přihlašovací jméno uživatele, kterým se do databáze připojujete.
- Do pole Password pak heslo pro toto přihlašovací jméno.
Tlačítko View Database Structure vám umožní nahlédnout do databáze, kterou přidáváte. Uvidíte zde její strukturu, se kterou můžete pracovat později v sekci Assets při kopírování SQL dotazu.
- Pro připojení k databázi tohoto typu, zadejte v poli Type MySQL.
- Dále je potřeba zadat do pole Hostname hostname databáze, ke které se má akceptor připojit.
- Do pole Database zadejte název databáze.
- Do pole User zadejte přihlašovací jméno uživatele, kterým se do databáze připojujete.
- Do pole Password pak heslo pro toto přihlašovací jméno.
- Pro připojení k databázi tohoto typu, zadejte v poli Type Oracle DB.
- Dále je potřeba zadat do pole DSN databáze.
- Do pole User zadejte přihlašovací jméno uživatele, kterým se do databáze připojujete.
- Do pole Password pak heslo pro toto přihlašovací jméno.
Tlačítko View Database Structurevám umožní nahlídnout do databáze, kterou přidáváte. Uvidíte strukturu jejich modulů, můžete tak později v sekci Asset z databáze jen výsek dat.
- Pro připojení k databázi tohoto typu, zadejte v poli Type PostgreSQL.
- Dále je potřeba zadat do pole Hostname hostname databáze, ke které se má akceptor připojit.
- Do pole Port napište číslo portu, přes který se do databáze připojujete.
- Do pole Database zadejte název databáze.
- Do pole User zadejte přihlašovací jméno uživatele, kterým se do databáze připojujete.
- Do pole Password pak heslo pro toto přihlašovací jméno.
Tlačítko View Database Structurevám umožní nahlídnout do databáze, kterou přidáváte jako zdroj.
V tomto případě se jedná o databázi, která pracuje nad jedním souborem. S tímto souborem se pak pracuje jako s databází. Soubor typu .sqlite vložíte kliknutím na link Select file.
Nahrané soubory je možné smazat.
Další sekcí, na kterou při nastavování konfigurace narazíte, je část zvaná Assets pro nastavení typů aktiv v síti reality (bublin).
Postup je následující:
-
Ikonkou “+” nad seznamem nebo pod seznamem doposud vytvořených typů aktiv přidáte nový Typ aktiva (bublinu).
-
Zobrazí se vám nový řádek nazvaný prozatím Type /assets/new s funkčním tlačítkem
+Add definition, kterým můžete přidat definici pro tento typ aktiva.Každá definice plní data z jednoho zdroje jednou transformací. Definic může být více.
-
Předepsaný název typu aktiva upravte podle potřeby, stejně tak můžete upravit název definice.
-
Pro novou definici vyberte zdroj dat pod roletkou vpravo. Zobrazí se vám pod ní zdroje přidané do systému v předchozí sekci.
Po zadání zdroje se vám otevře další možnost výběru dat:
-
Při výběru CSV souboru můžete data omezit výběrem sloupců v CSV columns. Zde posuvníkem zadáte, zda chcete do zdroje dat zahrnout všechny sloupce z tabulky CSV nebo pouze některé. Zadání sloupců v tomto případě provádíte opět přes ikonku + a výběrem konkrétního sloupce pod roletkou.
-
V případě, že jste vybrali zdroj typu LDAP, můžete data omezit LDAP dotazem.
-
U datových zdrojů, které používají jazyk SQL k dotazování se na data nebo k získávání dat je nutné zadat dotaz v tomto jazyce. Slouží k tomu pole SQL query.
U typů aktiv s těmito zdroji najdete tlačítko
View Database Structure, po kliknutí na něj vidíte strukturu databáze. U každé tabulky v náhledu do databáze najdete tlačítkoCopy SQL. Výsledkem SQL dotazu pod tlačítka u tabulky jsou všechna data v tabulce. Tento dotaz může být dobrým výchozím bodem pro napsání vlastního dotazu.
SQL dotaz můžete napsat sami, nebo ho zkopírovat z náhledu databáze.
Tento dotaz pak vložíte do pole SQL query.
Pokud by se jednalo o složitější dotaz, lze jej vložit v souboru. K možnosti vložit soubor se dostanete přes ikonku protichůdných šipek hned vedle názvu pole SQL query.
Kliknutím na tlačítko
Get top 500 resultszobrazíte prvních 500 výsledků dotazu. Tabulka výsledků lze otevřít i na samostatné stránce pomocí ikonky šipek směřujících ze středu.Při načítání dat z více zdrojů můžete načíst některá aktiva vícekrát. Pokud jsou aktiva duplikovaná, spojí se v jedno. Komplikovanější situace může nastat v případě, že se zduplikuje aktivum, jež má některé z hodnot odlišné. Tyto rozdílné hodnoty systém nespojí, převezme hodnotu z definice, která je v seznamu definic nejvýše.
-
-
V poli ID columns vyberte sloupec ze zdrojové tabulky nebo databáze, z kterého se vytvoří ID aktiva.
Identifikace aktiva může být vytvořena z jednoho nebo více sloupců. Nový sloupec vždy přidáváte přes ikonku “+”.
Např. Zadáváte ID pro místnost. Toto ID se skládá z označení budovy, typu místnosti a názvu místnosti.
Zadání pro takovou definici může vypadat následovně:
Příklady konkrétních výstupů nad daty:
- A_kancelar_101. Uživatel z interního systému z tohoto ID jednoduše zjistí, že se jedná o kancelář, která se nachází v 1. dveřích, v 1. patře budovy A.
- B_hala_205. Toto ID může značit halu, která se nachází v 5. dveřích, ve 2. patře budovy B, apod.
Zadané sloupce můžete mazat prostřednictvím ikonky odpadkového koše.
-
V řádku Attributes colums vyberte posuvníkem možnost All (posunutím vpravo), pokud chcete, aby do dat pro definici aktiva vstupovaly všechny hodnoty. V opačném případě vyberte konkrétní sloupce, z kterých chcete hodnoty pro atributy čerpat. Sloupce zadáváte přes ikonku “+” a výběrem pod roletkou.
V případě, že vám nestačí definovat ID a hodnoty atributů prostřednictvím výběru sloupců, existují pokročilejší nástroje pro bližší identifikaci aktiva.
K těmto nástrojům se dostanete přes ikonku šipek vedle ID columns. Přepne vás na možnost UNIX Script, kdy můžete definovat aktivum prostřednictvím skriptu. Skriptem lze provést libovolnou transformaci nad daty a zformovat tak celé aktivum. Vložte jej jako soubor kliknutím na odkaz Select file.
Dalším nástrojem je Unix Command, kdy zadáváte deklarativní definici ID prostřednictvím příkazu. Příkaz zadejte do prázdného pole vpravo.
Právě k tomuto účelu nadřazení nebo podřazení definic slouží šipky nahoru a dolů. (7)
Šipkami u názvu typu můžete nadřazovat nebo podřazovat celý typ aktiva. (8)
Při definování typů aktiv (bublin) definujete v sekci Edges vztahy mezi nimi.
-
Nový typ hrany nebo-li nový typ vztahu přidáváte přes znaménko “+” nad seznamem nebo pod seznamem doposud vytvořených typů hran.
-
Zobrazí se vám nový řádek nazvaný prozatím Type new edge type s funkčním tlačítkem
+Add definition, kterým můžete přidat definici pro tuto hranu.Definic může být více.
- Předepsaný typ hrany upravte podle potřeby, stejně tak můžete upravit název definice. Ten nemá významnou funkci pro akceptor. Je vhodné si jej upravit pro pozdější identifikaci definice, například při jejím vyhledáváním v logu.
- Pro novou definici vyberte zdroj dat pod roletkou vpravo. Zobrazí se vám pod ní zdroje přidané do systému v předchozí sekci.
- Zadejte typy aktiv, mezi kterými má tento vztah být vytvořen. Definování typů aktiv zde by mělo odpovídat definování typu aktiva v sekci Assets.
V případě, že je ID typu aktiva definováno prostřednictvím více sloupců, pak je potřeba tímto způsobem zadat definici i zde.
Nastavenu konfiguraci nezapomeňte uložit tlačítkem Save configuration. Konfigurace se uloží, čímž se akceptor rovnou aktualizuje a spustí.Pokud chcete akceptor spustit kdykoliv později, např. pokud byla provedena nějaká změna, kterou chcete v síti reality vidět okamžitě, můžete aktualizaci akceptoru vynutit tlačítkem Execute, viz Detail akceptoru na této stránce.
Vaši nově uloženou konfiguraci si zkontrolujte v síti reality. V horní liště aplikace vpravo kliknete na 3 tečky, rozbalí se vám nabídka dalších záložek. Vyberete UI, v horní liště se vám zobrazí nové záložky.
Nově vytvořenou bublinu s jejími vztahy můžete zkontrolovat pod záložkou NETWORK. Nový typ aktiva bude mít náhodnou barvu a může se jmenovat obecně ASSETS, i když jste ho v konfiguraci akceptoru Reality Network pojmenovali jinak.
Chcete-li nastavit vlastní barvu a upravit název pro typ aktiva, klikněte na záložku SETTINGS v horní liště. V levém panelu vyberte možnost Types, po výběru typu aktiva můžete změnit jeho barvu, vybrat pro něj ikonu i editovat jeho název.
Více v kapitole Editor typů.