Přehled topiců
Jako topicy označujeme zpracované zprávy Akceptory nebo Normalizéry v procesu Altworxu. Tento proces byl nastíněn v kapitole Komponenty .
Zde si jej jen velmi stručně shrneme. Na počátku procesu stojí malé nezávislé programy, které jsou nakonfigurovány tak, aby získávaly data za specifickým účelem, tzv. Akceptory. Tyto programy získaná data neinterpretují, neformátují ani nenormalizují, snaží se je předat v co nejpůvodnější podobě. Pro svoji nezpracovanou podobu v této fázi procesu jsou zprávy s daty označovány jako RAW topicy. Data pak Akceptory přenáší do uložiště Kafka.
Z uložiště Kafka přechází topicy do Normalizéru, který již zprávy převede do strukturovaného formátu. Ke zprávám jsou přidávána metadata a standardní obálka. Zprávy jsou seřazeny podle externího času. Normalizér zpracované RAW topicy opět ukládá do uložiště Kafka. Tyto topicy označujeme jako Runtime topicy.
Přehled všech topiců najdete pod záložkou TOPICS v horní liště aplikace.
V levém panelu vidíte možnost vyhledávání topiců, jejich seznam a funkční ikony. Pokud si v levém panelu zvolíte některý z topiců, otevře se vám v sousedním hlavním panelu. Zde jsou ovládací prvky pro nastavení zobrazení zpráv, včetně možnosti omezení jejich množiny filtrováním, níže pak výpis zpráv topiců.
V levém panelu vpravo nahoře vidíte funkční ikony. Ikona + slouží k přidání nového topicu. Ikona « je určena ke skrytí levého panelu.
Mezi topicy můžete vyfiltrovat ten, který vás zajímá, pomocí fulltextového vyhledávání. S každým zadaným znakem se zmenšuje množina nabízených topiců v našeptávání. Filtr pozitivně reaguje na záměnu malých a velkých písmen. Požadovaný výsledek ale nenašeptá, pokud zaměníte diakritiku.
Pod filtrem následuje seznam topiců. Každý z topiců je označen barevnými štítky. Ty vycházejí z procesu probíhajícím v aplikaci Altworx a odlišují od sebe druhy topiců navzájem.
- RAW (modrý štítek) - jedná se o RAW topicy, které jsou vytvářeny Akceptory,
- RT (zelený štítek) - je označením pro Runtime topicy, které jsou již zpracovány Normalizérem.
Kromě těchto topiců, které jsou součástí probíhajícího zpracování dat, existují i topicy, které sice jsou součástí normalizace, ale nejsou dále zpracovávány scénáři. Vzhledem ke scénářům se jedná spíše o chybová výstupní data. Uživatel díky nim ví, kdy a kde v datech nastala jaká chyba. V prohlížeči si můžete tyto chyby v klidu prohlédnout a adekvátně na ně reagovat. Těmito chybovými výstupy jsou Runtime topicy typu JITTER nebo ERROR.
-
RT/ERROR (červený štítek) - v tomto případě se jedná o zprávy, u nichž se nečekaně změnil formát či obsah zprávy. Každá zpráva by měla mít nějaký formát (JSON, XML nebo jiný) a nějakou strukturu (např. že obsahuje sadu klíčů), aby se dala převézt do strukturované podoby. Pokud přijde zpráva, jež nemá potřebný formát, vnitřní strukturu, nebo nevyhovuje dalším podmínkám normalizéru, není možné ji normalizovat. Taková zpráva je přesměrována do RT/ERROR topicu.
-
RT/JITTER (žlutý štítek) - jsou Runtime topicy, jež obsahují zprávy, které nelze správně zařadit do výsledného Runtime topicu. Tyto zprávy mají externí čas příliš vzdálený od externího času ostatních zpráv. Pokud bychom se je snažili zařadit do Runtime topicu, mohly by se zařadit mezi již zpracované zprávy. Proces zpracování je ukončen s určitými daty na výstupu. Opožděně dodané zprávy by tento již dokončený proces narušily. Normalizér má stanovený čas, do kterého by měl maximálně na zprávy čekat, aby nedošlo k celkovému zpoždění zpracování dat. Zprávy s velmi odlišným externím časem by se mohly stát předpokladem pro možné komplikace jak ve zpracování zpráv minulých, tak i budoucích, proto zůstávají mimo další zpracování.
Po kliknutí na ikonku + v levém panelu můžete vytvořit nový topic. Ve formuláři zadejte do pole Name název topicu, vyberte typ časového razítka pod roletkou pole Timestamp type. Výběrem typu časového razítka zprávy určíte to, prostřednictvím kterého času bude zpráva zapisována do topicu.
Na výběr máte ze dvou možností:
-
LogAppendTime - časem zprávy bude vždy čas, kdy byla zpráva přijata do uložiště Kafka. Tento typ volte, pokud není v instrukcích k Akceptorům jednoznačně doporučeno použít druhou možnost, nebo si nejste výběrem typu časového razítka jistí.
-
CreateTime - časem zprávy je ve výchozím stavu opět čas přijetí zprávy Kafkou, avšak s tím rozdílem, že zde může ten, kdo zprávu do topicu ukládá, čas zprávy explicitně nastavit. Tento způsob může být vhodný pro některé typy Akceptorů. V instrukcích ke konkrétním Akceptorům se dozvíte pro které.
Po zadání názvu a výběru typu časového razítka, potvrďte vytvoření nového topicu tlačítkem Create. Topic vytvořený tímto způsobem bude prázdný. Ve výchozím stavu nebude obsahovat žádné zprávy.
Po zvolení konkrétního topicu se vám otevře jeho detail. Detail má dva různé moduly, mezi kterými lze přepínat. Modul messages a modul diagnostics.
- model
messagesslouží pro výpis zpráv náležící k topicu, - model
diagnosticsna výpis statistik zpráv za minulá období.
Ve výchozím zobrazení je nastaven modul messages.
V horní liště hlavního panelu se můžete setkat s těmito ovládacími prvky. Čísla kopírují číselné označení v obrázku.
-
přepínání modulů
diagnosticsamessages, -
ze všech zobrazených zpráv můžete pomocí funkce
Jump tonajít pouze zprávy z vybraného časového období, které určíte zadáním data a času zprávy, -
konkrétní zprávu můžete hledat i přes její časové razítko,
-
pokud znáte obsah zprávy, můžete ji vyhledat pomocí fulltextového vyhledávání,
-
tlačítko
Show newer messagesvám ukáže novější zprávy než ty, které jsou právě zobrazeny, tlačítkoShow older messages, umístěné pod zprávami, naopak ukáže stránku starších zpráv než jsou ty, které jsou právě zobrazeny, -
tlačítkem
latest messagesrychle zobrazíte ta nejnovější data, tlačítkooldest messagesvám pro změnu pomůže během okamžiku přejít na nejstarší data topicu, -
vpravo nahoře najdete zelené tlačítko
Manage topic, zde se vám otevře editor konkrétního topicu, lze v něm smazat topic.
V detailu topicu je vpravo nahoře umístěno tlačítko Delete, které slouží ke smazání topicu. Toto tlačítko však není vždy aktivní, pak ho vidíte zesvětlené.
Topic nelze smazat tlačítkem Delete pokud je právě zpracováván, u RAW topiců je tím myšleno zpracovávání Normalizérem, u Runtime topiců pak Normalizérem nebo Runem.
Runtime topicy je možné po smazání ještě zrekonstruovat, u RAW topiců je tento proces nevratný, proto je zde výrazné upozornění.
Pod ovládacím panelem se nachází 5 nejaktuálnějších zpráv topicu, nebo zde vidíte zprávy, které jste vybrali pro zobrazení ve filtrování. Zprávy, které se vám vypíší, jsou označeny jednoznačným identifikačním číslem s hashtagem na začátku, tzv. offsetem. Dále je zde uveden čas zprávy. U RAW topicu je to čas přijetí zprávy do uložiště Kafka nebo čas, který byl zprávě zadán ručně, u Runtime topiců se jedná o externí čas.
Pod časem zprávy je vypsáno její časové razítko.
Obsah zprávy může být libovolný. Pokud je jejím formátem JSON nebo XML, je tento obsah automaticky naformátován. Pokud je v jiném formátu, pak zůstává v původní podobě bez dalšího formátování.
Na tento modul je nutné přepnout z výchozího modulu messages tlačítkem diagnostics vpravo nahoře.
Místo funkčních tlačítek v horním panelu tentokrát vidíte výpis statistik daného topicu.
Pod panelem se nachází tabulka s agregací, která ukazuje distribuci času posledních 10 000 zpráv oproti aktuálnímu času. Tabulka uvádí i přepočtený počet zpráv za hodinu pro konkrétní časové úseky v minulosti (5 min, 15 min, 1 h, 3 h, 6 h, 12 h, 1 den, 3 dny, 1 týden a 1 měsíc).
Kliknutím na offset (ID) zprávy zobrazíte její detail. Vlevo najdete informace o topicu, vpravo informace o samotné zprávě.
Tlačítko See the message in topics vás zavede na výpis zpráv v topicu. Na prvním místě bude zpráva, kterou jste si právě prohlíželi.
Pokud se jedná o zprávy z Runtime topicu, dohledáte v informacích o zprávě vravo i její typ. Pomocí odkazu Origin RAW message se můžete dostat i na událost, z které daná zpráva vznikla.
