Informace o normalizérech
Pod záložkou NORMALIZER najdete tři položky:
- PIPELINES - zde naleznete tabulku s přehledem jednotlivých pipelines a jejich stavů,
- LOADERS - poskytuje výčet loaders, jednorázových procesů, které se spouští na vyžádání, např. pro zálohování topiců nebo také z důvodu dump/restore topiců pro přenesení do jiného prostředí,
- MODULES - v této záložce je možné přidávat nebo editovat zdrojové soubory, které obsahují normalizační funkce použitelné v normalizačních pipeline, více na stránce Správa normalizačního kódu
Záložka PIPELINES je defaultní, tzn. že se vám otevře, pokud kliknete na položku NORMALIZER. Najdete pod ní tabulku s přehledem pipelines.
V prvním sloupci Name je uveden název jednotlivých pipelines. Po kliknutí na konkrétní název pipeliny se vám otevře detail karty, viz níže.
Druhý sloupec Status uvádí akuální status pipeline. Zahrnuje tyto možnosti:
- disabled - vypnuto,
- running - aktuálně běží,
- error - chybový stav, kdy je špatně definovaná konfigurace pipepline,
- ignored - chybový stav, kdy chybí vstupní topic.
Třetí sloupec Input uvádí, který RAW topic pipeline zpracovává.
Čtvrtý sloupec Output informuje o výchozím Runtime topicu, který je výsledkem procesu normalizace u dané pipeliny.
Vztahy a provázanost mezi topicy a pipelines, můžete najít v kapitole Domovská stránka ADMIN UI, více o topicích na stránce Přehled topiců
Zahrnuje název pipeline, který je uživatelsky volitelný při zadávání nové pipeline a výpis následujících atributů v tabulce:
- Status - stav, ve kterém aktuálně pipeline je,
- Input - vstupní RAW topic,
- Output - výstupní Runtime topic,
- Enabled - yes/no - atribut, ve kterém je uvedeno, zda pipeline je povolena či ne,
- Config - výpis zadané konfigurace pipeline:
- Definition - reference na normalizační funkce, která budou v tomto pořadí použity, funkce jsou zapsány ve formátu programovacího jazyka Elixir,
- Reorder threshold - maximální vzdálenost zprávy od středu plovoucího okna pro seřazování zpráv, opět volitelná položka,
- Big delay policy - zde pod roletkou vyberete možnost, jak bude dále nakládáno se zprávami, které se nevejdou do plovoucího okna, Discard - zpráva bude zahozena, Adjust - externí čas zprávy bude upraven podle nejbližšího času plovoucího okna,
- Idle interval - udává, jak dlouho se má čekat, než normalizér uzná, že přestaly chodit zprávy a začne tikat (vytvářet virtuální zprávy),
- Tick frequency - zadáním hodnoty určujete, jak často budou tiky chodit,
- Fresh start since - tato hodnota určuje, od kdy se mají načítat data po prvním startu pipeliny,
- Kafka topic konfiguration - nastavení parametrů, které pipeline užije při vytváření topiců.
Hodnoty atributů, které byly nastaveny ručně a liší se od jejich defaultních hodnot vidíte v tabulce zvýrazněny tučným písmem.
Nad tabulkou najdete funkční tlačítka:
- Edit pipeline - upravení nastavení pipeline, více v kapitole Úprava konfigurace pipeline,
- Stop pipeline - zastavení pipeline,
- Recompute pipeline - přepočítání pipeline, více v kapitole Přepočítání,
- Delete pipeline - smazání pipeline.
Při zvolení jakéhokoliv tlačítka se vám otevře dialogové okno, kam můžete vyplnit důvod změny pipeliny nebo upravit celou její konfiguraci.