Nová verze vademca (ZAO, Litoměřice, NA)

[carlos]

Což jsem před casem udělal pomocí prográmku, který tenkrát tady někdo zveřejnil. Hromada lidí to odsuzovala, jako prý na co. Nyní, když se vracím k těm mým matrikám, je to rychlé a bez problému.

[pavel.m]

Já nechápu co je tak špatného na tom počkat 10 vteřin, až se udělá kontrola proti botům. Je to na tisících stránek a lepší než abyste nadávali, že se vám všechno načítá 10 minut, protože to přetěžují desítky botů.

[Zora]

Brno viditelně nic takového nemá.....
asi mají lepší IT áky...

Ano, mě to tak trochu rozčiluje. Všimni s, že většina přispívajících do této debaty jsou zkušení profíci na IT.
Já jako laik si říkám, že je hodně divné, že na stránkách jednoho archivu si mě musí zkontrolovat, na druhém ne... Mohla bych se domnívat, že dělají zcela něco jiného... a ne ochranu proti botům. Z

[mix59]

Já teda nejsem zkušený IS/IT profík. Ale s počítači pracuju a bavím se od začátku devadesátých let, takže se považuju za pokročilého uživatele.

Znovu jsem testoval tu kontrolu u Vademeca. Včera to v Litoměřicích i v Opavě bylo mezi 2-5 vteřinami (jednu chvíli Litoměřice úplně spadly, večer Opava pro změnu chvíli prováděla jakousi aktualizaci). Dnes kontrola pro oba archivy trvala o něco déle, ale i tak je to do deseti vteřin. To se dá vydržet - není to tak, že by každý další sken při procházení daného dokumentu vyžadoval novou a novou kontrolu (to bych asi nadával taky a hodně hlasitě). Pokud by mi to snad ale mělo běžet v řádu minut nebo "nekonečně", tak bych asi napsal přímo správcům těch archivů, v čem může být chyba.

Aby bylo jasno - nejsem nijak spojen s žádným archivem a nemám zájem je obhajovat - snažím se je hodnotit pokud možno objektivně. Třeba podle počtu nově zveřejněných matričních přírůstků, což je pro mne momentálně to nejdůležitější kritérium. K čemu rychlá a uživatelsky příjemná aplikace, když v ní nebudou dokumenty, které v ní očekávám?
Ale chápu, že někomu ta kontrola může vadit (zvlášť, když dřív nebyla a většina ostatních archivů nic podobného nemá - nebo to neprobíhá takto viditelně). Mě třeba v archivu Hl. města Prahy taky dost irituje, když něco hledám v matrice a po rychlém projití cca 50 stránek to na mne vyplivne hlášku "Příliš mnoho požadavků" a pět minut mám smůlu. Procházím to ručně, žádný skript - a přesto mne vypnou.

Ono je to ale i o tom, že čím univerzálnější aplikace (a těmi Vademecum a hradecký ARON jsou), tím je komplikovanější, obtížnější k odladění (tj. náchylná k chybám) - a také k zahlcení. MZA Brno má v jedné aplikaci matriky (jednoduché, přehledné a rychlé), ve druhé sčítací operáty (také rychlé), v ARONu pak pozemkové knihy a katastry (opět rychlé, s hradeckým ARONem nesrovnatelné), v další aplikaci urbáře atd. Na správu to je asi náročné, ale spolu s dostatečně výkonným hardware tam asi nehrozí zahlcení uživateli a hlavně těmi boty. Aspoň zatím...
Nemusí to nutně být o lepších programátorech. Spíš o promyšlené koncepci. Kdo ale před pěti lety věděl, že webové stránky budou prolézány nějakými "boty"? Já určitě ne. Ale že aplikace, do které se kromě digitalizátů zadává i další kvantum informací o archivních položkách všeho druhu, má nějaký datový strop (či požadavek na hardware), to by ti IS/IT správci v archivech asi vědět měli.

Mimochodem, ti boti či roboti - to jsou programy, které procházejí weby (tedy i archivy) za účelem tréninku čtení a získávání informací pro AI. Tedy ne, že by se AI utrhla ze řetězu a vydávala se tam sama. Za tím jsou firmy, které se v rámci konkurence snaží ten svůj model AI co nejvíce zdokonalit, aby s ním pak získaly co nejvíce placených uživatelů. A takovéto hromadné automatizované návštěvy jsou na softvarově komplikované aplikace typu Vademecum a ARON (který navíc běží už od začátku na poddimenzovaném HW) mor. S tou kontrolou se bohužel "svezou" i celkem nevinné uživatelské skripty. Pro uživatele je to potvrzování otravné, ale pořád lepší, než kdyby se jim jeden sken načítal minutu (nebo vůbec), protože je to zahlcené.

Druhá věc je možnost stahování celých matrik. Snad každý náš archiv má ve svých pravidlech zmínku o hromadném stahování dat (tj. že není přípustné). A to se týká stahování jednotlivách skenů! Celou matriku umožňuje stáhnout myslím pouze SOA Hradec Králové. Jinak nikdo. A MZA (které jsem zde jinak dost chválil) neumožňuje v jejich základní navigaci stáhnout ani jednotlivou stránku. To přidává až jistý uživatelský doplněk.

Ano, ono se to stahování (a i to hromadné) dá obejít skriptem. Jenomže to se archivům nelíbí a snaží se tomu zabránit. A ta kontrola u Vademeca je předpokládám projektovaná i pro tyto účely.
Řečeno slovy klasika "Můžeme o tom vést spory, můžeme s tím nesouhlasit, ale to je asi tak všechno, co se s tím dá dělat..." Protože při použití netolerovaného skriptu obvykle následuje ban a při opakování či v případě většího rozsahu i něco horšího. Jak moc to (ne)koreluje s platnými zákony a nařízeními, to posoudit nedokážu. Ostatně, každý archiv si je stejně vykládá trochu jinak - někdy pro uživatele příznivěji (např. Opava nyní zpřístupňuje některé indexové matriky vedené do roku 1949 včetně narozených), někde přísněji (což bylo to "proaktivní" skrytí již zpřístupněných operátů 1921 v MZA kolem roku 2020). Bohužel (někdy možná bohudík) to nadřízený orgán archivů neřeší.

[Zora]

spory už dávno nevedu.
Mám svůj názor, občas ho sdělím, ale to je asi tak vše, co dělám a chci dělat... Z

[pavel.m]

Ono je totiž možné, že někdo hromadně těžil data, trénoval AI (například na čtení) nebo hromadně stahoval. Každopádně to tak přetěžovalo archiv, že jim to i padalo a jednou to bylo 2 dny odstavené. Pokud někdo není ochoten přežít ochranu co trvá pár vteřin tak je to prostě jeho vnitřní boj a nic tím nezmění tak jako tak. Pokud i tak odmítá ZAO používat, tak podotýkám, že většina starých matrik je na Familysearch a můžete si je v klidu procházet tam.

[Zora]

Máme štěstí, že ten někdo netrénuje na MZA

Tahle diskuse není o tom, co chci já, nebo někdo další, je o tom, že někde to jde bez oné kontroly , jinde ne a odůvodnění žádné.
Respektuji, že si každý archiv provádí, co uzná za vhodné, jen nevím, a nemám jistotu, co provádí se mnou .


Z

[zburget]

MZA má jinou ochranu. V okamžiku, kdy od nich někdo začne stahovat, tak na firewallu zaříznou danou IP adresu. Nedovedu (a radši ani nechci) si moc představit jejich seznam zakázaných IP adres.
Na druhou stranu je tohle prostě nejúčinnější. Žádné obstrukce pro "běžné" uživatele a všechno lítá, jako z praku.

[Zora]

Teď jsem e chtěla podívat na záznam o narození Josefa II. Čekala jsme opravdu mnohem déle, než dvě tři vteřiny, pak sice naskočilo, že jsem řádně prověřená a mohu pokračovat.... no, ale čekala jsem zase, než pokračovat šlo...

Otázka dne - proč se vše musí vyvíjet, řešit pro každý archiv samostatně, to mně hlava nebere... Z

[zburget]

Otázka dne - proč se vše musí vyvíjet, řešit pro každý archiv samostatně

To je otázka století. Nechápu, proč kdokoli vyvíjel cokoli, když to už vyvinuto jednou bylo (Národní archív, ZAO a Litoměřice - výrobce Bach system Olomouc). Netvrdím, že je to zrovna nejlepší systém, ale už je k dispozici. Proč HK a MZA platili vývoj ARONa? Vývoj musel být dražší, než systém od Bacha. Každopádně - všema dvaceti bych se přimlouval za to, aby pro matriky v MZA zůstalo to, co tam mají teď. To je naprosto bezkonkurenční.

[kolsi]

Ono je totiž možné, že někdo hromadně těžil data, trénoval AI (například na čtení) nebo hromadně stahoval. Každopádně to tak přetěžovalo archiv, že jim to i padalo a jednou to bylo 2 dny odstavené. Pokud někdo není ochoten přežít ochranu co trvá pár vteřin tak je to prostě jeho vnitřní boj a nic tím nezmění tak jako tak. Pokud i tak odmítá ZAO používat, tak podotýkám, že většina starých matrik je na Familysearch a můžete si je v klidu procházet tam.

Protože nějaké těžení dat a ochrana proti botům jsou jenom nesmyslný kecy, jak to okecat před laickou veřejností. Například na mobilu to počítá několik minut, kdy to na pozadí musí několiksettisíckrát spočítat SHA256 určitého řetězce (on ten řetězec je totiž pokaždé jiný, a tak jednou to může trvat půl sekundy, jindy klidně 10 minut, podle výkonu vašeho hardwaru).

To, že to bylo 2 dny odstavené nemá co dočinění s přetěžováním archivu, ale s debilním systémem jménem Vademecum, který na několik dní slítne (nebo přestane zobrazovat skeny) vždy při každé větší aktualizaci už asi po dobu 10 let. Je zajímavé, že se tento problém týká zas a znova jen a pouze Vademeca, kde zásadní bugy, na které si uživatelé už léta stěžují, nejsou schopni vyřešit, ale všelijaké blokovače jsou schopni implementovat pomalu na počkání. Stačí si vzpomenout, jak tam debil programátor v sobotu večer dodělával, aby uživatelé museli zadávat captchu u každého snímku, a pak sem do fóra chodil dělat ramena, jak zablokoval můj stahovač, který použilo asi tak 5 lidí. Děsný přetěžování. Navíc vždy se jednalo a stále jedná o "blokátor", který každý obejde tak za 5 minut práce, takže případné záškodníky to nijak nezablokuje. Jediný, koho to zasáhne, jsou běžní uživatelé.

A jentak na okraj, zajímalo by mne, co na to jejich oddělení pro kybernetickou bezpečnost, protože např. v Opavě dochází k ověření přes web třetí strany, takže nicnetušící uživatel, který otevírá web archivu, je na pozadí přesměrováván na naprosto cizí web.

[Zora]

asi bych měla příslušné archivy požádat o manuál pro přestárlé.
Co smím stahovat, co je to "stahovat" nebo možná definovat, co nesmím-... Jak často se mohu dostat na jejich weby, kdy mám přestat...

Ano, večer si ráda čtu matriky. List po listě, aniž bych hledala nějakou osobu. To se dozvím strašně moc informací o našem městě a okolí a lidech, kteří tu byli před námi. ... A věřte, nejde pouze o ženicha nevěstu, nebo děti a rodiče. Stejně tak jde o dnes nepoužívaná pomístní jména nebo zaniklé cesty... I to se dá z matrik vyčíst neb vytušit...
Tisíckrát lepší než nekonečné seriály na nekonečně mnoha kanálech různých TV.

A teď někdo vyhrožuje zneužíváním, aniž by jasně řekl (jasně i pro mě neajťáka), co zneužívání je.
Asi je to zbytečné, žádat něco takového od institucí... Jednou jsem se snažila vysvětlit v TV, že u dokumentu o konkretní osobě je nesprávně uvedené datum narození. Doložila jsem to matričním záznamem. Odpověď zněla, že v matrice je to nesprávně, onen člověk své datum narození sám udával tak, jak ho uvedli...
Genius od narození...


Z

[carlos]

Nikdy jsem nepochopil, proč brání stažení matrik. Ti co si ji stáhnou, prohlíží doma a nezatěžují dalším prohlížením. Blahé paměti Zámrsk to měl a stahovalo se to z pdf. Snad jedině přetěžováním serveru. Nevím, jak by šlo matriky zneužívat. Doufám, že to nebude časem jako v archivech v Polsku.

[HZJC]

To, že mají někteří uživatelé v Opavě nebo Litoměřicích zjevně jakousi rychlostní protekci, ještě neznamená, že se musí podivovat nad námi, kteří potřebujeme na otevření začátku této příšery kolem deseti pokusů, dvaceti minut a opakovaných Server Exceptions.
Na Carlosovu otázku podle mě existuje jediná odpověď - "Protože můžem.'

[HZJC]

Ke Zdeňkovi a MZA - ano, zejména v době sdílených IP je to vskutku revolučně probadatelská myšlenka