Převodník odkazů MZA Acta Publica

[chipsi]

Jinak mám ještě rozdělaný plugin do prohlížečů pro odstranění balastu při prohlížení stran.

[zburget]

Při přidávání stránek budou vkládat skeny do řady mezi stávající snímky. To ale po opravách matrik do stavu před přechodem na novou verzi už bude jedno, protože ty snímky dřív neexistovaly.
Koukněte na poslední informace, které jsem tu psal, už je mechanismus i pro částečně zveřejňované matriky (= matriky, kde byly ve staré verzi díry) a je možnost i poznat, jstli je nebo není v matrice chyba (= při chybové matrice nelze odkazy převést).
A pokud možno jako podkald používejte ty textové soubory, co jsem generoval, protože se mění a ještě budou měnit. Jak to nasypete někam do databáze, tak budou problémy s opravama.

[chipsi]

Upravil jsem stránku na vkládání jednotlivých odkazů přes clipboard.

Jinak vložené skeny nebou v řadě v násobcích deseti, ale nový sken bude na konci číselné řady a vložen na patřičné místo v prohlížeči openseadragon. To si myslím já. Proto zrušili stránkování, které tam měli první dny, které by výrazně zjednodušilo převod. Pak tam dali odkaz na snímek v serveru IIF.

[chipsi]

Nemám kontrolu jestli je původní odkaz již mimo rozsah, ani nepočítám s posunem stránek (rozdílnost počtu stran původních a nyní). Až čas ukáže jaký je záměr programátora.
Ono se jinak naštěstí dá detekovat původní odkazující záměr. např.
https://www.mza.cz/actapublica/matrika/ ... -00010.jp2

je matrika 11265 a strana 1, signatura je v páté skupině

[chipsi]

Nyní na MZA jsou matriky ve zcela jiném stavu než na původním serveru. Vrátí se tam staré chybějící strany atd. Prostě vývoj této verze šel jinudy už delší dobu. Prý to budeme muset překousnout a nahlásit chyby znovu.
Prostě konvertor bude fungovat v 99% linků (pokud se netrfíte na opravdu špatnou matriku) a pokud nebude odpovídat, tak alespoň bude odkazovat na správnou signaturu, ale ne stranu.

[chipsi]

Jinak ještě mám rozdělaný "stahovač" skenů, testuji. Ale vzhledem k vytíženosti serveru to nechám ještě nějakou dobu ležet. Nový sken je přibližně 4-5x větší (v bodech) než na starém serveru.

[greghouse]

Stahování skenů je v současnosti skutečně chuťovka, protože i jeden 5 MB sken se stahuje i několik minut. Aspoň, že to je kvalitnější a jak to člověk stáhne, tak už pro něj správný odkaz na matriku není na prvním místě.

[zburget]

Vezmu to po pořadě…
Matriční opravy budou dělány tak, že vložený sken dostane číslo MEZI dvěma současnými skeny. Už o několika takových matrikách vím. Je tak porušená posloupnost po dseti. Výsledkem jsou neměnné odkazy, pokud se do matriky nebude přidávat víc, než deset skenů mezi dva současné. Toto je informace přímo z MZA, není třeba čekat a přemýšlet nad záměrem programátora. V případě částečně zveřejněných matrik jsou přímo vynechána čísla snímků, které tam budou vloženy. Kde je v názvu skenu signaura, samozžejmě vím

To, že jsou matriky v dost žalostném stavu vím taky - komunikuju o tom s MZA. Kdybyste četl to, co jsem i zde napsal, věděl byste, že přesně eviduju, které matriky jsou v pořádku a které ne. I to, jak se to dá z mých podkladů poznat. V současné době eviduju 440 matrik, které nejsou v pořádku. Tzn. pokud to nezohledňujete, máte chybovost cca 3,8%, nikoli jen 1%!

Hlásit chyby ve většině případú znovu pak nebudeTE muset, protože jim všech 440 chybových matrik nahlásím já Ale ještě mám čekat. Tak zatím čekám. Z těch 440 matrik by měli minimálně 70 opravit sami. Nehám se překvapit.

Stahovač skenů mám hotový už delší dobu. Jen ho mám ve formě perl scriptu. V noci, kdy je provoz na MZA minimální trvá stažení jednoho 5 MB skenu cca 10 s. V době, kdy je server pod zátěží skript padá na tom, že nedostane data. Neřeším to, prostě pustím znovu. Stejně ho v takových časech nepouštím, protože bych se nedočkal. Stáhnout jedlitlivý sken většinou není problém ani v problematický čas, ale celá matrika by reálná nebyla. To je potřeba dělat v časech, kdy to jde. ROzhodně vám ale nedoporučuju takový stahovač někam vystavit veřejně. Jednak MZA pořád kontroluje IP adresy, ze kterých na ně jde podezřele velký provoz a pokud množství stažených dat přesáhne nějakou rozumnou mez, tak vám danou IP adresu zaříznou na minimálně měsíc.
A druhák a to je podstatnější - oni to stažení neumožňují úmyslně. Protože pokud někdo chce sken v maximální kvalitě, musí si za něj zaplatit. Takže pokud vyrobíte veřejný stahovač, víc, než dráždíte chřestýše bosou nohou a vystavujete se oprávněné žalobě.

[chipsi]

Děkuji za reakci. O chybách vím, mám index všech 1,7 milionu stránek, ale počkám si na větší opravy matrik. Pak udělám opravu linkeru. Rád bych si udělal linker na úrovni "folio" skutečných indexů stránek alespoň pro sebe.

[zburget]

Děkuji za reakci. O chybách vím, mám index všech 1,7 milionu stránek, ale počkám si na větší opravy matrik. Pak udělám opravu linkeru.

Jak jsem psal - pro převod použijte data, která jsem připdavil. Máte to bez práce a v aktuálním stavu. Až bude mít MZA všechny matriky opravené, pak teprve by mělo smysl se zbavit těch tisíců textových souborů…
Ä jestli budete čekad dlouho a pak si teprve budete dělat index, vystavujete se nebezpečí, že už budou do AP zaneseny i nějaké další opravy, které v původné verzi AP nebyly - a zese vám to bude převádět nesmysly. Ale dělejte, jak uznáte za vhodné.

[greghouse]

V době, kdy je server pod zátěží skript padá na tom, že nedostane data.

Taky mi to občas "padalo", ale stačilo přidat, aby se to v takový moment nevzdalo zkusilo to požádat znovu a stahování může vesele pokračovat Zatím mi to nikdy nespadlo víc jak 2x po sobě.

Taky myslím, že se tím datovým omezením MZA nijak netají. Tuším, že to je zveřejněné mezi aktualitama, že když někdo překročí xy MB stažených dat, tak ho pošlou na Banánové ostrovy. S tímto vědomím by snad žádný soudný člověk nestahoval celé matriky Byť je to s podivem. Zkoušel jsem stahovat snímky z http://vademecum.soalitomerice.cz/, kde na to mají normální tlačítko Uložit a snímek je ve stejné velikosti jako tu a bez keců. Asi se to řídí heslem "každý pes jiná ves".

[zburget]

Tak nejsem soudný člověk… Dík teda
Ale já to dělám kvůli psaní indexů - na to prostě musím mít matriku u sebe, jinak by to reálně nešlo.

[greghouse]

Bylo to myšleno prostě tak, že (nehledě na důvod) pokud si z toho serveru člověk dělá velkovýdej tak holt musí počítat s možností dostat ban-hammerem po hlavě

[zburget]

Tak mám tady výsledky svého srovnání zveřejněných převodníků.
Testovací řetězec byl v obyčejném plaintextovém souboru. srovnání s výsledky obou převodníků jsou v >Této tabulce<

Dobolím si pár připomínek k oběma aplikacím.
greghouse:
V podstatě super. Až na jednu matriku se kterou to mělo vážný problém, nebyla v převodech žádná zásadní chyba.
Zkoušel jsem převod odkazu, kde nebyla uvedena strana. Takový odkaz se převede správně (podobně, jako to udělá i převodník MZA), ale na konci to sežralo mezeru. Viz výsledky v tabulce.
Převodník měl velký problém s převodem odkazů z matriky sig. 914 (staré ID 11783, nové ID 11613). Převodník na těchhle odkazech zůstal viset a převáděl, a převáděl, … a převáděl. Musel jsem ho sestřelit.
Možná mám i já chybu v některém s převodních souborů. Po tomhle zaseknutí přestalo fungovat přetažení souboru na okno převodníku. Při kliknutí na okno se zobrazil dotaz na soubor, ale při přetažení se zobrazila ikona, že to nejde.
A pak bych měl drobný návrh k informacím v logu. Upravil bych texty nepatrně takto:

Kód: Vybrat vše

Odkaz nepřeveden: Matrika sig. 1 strana 123 není v rozsahu nových snímků - http://actapublica.eu/matriky/brno/prohlizec/2803/?strana=123
Odkaz nepřeveden: Matrika sig. 11 není na ActaPublica v aktuálním stavu - http://actapublica.eu/matriky/brno/prohlizec/2806/?strana=1


chipsi: prozatím bohužel naprosto nepoužitelné.

• nepřevedl regulerní starý odkaz
• převody provádí i pro (v současnosti) neexistující skeny
• převody provádí i pro staré skeny, které dnes neexistují
• je ochotný provádět převody odkazů pro matriky, ve kterých jsou neopravené chyby
• některé řetězce jsou při převodu prokazatelně špatně vygenerované

[zburget]

greghouse:
Ještě jsem narazil na jednu drobnou nepříjemnost - pustil jsem do převodníku soubor, kde jsou konce řádků "unixové" - konec řádku je pouze znak LF, ale převodník po převodu vyplivne soubor, kde je konec řádku CR+LF.
Zkoušel jsem z dokumentu ve formátu Opendocument vytáhnout jeho obsah, prohnat převodníkem a vrátit zpět. Zatím končím na nějaké divné chybě, ale první rozdíl, na který jsme narazil je právě onen znak konce řádku.