Superychlé skládaní velkých serií astrofotek

[Vabra]

Ahoj,

pořídil jsem smart teleskop a dostal jsem se tak do nepříjemností, jak zpracovat tisíce krátkých expozic v nějakém rozumně dohledném čase a nepřepsat si u toho tisíckrát kapacitu svého SSD disku a neodeslat jej tak do věčných lovišť.

Moje první serióznější několikahodinová seance ze Seestaru 50Pro 1140x10s M33s i při mém standardním ručním postupu v PixInsight (Debayer, Registrace, Složení s ESD rejekcí) na poprvé vyžádala přes 2h procesorového času a přes 250GB pracovních souborů na diksu.

Když jsem hledal alternativní postupy:

• Automatizovaný Fast processing skript v PixIinsightu běžel něco jako 40 minut.

• StackingWizard (od Lucomatico) běžel cca 22 minut.

• Pepův Astrostack bežel podle všeho podobně rychle než po 15 minutách na 70% spadnul na chybu alokace paměti...

• Sirila jsem stáhnul, ale zatím ještě nepochopil jeho filozofii ovládání, takže zatím nevím. Ale je to v Pythonu, takže očekávám také něco jako 15-20minut.

A když teď máme tu slavnou AI a možnosti navibovat si po libosti jakýkoliv SW chceme, dal jsem tomu šanci.

Beru to jako studijní projekt (ale má dnes ještě cenu studovat SW projekty?) a každá ušetřená sekunda mi posílá kapku dopaminu, takže mne to i baví.

Pvní verze v Rustu mi na stejném PC běžela něco jako 9 minut. Po několika nocích a milionech Codexových tokenů jsem dnes pod 2 minutami na stejné sadě subexpozic a se stejným výsledkem jako výstup z PixI.
Na disk se nic neukládá, až finální výsledek.

S tím jsem již docela spokojený. Teď se peru s kalibračními daty a hlavně logikou ovládání UI.
Jsem ve vleku svého vlastního procesu původem ještě z Nebulosity. A tak váhám mezi variantou nechám si to pro sebe (ať si každý nakoduje svou vlastní aplikaci) a nebo to trochu zobecním poladím UI a pošlu do světa mezi lidi.

Tak zkusíme komunitu tady. Měl by o takový prográmek někdo serioznější zájem?

Je a bude to zdarma, platí se časem, pozorností, bug reporty a testovacími daty... Dnes asi utáhnu vývoj s AI sám, ale až se to trochu stabilizuje, možná bych repozitář otevřel na klasický open source projekt (ale s tím zatím nemám vlastní zkušenosti). Zatím ladím verzi pro Windows11, ale architektura počítá od začátku i s MAC OS (jedno Sudio M5 ULTRA už je na cestě)...

[astrolama]

Když se to neukládá na disk tak kam teda (po tom co naplní RAM), začne to kouzlit? Já jen když čtu o těch stovkách GB

[nou]

Siril je napísaný v C. Python tam je len na skriptovacie aj to bolo pridané relatívne nedávno.

[Psion]

Tak zkusíme komunitu tady. Měl by o takový prográmek někdo serioznější zájem?

Ahoj Pavle, já určitě mám zájem. Netuším, jak se ti povedlo za tak krátký čas seskládat třeba 1000 12MB fotek. Na to stačí paměť, pokud máš alespoň v OSX 32 GB. Já ten proces skládání optimalizoval docela dlouho, ale nepodařilo se to moc urychlit. Taky jsem nechtěl, aby se to ukládalo na disk. Zkoušel to i kolega a také nic. Prostě než se to natáhne do paměti a vyhodnotí master podle kterého se to skládá, tak to prostě trvá. Pravděpodobně neděláš hodnocení snímků? Používáš metodu RANSAC nebo nějakou jednodušší?

Jinak Studio M5 pojede jako vítr, OSX je rychlej OS a s Windows se to moc nedá srovnat. Jediná výhoda Windows je grafická karta, protože ta to může děsivě urychlit a může mít 100x více GPU jader než Mac.

[Vabra]

Netuším, jak se ti povedlo za tak krátký čas seskládat třeba 1000 12MB fotek. Na to stačí paměť, pokud máš alespoň v OSX 32 GB. Já ten proces skládání optimalizoval docela dlouho, ale nepodařilo se to moc urychlit. Taky jsem nechtěl, aby se to ukládalo na disk. Zkoušel to i kolega a také nic. Prostě než se to natáhne do paměti a vyhodnotí master podle kterého se to skládá, tak to prostě trvá. Pravděpodobně neděláš hodnocení snímků? Používáš metodu RANSAC nebo nějakou jednodušší?

Upřímně já také moc netuším jakou přesně matematikou to dělá.

Prostě jsem ho postupným promtováním a měřením času, spotřebovaných prostředků a ověřováním výsledné složeniny, minutu po minutě dohnal do současného stavu. Z mé strany to byla pouze vytrvalost a asertivita, matematiku a programování dodal nejdříve Astra 6.1 a později OPUS 5.5. Na začátku měl cca 20 test-casu, teď jich postupně narostlo na 200.

Pokud to chceš zařadit do svého stackeru není problém, abych to z něj promptem dostal v nějaké formě použitelné pro tvého agenta... Ale jinak budu samozřejmě radši, když mi pomůžeš s tím mým...

V každém případě použivá na to co jde vestvěnou grafiku Radeon na CPU Ryzen 9 AI + 370HX a na co se hodí lépe pak do 24 jader CPU, většinou vystačí se 3GB RAM (limit jsem mu dal 12GB).

Dělá to hodnocení snímku podle HFR, počtu hvězd a jejich ekcentricity. Podle nich pak vybírá vhodné snímky pro skládání (nebo 100%, 95%, 90%, 80%, 50% nejlepších). Pro registraci zkouší nejdříve lineární posun a otočení, pak scaling 30%-333% a nakonec lokální deformace... O Ransacu jsme se moc nebavili...

PS: Je to tak rychlé, že je možné, pro mne poprvé, hrát si s parametry, které snímky zahrnout a které vyloučit, a do minuty nebo dvou vidět výsledek (FWHM, Eccentricitu, Šum) složeniny...

[MaG]

Pavle jasně že je zájem se na to podívat, klidně i na sadách desítek fotek místo stovek či tisíců, třeba by se to dalo rozumně využít i pro snímání na sofistikovanější sestavě, když bych chtěl krátkými expozicemi eliminovat seeing.

[Psion]

Rád vyzkouším program, pošli mi prosím nějaký odkaz. U svého programu ještě mrknu na nějakou lepší ochranu paměti u Windows verze.

[Honza Ebr (honza42)]

Kolik tě tohle stojí na používání toho AI? Nebo se to dá udělat v nějakym tom běžnym předplatnym v řádu 20 USD?

[Vabra]

Kolik tě tohle stojí na používání toho AI? Nebo se to dá udělat v nějakym tom běžnym předplatnym v řádu 20 USD?

Mam obe predplatne OpenAI i Antropic, tady jsem to v pulce prace prehodil z prvniho na druhe a i diky tomu dale snizil cas zpracovani o dalsich 20%, kdyz uz ten prvni zacal stagnovat. Ale pri rozumne volbe modelu by se tenhle skladaci programek vesel i jen do jednoho 20$ predplatneho...

Behem vikendu zkusim trochu ucesat alfa verzi pro prvni testy mimo muj vlastni pocitac. A dam sem link na stazeni. Zatim ale asi jen Windows verzi...

[Vabra]

Netuším, jak se ti povedlo za tak krátký čas seskládat třeba 1000 12MB fotek. Na to stačí paměť, pokud máš alespoň v OSX 32 GB. Já ten proces skládání optimalizoval docela dlouho, ale nepodařilo se to moc urychlit. Taky jsem nechtěl, aby se to ukládalo na disk. Zkoušel to i kolega a také nic. Prostě než se to natáhne do paměti a vyhodnotí master podle kterého se to skládá, tak to prostě trvá. Pravděpodobně neděláš hodnocení snímků? Používáš metodu RANSAC nebo nějakou jednodušší?

Upřímně já také moc netuším jakou přesně matematikou to dělá.

Tak jsem z Clauda vyrazil technickou zprávu ohledně toho, co jsme to vlastně společněs Astrou a OPUSEM spáchali.
Klíčové bylo rozhodnutí zpracovávat snímek po dlaždicích a pak už to byla jen taková úmorná kosmetika...

Screenshot 2026-10-30 174808.png (245.29 KiB) Zobrazeno 332 x

Celé 10ti stránkové PDF s měřením a podrobnostmi ke stažení zde: https://drive.google.com/file/d/1D1pijg ... sp=sharing

[MMys]

Princip asi zhruba chápu, jen mi není jasné když ten warp - deformace pro registarci, dělá po dlaždicích, jak pak navazuje ty hrany dlaždic, že to není vidět. Očekával bych, že po silném stretchnutí budou vidět nějaké spoje.

I když ono záleží, jak velký děláš dithering, a taky že máš hodně snímků. Díky ditheringu se ty návaznosti dlaždic ve velkém počtu snímků rozmažou.

A nebo používá dlaždice s překryvem, třeba 10% a nějaké soft-okraje, weighting 2D funkci na pixely blízko ke krajům, aby kraje dlaždice měly přesně váhu 0, a v místě kde končí překryv už spolehlivě 100% ?

Zeptejk se ho na to

A zkus zregistrovat třeba jen 30 snímků, a zalovit v tom, jestli se ty přechody dlaždic neobjeví.

-----------------
edit: teď jsem si zběžně pročetl celou zprávu. Hezky vymyšleno, ale odpověď, co se děje na hranách dlaždic jsem nenašel.

[Vabra]

Ve vedlejším vláknu testuji, zatím kvůli Měsíci v úplňku jen v Ha, SQA60Pro a tam jsem svým novým kamarádem skládal 22 a 30 snímků, kde jsem IMHO lovil hodně hluboko a žádné artifakty po dlaždicích se neobjevily. Ani v žádném jiném snímku zpracovaném tímto prográmkem.

On to má i v zadání akceptačních test casu, aby výsledná složenina nebyla k rozeznání od vzoru z PixInsightu a zatím poctivě hlásí 0 pixelů difference.

Dithering je u snímků z AS2600MM/MC Air standardní po 5snímcích se šnekovým vzorem... Ale u Seestaru není a není ani potřeba, neboť to bylo v AZ režimu, kde se kroutí celé pole...

[MMys]

Co znamená 0 pixelů difference ? To jako že žádný pixel se neliší od té verze z PI ani o 1 ADU ? Tedy že ty datové soubory jsou zcela identické ? Tomu nevěřím, to je vzhledem ke zcela rozdílným principům nemožné.

Zkus od sebe v PI ty dva obrazy odečíst, a musela by ti vzniknout dokonale černá plocha. To nevznikne.

Spíš tam bude nějaká povolená tolerance, ne ?

[Psion]

Za mě je to velmi dobře promyšlený návrh a velmi zajímavé řešení. Největší přínos vidím v tom, že registrace už není spojena s nutností vytvářet a ukládat registrované RGB snímky. Pro Seestar S50 Pro, Draco nebo Atlas může být tento přístup velmi účinný. Pro kombinování dat z různých dalekohledů, různé optiky bude asi potřeba, afinní či lokálně deformovatelné registrace. Tam by to chtělo vyzkoušet. Každopádně v tomto je vidět síla dnešního AI, myslím, že nikdo z lidí na tento princip nepřišel.

[Vabra]

Odpověď od uměláka:

Ano, mechanismus máme a švy z principu nevznikají. Dlaždice nejsou samostatné obrázky, které by se nakonec slepovaly. Jsou jen rozdělením práce, každý výstupní pixel se spočítá stejně, jako by se skládal celý snímek najednou.

Proč švy nevznikají
Okraj navíc: kolem každé dlaždice se ze zdrojového snímku čte o 8 pixelů víc. Tento okraj pokrývá dosah výpočtů: 4 px čištění vadných pixelů, 2 px demosaicing a 2 px interpolace. Po výpočtu se zahodí, takže pixely u hrany vidí stejné okolí jako kdekoli jinde.
Žádná statistika po dlaždicích: jas, pozadí a váha se určí pro každý snímek jednou a platí pro celou plochu. Rozdílné pozadí sousedních dlaždic, nejčastější příčina švů, tak nemá odkud vzniknout.
Vylučování po pixelech: každý pixel se počítá jen ze svých hodnot napříč snímky, sousední pixely do výpočtu nevstupují.
Společné souřadnice: posun a rotace se počítají v souřadnicích celého snímku, ne vůči dlaždici. Subpixelový posun se proto na hranách neláme.

Důkazy
Syntetický test: obraz složený z dlaždic 23 × 19 je pixel po pixelu shodný s obrazem z jediné dlaždice, tedy bez vnitřních hran. Testy na škálování 0,33–3 navíc porovnávají 10 dalších tvarů dlaždic.
Skutečný snímek Seestar: výřez se shoduje s celým snímkem i u hran dlaždic a senzoru.
Celá sada DS-A: 64 a 512 dlaždic dalo bajtově shodný master i obě mapy, stejně dopadlo 11 tvarů dlaždic na sadě DS-B.
Automatická velikost dlaždice: vybírá se podle volné RAM, a na výsledek by proto neměla mít vliv.

Screenshot 2026-10-31 084456.png (137.1 KiB) Zobrazeno 200 x

Kontrola prošla: na DS-B dal každý modul se všemi tvary dlaždic bajtově shodné výsledky, CPU ve čtyřech a GPU ve třech tvarech, vždy s metodou ESD. Rozdíly mezi CPU a GPU na hrany nevázaly. Plná sada DS-A se na této verzi neměřila a technická zpráva ještě výsledek neobsahuje.