PixInsight

#181

Tak FF s OSC kamerou by měl být určitě neutrální (bohužel musí být neutrální už na úrovni RAWu, což není jednoduché zajisti, pokud nevidíš v RAW datech bayerovu masku, je to správně). Pokud neutrální není, ovlivní to měřítka jednotlivých kanálů. V přesně opačném poměru. Tedy pokud byl FF do modra, bude obraz do červena a obráceně. Ale při následné kalibraci to jde zase potlačit. Pokud použiješ fotometrickou kalibraci podle spektrálních tříd hvězd, je prakticky jednou, jakou barvu flatfield měl. Škoda, že PI evidentně neumí normalizaci kanálů ve snímku s bayer maskou. Leda to rozložit, udělat linear fit mezi jednotlivými RGGB komponentami, a zase zpět vygenerovat původní, už neutrální FF (tohle se ale musí udělat až s master FF, už opraveným o darkflatt, či bias).

Po srovnání zisků RGB do správného poměru vyjde obloha nějaká příšerná - rozumějme taková, jaká ve skutečnosti je (většinou červená, hnědočervená, hnědooranžová). Na to je pak nejlepší použít odečet pomocí DBE (zklikviduje to i nějaké zbylé gradienty v pozadí, které tam prakticky vždy jsou).

Psion · #182

Neutrální FF v OSC lze v praxi zajistit pouze na nějaké šedé nebo bilé ploše, ale určitě ne s filtry jako UHC, CLS apod., což v praxi je málokdy uskutečnitelné, ale to by neměl byt zasadni problém to ve snímku eliminovat. Samozřejmě u CCD kamer s filtry je to jednodušší.

#183

Neutrální FF v OSC lze v praxi zajistit pouze na nějaké šedé nebo bilé ploše
A to navíc ještě jenom s nemodifikovaným foťákem. Bez IR blok filtru na neutrální šedé vyjde v červeném kanálu vyšší signál. Nicméně pokud jsou odchylky v jednotlivých kanáech v rozumných poměrech (tak do 1:2), neřešil bych to, a srovnal to při zpracování.

Psion · #184

Tak to je jasné, u modifikovaných fotáků používám zásadně UV/IR block. WB ve foťáku si nastavím podle používaného filtru (UHC, CLS) abych alespoň na displeji viděl jakžtakž realitu.

ms · #185

Tiez neviem preco by malo vadit ked FF neni farebne uplne neutralny - to v praxi asi nikdy nebude. Dolezite je aby bol na vsetkych pixeloch FF signal dostatocnej urovne a v linearnej oblasti cipu. Mne sa osvedcilo fotit FF na 1/4 rozsahu a pre dany zdroj svetla si overit ci uroven nikde nepresiahne 1/2 rozsahu. Inak to moze vselijako (a lokalne) zmenit uroven signalu na kalibrovanom snimku.

#186

Proč to vadí ? Tak si to zkus. Představ si, že budeš mít v R pixelech dvojnásobný signál, než v G a B. Co se asi stane ? Vinětace z podobné vlivy zmizí, OK, ale výsledný signál v R kanály snímku po vydělení FF spadne na polovinu, snímek tedy bude do modrozelena. Jasně, při následné barevné kalibraci se to srovná, takže to až zase tak nevadí, ale já jen odpovídal na překvapení, že výsledek po kalibraci záleží na barvě použitého FF.

Ani PixInsight totiže neudělá to, že by před aplikací FF znormalizoval třeba na střední hodnotu=1 odděleně všecky tři skupiny pixelů, příslušné pozicím v bayerově masce, zvlášť. Udělá to se snímkem jako celkem, a pak tím obraz prostě vydělí. Stejně, jako kdyby byl FF z mono kamery. Zaškrtnutí, že se jedná o barevný senzor má pouze vliv na to, že se provede navíc debayering.

Nebo mi to tak alespoň z chování při kalibraci dat z DSLR či OSC kamery připadá.

Psion · #187

Není lepší převést všechny snímky na FITS a udělat FF jako neutrální FITS? Někde jsem to viděl.

#188

Samotným převodem RAW na FITS se nestane nic, Bayer tam zůstane.

A jak ho pak zneutralizuješ ? Máš v zásadě 2 možnosti - vybrat pixely příslušné danému kanálu, a provést normalizaci (ale to můžeš udělat až po odečtení darkflatu, jinak je to matematicky nekorektní) A nebo to nějak přefiltrovat nějakým low pass filtrem, aby se Bayer odstranil.

Co vím, tak takhle to dělá údajně DSS, tím že spočítá průměr v matici 2x2 pixely. Sice se tím trošku poškodí rozllišení, ale u FF to nebude prakticky vidět.

Markův MRAW to taky prohání nějakým takovým podobným filtrem.

Nicméně PI to dělá opravdu exaktně (na můj vkus až moc), takže barva výsledku ujede inverzně podle barvy FF. Ale podle mě se to dá elegantně vyřešit, že si ten master flat "odbarvíš" sám, před jeho aplikací. Úplně nejjednodušší metoda (pokud má snímek velikost obou stran v násobku 2) je udělat na master flat binning 2x2, to Bayera na 100% zruší, a následně interpoalci zpět na původní rozměr. Ztráta rozlišení bude z hlediska pouze "nízkofrekvenční" informace v FF nepodstatná. A nebo si napsat v PixelMath.

Já už OSC kamerou ani DSLR nefotím, tak s tím nechci moc ztrácet čas. Může polaborovat někdo jiný

Aletel · #189

Díky Vám kluci za dost podstatnou osvětu v této záležitosti. Z logiky věci obdivuji, jak MMys už dokáže pár větami vyjádřit mnohost problematiky a ukázat cestu, kudy ze zápletky ven (nejen on, takových je tu více ochotných adekvátně poradit bez domněnek).
Dělal jsem si tady poslední dny testy a blbý je, že PixInsight prostě potřebuje na některé operace hodně výkonný stroj.
Nedokázal jsem se porvat s normalizací MasterFlatu - odpověď s binningem je prozatím dobrým řešením a vzpomínám si, že výstupy z DSS dokázaly u větších sad snímků celkem slušně flat "napasovat", zatímco u Pixi od počátku byly výsledky výstupu mnohdy dost rozporuplné (buď zůstávala velká barevná pixelizace v nízkých úrovních, nebo snímek ztratil barvy a byl téměř monochromatický, ...).
Z testíků zatím vyplývá to, co už bylo zmíněno výše - flat s nasycenějším modrým kanálem dá výsledek do červena, neutrální flat do zelena, bílý do žlutooranžova,...
(ještě si chci porovnat a přes Statistiky odměřit, jak dalece tyto "rozdílné" výstupy po provedení ColorCalibration budou, či nebudou v parametrech shodné).

Pro fotiče zrcadlovkami:
Problematiku usnadní kontrola pomocí skriptu >Utilites< DSLRSensorParameters , který je už součástí poslední verze Pixi.
Případně skript stáhnout a zaimplementovat.
http://pixinsight.com/forum/index.php?t ... 2#msg56202
Do patřičných okének se předhodí vždy dva kousky Bias, Flat, Dark, Light a vyběhne v Process Console takovýto zajímavý přehled, který může dát orientační obrázek o vhodnosti použití a výběru patřičných sad pro vstup před kalibrací:
=============================
DSLR Sensor Parameters v0.0.6
=============================
Camera: Canon EOS 500D
ISO speed: 1600
Image Size: 4770 x 3178
Bias frames exposure time: 1/4098 sec
Flat frames exposure time: 1/395 sec
Dark frames exposure time: 300 sec
Light frames exposure time: 302 sec
Channel order:          []
Gain per channel(e/ADU): [ 0.139, 0.144, 0.141, 0.14 ]
ISO for unit gain:       [ 223, 230, 225, 224 ]
Read Noise(e):          [ 3.1, 3.19, 3.11, 3.19 ]
Dark Current (e/pixel/sec) [ 0.0295, 0.0326, 0.0316, 0.0313 ]

Noise estimates for 300sec exposure
Read Noise(e):          [ 3.1, 3.19, 3.11, 3.19 ]
Thermal Noise(e):       [ 2.97, 3.13, 3.08, 3.06 ]
Skyfog Noise(e):          [ 8.54, 7.29, 6.82, 8.51 ]

Mean values in ADU
Bias Frame 1: [1024.8, 1025.8, 1024.7, 1024.6 ]
Bias Frame 2: [1024.9, 1024.9, 1024.7, 1024.7 ]
Flat Frame 1: [2050.3, 1673.5, 2180.7, 2049.4 ]
Flat Frame 2: [2066, 1682.6, 2199, 2066.4 ]
Dark Frame 1: [ 1023.8, 1023.9, 1024.3, 1024.3 ]
Dark Frame 2: [ 1024, 1024.1, 1023.9, 1024.2 ]
Light Frame 1: [1681.5, 1533.5, 1491.6, 1680.7 ]
Light Frame 2: [1717.9, 1577.5, 1510.2, 1717.7 ]

DSLR Sensor Parameters v0.0.6 Completed.

Psion · #190

Vzpomněl jsem si, že podobný postup, který popisuje MMys popisují i v Nebulosity.

If using Flats, it is worth knowing that Nebulosity passes a mild smoothing
filter over your Flat in any case (a 2x2 mean filter). This will help remove hot
pixels in the Flat if your exposure duration was long enough to put them in
there and will also remove some of the bias error. You may still remove the
bias from this if you like, or simply pass something like the 3x3 median filter
over your Flat to smooth it out prior to applying this to your light frames.

FunTomas · #191

Podobné neutralizovanie flatu poskytuje IRIS (http://www.astrosurf.com/buil/iris/tuto ... c17_us.htm).
V PixInsight mám skúsenosti, že ak nie je flat neutrálny, tak obrázok sa počas spracovania nedá celkom korektne farebne vyvážiť. V komplementárnej farbe ostáva v obrázku vyšší šum. Doteraz som sa snažil získať neutrálne flaty, ale v súčasnosti chcem vyskúšať práve neutralizáciu flatu. V prípade flatu a tohto konkrétneho použitia nehraje totiž jeho pixlová presnosť (ako poznamenal Martin) významnú úlohu. Keď spravím test, potom sem dám výsledok.

#192

Nedalo mi to a zkusil jsem jeden postup v PI, co mě právě napadl:

1) vyrobíš master flat (s odečteným dark-flat nebo biasem) - bez debayeringu, jako monochromatický obraz s viditelnou strukturou CFA.

2) aplikuješ na něj rozložení na jednotlivé komponenty (Proces -> ColorSpaces -> SplitCFA). Vzniknou ti 4 monochromatické obrazy v polovičním rozlišení, reprezentující jednotlivé pixely bayerovy masky.

3) Uděláš linear fit mezi jednotlivými složkami (Proces -> ColorCalibration -> LinearFit). Jako referenční si vybereš jeden z obrazů, třeba ten s nejvyššími úrovněmi, a na zbylé tři aplikuješ LinearFit.

4) Složíš to zpátky do původního CFA obrazu (Proces -> ColorSpaces -> MergeCFA). Tím vznikne barevně vyvážený původní MasterFlat, bez ztráty rolišení. Není v něm už vidět bayerova maska, po zkusmo udělaném debayeringu zůstane monochromatický. Tedy ne úplně, nějaké zaokrouhlovací chyby a vliv šumu tam vidět bude, ale aby se objevily vůbec nějaké barvy, musel jsem zvednout saturaci v PI na úroveň 10!, cože je velmi, velmi mnoho. V reálu při zpracování snímků se pohybuji tak do hodnoty 2. Tedy myslím, že to bude velmi dobře použitelné k nedestruktivnímu odstarnění CFA vzoru ve flatfieldu.

Psion · #193

Já vlastně ani u DSLR flat nepoužívám, právě z důvodů zde jmenovaných nebo i jiných, takže s tím mám méně práce

ms · #194

Je ešte jedna možnosť. Dávkovo previesť všetky súbory vrátane kalibračných z RAW do fits a urobiť debayering. Potom kalibrácia snímkov prebehne individuálne na RGB kanáloch.
Chce to viac strojového času ale dáva mi to lepší výsledok než kalibrácia súborov RAW a následný debayering light snímok, alebo kalibrácia RGB súborov tiff vytvorených z RAW (ani to nebolo zlé).
Nemalo by to tak byť. Podľa názorov na zahraničných fórach by debayering pred kalibráciou mal zvýšiť šum, ale nič také nevidím na mojich dátach.
Týmto sa vyrieši aj problém zafarbeného masterflatu. Skúšal som to čo navrhuje MMys s down+upsamplingom a Linearfit jednotlivých CFA kanálov, ale nejde mi to lebo môj čip má nepárny alias lichý počet riadkov...

#195

Tohle funguje trochu blbě, pokud je debayering nějak adaptivní (třeba VNG) tak se hotpixely v DF interpolují trochu jinak, než ty samé hotpixely, mající reálné okolí v obraze. Rozdíl sice není velký, ale kalibrace pak není dokonalá, po hotpixelech (které se debayeringem rozlezou na více pixelů) tam zbydou takové artefakty. Pokdu se ale dělá při snímání dithering, statistika to nakonec stejně vyhází.

Akorát tohle bude 3x pomalejší a sežere to víc místa na meziprodukty.

ms:
nedělaj down/up sampling, ale splitCFA a mergeCFA, ten má určitě počet řádků/sloupců korektně ošetřený.