temný prúd, vyčítavačí šum, bias a darkframe

[Roman (Rick)]

len presne neviem aký je rozdiel medzi pojmom šum, vyčítavací šum a temný prúd, aký je ich pôvod a čo je to vlastne zač.

za akúkoľvek odpoveď vopred ďakujem

[Roman (Rick)]

myslím, že temný prúd spôsobuje šum fotografie a ten vyčítavací šum podla mňa je spôsobený zosilovaním signálu pri vyčítavaní hodnôt z čipu, ale niesom si istý, prosím niekoho o krátku odpoveď
ďakujem

[MMys]

Anglicky je toho hromada, česky doporučuji tohle:
http://ccd.mii.cz/art?id=303&cat=1&lang=405

Jinak by to bylo povídání na dlouhou dobu.

[Roman (Rick)]

vdaka, už si to čítam, je tu to dobre rozpísané,

[JakubS8]

Ahoj. Začínám s astrofotografií a po přečtení téměř všeho co tu je na astroforu k mání (a že mne z toho už bolí hlava - mám na vás zkušenější několik otázek, protože tomu ani tak nerozumím.

Pokud jsem správně pochopil:

Když mám rovné pole, resp.kvalitní APO ED refraktor - nemusím dělat FF foto.

Proč se dark framy fotí několikery? Resp. Proč nestačí z oné noci pouze jeden dark frame shodným expozičním časem a tento použít ke všem snímkům? Musí být tolik DF-mů kolikrát exponuji? (A nebo jsem to špatně pochopil a stačí mi  jeden,? :_)  

[Alien_MasterMynd]

Ahoj, FF potrebujes, ten nijak nesouvisi s rovnanim pole FF ma sice v nazvu flat, ale mysli se jasovy flat Tzn. pomoci nej udelas korekci nerovnomerneho osvetleni snimaci plochy (typicky vinetace v rozich obrazu).

DF musis udelat hodne a zprumerovat. Duvod je ten, ze potrebujes pouze temny signal. Kdezto ve snimku je pritomen i nahodny sum (dopady nabitych castic, nahodne fluktuace ve snimac a dalsi zdroje sumu, vcetne tech, ktere vznikaji az za snimacem). Takze tim, ze zprumerujes hodne snimku, tim ziskas ve vyslednem DF v podstate jen temny signal, protoze pri dosatetcnem poctu dilcich DF ty zbyle sumy budou po zprumerovani nepodstatne. Ostatne, je to stejne, jako kdyz prumerujes normalni snimky, chces se zbavit toho, co je na kazdem snimku jine (nahodne) a zachovat jen to, co je stejne. No a DF musis odecist od jednotlivych dilcich expozic zvlast, protoze kazda dilci expozice je o kousek posunuta (proto se taky registruji na sebe pred slozenim), takze temny signal by ti ve vysledku udelal barevne smouhy

[JakubS8]

Jj díky za info. A v Adobephotoshopu 9. profesional CS2 se nedá pracovat s DF snímky a sčítat jednotlivé expozice, které se pak odečtou od DF??

[Alien_MasterMynd]

Tohle je potreba delat jeste v RAWu pred slozenim RGB slozek do vysledneho snimku. Idealni je na to subraw, najdes ho tady: http://canon.unas.cz/subraw/subraw.htm. Je totiz potreba pracovat se zdrojovymi daty.

[FunTomas]

Toto je pokračování diskuze ohledně zpracování astrosnímků (dark, bias, flatfield) přesunuté ze sekce o kometě 17P/Holmes

MMys



MMys napsal: Otázkou je zda je flat aplikovaný správně. Tedy zda je od flatu nejprve odečten bias, a zda je master-flat aplikovaný až po odečtu temného snímku. (Pokud se používá temný snímek, obsahuje tento již zároveň posun signálu - tedy to co určuje bias a tedy netřeba ho používat samostatně na snímek). Kritický je hlavně odečet bias snímku od flat field snímku. Bez něj to koriguje vinětaci špatně. Byl master-flat korigovaný master-bias snímkem ? Pokud ne, je důvod nerovnoměrností jasný. ...Píšem sem, no treba to asi preradiť do inej sekcie, pretože sa to netýka len kamery QY... ale spracovania snímok všeobecne. A hlavne sa to netýka kométy Holmes.
To čo Martin píšeš je ako čítanie hieroglyfov. Už som si myslel, že danej problematike rozumiem a po prečítaní tvojho príspevku neviem kde je sever.

Urob prosímťa jasno v pojmoch a potom to skúsime zabaliť do nejakej grafickej schémy.
Čo považuješ za master-dark? Spriemerovaný snímok z jednotlivých darkov, od ktorých bol odpočítaný spriemerovaný bias?
Ak som správne pochopil články písané v ingliš jazyku, tak pri odpočítavaní darku netreba odpočítavať bias od snímky, pretože je bias automaticky odpočítaný odpočítaním darku.
Používajme anglické názvoslovie, nech to lingvistov na fóre aj roztrhne. Prekladať tieto odborné termíny je nezmysel.
Napriek snahe som neporozumel ako vznikne problém o ktorom si písal vo svojom príspevku. Skúsiš to vysvetliť nejako inak (alebo mimo - emailom)?

[FunTomas]

ceres napsal: ...
ten sum v rohoch je podla mna sposobeny tym, ze na originalnom sucte su okraje uz dost vignetovane, proste Borg tam ma vyrazny pokles....Toto je tým, že Borg síce vykreslí bez problémov uvedené políčko kamery, no koncovka T2 nemá dostatočný priemer a spôsobuje vineáciu. Na foťáku používam modifikovaný bajonet s väčším vnútorným priemerom a nepozorujem žiadne dramatické poklesy jasnosti.

ceres napsal: ...Inak, to skladanie v IRIS-e robi FunTomasovi uz dlhsie problemy, neviem, kde by asi tak mohla byt chyba... Funtomasovi to robí problém v hocičom. Naskladať obrázky z EOS-u bol problém aj v AstroArte ak si spomenieš. Hotpixle sa menili na čierne diery a podobne.
Postup podľa návodu Ch.Buila nikam nevedie. Nie žeby bol IRIS nevhodný soft. Autor k nemu ale nenapísal taký help aký by som čakal. Častokrát sa uvedú v príkladoch nejaké bulharské konštanty bez vysvetlenia ich významu. To je potom ťažké niečo skúšať. Plusom je aspoň to, že IRIS mi na rozdiel od iných programov nevytvára zelené snímky.
Pokiaľ nie je jasne a zrozumiteľne vysvetlený postup práce s raw dátami, tak to je len varenie nejakého lektvaru. Ono to je v skutočnosti zložitejšie ako pripočítať, odpočítať a vydeliť. Takto zjednodušene to mnohí popisujú ale realita je žiaľ iná. Tento zjednodušený postup spravidla nikam nevedie a ja sa márne snažím dopátrať nejakému funkčnému návodu ako na spracovani snímok aj s vysvetlením princípu.

[FunTomas]

Mraza napsal: ...
Pri spracovani bol pouzity aj dark aj flat (potvrdi asi Funtomas). ...Flat použitý nebol. Ak sa pamätáš, tak po jeho aplikácii vznikali modré obrázky. Nevedel som to korektne spacovať vo formáte FITS. Teraz už viem ako na to, tak by som mohol ten Flat aplikovať, ale ako si čítal, problém u m§a je, že nerozumiem na dostatočnej úrovni daným procesom (hrozné, že?) a to potom naozaj nemôže viesť k takým výsledkom ako by sa očakávalo.

[FunTomas]

A už keď som sa tu rozpísal, tak zopakujem pri tejto príležitosti opäť raz položenú otázku tu na fóre, na ktorú ale neviem doteraz odpoveď.

Vie mi niekto poradiť ako má vyzerať správny Flat? Ako mám zhotoviť správny Flat snímok?
??? :-/ :'(


Martin preradíš tieto príspevky do nejakej témy mimo Holmes? Píšem ich sem len preto aby sme nestratili niť.

[MMys]

Nejprve tedy trochu informace k tomu, jak je to s těmi DarkFrame, BiasFrame a Flatfield. Budu předpokládat lepší případ, barevnou chlazenou CCD kameru, jako je třeba QHY8 . K DSLR se vrátím později, mnoho věcí je společných.

V zásadě je možné použít několik přístupů. Ke všem z nich je třeba vytvořit si tzv. Master snímky - není to nic jiného, než zprůměrovaných (nebo lépe mediánovaných) více snímků patřičného typu. Tato operace eliminuje náhodný šum, který by v případě použití pouze jednoho snímku značně degradoval poměr S/N u výsledného snímku. Počet snímku pro výrobu master snímku by měl být srovnatelný nebo vyšší než obvyklý počet zpracovávaných snímků. Já používám master snímky z dvaceti snímků.

tak teď už k nim.

1) Bias - opomíjený, ale dost zásadní pro kalibraci. Vyjadřuje offset signálu ze senzoru, který nebyl exponován. Je závislý na nastaveném zisku kamery (citlivosti u DSLR), u QHY8 i na ruchlosti vyčítání a parametru OFFSET. Já osobně mám tři, pro nejčastěji mnou používané hodnoty zisku, a pro pomalé vyčítání. Pro toho, kdo má QHY8, tak používám GAIN 50 a 63, vyjímečně 0 pro objekty s velkým dynamickým rozsahem. Master bias se vyrobí velmi rychle nasnímáním nejkratších expozic se zakrytým fotoaparátem či kamerou. Doporučuji si ho prohlédnout při pořádném stretchnutí úrovní, sami uvidíte, co je tam různých pruhů (DSLR CMOS senzor) nebo jak je nerovnoměrný - s gradientem (CCD kamera).

2) Dark frame - to všichni známe. Nevýhodu je nutnost mít ho pro každou variantu citlivosti (zisku) času a teplty (u DSLR a kamer které jsou značně teplotně závislé). Tuto problematiku lze vyřešit pomocí tzv. scalable dark frames. Jak jsem již zmínil, běžný dark frame je vlastně součet biasu, a naakumulovaného temného proudu. V tomto případě nelze pro poloviční čas expozice jednoduše použít darkframe vydělený dvěma (offset-bias je totiž konstantní). U scalable dark frames se to řeší tak, že tyto DF nezahrnují bias. Prostě se od Master Darku odečte Bias frame, a s tímto tzv. Scalable Dark Frame pak lze manipulovat v tom smyslu, že ho můžeme před aplikací násobit nějakým měřítkem, podle délky expozice snímku, na který ho chceme aplikovat (U DSLR to narozdíl od CCD bohužel moc nefunguje, linearita je tam asi dost diskutabilní a je tam spousta vlivů, které neznáme). Scalable dark frame by měl být pořízený velmi dlouhým časem, aby byl dostatečně reprezantativní a přesní i po aplikaci koeficientu. Doporučuje se několika (3-5 násobek) nejdelších expozičních časů snímku.

Ještě je třeba věnovat pozornost saturovaným, a nebo v nelineární oblasti se nacházejícím hotpixelům. Ty po odečtení vyprodukují v jejich místě v obraze nulu (černý bod), takže tato místa je třeba dointerpolovat z okolních bodů snímku (V maxim DL používam funkci hot pixel map, SubRAW má parametr --h nnnnn, kde nnnnn je úroveň v ADU pixelů v dark frame, nad kterou se hotpixel neodečítá, ale dopočítá v obraze z okolních. Pro konkrétní snímek a foťák to chce stanovit experimentálně.

3) U chlazených kamer s ICX... senzory od Sony (třeba některé Atik, Starlight Express, QHY8 ), které mají obecně velmi nízký temný proud, lze dle mých zkušeností při expozicích do několika desítek minut, a při chlazení na teplotu pod přibližně -10 stupňů používat místo darkframe pouze tzv. mapu hotpixelů. Darkframe se totiž téměř neliší od biasu. Vyjímkou jsou jen osamocené hotpixely, zbytek obrazu je prakticky shodný. Lze proto aplikovat metodu, kdy se od snímku odečte místo master dark frame pouze master bias. Z master Dark frame (z toho pro nejdelší zamýšlenou expozici) se vygeneruje hot pixel mapa (seznam poloh hotpixelů) a pixely v jejich míste ve snímku se dointerpolují z okolních hodnot. Obrovskou výhodu je to, že stačí patřičný Master bias, který se vyrobí velmi rychle, a mapa hotpixelů pro nejméně příznivý případ, která stačí jedna, a jde používat i pro připady, které jsou příznivější (hotpixelů je obecně u těchto senzorů velmi málo a příliš se neliší v závislosti na čase ani teplotě)

Tato metoda samozřejmě nefunguje s DSLR, ani s CCD senzory s vyšším temným proudem (třeba Kodak KAF..., KAI... ) U nich je darkframe značně závislý na čase a teplotě, i když je senzor chlazen, a od bias frame velmi vzdálený.

4) FlatField - poměrně klíčová a problematická záležitost. Pro účely přesné fotometrie naprosto klíčová, a byla o tom napsána kvanta pojednání. Pro naše snímky to tak dramatické není, nicméně je pár věcí nutné dodržet. První klíčovou podmínkou je rovnoměrnost osvětlené plochy. Mě se osvědčilo několik vrstev pauzáku (nebo i obyčejného bílého papíru) na rosnici či vstupu do tubusu u reflektoru. Osvětlení dělám buď namířením na denní světlo (na oblohu, nejlépe zataženou) nebo doma na vzdálenější žárovku, daleko alespoň tak desetinásobek průměru. Focuser v pozici zaostření na nekonečno. Pak pořídím sadu snímků tak, abych byl s histogramem někde mezi třetinou až polovinou dynamického rozsahu) za polovinu nedoporučuji kvůli nelinearitě antiblooming senzorů.
Předpokládám zkolimovaný sytém (newtona doporučuji překontrolovat) a víceméně symetrický flatfield, která pak používám pro všechny úhly natoční kamery (foťáku). (To by mi proměnáři poděkovali, za takovéhle rady ) Z mých zkušeností to vždy vyhovělo.

Sadu těchto snímků zprůměruji, ale to není vše. Průšvih je Bayerova maska, ta musí pryč, protože při kalibraci by pak vzhledem k různým hodnotám v jednotlivých kanálech ovlivnila baravné podání (viz. Funtomasovy modré snímky) podle toho, při jakém typu osvětlení byly flaty pořízeny. Bayerova maska se zlikviduje zprůměrováním třeba čtveřice pixelů. V MaxIm DL je na to funkce "apply box-car filter" V SubRaw-u pro DSLR Honza také naprogramoval průměrování flatfieldu.

Poslední klíčovou operací s flat field je jeho kalibrace. Tedy odečtení jeho vlastného dark frame. Vzhledem k tomu, že expoziční doba flatfieldu je velmi krátká (zlomky sekundy), lze aplikovat obvykle ODEČTENÍ BIAS frame. Ano, ve flatfieldu je samozřejmě obsažen. Problém je, že tam obsažen být nesmí. Flat field charakterizuje propustnost soustavy pro různá místa pole, a snímek se jím dělí. Flatfield se před dělením v SW nějakům způsobem (skutečná realizace záleží na vnitřních algoritmech SW) normuje, aby jeho střední hodnota byla rovna jedné, a určuje relativní změny jasu v různých místech pole. Pokud ve flatu zůstane bias, tento ovlivní měřítko flatfieldu (je k němu přičtena vlastně konstanta, a to ještě není úplně pravda, bias není rovnoměrný) a relativní změna jasu v poli je pak zkreslena (je relativně nižší než by ve skutečnosti byla , kdyby snímek nebyl ovlivněn biasem). Takovýto flatfield bez odstraněného biasu pak má menší účinnost (část vinětace zůstane a při zpracování zase "vyleze") a pokud je bias "nehezký" tak (byť v minimální míře) se projeví jeho vliv ve snímku. Jak moc, to záleží na tom, v jakém poměru je úroveň bias snímku k úrovni flatfieldu. U kamery QHY8 záleží bias (a tím i nejnižší úroveň v ADU ve snímku) značně na nastavení parametru OFFSET. Já používám hodnotu 110. U DSLR záleží bias na nastavené citlivosti, a doporučuji ho používat.


Teď tedy konečně ty metody, jak kalibrovat:

A) metoda se snímku odpovídajícím dark frame:

1) Aplikace (odečet) master dark (včetně zakomponovaného biasu) na jednotlivé snímky
2) Aplikace (dělení) master flat field (s odečteným bias frame)
3) Interpolace míst po hotpixelech
4) debayering (konverze na barevný snímek - bude diskutováno později)
5) registrace na hvězdy (či pohyblivý objekt, dle záměru)
6) Vhodné složení. Průměr je asi nejhorší možné řešení. Nikdy se nepodaří kalibrací odstranit všechny defekty, nekteré hotpixely jsou náhodné, jsou zásahy senzoru kosmickými či sekundárními částicemi, letadla, družice. Lepší medián (dává ale horší poměr S/N). Nejlepší jsou různé metody zprůměrování s vyloučením odchýlených hodnot. Je jich několik, chce to nastudovat. V Registaru používám metodu označnou median/mean.

B) metoda se scalable dark frame

1) Aplikace (odečet) bias frame
2) Aplikace (odečet) scalable master dark (tedy s odečteným biasu) vynásobeným koeficintem podle poměru délek expozic snímku a dark frame
3) Aplikace master flat field (s odečteným bias frame)
4) Interpolace míst po hotpixelech
atd... jako u varianty A

C) metoda bez dark frame, s hot pixel mapou

1) Odečtení master bias frame od jednotlivých snímků
2) Aplikace master flat field (s odečteným bias frame)
3) Interpolace míst po hotpixelech (ty můžeme určit z nějakého dark frame, který ale nemusí odpovídat snímku, nicméně měl by být určitě stejnou nebo delší expozicí, než je pořízen snímek)
atd... jako u varianty A

S kamerou QHY8 používám metodu C (bez DF)
S DSLR používám metodu A (s odpovídajícími DF + bias + FF)


Uff... tak to by pro dnešek asi stačilo. Je to trochu zjednodušené, nicméně pro naše účely vyhovující a funkční.

[Ondra.P]

Dneska jsem se poprve pokusil vytvorit Master FLat Field podle MMysova navodu, ale prd tomu rozumim, tak se chci zeptat jestli jsem postupoval spravne?

Nafotil jsem 20 flat fieldu 1/13s, ISO100 proti obloze pres vrstvu pauzaku, histogram je presne v polovine rozsahu.
Potom jsem nafotil 20 dark fieldu 1/13s, ISO100 a 20 biasu 1/4000s, ISO100.

V DSS jsem vsech 20 flatu otevrel jako light snimky, pridal jsem darky + bias snimky a dal sloucit jako median(stredni).
DSS provedl odecet a jednotlive flaty ulozil s priponou *.cal. Z tech jsem pak vytvoril master flat field
viz.http://picasaweb.google.cz/ondrej.podlu ... rFlatField#
(1.flat bez kalibrace, 2.po kalibraci, 3. vysledny master flat) Modifikovanym EOSem 450D pres 2" CLS-CCD filtr.

Zkusil jsem ted ten master flat pouzit na 9x300s a 16x60s M42, na  kterych jsem uz driv delal pokusy s ruznyma flatama a vysledek je zatim 100% nejlepsi, i ten cerny flek ktery byl videt vzdy, ted neni v podstate videt  :)

[Psion]

Flat field a dark frame pro flat field je v pořádku, bias frame bych do toho už nedával, protože složku bias už obsahuje i dark frame.