MRAW - pokus o další program pro práci s RAW

TomasN · #76

Spíš by bylo Marku zajímavé udělat výstup do FITS... přece jenom je to astronomický formát.Za ten FITS se taky přimlouvám, ten by byl univerzální.

MP · #77

No dobre, ale ve FITS se nevyznam, nikdy jsem s nim nepracoval. A mam obavu, ze v nem nejde zaznamenat ta spousta "camera and sensor specific" informaci, co jsou v CR2 nebo v DNG. A nam jde hlavne o zaznamenani zprumerovanych RAWu pro pripadne dalsi pouziti se vsemi informacemi, ktere v tech puvodnich RAWech byly, aby s nimi MRAW mohl pracovat stejne kvalitne. A druhy ucel je zachovani RAW formatu pro pouziti "fotografickych" programu pro lepsi prevod do RGB (treba CameraRaw).

Takze FITS bych videl spis jako "konecny" vystupni format na urovni TIFF, ne jako RAW vystup pro "mezivysledky".

S tim DNG je to tezke, ale od verze 1.1 (konvertor 3.2 a vyssi) uz ma stabilni format obrazovych dat, obsahuje vsechny podstatne informace z RAWu a i vystup v novejsich verzich lze napsat tak, ze je s 1.1 zpetne kompatibilni. Takze spis zalezi na kompatibilite konvertoru, nez formatu samotneho.

Dalsi vyhodou je "open" specifikace a moznost pouzit format bez porusovani licence nekoho jineho (Adobe umoznuje volne pouziti). Uprimne si nejsem moc jisty, jestli treba zapisem CR2 neporusuji patenty Canonu. Ono je rozdil nejaky format jen cist nebo vyvinout program k jeho zaznamu. Kdyz tak budu tvrdit, ze o nich nic nevim a ten format jsem si vymyslel sam, nahodou stejne (on tedy uplne stejny neni, jen kompatibilni). Mohla by naopak nastat paradoxni situace, ze by nekdo narkl Canon, ze pouziva "muj" format zapisu a nutil jej dat veskery software, ktery jej pouziva, pod GPL ;D No, radeji to nebudu rozvadet ...

TomasN · #78

No dobre, ale ve FITS se nevyznam, nikdy jsem s nim nepracoval. A mam obavu, ze v nem nejde zaznamenat ta spousta "camera and sensor specific" informaci, co jsou v CR2 nebo v DNG. ... Takze FITS bych videl spis jako "konecny" vystupni format na urovni TIFF, ne jako RAW vystup pro "mezivysledky".Pokud jsi rozlouskl CRW a CR2, tak FITS bude malina. Jsou to "pouze" binární data a textová hlavička, do které (kromě povinných parametrů) se dají zapsat jednoduché informace typu kdo, kdy a co.
A FITS jako výstupní formát musí úplně stačit.

#79

Marku, ta normalizace DF funguje i takhle špičkově. Vyhrabal jsem nějaké starší CRW rawy z 300D, a zkusil to tím zpracovat. Zrovna jsem nikde nenašel odpovídající DF, tak jsem vzal libovolné z podobného ročního období. Po hotpixelech prakticky ani stopy ;) a to ty DF zcela jistě vůbec nepatřily k dotyčným snímkům.

Jo, a možná ještě jedna připomínka: Nešla by změnit logika alokace paměti tak, aby se nejprve načetly DF a FF a udělaly z nich master DF a FF, pak uvolnit alokované DF a FF (tedy pokud už to neděláš) a pak by se následně alokoval light snímek jeden po druhém, kalibroval, zapsal výstup a opět dealokoval, resp. v tom samém paměťovém prostoru se projela celá sada snímků ? Ty to teď evidentně máš, že nejprve všechny snímky naláduješ do paměti. Přitom žádný proces, který by vyžadoval mít alokované všechny light snímky najednou asi neprovádíš, ne ? Jde to sekvenčně...

Na stolním PC s 8GB RAM je mi to fuk, ale na mém notebooku s 512MB RAM, když to budu chtít použít v terénu, narazím raz-dva a začne mi to swapovat :'(

MP · #80

Jo, to by slo udelat. Ted to skutecne nacte vsechny RAWy a az potom to zacne neco delat. Ona ta CFA data zase tolik nezabiraji, horsi je to s RGB a tam uz je to osetrene. Po zprumerovani DF a FF se jejich pamet uvolni, aby bylo misto na RGB a kazdy RGB obrazek se okamzite ulozi do TIFFu a zrusi, pak se teprve prevadi do RGB dalsi. Takze jedina zmena bude nacitani light snimku az po zprumerovani DF a FF. Ale stejne, s mene, nez 1GB pameti to nebude nic moc ...

KDan · #81

Vyzkoušel jsem Tvůj program na relativně nedávných snímcích a zdá se, že funguje výborně.

Dovol otázku: Je vůbec nutné do programu dodávat DF? Ten algoritmus je zřejmě tak sofistikovaný, že by mu mohly stačit jen light frames... ;)

#82

DF jsou nutné. Jak jinak zlikviduješ různým temným proudem "nateklé" pixely ? DF je klíčový. A Flat v podstatě také, protože bez něj si nemůžeš dovolit razantnější stretchnutí úrovní.

KDan · #83

Já RAW formát vůbec neznám, jen principiálně vím, o co jde, tak se omlouvám, jestli plácám nesmysly. Myslel jsem, že by šlo aspoň některé klíčové statistiky DF vypočítat z těch před světlem maskovaných oblastí snímku a na jejich základě pak vygenerovat umělý DF.

#84

To právě nejde. Každý pixel akumuluje pomalu elektrony tzv. temným proudem a bohužel každý jinou rychlostí. Hotpixely pak velmi rychle.

Okrajovou oblast Marek využívá jinak - k přizpůsobení temného snímku přesně k light snímku, který byl pořízený při trošku odlišné teplotě. Prostě znormalizuje DF tak, aby si zastíněné okraaje DF a light snímku co nejvíce odpovídaly. Jednoduše řečeno...

KDan · #85

Jasně, chápu. Mělo mě to napadnout hned, ale byl jsem unesený funkcí toho Markova programu.

Když jsem si s tím onehdy v Matlabu hrál, používal jsem při interpolaci DF podobným způsobem, jenže jsem je měl převedené do formátu TIFF. Do RAWů jsem se nepouštěl.

Díky za takový programátorský počin. Coby stále ještě potenciálně dlouhodobý uživatel DSLR se na výsledek těším.

MP · #86

Je to, jak pise Martin. Bez DF by jeste sly mozna vygumovat nejhorsi hotpixely - to jsem tam dodelal kvuli Psionovi pri zpracovani FF, protoze on pouziva skoro cerne flatfieldy, porizene dlouhymi expozicemi a hotpixely v nich delaly bordel i po mirnem "vyhlazeni" (musel by jinak pouzivat DF i na pripravu FF). Ale nedaly by se potlacit efekty, ktere nemaji ciste "bodovy" charakter a tak nejdou najit vyhodnocenim male okolni oblasti. Tedy treba fleky od elektroluminiscence, ruzne temne proudy celych sloupcu nebo radku snimace apod. Kdybych totiz tu zkoumanou oblast rozsiril a potlacil v ni vsechno, co "precniva", vygumoval bych i detaily. To je snesitelne prave jen u FF a jeste jen do urcite miry, aby se s pomoci FF dal "gumovat" i prach na chipu apod. Pokud jde o light snimek, tam se snazim o zachovani veskere informace z RAWu a to je s filozofii automatickeho potlaceni hotpixelu a ruseni bez DF v primem rozporu.

MP · #87

Opet jsem vymenil soubory na puvodnim miste, pribyly dalsi drobne upravy :

Poradi nacitani souboru a spravu pameti jsem upravil podle vyse uvedeneho navrhu Martina Myslivce. Z hlediska pameti jedinou vadou na krase zustava, ze light snimky se take nacitaji vsechny najednou, zatimco by se mohly cist postupne, zpracovat, ulozit a zrusit. Ale to snad tak hrozna vada neni, kdyz se predtim do pameti stejne musi vejit vsechny DF a pak vsechny FF kvuli prumerovani. Postupne zpracovani snimku by mi zkomplikovalo program kvuli jeho univerzalnosti, kdy se az po nacteni snimku rozhoduje, co s nimi udela (muze je i zprumerovat, kdyz po nem nic jineho nechcete).

Dale jsem se trochu venoval nacitani DNG, takze nektere to uz umi zpracovat spravne podle vsech pravidel, ale zdaleka ne vsechny.

Dobra rada na zaver : vyhnete se verzi DNG konvertoru pro Linux. Dela dost strasne veci. Obrazek se sice da prohlednout i nacist treba do PhotoShopu, ale chybi v nem spousta informaci. Sice v souboru je verze DNG 1.2.0.0, ale to se projevuje jen spoustou zbytecnych tagu navic, skutecny format obrazku spis odpovida verzi 1.0 (bez maskovanych okraju apod.)

A timto si od MRAWu davam pauzu, na pristich par veceru mam uplne jiny program ;D

#88

Takhle to asi bude stačit, víc už si to nekomplikuj

Psion · #89

Jo tady je ten náhled na fotku IC1396 s ISO 3200 17x5 minut, bez pointace, přes Pentax 75 a Canon 40D na MHV2009. Bohužel je to dole rozostřené, škoda...

Mraw si s tím poradil výborně, musím uznat, že to byl velmi dobrý programátorský počin a je vidět, že ty reaktory jsou v dobrých rukou

BiF · #90

Takhle to asi bude stačit, víc už si to nekomplikuj :-)Tak to ne, ještě mi tam chybí "Register&Combine (Average, Median, ..." pro light snímky. ;D

(zase pokus o žert, i když...)