MRAW - pokus o další program pro práci s RAW

[MP]

Otazka je, jak se k NEF souborum stavi jine neoriginalni programy, protoze napriklad DSS s nimi normalne pracujePrakticky vsechny vyuzivaji "algoritmy dcrawu". A "dcraw" Davida Coffina je tak trochu ovlivnen Thomasem Knollem od Adobe (hlavni autor a obhajce DNG, vyvojar DNG konvertoru, spoluautor Photoshopu apod.). Mozna je tam i nejaka prima spoluprace.

Jak jsem koukal do dcrawu, tak okraje moc neresi, take jeho vystupy uplne nesedi s "originaly" z firemniho SW. Kalibraci cerne nedela, bud se da zadat rucne nebo vezme nejakou pevnou hodnotu z tabulky podle typu fotaku (pro vetsinu Nikonu nulu, obcas tam ma nejakou nenulovou hodnotu). A D.Coffin primo ve zdrojaku pise, ze ta tabulka je od Adobe, takze DNG konvertor a CameraRaw asi delaji to same. Rozdil je v tech okrajich snimku - DNG konvertor i CameraRaw maji skutecne databazi fotaku a ty parametry, co nejsou v RAWu, do DNG doplnuji podle typu fotaku z tabulek. Takze ta databaze by se dala snadno vytvorit prohlizenim vystupu DNG konvertoru pro ruzne fotaky. Ale delal bych to nerad, protoze to znamena stejny problem, jako ma Adobe : program by byl automaticky nekompatibilni s jakymkoliv novym fotakem, dokud bych ho nedoplnil do databaze.

[ceres]

Prima, kdyz das par NEF souboru z D200 a D300 nekam na web, stahnu si je a odladim to. Zatim staci jakekoliv fotky, jde o to, jestli je umim dekomprimovat. Pozdeji by se mi hodila nejaka sada "astrofotografickych" dat - jedna nocni fotka a k ni nekolik DF a FF - abych to mohl cele otestovat. S Canony je to uz snad vyzkousene dostatecne, ale od Nikonu mam jen stary kompakt, tak jsem zavisly na datech od kamaradu  :)
Tak ladujem nefy z D200 a D300 na server. Nasiel som pre D200 nejake light aj DF zo zatmenia Slnka v Side, nie su to ale dlhe expozicie. A z D300 som tam dal len light, DF som nenasiel, dorobim ale podla poziadaviek

http://www.global.sk/af/nef.rar

[MP]

Diky, uz to mam stazene.

Dobra zprava : data v tech NEFech z D200 i D300 jsou nekomprimovana, takze problemy se ztratovou kompresi nebudou.

Horsi zprava : ta nekomprimovana data jsou rozdelena tak, ze je MRAW neumi poskladat, ale odpovida to jedne ze specifikaci TIFFu, takze je jasne, jak to funguje. Tohle implementovat nebude problem, do vecera to udelam.

Jinak je zajimave, jak moc se lisi velikost jednotlivych nekomprimovanych RAWu z D300. Ty z dubna jsou totiz 12bitove, ty novejsi 14bitove. A ty uplne nove maji mene komprimovany vlozeny JPEG nahled. Asi upgrady firmware, ze ?

[FunTomas]

MRAW som s obrovskou radosťou pár krát použil a odprezentoval jeho vlastnosti na stretnutí v Hlohovci. Teraz som sa chystal na globálne spracovanie dát a použil som novú verziu. Žiaľ výsledok spracovania CRW je v tomto prípade horší ako v staršej verzii. Dal som k dispozícii výsledný obraz po spracovaní staršou verziou (zo 6.11.) a touto novou.

http://www.astrofoto.sk/images/tmp/cc81 ... 112009.zip
http://www.astrofoto.sk/images/tmp/cc819_mraw_new.zip

Ak je treba môžem tam dodať aj zdrojové súbory použité na spracovanie. Môžeš na to Marek prosím pozrieť? Vopred díky, zatiaľ používam tú staršiu verziu.

[MP]

Ak je treba môžem tam dodať aj zdrojové súbory použité na spracovanieDiky, to by bylo fajn, at vidim, co to dela. Ono se to lisi pripad od pripadu, nova verze proste davala lepsi vysledky se soubory of "Fra", co jsem mel k dispozici.

Jinak uz mam hotovou a otestovanou verzi, ktera zpracovava soubory z Nikonu D200 a D300. Ale zatim to nebudu davat na web, nejdriv se podivam na tohle, abych to hned zase nepredelaval.

PS : tak jsem se dival na ty vysledky a muzes mi, prosim Te, napsat, co Ti na nich konkretne vadi ? Ja vidim nejvetsi rozdil v barvach saturovanych hvezd, ktere byly driv mene vyrazne a vsechny vic do cervena (to je dane zpusobem zaznamu barev). Tohle jsem upravoval podle dennich snimku z Nikonu, ktere mely cervenou i oblohu apod., melo by to ted celkem odpovidat tomu, co fotak nasnimal.

Kazdopadne jde jen o prevod do RGB a to neni zrovna to, k cemu je MRAW urceny (i kdyz si s tim take hraju). Spis bych rad vedel, jestli se podle Tveho nazoru zhorsila kvalita kalibrace snimku podle DF a FF - to je to hlavni a take jsem to upravoval. Ja na tech snimcich v tomto smeru zadny podstatny rozdil nevidim.

[Konihlav]

vzhledem k tomu, ze jsem ted naposledy fotil i na sve mobilni sestave s Canonem 1000Dmod, budu to (bohuzel) muset taky nejak zpracovat (coz me u dat z DSLR nebavi, protoze to neumim, kdyz jsem na ni nikdy nefotil) a tak se podivam na zoubek i tomuto SW

jen takovy prvni nejapny dotaz: a co dark framy pro flat field snimky ??? pouziva se to? ma to smysl?

ja udelal totiz prvne flat filed snimky pro light data (protoze mam taky mimo jine kapku lepidla na objektivu) a dokonce me napadlo, ze by se snad mely delat i darky pro flaty ne?

diky za objasneni

[Psion]

Pro správnou kalibraci by se měly dělat DF pro flat snímky, to ano, nicméně já jsem tam díky SW MRAW moc rozdíl nepoznal mezi pouzitim DF a jejich nepoužitím.

[MP]

a co dark framy pro flat field snimky ??? pouziva se to? ma to smysl?Zalezi na delce expozic tech flatu. Prave kvuli Psionovi jsem doprogramoval automatickou eliminaci hotpixelu ve flatech, takze to slusne funguje i bez darku pro flaty. Pokud flaty delas "normalne", tedy expozicemi neceho jasneho ve zlomcich sekundy, neni to potreba. A u MRAWu to ted neni potreba ani u delsich expozic.

[Konihlav]

flaty jsem delal prvne v zivote vyslo mi to na 1/40 sec pres 2x A4 a monitorovou bilou.

Zitra vecer/v noci to budu zkouset zpracovavat tak se pak ozvu (zatim jsem jen koukal na web o co tady "go" )

[MP]

Tak jsem tu zase.

V prvni rade dekuji FunTomasovi za poskytnuti CRW souboru, je to uzitecny studijni material.

Na puvodnim miste je opet nova, "prvni beta" verze programu MRAW. Umi nacitat vsechny mozne nekomprimovane varianty NEF souboru z Nikonu D200 a D300, diky pomoci cerese. Zase jsem se neco naucil : je zajimave, ze jeden D200 dokaze behem nekolika sekund zaznamenat RAWy ve dvou ruznych formatech. Nebo ze D300 jednou zaznamenava 12bitova data ve 12bitovem formatu a podruhe 14bitova data v 16bitovem formatu. Proste je videt, ze Nikon dela, co muze, aby jeho data necetl kde jaky blbec  :)

Jeste mi zbyva jeden typ zaznamu, ktery NEF teoreticky umoznuje a se kterym jsem se jeste nepotkal : klasicka bezztratova LJPEG komprese, jakou pouziva CRW, CR2 i DNG. Muze byt ruzne usporadana a rozkouskovana, takze az na ni narazim, budu asi muset zase doplnit par radku do programu. Proste az narazite na NEF soubor, ktery MRAW neprecte spravne, poslete mi ho.

Ke zpracovani NEF souboru : i ty nekomprimovane neobsahuji maskovane okraje senzoru a maji uz odectenou uroven cerne. Takze napasovani DF nejde udelat tak "odborne", jako u CR2 a CRW. Navic asi maji uz eliminovane hotpixely, v darkframech z D200 nenasel MRAW ani jeden. Je tam jen trocha barevneho sumu. Takze soubory z Nikonu jsou uz "predzpracovane" a MRAW s nimi moc uzitecneho uz neudela. Presto to funguje a aspon nejake systematicke slozky sumu to snizi, ale rozdil mezi kalibrovanym a puvodnim snimkem neni tak velky, jako u fotek z Canonu.

Abych vysvetlil "barevne hvezdy", ktere vadi FunTomasovi :
Problem vznika nerovnomernou spektralni citlivosti senzoru. Na cervenou a modrou je senzor citlivy mene, nez na zelenou. To se resi nasobenim dat z RAWu koeficienty, ktere jsou v tom RAWu zaznamenany (podle vybraneho vyvazeni bile). Takze cervena se napriklad vetsinou nasobi vetsim cislem, nez zelena. Jenze saturace senzoru nezavisi na barve a tak po vynasobeni temi koeficienty lezi saturace cervene vyse, nez saturace zelene. CameraRaw, dcraw a podobne progrmy si s tim nelamou hlavu a proste "oriznou" urovne podle te zelene (nebo jine barvy s nejnizsim koeficientem). Takze hvezdy, saturovane v jakekoliv barevne slozce, jsou proste bile. Ja jsem se snazil i po prevodu do RGB zachovat vice informace z RAWu a implementoval jsem krivku "umele saturace" barevnych slozek, ktere saturovane nejsou, ale presahuji uroven saturace jine slozky s vyssi citlivosti. Vysledkem bylo, ze i v saturovanych hvezdach zbylo trochu barevne informace a tak nebyly bile. Ale ta barevna informace opravdu pochazi z RAWu a ma neco spolecneho se skutecnou barvou hvezd.

Pokud to autorovi fotek vadi, ma jednoduchou moznst : oriznout urovne v editoru shora tak, aby se dostal nize pod uroven saturace, barevna informace se ztratila a hvezdy byly bile. Pokud bych to automaticky oriznul v MRAWu (jako to dela treba CameraRaw), mohl bych degradovat detaily v cervenych mlhovinach, ktere se na dobre proexponovanych fotkach treba blizi urovni saturace a pritom urcite nejsou bile.

V teto verzi jsem udelal kompromis, slozeny ze dvou veci, implementovanych v procedure pro prevod do RGB : 1) jsem trochu snizil automaticky detekovanou uroven saturace, takze ji vice hvezd presahuje a jsou tedy bile. 2) v blizkosti urovne saturace micham barevne kanaly do sebe a tak snizuji saturaci barev. Tim ale vznikl algoritmus s pomerne tezko predvidatelnymi vysledky pro kazdou jednotlivou fotku. Odladil jsem ho na tech, co mam k dispozici. Takze budu rad, kdyz mi poslete priklady fotek, kde to nevyhovuje, abych to jeste upravil.

[MMys]

Marku, přesně na tohle jsem narazil, když jsem na semináři na Slovensku zpracovával po přednášce před celou veřejností v planetáriu snímek jednomu člověku. Byla to kulovka M13. Došlo tam k témuž, prostě přeexponované hvězdy a střed kulovky byly tuším zelené.

Stalo se mi to poprvé, můj předchozí processing (Subraw, Camera RAW) tímhle netrpěl. Chvíli jsem tam byl "za blba", dělal jsem to tam poprvé a bez přípravy, takže mě chvíli trvalo, než jsem to prokoukl. Nakonec jsem to oříznul

[MP]

Tak to se omlouvam, netusil jsem, ze to zpusobi takove problemy. Zkuste tu posledni verzi, ktera urovne orezava vic, ale porad mene, nez dcraw nebo CameraRaw. Mne se to nejak nechce orezavat tak tvrde, kdyz si v 16bitovem formatu muzeme dovolit ulozit trochu informace navic. Ale budu s tim jeste experimentovat, tak dejte vedet, na cem konkretne se vam to nelibi.

[Konihlav]

MP: tak jsem nechal mraw bezet mem foto laptopu (Lenovo S10e), protoze to neni zadny vykonny stroj a cekam, ze to bude trvat az do vecera (kdybych pustil DSS tak to mozna vecer bude).

Zatim jsem to jen tak lehce zkontroloval a prvni vec, co me zarazila: ono to "zere" jen 64 dark snimku??? Udelal jsem jich koukam 74 a nacetlo to jen prvnich 64 souboru. Mas v tom omezeni? Vypada to, ze ano (do zdroju jsem nekoukal, zas tolik casu nemam).

Zaroven mam i mnohem vice light snimku (kouknul jsem, ze 140 ;D to vis 30ti vterinove expozice a ISO1600 chteji inzenyrsky pristup), tak jsem zvedav, zda se to na 64 taky zastavi.

No a posledni detail: average? na dark snimky? Ja tedy zasadne (od te doby co se focenim zabyvam) pouzivam na dark framy median (fotim jen CCD kamerou, DSLR je pro me novinka). Takze me by se libilo, kdybych tomu mohl rict, at mi to nedela AVG ale MED je to jen muj nazor, ale podle me je tohle zasadni vec (fundamentalni) rozhodujici o kvalite master darku. Nebo mi neco unika??? diky za objasneni

[Konihlav]

OK tak MAXFIL je 64 coz to vysvetluje. Muzu si to prelozit u sebe na linuxu, ale ten median se mi tam dodelavat nechce

[Konihlav]

jo a jeste by bylo fajn logovat vystup do nejakeho textoveho souboru (kdyz dam presmerovat stdout do souboru a to jak pod windows tak pod linuxem, tak nic nedostanu, pokud pod linuxem dam '| tee' nebo script tak to samozrejme jde).

to jen takova malickost ;D