Nikon D810A: první full-frame pro astro od Nikonu

Optika, montáže, autoguidery, elektronika...
Uživatelský avatar
MMys
Příspěvky: 18038
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 52
Kontaktovat uživatele:

Nikon D810A: první full-frame pro astro od Nikonu

#46

Příspěvek od MMys »

Ale to je podle mě jinak. Mě prostě na tom jednom samém z NEFu převedeném TIFFu ukazuje MaxImDL i PixInsigh ořízlý histogram, kdežto PS krásně vyhlazený.  Já mám takový pocit, že histogram v PS není přesný, ale nějak vyhlazený.

------------------

edit: je to tak, udělal jsem si pokus. Vzal jsem 16bitový monochromatický obraz, vyplnil ho černou. Vygeneroval jsem do něj gaussovský šum, krásně byl vidět celý "kopec" v histogramu. Následně jsem v PS posunul černou tak, abych půlku histogramu uříznul a pak to zase posunul zpátky ke světlejším úrovním (simulace obrazu z Nikonu 810A). Tenhle TIFF se mi v PI i v MaxIm ukáže jako uříznutý histogram, tedy dobře.

Pokud si pak ten obraz v AdobePS LINEÁRNĚ !!! (tedy jen posunem bílého bodu) stretchnu, abych viděl detail histogramu na tmavém konci. PS tam vyrobí místo "ořízlého kopce" znova krásný "gaussovský kopec".

Tedy Photoshop při stretchnutí obrazu nějakým způsobem "vyplňuje" mezery v histogramu, aby nevzniklo při tom stretchnutí hrubší kvantování úrovní. Tedy tenhle způsob pohledu na detail histogramu se nedá použít !

Věřím tomu, co ukazuje PI a MaxIm. To jsou software, které si dost zakládají na exaktních matematických algoritmech, a zdá se že histogram generují správně. Pro úplně ověření bych musel napsat vlastní SW, nebo to udělat v Matlabu. Ale jelikož mě to moc netrápí (Nikon nemaje) nebudu s tím dál ztrácet čas.

Za mě tedy závěr - histogram je uřízlý. Nikon o tom mlží, software pro zpracování obrazů ve smyslu spíše umělecké a komerční fotografie s histogramem nezacházejí úplně korektně.
http://hvbo.cz/foto_astronomy_cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N400/1600, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, kamery MII C3-61000, ZWO ASI 1600MM
Uživatelský avatar
juh
Příspěvky: 2396
Registrován: 29. 09. 2011, 12:44

Nikon D810A: první full-frame pro astro od Nikonu

#47

Příspěvek od juh »

U mna je problem v tom, ze si dost dobre neviem predstavit algoritmus, ktory by az takym sposobom vyhladzoval ten histogram. To by bol dost silny zasah do toho obrazku.

Napada ma len jedna vec ako to otestovat. Zoberiem si ten skonvertovany NEF, skusim z neho orezat pixely s nizkym jasom, potom ho zjasnim tak, aby tam vznikla ta hrana v lavej casti histogramu, skusim do neho vniest nejaku mnozinu bodov urciteho jasu, aby sa ten histogram podobal tym z D810A a dam si zobrazit ten histogram, teda co s nim Adobe PS spravi.
Dostanem sa k tomu az niekedy vecer.
Uživatelský avatar
MMys
Příspěvky: 18038
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 52
Kontaktovat uživatele:

Nikon D810A: první full-frame pro astro od Nikonu

#48

Příspěvek od MMys »

Máš ten soubor 16-bitový ??? Podle mě ně. Musšíš ho tím DCRAWem převést na 16bit TIFF nebo PGM.

A další věc, nesmíš použít moc dlouhou expozici na nízkém ISO. Jakmile už temný signál překročí ten bias digitalizačního řetězce + polovinu šířky histogramu toho "kopce" šumu, k ořezu pak už nedojde, stejně jako u denních snímků, nebo astrosnímků na světlejší obloze. 

Podle mě je celý problém hardwarového charakteru, malá rezerva v biasu při digitalizaci signálu, takže když je krátká expozice (nenateče dostatečný dark current signál) a vysoké ISO (vysoký šum - tedy široký histogram signálu) některé hodnoty jsou pod 0 ADU a tedy je převodník ořízne.  Tak to dělaly starší Nikony kromě 810A. Průšvih byl už i s těmi nulami v signálu, tak to Nikon elegantně "vyřešil" přičtením konstanty v processingu. Místo jiného nastavení biasu při A/D převodu.

Spíš by mě zajímalo, jak to je vyřešené u toho hacknutého firmware.  Když už blbnu, tak naposledy, pošlete někdo NEF z hacknutého Nikonu.

edit:
Adobe PS CS3 zachází s histogramem při stretchnutí jinak, než CS6 (tam je vyhlazení, nebo alespoň zobrazení při vyhlazení výrazně lepší). Navíc se liší histogram obrazu v oknu Histogram, a histogram, který se ukáže v dialogu pro nastavení úrovní. A to velmi výrazně.

edit2:
poslední větu musím korigovat. CS6-ka má vlastnost, že zobrazuje rychlý histogram z nějaké cache, a jen ho přepočítává podle zvolené operace, a to není přesné. Tudíž po zásahu do obrazu se musí kliknutím přegenerovat histogram, znova z aktuálních dat (asi kvůli zrychlení).  A když se znova vygeneruje histogram po stretchnutí toho převedeného NEFu, je ořízlý i v PS :-(
http://hvbo.cz/foto_astronomy_cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N400/1600, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, kamery MII C3-61000, ZWO ASI 1600MM
Uživatelský avatar
Rudohor
Příspěvky: 247
Registrován: 04. 09. 2012, 22:16

Nikon D810A: první full-frame pro astro od Nikonu

#49

Příspěvek od Rudohor »

Prosim, vystavte niekde ten nef alebo nedebayerovany pgm. Naparsovat pgm a spocitat histogram trva menej nez precitat toto vlakno. Ale nie tif, na luskanie tifu dost volneho casu nemam.
Uživatelský avatar
MMys
Příspěvky: 18038
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 52
Kontaktovat uživatele:

Nikon D810A: první full-frame pro astro od Nikonu

#50

Příspěvek od MMys »

http://hvbo.cz/foto_astronomy_cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N400/1600, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, kamery MII C3-61000, ZWO ASI 1600MM
Uživatelský avatar
Rudohor
Příspěvky: 247
Registrován: 04. 09. 2012, 22:16

Nikon D810A: první full-frame pro astro od Nikonu

#51

Příspěvek od Rudohor »


pgm hlavicku som zmazal rucne a potom to presiel programkom:
#!/usr/bin/python
hist = {}
for i in range(65536):
hist = 0;
with open("./bezhlavicky.pgm", "rb") as f:
while True:
a = f.read(2)
if not a:
break
c = ord(a[0])*16 + ord(a[1])
hist[c] += 1
for i in range(65536):
if hist:
print str(i) + " " + str(hist)

V pripade, ze som neurobil chybu: Nad nulou je trosku sumu a potom obrovsky pik v hodnote pixelov 91 a 92, potom druha polovicka gausovky. Nikon (alebo dcraw) to orezava, plus este nejake dalsie upravy.

Prva cast histogramu (hodnota pixelu medzera pocet pixelov):
48 548
49 8946
50 30
51 17892
52 657
53 8
54 7653
55 488
57 9
58 14090
59 428
60 5991
62 404
63 216
64 91
65 16209
66 474
67 14
68 2
69 6
70 4675
71 6
72 8834
73 578
74 3
75 110
76 3517
77 287
79 6969
80 305
81 3222
82 148
83 1
84 257
85 6
86 5599
87 3000
88 12
89 1
90 131
91 5005480
92 6308676
93 681500
94 257093
95 11
96 17
97 51
98 1323842
99 3311
100 51
101 300314
102 66
103 1926
104 706225
105 669303
106 2618
107 88
108 326786
109 710648
110 10
112 699718
113 2114
114 1635
115 1059146
116 8
117 14
118 62
119 1557
120 1410807
121 26
122 107
123 355941
124 60
125 684095
126 715287
127 1442
128 140
129 224
130 353550
131 657571
132 62
133 686562
134 1093
135 244
136 632276
137 328405
138 427
139 175
140 655665
141 2227
142 599392
143 8
144 299974
145 256
146 410
147 1175385
148 1112
149 30
150 778
151 262108
152 1528
153 839194
154 242199
155 429
156 1697
157 1992
158 713682
160 297743
161 202760
162 67
163 770
164 445106
165 182324
166 1915
167 276269
168 164329
169 405298
170 252
171 2100
172 143327
173 578
174 621786
175 127338
176 965
177 1959
178 186
179 111025
180 327670
181 239960
182 1121
183 95702
184 952
185 290713
186 82377
187 1113
188 213519
189 868
190 70348
191 255107
192 86
193 60290
194 806
195 193384
196 223650
197 50979
198 6
199 673
200 41218

Uživatelský avatar
Rudohor
Příspěvky: 247
Registrován: 04. 09. 2012, 22:16

Nikon D810A: první full-frame pro astro od Nikonu

#52

Příspěvek od Rudohor »

Len tak na okraj, zda sa mi, ze nijaky soft v mojom pocitaci nezobrazuje ten pgm spravne, ani pixinsight. Kazdy 16-bitovy pixel zobrazuje ako 2 8-bitove pixle vedla seba.
Uživatelský avatar
MMys
Příspěvky: 18038
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 52
Kontaktovat uživatele:

Nikon D810A: první full-frame pro astro od Nikonu

#53

Příspěvek od MMys »

pgm PixInsight neumí, přesně ta vada co popisuješ, ale po konverzi PGM do TIFFu v Photoshopu je ten TIFF identický s TIFFem co vyrobí DCRAW přímo.

Chybu jsi jednoznačně neudělal, histogram je jako mám u toho TIFFu v PI. Takže PI dělá histogram správně. MaxIm v podstatě také, pokud není v konfiguraci navoleno "fast histogram"
http://hvbo.cz/foto_astronomy_cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N400/1600, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, kamery MII C3-61000, ZWO ASI 1600MM
Uživatelský avatar
Psion
Příspěvky: 12372
Registrován: 02. 01. 2001, 05:03
Bydliště: Praha
Věk: 62
Kontaktovat uživatele:

Nikon D810A: první full-frame pro astro od Nikonu

#54

Příspěvek od Psion »

Mě PI pgm soubor otevře, při převodu do TIFF vypadá histogram pouze trochu jinak, na první pohled je ale jasné, že něco není v pořádku.

Uživatelský avatar
juh
Příspěvky: 2396
Registrován: 29. 09. 2011, 12:44

Nikon D810A: první full-frame pro astro od Nikonu

#55

Příspěvek od juh »

Podle mě je celý problém hardwarového charakteru, malá rezerva v biasu při digitalizaci signálu, takže když je krátká expozice (nenateče dostatečný dark current signál) a vysoké ISO ...Podla mna hladame problem niekde uplne inde ako je. Zacinam mat nejake tusenie, ze mam na PC nainstalovane nieco, co je pricinou toho, ze aj ine programy (napriklad aj Camera RAW) dokazu u mna spravne interpolovat ten NEF a ze dovodom toho je prave nainstalovane Capture NX.

Skusal som do tych mojich vystupov z NEFu nahadzat navyse nejake mnoziny pixelov s urcitou urovnou jasu. Na histograme sa po tejto uprave objavili spicky v tych urovniach jasu pridanych pixelov podobne, ako su na histograme obrazku z D800A. Z toho jednoznacne vyplyva, ze aj v mojom Adobe PS sa histogram zobrazuje spravne, mimochodom mam ho vo verzii 13.0, cize CS6.

S tym orezanim by bol aj iny problem. Ak by Nikon spravil vystup z D800A tak ako je to na tom histograme, na obrazku nikdy nedostanu cierny bod, vzdy by tam bola nejaka minimalna uroven jasov. To by bol iny pruser.
Uživatelský avatar
MMys
Příspěvky: 18038
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 52
Kontaktovat uživatele:

Nikon D810A: první full-frame pro astro od Nikonu

#56

Příspěvek od MMys »

Pepo, PI neumí 16-bitový PGM správně interpretovat. Když se do něj podíváš zvětšeného na 1:1, jsou tam nějaké svislé prouhy. Je potřeba si z něj udělat 16-bitový TIFF, nebo převést NEF na TIF rovnou.
http://hvbo.cz/foto_astronomy_cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N400/1600, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, kamery MII C3-61000, ZWO ASI 1600MM
Uživatelský avatar
MMys
Příspěvky: 18038
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 52
Kontaktovat uživatele:

Nikon D810A: první full-frame pro astro od Nikonu

#57

Příspěvek od MMys »

S tym orezanim by bol aj iny problem. Ak by Nikon spravil vystup z D800A tak ako je to na tom histograme, na obrazku nikdy nedostanu cierny bod, vzdy by tam bola nejaka minimalna uroven jasov. To by bol iny pruser.
Teď nechápu přesně, co tím myslíš, a an který histogram se odkazuješ, ale v surových datech by naopak rezerva ne černém konci být měla. Prostě čistá černá by měla obsahovat pouze neořezaný systémový šum soustavy. Tak je to běžné u všech dobře udělaných snímacích zařízení. Pokud je ten šum ořezán (jeho rozptyl zasahuje až na/pod 0 ADU, je to z principu blbě)

A takhle je to třeba u Canonu normální, v RAWu nikdy černá v úrovni 0 ADU není, ani při biasu na nejvyšší ISO, což je správně. A Camera RAW s tím počítá, a černý bod se nastaví automaticky nebo dá nastavit ručně. Tak kdyby to bylo i u Nikonu, byla by to paráda.
http://hvbo.cz/foto_astronomy_cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N400/1600, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, kamery MII C3-61000, ZWO ASI 1600MM
Uživatelský avatar
MMys
Příspěvky: 18038
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 52
Kontaktovat uživatele:

Nikon D810A: první full-frame pro astro od Nikonu

#58

Příspěvek od MMys »

Netvrdim, ze histogramy nie su spravne. Naznacujem, ze tie obrazky, z ktorych su spocitane histogramy, su nespravne interpolovane.
Ale ty NEJSOU INTERPOLOVANÉ, vůbec. Je to výstup z DCRAWu bez debayeringu, bez jakýchkoli korekcí, v lineárním měřítku s gammou=1.
http://hvbo.cz/foto_astronomy_cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N400/1600, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, kamery MII C3-61000, ZWO ASI 1600MM
Uživatelský avatar
Rudohor
Příspěvky: 247
Registrován: 04. 09. 2012, 22:16

Nikon D810A: první full-frame pro astro od Nikonu

#59

Příspěvek od Rudohor »

Pre koncoveho uzivatela je nepodstatne, kde v spracovani signalu nastala chyba. Podstatne je, ze data su znicene. Na druhu stranu, tvrdit nieco o fotaku na zaklade toho, co stvoril dcraw, velmi odvazne a optimisticke. Tabulky s prepinacmi a odkazmi na zakodovane data, v ktorych su tabulky a prepinace a odkazy na dalsie zakodovane tabulky... ak nastane nieco neocakavane, krok nazad do predchadzajucej tabulky a pokus interpretovat ju inak... to vsetko vysledok reverzneho inzinierstva, originalne specifikacie nedostupne... Program tejto zlozitosti nemoze byt bez chyby. Od Nikonu je alibisticke a neuzitocne tvrdit, ze chyba je v cudzom softwari, ale neda sa to uplne vylucit.
Uživatelský avatar
MMys
Příspěvky: 18038
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 52
Kontaktovat uživatele:

Nikon D810A: první full-frame pro astro od Nikonu

#60

Příspěvek od MMys »

jj, to je mi úplně jasné. Jenom současný stav je takový, že astrofotograf nemá šanci se u Nikonu dostat ke korektním raw datům, a to je prostě škoda. Původní SW od Nikonu jsou pro astrofoto dost nepoužitelné. V komunikaci s Nikonem jsme dospěli k tomu, že si mám v Capture-NX na astrofotky zapnout redukci šumu Pokus o vysvetlení, jak se astrofotky dělají, co je dark-frame, proč se používá, že se snímky skládají až po kalibraci, a co nám to vlastně vadí a podobně, zůstal na Nikoní podpoře evidentně nepochopen. Je to škoda. Pokud někdo dělá tělo určené pro astrofotografii, měl by vědět, jak se taková astrofotografie dělá. Že to obvykle není tak, že se každý snímek z rawu vyvolá v Capture-NX, uloží do TIFu a to se pak seskládá (což pochopitelně taky jde, ale do optimálního postupu a výsledku to má daleko).

No nic, snaha byla, obětoval jsem tomu několik (dost) hodin. A posun žádný. Což jsem na druhou stranu čekal a ničeho nelituju. Podle mě ale SW třetích stran dekódují NEF dobře, histogram je opravdu uříznutý a "hezký histogram" z Nikoního SW či CameraRAW je jen důsledek různých filtrací + aplikace gamma křivky, který ten strmý skok nějak vyhladí.
http://hvbo.cz/foto_astronomy_cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N400/1600, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, kamery MII C3-61000, ZWO ASI 1600MM
Odpovědět