Rychlý FITS prohlížeč - nezná někdo ?

Povídání o astronomické literatuře, počítačových planetáriích, hvězdných mapách, atd.
Uživatelský avatar
Tomáš Grygarčík
Příspěvky: 1270
Registrován: 18. 07. 2010, 23:35
Bydliště: Malé Hoštice
Věk: 31
Kontaktovat uživatele:

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #286 od Tomáš Grygarčík » 28. 10. 2019, 14:30

Vyhrabal jsem z nudy starý notebook a na něm se mi (naštěstí!) projevila Martinova chyba. Je ve všech souborech už od přidání gamma korekce (nedostatečně obsáhlá podmínka volala vykreslovací funkci při startu ještě před načtením souboru, takže aplikace čekala na výsledek výpočtu, který se nikdy neprovede). Je ale s podivem, že se někomu objevila až teď.

Opravil jsem jak "ostrou" verzi přímo na stránkách, tak i tu novou experimentální.

Původní pro Linux x86_64
Původní pro Windows x86_64
Původní pro Windows x86
Původní pro Linux ARMv7
Původní pro Linux aarch64

Experimentální pro Linux x86_64
Experimentální pro Windows x86_64
Experimentální pro Windows x86
Experimentální pro Linux ARMv7
Experimentální pro Linux aarch64

Pro zajímavost... na RPi 3 trvá načtení 16Mpix 16bit snímku v původní aplikaci 5 vteřin (aarch64; 6,5 vteřiny na ARMv7) a v experimentální 1 vteřinu (aarch64 i ARMv7). Pětinásobné zrychlení. :shock:

Do budoucna ještě plánuji optimalizace, takže to možná ještě trochu zrychlím. Pak nejspíš původní verzi pošlu k ledu.
SW 200/1000, SW 200/800, TS Photoline 72mm f/5.5 APO, LUNT Ha 60/500 B1200
ZWO ASI1600MM Pro, Skyris 618M, QHY-5 mono, Olympus E-620 (mod) a OM-D E-M1 mark II
HEQ-5 SS, vlastní dobsonova montáž
FITS prohlížeč

Uživatelský avatar
MMys
Příspěvky: 15066
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 46
Kontaktovat uživatele:

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #287 od MMys » 28. 10. 2019, 14:39

Paráda, už to chodí. A je to při načítání viditelně rychlejší, u mě minimálně tak 3x. Jen nechápu, proč to starší verze nedělala. A ta nová jen na některých strojích. Že by jiné načasování mezi jednotlivými vlákny ?

Všechno mi to přečetlo, až na jednu vyjímku, 32-bit fitsy - složeniny z více snímků, které vyplivne SharpCap při stackingu. Tady je ke stažení:

http://leteckaposta.cz/199913932
http://foto.astronomy.cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N300/1200, N185/610, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, CCD G3-16200

Uživatelský avatar
Tomáš Grygarčík
Příspěvky: 1270
Registrován: 18. 07. 2010, 23:35
Bydliště: Malé Hoštice
Věk: 31
Kontaktovat uživatele:

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #288 od Tomáš Grygarčík » 28. 10. 2019, 16:28

Už ho otevře správně.

Tohle je i pro ostatní, kdyby narazili na soubor, který nelze otevřít / je zobrazený špatně. Je to jen formát dat, se kterým jsem zatím nepracoval, tak jsem to nemohl naprogramovat (parametry BZERO a BSCALE výrazně mění význam dat).
SW 200/1000, SW 200/800, TS Photoline 72mm f/5.5 APO, LUNT Ha 60/500 B1200
ZWO ASI1600MM Pro, Skyris 618M, QHY-5 mono, Olympus E-620 (mod) a OM-D E-M1 mark II
HEQ-5 SS, vlastní dobsonova montáž
FITS prohlížeč

Uživatelský avatar
Tomáš Grygarčík
Příspěvky: 1270
Registrován: 18. 07. 2010, 23:35
Bydliště: Malé Hoštice
Věk: 31
Kontaktovat uživatele:

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #289 od Tomáš Grygarčík » 28. 10. 2019, 22:00

Další vlna zrychlení načítání, na SSD a HDD zhruba 3× (u mne z 60 na 20 ms), na RPi3 2× (z karty, z 1000 na 500 ms). V obou případech s 16Mpix 16bit celočíselným FITem.

Experimentální pro Linux x86_64
Experimentální pro Windows x86_64
Experimentální pro Windows x86
Experimentální pro Linux ARMv7
Experimentální pro Linux aarch64

Psion píše:Vyzkouším pro Arm7, je fakt že na kameře Astrel to otevírání trvá se starou verzí 2950 ms.

Je to teď o poznání rychlejší?
SW 200/1000, SW 200/800, TS Photoline 72mm f/5.5 APO, LUNT Ha 60/500 B1200
ZWO ASI1600MM Pro, Skyris 618M, QHY-5 mono, Olympus E-620 (mod) a OM-D E-M1 mark II
HEQ-5 SS, vlastní dobsonova montáž
FITS prohlížeč

Uživatelský avatar
MMys
Příspěvky: 15066
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 46
Kontaktovat uživatele:

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #290 od MMys » 28. 10. 2019, 22:50

Je, a sakra rychlejší. Předtím 16Mpix 16bit FISTy čtení okolo 130-140ms, nyní tak 30-40ms.
Kouzelníku ;)
http://foto.astronomy.cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N300/1200, N185/610, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, CCD G3-16200

Uživatelský avatar
MMys
Příspěvky: 15066
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 46
Kontaktovat uživatele:

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #291 od MMys » 28. 10. 2019, 23:00

Ale zkolabuje to na těchhle FITS-ech uložených ze SW SIPS.

http://leteckaposta.cz/251829912

Nic to nezobrazí, jen to zatěžuje procesor.
Pokud přelezu s už naběhlou aplikací z jiného adresáře do adresáře který takové FITSy obsahuje, kousene se to taky.
http://foto.astronomy.cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N300/1200, N185/610, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, CCD G3-16200

Uživatelský avatar
Tomáš Grygarčík
Příspěvky: 1270
Registrován: 18. 07. 2010, 23:35
Bydliště: Malé Hoštice
Věk: 31
Kontaktovat uživatele:

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #292 od Tomáš Grygarčík » 29. 10. 2019, 06:22

U mě to problém nedělá.

Screenshot_20191029_062042.jpg
Screenshot_20191029_062042.jpg (155.9 KiB) Zobrazeno 302 x
SW 200/1000, SW 200/800, TS Photoline 72mm f/5.5 APO, LUNT Ha 60/500 B1200
ZWO ASI1600MM Pro, Skyris 618M, QHY-5 mono, Olympus E-620 (mod) a OM-D E-M1 mark II
HEQ-5 SS, vlastní dobsonova montáž
FITS prohlížeč

Uživatelský avatar
MMys
Příspěvky: 15066
Registrován: 02. 01. 2001, 05:03
Bydliště: Běleč nad Orlicí
Věk: 46
Kontaktovat uživatele:

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #293 od MMys » 29. 10. 2019, 06:36

Aha, tak už jsme doma. Já si neuvědomil, že v tom adresáři je přes 2700 souborů, takže trvá přes 10 sekund, než se naplní listbox se seznamem souborů.

Nikdy jsem nevydržel čekat a dal Ctrl+Alt+Del :D
http://foto.astronomy.cz, http://hvbo.cz, e-mail: martin(*)myslivec(a)volny(*)cz, Dobson 400mm, N300/1200, N185/610, Refraktor Borg 77ED, Montáž EQ6, Hvězdárna s montáží vlastní výroby, CCD G3-16200

Uživatelský avatar
nou
Příspěvky: 265
Registrován: 10. 12. 2006, 05:10

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #294 od nou » 29. 10. 2019, 06:36

Tomáš Grygarčík píše:Tohle je i pro ostatní, kdyby narazili na soubor, který nelze otevřít / je zobrazený špatně. Je to jen formát dat, se kterým jsem zatím nepracoval, tak jsem to nemohl naprogramovat (parametry BZERO a BSCALE výrazně mění význam dat).

Myslim ze BSCALE a BZERO sa mozu bezpecne ignorovat pretoze pre zobrazenie na obrazovke sa musi spravit skalovanie z 0-65535 na 0-255. Myslim si teda ze preskalovanie cez BSCALE a BZERO je mozne bezpecne ignorovat popripade ignorovat.
Celestron C8-N 203/1000, SW 150/750, CG-5 ADV GoTo, SW EQ6-R, Canon 1100D, ASI120MM-S, ASI1600MM Pro

Uživatelský avatar
Tomáš Grygarčík
Příspěvky: 1270
Registrován: 18. 07. 2010, 23:35
Bydliště: Malé Hoštice
Věk: 31
Kontaktovat uživatele:

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #295 od Tomáš Grygarčík » 29. 10. 2019, 12:45

Ignorovat se mohou, pokud mají "výchozí hodnotu" (BScale 1, u BZero 0 anebo nula relativní k rozsahu - 16k, 32k, 2M apod.)
SW 200/1000, SW 200/800, TS Photoline 72mm f/5.5 APO, LUNT Ha 60/500 B1200
ZWO ASI1600MM Pro, Skyris 618M, QHY-5 mono, Olympus E-620 (mod) a OM-D E-M1 mark II
HEQ-5 SS, vlastní dobsonova montáž
FITS prohlížeč

Uživatelský avatar
astar
Příspěvky: 580
Registrován: 01. 02. 2008, 21:15

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #296 od astar » 29. 10. 2019, 12:53

Tomáši, udělal jsem v Delphi vlastní velmi jednoduchý prohlížeč fitů , dostačující pro moje potřeby. Zpracovávám jen 16bit fit , ten co mi vyhodí Maxim DL z kamery. Stáhnul jsem si tvůj program a vyzkoušel .
Aby byly porovnatelné časy , tak jsem si vytvořil několik velkých fitů 93 MB 16 bit ( základní fit jsem zvětšil na 200% ).
Časy : u tebe 280 načtení, 70-150 přepočet, což je dohromady 350-430 msec. U mne celkové , první snímek 330 msec, pak další jen kolem 180 msec , což je cca 2x rychlejší . Pro načtení souboru používám jen klasickou funkci BlockRead . Testoval sem na notebooku HP OMEN i7 9750H 4,6GHz .
Neber jako kritiku, jen mne to velice udivilo ?? Nedokáži si to nijak vysvětlit , už jen z důvodů , že je to čtení z klasického plotnového HD a tam bývá rychlost čtení do 200MB/sec ? To by tady znamenalo čas kolem 500 msec ????
Pro ostatní odborniky IT , dokázal by to někto vysvětlit ?
SW 250/1000+EQ6 Pro,  Achr 100/660, Achr 80/400 , ASI 294 PRO ,EOS 450d

Uživatelský avatar
Bill
Příspěvky: 3990
Registrován: 11. 01. 2007, 19:54
Bydliště: Uničov

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #297 od Bill » 29. 10. 2019, 13:28

astar píše:Pro ostatní odborniky IT , dokázal by to někto vysvětlit ?


Tak OS, disk a možná i některý lepší řadič data kešuje v paměti...
Nemá ten noťas SSD na kešování plotnového disku? Když jsem otevřel náhodný HP Omen:

Pevný disk: 512 GB SSD + 1 000 GB
M:736 750 113

Uživatelský avatar
astar
Příspěvky: 580
Registrován: 01. 02. 2008, 21:15

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #298 od astar » 29. 10. 2019, 13:41

Bohužel to nevím . Jak to zjistím? SSD mám, ale jen 256GB . Podle mne by se pak musela udělat ta keš i pro ten Tomášův program ,ne ?
Vytvořil jsem Ramdisk , tam dal ta data a časy byly stejné ???
SW 250/1000+EQ6 Pro,  Achr 100/660, Achr 80/400 , ASI 294 PRO ,EOS 450d

Uživatelský avatar
nou
Příspěvky: 265
Registrován: 10. 12. 2006, 05:10

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #299 od nou » 29. 10. 2019, 14:02

Ak sa subor cital tak ho OS drzi v RAM cache. V Linux sa da prinutit aby tu cache vyprazdnil ale na windows neviem. Jeden sposob s neistym vysledkom je precitanie par GB suborov aby tieto vytlacily subory z cache.
Celestron C8-N 203/1000, SW 150/750, CG-5 ADV GoTo, SW EQ6-R, Canon 1100D, ASI120MM-S, ASI1600MM Pro

Uživatelský avatar
astar
Příspěvky: 580
Registrován: 01. 02. 2008, 21:15

Re: Rychlý FITS prohlížeč - nezná někdo ?

Příspěvek #300 od astar » 29. 10. 2019, 14:33

Taky jsem již dřív zkusil číst data z Ram disku, samostatné soubory a tam mi vyšla rychlost čtení 5GB/sec.
Jak si OS vytvoří keš v paměti a jak velkou ? Aktuálně mám obsazeno 5,3GB a 18GB volných .
Ještě rozpitvám jednotlivé části programu co je jak rychlé .
Trochu to sem nepatří ,když tak prosím moderátora o případné přesunutí , děkuji.

Doplnění:
Rozpitval jsem jednotlivé části a nejpomalejší je vykreslování 130msec 1600*1000 pix , těch 50 msec je pak na to ostatní, načtení a přepočty . Ale přesto mi uniká jak je to s tím čtením z disku ?
SW 250/1000+EQ6 Pro,  Achr 100/660, Achr 80/400 , ASI 294 PRO ,EOS 450d


Zpět na “Software, literatura, ...”

Kdo je online

Uživatelé prohlížející si toto fórum: Žádní registrovaní uživatelé a 4 hosti