Simulace galacticke evoluce - cluster PC doma?

Popisy projektů, stavební postupy, konstrukce zařízení, návrh antén, přijímačů, recenze, testy.
Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #1 od Mesuge » 15. 02. 2005, 01:06

Ze s tim zase otravuju, ale voni me porad zasobujou..
Takze australani ujizdej na skvelem programu na vypocet evoluce runzych galactickych nebo solarnich systemu nebo cerny diry s kolizema a zazehama supernov proste vsechno mozne, rovnez zajimava aplikace je 3D zkoumani ruznych zakouti vesmiru coz dalekohledem nende.. tohle se driv dalo pocitat je na superpocitacich ale dnes to muze mit doma i smrtelnik..zatim oucelem se stavi cluster pocitace nebo take Beowulf pokud to je normalni hw z baziku..

Tady Borg4 coz cluster ze 4 starych dual Pentii (Intel 440GX chipset 100% stabilni) zapojenych paralel na maly gigaethernetovym siti:



Jdete do zalozky Sims a Computing:
http://members.ozemail.com.au/~sheaton/lss/

Nova adresa:
http://members.iinet.net.au/~steve_heaton/lss/

Jiz predlouskana data lze pozorovat touto aplikaci
z webu (partiview 3d):
http://www.haydenplanetarium.org/hp/vo/du/index.html

!Tento softwarovy balik (pouze pro *NIX i ja sem to lamersky rozjel podle prikladu taky v Mandraku) to umoznuje stat se panem casu und vesmiru - extrapolovat ruzne modely a budoucnost (rada realnych scenaru je uz v baliku takze se to na nich da rozchodit) - fantasticka technologie precte si intro co to ma vsechno za kosmologicke aplikace a moznosti simulace, skouknete dema:
http://www.ids.ias.edu/%7Estarlab/index.html

btw> kdyby to chtel moderator presunout tak tohle je uzce spjate s radioastronomii ktera meri ty 3d vzdalenosti tak to tady pls. nechte.. :mad2:

Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #2 od Mesuge » 17. 02. 2005, 02:23

;D To se divim ze takovejhle hit nikoho nebere.. Zrejme jsme jiz prekrocili pomyslnou hranici
mezi vedou a silenstvim :mad2:

Beowulfovej cluster vulgo superpocitac do detskeho pokoje se da samozrejme postavit i jednoduseji a s jinema parametrama cili mene hluku, tepla apod. Napriklad lze koupit v bazaru paletu starsich bankovnich terminalu a zapojit do site. Zvlaste se na to hodi ty tzv. thin clienti ktery jedou na traficko 19V/3A takze i v byte se jich da 10-25 ci vice uzivitt a levne klimatizovat aby se tam to dite neudusilo..

Bazarem mam na mysli neco napr. v nemecku ne ty nase pacholky co si na repase hodi 50% marzii :rockstar:

Tohle je pekny kousek HP E-PC delal se v ruznych parametrech vyssi verze maji 256Mega pameti, 866,933,1000 PIII na 256L2, CD, 20-40HDD
(samozrejme sou i jiny marky co delali to samy compaq, dell, fujitsu):

20ks na zacatek staci :rotflmao:



Presne takhle postavili superpocitac do 400mista dnes je uz situace snazsi ze software na clustry je dostupne:
http://www.hp.com/execcomm/inview/february02/feb02_aoii5.html

Jejich cluster soft (Ka-tools dnes jiz pod Mandrake) ale C3 bude asi modernejsi:
http://ka-tools.sourceforge.net/

Linux ovladace pro tuhle radu a jak na Wake on Lan:
http://howtos.linux.com/howtos/HP-HOWTO/hp-hardware.shtml#ALSA

Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #3 od Mesuge » 17. 02. 2005, 18:12

Jen pripominam, ze existuje neco jako Computer Trade Agreement podle nehoz je celni - customs tariffs na poce 0% a pokud vam to jeste nekdo napise papiry na firmu neplati se ani dph..

Cili dovezt paletu tehle nebo jinych pocu levne z aukce v USA je otazka jen ceny prepravy a serioznosti prodejce - lodi 2mesice nekam do holandska nebo hamburgu by prisla upne nelevnejc..
:o


Jinak vcera vecer jsem lital galaxii v Partiview a skvela je ta moznost zapnout si WISE Brown Dwarf Simulation coz je simulace vysledku mereni ktere dostaneme az tahle sonda roku 2008 zacne inframerit hnede trpasliky v nasem okoli => cili je klidne mozne ze jak treba na tomhle obrazku zjisitme ze nejlbizsi hvezda neni Proxima Centauri ale nekolik trpajzliku kteri predtim nesli vubec detekovat..

Pocit 3D je uchvatny a konecne clovek ziska orientaci kde to vlastne je v pozici k ostatnim telesum. Nadherna aplikace je to pak jeste pres polarizacni filtry promitat na velke platno ale to chce 2x DLP projektory cili zatim draha hracka..

http://geowall.geo.lsa.umich.edu/intro.html



Rudy
Příspěvky: 477
Registrován: 03. 10. 2004, 13:29

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #4 od Rudy » 18. 02. 2005, 04:00

To vsetko co si nam ponukol, su same super veci. Ked to uz budes mat vsetko doma v obyvacke pridem na dva deci cerveneho. ;D Najradsej mam Cabernet Sauvignon! :hi:
Rudy BASE ( Bojnice Amateur Space Ear ) "To invent, you need a good imagination and a pile of junk" - Thomas Alva Edison

Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #5 od Mesuge » 18. 02. 2005, 05:18

Moje 'edukativni' prispevky maji za cil obeznamit verejnost se vsema radostma zivota radioamaterskeho aneb - neni treba clusteru se bat - cili nezalezi jestli to budu mit ja nebo ty v obyvacke, ale jestli to nekoho inspiruje spravnym smerem a pak si ten Cabernet dame treba u nej :@ ) Jinak v obyvaku mam normalni diy lcd projektor - zvladne postavit kazdy.,

Ja osobne cluster v soucasne dobe (ted hned) neplanuju - zadnou kritickou aplikaci ted v pc/win poci nepocitam a s tim balikem na simulaci evoluce vesmiru Starlabem se jen pomalu seznamuju - zkousim nejdriv modelovat priklady z tutorialu co jsou zalozeny na skutecnejch udalostech akorat tam snizim pocet castic a pockam az se to dopocita - zachranil sem totiz 600MHz poc co chtel kolega poslat za svym stvoritelem tak uz tam svisti linux&starlab huh - vlitnu na to poradne az vic opadne cena A64/754 lowendu a v malem rozsahu tj. neco jako tady ten Borg (4-5 nodu) aneb nepoustim se do zadnych vetsich akci vzdyt me znas :@ ) Jen demonstruju ze kdo chce to muze mit neska jednoduseji nez by se zdalo.. :karate:

Uživatelský avatar
Pavuk_
Příspěvky: 2037
Registrován: 21. 07. 2004, 22:49

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #6 od Pavuk_ » 23. 02. 2005, 01:18


Mesuge napsal: Moje 'edukativni' prispevky maji za cil obeznamit verejnost se vsema radostma zivota radioamaterskeho aneb - neni treba clusteru se bat - cili nezalezi jestli to budu mit ja nebo ty v obyvacke, ale jestli to nekoho inspiruje spravnym smerem a pak si ten Cabernet dame treba u nej :@ ) Jinak v obyvaku mam normalni diy lcd projektor - zvladne postavit kazdy.,

Ja osobne cluster v soucasne dobe (ted hned) neplanuju - zadnou kritickou aplikaci ted v pc/win poci nepocitam a s tim balikem na simulaci evoluce vesmiru Starlabem se jen pomalu seznamuju - zkousim nejdriv modelovat priklady z tutorialu co jsou zalozeny na skutecnejch udalostech akorat tam snizim pocet castic a pockam az se to dopocita - zachranil sem totiz 600MHz poc co chtel kolega poslat za svym stvoritelem tak uz tam svisti linux&starlab huh - vlitnu na to poradne az vic opadne cena A64/754 lowendu a v malem rozsahu tj. neco jako tady ten Borg (4-5 nodu) aneb nepoustim se do zadnych vetsich akci vzdyt me znas :@ ) Jen demonstruju ze kdo chce to muze mit neska jednoduseji nez by se zdalo.. :karate:

Mozes mi vysvetlit ako ten superPC suvisi s temou RA ? ;)

Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #7 od Mesuge » 23. 02. 2005, 02:29

Huh, no jak jsem naznacoval cela tato oblast vznikla take diky radioastronomii ktera nam dala presnejsi data o strukture a 4D pozici supergigamakro objektu ve vesmiru ktere si pak muzeme doma hezky modelovat.. ;D Nehlede na to treba data z GNU radia pokud bude scanovat na plny vykon asi pc v realnym case nevydejcha :@ )


Jinak matka vsech clusteru na n-body simulaci je Japonsky system GRAPE (Gravity Pipeline Accelerator) driv se moduli davali jen do racku dnes uz funguje i jako takova lepsi grafarna na pocitani komplexnich gravitacnich vztahu co se da i do obyc poce. Vykon jedine desky = 123Gflops! To uz se pak cluster stavi trochu lip..:P V teto 4 procesorove verzi se prodava asi za usd16k nekomercni sfere. Cili dost maso ale sezere 40w a tisicinu prostoru co by zabral cluster z normalnich pc. Skoda ze to delaj v tak malejch seriich proto je to tak drahe. Btw. na poslednim odkazu je mozne zadat ulohu a voni vam to v Japonsku na tom jejich Grape6 zadaco spocitaj (nbodylab odkaz)..

Pokud je Starlab nebo Nemo na linuxu pro zacatek prilis moc (ale rozhodne doporucuju na teoreticky uvod jejich dokumentaci!) tak zkuste tuhle krasnou starsi aplikaci galaktickcyh kolizi do win Galasimu - modeluje a zobrazuje krasne 4D - mozna sem dam svuj test soubor stret nasi Mlecne drahy s Andromedou za par let a jak bude ten spektakl probihat behem cca 1.5mld rocnim rozpeti..zatim nemam overena vsechna potrebna vstupni data jako vzajemne uhel, xyz rychlost a pomer vah (mam to zatim jen hrube) :mad2:

!Galasimu - lze nastavit spoustu parametru
(max. 5000 objektu tj. bezi i bez clusteru):
http://www.galasimu.de/homepage.html

Linky:
http://www.metrix.co.jp/micro_grape_eng.html
http://nbodylab.interconnect.com/
http://grape.c.u-tokyo.ac.jp/~makino/grape6.html
http://nbodylab.interconnect.com/
http://nbodylab.interconnect.com/nbodylab_intro.html

Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #8 od Mesuge » 24. 02. 2005, 01:09

Krasna inspirace muze byt i tenhle Svycarsky cluster Zbox - predevsim z hlediska topologie site a chlazeni. Airkondak je dole a studeny vzduch prochazi uprosted jako kominem coz umoznuje nebyvale hustou zastavbu - 288 dual cpu (144nodu) na 5m3 je oproti rackum unikum. Bohuzel jak jiz bylo uvedeno v predchozim prispevku celej tenhle uspech je take diky pouzitit SCI sitovek ktere propojuji jednotlive nody a nejdou hned do switche - to obrovsky zvysuje propustnost celeho clustru a latenci jak na optice. Jenomze tyhle sitovky jsou psychopaticky drahe (x-krat vic nez samotny node) - jestli nekdo vite on levnejsi nahrade na SCI ci podobnem zaklade tj. rychlejsi nez gigaethernet a primy pristup pres PCI 64bit sbernici dejte tady prosim vedet.. update: intel dela dual port gigaethernet sitovky (pci 64bit/dma) otazka je jestli je to o tolik lepsi nez ty obyc giga co se uz dnes davaj na board v cene..

Snad by slo tuhle toroidni topologii udelat na deskach co maj 2x gigaethernetovej port, ze by se sousedi mohli propojit hned bez switche, ale to je jen spekulace zkusim zjistit vice..

http://krone.physik.unizh.ch/~stadel/zBox/



A tady veda co s tim uz zjistili v oblasti dark matter:
http://krone.physik.unizh.ch/~moore/

Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #9 od Mesuge » 26. 11. 2005, 13:17

Jinak na teto fronte se deje stale neco noveho..
Pokusy o clustery z Xboxu prvni generace se ukazali jako ne moc efektivni. V podstate se vyplati je na lamani kodu - v jinejch aplikacich vykon nic moc a je lepsi to postavit z obyc pc dilu..

Xbox linux obecne:
http://www.xbox-linux.org/wiki/Main_Page

Xbox cluster (a i jine na webu):
http://www.anandtech.com/linux/showdoc.aspx?i=2271&p=1

Na clustery a jine domaci distribuovane pocitani (3d, video, rip) je ted asi nejlepsi tato aplikace co se patchne pres Linuxi kernel (gentoom debian..):
http://openmosix.sourceforge.net/

Muj tajnej hit jsou, ale karty pro pocitani fyziky do her (PPU) to je takovy vypocetni narez na N-body, ze v malem clustriku strci do kapsy salovej pocitac akademiku!

http://www.ageia.com/developers/tools.html#graphics_art_production
http://www.anandtech.com/cpuchipsets/showdoc.aspx?i=2376&p=3
http://games.tiscali.cz/news/news.asp?id=16128
http://www.cdr.cz/a/15534

Dále Manju v odpovědi na další otázku konstatoval, že PPU může klidně počítat i takové úlohy, jako třeba renderování či vědecký výzkum (určitě by mu velmi slušelo počítání nějakých těch BOINC projektů jako LHC@home a podobně ;-), nicméně oni se hodlají zaměřovat na herní oblast.

"..Co se týče otázky, zdali je PPU schopno počítat i jiné fyziky, než newtonowskou, jako třeba kvantovou, relativistickou atd. Manju kontroloval situaci (a věřím že s úsměvem na rtech), že PhysX může počítat jakýkoliv fyzikální model, protože mu můžete bez problémů definovat základní fyzikální zákony.."



->jakmile to bude venku tak do par mesicu indove a rusove udelaj knihovnu do linuxu a pak to pojede.. :-*

Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #10 od Mesuge » 27. 11. 2005, 03:24

Udelat misto pro noveho clena rodiny pana Clustera co zere nejvice el. proudu (vic nez lednicka) neni snadne..Pro zacatek je dobre se v te dzungli vsech ruznych linuxovych distribuci nejak zorientovat. V tomto clanku strucne popisuji zakladni dve podoby clusteru a jejich pouziti a to se zamerenim na distribuce bootovatelne z CD takze se da udelat tzv. ad hoc zombie cluster treba z windowsovskych pocu v kanclu po vecerech haha:
http://www.pcquest.com/content/pcshootout/2005/105060204.asp
http://www.gdargaud.net/Hack/ClusterNotes.html

1/ Load Balancing Clusters (LBC) ktere v podstate pouziji kernel na clusterovani nativne a neni treba specialni software - jede to hned. Samozrejme jen tam kde to ma smysl tj. app dele jak 5s - neni vhodne
na Apache, game servery apod. Pro n-body jako astro a biochem vypocty, renderovaci a ripovaci farmy to je ok..

Napr. OpenMosix (ma na strankach mnohem vice ruznych dalsich dilcich distro treba i pro stare poce apod), ClusterKnoppix:
http://www.pcquest.com/content/linux/103050601.asp
http://openmosix.sourceforge.net/

2/ PVM (Parallel Virtual Machine) nebo take Beowulf ci Bazilisk kde se pouzivaji pokrocilejsi techniky pro spolupraci jednotlivych nodu a extra verze softwaru je jiz zapotrebi.

Napr. Parallel Knoppix, Tablix
http://pareto.uab.es/mcreel/ParallelKnoppix/ParallelKnoppix.html
http://www.tablix.org/articles/platforms.html
(Tablix by udajne sel rozjet i pod Cygwinem na XPckovym Pc)

Jeden z mnoha benchmarku pro overeni funkcnosti a ladeni vykonu clustera (tady napr. 10nodu spocitalo pi na 10k mist za 80minut):
http://infocom.cqu.edu.au/Staff/Myles_Greber/Research/Cluster/

Dalsi single + parallel benche:
http://www.mfn.unipmn.it/~mino/cluster/benchmarks/

Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #11 od Mesuge » 28. 11. 2005, 00:32

Tak jsem vyzkousel jak ty male instanti distribuce tak i ty vetsi a ted pisu z X-windows/Unix na mem novem nodu v clusteru o par PC co mam zatim doma uh ah.. ;D
(Obvam se, ze ted co sem to vidal v chodu me teprve chytne rapel a zitra nakoupim xx repasovanejch pocu kolem 1GHz a poradnej switch..)

Po experimentovani ruznyma distro doporucuji zamerit se na BCCD cluster, je to stale zivej projekt a funguje krasne jak na re-start z iso CD (170mega) tak i do RAMKy a pro vyzkouseni nevyzaduje partition na puvodnim windows disku, instalace velice intuitivni.. Kombinace jak single tak parallenich procesu a jejich knihoven..
http://bccd.cs.uni.edu/

Manual k instalaci zde:
http://bccd.cs.uni.edu/cgi-bin/twiki/view/Main/BootingUpTheCD

Pokud by jste se ztratili na konci uvodni faze instalace pri nastavovani prav ve strukture adresaru -> muze prijit v hod prikaz "mc" coz spusti midnightcommandera neco jako nortona..

Zaverecny setup clusteru(ocihnout a otestovat ostatni nody):
http://bccd.cs.uni.edu/cgi-bin/twiki/view/Main/SetupOpenMosixCluster

Jak spoustet aplikace z OpenMosix baliku:
http://bccd.cs.uni.edu/cgi-bin/twiki/view/Main/OpenMosix

Vse ostatni:
http://bccd.cs.uni.edu/cgi-bin/twiki/view/Main/WebHome

Zatim jsem testoval jen ruzne rovnice a cluster funguje..
Zkusim do toho hodit nejake pocitani SACu ale to bude chtit nejdriv pridat knihovny ktere nejsou soucasti BCCD distribuce (jak postupovat je popsano v dokumentaci k sacu) a pak to pojede prima.. Samozrejme hitovka to bude az s USRP kde pocitat 120Mhz pasmo z interferometru i kdyz jen 1bit na jednom poci jiz nebude mozne..
8) :P ;D :-*

---------
Update: laborator Prof. Chocholouska vcera prepocitala PI na 10,000 desetinnych mist behem rekordnich 234minut a to na domacim protoclusteru ze dvou starsich PIII-IV PC a jednoho PIII notase na 100Mb siti. Jako benchmark byl pouzit jiz zmineny program Mospi s Plouffe & Bellard algoritmem pro vypocet PI.

Vse bezelo na BCCD/OpenMosix architekture - ISO/CD-Rom boot a u PIV nodu na ISO/RAM boot. Tento cas neni definitivni sel by optimalizaci procesu snizit tak o 1/3.. Pokud mate nekdo moznost zombifikace site ve skole ci kancelari treba o 10-20 PC tak se to da zvladnout za par minut - pokud maji nody 512mega Ramku je mozne instalovat primo do pameti tj. staci jen jedno iso cd a na nem BCCD (170mega) na cely cluster. Vytvorte novy rekord na astroforu.. ;D :P

Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #12 od Mesuge » 28. 11. 2005, 16:41

Maniakalni clusteromanie pokracuje. Velice vycerpavajici stranky o problematice clusteru a jak je i levne postavit a vyzdimat max vykon. Zameruji se na warewulfa cili parallelni system u Kronose Fedora core2..



Popisuji stavbu a instalaci bezdiskoveho clusteru (jednodusi udrzba) na mini-itx desce a 2500+ sempronech (na nodech jinak master ma malej RAID) od A do Z -> to vse s rozpoctem $2.5k! za to si nekteri porizuji "herni pc">
http://www.clustermonkey.net//content/view/41/33/
:P

Dalsi clanky na tema:
http://www.clustermonkey.net//content/section/5/32/
http://www.clustermonkey.net//content/section/6/34/

Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #13 od Mesuge » 28. 11. 2005, 17:32

Lide kolem BCCD a jejich "Little Fe" 8x node mini-itx epia cluster v cestovnim kufriku..
http://contracosta.edu/hpc/resources/Little_Fe/BOM/index.html



Uživatelský avatar
Mesuge
Příspěvky: 171
Registrován: 31. 01. 2004, 05:48

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #14 od Mesuge » 16. 12. 2007, 19:32

A ceny padaji...

Microwulf -> 4x (2x jadro AMD) @ 26 Gflops = $1256 ~ $48/Gflop.
Dnes tez mozne osadit porizenim levna 4x jadra..

Detailne popsany beowulfi cluster mini rozmeru, Watt spotreby. Btw. ma to vetsi vykon nez IBM Deep Blue (deset let je hodne-malo casu):
http://www.calvin.edu/~adams/research/microwulf/

--
Cluster s vypocty uvnitr GPU (Nvdidia):
to vypada na tu spravnou cestu s pocitanim Fourniera (FFT) v realnem case pri hledani pulsaru pres GNU radio - USRP i normalne:
http://wiki.gb.nrao.edu/bin/view/Main/GPUClusterDescription?skin=print
http://www.cv.nrao.edu/~pdemores/gpu/
http://fftw.org/
--

takovy domaci/firemni minicluster samozrejme lze vyuzit i na jine akce nez radioastronomie, najme raytracing, praci s HD videm, nbody simulace, BOINC-aplikace atd..

HonzaS
Příspěvky: 529
Registrován: 08. 11. 2004, 04:46

Simulace galacticke evoluce - cluster PC doma?

Příspěvek #15 od HonzaS » 17. 12. 2007, 01:24

Ano, nvidia se zda, ze je ta spravna cesta pro "domaci ucely". Napr. cena karty 8800 GT, ktera ma plnou podporu Nvidia-CUDA projektu je kolem 5 tisic a jeji vykon se pohybuje nekde kolem 400 GFLOPS. Nehlede k tomu, zi muzes poridit pouze kartu pro vypocty (sirsi sbernice, vetsi RAM, vic CPU). Pokousim to zprovoznit, pokusim se nejak objektivne zmerit silu s Q6600. Teprve vcera jsem zprovoznil rozhrani pod linuxem, paka od nvidie nikde nemaj napsany, ze musis mit "beta" ovladace (release tu kartu nepodporujou). Samozrejme jsem to vycetl az v konferencich. Pod windows to delat nebudu - je to pod VC7, ktery nemam, navic jsem zvyklej na GCC.

HonzaS
Objektivy Sigma 12~400mm,ED80,GS600, 10" Meade LX200R,EQ6, (ACAM9000), 5DM2, filtry a spoustu dalšího bordelu


Zpět na “Praktická radioastronomie”

Kdo je online

Uživatelé prohlížející si toto fórum: Žádní registrovaní uživatelé a 1 host