Astrofórum - nová verze

[nou]

nie je to RSS ale atom. a je to na /app.php/feed Ale toto bude treba tiež poladiť lebo ten feed ma 11MB a vracia to príspevky od januára. Generovanie a stiahnutie trvá 11 sekúnd takže to podľa mňa tiež bude vedieť dostať server do kolien.

[hades]

Díky moc. Vrací to 10 příspěvků, asi už to Honza poladil

[HonzaStr]

Jojo, udělal jsem to v noci, tohle byla moc dobrá připomínka. Bylo tam nastavenejch 9999, asi nějakej relikt z pokusné iniciální konfigurace . Teď to hned jede líp . Dal jsem tam hodnotu 10, což je (dle dokumentace) default. Snad to bude vyhovovat.

[Pepa217]

Zatím to vypadá dobře.

Díky!!!

[HonzaStr]

Nicméně teda, tohle není finální řešení. V noci jsem také koukal do logů, je tam něco, co by se rozhodně dalo nazvat DDOS útokem - tisíce dotazů za den z různých (vzdálených) adres, typicky z nějakých cloudů různě po světě... Navíc ty dotazy, jak jdou po sobě, nedávají moc smysl, navíc uvádějí různé hodnoty "User-Agent"... Neboli to má asi budit zdání, jako že je to spousta lidí za nějakou společnou bránou (což je ale nesmysl, vzhledem k tomu, že je to české fórum). A traffic za posledních několik dnů několikanásobně zesílil.

apache_accesses-week.png (32.33 KiB) Zobrazeno 4372 x

Ten graf je "zpřetrhaný" v místech, kde server nestíhal reportovat hodnoty do grafu, ještě lépe je to patrné na grafu dotazů do databáze (kde to zpřetrhané není):

mysql_queries-week.png (45.24 KiB) Zobrazeno 4372 x

Zkrátka, traffic je teď oproti "normálnímu" stavu cca 10x vyšší. A postupně to ještě zesiluje.
Takže asi zkusím rozběhat nějakou anti-ddos obranu, např. mod_evasive. Jestli se to osvědčí, zase bych pak asi zapnul ten smartfeed.

[HonzaStr]

Eliminace útoku nebyla tak snadná, jedná se totiž o slow-ddos - z konkrétních IP adres totiž přichází traffic velice kultivovaně, jenom párkrát za minutu. Klasické nástroje (jako ten zamýšlený mod_evasive) na tohle nefungují.
Takže bylo třeba nasadit něco chytřejšího. Nakonec jsem si na to napsal vlastní nástroj, kterej (automaticky, tj pravidelně) kontroluje logy a vytipované zlé adresy označí, na základě čehož dostanou ban ve firewallu od fail2ban .
Právě jsem tohle svoje "kladivo" nasadil, spadlo do něj 178 adres. Tak, snad budeme už teď mít klid. Nechám to teď aspoň do rána být, aby se ukázalo, že to funguje.
Je teda pravděpodobné, že bude třeba ještě nějakou dobu ladit ideální nastavení - ban má své časové omezení a nějakou dobu bude trvat, než znovu uvolněné adresy opět splní kritérium pro ban. A sledovaný interval přitom nemůže být moc krátký (pak by mohlo docházet k falešným detekcím).
Kdyby se někomu stalo, že ho to sepne neprávem, dejte vědět.

[Jarous1]

Nefunguje RSS... To je úmyslné?

[MMys]

Honzo dík, že se o to takhle staráš. To je neocenitelná práce. Teď už to chodí zase svižně, tak snad to vydrží.

[hades]

Jarous1: Funguje, na této adrese: app.php/feed

[Jarous1]

Díky moc!
I když mi dva různé prohlížeče, s různými feedery, načtou jen posledních 10 příspěvků...

[hades]

Je to tak, psalo se tady o tom, že to vrací je nom 10 příspěvků. Není to chyba ale záměr.

[HonzaStr]

Tohle číslo můžeme bez problémů trochu zvednout, jestli to pomůže. Předtím to byl ale extrém...

[hades]

Jo, já bych se přimlouval za 30. Děkuji

[HonzaStr]

OK, nastaveno.

[TomKocanda]

Jinak me teda forum ted nabiha temer okamzite - je to radikalne rychlejsi nez to byvalo driv, a to jeste pred temi problemy poslednich dnu