Astrofórum - nová verze

[kuceraz]

Dnes mi fórum neustále padá kvůli příliš velkému počtu DB připojení:
General Error
SQL ERROR [ mysqli ]

Too many connections [1040]

An sql error occurred while fetching this page. Please contact an administrator if this problem persists.

Fórum je díky tomu prakticky nepoužitelné.
Je možné zvýšit počet možných připojení k databázi, ať se nedostáváme na limit?

[palkog]

Tiez mam rovnaky problem. Neprebieha nejaky hackersky utok na server?

[HonzaStr]

Ano, něco takového zřejmě probíhá, v určitých vlnách. Nejspíš zase nějakej splašenej vyhledávací bot. Navýšení počtu konexí by zřejmě nepomohlo.
Teď to nemůžu řešit, ale zkusím na to kouknout večer, pokud to do té doby nepřestane.

[kuceraz]

Zdá se, že už je to OK

[peta62]

Ale jeste pred kratkou chvili nebylo. Kdyz jsem prostrelil, ukazovalo to pod dvacet pripojeni a hosti kolisali. Neverim, ze by navyseni konekci pomohlo, neco se sem dostava spatne, at uz umyslne ci nikoli.

A ted mi vkladani prispevku take spadlo na pocet pripojeni.

[stmare]

Jinak jsem ale právě teď proprvé zaznamenal i to co psal Psion. SSL handshake coul'd not be performed. Podotýkám ale, že tohle bylo z firemního počítače přes firemní proxy, ne z osobního počítače. Ta firemní proxy může mít např. kratší timeout při tcp komunikaci související s výměnou klíčů... Neřešil bych, zvláště pokud je důsledkem nějakého většího traficu a nestíhá se to odbavovat.
Jinak, pokud není příčina někde ve zdejším sql serveru, který by třeba brzdil odbavování, tak příčina bude asi ve větším traficu, se kterým asi tady nikdo nic neudělá.

[HonzaStr]

Tak jsem na to trochu kouknul. Je to zřejmě ten podobný problém, co jsme měli vloni v březnu - něco agresivně (a ve vlnách) tahá data přes RSS. Tehdy se mi to podařilo zkrotit přes fail2ban, při opakovaném přístupu z jedné IP adresy. Teď to zřejmě přestalo fungovat... V konkrétní okamžik (během "zámrzu") jsem zaznamenal 30 visících dotazů do RSS, přičemž přicházely z 28 IP adres, a s celkem 19 různými identitami (hash v dotazech).
Takže...

Je i klidně možné, že jsou to reální uživatelé, ale něco se pokazilo. Možná nová verze RSS čtečky? Uvidíme. Nebo je něco špatně na serveru (i když o ničem nevím). Ale každopádně aspoň už víme, odkud vítr vane.

[ok1in]

Přesně tak - RSS zahltí SQL server. Na několika phpBB fórech, které spravuju, už jsem ho definitivně vypnul a je svatý klid. Podle mě není nutné, aby někdo tahal data feedem, ať se podívá na web...

[palkog]

Nemyslim si, ze rusenie RSS by bol dobry napad. Casto to vyuzivam a forum pozeram prakticky len vtedy, ked ma nieco na RSS zaujme. Pri vacsom mnozstve prispevkov v roznych kategoriach je podla mna nerealne rucne pozerat nove prispevky.
Mozno obmedzit rozsah, ktory ide na RSS, len na cast prispevku alebo pri najhorsom len na jeho nazov...

[hades]

Rušení RSS není řešením. Taky ho využívám, pro moderátora je to neocenitelný pomocník.

[HonzaStr]

Chápu, ale pořád lepší je mít funkční fórum bez RSS než tohle...
Zrušení RSS taky nevidím jako dlouhodobě uspokojivej stav, nicméně, pro aktuální uhašení současného problému to klidně udělám.

A už jsem to vlastně i chtěl udělat. Ale v rámci hledání v administraci, jak na to vypnout, jsem našel nějaký "ladící" nastavení, tak jsem to zkusil trochu poštelovat...
"Maximum items allowed in any feed" bylo nastavený na 0 (unlimited), tak jsem to postupně snižoval... Teď je tam hodnota 15 - a (aspoň momentálně) se zdá, že by to mohlo stíhat. Netuším, do jaké míry je používání tohohle čísla omezující z hlediska RSS čteček, kdyžtak dejte vědět, jestli je s tím problém.

Ale jestli se ukáže, že to nakonec nepomohlo, asi bych to opravdu (aspoň dočasně) vypnul. Ale uvidíme.

[stmare]

Mně to připadá, že pravá příčina se teprve bude muset najít. Je pochopitelné, že právě u RSS se to štosuje, ale je to důsledek toho, že to server nestíhá odbavit. A pokud se RSS klientu nevrátí data, okamžitě to zkusí znovu, ne-li dokonce agresivně paralelně ve vícero vláknech.
Nedělalo se něco s databází? Nezmizel index? Neběží to na železe sdíleném s úplně jinou aplikací, která vyžírá sdílený procesor?

[nou]

Ja by som vyhodil smartfeed rozšírenie a nechal len zabudované RSS feed v phpbb. To filtrovanie podľa subfór to musí neskutočne spomaľovať.

[HonzaStr]

No, ještě budu později více zkoumat, ale je jasné, že ten používanej RSS modul (smartfeed) extrémně vytěžuje databázi. Pořád to zlobilo, tak jsem teď ještě zkusil zaktualizovat ten modul na poslední verzi (jsou tam opravené nějaké chyby).

Myslím, že se na serverové straně neudálo nic, co by stálo za řeč (respektive teda vůbec nic, pokud vím ). Celý problém přitom nastal včera po deváté hodině večer. Od té doby přichází ve vlnách, s hodinovou periodou, série dotazů, na které databáze nestíhá odpovídat. V rámci toho se rychle vyčerpají systémové prostředky webserveru, extrémně naroste load atd. Je zřejmé, že problém je jednak na straně toho Smartfeed pluginu (a proto je naděje, že by mohl pomoct ten provedený upgrade), navíc zvenku přichází "něco", co to celé dostává do kolen. I když to nejspíš nemá záměr fungovat jako DDOS útok, fakticky to tak dopadá.

Je i možný, že to celé dělá jedna konkrétní čtečka, nebo co já vím, třeba příspěvek, kterej to teď posílá... Pokud tohle nepomůže, zkusím později v noci podrobněji kouknout na databázi a případně ještě vymyslet něco dalšího (nějaká protřelejší analýza logů, testování zasílanejch http dotazů, dotazů do databáze atd).

[HonzaStr]

No tak jo, tak myslím, že jsem tenhle problém zprovodil ze světa .

Problém byl nakonec stejný, jako vloni - jenom se trochu změnil způsob, jak se ta "cizí zlá aplikace" chová, takže ji přestalo chytat to filtrovací pravidlo ve fail2ban.

Předělal jsem to - a už by to mělo být zase v pořádku. Je nicméně možné, že to teď bude odchytávat "normální" RSS komunikaci. Pokud se tak stane (nad rámec toho, co bylo donedávna normální), napište sem, zkusím to ještě poladit.