postgresql and some grsec kernels = FAIL
Short message: Do not run postgres on some grsec - patched kernels.
Disclaimer: I write this just because I didn't find any clear explanations of the problem on the net, and I feel that such note can be useful for other who have this problem. I'm not an expert on grsec.
The story
A friend of mine had a problem with his postgres server (PostgreSQL 8.3.8).
The application (Perl/Java) was quite simple but it generated heavy load on the machine.
While running some INSERT/UPDATE queries, there happened random segmentation faults, like this one:
Dec 7 07:24:45 nsXXXXXX kernel: postgres[22481]: segfault at 7fda5e1d5000 ip 00007fda604553c3 sp 00007fffe41faf28 error 4 in libc-2.9.so [7fda603d1000+168000]
Dec 7 07:24:45 nsXXXXXX kernel: grsec: From XX.YY.ZZ.51: Segmentation fault occurred at 00007fda5e1d5000 in /usr/lib/postgresql/8.3/bin/postgres[postgres:22481] uid/euid:103/103 gid/egid:114/114, parent /usr/lib/postgresql/8.3/bin/postgres[postgres:29857] uid/euid:103/103 gid/egid:114/114
As you imagine, one of the backends went away. It happened few times a day.
After one of these segfaults, the server detected some corrupted pages ("ERROR: compressed data is corrupt") - effectively, the database was trashed, junk, byebye. Not possible to pg_dump, randomly damaged pages.
So you understand, this made the server completely useless.
After taking some advice from the community, and investigating some false traces (bad memory? OOM/overcommit?) we finally tracked this down to nonstandard kernel version:
# uname -a
Linux nsXXXXXX.ovh.net 2.6.31.5-grsec-xxxx-grs-ipv4-64 #2 SMP Thu Nov 5 12:36:20 UTC 2009 x86_64 GNU/Linux
I was a bit suspicious about this, and my friend found some grsec problems reported by users (but not postgres-related).
So we gave it a try. And Voila! After replacing the kernel with non-grsec version, the problem went away.
Of course the database had to be rebuilt.
Lesson learned.
UPDATE:
This for sure does not apply to ALL grsec'ed kernels. But it definitely applies to this version which we had problems with - it comes from the hosting provider ovh.pl
degeneracja?
Zwłoki klienta kilka godzin leżały przy kasie.
Pierwsza sprawa - instytucje zdejmują z nas odpowiedzialność za wszystko. "Policja się tym zajmie". "Przecież jest policja". Już widzę te zażenowane miny klientów hipermarketu... "hmm Jasiu może pójdziemy do innej kasy".
Druga sprawa - jest jakaś taka tendencja, że nadmiar regulacji prawno-społecznych blokuje wszystko. Np. powszechne jest, że ze strachu przed jakimiś (niekoniecznie realnie istniejącymi) przepisami ludzie powstrzymują się od pierwszej pomocy; trend jest taki żeby wycofać się z odpowiedzialności za COKOLWIEK oprócz własnej dupy. Człowiek leży na chodniku - a chuj, droidy posprzątają. Wciskam CALL EMERGENCY i idę dalej.
tulimy!
Jan Herman: Przytulić Ruskiego :: Studio Opinii.
- ech, dusza się ściska ze wzruszenia. Że można tak zrozumieć się, pobratać, przytulić Ruskiego.
TULIMY!!!! jesteśmy jedną wielką słowiańską rodziną!
Sentyment, sympatia do "Ruskiego" w Polsce jest silny, równie silny jak nienawiść do jego matuszki Rosji.
nie powiem żebym tego sam nie czuł.
Ale coś w tym jest nie do końca... uczciwe? jednostronna ta miłość. Tulimy, tulimy, i co? Ktoś z drugiej strony mógłby się tez przytulić. jakoś nie widzę. ale może źle patrzę.
A jednak - polecam lekturę tego artykułu, warto poruszyć sobie w duszy tę strunę. Niech gra, bałałajką, harmoszką, wódką i kawiorem niech nam gra.
(fajnie że p. Herman przypomniał Jelcyna. skąd taki przyzwoity człowiek się wziął na Kremlu?)
District 9 – opadła mi szczęka
Ale opadła mi też trochę pierwsza entuzjastyczna reakcja; po przeczytaniu kilku kwaśnych recenzji przyznaję, że w istocie: film ma dziury logiczne, jest naiwny, nie ma pełnego rozwinięcia, nie jest rewolucją.
Ale wg mnie nadal jest to nadal najlepsza produkcja filmowej SF od ładnych paru lat.
Dziury logiczne - darowuję w zamian za świetne pytania które film - niejawnie - stawia; w SF / futurystyce dobre pytania ważniejsze są IMHO od odpowiedzi.
Naiwność - darowuję w zamian za wyobraźnię i kreację tła; czy widz idąc do kina nie chce być zaczarowany?
Brak głębi postaci i pełnego rozwinięcia - darowuję (a tak!) w zamian za wartkość akcji i nie-bardzo-głupią rozrywkę, najlepszą (dla mnie) bodaj od Raportu Mniejszości;
Brak rewolucji - darowuję w zamian za kontynuację ciekawych elementów kanonu, w istocie scenariusz jest godnym spadkobiercą klasyków SF.
Do wszystkich krytyków tego filmu: bez urazy, proszę niech ktoś mi wskaże 10 filmów lepszych od District 9, i polećmy poza IMDB top 100.
PS. IMHO dobra analiza (spolier!) - tutaj.
Polecam!
demokratos
Demokratosi europejskiego firmamentu mają specyficzne pojęcie o ustroju który firmują.
1. "Referenda" które się powtarza do skutku. Kpina?
2. Niedawno były "wybory" "prezydenta" i "ministra spraw zagranicznych" Unii Europejskiej (która właśnie od kilku dni istnieje). Wszyscy już chyba wiedzą, że "paaaanie jakie wybory". Jeśli już to bardzo pośrednie - czytaj, w gronie około pięciu osób. Stanowiska obsadzono ludźmi bez zaplecza politycznego; ludźmi, których łatwo będzie stłamsić w razie jakiegokolwiek konfliktu.
3. Polska: podobno jest jakiś projekt zmiany Konstytucji. Szukam w internecie już od kilkunastu dni treści - jakichkolwiek KONKRETÓW - czytaj: litery prawa - i nic. Projekt, który ma już karierę medialną; projekt, który rzekomo omawiano bardzo szeroko.
W codziennej polityce, sztafaż demokratyczny jest dla ciemnej masy; My oświecona elita, zagramy i tak po swojemu.
Ktoś jeszcze tkwi w złudzeniach, że demokracja to jest ten platoniczny byt, który po upadku komuny wkroczy do Polski i zamieni ciemnotę przemądrzałych członków komitetu na oświecone rządy LUDU? Marsz do kibla, głowę pod klapę i GET REAL!
