Gargamel.NU

Munin är ett övervaknings/statistik program som jag faktiskt nämnt tidigare, anledningen till att jag numer använder det (nyttjade cacti förut) är för att det är så väldigt enkelt att skapa egna script och grapher.

Men det följer med väldigt många bra färdiga script också, exempelvis för att övervaka apache2.
Först måste vi aktivera ExtendedStatus och se till att enbart localhost har rätt att lästa server-status, det gör vi genom att lägga till följande i apache2 konfigurationen.

ExtendedStatus On
<Location /server-status>
    SetHandler server-status
    Order deny,allow
    Deny from all
    Allow from 127.0.0.1
</Location>

efter det så länkar vi alla apache script som kommer med munin

sudo ln -l /usr/share/munin/plugins/apache_* /etc/munin/plugins/

sen konfigurerar vi munin-node med rätt parametrar

sudo vi /etc/munin/plugin-conf.d/munin-node

[apache_*] 
env.ports 80

och startar om munin-node

sudo service munin-node restart

Läs även andra bloggares åsikter om apache, munin, open source, ubuntu, lucid lynx

Jag har under de senaste åren haft denna blogg (och några andra tjänster/siter) på Servage men nu har jag flyttat.
Från början var jag väldigt nöjd, snabb service och extremt kostnadseffektivt. Men allt efter som så har deras MySQL backend blivit långsammare och långsammare, till den milda grad att jag inte längre stod ut. Jag vill dock understrycka att deras support har varit tillmötesgående och trevliga under samtliga ärenden, men det räcker liksom inte.

Numer ligger allt konsoliderat på en VPS hos leverantören Gandi, och hitintills är jag väldigt nöjd, jag har i.o.f.s. bara kört min VPS i 4-5 veckor och bara haft dns, blog och mail i “produktion” i ett par dagar, så jag får väl återkomma senare om detta.

Så varför bytte jag då, är det verkligen så illa om MySQL inte svarar tillräckligt snabbt?
Svaret är JA!

Jag skapade ett konto på pingdom och började mäta mot Gargamel.NU och detta är resultatet för tillgängligheten

Inge vidare siffror!!! två och en halv dags “nertid” de senaste 29 dagarna..  men det blir “värre”…

svarstiderna när jag var tillgänglig var så usla att jag själv gav upp när jag skulle göra något på Gargamel.NU, hur skall då inte någon stackars besökare uppleva denna sajt…

Nästan 5 sekunders medelsvarstid.. skrattretande.. och den snabbaste uppmätta tiden var 1,3 sekunder…

Förhoppningsvis så skall denna sida vara betydligt snabbare i svängarna, att jag kanske till och med orkar uppdatera den oftare..

Lev väl, för själv har jag inte tid :)

ps. vill bara slänga ut en blänkare och tala om vilken guldtjänst Pingdom har, det måste vara något de har i vattnet där i Västerås?

Läs även andra bloggares åsikter om MySQL, Prestanda, Pingdom, Servage, Gandi

Jag håller på att flytta mina system från en leverantör till en annan (mer om det senare) och jag har inte lust att installera en ftp-server enbart för att kunna uppgradera wordpress och plugins i wordpress på ett enkelt sätt. Lyckligtvis så går det att konfigurera wordpress att använda sftp (istället för ftp och ftps som är standard).

först och främst måste vi installera ssh2 stödet för php5

sudo apt-get install libssh2-php

och se till att ssh2.so laddas i php5

echo "extension=ssh2.so" | sudo tee -a /etc/php5/conf.d/ssh2.ini

starta om apache2 så att ssh2.so är laddad

sudo /etc/init.d/apache2 restart

I min miljö så har jag valt att lägga samtliga mina web-sajter i en katalogstruktur under /home/www
Så ni får ta hänsyn till detta i resterande konfigurationer så att den matchar eran konfiguration.

Det nästa vi gör är att skapa en ssh-nyckel som skall användas för att autentisera sig till servern. Jag har valt att lägga den i en katalogen /home/www/.ssh.wordpress

$ssh-keygen -f /home/www/.ssh.wordpress/wordpress.id

vi måste dessutom ändra säkerheten på den privata publika nyckeln så att www-data användaren kan läsa dem

$ chmod 755 /home/www/.ssh.wordpress
$ chmod 644 /home/www/.ssh.wordpress/*

www-data användaren måste dessutom ha fullständiga rättigheter på wordpress-filerna

sudo chown -R www-data:www-data /home/www/foto.gargamel.nu/htdocs/*

sen måste vi lägga till den publika nyckeln i användarens

echo from=\"127.0.0.1\" $(cat /home/www/.ssh.wordress/wordpress.id.pub) >> $HOME/.ssh/authorized_keys

och sist men inte minst konfigurera wordress att använda vår konfiguration vid uppdateringar, detta görs genom att lägga till följande rader i wp-config.php

define('FS_METHOD', 'direct');
define('FTP_BASE', '/home/www/foto.gargamel.nu/htdocs/');
define('FTP_CONTENT_DIR', '/home/www/foto.gargamel.nu/htdocs/wp-content/');
define('FTP_PLUGIN_DIR ', '/home/www/foto.gargamel.nu/htdocs/wp-content/plugins/');
define('FTP_PUBKEY', '/home/www/.ssh.wordpress/wordpress.id.pub');
define('FTP_PRIKEY', '/home/www/.ssh/wordpress.id');
define('FTP_USER', 'ANVÄNDARNAMN');
define('FTP_PASS', 'LÖSENORD_FÖR_PRIVATA_NYCKELN');
define('FTP_HOST', 'localhost');

Se till att ändra ANVÄNDARNAMN till ditt linuxkonto på maskinen samt ändra LÖSENORD_FÖR_PRIVATA_NYCKELN till den passphrase som du angav när du skapade ssh-nyckeln.

Efter detta skall det gå alldeles utmärkt att uppgradera wordpress samt att uppgradera/installera teman och plugins.

Läs även andra bloggares åsikter om wordpress, linux, Öppen Källkod, SSH, ubuntu

Att lägga sina data-diskar på en volym som är skyddad av RAID tycker jag är en självklarhet, och dessutom relativt enkelt att göra med linux med hjälp av mjukvara (billigare än att köpa hårdvara, men inte lika mycket prestanda).  Men så kommer det där med att övervaka sin RAID, gör man inte det så kan man lätt hamna i problem.

Som tur är så kan man konfigura mdadm per automatik att skicka ett email om något skulle hända med någon av diskarna i vår RAID (det konfigureras per automatik i Ubuntu), men jag förespråkar och använder själv mer aktiva övervakningar. Detta kan man göra med hjälp av SNMP, vilket är vanligt i större server-installationer, men när det kommer till min desktop-maskin så vill jag ha en visuell representation av mina RAID-set, och kunna se direkt om/när något händer.

filen /proc/mdstat visar hur RAID-setten är konfigurerade och deras status, så här ser den ut på min maskin

$ cat /proc/mdstat
Personalities : [linear] [multipath] [raid0] [raid1] [raid6] [raid5] [raid4] [raid10]
md1 : active raid1 sdd3[1] sdc3[0]
      141636992 blocks [2/2] [UU]

md0 : active raid1 sdd1[1] sdc1[0]
      9767424 blocks [2/2] [UU]

md2 : active raid5 sda2[2] sdb2[3] sde2[0] sdf2[1]
      1860736320 blocks level 5, 64k chunk, algorithm 2 [4/4] [UUUU]

unused devices:

Jag testade KDE som hastigast (tog inte lång tid innan jag ersatte det med OpenBox igen) och det första jag gjorde var att göra en screelet för att övervaka mina RAID-set (ingen snygg kod, hann inte städa upp inna KDE åkte ut), nu mer kör jag övervakningen via min Conky (screenshot)

Men oftast så ansluter jag mig till min maskin från andra via SSH, och använder mig av byobu (en wrapper till screen, före detta screen-profiles), och byobu har en lite statusrad längst ner som man kan konfigurera lite som man vill.

Jag har gjort ett litet script som visar antal MD-devices med vit text på grön bakgrund om allt är OK, skulle en disk vara trasig så ändras bakgrundsfärgen till röd.

Det är bara att skapa en bin katalog i ~./byobu och lägga scriptet där (glöm inte att göra scriptet “körbart”)

FILE: 10_mddev

#!/bin/bash
MDSTAT="/proc/mdstat"
#echo "md: $NUMBER_OF_DEVICES"
if [ $(grep -c "(F)" $MDSTAT) == "0" ]; then
    COLOR="\005{=b gw}"
else
    COLOR="\005{=b rw}"
fi
printf "$COLOR%s\005{-}" "md: $(egrep -c "^md[0-9]" $MDSTAT)"

Scriptnamnet måste börja med siffror ett understreck och sen namnet (ex: 10_mddev). Siffrorna indikerar för byobu hur ofta scriptet skall köras (i detta fall var 10:e sekund)

Som ni kanske noterar på bilden så finns det dessutom en kvm indikation, det är ett väldigt enkelt script som talar om hur många kvm-gäster som är igång. Körs också var 10:e sekund och ser ut så här:

FILE: 10_kvm_guests

#!/bin/bash
echo "kvm: $(pgrep -x -c kvm)"

Läs även andra bloggares åsikter om Övervakning, byobu, screen, kvm, Ubuntu, Linux, Open Source, Öppen Källkod, RAID

Har börjat få lite problem med mina datorer och värmen hemma, speciellt servern i källaren.
Hårddiskarna börjar bli lite väl varma och följer utetemperaturen ganska linjärt, men det lustiga är att CPU håller en och samma temp oavsett temperaturen ute.

Utetemperatur - Bromma

Hårddisktemperatur

System Temperatur, temp1=CPU

Graferna är hämtade från min Munin-installation, är du nyfiken på hur du installerar så har min bloggkollega, Hund, en snabb intro.

Läs även andra bloggares åsikter om Munin, Hårddiskar, Monitorering, Open Source, Öppen Källkod

Nu finns den skarpa versionen av Ubuntu 10.04 Lucid Lynx för nedladdning.

Det blev jobb in i det sista då de var tvugna att bygga om desktop-iso i sista sekund

Läs Ubuntu Announcements : Ubuntu 10.04 LTS released

Läs även andra bloggares åsikter om  Linux, Open Source, Öppen Källkod, Ubuntu, Lucid Lynx

Jag skrev tidigare idag om en bugg som eventuellt skulle fördröja laseringen av Ubuntu 10.04, och då att buggen låg i grub2.

Det visar sig att buggen ligger i migration-assistant som körs under installationen. Som det ser ut nu så kommer de att skapa nya ISO till Ubuntu Desktop (både i386 samt amd64), samt om tid finns även DVD-skivan.

Derivat av Ubuntu (som exempelvis Xubuntu) kommer förmodligen inte få nya ISO under dagen, och alltså inte släppas idag.

Kubuntu använder uppenberligen inte migration-assistant och är opåverkad av denna problematik.

Nu finns det andra derivat (tänker främst på Ubuntu.se’s remix) som förmodligen också har detta problem. (jag antar, det kan vara så att de själva löst detta, eller att de inte nyttjar migration-assistant)

Läs även andra bloggares åsikter om Ubuntu, Linux, Lucid Lynx

En bugg i grub2 som smugit in på installations-iso på Ubuntu 10.04 kan orsaka en försening av den officiella lanseringen av Ubuntu 10.04 (lucid lynx)

Bugg #570765 , incedentrapporten hittar ni här.

Buggen visar sig när man installerar Ubuntu på en maskin med ett annat operativsystem redan installeras. Dessa förinstallerade OS kommer inte upp som val i GRUB2. Jag håller tummarna på att de fixar detta så att ISO-filerna kan släppas under dagen

Läs även andra bloggares åsikter om Ubuntu, Linux, Grub2, Open Source, Lucid Lynx

Två dagar kvar innan Ubuntu 10.04 (Lucid Lynx) blir officiellt släppt.

det går redan nu att uppgradera till Release Candidate version, och Urban Anjar visar hur man gör det i GNOME. Själv kör jag inte GNOME eller KDE, utan valt en fönsterhanterare vid namn OpenBox. Så jag uppgraderade till RC (idag faktiskt) genom terminalen.

$ sudo apt-get update
$ sudo apt-get upgrade
$ sudo apt-get install update-manager-core
 
$ sudo do-release-upgrade -d

-d flaggar sätter jag dit för att gå till en “development”-version, den är inte nödvändig så snart version 10.04 blir skarp.

Min rubrik talade om fler nyheter i Lucid Lynx, tidigare skrev jag om hur volymen å datalagring presenteras.

Denna gång tänkte jag nämna en funktion som ligger med i kernel 2.6.32 och framåt, nämligen KSM (Kernel SamePage). Denna funktion tillåter en effektivare minneshantering ( allt är relativt, jag tycker den är effektivare så därför skriver jag så) genom att aggregera minneshanteringen med KVM (Kernel-Based Virtual Machine ).

Innan KSM så allokerades hela minnesmängden för den virtuella instansen, det innebar att när vi kör många virtuella instanser i KVM så fanns den många memory-pages som är identiska. Det KSM gör är att identifiera de identiska memory-pages som finns och konsolidera ihop dessa i en gemensam minnesarea och på så sätt minska minnesmängden totalt.

Det ger oss möjlighet att t.ex överallokera minne till KVM, alltså att den totala mängden minne som är utdelade till virtuella instanser är större än det fysiska minnet på värdservern.

I ärlighetens namn så krävs även förståelse för detta i fler lager än själva linux-kerneln, därför är även qemu uppdaterad (qemu-kvm) i Lucid Lynx, och ytterligare utveckling sker av KSM. Idag tillåter inte KSM pageing, men det kommer i kernel 2.6.33

En snabb koll på hur mycket “vinst” KSM gör på systemet kan göras genom att titta i filen $ sudo cat /sys/kernel/mm/ksm/pages_sharing

$ cat /sys/kernel/mm/ksm/pages_sharing
17751

En siffra högre en 0 (noll) betyder att vi “spar” på minne.

Tittar vi på vilka “filer” som ligger i sys

$ ls -l /sys/kernel/mm/ksm/
-r--r--r-- 1 root root 4096 2010-04-27 15:03 full_scans
-rw-r--r-- 1 root root 4096 2010-04-27 15:03 max_kernel_pages
-r--r--r-- 1 root root 4096 2010-04-27 15:03 pages_shared
-r--r--r-- 1 root root 4096 2010-04-27 15:03 pages_sharing
-rw-r--r-- 1 root root 4096 2010-04-27 15:03 pages_to_scan
-r--r--r-- 1 root root 4096 2010-04-27 15:03 pages_unshared
-r--r--r-- 1 root root 4096 2010-04-27 15:03 pages_volatile
-rw-r--r-- 1 root root 4096 2010-04-27 14:37 run
-rw-r--r-- 1 root root 4096 2010-04-27 14:37 sleep_millisecs

Konfiguration/manipulera
Med hjälp av dessa filer kan vi konfigurera och ändra hur KSM beter sig, en användare får titta i filerna, det krävs root-rättigheter för att ändra

• run
  0 = kör inte KSM , 1 = kör KSM.
• sleep_millisecs
  Avgör hur länge ksm skall vänta mellan sina page-sökningar.
• max_kernel_pages
  avgör hur många “memory-pages” som KSM får använda för “shared pages”
• pages_to_scan
  anger hur många “pages” KSM får skanna igenom i ett svep (innan den måste “sova” i sleep_millisecs)

Övervakning
Med dessa filer kan övervaka hur KSM arbetear

• full_scans
  Talar om hur många hela “scans” som KSM gjort av minnet
• pages_shared
  Antalet “unswappable kernel pages”  som KSM använder
• pages_sharing
  Indikerar hur mycket minne vi “sparar” med hjälp av KSM
• pages_unshared
  Antalet unika “pages” som återkommande kontrolleras för möjligheten att konsolidera.
• pages_volatile
  Antalet  “pages” som förändras för ofta för att konsolideras

Så, en slutsats om KSM är effektivt eller inte är att titta på värdena i pages_sharing och pages_shared, är dessa höga så är KSM effektivt. Är de låga så är KSM inte så effektivt, vilket kanske betyder att det kostar mer (CPU) än det smakar (RAM). Då kvarstår bara frågan, vad är en hög respektive en låg siffra?

Läs även andra bloggares åsikter om Server virtualisering, Linux, Open Source, Öppen Källkod, Ubuntu, KVM, Lucid Lynx

Om tre dagar släpps nästa version av Ubuntu, version 10.04 Lucid Lynx.  Och det uppmärksammas mer och mer i den svenska bloggvärlden.

Det kan ibland när man uppgraderar uppfattas som inte mycket har hänt, men många gånger är det så att förändringarna inte syns, eller är direkt synliga. Oftast är det nya grafiska teman eller bakgrunder (eller knappar i fönsterlister som byter plats).

En sak som jag ser som mycket positiv är att Ubuntu äntligen går från binär presentation av datalagring till decimal. Under väldigt lång tid har vi presenterat 1024 byte som 1kB (en kilobyte), och en Megabyte (1 MB)  motsvarade 1024 kilobyte som i sin tur motsvarade 1024*1024 byte vilket är 1 048 576 Byte, alltså drygt en miljon byte.

Detta har varit väldigt förvirrande, speciellt för de som normalt inte arbetar med datalagring. Framförallt har det varit förvirrande för de som inte arbetar med datorer överhuvudtaget. Det finns förkortningar som förklarar om det är binärt eller decimalt prefix som menas: kB skall vara basen 10 medan KiB (med ett litet i) refererar till basen 2. Att det finns två sätt att representera datalagringens storlek är extremt olyckligt och är en källa till många missförstånd.

Historiskt har detta inte varit ett så stort problem, eftersom storlekarna på diskar och datavolymer ute på företagen har varit relativt små. Men som vi alla vet om så växer dessa extremt, och skillnaden mellan binär representation av lagringsutrymmet växer mot den decimala presentationen. Det underlättar inte att hårddisktillverkarna alltid (vad jag vet) presenterat volymen med basen 10. Detta för att disken ser större ut :)

Så, redan vid en disk på 1Terrabyte så är skillnaden nästan 10%. Det innebär att Ubuntu har presenterat en mindre volym än vad hårddisktillverkaren säger att disken är. Istället för att få en disk på 1TB så har användaren sett drygt 900GB. Och skillnaden växer sig större för varje prefix.

Men i och med Ubuntu 10.04 LTS (Lucid Lynx), så har de äntligen valt att presentera volymen med basen 10.

Läs även andra bloggares åsikter om Ubuntu, Linux, Storage, datalagring, Lucid Lynx, Open Source