Nieuw netwerk; het nieuwe backup-plan
Door het toepassen van virtualisatie en rollenscheiding heb ik nu de verschillende services geissoleerd draaien, het backuppen moest hierdoor volledig anders worden ingericht. Ik heb uiteindelijk gekozen voor de volgende opzet;
- rsnapshot voor de configuraties en belangrijke directories per server – ik bewaar 6 hourly’s, 7 daily’s, 4 weekly’s en 12 monthly’s backups. Door de efficiente opzet van rsnapshot kost me dit slechts de ruimte van 1 backup plus mijn wijzigingen sindsdien, en dat valt best mee. Ook in sync-snelheid is dit natuurlijk ENORM handig; 1 daily is bij mij 2.5Gb, de volgende daily zal echter alleen de wijzigingen opslaan, de rest wordt middels een ‘hard-link’ ook in de huidige snapshot geplaatst waardoor ten alle tijde een volledig overzicht van de data op dat moment beschikbaar is. Je hoeft dus niet op zoek naar die ene incremental waar je file in zit, die zit in alle backups (maar neemt slechts 1 keer ruimte in). Middels rsync kan de data met behoud van hardlinks worden gesynchroniseerd waardoor de data ook echt maar 1 keer over de lijn gaat. Op deze manier synchroniseer ik 32Gb aan data binnen 10 minuten over een 50KB/s capped lijn, best relax!
- rsync – onmisbare tool om te backuppen – synced folders over het netwerk (eventueel over een SSH tunnel voor encryptie) en verstuurd alleen de gewijzigde delen van het bestand waardoor de tijd die het kost enorm afneemt. Ik gebruik rsync voor de backups van mijn vaders bedrijf en om mijn eigen OpenVZ-images en rsnapshot-backups te syncen naar Eindhoven.
- Proxmox Backups – Proxmox kan, enkel geconfigureerd vanuit de web-ui, de virtuele machines gescheduled ‘live’ backuppen middels een snapshot van het LVM-volume, hierdoor worden alle vormen van locks en dergelijke omzeild en kan de volledige machine worden gebackupped. De images transfer ik vervolgens met rsync naar Eindhoven, mocht de boel in Ede ooit crashen dan kan ik in minder dan een uur tijd alle machines restoren op een verse Proxmox-machine, is voorlopig goed genoeg
Ik ben nog bezig met het implementeren van MBR-backups en een efficientere sync van de Proxmox-backups; op dit moment transfer ik die nog steeds volledig bij iedere sync en dat is bijzonder inefficient en tijdrovend. Het lijkt nog even te duren voor we hier in Eindhoven op 100Mbit zitten dus ik ga de rsync man-page er nog maar eens op nalezen…
Binnen Nagios is het bijzonder gemakkelijk om zelf scripts te schrijven om allerhande zaken op je systeem te laten controleren, zo krijg ik bijvoorbeeld automatisch bericht als de backupsynchronisatie om wat voor reden dan ook langer dan 24 uur niet lukt. Hier onder een screenshot uit de backup-monitoring;
Nagios Monitoring - Backups