[Admin] backup

Admin
1

hallo,

backup ist aktiv und Automatisierung per cron eingeschalten.
doku unter https://wiki.nordwest.freifunk.net/Admin-Bereich/services%20doku

es gibt noch einiges zu tun, dazu bitte hier mithelfen!
https://fr32k.de/pad/p/ffnw_backup
siehe speziel TODO

im moment ist das backup beschrängt auf srv01-13 ohne srv07
ohne LXC-Container!

srv01-13:
backup ffnw@srvxx.ffnw.de:/etc/ srvxx/etc/
backup ffnw@srvxx.ffnw.de:/var/backups/ srvxx/var/backups/

srv 05 ist der einzige der komplett gesichert wird wegen EOL
#srv05
backup ffnw@srv05.ffnw.de:/etc/ srv05/etc/
backup ffnw@srv05.ffnw.de:/home/ srv05/home/
backup ffnw@srv05.ffnw.de:/var/www/ srv05/var/www/
backup ffnw@srv05.ffnw.de:/var/lib/ srv05/var/lib/
backup ffnw@srv05.ffnw.de:/var/backups/ srv05/var/backups/

platzverbrauch
root@backup:~# du -sh /var/cache/rsnapshot/
7,0G /var/cache/rsnapshot/

2

ehm, macht es sinn, auf 05 in /var/www die ganzen kompilierten
Firmwares zu backupen? glaube eher nicht, dass wir die nochmal
brauchen und falls doch, sollten die sich ja irgendwie aus dem per git
ohnehin versionsverwalteten source jederzeit bauen lassen?!

Desweiteren gehe ich ja mal davon aus, dass es sich dabei insgesamt um
ne übergangslösung handelt; wenn wir später mit puppet arbeiten,
sollten wir in /etc nix mehr per einzelnem server backupen müssen,
sondern höchstens das, was das erzeugt und auf dem puppetmaster liegt.

Dann sollte das Backup wirklich ausschließlich für user generated
content laufen, sprich: Web-Gedöns, Mysql, ... eben das, was puppet
nicht sinnvoll leisten kann.

viele Grüße,
Eike

3

platzverbrauch root@backup:~# du -sh /var/cache/rsnapshot/ 7,0G
/var/cache/rsnapshot/

PS:

root@srv05 ~www/html # du -hs firmware
6.5G firmware

4

Die images sind sowie so redundant ausgelegt da die zwischen 4 Servern
gesynct werden.

vg
Tarek

5

Zitat von Eike Baran <eike.baran@uni-oldenburg.de>:

ehm, macht es sinn, auf 05 in /var/www die ganzen kompilierten
Firmwares zu backupen? glaube eher nicht, dass wir die nochmal
brauchen und falls doch, sollten die sich ja irgendwie aus dem per git
ohnehin versionsverwalteten source jederzeit bauen lassen?!

nein das macht keinen sinn.

aber es macht sinn www zu sichern
und /var/www ist auf allen srv anscheint der einheitliche ordner für www static stuff.
und da ich nach backup einrichtung so selten wie möglich an der conf rum schrauben werde,
möchte ich einheitlich sichern, das erleichtert auch das finden über mehrere srv.

ich zitiere aus dem brainstorming pad https://fr32k.de/pad/p/ffnw_backup
Was nicht?
/var/lib/apt
srv13 /var/lib/lxc/backup (backup VM nicht)
In /var/www/html/firmware liegen auf diversen Servern komplette Firmware-Mirrors (6.5GB).

ich werde /var/www/html/firmware einfach im backup excluden!

Desweiteren gehe ich ja mal davon aus, dass es sich dabei insgesamt um
ne übergangslösung handelt; wenn wir später mit puppet arbeiten,
sollten wir in /etc nix mehr per einzelnem server backupen müssen,
sondern höchstens das, was das erzeugt und auf dem puppetmaster liegt.

natürlich ist es für /etc usw... ein übergang,
aber ohne backup kann ich nicht ruhig schlafen!

ich zitiere aus dem brainstorming pad https://fr32k.de/pad/p/ffnw_backup
Mit Puppet
Mit Puppet haben wir alle configs in puppet und da nutzen wir GIT.
GIT sichern mit rsnapshot.

Dann sollte das Backup wirklich ausschließlich für user generated
content laufen, sprich: Web-Gedöns, Mysql, ... eben das, was puppet
nicht sinnvoll leisten kann.

genau so soll es sein, gerne beteilige dich im pad
https://fr32k.de/pad/p/ffnw_backup

danke für deine mithilfe.

6

srv01: bekam heute als Ergänzung
backup ffnw@srv01.ffnw.de:/var/vmail/ srv01/var/vmail/
backup ffnw@srv01.ffnw.de:/var/lib/mailman/ srv01/var/lib/mailman

~# du -sh /var/cache/rsnapshot/daily.0/srv01/var/
912M /var/cache/rsnapshot/daily.0/srv01/var/

alles was noch nicht gesichert wird https://fr32k.de/pad/p/ffnw_backup
unter -> TODO sicherung WAS!

7

Zitat von Jan-Tarek Butt <tarek@ring0.de>:

8

Zitat von picard <freifunk@fr32k.de>:

Zitat von Jan-Tarek Butt <tarek@ring0.de>:

ehm, macht es sinn, auf 05 in /var/www die ganzen kompilierten
Firmwares zu backupen? glaube eher nicht, dass wir die nochmal
brauchen und falls doch, sollten die sich ja irgendwie aus dem per git
ohnehin versionsverwalteten source jederzeit bauen lassen?!

Die images sind sowie so redundant ausgelegt da die zwischen 4 Servern
gesynct werden.

eine unschöne sache gibt es tarek mit firmware

es liegt nicht immer unter /var/www/html/firmware
sondern auch unter /var/www/firmware
kannst du das ändern das es einheitlich ist, wenn du deine redundans so lässt?

9

stefan und bjo
ich benötige eure hilfe.

@stefan du hast auf srv01
[1] 20:09:05 [SUCCESS] srv01
1.3G /home/stefan
wenn dies nicht benötigt wird bitte löschen!

@bjo und stefan
[1] 20:09:05 [SUCCESS] srv01
14G /home/ffol
[2] 20:09:24 [SUCCESS] srv03
12G /home/ffol

können wir ffol zu /var/www oder /opt
oder gott weiß wohin umziehen, das ich /home/* sichern kann?

danke.

10

Brauche ich, da ist der alte Server gebackupt. Verschiebe ich morgen

11

Zitat von Stefan <stefan@osnabrueck.freifunk.net>:

Brauche ich, da ist der alte Server gebackupt. Verschiebe ich morgen

quatsch!
wenn es seine Berechtigung hat ist alles okay.
ist nun mit im backup.

12

backup ist aktiv und Automatisierung per cron eingeschalten.
doku unter https://wiki.nordwest.freifunk.net/Admin-Bereich/services%20doku

es gibt noch einiges zu tun, dazu bitte hier mithelfen!
https://fr32k.de/pad/p/ffnw_backup
siehe speziel TODO

nun gut, bekomme es auch alleine hin.

im moment ist das backup beschrängt auf srv01-13 ohne srv07
ohne LXC-Container!

ausschnitte aus der rsnapshot.conf

so schaut eine default sicherung aus
# srv02
backup ffnw@srv02.ffnw.de:/etc/ srv02/etc/
backup ffnw@srv02.ffnw.de:/home/ srv02/home/
backup ffnw@srv02.ffnw.de:/var/www/ srv02/var/www/
backup ffnw@srv02.ffnw.de:/var/backups/ srv02/var/backups/

jeder host hat so seine wichtigkeiten
# srv01
backup ffnw@srv01.ffnw.de:/var/lib/mailman/ srv01/var/lib/mailman
backup ffnw@srv01.ffnw.de:/var/vmail/ srv01/var/vmail/

EOL einfach alles
#srv05
backup ffnw@srv05.ffnw.de:/etc/ srv05/etc/
backup ffnw@srv05.ffnw.de:/home/ srv05/home/
backup ffnw@srv05.ffnw.de:/var/www/ srv05/var/www/
backup ffnw@srv05.ffnw.de:/var/lib/ srv05/var/lib/
backup ffnw@srv05.ffnw.de:/var/backups/ srv05/var/backups/

LXC configs und container
# srv13
# LXC
backup ffnw@srv13.ffnw.de:/var/lib/lxc/ srv13/var/lib/lxc/
# Container
# git
backup ffnw@srv13.ffnw.de:/var/lib/lxc/git/rootfs/etc/
srv13/var/lib/lxc/git/rootfs/etc
backup ffnw@srv13.ffnw.de:/var/lib/lxc/git/rootfs/home/git
srv13/var/lib/lxc/git/rootfs/home/git
# backup
backup ffnw@srv13.ffnw.de:/var/lib/lxc/backup/rootfs/etc/
srv13/var/lib/lxc/backup/rootfs/etc/
# MariaDB
backup ffnw@srv13.ffnw.de:/var/lib/lxc/mysql-slave/rootfs/etc/
srv13/var/lib/lxc/mysql-slave/rootfs/etc

damit nicht zu viel gesichert wird exclude
# /var/firmware & /var/firmware redundans
exclude firmware/
exclude html/firmware/
# /home/ffol
exclude ffol
# lxc-container
exclude rootfs
exclude rootfs.dev

backup größe ~6,3GB

wir ein LXC-container angelegt muss dieser im backup eingetragen werden,
ich finde keine möglichkeit /var/lib/lxc recursiv zu sichern ohne dies
einzeln zu confen!

13

/var/www/dev war ein symlink zu /home/ffol/www/dev
den symlink gelöscht und die daten umgezogen
dies scheinen wichtige daten zu sein,
drum sichern wir sie erstmal ~13GB

14

und nginx angepasst dev und firmware

fehlt noch netmon!

15

läuft doch auf srv14 jetzt!

16

alles was auf srv01 unter /home/foobar war ist nun unter /opt/home

backup srv01 /home/* an

17

Zitat von picard <freifunk@fr32k.de>:

18

Zitat von picard <freifunk@fr32k.de>:

@clemens kannst du für mich die DB backups von
AutoMySQLBackup und Autopostgresqlbackup in ein dir legen
das ich es per ssh mit dem backup srv abholen kann?

srv01 /var/lib/odoo
@clemens muss hier was gesichert werden?

19

srv01 /var/lib/munin & mysql im backup
srv01 /var/www/dev/firmware/
alle /home im backup
ich habe alles ins backup gepackt was ich gefunden habe.

~23G /var/cache/rsnapshot

fehlen noch die DB dumps von srv07 clemens.

20

Zitat von picard <freifunk@fr32k.de>:

~23G /var/cache/rsnapshot
fehlen noch die DB dumps von srv07 clemens.

munin und plugins
backup ffnw@srvxx.ffnw.de:/usr/share/munin/ srvxx/usr/share/munin/

xmpp server modules
backup ffnw@srv05.ffnw.de:/usr/lib/prosody/ srv05/usr/lib/prosody/

ich hatte vergessen munin plugins auf allen srv zu sichern. done

prosody xmpp srv habe ich gestern um ein comunity modules erweitert um statistics zu bekommen für munin.
deswegen ist es mir wichtig dies auch zu sichern, für den umzug später. EOL srv05

prosody statistics -> https://github.com/mayflower/prosody-modules/tree/master/mod_statistics
munin lua plugin -> https://github.com/mayflower/prosody-modules/blob/master/misc/munin/prosody_.lua