Budowanie NAS

[TataPingu]

sprawdzi co jest do zsynchronizowania i tylko to zsynchronizuje?

Tak, że teraz nie powinno twać to długo...

TYLKO UWAGA!!!
- pliki, które przypadkiem zlikwidujesz na serwerze, znikną również z backupa!

Dlatego na początku sugerowałem regularne robienie takiego codziennego backupa plus np. comiesięczną kopię samego backupa. Do tego potrzebujesz jeszcze wspomniany dodatkowy HDD

Acha, nie zapomnij od czasu do czasu (po zmianach) zrobić sobie "ręcznie" backupa systemu fsarchiverem (plik .FSA)...

[sebekoo]

Kod [Zaznacz] Rozwiń

sudo rsync --no-prems --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-windows=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL
Coś w składni tej komendy jest nie tak, bo po jej uruchomieniu otrzymuje

Kod [Zaznacz] Rozwiń

sending incremental file list
rsync: link_stat "/home/sebek/progress" failed: No such file or direcotory (2)
rsync: link_stat "/home/sebek/--delete" failed: No such file or direcotory (2)
rsync: link_stat "/home/sebek/--modify-windows=1" failed: No such file or direcotory (2)
rsync: link_stat "/home/sebek/--exclude=/Backup" failed: No such file or direcotory (2)
rsync: link_stat "/home/sebek/--exclude=/proc" failed: No such file or direcotory (2)
rsync: link_stat "/home/sebek/--exclude=/sys" failed: No such file or direcotory (2)
skipping non-regular file "initrd.img"
skipping non-regular file "initrd.img.old"
skipping non-regular file "vmlinuz"
skipping non-regular file "vmlinuz.old"
Backup/BackupZYXEL/Backup/BackupZYXEL/
Backup/BackupZYXEL/Backup/BackupZYXEL/webmin-setup.out
.......


rsync rozpoznaje

Kod [Zaznacz] Rozwiń

progress, --delete, --modity-windows=1, --exclude=/Backup, --exclude=/proc, --exclude=/sys jako "katalogi" a nie jako  "opcje"

[TataPingu]

Wróć do mojego skryptu "backup" i przeanalizuj tę komendę_

Kod [Zaznacz] Rozwiń


#---tutaj dopasowac (to, co Ci prawidlowo zadzialalo)
rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir="${DIR_TEMP}" -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ "${QUELLE_DAT}" "${ZIEL_COPY}"
#---tutaj dopasowac (to, co Ci prawidlowo zadzialalo)


Czy nie widzisz, że masz tam błąd...
- a poza tym, co teraz chcesz z Twoją komendą, szczególnie z sudo, czy testujesz ręcznie ?

[sebekoo]

Chyba sa problemy

Kod [Zaznacz] Rozwiń

login as: sebek
sebek@192.168.1.13's password:
Welcome to Ubuntu 18.04.2 LTS (GNU/Linux 4.15.0-46-generic x86_64)

* Documentation:  https://help.ubuntu.com
* Management:     https://landscape.canonical.com
* Support:        https://ubuntu.com/advantage

  System information as of Sat Mar 23 16:46:39 CET 2019

  System load:    0.8               Processes:             151
  Usage of /home: 42.8% of 1.79TB   Users logged in:       0
  Memory usage:   10%               IP address for enp2s0: 192.168.1.13
  Swap usage:     0%

* Ubuntu's Kubernetes 1.14 distributions can bypass Docker and use containerd
   directly, see https://bit.ly/ubuntu-containerd or try it now with

     snap install microk8s --channel=1.14/beta --classic

* Canonical Livepatch is available for installation.
   - Reduce system reboots and improve kernel security. Activate at:
     https://ubuntu.com/livepatch

0 pakietów może zostać zaktualizowanych.
0 aktualizacji jest aktualizacjami zabezpieczeń.


Last login: Sat Mar 23 08:43:47 2019 from 192.168.1.21
sebek@ubuntu_server:~$ sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ /home /Backup/BackupZYXEL
[sudo] password for sebek:
sending incremental file list
rsync: link_stat "/home/sebek/progress" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--delete" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--modify-window=1" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/Backup" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/proc" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/sys" failed: No such file or directory (2)
home/
home/BackupOS/UbuntuNAS_sdb2/DISTRO.INFO
home/BackupOS/UbuntuNAS_sdb2/FSarviver_Backup_UbuntuNAS_sdb2.log
home/BackupOS/UbuntuNAS_sdb2/UbuntuNAS_sdb2.fsa
home/BackupOS/UbuntuNAS_sdb2/UbuntuNAS_sdb2.txt
home/Dane/Dokumenty/00001.vcf
Tylko to sie pojawiło i zatrzymałem CTRL+C wykonywanie kopii

Dopisek
Jeszcze jedna rzecz przyszła mi do głowy...
- może być, że RAID0 oczekuje struktury istniejących katalogów, by to sprawdzić stwórz na Zyxelu katalog np. /Serwer i sprawdź najpierw to:

Kod [Zaznacz] Rozwiń

sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL/Serwer

Nie udało się

Kod [Zaznacz] Rozwiń

sebek@ubuntu_server:~$ sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL/Serwer
sending incremental file list
rsync: link_stat "/home/sebek/progress" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--delete" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--modify-window=1" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/Backup" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/proc" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/sys" failed: No such file or directory (2)


a, jeśli się nie da, to tak (stwórz dodatkowo /Serwer/home):

Kod [Zaznacz] Rozwiń

sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ /home /Backup/BackupZYXEL/Serwer/home

tutaj wygląda podobnie

Kod [Zaznacz] Rozwiń

sebek@ubuntu_server:~$ sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ /home /Backup/BackupZYXEL/Serwer/home
sending incremental file list
rsync: link_stat "/home/sebek/progress" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--delete" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--modify-window=1" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/Backup" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/proc" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/sys" failed: No such file or directory (2)


Oczywiście katalogi /Serwer i /Serwer/home utworzyłem z uprawnieniami root na głównym katalogu ZYXEL-a

Dodatkowo teraz po tym wszystkim nie mogę wejść w katalog /Backup/BackupZyxel/
Z restartem też jest problem muszę go (serwer) wyłączyć z prądu.

Tak było już na samym początku.
Nie ma znaczenia która komendę uruchomię za każdym razem jest to samo.
Jeśli te komendy działają u Ciebie to nie mam pojęcia dlaczego u mnie są błędy
Nie ma znaczenie czy uruchomię skrypt czy ręcznie backup.

Ogólnie Backup się wykonuje ale są błędy na samym początku wykonywania backup-a  i dlatego też wykonuje kopie katalogów - /proc /sys /Backup - bo nie widzi że to są opcje rsync-a

Szukam teraz informacji na temat rsync "składni" "przykłady jak powinna wyglądać - abym mógł ostatecznie dopasować backup do swoich oczekiwań.
https://linux.die.net/man/1/rsync mega wielki poradnik na temat rsync-a

[TataPingu]

Po pierwsze, gdy testujesz "ręcznie", to startujesz, wybudzasz i podpinasz Zyxela pod /Backup/Backup...itd ?
- do tego jest nasz skrypt startowy...
a po drugie, istnieje katalog /Backup/RsyncTMP ?
a po trzecie, jeśli rsync uparcie chce kopiować --exclude=/proc/, czy /sys/, to przetestuj to na minimalnych opcjach:

Kod [Zaznacz] Rozwiń


sudo rsync -u -r -t -v --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL/Serwer

Na Zyxelu stwórz katalog /Serwer

[sebekoo]

Po pierwsze, gdy testujesz "ręcznie", to startujesz, wybudzasz i podpinasz Zyxela pod /Backup/Backup...itd ?
- do tego jest nasz skrypt startowy...
a po drugie, istnieje katalog /Backup/RsyncTMP ?
a po trzecie, jeśli rsync uparcie chce kopiować --exclude=/proc/, czy /sys/, to przetestuj to na minimalnych opcjach:

Kod [Zaznacz] Rozwiń


sudo rsync -u -r -t -v --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL/Serwer

Na Zyxelu stwórz katalog /Serwer

Dziękuje za podpowiedzi - przetestuje również te opcje co podałeś.

Co do katalogu /Backup/RsyncTMP to tam pojawiają się pojedynczo synchronizowane pliki (widoczny jest albo pusty katalog albo w ułamku sekundy jeden plik)

Po przeczytaniu kilku "manual-i" rsync-a zbudowałem taką oto komendę

Kod [Zaznacz] Rozwiń

sudo rsync -auvE --temp-dir=/Backup/RsyncTMP --progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL
Oczywiście ręcznie to robię
Backup (synchronizacja) robił się ok 1h
Na koniec podsumowanie

Kod [Zaznacz] Rozwiń

sent 3,752,525,566 bytes  received 3,580,628 bytes  1,099,080.09 bytes/sec
total size is 853,493,923,237  speedup is 227.23
rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c(1196) [sender=3.1.2]


A co zmieniłem opcje z

Kod [Zaznacz] Rozwiń

-u -r -t -v na

Kod [Zaznacz] Rozwiń

-auvE oraz usunąłem spacje

Kod [Zaznacz] Rozwiń

-- progress

Kod [Zaznacz] Rozwiń

--progress

Pytanie czy stosować

Kod [Zaznacz] Rozwiń

--no-perms --no-owner --no-group
jak na moją wiedzę to lepiej żeby pozostawić właściwości  uprawnienia i grupę więc lepiej nie stosować tych opcji.
Ale chce twojej opinii na ten temat

[TataPingu]

Pytanie czy stosować

Kod [Zaznacz] Rozwiń

--no-perms --no-owner --no-group
jak na moją wiedzę to lepiej żeby pozostawić właściwości  uprawnienia i grupę więc lepiej nie stosować tych opcji.
Ale chce twojej opinii na ten temat

To właśnie są problemy z preparowanymi OSami (wróć do którejś tam strony naszej "dyskusji", to tam już o tym nadmieniam), jeśli Twój Zyxel, pomimo, że jest serwerem danych pod inne OSy, "dopuszcza" taką możliwość, to jak najbardziej powinieneś robić backup z prawami (bez --no-perms --no-owner --no-group)...
- wszystko zależy od tego, co jest możliwe na tym spreparowanym systemie Zyxela

Dlatego też kilka razy nadmieniałem, że powinieneś sobie to przetestować, bo ja nie jestem w stanie odpowiedzieć na te pytania. OS Zyxela odbiega od standardu linuksa, a jak dalece, to można tylko "wytestować"...

Acha...
- jeśli pod /Backup/RsyncTMP coś takiego się dzieje, to wszystko OK, tak powinno to działać...

Dopisek
Jeśli Zyxel umożliwia zapisywanie plików i katalogów z linuksowymi prawami to jest idealnie, poniższa komenda powinna "zadziałać" bez problemów:

Kod [Zaznacz] Rozwiń


sudo rsync -r -t -p -o -g -v --progress --delete --modify-window=1 -l -H --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL


[sebekoo]

ZyxelSTART.sh nie wzbudza zyxela.
1. Serwer i zyxel są wyłączone. Włączam serwer WOL-e z windowsa. Po uruchomieniu serwera nie mogę wzbudzić zyxel-a skryptem ZyxelSTART.sh.
Aby włączyć Zyxel-a używam tego samego programu (WOL) spod windowsa co wzbudzam serwer. Zyxel uruchamia się.
2. Serwer i zyxel są włączone. Wyłączam zyxel. Serwer jest nadal włączony. próba uruchomienia skryptem ZyxelSTART.sh tym razem działa.

Podsumowanie.
Dopóki serwer jest włączony to wzbudza zyxel.
Wydaje mi się że tak było od początku, ale nie zdawałem sobie sprawy że to nie działa prawidłowo, myślałem że brakło prądu i dlatego nie można wzbudzić.

[TataPingu]

.....

W pierwszym rzędzie sprawdź, czy na serwerze w ogóle zainstalowany jest wakeonlan

Kod [Zaznacz] Rozwiń

sudo apt-get install wakeonlan

a potem sprawdź dokładnie mac Zyxela w ZyxelSTART.sh

[sebekoo]

.....

W pierwszym rzędzie sprawdź, czy na serwerze w ogóle zainstalowany jest wakeonlan

Kod [Zaznacz] Rozwiń

sudo apt-get install wakeonlan

a potem sprawdź dokładnie mac Zyxela w ZyxelSTART.sh

Zainstalowany jest bo dopóki serwer jest włączony to wzbudzam zyxel

Kod [Zaznacz] Rozwiń

sebek@ubuntu_server:~$ sudo apt-get install wakeonlan
Czytanie list pakietów... Gotowe
Budowanie drzewa zależności
Odczyt informacji o stanie... Gotowe
wakeonlan is already the newest version (0.41-11).
0 aktualizowanych, 0 nowo instalowanych, 0 usuwanych i 0 nieaktualizowanych.
sebek@ubuntu_server:~$ ethtool enp2s0
Settings for enp2s0:
        Supported ports: [ TP ]
        Supported link modes:   10baseT/Half 10baseT/Full
                                100baseT/Half 100baseT/Full
                                1000baseT/Full
        Supported pause frame use: No
        Supports auto-negotiation: Yes
        Supported FEC modes: Not reported
        Advertised link modes:  1000baseT/Full
        Advertised pause frame use: No
        Advertised auto-negotiation: Yes
        Advertised FEC modes: Not reported
        Speed: 1000Mb/s
        Duplex: Full
        Port: Twisted Pair
        PHYAD: 0
        Transceiver: internal
        Auto-negotiation: on
        MDI-X: Unknown
Cannot get wake-on-lan settings: Operation not permitted
        Current message level: 0x00000000 (0)

        Link detected: yes


Tu mnie zastanawia

Kod [Zaznacz] Rozwiń

Cannot get wake-on-lan settings: Operation not permitted

[TataPingu]

Och Jezu, te "windziarskie" nawyki....
Pod linuksem takie rzeczy możesz robić tylko, jako ROOT !
- nawet takie banalne "podpięcie" Zyxela nie obejdzie się bez "dopuszczenia" roota, więc skrypt startowy uruchamiasz z roota

By Ci ułatwić, po to na samym począdku podpowiedziałem, by "wspomagać się" mc, raz "sudo mc" i jesteś rootem

[sebekoo]

Najważniejszego nie napisałem że robie to jako ROOT

Kod [Zaznacz] Rozwiń

root@ubuntu_server:/usr/local/bin# ./ZyxelSTART.sh
Sending magic packet to 192.168.1.12:9 with xx:xx:xx:xx:xx:xx

I dodatkowo sam skrypt działa - bo widać że wysyła Magic packet.
Z androida że wybudzę Zyxela.

[sebekoo]

Musiałbyś więc, albo "zaktywizować" rc.local (przy starcie systemd - w necie na pewno znajdziesz poradniki), albo nanieść do:

Kod [Zaznacz] Rozwiń

/etc/systemd/system/network-online.target.wants/networking.service

jedną dodatkową linię:

Kod [Zaznacz] Rozwiń

ExecStartPost=/sbin/ethtool -s eth0 wol g

Najlepiej zrobić i to pierwsze i to drugie.

Dopisek
Ach, zapomniałem jeszcze o jednaj sprawie (dawno już tym się nie zajmowałem)
w pliku:

Kod [Zaznacz] Rozwiń

/etc/default/halt

dorzuć poniższą linię:

Kod [Zaznacz] Rozwiń

NETDOWN=no

Teraz, po restarcie, powinno być wszystko OK

I jeszcze jedno, WOL działa tylko w sieci wewnętrznej. Jeśli chcesz również używać tej funkcji z zewnętrz, to router musi mieć taką możliwość (wybudzanie określonego sprzętu)

Nie mam pliku w /etc/default/halt

[TataPingu]

To sprawdź rącznie:

Kod [Zaznacz] Rozwiń

sudo /usr/bin/wakeonlan xx:xx:xx:xx:xx:xx

i wrzuć tutaj jeszcze zawartość ZyxelSTART.sh, bo możliwe, że przy tylu zmianach jest tam jakiś błąd...

Co do "halt", jeśli nie ma, to zapomnij o nim, i nie "grzeb" teraz nic w tej części, bo to co wyżej opisałem odnosi się do UBUNTU, a nie Zyxela!

[sebekoo]

Kod [Zaznacz] Rozwiń

#!/bin/bash
#-ZyxelNAS - podpiecie stacji
#-TataPingu forum linixiarze.pl
#--------
#
#------CONFIG
# - odpowiednio dopasowac
ZYXEL_MAC="xx:xx:xx:xx:xx:xx"
#
# - tutaj odpowiednio dopasowac IP i katalog NFS na Zyxelu
HOST_ZYXEL="192.168.1.12"
NAS_DIR="/i-data/44026ef7/nfs/BackupSERWER"
#NAS_DIR="/i-data/b96f5c10/nfs/ZYXEL/"
#
# - tutaj odpowiednio dopasowac
USER_NAS="root"
PASS_NAS="haslo"
#
# nie pamietam, ale chyba tak ustalalismy (jesli inaczej to dopasuj)
MOUNT_DIR="/Backup/BackupZYXEL"
#------CONFIG ENDE
#
#
#---DO NORMALNEGO DZIALANIA ZAMKNIETE
#if [ ! "$(ping -c1 ${HOST_ZYXEL)" ]; then
#   DISPLAY=:0.0 zenity --error
#   --title="Zyxel nie zostal znaleziony w sieci"
#   --text="i adres IP ${HOST_ZYXEL} nie reaguje na ping."
#   exit 1
#fi
#---DO NORMALNEGO DZIALANIA ZAMKNIETE
#
wakeonlan -i "${HOST_ZYXEL}" -p 9 "${ZYXEL_MAC}"
#
# - czas jest w sekundach i dopasowac go do czasu od wybudzenia
# - Zyxela do osiagniecia pelnej "gotowosci"
sleep 180
#
#
# - tutaj nastepuje "podpiecie" Zyxela do systemu
# - dla FTP
############curlftpfs -o no_verify_peer,allow_other,disable_eprt ftp://"${USER_NAS}":"${PASS_NAS}"@"${HOST_ZYXEL}"/"${NAS_DIR}" "${MOUNT_DIR}"
# - dla NFS
mount "${HOST_ZYXEL}":"${NAS_DIR}" "${MOUNT_DIR}"
# - tutaj nastepuje "podpiecie" Zyxela do systemu
#
#
# - w tym miejscu rozpoczynamy regularne "budzenie" Zyxela
# - czas w sek (sleep 240) dopasowac do czasu "zasypiania" Zyxela
# - np. Zyxel zasypia po 5min (300sek), to "wybudzamy" go o 1min wczesniej (240sek)
#
while true
do
wakeonlan -i "${HOST_ZYXEL}" -p 9 "${ZYXEL_MAC}"
ls "${MOUNT_DIR}"/
        sleep 240
done
#
# Koniec "wybudzania"


To sprawdź rącznie:

Kod [Zaznacz] Rozwiń

sudo /usr/bin/wakeonlan xx:xx:xx:xx:xx:xx

Ręcznie wybudza zyxel-a