Budowanie NAS

[TataPingu]

Błąd prawie na samym początku, Przerwałem ctrl+c  bo zatrzymał się i stał 12 H w jednym miejscu.
Co dalej robić?
1. Włączyć jeszcze raz bez jakiejkolwiek ingerencji w pobrane dane backup

Tak, bez obaw, wszystko, co ew skopiowane było błędnie, następnym razem zrobi OK

3. jakieś inne rozwiązanie

Wstrzymaj się do piątki, aż będę w domu...

Dopisek
- mam chwilkę, więc dwa zdania co do NASa, praw itd.
NASy, to sprzęty, które mają specyficzne przeznaczenie. Najczęściej to tzw. "pool" z danymi dla całej lokalnej sieci. Ewentualnie, służa jako nośnik dla backupa, ale także w sieci.
Pomimo, że najczęściej bazują na linuksie, to ich twórcy wychodzą z założenia, iż w takiej sieci mogą, czy najczęściej klienci bazują na windach, macach, a rzadziej na linuksach.
OSy NASów są ekstra "preparowane" pod współpracę z różnorakimi OSami.
I tutaj "jest pies pogrzebany", na NASach nie "obowiązują" linuksowe standardy, stąd Twoje ździwienie dotyczące praw dostępu skopiowanych plików na NASa...
- niezależnie od konfiguracji synca, pliki i tak przyporządkowywane są userowi "nobody", a chodzi o to, by był dostęp do tych plików z każdego klienta (winda, mac itd).
W niektórych NASach można nanieść takich samych userów, jak na systemach z linuksem, jednak nie mają się nijak do innych OSów. To jest też powodem, że określiłem backup, który zrobimy na tym NASie "prowizorką", bo rzeczywisty backup całego serwera będzie dopiero możliwy, gdy podepniesz planowany HDD pod serwer.
Ewentualnie, Twój pomysł ze "zrootowaniem" Zyxela (instalacja "pełnego" debiana) byłby dobrym pomysłem, bo wówczas mógłbyś dopasować sobie cały system Zyxela do swoich potrzeb.
Co prawda, odradziłem Ci to, ale z zupełnie innego powodu...
- prawdopodobnie nie dałbyś sobie rady próbując te dwie rzeczy na raz...

Teraz, gdy wiesz już o co chodzi, nic nie stoi na przeszkodzie zmienić sobie to w przyszłości.
Odczekajmy jednak do momentu, gdy będziesz mieć HDD i pełny backup serwera...

[sebekoo]

Czyli w telegraficznym skrócie : nie da się.
Tak to zrozumiałem.

Tak naprawdę do zyxela loguje się jako admin ( bez praw root). Ale przez telnet jest możliwość zalogowania się jako root.
Znalazłem informację że  root na pełne uprawnienia  i firma zyxel nie ponosi odpowiedzialność za zamiany spowodowane zmianami na koncie root.

[TataPingu]

Czyli w telegraficznym skrócie : nie da się.
Tak to zrozumiałem.

Tak naprawdę do zyxela loguje się jako admin ( bez praw root). Ale przez telnet jest możliwość zalogowania się jako root.
Znalazłem informację że  root na pełne uprawnienia  i firma zyxel nie ponosi odpowiedzialność za zamiany spowodowane zmianami na koncie root.

"Nie da się" odnosi się tylko do przeniesienia "praw" plików/katalogów, backup możesz jednak zrobić.
Jedynie, przy ewentualnym, ponownym zgrywaniu danych z backupa, trzeba odpowiednio dopasować prawa na serwerze. To nic skomplikowanego, jednak uciążliwe.

A co do błędu, to mogą być różne tego przyczyny, ten błąd, jeśli się nie mylę, mówi o wadliwym nośniku na którym mają być zapisane dane. Jeśli tak jest, to przyczyna może tkwić w błędnym zapisie na RAID0 na Zyxelu (może za wolno?). Dla sprawdzenia spróbuj za pomocą mc skopiować "na jeden rzut" większą ilość danych na Zyxela (np. katalog /usr), zobaczymy, czy proces przebiegnie bezbłędnie...

[sebekoo]

Mogę kopiować normalnie

Ponownie dałem komendę

Kod [Zaznacz] Rozwiń

sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=var/tmp/rsynctmp -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL

To co zauważyłem to za każdym razem w innym miejscu zatrzymuje się. Cześć plików jest backup zrobiony.

Mogę jakoś przesłać plik na twoją pocztę, udostępnić - zobaczył byś każdą linie z wykonywanej kopii i w którym miejscu się zatrzymuje.
Z tego co zauważyłem to są małe pliki po kilka kb

[TataPingu]

Chmmm..., spróbujemy może tak:

załóż nowy katalog pod /sys/rsynctmp (zamiast pod /var/tmp/rsynctmp) i teraz dobrze przyjrzyj się poniższemu:

Kod [Zaznacz] Rozwiń

sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=var/tmp/rsynctmp -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL

- nie wiem, czy to moje przeoczenie, czy Tobie "umknęło", ale brakuje nam w tym miejscu drobiazgu (bardzo istotnego) jest:

--temp-dir=var/tmp/rsynctmp

a powinno być:

--temp-dir=/var/tmp/rsynctmp

No nic, zrób, jak mówiłem i spróbuj z tym:

Kod [Zaznacz] Rozwiń

sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/sys/rsynctmp -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL

[sebekoo]

Każdy się myli, późna godzina już

Pod  /sys/rsynctmp nie mogę umieścić katalogu,
Wydaje komende:

Kod [Zaznacz] Rozwiń

sudo mkdir /sys/rsynctmp
Otrzyuje

Kod [Zaznacz] Rozwiń

mkdir: cannot create directory 'rsynctmp': Operation not premitted

- nie wiem, czy to moje przeoczenie, czy Tobie "umknęło", ale brakuje nam w tym miejscu drobiazgu (bardzo istotnego) jest:

--temp-dir=var/tmp/rsynctmp

a powinno być:

--temp-dir=/var/tmp/rsynctmp

To mi wygląda na to samo
Chyba że powinno być

Kod [Zaznacz] Rozwiń

/tmp/rsynctmp


[TataPingu]

To mi wygląda na to samo
Chyba że powinno być

Kod [Zaznacz] Rozwiń

/tmp/rsynctmp[/quote]

Nie, to nie jest to samo...
- przyjrzyj się dobrze strukturze OSa

A zrób to najlepiej za pomocą mc w terminalu (sudo mc)
Teoretycznie, podany przez Ciebie katalog również mógłby być, ja jednak chcę go umieścić pod takim katalogiem, który nie jest przeznaczony do kopiowania (wszystkie "--exclude=")

Jeśli system "nie pozwala" Ci zrobić pod "sys" (fakt, nigdy tam nic takiego nie robiłem i widzę, że jest to  zintegrowane z OSem - sam nie wiedziałem o tym), to stwórz np. pod /Backup/RsyncTMP (dla dobrej "czytelności") i nanieść w ten sposób:

[code]sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL

To miejsce w którym rsync tworzy czasowo temporarne (nie znam polskiej nazwy) pliki podczas procesu kopiowania (możesz sobie tam "spojrzeć", to zobaczysz, jak się zmieniają)...
- te "zmiany" mogłyby być ew. powodem "zablokowania" kopiowania...

[sebekoo]

Stworzyłem pod /Backup/RsyncTMP jako 'root'
Włączyłem i szło ok 3 minut i zawiesiło sie (zatrzymało).
W katalogu pod /Backup/RsyncTMP nic sie nie pojawiło nawet na chwile

Mm takie wrażenie że synchronizuje tylko to co wcześniej skopiowałem. Czyli katalog /usr/.

Pamiętam za pierwszym razem jak włączyłem to utworzyło tylko drzewo katalogów i nic więcej.

Wczoraj podczas kopiowanie w mc kopiowało - ale z małymi "przerwami"  (pauzami)
Teraz znów kopiuje i obserwuje - znów zawiesiło się podczas kopiowania w mc. Pauza trwała ok 1,5 minuty i ruszyło dalej. i tak co chwila PAUZA - KOPIOWANIE

Teraz już ok 5 minut "przerwa"

[TataPingu]

W katalogu pod /Backup/RsyncTMP nic sie nie pojawiło nawet na chwile

Bo trzeba go co jakiś czas "odświerzyć" (np w mc "wychodzisz" z katalogu i wchodzisz ponownie)

Teraz znów kopiuje i obserwuje - znów zawiesiło się podczas kopiowania w mc. Pauza trwała ok 1,5 minuty i ruszyło dalej. i tak co chwila PAUZA - KOPIOWANIE

Teraz już ok 5 minut "przerwa"

A to już "wina" sieci (np. nastawienie routera, t.j. czy w wewnętrznej sieci wszystkie pakiety i tak przechodzą przez router, itp)...
- i tak NFS jest "szybszy" od FTP, czy SMB...

Nie wiem, jak dalece zmanipulowany jest OS Zyxela, ale może być tak, że pliki z prawami roota w ogóle nie będą na nim kopiowane.
By to sprawdzić spróbuj tak:

Kod [Zaznacz] Rozwiń

sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ /home /Backup/BackupZYXEL

- jeśli z kopiowaniem nie będzie problemów (oprócz czasu trwania backupa), to trzeba będzie zrezygnować z kopii systemu (na NASa, z kopiowaniem na wbudowany, czy przynajmniej USB-HDD nie ma żadnych problemów, szczególnie czasy są nieporównywalne)...

Tak, dla informacji, niedawno nastawiałem rsync z serwera multimedialnego na NASa (Buffalo). To jeszcze gorszy szajs, można tylko poprzez FTP i wyobraź sobie, niecałe 300GB danych kopiowane było... PRAWIE 4 DNI!!!

Oczywiście, potem kopiowane są tylko nowe dane i trwa to relatywnie krócej, ale...


Dopisek
Jeszcze jedna rzecz przyszła mi do głowy...
- może być, że RAID0 oczekuje struktury istniejących katalogów, by to sprawdzić stwórz na Zyxelu katalog np. /Serwer i sprawdź najpierw to:

Kod [Zaznacz] Rozwiń

sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL/Serwer

a, jeśli się nie da, to tak (stwórz dodatkowo /Serwer/home):

Kod [Zaznacz] Rozwiń

sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ /home /Backup/BackupZYXEL/Serwer/home

[sebekoo]

Bo trzeba go co jakiś czas "odświerzyć" (np w mc "wychodzisz" z katalogu i wchodzisz ponownie)

Robiłem tak i nic się nie pojawia

Nie wiem, jak dalece zmanipulowany jest OS Zyxela, ale może być tak, że pliki z prawami roota w ogóle nie będą na nim kopiowane.
By to sprawdzić spróbuj tak:

Kod [Zaznacz] Rozwiń

sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ /home /Backup/BackupZYXEL

- jeśli z kopiowaniem nie będzie problemów (oprócz czasu trwania backupa), to trzeba będzie zrezygnować z kopii systemu (na NASa, z kopiowaniem na wbudowany, czy przynajmniej USB-HDD nie ma żadnych problemów, szczególnie czasy są nieporównywalne)...

Chyba sa problemy

Kod [Zaznacz] Rozwiń

login as: sebek
sebek@192.168.1.13's password:
Welcome to Ubuntu 18.04.2 LTS (GNU/Linux 4.15.0-46-generic x86_64)

* Documentation:  https://help.ubuntu.com
* Management:     https://landscape.canonical.com
* Support:        https://ubuntu.com/advantage

  System information as of Sat Mar 23 16:46:39 CET 2019

  System load:    0.8               Processes:             151
  Usage of /home: 42.8% of 1.79TB   Users logged in:       0
  Memory usage:   10%               IP address for enp2s0: 192.168.1.13
  Swap usage:     0%

* Ubuntu's Kubernetes 1.14 distributions can bypass Docker and use containerd
   directly, see https://bit.ly/ubuntu-containerd or try it now with

     snap install microk8s --channel=1.14/beta --classic

* Canonical Livepatch is available for installation.
   - Reduce system reboots and improve kernel security. Activate at:
     https://ubuntu.com/livepatch

0 pakietów może zostać zaktualizowanych.
0 aktualizacji jest aktualizacjami zabezpieczeń.


Last login: Sat Mar 23 08:43:47 2019 from 192.168.1.21
sebek@ubuntu_server:~$ sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ /home /Backup/BackupZYXEL
[sudo] password for sebek:
sending incremental file list
rsync: link_stat "/home/sebek/progress" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--delete" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--modify-window=1" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/Backup" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/proc" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/sys" failed: No such file or directory (2)
home/
home/BackupOS/UbuntuNAS_sdb2/DISTRO.INFO
home/BackupOS/UbuntuNAS_sdb2/FSarviver_Backup_UbuntuNAS_sdb2.log
home/BackupOS/UbuntuNAS_sdb2/UbuntuNAS_sdb2.fsa
home/BackupOS/UbuntuNAS_sdb2/UbuntuNAS_sdb2.txt
home/Dane/Dokumenty/00001.vcf
Tylko to sie pojawiło i zatrzymałem CTRL+C wykonywanie kopii

Dopisek
Jeszcze jedna rzecz przyszła mi do głowy...
- może być, że RAID0 oczekuje struktury istniejących katalogów, by to sprawdzić stwórz na Zyxelu katalog np. /Serwer i sprawdź najpierw to:

Kod [Zaznacz] Rozwiń

sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL/Serwer

Nie udało się

Kod [Zaznacz] Rozwiń

sebek@ubuntu_server:~$ sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ / /Backup/BackupZYXEL/Serwer
sending incremental file list
rsync: link_stat "/home/sebek/progress" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--delete" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--modify-window=1" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/Backup" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/proc" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/sys" failed: No such file or directory (2)


a, jeśli się nie da, to tak (stwórz dodatkowo /Serwer/home):

Kod [Zaznacz] Rozwiń

sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ /home /Backup/BackupZYXEL/Serwer/home

tutaj wygląda podobnie

Kod [Zaznacz] Rozwiń

sebek@ubuntu_server:~$ sudo rsync --no-perms --no-owner --no-group -u -r -t -v --temp-dir=/Backup/RsyncTMP -- progress --delete --modify-window=1 --exclude=/Backup/ --exclude=/proc/ --exclude=/sys/ /home /Backup/BackupZYXEL/Serwer/home
sending incremental file list
rsync: link_stat "/home/sebek/progress" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--delete" failed: No such file or directory (2)
rsync: link_stat "/home/sebek/--modify-window=1" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/Backup" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/proc" failed: No such file or directory (2)
rsync: change_dir "/home/sebek//--exclude=/sys" failed: No such file or directory (2)


Oczywiście katalogi /Serwer i /Serwer/home utworzyłem z uprawnieniami root na głównym katalogu ZYXEL-a

Dodatkowo teraz po tym wszystkim nie mogę wejść w katalog /Backup/BackupZyxel/
Z restartem też jest problem muszę go (serwer) wyłączyć z prądu.

[TataPingu]

Dodatkowo teraz po tym wszystkim nie mogę wejść w katalog /Backup/BackupZyxel/
Z restartem też jest problem muszę go (serwer) wyłączyć z prądu.

Co do "wyłączenia", to w terminalu wystarczy:

Kod [Zaznacz] Rozwiń

sudo poweroff
ewentualnie

Kod [Zaznacz] Rozwiń

sudo reboot

Co do tych wszystkich "problemów", startujesz za każdym razem nasz skrypt inicjujący Zyxela (ZyxelSTART.sh) to raz, a dwa, po jego ewentualnym zainicjowaniu (wybudzeniu), jest ciągle aktywny ?

I jeszcze jedno, "podpięcie" Zyxela pod /Backup/BackupZYXEL/ następuje dopiero po czasie, który określiłeś w naszym skrypcie (nie pamiętam, ale chyba dopiero po 180sek), czy to czasem nie za krótko do pełnego startu Zyxela i czy odczekujesz ten czas ?

[sebekoo]

Co do "wyłączenia", to w terminalu wystarczy:

Kod [Zaznacz] Rozwiń

sudo poweroff
ewentualnie

Kod [Zaznacz] Rozwiń

sudo reboot

Nie pomogły te komendy. Używam tych komend od zawsze. Coś się zawiesiło - grubsza sprawa.

Co do tych wszystkich "problemów", startujesz za każdym razem nasz skrypt inicjujący Zyxela (ZyxelSTART.sh) to raz, a dwa, po jego ewentualnym zainicjowaniu (wybudzeniu), jest ciągle aktywny ?

I jeszcze jedno, "podpięcie" Zyxela pod /Backup/BackupZYXEL/ następuje dopiero po czasie, który określiłeś w naszym skrypcie (nie pamiętam, ale chyba dopiero po 180sek), czy to czasem nie za krótko do pełnego startu Zyxela i czy odczekujesz ten czas ?

Nie startuje z tego skryptu ZyxelSTART.sh
180 sekund wystarczająco. Tak naprawdę uruchamia się w pełni w ok 150 sekund.
Dziś (poza tym jednym razem co musiałem wyłączyć zasilanie zyxel-a) oba serwery działają cały dzień.

Acha dyski 2x1tb które są w zyxel mają 3 lata w sumie 2,5 bo są z sierpnia 2016

[TataPingu]

Nie startuje z tego skryptu ZyxelSTART.sh
180 sekund wystarczająco. Tak naprawdę uruchamia się w pełni w ok 150 sekund.
Dziś (poza tym jednym razem co musiałem wyłączyć zasilanie zyxel-a) oba serwery działają cały dzień.

No cóż, mamy ten błąd...
- serwer może działać i 100 dni, to i tak nic nie pomoże, bo w naszym skrypcie zawarta jest komenda "podpinająca" Zyxela pod serwer:

Kod [Zaznacz] Rozwiń


# - dla NFS
mount "${HOST_ZYXEL}":"${NAS_DIR}" "${MOUNT_DIR}"
# - tutaj nastepuje "podpiecie" Zyxela do systemu


Jeśli tego nie robiłeś "ręcznie", to nic z naszych testów...

Acha dyski 2x1tb które są w zyxel mają 3 lata w sumie 2,5 bo są z sierpnia 2016

Myślę, że raczej powinny być OK

[sebekoo]

Nie startuje z tego skryptu ZyxelSTART.sh

Ach tej J.Polski. Nie zrozumieliśmy się. Pisząc to zdanie "Nie startuje z tego skryptu" chodziło mi o to że zyxel-a uruchamiam z telefonu aplikacja lub z PC  - WOL , ale patrz niżej

[

Kod [Zaznacz] Rozwiń


# - dla NFS
mount "${HOST_ZYXEL}":"${NAS_DIR}" "${MOUNT_DIR}"
# - tutaj nastepuje "podpiecie" Zyxela do systemu


Jeśli tego nie robiłeś "ręcznie", to nic z naszych testów...

To mam w skrypcie

Teraz dla testu
- wyłączyłem Zyxel-a
- włączyłem skryptem ZyxelSTART.sh i pojawiła się taka informacja

Kod [Zaznacz] Rozwiń

root@ubuntu_server:/usr/local/bin# ./ZyxelSTART.sh
Sending magic packet to 192.168.1.12:9 with 5C:F4:AB:F4:70:81
mount.nfs: access denied by server while mounting 192.168.1.12:/i-data/b96f5c10/nfs/test
Sending magic packet to 192.168.1.12:9 with 5C:F4:AB:F4:70:81

I ścieżke mam nieprawidłową
Już to poprawiam na  192.168.1.12:/i-data/b96f5c10/nfs/BackupUBUNTU

Załóżmy taka sytuację hipotetycznie:
Zyxel startuje, nfs montuje podaną scieżkę
Jak powinien zakończyć się skrypt ?

[TataPingu]

Jak powinien zakończyć się skrypt ?

Skrypt się "nie kończy"...
- zadaniem skryptu jest wybudzenie Zyxela, zamontowanie ścieżki i utrzymywanie Zyxela w stanie "aktywnym" do zakończenia backupu.

W następnym skrypcie (automatycznego backupu, który dopiero przygotujemy) po zrobieniu kopii serwer zostanie wyłączony (oczywiście, skrypt również)

Edit
- przy odłączonym Zyxelu zlikwiduj wszystkie dane, które zostały zapisane podczas dotychczasowych testów pod /Backup/BackupZYXEL/ (jeśli ścieżka z Zyxela nie była montowana do serwera, to de facto, dane są NA SERWERZE i zalegają miejsce)