Lista winnt@man.lodz.pl
[Lista archiwów] [Inne Listy]

[WINNT] [OT] Przenoszenie backupu poczty

To: winnt@man.lodz.pl
Subject: [WINNT] [OT] Przenoszenie backupu poczty
From: ąćęłńóśźż <a@e.pl>
Date: Wed, 8 Jan 2020 22:16:49 +0100
OT, choć z udziałem Win 10 i SMB (3.0).
Pisałem kiedyś o niezrozumiale powolnym kopiowaniu/przenoszeniu plików przez TC, tak ze 2-3x wolniejszym od kopiowania/przenoszenia przez systemowy (Win 10) file explorer. Ostatnio porządkowałem trochę filmów na dwóch podpiętych do Win 10 serwerkach i dla zaoszczędzenia czasu każdy MB/s się liczył, a że wygląd interfejsu TC znacznie bardziej mi odpowiada niż dwa postawione obok siebie okna systemowego File Explorera (File Explorer potrafi kopiować z jednego podpiętego NAS-a na drugi chwilowo nawet ponad 100 MB/s) , stąd przeprowadziłem eksperyment z różnymi ustawieniami TC (Configuration - > Options -> Operation -> Copy) i d... blada, nie pomagało ani "Use deafult method" ani "Use big file copy mode", być może te ustawienia TC coś pomogą przy dyskach lokalnych, a nie przy zasobach sieciowych dwóch różnych NAS-ów. No to zaznaczyłem w TC "Use copy+paste via explorer" i to okazało się drogą do sukcesu: mając interfejs TC otwieramy sam proces kopiowania/przenoszenia za pomocą File Explorera z prędkością dochodząca do 100 MB/s (przynajmniej tyle pokazuje chwilowo wykres File Explorera dla dużych plików multimedialnych). Uwaga: Takiej prędkości nigdy nie udało mi się osiągnąć kopiując bezpośrednio z NAS-a na NAS z pominięciem komputera, na dodatek prędkości "bezpośrednie" bywały mocno losowe - jak się wyjątkowo udało to 60-70 MB/s, ale częściej np. 18-28 MB/s nie wiedzieć czemu.

I po tym przydługim, ale za to optymistycznym wstępie:

Zacząłem przewalać backup poczty (Windows Live Mail 2012) z NAS-a na inny NAS: 72620 pliczków *.eml z prędkością... bywa poniżej 1 kb/s (tak, dosłownie przykładowo 679 bytes/s!) czyli 100000x (sto tysięcy razy) wolniej niż dużych plików multimedialnych! Dla 35 GB danych wyliczony czas ukończenia ponad dobę!
Uff, wiadomo że kopiowanie małych plików np. na pendrajwa trwa i trwa znacznie 
wolniej niż dużych, ale jednak jestem zaskoczony :-O
Ciekawe, który element tak spowalnia operację kopiowania dużej liczby małych plików: system operacyjny docelowego NAS-a (QTS), system plików docelowego NAS-a (ext4 w Raid), Saamba (SMB), Win 10/File Explorer, ethernet, inny czynnik?
Docelowy NAS pokazuje zajęcie CPU (Atom) ok. 32%, RAM (3 GB) 62%.
W pośredniczącym kompie Win 10 zajęcie SSD 0%, zajęcie RAM 2,7 GB (z 8 GB), CPU 
6%.

PS. Tak wiem, że gdyby się spieszyło to lepiej spakować źródło u źródła np. do zip-a czy rar-a, przenieść tę paczkę i rozpakować u celu, choć rozpakowywanie też mogłoby swoje trwać (jeśli to QTS jest wąskim gardłem to i tak musiałby potworzyć te wpisy w tablicach plików czy co tam robi w ext4, QTS nawet ma paker w File Station, choć nie sprawdzałem jak ten paker się zachowa przy plikach gigabajtowych).

<Pop. w Wątku] Aktualny Wątek [Nast. w Wątku>