Psono fileserver

Problem

Ludzie pytali o bezpieczny mechanizm wymiany plików. Dziś z dumą ogłaszamy nowy moduł serwera plików open source. Jako najnowszy komponent w ekosystemie Psono rozwiązuje wiele problemów:

• Pliki udostępniane przez e-mail stają się zbyt duże. Zazwyczaj wszystko powyżej 20mb jest odrzucane.
• Wysyłanie plików do innych stron za pomocą SFTP, GPG maili itd. jest zbyt skomplikowane dla zwykłych użytkowników.
• Przesyłanie plików za pomocą Google Drive lub Dropbox może być problematyczne dla wrażliwych danych.
• Ochrona informacji HR lub zarządu przed wewnętrznymi pracownikami, np. administratorami serwerów plików.
• Hakera uzyskującego dostęp do twojego serwera plików.
• Problemy z przepustowością podczas pracy w biurze zdalnym, gdy wszyscy pobierają pliki z małego serwera biurowego.

I tu wkracza Psono. Psono zostało zaprojektowane z myślą o wszystkich tych problemach i jest niezwykle elastyczne.

Użyteczność

Ok, więc jak to wygląda dla użytkownika, pytasz. Prosto.

• Użytkownik uzyskuje dostęp do klienta internetowego
• wybiera plik
• klika przycisk „prześlij”
• ... i jeśli chce, udostępnia go za pomocą prawego przycisku myszy

To na tyle proste, mam nadzieję.

Pod maską

Pod maską klient wykonuje kilka bardziej skomplikowanych kroków, ale wszystkie są ukryte przed użytkownikiem:

• Klient pyta serwer o wszystkie dostępne serwery plików
• Serwer ocenia żądanie i decyduje zgodnie z różnymi atrybutami użytkownika (uprawnienia, IP, prawa dostępu), które fragmenty (lokalizacje plików) i serwery plików są odpowiednie
• Serwer tworzy bilet na przesyłanie plików
• Klient odczytuje rozmiar pliku
• Klient ogłasza przesyłanie pliku i fragmentu do serwera
• Klient dzieli plik na fragmenty o maksymalnym rozmiarze 128mb, jeśli plik jest zbyt duży
• Klient szyfruje fragment
• Klient oblicza sumę kontrolną fragmentu
• Klient przesyła fragment na serwer plików wraz z biletem na przesyłanie plików
• Serwer plików wysyła bilet do serwera
• Serwer weryfikuje bilet
• Serwer plików akceptuje przesyłanie fragmentu
• Klient kontynuuje z kolejnym fragmentem, aż wszystkie fragmenty zostaną przetworzone
• Klient aktualizuje swoje repozytorium danych, szyfruje je i przesyła na serwer

Dzięki temu mechanizmowi możemy rozwiązać każdy problem z rozmiarem pliku, ponieważ pliki są dzielone na fragmenty. Możemy rozproszyć przesyłanie plików na serwery nawet dla jednego pliku. Wszystkie pliki (tak jak wszystko inne w Psono) są szyfrowane przed opuszczeniem klienta i przesłaniem na serwer.

Typowa konfiguracja serwera plików Psono

Górna część pokazuje typową konfigurację. Serwer przekierowujący (proste odwrotne proxy) obsługuje niektóre statyczne pliki (klienta internetowego). Klient internetowy jest przekazywany do przeglądarki, która następnie wywołuje punkty końcowe REST API na serwerze. Serwer używa bazy danych Postgres do przechowywania wszystkich trwałych danych. Klient internetowy Psono i serwer Psono można uznać za bezstanowe, wszystkie dane są przechowywane w bazie danych Postgres.

Jeśli teraz chcesz dołączyć serwer plików, musisz najpierw utworzyć konfigurację fragmentu i klastra na serwerze, którą następnie możesz użyć do skonfigurowania rzeczywistego serwera plików. Po uruchomieniu serwera plików automatycznie zarejestruje się i będzie ogłaszał swoją dostępność co 10 sekund. Jeśli serwer plików umrze, serwer to rozpozna i przestanie wysyłać klientów na martwy serwer. Po ponownym włączeniu automatycznie zarejestruje się ponownie i rozpocznie przyjmowanie żądań od klientów. Na powyższym obrazku przechowujemy wszystkie fragmenty w pamięci lokalnej i mamy serwer przekazujący (może to być ten sam, co dla normalnego serwera, klienta internetowego w małych środowiskach) do rozładowania SSL.

Oprócz pamięci lokalnej można używać różnych backendów magazynowych, a nawet je mieszać.

Mieszanka różnych backendów magazynowych

Obecnie obsługiwane (oprócz pamięci lokalnej) są Amazon S3, GCP Cloud Storage i Azure Blob Storage.

Można użyć kilku serwerów plików, aby rozwiązać na przykład problemy z wydajnością z powodu ograniczenia przepustowości. Możesz mieć osoby pracujące zdalnie, ale tylko bardzo cienkie połączenie internetowe w swoim biurze. Innym przypadkiem użycia może być to, że chcesz lepiej chronić lokalne pliki i

• nie pozwalać na przesyłanie plików wewnętrznych do zewnętrznej pamięci
• umożliwia zewnętrznym udostępnianie plików wewnętrznym bez użycia innego narzędzia

Konfiguracja, która rozwiązuje problem wydajności i zapewnia lepszą izolację, może wyglądać następująco:

Zdalna lokalizacja

Ta konfiguracja dzieli cały ruch „zewnętrznego” fragmentu między lokalizacje dwukierunkowo, umożliwiając zewnętrznym przesyłanie plików, które następnie mogą być pobierane przez pracowników i odwrotnie.

Z drugiej strony fragment lokalny nie jest synchronizowany ze zdalną lokalizacją i pozostaje lepiej chroniony. Ponieważ pliki w „zewnętrznym” fragmencie są synchronizowane tylko raz, gdy się zmieniają, można sprawić, że 100 pracowników uzyska dostęp do pliku z tego fragmentu bez konieczności pobierania go 100 razy ze zdalnej lokalizacji. Albo jeśli przesyłasz plik, możesz go udostępnić 100 zewnętrznym osobom, bez potrzeby przesyłania go 100 razy.

Zaletę przepustowości można również wykorzystać do połączenia zdalnych lokalizacji za pomocą podobnej konfiguracji:

Z dwoma zdalnymi biurami

W tej konfiguracji każda lokalizacja ma własny serwer plików, a wszystkie pliki są udostępniane między lokalizacjami. Zapis następuje tylko na określony fragment, co pozwala na jednokierunkową synchronizację każdego fragmentu. Ta konfiguracja pozwoliłaby ludziom w Nowym Jorku uzyskać dostęp do plików bez żadnych opóźnień.

Kolejnym dużym punktem jest równoważenie obciążenia. Wszystko to jest miłe, jeśli masz tylko kilku pracowników, którzy nie wyczerpują twojej przepustowości. Jeśli masz 1000 pracowników, wszyscy regularnie uzyskujących dostęp do serwera plików, to spowoduje to ograniczenia przepustowości dla pojedynczego serwera. Na szczęście Psono może sobie z tym poradzić. Oto dwie opcje oferowane przez serwer plików Psono do równoważenia obciążenia.

Możesz już mieć równoważnik obciążenia, którego chcesz użyć, więc twoja konfiguracja może wyglądać następująco:

Serwer plików zrównoważony obciążeniem z równoważnikiem obciążenia

W tej konfiguracji równoważnik obciążenia jest używany do rozładowania SSL. Dwa serwery plików umieszczone za równoważnikiem są używane do obsługi rzeczywistych żądań. Oba ogłaszają ten sam fragment, więc muszą synchronizować fragment lub mieć jakieś udostępnione miejsce magazynowe. Można użyć GlusterFS lub prostego rsync.

Alternatywą byłoby umożliwienie klientowi równoważenia obciążenia wszystkiego i zaoszczędzenie na konfiguracji i kosztach. Konfiguracja bez dodatkowego równoważnika obciążenia mogłaby wyglądać następująco.

Serwer plików zrównoważony obciążeniem bez równoważnika obciążenia

Wszystkie te konfiguracje można układać w stosy, np. 3 klastry po 2 serwery każdy. Każdy klaster obsługuje ten sam fragment i ma zsynchronizowaną (lub udostępnioną) pamięć poniżej,

Mam nadzieję, że mogłem dać Ci dobrze wrażenie o możliwościach nowego i potężnego modułu serwera plików Psono.