Problem
Ljudi su tražili siguran mehanizam za razmjenu datoteka. Danas s ponosom najavljujemo novi open source modul za fileserver. Kao najnovija komponenta u Psono ekosustavu, rješava više problema:
- Datoteke koje se dijele putem e-maila postaju prevelike. Obično se sve iznad 20 MB odbija.
- Upload datoteka drugim stranama putem SFTP-a, GPG mailova i slično je prekompliciran za obične korisnike.
- Upload datoteka pomoću Google Drive-a ili Dropboxa može biti problematičan za osjetljive podatke.
- Zaštita informacija iz ljudskih resursa ili menadžmenta od internih zaposlenika, npr. administratora fileservera.
- Hakera koji dobije pristup vašem fileserveru
- Problemi s propusnošću kad radite u udaljenom uredu i svi preuzimaju s vašeg malog uredskog fileservera.
I tu se pojavljuje Psono. Psono je dizajniran s obzirom na sve te probleme i izuzetno je fleksibilan.
Upotrebljivost
Ok, kako to izgleda za korisnike, pitate se? Jednostavno.
- Korisnik pristupa web klijentu
- Odabere datoteku
- Klikne gumb "upload"
- ...i ako želi, dijeli je desnim klikom miša
Nadam se da je to dovoljno jednostavno.
Ispod haube
Ispod haube klijent odrađuje malo složenije korake, ali su svi skriveni od korisnika:
- Klijent traži server sve dostupne fileservere
- Server evaluira zahtjev i odlučuje prema raznim korisničkim atributima (dozvole, IP, prava pristupa) koji shardovi (mjesta datoteka) i fileserveri su prikladni
- Server stvara ticket za upload datoteke
- Klijent očitava veličinu datoteke
- Klijent najavljuje upload datoteke i sharda serveru
- Klijent dijeli datoteku u dijelove (chunkove) od maksimalno 128 MB ako je datoteka prevelika
- Klijent enkriptira chunk
- Klijent izračunava kontrolni zbroj chunka
- Klijent šalje chunk na fileserver zajedno s ticketom za upload
- Fileserver šalje ticket serveru
- Server validira ticket
- Fileserver prihvaća upload chunkova
- Klijent nastavlja s idućim chunkom dok svi chunkovi nisu obrađeni
- Klijent ažurira svoj datastore, enkriptira ga i šalje serveru
Ovim mehanizmom možemo riješiti bilo koji problem s veličinom datoteke jer se datoteke dijele na dijelove. Uploadi se mogu distribuirati preko više servera čak i za jednu datoteku. Sve datoteke su (kao i sve ostalo u Psonu) enkriptirane prije nego napuste klijent i budu poslane serveru.
Tipična Psono Fileserver konfiguracija
Gornji dio prikazuje tipičnu konfiguraciju. Relay poslužitelj (jednostavan reverse proxy) poslužuje statičke datoteke (webklijent). Webklijent se učitava u preglednik, nakon čega poziva REST API endpointove na serveru. Server koristi Postgres bazu podataka za pohranu svih trajnih podataka. Psono Webklijent i Psono Server mogu se smatrati bezdržavnim, svi podaci pohranjuju se u Postgres bazi.
Ako želite sada dodati fileserver, prvo morate stvoriti shard i cluster konfiguraciju na serveru, koju zatim koristite za konfiguraciju stvarnog fileservera. Kada se fileserver pokrene, automatski će se registrirati i nastaviti prijavljivati svoju dostupnost svakih 10 sekundi. Ako fileserver prestane raditi, server će to prepoznati i prestati slati klijente na taj poslužitelj. Kad se vrati, automatski će se ponovno registrirati i početi primati zahtjeve od klijenata. Na gornjoj slici, sve chunkove pohranjujemo lokalno i imamo Relay server (može biti isti kao i za standardni server, webklijent u manjim okruženjima) za SSL offload.
Osim lokalne pohrane, možete koristiti razne storage backendove i čak ih miješati.
Miješanje raznih storage backendova
Trenutno su podržani (uz lokalnu pohranu) Amazon S3, GCP Cloud Storage i Azure Blob Storage.
Možete koristiti više fileservera kako biste riješili, na primjer, probleme s performansama uzrokovane ograničenjem propusnosti. Možda ljudi rade na daljinu, a u uredu postoji samo tanak internet priključak. Drugi primjer korištenja može biti bolja zaštita lokalnih datoteka i
- ne dopustiti upload internih datoteka na eksterni storage
- omogućiti vanjskim suradnicima da dijele datoteke s internima bez potrebe za drugim alatom
Postavka koja rješava problem performansi i nudi bolju izolaciju može izgledati ovako:
Udaljena lokacija
Ova postavka dijeli sav promet "eksternog" shard-a između lokacija dvosmjerno, dopuštajući vanjskim suradnicima upload datoteka koje zaposlenici kasnije mogu preuzeti i obratno.
On-premise shard s druge strane nikada nije sinkroniziran s udaljenom lokacijom i ostaje bolje zaštićen. Kako se datoteke u „eksternom” shardu sinkroniziraju samo jednom kad se promjene, možete imati 100 zaposlenika koji pristupaju jednoj datoteci bez potrebe da je preuzmete 100 puta s udaljene lokacije. Ili ako uploadate datoteku, možete je podijeliti sa 100 vanjskih suradnika, bez da je uploadate 100 puta.
Prednost u propusnosti može se iskoristiti i za povezivanje udaljenih lokacija s konfiguracijom poput ove:
S dva udaljena ureda
U ovoj konfiguraciji svaka lokacija ima vlastiti fileserver, a sve datoteke se dijele između lokacija. Zapisivanje ide samo na određeni shard, što omogućuje jednosmjernu sinkronizaciju svakog sharda. Ova postavka omogućila bi ljudima u New Yorku pristup datotekama bez odgode.
Sljedeća velika tema je loadbalancing. Sve ovo je odlično ako imate samo nekoliko zaposlenika koji ne zasićuju vaš bandwidth. No, kad imate 1000 zaposlenika koji svi redovito pristupaju fileserveru, to će uzrokovati zagušenja za jedan server. Srećom, Psono to može riješiti. Evo dvije opcije koje nudi Psono fileserver za loadbalancing.
Možda već imate loadbalancer koji želite koristiti; tada vaša konfiguracija može izgledati ovako:
Fileserver s loadbalancerom
U ovom setupu koristi se loadbalancer za SSL offload. Dva fileservera iza njega rješavaju stvarne zahtjeve. Oba najavljuju isti shard, pa ga moraju sinkronizirati ili imati zajedničku pohranu. Može se koristiti GlusterFS ili jednostavni rsync.
Alternativa je dopustiti klijentu da sam radi loadbalancing i uštedjeti na dodatnoj infrastrukturi i troškovima. Konfiguracija bez dodatnog loadbalancera može izgledati ovako.
Fileserver s loadbalancingom bez loadbalancera
Sve ove konfiguracije mogu se kombinirati, npr. 3 klastera od po 2 servera. Svaki klaster poslužuje isti shard i ima sinkroniziranu (ili zajedničku) pohranu ispod.
Nadam se da sam vam uspio dočarati mogućnosti novog i moćnog Psono fileserver modula.
