[Golem] NAS, Backup, Streaming: Richiesta per Consigli e Aiuto

[Nexustm]

Ciao Giulio,
grazie per le tue illuminanti risposte.
Ho preso visione di Emby e Plex. Sembrano promettenti.
Ho scaricato il pacchetto deb della prima suite, lo installerò su una macchina e lo proverò.

Il link alla pagina del lug di Scandiano fornisce le istruzioni per l'uso di rsync con ssh e cron, è proprio quel che occorre.

rsync l'ho usato indirettamente, tramite Luckybackup che è un'interfaccia grafica al comando.
Luckybackup ha un'utile opzione che permette di visualizzare la stringa rsync che verrà avviata; così è possibile prendere confidenza con la sintassi e le opzioni.
ssh non l'ho mai usato; ho gestito soltanto condivisioni con macchine Windows tramite smb. Ma spero che non presenti difficoltà.
Sarà quindi opportuno allestire due macchine, una con funzione NAS/Streaming, l'altra con funzione di backup.
Domanda: la 1° macchina è più opportuno che operi tramite una distribuzione generica (Debian o Ubuntu o derivate con i pacchetti appropriati) o una distribuzione specifica per il NAS (p.es. FreeNAS, per cui Emby fornisce uno specifico plugin)?
La 2° macchina avrà una distribuzione minima, anche senza interfaccia grafica, per: attivarsi, lanciare il backup, mettersi in stand-by; il tutto ad orari determinati.
Il passo successivo sarà quello di minimizzare la superficie d'attacco mettendo in sicurezza i server tramite settaggio dei permessi, di AppArmor, di IPTables, ecc..
Sto scaricando tutorial in proposito.
Sì, mi rendo conto che è un progetto impegnativo, ma voglio mettere ordine sia nel molto materiale mio e dell'associazione in firma, sia migliorare il workflow; Quindi tento il cimento!

─────────────────────────
associazione Nexus Arti e Didattica
Tommaso
--- On Wed, 7/12/17, Giulio Fieramosca <giuliofieramosca@gmail.com> wrote:
> From: Giulio Fieramosca <giuliofieramosca@gmail.com>
> Subject: Re: [Golem] NAS, Backup, Streaming: Richiesta per Consigli e Aiuto
> To: "Nexus Arti e Didattica - Tommaso" <nexustm@yahoo.com>
> Date: Wednesday, July 12, 2017, 2:37 PM
> [Quoto in toto la mail poiché in
> molti potrebbero non averla ricevuta.
> La
> lista sta avendo problemi con le caselle di posta Yahoo, i
> cui
> messaggi vengono contrassegnati come
> spam dalle caselle di posta riceventi
> https://www.ietf.org/mail-archive/web/ietf/current/msg87153.html
> ]
>
> Il 11/07/2017 16:22,
> Nexus Arti e Didattica - Tommaso ha scritto:
> > Buongiorno a tutti/e.
>
> Ciao! Benvenuto in lista GOLEM
>
> >
> >
> Vorrei dedicare i mesi estivi ad un progetto
> d’archiviazione, riguardante:
> > NAS,
> Backup, Streaming, naturalmente da gestire con software
> libero,
> > e vi chiedo consiglio e
> aiuto.
> >
> >
> > 1) Nello specifico vorrei realizzare un
> nas composto di vari hard disk,
> >
> accessibili in rete a livello locale e sul web.
> > Dispongo di un case big tower che può
> ospitare numerosi dischi; sulla
> > scheda
> madre c’è un Core Duo a 3Gh e 6gb di ram, credo più
> che
> > sufficienti per gestire le varie
> operazioni richieste.
> Penso sia
> perfettamente adeguato.
>
> > 2) In più, il nas dovrebbe avere -su
> richiesta di un client- la capacità
> > di
> convertire file audio presenti in vari formati (wave, flac,
> mp3, ogg,
> > ape, ecc.) verso un unico
> formato compresso -p. es. ogg, per risparmiare
> > banda- e condividerlo sul client, quindi
> uno streaming vero e proprio.
>
> Una possibile soluzione può coinvolgere
> programmi come ffmpeg o VLC.
> ffmpeg è uno
> strumento di conversione audio/video da riga di comando
> molto usato su Linux. È possibile anche usarlo
> per lo streaming [1].
> VLC (penso non abbia
> bisogno di presentazioni) può anche fare
> conversione e streaming, ed oltre alla
> interfaccia grafica dispone di
> una
> interfaccia a riga di comando [2].
> Il
> problema di queste ultime due soluzioni è che dovresti
> poi
> implementare una interfaccia web che
> consenta di richiamare uno dei due
> precedenti strumenti.
>
> Probabilmente conviene, invece, sfruttare
> soluzioni già impacchettate.
> Premetto che
> non ho ancora avuto occasione di provarli, ma esistono
> suite per Linux orientate a sistemi MediaCenter
> che consentono la
> gestione di librerie di
> media (e la relativa compressione) e lo
> streaming (Media Server). Cercando un po'
> in giro ho trovato Emby [3] e
> Plex [4].
> Il primo _sembra_ essere completamente software
> libero (c'è il
> repository GitHub),
> mentre il secondo contiene dichiaratamente una
> percentuale di software proprietario
> (sicuramente relativa a particolari
> codec
> audio video).
> Entrambi gestiscono la
> libreria media e forniscono un interfaccia web
> (multipiattaforma) per lo streaming).
>
> > 3a) Ad intervalli
> regolari, uno script (tramite cron?) dovrebbe avviare
> > un backup incrementale su un’altra serie
> di hard disk (nel medesimo case);
> > 3b)
> lo script dovrebbe anche controllare un’unità Arduino (o
> simile) che
> > disconnetta fisicamente il
> cavo di rete, dia corrente ai dischi di
> >
> backup, li monti, quindi -terminato il trasferimento dei
> dati- smonti
> > questi dischi, tolga loro
> corrente, riconnetta il cavo di rete.
> >
> In questo modo il backup sarà sempre offline e -a meno che
> non venga
> > compromesso il sistema
> operativo del nas- spero al sicuro da attacchi.
>
> Non ho ben chiara la
> dinamica... il backup avviene, sì, offline, ma
> ipotizziamo il seguente scenario: il sistema
> viene infettato da un virus
> mentre è
> online, e il virus avvia la propria (a volte lenta)
> procedura.
> Ad un certo punto il sistema va
> offline e collega il disco con il metodo
> da
> te descritto, ed avvia il backup. Oramai il sistema è
> stato
> compromesso e il virus potrebbe
> rilevare la connessione di un nuovo
> disco
> compromettendo anche eventuali backup precedenti.
>
> Secondo me, ti converrebbe
> utilizzare una seconda unità di calcolo anche
> meno potente, connessa solo alla rete locale.
> Questa unità non deve far
> altro che
> contattare il server principale (con rsync [5], per esempio)
> e
> chiedere una copia di dati per il backup
> effettuando l'incremento. In
> questo modo
> anche se il sistema del server è infettato e viene fatto
> il
> backup nello storico rimangono le N
> modifiche precedenti non infettate.
>
> > Potete consigliarmi distribuzioni
> appropriate, siti di riferimento,
> >
> letture e quant’altro disponibile a vostra conoscenza? Se
> poi qualcuno
> > volesse darmi una mano
> direttamente, avrà tutta la mia gratitudine! E se
> > mai arriverò alla fine dell’impresa non
> mancherò di condividere il
> > risultato
> con la comunità.
>
> Ho citato
> qua e là qualche pagina di manuale. Di solito per
> applicazioni
> server noi usiamo Debian e poi
> la personalizziamo con i pacchetti di cui
> abbiamo bisogno.
>
>
> Ultimo consiglio: è un
> progetto bello grosso (anche in base alle
> conoscenze che hai di amministrazione Linux
> (rsync, ssh, etc),
> programmazione web,
> gestione dei media/compressione e (nella tua
> ipotesi) elettronica e programmazione Arduino).
> Scegli bene cosa fare,
> magari focalizzati su
> uno dei particolari tool per provarlo ed imparare
> bene ad usarlo, per poi passare agli step
> successivi.
>
> >
> > Grazie.
>
> Di nulla, per qualsiasi altra domanda scrivi
> pure!
>
> ~ Giulio
>
>
> -- Links
> --
> [1] https://trac.ffmpeg.org/
> [2] https://wiki.videolan.org/Documentation:Streaming_HowTo_New/
> [3]
> https://emby.media
> [4]
> http://plex.tv/
> [5] http://lugscandiano.org/index.php/Backup_con_rsync_via_ssh