La Fibre

Télécom => Logiciels et systèmes d'exploitation => Linux Linux (usage serveur) => Discussion démarrée par: STRAT38 le 14 janvier 2019 à 04:02:50

Titre: NAS avec Debian/nextcloud
Posté par: STRAT38 le 14 janvier 2019 à 04:02:50
Je me suis construit un NAS sous DEBIAN avec un front-end par https://Nextcloud.com ... avec une idée basé sur soit de la récup, soit un budget minimaliste mais permettant de faire comme un pro.

Si sa intéresse: https://nextcloud.rkn.ovh/index.php/s/3yp93A7oNMPexcp

Le fichier "a lire txt" donne le liste hardware/software pour ceux qui voudrait en fabriquer un.

Utilisation familiale, 20 utilisateurs
Titre: NAS avec Debian/nextcloud
Posté par: sodimel le 14 janvier 2019 à 20:43:41
(le site semble pas dispo)

J'ai fait la même chose ya pas longtemps avec un ordinateur que j'ai acheté sur ebay pour 50€.

Donc du coup c'est possible d'utiliser un Dell optiplex fx160 (https://www.dell.com/fr-fr/work/shop/notre-gamme-pro/ordinateur-de-bureau-optiplex-fx160/spd/optiplex-fx160) en tant que serveur web (site perso + nextcloud), avec debian.
Le seul point négatif est lié à ma connexion (5Mo/s en montant), qui limite la vitesse d'affichage des photos via l'interface web de nextcloud.
Titre: NAS avec Debian/nextcloud
Posté par: STRAT38 le 14 janvier 2019 à 20:53:12
hélas, ou plutôt youpie, ma freebox delta était en cours de démarrage ...

Ce qui n'est pas encore fini, je suis entrain de finir les redirection de port, car il faut plusieurs heures pour obtenir un IP en full stack ...
Titre: NAS avec Debian/nextcloud
Posté par: sodimel le 14 janvier 2019 à 20:57:07
Arf.
Bah je reviendrais demain alors :D
Titre: NAS avec Debian/nextcloud
Posté par: lechercheur123 le 14 janvier 2019 à 20:59:08
Coucou,

J'ai installé récemment Nextcloud sur mon petit serveur maison. Ça marche pas trop mal (plutôt bien même) sauf de temps en temps le CPU galère un peu lors de la génération de certaines pages (mais ça marche mieux depuis que mon navigateur a mis en cache tout ça). En même temps, ma config n'est pas très véloce :
- Carte mère avec CPU incorporé : Asrock C70M1 (avec un CPU double cœurs cadencés à la fréquence folle de 1 GHz !!) et 4 ports SATA
- 4 Go de RAM
- 8 HDD de 2 To chacun en soft RAID 6, dont 1 en spare (soit 10 To de stockage utilisable)
- 1 SSD Intel de récup
- une carte d'extension Dell en PCI-e avec deux ports SAS (séparés en 8 ports SATA) achetée une misère
- Un onduleur de récup APC BackUPS-CS 500 (fabriqué le 12/10/2006 quand même) avec son câble USB qui fait remonter pas mal d'infos (merci apcupsd) et auquel sont branchés aussi la box et son ONT.

Tout ça était précédemment sous OpenMediaVault mais je viens de passer il y a un mois à un Debian "nu" pour pouvoir faire un peu plus de folies :)
Ma config me plaît mais le CPU est parfois limitant. Mais ce n'est pas une contrainte tant qu'on utilise pas Java (ce n'est pas un troll, j'aime bien Java mais je ne peux pas télécharger à plus de 30 Mo/sec avec des programmes écrits en Java alors que j'ai du 1Gbps chez moi), donc adieu Docker par exemple.
Ce que j'aime bien ici c'est la consommation modérée de mon système. Le CPU est certes peu puissant, mais il a un TDP de 9W ! La conso moyenne est de 60W (Livebox 4 et ONT inclus). Et si jamais je manque de puissance j'ai une carte-mère Gigabyte bi-processeurs neuve récupérée pour 20€ lors d'un déstockage LDLC :) (même si je pense que la conso montera en flèche !)
Titre: NAS avec Debian/nextcloud
Posté par: Fuli10 le 17 janvier 2019 à 11:50:24
Salut,
Perso j'utilise openmediavault qui fonctionne très bien en local. Pour le distant j'utilise le plugin omv virtualbox (oui c'est crade) et des installes propre de linux sur VLAN séparés.
Pour l'instant je n'avais que plex comme service distant (accès lecture seul au NAS). Mais avec virtualbox j'ai déjà eu pleins de services pour tester (windows en remote, owncloud, torrent, etc.).
Maintenant que j'ai la fibre je pense mettre en service nextcloud (fork d'owncloud qui était seul au début).

Il manque un truc dans la description du cout de ton setup, c'est la conso. En effet, mon serveur tourne h24 mais je focus sur une conso en idle la plus basse possible. Si ton onduleur le permet tu dois pouvoir récupérer l'info depuis son interface. Actuellement d'après le mien je dois être autour de 57-60Wh pour le serveur, le routeur, le modem LTE, switch (par encore de livebox). Le serveur de la freebox consommant environ 8Wh je ne sais pas encore combien consomme la livebox (je n'ai pas encore tout déménagé). Quoi qu'il en soit la conso est à prendre en compte car c'est quand même quelques sous qui partent à la fin de l'année et c'est à comparer face à des services de serveur distant.

Prochainement j'aimerai me passer du pluging virtualbox d'OMV qui une update sur 2 ne fonctionne plus et passer à un truc un peu plus pro.
Seulement voilà, je reste dans mon objectif que comme 90% du temps le serveur glande, la conso doit être la plus basse possible (disques en idles et tout ça). Et j'ai remarquais qu'avec virtualbox j'ai une plus grande conso (logique, le CPU tournant d'avantage). Est-ce qu'il y a quelqu'un qui s'est déjà demandé comment consommer le moins possible tout en faisant de la virtualisation ?
Pour info mon serveur:
Dell T110II avec un xeon 1270v2 et 16GB de RAM (assez pour quelques services). Quelques disques et 2 SSD pour les systèmes/partage R/W entre VM (car taille limité), et tout ce qui nécessite un disque qui tourne en permanence. A lui tout seul en idle il tourne autour de 33-37Wh...
Titre: NAS avec Debian/nextcloud
Posté par: STRAT38 le 17 janvier 2019 à 12:56:48
Je viens de passer plusieurs heures à regarder toutes les offres de sauvegarde données type nas ou cloud des grands fournisseurs comme ovh, one and one ,Amazon que ce soit en France ou à l'étranger principalement lesUS...

Le but de ma recherche étant d'avoir un accès 24 heures sur 24 d'avoir un minimum de 20...

Les offres les moins chers sont aux alentours de 400 € par mois qui est une paille ...
Honnêtement c'est des prix qui sont beaucoup trop élevé donc la solution c'est de se rabattre sur des systèmes préfabriqués que l'on peut héberger à condition d'avoir de la fibre optique comme par exemple les Synology ou bien de fabriquer son propre système avec son propre  hardware...

J'ai opté pour la fabrication de mon système par défi par rapport au préfabriqué de Synology mais aussi car je souhaitais avoir un contrôle complet sur les options et application de mon système ce qui n'est absolument pas le cas pour les système vendu par les grandes marques.

Comme je le disais pour la fabrication de mon nas (liens signature) le budjet tourne aux alentours de 1500 € pour l'ensemble de la machine. Le coût électrique annuel j'ai pu l'estimer aux alentours de 180 € ce qui fait un total de on va arrondir à 1700 pour la première année pour la seconde année on tourne donc aux alentours de 200 €. J'arrondis donc tout cela à 2000 € pour une durée de 2 ans cela donne donc un amortissement de 83 € 33 par mois depuis que j'ai cette machine et ce pour les deux premières années.

J ai regardé une offre proposées par OVH qui fait du 1 centime d'euro au Go, ce qui semble être très intéressant . Toutefois il n'y a aucune explication quand à la capacité maximale( soi-disant illimités mais dans la vie à jamais rien d illimitée ) on parle pas non plus de débit on parle pas non plus de VPN sécurisation véritablement au niveau de la connexion.

En prenant une offre à 400 € par mois qui elle est beaucoup plus cadrée:  il s'agit de 100 mega symetrique sur des liens VPN on tourne sur un budget qui est quand même de 9600 € pour 2 ans.
En six mois j amortis mon système

Vu les économies ce n'est pas la consommation électrique de 50 ou 60 Watt qui va me faire peur dans mon budget.

La seule chose que je regrette en fait dans cette façon de procéder c'est là non symétrie au niveau du lien fibre optique.
Quel dommage de ne pas pouvoir avoir du 10 Gigabit symétrique sur mon offre delta par Free!!!
Titre: NAS avec Debian/nextcloud
Posté par: butler_fr le 17 janvier 2019 à 15:10:18
Le top pour ce type d'usage c'est les micro serveur hp
J'ai un n54l (gen7) il fonctionne niquel depuis plus de 4ans

4G de ram un tout petit cpu 4 emplacement pour HDD (+1 dans l'emplacement du lecteur cd)
un debian
avec apache/php-fpm/mariadb
owncloud/nextcloud + un serveur dlna

ça donne un truc très sympa!
avec backup automatique de tous les autres PC de la maison y compris à distance

Me manque juste une vrai liaison internet... l'adsl en upload c'est vraiment la mort...
Titre: NAS avec Debian/nextcloud
Posté par: Fuli10 le 17 janvier 2019 à 15:52:10
Oui c'est le top si on ne souhaite que le NAS. Et encore vu le volume c'est limité en nombre de disques (4 + 1 système  et encore 2 ou 3 par bidouille).
Donc pour plex en transcodage on oublie. Et le processeur est aussi un peu limite pour gérer owncloud (pages web assez lourde). J'avais réussi a gagner un bon gain en activant un cache PHP....
Mais ca consomme environ 8W de moins en idle que le Xeon.
Titre: NAS avec Debian/nextcloud
Posté par: butler_fr le 18 janvier 2019 à 10:21:23
Pour que tout tourne niquel sur ce petit cpu il faut effectivement penser a quelques petits truc:

opcache pour stocker le code compilé php (le plus souvent il faut augmenter la taille du cache qui est trop petite de base)
APCu ou memcache pour stocker tout ce qui est session php + quelques données d'owncloud

https://doc.owncloud.org/server/10.0/admin_manual/configuration/server/caching_configuration.html

+ bien configurer la base de donnée mysql (innodb_buffer_pool_size essentiellement)

un petit script qui aide bien sur ça:
https://github.com/major/MySQLTuner-perl
Titre: NAS avec Debian/nextcloud
Posté par: STRAT38 le 25 janvier 2019 à 02:12:09
Pour que tout tourne niquel sur ce petit cpu il faut effectivement penser a quelques petits truc:

opcache pour stocker le code compilé php (le plus souvent il faut augmenter la taille du cache qui est trop petite de base)
APCu ou memcache pour stocker tout ce qui est session php + quelques données d'owncloud

https://doc.owncloud.org/server/10.0/admin_manual/configuration/server/caching_configuration.html

+ bien configurer la base de donnée mysql (innodb_buffer_pool_size essentiellement)

un petit script qui aide bien sur ça:
https://github.com/major/MySQLTuner-perl

J'avais un peu oublié ce sujet.

Effectivement, j'ai bien opcache et APCu.
Pour le buffer, j'ai mis une valeur théorique médiane ... et honnêtement, je ne m'y suis plus intéressé depuis longtemps, je vais allez regarder ton script.

Merci pour l'info.
Titre: NAS avec Debian/nextcloud
Posté par: STRAT38 le 29 janvier 2019 à 02:18:48
J'ai testé ton script.

Pas de grande différence en perf, valeur presque identique a ma médiane théorique.

Titre: NAS avec Debian/nextcloud
Posté par: butler_fr le 29 janvier 2019 à 10:35:50
lorsque le buffer a déjà été un peu tunné ça n'apporte pas une grosse différence sur de petites bases de données.

Sur de gros serveurs mysql sur lesquels ce paramètre aurait été oublié on peut multiplier les performances par 10 voir plus.

idem avec le query cache (à utiliser avec précaution ce dernier)
Titre: NAS avec Debian/nextcloud
Posté par: kgersen le 29 janvier 2019 à 15:24:12
Le but de ma recherche étant d'avoir un accès 24 heures sur 24 d'avoir un minimum de 20...

Les offres les moins chers sont aux alentours de 400 € par mois qui est une paille ...

20 quoi? utilisateurs?

400€ ca parait beaucoup ... c'est pour quel usage ?

avec GCP Cold Storage  tu peux faire un système hiérarchique de stockage qui fait que les données peu utilisées coûtent très peu en stockage.
10 To avec 1 millions d'opérations par mois c'est 65€/mois dans le DC en Belgique de Google (1 To c'est 10€/mois).

https://cloud.google.com/products/calculator/#id=19b90b15-dabf-429c-90bf-bd9f7008a7ce

Le stockage en Cloud publique c'est savoir choisir la bonne classe de stockage avant tout chose. Si c'est pour stocker des films piratés qui sont vus une fois par an grand max, ce n'est pas la peine de payer plein pot du stockage 'premium' (full sdd hyper rapide "proche" des cpu) fait pour d'autre usage.
Titre: NAS avec Debian/nextcloud
Posté par: Nh3xus le 29 janvier 2019 à 16:59:54
Ton lien montre un devis pour 10GB seulement...
Titre: NAS avec Debian/nextcloud
Posté par: FloBaoti le 29 janvier 2019 à 17:05:33
10 000 GB = 10 TB
Titre: NAS avec Debian/nextcloud
Posté par: STRAT38 le 29 janvier 2019 à 23:48:13
20 quoi? utilisateurs?

400€ ca parait beaucoup ... c'est pour quel usage ?

avec GCP Cold Storage  tu peux faire un système hiérarchique de stockage qui fait que les données peu utilisées coûtent très peu en stockage.
10 To avec 1 millions d'opérations par mois c'est 65€/mois dans le DC en Belgique de Google (1 To c'est 10€/mois).

https://cloud.google.com/products/calculator/#id=19b90b15-dabf-429c-90bf-bd9f7008a7ce

Le stockage en Cloud publique c'est savoir choisir la bonne classe de stockage avant tout chose. Si c'est pour stocker des films piratés qui sont vus une fois par an grand max, ce n'est pas la peine de payer plein pot du stockage 'premium' (full sdd hyper rapide "proche" des cpu) fait pour d'autre usage.

Moi, je suis a mon compte. Un peu le pot de terre contre google ... :)
Payer a frais perdue google ou les autres l'équivalent de 26TO de stockage en RAid6, c'est jeter de l'argent par les fenêtres ...
Pour le moment, j'ai 26 comptes ( 25% de mes clients) qui synchronisent en quasi temps réels qqs fichiers importants (client synchro nextcloud) et qui synchronisent des image de type true image.  Je ne sais pas comment réagis le cold storage de google.
Je tourne a environs 27% de ma capacité de stockage.
Mes hdd sont des 4TO ... les plus gros du marché sont des 12TO, ce qui me permettra d’évoluer ci besoins.
Dans les 6 mois qui viennent, je vais rajouter mes 75% de clients manquants ( professionnels de santé, et qqs copains architectes, plus 4 restaurants )

J'ai testé ton lien google, ce qui me donne 65euros/mois pour du 10TO ---> soit 65+65+32.5=162.5 mois x12 = 1950 euro an.

Ma solution a été mise a jour il y a 11 mois, et j'ai déjà amortis sont coût. Et je pense la faire tourner encore au moins 4 ans avant de la mettre a jour ...
1950*4 d’économie !

En plus, je fais tourner d'autres vhost sur ma petite chose...
- un site web
- forum privatifs clients
- serveur de mails

Ce qui coûterais encore quelques kopecks je préfères tout faire en privatif a mon niveau...

Vais-je le payer un jour, style crash, incendie, vol ??? Peut être, mais je vais pas tarder a construire un clone de mon serveur, qui sera hébergé dans le bureau de mon frère, qui va être aussi en free10G, sur le même NRA. Ensuite, rsync entre les machines ...

Construction du clone dans 2 mois suivant ma charge de travail ...



Titre: NAS avec Debian/nextcloud
Posté par: kgersen le 30 janvier 2019 à 03:56:32
Moi, je suis a mon compte. Un peu le pot de terre contre google ... :)

Payer a frais perdue google ou les autres l'équivalent de 26TO de stockage en RAid6, c'est jeter de l'argent par les fenêtres ...

...

non c'est juste comparer 2 choses sans prendre en compte tout les coûts, notamment le tien (temps, compétences requises, etc) qui est en général le plus important... Si le cloud public coûtait plus cher pour tout le monde ca se saurait et personne n'en ferait...

N'oublies pas non plus, dans tes comparaisons, qu'en cloud public tu paies a l'usage donc pas 26 To total tout le temps mais juste le volume et le trafic réellement consommés chaque mois. Ca te permet aussi dépasser les 26 To a tout moment sans aucun capex. Bref je vais pas refaire ici la comparaison 'as a service' vs 'je fois moi-meme' cela a déjà été fait des centaines de fois par d'autres.

De toute façon, je répondais plus par rapport a ta remarque des "400€" pas a ton choix spécifique. D'autres gens lisent ceci et son peut-être intéressés par une comparaison 'juste' des divers solutions possibles.

Le cas type de nos jours d'un NAS domestique ce n'est pas ton cas d'usage qui est plus 'semi pro/pro' que grand public.
pour moi et ca n'est que mon avis, aller héberger une solution pro/semi pro derriere un abo Free... c'est hum comment dire ( :) ) un choix risqué et un peu amateur et comme tu l'indiques tu risques de le payer un jour, enfin surtout tes "clients".
Titre: NAS avec Debian/nextcloud
Posté par: STRAT38 le 30 janvier 2019 à 17:17:52
C'est pas faux, sur presque tout,   (mais sans compter l'offre google ) :
- j'ai estimé a la louche mes besoins de stockage, en faisant un X2. Sur les offres ovh, 111 ou autre, la plupart du temps en dédié, il faut payer le stockage max, pas celui que utilise au moment T.
- Le temps, c'est effectivement de l'argent. Cela m'as pris une semaine pour étudier, comparer, décider, commander, assembler, tester.
- Je suis un débutant éclairé depuis 30 ans. 11 ans chez IBM pour les POS4690, 5 ans chez un sous traitant... qqs années a droite a gauche. Lorsque je vois le niveau ici, je suis vraiment la plupart du temps un débutant éclairé.
- c'est vrai que mon cas brouille les pistes  ::)
- c'est hum comment dire ( :) ) un choix risqué et un peu amateur --> oui. Mais j'ai pas de SLA dans mes contrats. En plus, c'est gratuit dans ma prestation, donc je suis un peu plus tranquille pour l'instant.
- Free .... je suis joueur, dans une certaine limite. A termes, lorsque je facturerais mes clients pour ce service, je mettrais mon serveur en hébergement chez un prestataire local qui est un de mes clients. Troc de bon services au début, puis factures après ...

Mais merci pour toutes ces informations, remarques. C'est comme cela qu'on avance et que je découvre ( ou redécouvre suivant ma mauvaise fois ) des problèmes.
Pour le futur d'ailleurs, je ne compte pas garder ce hardware, mais passer sur le serveur Poweredge R620 (2 x Xeon Eight Core E5-2640) acheté aux enchères il y a qqs jours. Je garderais ma distro tuné de debian, ainsi que la grappe actuel dans son format. Je cherche déjà une "HDD-extention-bay" compatible avec le hotplug de ce serveur.

Mon fils finira ses études d'ingé bientôt. QQs années chez les autres et ensuite transition entreprise ... il me reste bien au moins 15 ans a tirer ! Il vas falloir me supporter encore un peu !!!  ;D