OwnCloud, c’est cool

J’ai installé il y a un bout de temps OwnCloud sur mon Raspberry, mais pendant longtemps, je n’en avais rien fait.

Hier, j’ai enfin installé le client de synchronisation sur ma machine Windows et mon téléphone.

Et surtout, j’ai déplacé tout le contenu de mon dossier Dropbox dans le dossier OwnCloud.

Et franchement, ça marche rudement bien.

De mon point de vue de simple utilisateur, ça marche aussi bien que Dropbox.

Du coup, adieu Dropbox !

Publicités

Une petite mise à jour de rss-bridge, ça vous dit ?

Suite aux mises à jour de Sexactu, j’ai dû réécrire le bridge correspondant, et j’en ai donc profité pour mettre à jour rss-bridge.

Et même si je n’aime pas spécialement le PHP, je dois dire que les choix d’API sont quand même vachement pratiques.

En bonus, avec xampp et Eclipse-PDT, c’est quand même super facile de bosser.

Du coup, j’en ai profité pour mettre à jour tous mes bridges … et évidement les envoyer sur github. Et franchement, c »était facile. Bravo à l’équipe rss-bridge.

Il est re-RAID

Bon, c’est bien dépassé (genre ça fait pile un mois). Mais mon NAS a retrouvé son RAID. La leçon essentielle est qu’il faut bien lire les messages des différentes commandes Linux, parce qu’en fait, j’avais démonté le mauvais disque dur … Dès que j’ai pensé à enlever le bon disque dur, ça c’est mis à […]

Il est un peu moins RAID …

Mais ça va s’arranger.

Parce que j’ai reçu aujourd’hui mon disque de remplacement.

J’ai d’abord essayé de remplacer le disque à l’arrache, avant de me souvenir qu’il y a sur le site de Alt-F une page complète sur le changement d’un composant dans un disque RAID.

J’ai donc repris la procédure en suivant méthodiquement les étapes.

Hélas, dès la suppression du composant, c’est le drame :

[root@dlink-6A4EB1]# mdadm --manage /dev/md0 --fail /dev/sda2
mdadm: set device faulty failed for /dev/sda2:  Device or resource busy

Et j’ai passé du temps avant d’avoir l’éclair de lucidité.

En fait, j’ai partitionné mes disques « simplement » : une grosse partition en RAID1 avec tout dedans. Tout … y compris ffp … Lequel ffp fournit évidement les services SSH et compagnie. Du coup, évidement, quand j’essaye d’enlever le composant (enfin, le disque, mais en RAID, apparemment, ça s’appelle un composant), ça ne marche pas … Attendez, c’est du RAID1, donc ça devrait marcher, non ?

Du coup, si c’est pas ça … je fais quoi, moi ? Ben j’en sais rien. Enfin, j’ai bien une idée : je peux toujours copier tout le contenu de mon montage RAID1 sur mon nouveau disque, et le faire évoluer vers un disque RAID1 en reformattant le composant qui reste dans le RAID1.

Bon, en théorie, la solution idéale serait quand même de mettre mon nouveau disque directement dans le conteneur RAID1 … mais je ne sais pas trop comment faire ça, ni dans l’interface d’Alt-F, ni même dans mdadm. Je sens que je vais encore aller écumer ServerFault, moi …

Il est RAID … mort ?

Bon, ça sent pas bon

2017-03-07 19_48_12-

Oui, mon RAID est dégradé.

Mais comment ?

Une première réponse grâce à cet article : How to get the status of a Linux software raid?

Qui donne ce résultat éloquent :

[root@dlink-6A4EB1]# cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid6] [raid5] [raid4]
md0 : active raid1 sda2[0]
975585856 blocks [2/1] [U_]

unused devices: 

Effectivement, le U_ est clair : l’un des deux disques semble être dysfonctionnel. Mais lequel ?

En regardant dans l’interface de Alt-F, je peux avoir ces informations là :

/dev/sda2:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : a112692c:cd4ddd32:b98be83a:b8b6c728
  Creation Time : Sun Feb  8 22:22:54 2009
     Raid Level : raid1
  Used Dev Size : 975585856 (930.39 GiB 999.00 GB)
     Array Size : 975585856 (930.39 GiB 999.00 GB)
   Raid Devices : 2
  Total Devices : 1
Preferred Minor : 0

    Update Time : Tue Mar  7 20:15:34 2017
          State : clean
 Active Devices : 1
Working Devices : 1
 Failed Devices : 1
  Spare Devices : 0
       Checksum : 67beb987 - correct
         Events : 12447483


      Number   Major   Minor   RaidDevice State
this     0       8        2        0      active sync   /dev/sda2

   0     0       8        2        0      active sync   /dev/sda2
   1     1       0        0        1      faulty removed
/dev/sdb2:
          Magic : a92b4efc
        Version : 0.90.00
           UUID : a112692c:cd4ddd32:b98be83a:b8b6c728
  Creation Time : Sun Feb  8 22:22:54 2009
     Raid Level : raid1
  Used Dev Size : 975585856 (930.39 GiB 999.00 GB)
     Array Size : 975585856 (930.39 GiB 999.00 GB)
   Raid Devices : 2
  Total Devices : 2
Preferred Minor : 0

    Update Time : Wed Feb 15 09:09:56 2017
          State : clean
 Active Devices : 2
Working Devices : 2
 Failed Devices : 0
  Spare Devices : 0
       Checksum : 67a3a500 - correct
         Events : 12444067


      Number   Major   Minor   RaidDevice State
this     1       8       18        1      active sync   /dev/sdb2

   0     0       8        2        0      active sync   /dev/sda2
   1     1       8       18        1      active sync   /dev/sdb2

Et donc, clairement, mon disque /dev/sda1 a un problème.

Du coup, j’essaye de l’enlever via Alt-F, encore une fois. Et c’est le drame :

Removing the sda2 partition from the md0 RAID device failed:

mdadm: hot remove failed for /dev/sda2: Device or resource busy

Damned ! Comment je fais, maintenant ?

Evidement, un coup d’oeil à ServerFault donne des réponses …comme celle-là, mais par prudence, je ne vais pas l’appliquer tout de suite …

Et je vais surtout (encore) acheter un nouveau disque de 1 To …

J’en profiterai évidement pour faire jouer la garantie, parce que le disque Toshiba n’a quand même qu’un an …

Mon NAS …. amélioré

Il y a quelques temps, j’avais failli perdre mon NAS. J’avais donc remplacé mes disques, et remplacé le firmware d’origine par Alt-F. Et ça marchait … à peu près bien.

J’avais juste un problème lié au fait que rss2imap prenait environ 100% du CPU, tout en ramant comme un malade et en empêchant totalement mldonkey de fonctionner ben quoi, moi aussi je télécharge des distributions Linux).

J’y ai donc un peu réfléchi … et je me suis donné deux pistes de résolution pendant mes vacances

  1. Transformer mon vieil iBook en serveur : je peux y faire tourner du Python (merci MacPorts) et xDonkey
  2. Acheter (argh) un Raspberry PI, et y installer tout ce qu’il faut

Comme mes vacances sont finies (re-argh), j’ai pu tester ces deux pistes, et j’en ai tiré quelques conclusions

  1. Utiliser l’iBook marche bien pour rss2imap, par contre xDonkey refusait de se connecter aux serveurs du web
  2. J’ai donc fait l’acquisition d’un Raspberry Pi 3 (avec le wifi, le bluetooth, et tout ce dont on peut rêver) … et ça marche bien !

Donc, oui, j’ai maintenant un raspberry caché sous ma freebox (et non pas dans ma freebox) sur lequel j’ai l’intention de faire tourner l’ensemble des éléments consomateurs de ressource (Python, mldonkey, lighttpd) pour ne laisser sur le NAS que la diffusion de contenu (donc le serveur ssh, et minidlna).

Du coup, j’ai à nouveau un iBook qui ne sert à rien, que j’ai posé à côté des deux ordinateurs de bureau que j’ai à la cave (et qui ne servent eux aussi à rien). Que faire de tout ça ?

FreeFileSync, c’est quand même vachement bien

Vous savez que j’ai de plus en plus de mal avec « les géants du web » et leurs liens avec l’administration de la surveillance d’état américaine … Par exemple, quand Condoleaza Rice s’installe au bureau de la direction de Dropbox, le signal est assez fort pour que je m’inquiète. Mais ça, c’est sans doute une matérialisation de ma paranoïa.

Toujours est-il qu’il n’y a pas bien longtemps, ma femme a remplacé son portable vieillissant par un UltraBook tout neuf, tout léger. Et là s’est posé la question de la synchronisation de ses données … Alors évidement, elle a un compte Dropbox … mais son compte Dropbox ne permet pas forcément de synchroniser une clé USB et un dossier de sa machine, par exemple. De la même manière, synchroniser sa machine avec un serveur SFTP est impossible.

Heureusement, avec FreeFileSync, c’est possible. Bon, évidement, c’est pas plug’n’play : pour que la synchronisation soit instantanée, il faut jouer avec RealFileSync et les tâches planifiées. Mais une fois que c’est configuré, il suffit de créer/modifier/supprimer un fichier sur la clé USB pour qu’il le soit sur le disque dur local, et le disque dur réseau.

Ca marche quand même très bien … et pas que sur Windows, ce qui est encore mieux !

NAS en rémission

Dans les épisodes précédents

  1. J’ai à moitié perdu mon NAS
  2. J’ai encaissé le coup (et mon portefeuille aussi)

Et aujourd’hui, je reprends le chemin du succès.

Hier, par exemple, je suis allé chercher les deux disques dur de 1 To qui, à terme, vont venir remplacer les deux disques initiaux de 500 Go. Ils seront montés en RAID 1 quand je les aurai installé tous les deux.

Parce que pour l’instant, j’ai fait d’autres choses.

J’ai d’abord installé Alt-F. Pas pour son interface, mais parce qu’il supporte nativement Python, minidlna, et bien d’autres choses (même si je ne comprend pas complètement comment ça marche). Et je dois dire que, à ma grande surprise, le flash du firmware s’est passé sans le moindre souci.

Et aujourd’hui, j’ai installé le premier des deux disques, formaté avec juste une partition RAID de 999 Go (plus 1 Go pour le swap). Et j’ai commencé la longue opération de réparation RAID, qui va recopier toutes les données du « vieux » disque dans le nouveau (juste pour rire, j’ai 425 mn d’ETA, soit 7 heures d’attente). Et demain, quand cette opération sera terminée, j’enlèverai le vieux disque que je remplacerai parle deuxième nouveau disque, sur lequel je referai la même opération.

Et si tout se passe bien, j’aurai ce week-end un NAS complètement renouvelé … Et un disque dur SATA de 500 Go inutile. Et ce disque dur, à priori, avec un adaptateur SATA/USB 3, je pourrai peut-être tenter d’en récupérer les données.

Lost in NAS

Souvenez-vous, la semaine dernière, j’ai à moitié perdu mon NAS. Où est-ce que j’en suis aujourd’hui ?

NAS unijambiste

Aujourd’hui, mon NAS n’a plus qu’un seul disque dur, et je flippe. J’ai commandé deux disques durs 1 To pour augmenter sa capacité, mais en attendant qu’ils arrivent, j’ai la trouille. Cela dit, je sais déja que je ne jouerai pas l’économie, et que je les installerai en « vrai » RAID 1 sur tout l’espace disque. ca fait que mon NAS passera de 700 Mo utilisables avec une fiabilité faible à 1 To utilisable de façon plus fiable.

Oui, je sais, le RAID n’est pas un backup, mais en l’occurence, il remplit précisément l’usage pour lequel il est conçu : me permettre de vivre avec des moyens limités pendant un temps limité.

Pas de Raspberry alors ?

Effectivement. J’y avais pensé (ou plutôt à l’ODROID). Mais, quand on ajoute au prix de la machine celui des boîtiers USB3/SATA, ça finit par revenir plus cher qu’un NAS. Donc oui, pas de micromachine. En vérité, je commence à me forger l’opinion que ces machines « light » ne sont que très rarement utiles.

Et alors les sites web hébergés ?

J’en ai profité pour faire un peu de ménage : j’ai viré KrissFeed, Codiad, MiniGalNano (je n’utilisais pas les deux derniers), mais conservé rss-bridge et Shaarli. Bon, j’ai bien essayé de les faire tourner sur ma page perso free.fr, mais free n’en est encore qu’à PHP 5.1 … Du coup, je les ai réinstallé sur mon NAS.

Je dois dire que j’ai essayé de ne pas les réinstaller uniquement parce que je crains que ces outils n’aient provoqué la chute du disque en faisant tourner le disque dur en permanence. Mais comme je n’en suis pas du tout sûr … et que j’ai pris des disques avec 18 Mo de cache, j’espère éviter le même problème.

Plus de Krissfeed ?

Mouaip. J’étais assez insatisfait de l’application : je le trouvais lent, je trouvais pénible le besoin de me logger pour que les pages soient rechargées, et encore pire le fait que je sois trop rapidement déloggé. Donc je l’ai remplacé par … rss2imap (version Rui Carno).

Et ma vie a changé.

J’ai pendant longtemps été allergique aux clients RSS lourds (genre RSSOwl), et je ne savais pas pourquoi. Maintenant, je sais : ils réinventent en fait le client mail. Et avoir mes flux RSS bien classés dans des dossiers de mon Thunderbird ou de mon K9-Mail est en fait invraissemblablement chouette. Sauf peut-être pour les messages Twitter … mais c’est un cas particulier. Oh, j’ai bien sûr quelques flux qui foirent (typiquement les bridges RSS de Freenews et The Oatmeal), mais ça va se régler. Et bientôt, j’aurais les images, je le sais.

En bonus, comme c’est du Python et que, tel un Neo de bas étage (moi, citer Matrix, franchement), « je connais le Python« , j’ai déja pu hacker un petit truc.

L’immortalité dans le web

Au passage, Catherine Dufour avait raison de parler des fantômes du web : je lisais le code de rss2imap quand je suis tombé sur cet entête

2016-03-14 15_53_10-rss2imap_html2text.py at master · rcarmo_rss2imap
Aux martyrs, le web reconnaissant

Laissez-moi vous dire que ça fait bizarre pour un fan des flux RSS comme moi de tomber sur du code de l’auteur de la spec, tombé pour la lutte contre le paywall universitaire. Et vous voyez, ce type est peut-être mort, mais son code lui rend hommage. C’est beau.

Et maintenant ?

Oh, je vais sans doute passer à alt-f, le firmware alternatif. Il me permettra d’installer la commande at, qui me permettra à son tour d’exécuter rss2imap directement sur le NAS, ce qui sera un peu plus intelligent que de le faire tourner sur ma machine professionnelle (en y laissant donc la conf IMAP de mon compte)

J’ai demi-perdu mon NAS, c’est grave ?

Vous le connaissez, mon NAS, qui héberge toutes mes données, et quelques applications, et avec lequel j’ai déjà vécu quelques péripéties ?

Eh bien celle-ci est un peu plus grave. Et le premier signe clair a été une espèce de bruit bizarre (comme des aiguilles qui claquent contre une plaque métallique) en début de semaine. Quand j’ai entendu ça, intérieurement, j’ai frémi, parce que je craignais de savoir très précisément d’où ça venait.

Qu’est-ce qui s’est passé

Et quand je me suis connecté aujourd’hui sur KrissFeed, j’ai eu la la malheureuse confirmation que les ennuis étaient arrivés :

2016-03-10 13_04_33-500 - Internal Server Error
Et ça, c’est vraiment mauvais signe

Du coup, je me suis connecté en SSH, et j’ai obtenu la triste confirmation :

2016-03-10 13_07_54-nicolas-delsaux.hd.free.fr - PuTTY
Tout s’explique … ou pas

Alors que je vous explique (ou plutôt, que je vous rappelle des souvenirs).

Dans mon NAS, j’ai deux disques durs, chacun coupés en deux partitions : une première en RAID 1 assure la duplication des données « essentielles », et une seconde, en JBOD, me fournit un gros espace de stockage sans garantie de survie.

Le fait que j’arrive à me connecter à la machine indique que la première partition est sauve sur au moins un des deux disques. En revanche, le fait que la deuxième partition me donne une erreur de disque m’indique qu’un des deux disques a sûrement perdu des données.

Alors avant de courir partout comme un poulet sans tête, un peu de méthode g(enre la boucle OODA).

Qu’est-ce que j’ai perdu ?

En fait, pas grand chose : la première partition stockait mes photos et toutes les données « personnelles », et la deuxième servait au stockage de binaires. Il y avait donc

  • de la musique – également stockée sur mon ordinateur de bureau, donc non perdue
  • des films/séries – là, clairement, tout est perdu, mais je peux/vais les retélécharger dès que le NAS sera à nouveau fonctionnel
  • les données de mes sites web – et là, c’est catastrophique. Parce que certains de ces applis PHP stockaient des données. Et d’autres étaient très utiles. Tiens, pour détailler
    • Shaarli stockait tous mes liens directement dans un dossier data … qui par miracle était placé via un lien symbolique dans /mnt/HD_a2 ! Donc mes liens sont sauvegardés, et avec une install de PHP sur un PC Windows, je pourrait les exporter au format bookmarks.html.
    • KrissFeed me servait de lecteur RSS local, et pour lui je n’ai pas de backup des données, mais juste un vieux fichier OPML … ce qui est bien suffisant, en fait
    • Tweetledee m’assurait la conversion Twitter=>RSS … Et quelque part, ça n’est pas bien grave si il ne marche plus … sur cette machine. parce que j’ai toujours besoin d’un accès à Twitter, mais pas forcément sous cette forme.

Qu’est-ce que je peux faire ?

A priori, le DNS-323 fournit une application de « réparation » du RAID … Cela dit, je pense qu’elle va réparer le RAID en supprimant les secteurs foireux, ce qui implique potentiellement que je perde réellement tout ce qu’il y a dans cette partition JBOD. Et ça, je préfererai éviter. Mais bon, comme c’est la seule à faire, je vais le faire. En parallèle, je vais également racheter un disque. Parce que je les ai acheté en même temps, qu’ils ont eu le même usage, et que si l’un a lâché, l’autre ne va pas tarder.

Qu’est-ce que je peux faire pour éviter que ça ne se reproduise ?

Plusieurs choses, en fait

  1. Eviter de charger mon NAS en m’en servant comme ordinateur. Par exemple, je suis pas sûr que de l’avoir fait tourner 24/24 sur des téléchargements n’ait pas réduit sa durabilité. Autrement dit, investir dans un matériel dédié à ces usages para-légaux (typiquement un Raspberry ou un ODROID) dans lequel les données tomberont dans une carte MicroSD sans problème de plateau qui arrête de tourner … mais avec des problèmes de corruption de la carte.
  2. Me tenir mieux au courant de l’état du matériel. Et ça, ça veut dire superviser … par mail, éventuellement
  3. Diminuer ma dépendance au web pour les usages non web. Typiquement, je consomme beaucoup de temps à lire des flux RSS. Est-ce que je ne pourrai pas plutôt les pousser sur mon compte mail par IMAP ? Ca déporterait cette charge chez gmx ..