plexi’Blog

Comme vous avez pu le constater, l’accès a l’ensemble de vos données hébergées chez PlexiWeb (web, mail, bases de données) ont été perturbées aujourd’hui, de 14h47 jusqu’à 18h32 suite a des problèmes sur nos serveurs de fichiers.
Voici la rapport que nous pouvons actuellement faire :

• 14h47 : le serveur de fichiers principal (veloaroulettes), suite a un problème d’origine matériel plante. Le serveur de secours (voitureapedales) tente alors de prendre la main.
  Lors de sa mise en production, le serveur de secours rencontre lui aussi un problème matériel et plante a son tour.
• 15h25 : nous arrivons a relancer l’ensemble des services à partir du serveur de fichier principal, mais il apparaît que les données présentes sur celui-ci ne sont pas consistantes.
• 15h30 : les données présentes sur le serveur de secours sont complètement détruites, suite a un problème sur la carte RAID. nous décidons alors de lancer une vérification sur le serveur de fichiers principal pour récupérer un système consistant.
• 18h32 : les données sont de nouveau corrects, et l’ensemble de nos services sont fonctionnels. Après vérification, les seules données altérées pendant la coupure ne sont pas des données clientes, l’ensemble de vos données sont donc correctes et aucun fichier n’a été perdu.

21 Comments »

Samedi soir, difficile de résister.

4 Comments »

La semaine passée fut assez riche en rebondissement, et a l’heure ou j’écris tous les travaux/incidents ne sont pas encore terminés. Petit retour donc, sans langue de bois :

• Problèmes réseaux : La semaine avait réellement très mal commencé, malgré le passage du coté d’Alionis sur des équipements de marque Cisco et Extreme Networks le temps de trouver le problème sur les routeurs Foundry Networks. Le problème s’étant reproduit sur le matériel des deux autres constructeurs, le problème matériel/logiciel a vite été abandonné, pour s’orienter sur une autre piste. Des modifications ont été faites, et le réseau est de nouveau stable depuis le milieu de la semaine.
• Mise à niveau du cluster mutualisé : Suite a un récente hausse de notre activité, et a divers facteurs (attaques contre un site Internet, …) vous avez pu remarquer mardi et mercredi quelques petites latences au plus fort de la journée. Fort de ce constat, nous avons ajouté de nouvelles machines a notre cluster d’hébergement.
• Indisponibilité du site PlexiWeb : Comme vous avez pu le remarquer notre site a été indisponible toute la journée d’hier, vendredi 27 janvier 2007 jusqu’à 14 heures environs aujourd’hui. Suite a un problème logiciel sur la machine hébergeant le site, nous avons préféré appliquer le principe de précaution et vérifier un a un chaque élément avant de les relancer en production.
• Support par mail : Le support étant précédemment hébergé sur la machine hébergeant notre site, celui-ci s’en retrouve directement impacté. La remise en route est en cours, mais comme chaque fois, l’import de la base de données est très long.
• Changement du LoadBalancer primaire : suite a un problème matériel aujourd’hui vers 13h42 sur le répartiteur de charge de notre cluster mutualisé, celui-ci est en cours de changement. Vous avez pu rencontrer une petite indisponibilité au moment du passage sur le second LoadBalancer due à une erreur dans la configuration de celui-ci (désormais corrigé), qui continue actuellement de fonctionner sans impact pour vos sites Internet.
• Commande en retards, renouvellement non pris en compte : C’est actuellement le plus grand problème pour nous, puisque les problèmes réseaux nous ont fait perdre énormement de temps la semaine passée. La semaine a venir sera donc principalement concentrée sur ce point, merci de votre patience et compréhension.

Ce billet sera sûrement mis à jour en fonction des travaux que nous allons effectuer ce Week-End.

2 Comments »

Comme vous avez pu le constater il y a une semaine en soirée ainsi que ce matin tôt, nous avons du faire face a un problème réseau.
Après discussion avec notre fournisseur de transit Alionis, il apparaît que le problème viens d’un problème sur leur infrastructure. Les premières constations montrent que le routeur sur lequel nous sommes connectés, pour une raison encore inconnue, change sa politique de routage et ne route plus aucun paquet. Le routeur devenant complètement injoignable une intervention sur site est alors nécessaire pour redémarrer celui-ci.
Une investigation est donc en cours pour déterminer l’origine du problème de leur coté, nous ne manquerons pas de vous en préciser les conclusions.
Dans l’attente des conclusions, et des mesures qui en découleront, nous avons déplacés d’un commun accord notre lien de transit sur un autre équipement afin de minimiser l’impact en cas de nouveau “crash” de routeur.
Mise à jour le 20/01/2007 : Il semblerait que le problème soit contagieux, puisque aujourd’hui ce sont deux équipements de plus qui viennent de rencontrer des soucis similaires.

3 Comments »

Les cartons rangés, le stress passé, voici un petit compte rendu de notre fabuleux déménagement de TelecityRedbus vers IXEurope.
Comme vous avez pu le remarquer, nous n’avons absolument pas pu tenir la feuille de route que nous avions prévue, malgré notre grande préparation a l’effort. La raison de ce retard est absolument simple : trop attaché a notre présence, l’équipe de TelecityRedbus ne voulait pas nous voir partir.
Quelques discussions un peu trop longues plus tard, nous sortions de du datacenter, et pouvions commencer la petite route nous menant jusqu’à IXEurope.
Vu le temps perdu en discussion avec TelecityRedbus, la décision a été prise de prolonger l’indisponibilité, en particulier pour effectuer de grosses maintenances sur différents serveurs :

• Mise à niveau des LoadBalancers,
• Changement de machine physique pour le serveur MySQL,
• Ajout de noeuds au cluster mutualisé,
• Quelques petits détails, dont nous parlerons prochainement.

L’ensemble de la plate forme a ensuite été redemarré, et les services furent de retour aux environs de 3 heures du matin.
Nous avons profité du déménagement pour prendre quelques photos, que nous ne manquerons pas de publier prochainement!

6 Comments »

C’est désormais sûr et définitif, PlexiWeb quitte RedbusTelecity … demain soir.
Pourquoi un déménagement aussi rapide ? En fait, ce déménagement est prévu de longue date, mais nous ne pouvions l’annoncer avant d’être certains que celui-ci pourrait se faire, et que nous pourrions assurer qu’il se fasse dans les meilleures conditions.
Nous quittons donc RedbusTelecity après plus de deux ans passés dans ce datacenter pour nous installer dans la suite privative d’Alionis chez IXEurope St-Denis.
Cela fait maintenant une semaine que nous travaillons uniquement sur ce déménagement et aujourd’hui tout est en place pour un déménagement dans de bonnes conditions. Le réseau électrique est bon, le réseau Internet est bon, les climatisations tournent correctement, le précâblage a été effectué. Il ne reste plus qu’a déplacer les machines.

Déroulement de la soirée :

• à partir de 23h00 : L’ensemble des serveurs sera débranché et rangé dans la camionette.
• 23h30 - 23h55 : Ballade pour l’ensemble des machines entre Courbevoie et St-Denis.
• 00h00 - 00h30 : Redéploiement des machines.

Bien que nous ne puissions effectuer une migration sans coupure comme nous aurions souhaité pouvoir le faire, nous allons nous efforcer d’agir le plus rapidement et le plus efficacement possible.
Veuillez par avance nous excuser de la coupure à venir.

13 Comments »

Depuis deux semaines maintenant, PlexiWeb dispose d’une petit message à caractère purement indicatif (publicité) à l’antenne de la radio libératrice de talents : Radio Neo
Pour ceux qui ne connaitraient pas, Radio Neo c’est de 7h à 14h et de 19h à 23h sur le 95.2 sur Paris/Région parisienne, et de n’importe ou, n’importe quand, sur Internet (grâce a plexiweb)

Pour écouter le petit message, c’est ici :

No Comments »

Comme il est de circonstance en cette belle saison, toute l’équipe de PlexiWeb vous souhaite une bonne année 2007.

8 Comments »

Depuis quelques mois déjà  l’idée trainait, tout comme pleins d’autres qui s’ajoutent a la todo list. Mais c’est désormais fait : PlexiWeb possède un blog.
Alors un blog, oui, mais pourquoi faire ?
L’idée de ce blog est de nous permettre de communiquer différemment avec vous. Pour nous rapprocher de vous, de vos envies, de vos besoins, ou bien encore vous donner des informations sur des sujets variés autour de PlexiWeb, qu’il aurait été difficile de vous donner ailleurs, tout ceci trouvera sa place dans ce blog. Et bien d’autres choses encore.

Bienvenue donc, en espérant que la ballade vous plaise!

No Comments »