En direct de Boston jour 1 !

 

Que retenir du jour 1 de l’OpenStack Summit de Boston ?

 

Prenez un café et 5 minutes pour vous mettre à jour des faits marquants de la journée retenus par l’équipe d’Objectif Libre présente à Boston:
faites une pause OpenStack !

 

TasseVintage

Au menu aujourd’hui :

 

Keynotes : Jonathan Bryce

Jonathan Bryce a commencé les premières Keynotes en rappelant les chiffres du précédent Summit de Boston: 600 personnes à l’époque contre environ 5000 aujourd’hui.

Après des infos générales sur le Summit, Jonathan a abordé la campagne de dénigrement qui a eu lieu autour de OpenStack.

Chiffres à l’appui, il a montré que beaucoup d’informations relayées sur la toile étaient fausses :

  • +44% de croissance d’adoption annuelle pour OpenStack
  • 50% des fortune 100 utilisent OpenStack
  • 5 000 000 de cores gérés par l’ensemble des plateforme OpenStack en production

 

Jonathan a également évoqué une réunion de travail de 14 leaders de la communauté en mars, de laquelle sont ressortis 5 axes d’amélioration de l’écosystème de OpenStack.

Ces axes ont été présentés par Lauren Sell et Thierry Carrez :

  • Meilleure communication sur ce qu’est OpenStack : une nouvelle version du project navigator, outil recensant tous les projets OpenStack officiels. On y notera avec plaisir l’apparition de CloudKitty, le projet de rating et chargeback développé par Objectif Libre et dont Christophe Sauthier est le PTL.
  • Un meilleur feedback avec l’apparition du Forum au Summit (lire ci-après pour + de détails). La séparation des Summits Développeurs (les PTG) et Utilisateurs devrait également permettre de générer plus d’échanges.
  • Diminution de la complexité du déploiement.
  • Meilleure intégration avec les autres projets Open Source : c’est notamment l’objectif des Open Source Days du Summit, permettant à des membres des projets liés à OpenStack (Ansible, Kubernetes, Open vSwitch) d’être présents pour échanger.
  • Reflet de la diversité de la communauté et de son évolution.

 

Jonathan estime que l’on assiste actuellement à l’apparition d’une seconde génération de Cloud.

La première était axée sur la scalabilité des infrastructures, mais de nouveaux usages apparaissent :

  • un usage convergé de technologies (VM, Bare metal et conteneurs)
  • un usage fait par des sociétés moins technques, plus généralisé avec une volonté de réduction de coûts
  • un usage par des personnes qui ont une culture du changement

 

Cette nouvelle génération d’usage du Cloud suit la règle des 3 C :

  • Compliance
  • Cost
  • Capabilities

 

Keynotes : cas d’usages

Plusieurs intervenants sont ensuite venus présenter leur utilisation d’OpenStack

General Electric

Patrick Weeks insiste sur le besoin qu’un changement dans l’IT commence et se termine côté business, et leur transition vers le cloud est impressionnante :

  • 530 applications migrées (42% de leur parc)
  • 30 Millions de $ d’économies

Le passage en production de la première application a eu lieu 8 jours seulement après la livraison de la plateforme et 70 applications dans les 6 premières semaines.

Patrick Meeks pointe l’avantage de l’Open Source qui évite un vendor lock-in futur.

Verizon

Beth Cohen a parlé d’un usage d‘OpenStack massivement distribué réalisé grâce à leur produit « Universal CPE » (un OpenStack in a Box), routeur / modem livré aux clients.

Ce boîtier offre la possibilité de faire basculer des workloads de la partie edge à la partie traditionnelle de leur OpenStack (core) en permettant des actions centralisées, y compris sur des fonctions réseaux bas niveaux. Jonathan Bryce a ainsi insisté sur l’intérêt d’OpenStack pour l’Edge computing.

US Army Cyber Shcool

L’US Army Cyber School est venue présenter leur approche de réduction des coûts grâce à OpenStack.

Un des gros challenge de cette école est de montrer aux élèves des mises en situation réelles avec une diffusion rapide, quelle que soit la localisation des soldats. L’idée retenue est basée sur du Everything-as-code, mais aussi IaaS, DevoPS, Automation. OpenStack est utilisé dans le cadre d’une production des cours automatique à base d’une CI.

Mirantis

Boris Renski est ensuite venu présenter la nouvelle approche défendue par Mirantis, après une introduction spectaculaire à base de comics dans une lutte contre les black box – représentant pour lui le private cloud.

Pour étayer ses propos, il a expliqué que lors de la construction d’un cloud privé, les différentes couches « entreprise » du cloud (OpenStack, distribution Linux, solution réseau, solution de stockage) sont certifiées entres elles pour permettre une bonne intégration, au détriment d’un important coût cumulé pour obtenir l’environnement global « certifié ».
Il estime que l’utilisation de toutes ces couches impose de lier leurs cycles de développement respectifs et génère des délais dans la certification des environnements.
Il met en avant la notion de managed Open cloud delivery, avec un partenariat global avec Fujitsu. Ce mode de fonctionnement utilise les principes du Cloud Public, pour des infrastructures à la demande. Sa keynote se termine avec la destruction sur scène d’une black box, avec une responsable de Fujitsu, symbole de son nouveau combat.

AT&T

Nous avons eu droit à une présentation de DirectTVNow, service fonctionnant sur OpenStack. Ce service avait besoin d’une infrastructure Cloud pour pouvoir s’adapter de manière automatique aux évolutions d’utilisation, tout en gardant des coûts contrôlés (sur un cloud Hybride). La solution produite est basée sur OpenStack (Mitaka avec une forte utilisation de Heat) et une forte dose de CI/CD basées sur docker et Kubernetes.
Dans le futur de nouveaux axes seront utilisés : Containers/baremetal, serverless computing, function-as-a-service et encore plus de Kubernetes.

Ebay

Un cas d’utilisation à grande échelle de Kubernetes sur OpenStack a été présenté par Ebay. Une infrastructure gigantesque est nécessaire pour traiter les demandes des 169 millions d’utilisateurs actifs du service. Ainsi, 167 000 VMs, 13 Po de données et 100 Milliards de pages par jour sont gérés.

Pourquoi utiliser Kubernetes ?

C’est un projet Open Source avec une grand communauté, qui offre une approche centrée sur les applications plutôt que l’infrastructure, avec en bonus la possibilité d’utiliser des mécanismes de géolocalisation.

Aujourd’hui, ce sont 22 000 cores qui sont gérés pour des traitements de IA, NoSQL, Edge computing, ElasticSearch, Kafka… Ebay a développé sa propre distribution Kubernetes, TessMaster, pour gérer la sécurité, les logs, les registres, la haute disponibilité et l’intégration avec OpenStack. Cette distribution sera rendue Open Source dans quelques mois.

Red Hat

Jonathan Bryce a également échangé quelques mots avec le CEO de Red Hat, insistant sur l’importance de l’innovation et de l’Open Model, et sur l’évolution perpétuelle qui sont des points forts de l’Open Source. Un moyen de rassurer sur le futur de OpenStack, surtout venant d’un acteur aussi important que Red Hat.

Le CTO de Red Hat est venu renforcer le message sur l’implication de Red Hat dans la solution, la maturité du marché et l’apparition des conteneurs dans ce paysage.

SuperUser Award

Enfin, le Trophée du SuperUser Award de ce Summit mettait en concurrence :

  • City Network : un cloud public avec 30000 cores
  • MIT Computer Science and Artificial Intelligence Lab : qui depuis son lancement a exécuté près de 700 000 instances
  • Paddypower/Betfair : qui a placé près de 25% de ses workload sur OpenStack et qui réalise 500 déploiements d’application par semaine.
  • ukcloud : qui a permis de réaliser 600 millions d’économies au gouvernement anglais (avec une part de marché de 38% dans le cloud gouvernemental anglais)

Et les vainqueur ex-aequo sont ukcloud et paddypower/betfair !

 

 

Changements de formats

La nouvelle formule OpenStack Summit propose des conférences, lightening talks et démos comme sur les éditions précédentes, mais propose aussi des sessions sous d’autres formats.

L’objectif est d’impliquer la communauté : nouveaux venus, opérateurs et développeurs du projet.

Project onboarding

Ces sessions d’1h30 permettent aux personnes voulant contribuer de découvrir son fonctionnement d’un projet OpenStack, aussi bien sur le plan humain que technique. Des développeurs du projet présentent l’architecture et les outils utilisés, ainsi que des pistes pour démarrer.

La session documentation et internationalisation a permis à plusieurs personnes de prendre connaissance de l’outillage et des pratiques de l’équipe de doc, mais aussi de découvrir l’ensemble du périmètre géré par ce projet.

Project update

Ces sessions de 40 minutes présentent les travaux en cours pour le cycle Pike et les objectifs à plus long terme (Queens et Rocky). Les éléments les plus marquants sont présentés par des membres des équipes de développement.

L’équipe de documentation a ainsi présenté les travaux en cours, et une vision de ce que seront les prochaines étapes. Parmi les chantiers : migration des sections de l’admin guide dans les dépôts des projets, intégration de reno (release notes), ré-écriture du guide de sécurité, …

Forum

Ces sessions sont un échange entre les développeurs et les opérateurs. Elles rappellent le modèle des ops meetup et permettent aux développeurs du projet d’obtenir un feedback direct des équipes déployant et administrant des plateformes OpenStack.

Pendant la session nova dédiée aux cells V2, les opérateurs ont pu donner leur point de vue sur les changements impactants de cette nouvelle fonctionnalité et les échanges ont permis aux développeurs de nova de prendre des décisions d’implémentation du scheduler.

Le CERN et NeCTAR se sont portés volontaires pour tester la V2 des cells at scale. Un test grandeur nature pour l’équipe Nova.

 

Image Build as a Service

Daniela, Sebastian et Kurt de T-Systems ont présenté le workflow utilisé en interne pour gérer la construction des images pour leur cloud public Open Telekom Cloud.

Un cloud public a besoin de régulièrement créer des nouvelles images :

  • Mise à jour
  • Patchs de sécurité
  • Correction de bug
  • Drivers spécifiques

T-System a mis en place une chaîne d’intégration continue pour la création de leurs images from scratch :

Image as code

Toutes les images sont construites à partir de templates. Deux outils sont utilisés pour la construction des images: Kiwi (RedHat/SUSE/Oracle) et Diskimage-builder (Debian/Fedora).

Build

Des VMs, dans un tenant consacré à l’image factory, sont dédiées pour la construction des images. Les images sont poussées en tant qu’images privées dans Glance.

Tests

Une fois construites, les images sont testées pour valider leur bon fonctionnement :

  • Est-ce que l’image boot/reboot ?
  • Est-ce que les paquets souhaités sont présents ?
  • Vérifications de la configuration système (hostname, DNS,…etc…)

Push

Si les tests sont valides, les images sont poussées dans Glance.

 

Quel avenir pour cette image factory ? Ordonnancement avec Jenkins, intégration de CoreOS et Windows.Une question qui vient clore cette session : comment T-System gère les anciennes images ? Leurs images ne sont pas supprimées de suite, mais cachées aux utilisateurs.

 

Deploying Designate for Disaster Recovery

Malheureusement la déception, pour ne pas dire le désastre, de la journée…
Le titre laissait envisager une idée intéressante sur la gestion des pannes, basé sur une bascule DNS, le tout géré dynamiquement par une infrastructure OpenStack.
Résultat : une explication de comment sauvegarder la base de données MySQL de Designate (sic) et une démo (pré-enregistrée)… qui ne démarre pas.

 

The U.S. Army Cyber School OpenStack Use Case

Speakers:

  • Captain Christopher W. Apsey: United States Army
  • Major Julianna Rodriguez: Director of the Cyber Technical College at the United States Army Cyber School

 

Résumé:

L’école de la cyber-armée des Etats-Unis (USACYS) est un organisme en charge de la formation des soldats dans les domaines de l’informatique, l’électronique, la robotique, la physique et les mathématiques.

En octobre 2015, elle a lancé son programme de formations en s’appuyant sur une nouvelle infrastructure à base d’OpenStack.

Le projet était au démarrage un simple POC avec 40 cœurs, 512 Go de RAM, et 10 To de stockage. Il a par la suite rencontré un franc succès pour arriver à une infrastructure de 2000 cœurs, 36 To de RAM et 4 Po de stockage avec Ceph.

A l’origine, la USACYS a rencontrait la problématique de calendrier suivante : 12 à 18 mois étaient nécessaires pour préparer et valider des support de cours.

Aujourd’hui, ils sont passés à une approche DevOps avec une mise à jour des cours à la demande.

Ils ont industrialisé une chaîne de déploiement de bout en bout constituée des solutions suivantes:

  • Gitlab + CI/CD
  • Socle OpenStack + heat
  • Configuration + Industrialisation avec Saltstack

 

La gain de temps est prodigieux : ils sont passés de 12/18 mois à 12/18 heures pour la mise à jour et la livraison de nouveaux cours. Les instructeurs peuvent donc se concentrer sur leurs enseignements et la création de nouveaux contenus.

Au-delà de la rapidité de livraison, ils peuvent également offrir la possibilité de faire des cours à distance à travers leur cloud.

En conclusion, cette nouvelle approche pour livrer et diffuser de cours offre un retour sur investissement qui se chiffre en millions de dollars.

 

Securing Openstack Networking

Les concepts ont beau être connus, une piqûre de rappel est toujours une bonne chose, surtout quand on parle de sécurité.
Cette conférence passe en revue une checklist des bonnes pratiques pour sécuriser neutron :

  • Isoler et ségréguer les réseaux de criticité et confiance différentes dans des zones de sécurité
  • Vérifier que le mécanisme ML2 utilisé vous protège du spoofing ARP (essentiel en cas d’utilisation de flat network)
  • Considérer les forces et faiblesses des différents types de réseau tenant :
    • Le réseau flat : pas de ségrégation entre les instances. Attention au spoofing ARP!
    • Le réseau VLAN : ségrégation sans overlay. Limitation du nombre de VLANs à 4096.
    • Les réseaux VXLAN et GRE : pas de limitations du nombre de VLANs, difficile d’observer ce qui se passe sur le réseau.

 

ProTip : Tap As A Service permet d’inspecter le trafic de vos réseaux tenant.

  • Sécuriser les composants de neutron (patch management et configuration)
  • Utiliser les security groups et activer le port security ML2
  • Activer le SSL partout
  • Moindres privilèges : mise en place d’une politique RBAC
  • Attention à la maturité des composants utilisés (FWaaS, Octavia)
  • Mettre en place des quotas de ressources, surtout en cas de réseaux tenants self-service (cf limitation VLAN)

Déployer un code de simulation scientifique dans le Cloud : cas d’étude

Dans le cadre de la recherche scientifique, un problème est aujourd’hui souvent étudié via l’utilisation d’un code de simulation numérique.

Pour permettre des simulations de grande ampleur ou très complexes, les code de simulations sont écrits et optimisés pour tirer parti au maximum des clusters de calcul haute performance.

 

Un cluster HPC est traditionnellement construit comme suit :

  • Nœuds déployés en baremetal de façon homogène (OS, bibliothèques et application identique)
  • Utilisation d’un gestionnaire de ressources et d’une file de calcul pour ordonnancer les jobs et utiliser au maximum les cœurs de calcul et la mémoire disponible sur le cluster
  • Utilisation d’un framework bas niveau de calcul distribué (MPI)

 

L’utilisation de ce type de cluster, si très performante, présente un certain nombre d’inconvénients :

  • Environnement de développement très différent de l’environnement de calcul
  • Environnement logiciel non maîtrisé par l’utilisateur (imposé par l’administrateur)
  • Temps d’attente non négligeable dans la file de calcul ou durée maximale de job imposée par l’administrateur

 

Le cloud public se présente comme une alternative crédible, à condition d’offrir des performances suffisantes :

  • Utilisation d’images personnalisées par l’utilisateur et donc adaptées au cas d’étude
  • Ressources potentiellement illimitées permettant de virtuellement supprimer les temps d’attente dans la file de calcul : le code est directement exécuté une fois un ensemble de nœuds déployé via un outil tel que heat

 

Les premiers résultats de test sur le cloud public de Rackspace sont relativement intéressants :

  • Avec ironic, performances et scalabilité proches du HPC
  • Avec KVM et des flavors dites « CPU intensive », performances suffisamment intéressantes pour offrir un bon compromis flexibilité / performances.

 

Il reste à comparer le coût d’utilisation des deux plateformes.