FRnOG 41 - Nine : Mais c’est quoi ?
Catégorie
🤖
TechnologieTranscription
00:00Bonjour, je suis Ferdinand, et avec Nicolas et Hugues dans la salle, aujourd'hui on lance un nouveau point d'échange européen.
00:09Alors je suis désolé si j'enfonce des portes ouvertes pour la plupart d'entre vous.
00:16Les opérateurs pour échanger des données ont deux solutions entre opérateurs.
00:23La première c'est du peering, c'est-à-dire de l'échange de paire à paire, où on échange directement des données.
00:29Et la deuxième, qui est complémentaire et qui est obligatoire, enfin on peut ne pas avoir du peering mais on est obligé d'avoir du transit,
00:40c'est le transit, c'est de confier son paquet à un gros opérateur mondial qui va derrière le transporter pour vous.
00:48Donc le peering a une meilleure latence, puisqu'en fait on est au plus proche de l'opérateur avec qui on échange des données,
00:58une meilleure prédictabilité, ça permet de minimiser les risques sur la chaîne de transport puisque l'ensemble des données sont transportées de gré à gré.
01:11Et puis c'est démocratique dans une certaine mesure puisque les données, particulièrement sur le peering public, sont échangées entre tous types d'acteurs au même endroit.
01:21Donc des petits, des gros, et ça permet aux petits de commencer à parler à des gros avec des qualités et des latences qui sont tout de suite bonnes.
01:32Maintenant la question c'est, est-ce que c'est moins cher ? En théorie ça devrait, puisqu'en fait le peering a des structures de coûts qui sont inférieures à celles d'un transiteur.
01:44Le peering on se retrouve au même endroit et puis on échange des données sur un gros routeur ou un gros switch, le transiteur évidemment on est transporté sur l'ensemble de la planète alors les structures de coûts ne sont pas les mêmes.
01:56Et historiquement le peering était moins cher que du transit.
02:00Ce qu'on voit là sur le graphe c'est que c'est tel cas, alors évidemment c'est un graphe qui ne correspond pas à l'ensemble des possibilités, il y a plein d'exceptions dans tous les sens,
02:12c'est un monde plein de subtilités, mais dans l'ensemble les gros points de peering aujourd'hui deviennent plus chers que des transiteurs un peu agressifs.
02:24Et c'est quelque chose qui est assez nouveau et qui pose des vraies questions, je parle de points de peering sans transport, vraiment des points de peering locaux.
02:36Alors si vous voulez on va faire un petit exercice, on va dire que le FRNOG lance un AS, on va commencer doucement, on va prendre un petit transiteur et puis on va commencer à envoyer des données.
02:52Et en fait FRNOGS c'est un peu de la balle et ça grossit bien et vite, et en fait assez vite on va se poser la question de savoir comment on peut améliorer la qualité du trafic qu'on va échanger.
03:04Et la réponse elle est évidente, c'est qu'il faut qu'on arrive à peerer, qu'on arrive à échanger des données en direct avec des acteurs qui auront reconnu l'importance du trafic qu'on envoie.
03:14Donc on va aller sur un premier point de peering qui s'appelle ROG, et on va prendre 10G sur % puisque on sera arrivé à des niveaux de trafic en pic qui supporteront en fait ce besoin.
03:30Le ratio peering transit va être de 2 pour 1 sur ce premier raccordement, c'est à dire que quand on va envoyer 2Go en peering, on va en envoyer 1 en transit.
03:44Et on a dans cette structure de coût là, sur la base des chiffres actuels évidemment, et sur la base d'un coût de transit fixe, on va avoir un ratio, enfin on va avoir un peering qui va être 2 fois plus cher que du transit.
04:02Encore une fois il y a plein de cas particuliers, là je parle de grosses masses. Et plus on va grossir, plus on va chercher à avoir de meilleures routes.
04:10Donc là cette fois-ci, le point de peering local étant déjà utilisé, on va chercher à aller trouver des points un peu étendus, et à chercher à diversifier ces routes directes vers des acteurs à qui on parle pas déjà.
04:24Et là on va se rendre compte que le peering, et quand je dis le peering c'est le coût du peering au global, la moyenne de l'ensemble de nos coûts de peering, va augmenter.
04:34Pourquoi ? En fait parce que vous allez avoir relativement moins de trafic sur votre digé, puisqu'il y a une logique de commit, et que si vous enlevez de la conso sur un commit que vous consommez, vous payez quand même le même prix.
04:48Mais aussi vous allez avoir une logique de transport, c'est-à-dire que le transport va vous coûter cher, si vous le redondez ça coûte 2 fois plus cher, et pour un ratio peering transit, il va pas augmenter tant que ça, relativement.
04:59Puisque vous allez récupérer des acteurs que vous avez déjà sur le premier point. Donc globalement, ce qu'on voit c'est que plus vous allez chercher à améliorer la qualité de vos routes, plus le peering va vous coûter cher.
05:11Et si on pousse un peu l'exercice, et que là on commence à remplir un peu les commits, c'est-à-dire que c'est les mêmes ports physiques mais on va s'engager sur des commits supérieurs, là on voit que le coût du peering va commencer à redescendre.
05:23C'est-à-dire que vous allez avoir un coût du peering qui va avoir des effets un petit peu de seuil, en fonction de l'évolution de votre réseau.
05:33Donc pourquoi le peering est-il plus cher que le transit ? Le peering est toujours local, c'est-à-dire que les points de peering sont des organisations qui sont établies depuis très longtemps dans des zones géographiques données.
05:48Et le principe du peering c'est que tout le monde se retrouve au même endroit. Donc de facto il y a un principe de the winner takes it all.
05:55Le principe c'est qu'une fois que tout le monde est sur un point de peering, c'est très difficile pour un autre point de peering d'exister.
06:01Et c'est logique, mais la corollaire c'est qu'un point de peering ne va pas avoir beaucoup de compétition localement.
06:07Et l'autre facteur de coût c'est le transport. Si on veut aller diversifier son peering, on va aller à une autre métropole.
06:17Et à la fois on paye un deuxième point de peering, et à la fois on paye du transport pour y aller.
06:25Et donc les prix augmentent évidemment, et du coup la conséquence c'est que le peering perd de son intérêt.
06:32En rapport au transit évidemment. C'est à dire que l'augmentation de la qualité se fait au prix d'une augmentation de coût qui est vraiment importante.
06:43Et la corollaire c'est qu'il y a moins de gens qui le font, et c'est moins accessible pour les plus petits acteurs.
06:49Et du coup la qualité des routes internet diminue relativement, mais à cause de ce facteur.
06:57Alors il y a une solution, on a réfléchi à une solution, puisque nous c'est un problème qu'on a depuis un moment.
07:03Donc déjà on va diviser les prix par trois, et ensuite on va inclure le transport sur l'ensemble de la plaque européenne, dans le prix.
07:12Donc ça c'est facile à dire, c'était deux mots sur un slide. Il y a eu un peu de travail pour que ce soit une réalité opérationnelle.
07:21Nine, c'est un point d'échange où vous allez avoir du public peering via des routes serveurs.
07:29Vous allez avoir des communautés, parce que là on est vraiment sur un point de peering qui va devoir gérer une spécificité qu'on légixe, c'est à dire les points de peering étendus.
07:37Qui est que les peers vont devoir maîtriser très précisément là où ils envoient des données pour des logiques de latence, particulièrement les peers qui sont présents à plusieurs endroits.
07:47Il va y avoir des Ethernet circuits qui sont inclus dans chacun des ports, c'est à dire que vous pouvez utiliser Nine non seulement pour peerer,
07:59mais aussi pour échanger des données avec n'importe quel acteur de la plaque européenne, dans le prix. Il n'y a pas de coût supplémentaire, c'est vraiment inclus dedans.
08:09Et enfin vous allez avoir une marketplace gratuite, quand on dit gratuite c'est vraiment complètement gratuite.
08:15Nous on est juste là pour mettre en rapport des opérateurs qui sont présents sur les différents nœuds, pour qu'ils échangent des services.
08:22Mais nous on ne gère aucune facturation, on ne veut pas savoir ce que vous échangez, on est juste là pour dire il y a bidule sur ce point, il y a machin sur ce point, parlez-vous et c'est tout.
08:35De façon technique, le réseau aujourd'hui que vous voyez représenté sur cette carte, c'est un réseau avec des backbones 400G.
08:44Il y a une cinquantaine de datacentres éligibles sur la plaque européenne et il sera opérationnel d'ici mai.
08:57Les premiers peers qui nous ont rejoints sont listés ici, c'est-à-dire qu'on commence le lancement de l'X et aujourd'hui on a déjà une quarantaine de peers qui sont en cours de raccordement sur le point d'échange.
09:11Donc c'est intéressant d'y venir dès aujourd'hui.
09:15Je passe la main à Nicolas pour des détails un peu techniques, bonne chance à vous.
09:27Grossièrement on a fait un gros switch, on s'est dit on va mettre un gros switch avec un peu de techno derrière parce que ça peut être cool et on a un problème de taille.
09:44Si vous me faites un trafic qui vient de Londres et qui part en Italie, je suis emmerdé parce que ça peut vite charger les tuyaux.
09:51Donc on a directement utilisé une plateforme qui nous permet de faire du SRMPLS où du coup on va pouvoir maîtriser le circuit.
09:57Et encore mieux, l'VPN qui aujourd'hui avec du VPWS permet en fait de faire des pseudo-wire de point à point, ça c'est vos circuits, et qui me permet de les taguer pour précisément avec les policiers SR,
10:07savoir par où j'envoie votre trafic, donc le but c'est de faire le plus court chemin mais c'est aussi de ne pas perdre de paquet, si on a de la congestion quelque part, on change de chemin.
10:15Et du coup on fait aussi des VPNL de VPN pour l'XP.
10:17Donc du coup ça, ça permet de faire littéralement du selective routing et on travaille nos algos derrière pour pouvoir en fait réussir à avoir un réseau qui ne congestionnera pas et qui aura la meilleure latence possible.
10:28Sur la partie physique, en fait on a deux solutions, enfin deux solutions, deux cas de figure.
10:34On a la partie métro où par exemple à Paris on a beaucoup de datacentres, donc là on a de la chance, on a de la fibre noire, on l'opère nous-mêmes.
10:40On a voulu être smart, on pouvait mettre du 400G gris, donc classique vous utilisez, le gris c'est pas coloré, sauf qu'on espère que vous poussiez du paquet et on espère de saturer les 400.
10:50Donc il fallait qu'on prévoit de pouvoir faire du nx400 sans rajouter des fibres, donc directement on a fait du cohérent pour démarrer, comme ça on est prêt à scaler.
10:59Et après sur le transport on fait du long-haul en 400G wave, donc là on espère aussi pouvoir scaler, mais bon c'est pas nos waves, là du coup on a nos fournisseurs,
11:07et le principe c'est aussi pareil, ils sont prêts à pouvoir faire des bundles nx400 pour pouvoir monter en capa.
11:12Donc derrière c'est Automation, donc tout simple, c'est un netbox, vous connaissez tous, nos API, nos scripts Python qui permettent de faire des configs atomiques,
11:20on passe tous les switches d'un état à l'autre, et on peut revenir normalement s'il faut, il n'y a pas besoin, mais normalement si,
11:24et vous aurez un panel où en fait vous configurez vos circuits, vous configurez vos sessions, c'est magique, qui vient peupler en fait netbox, donc très simple.
11:32Donc derrière en fait on propose des services de circuits Ethernet, donc là en fait c'est du pseudo-wire MPLS, vous mettez plein de trucs dedans,
11:38de l'Ethernet, donc du spanning tree, je vous conseille pas mais c'est possible, du 802 AD, donc du QNQ, ou encore du MPLS, ça peut transporter votre IGP,
11:46là on propose une MTU, donc au début on s'est dit qu'on allait garantir sur Estase une 9150, finalement ce qui est activé en production et ce qui sera revenu ce sera une MTU 10000,
11:56donc au moins pour entre, et le principe c'est qu'en fait, comme on vous a dit qu'il y avait une marketplace, mais que le circuit c'est vous qui mettez à disposition vers qui vous voulez,
12:05donc ça peut être vers vous, à vous, sur des ports qui sont à vous, ou de vous à quelqu'un d'autre, et là du coup le principe c'est quelqu'un fait la demande d'un circuit vers quelque chose d'autre,
12:12et après l'autre personne en face accepte ou refuse, et le principe c'est qu'à court terme il y aura une API qui va permettre d'automatiser ça pour pouvoir vendre vos services directement,
12:19et sans surcoût, la seule limitation c'est port d'IG64 circuit et port d'IG128 circuit, et donc du coup après il y a la partie XP,
12:29où là du coup vous pouvez revendre aussi des accès XP pour vos clients, donc si vous avez déjà vos métacentres et vos réseaux,
12:34et enfin avec tout ça on implémente par dessus cette couche de transport de la sécurité, donc évidemment du filtrage MAC, du LZ3SL, et des lipeurs anti-spoofing et du MAC anti-spoofing classique pour Annex.
12:47Donc voilà, on a un AS31561, celui-là on l'a dû acheter parce que le RIP ne le fournit plus pour les XP, c'est du 32 bits maintenant,
12:57et on voulait avoir notre petit 16 bits pour pouvoir faire des commus sympathiques, et nos IP assignées par le RIP, donc pareil,
13:03on a eu du mal à l'avoir, donc c'est grâce à tous ceux qui nous ont suivi en fait, avant même que ça soit lancé, tous les pairs que vous avez vu,
13:09qu'on a pu justifier d'avoir un aussi grand subnet qui ne paraît pas si grand, mais pour le RIP c'est énorme visiblement,
13:14et un dictionnaire de communauté, donc très important celui-là parce que beaucoup de gens m'ont dit parmi les pairs qui sont venus, et vous,
13:21et d'autres qui me disent ah non mais moi je viens pas parce que c'est pas du pairing local, alors bouge pas,
13:26j'ai des communautés, du coup l'idée c'est qu'avec ces communautés vous pouvez annoncer localement à qui vous voulez, ou désannoncer localement à qui vous voulez,
13:32et inversement, juste recevoir localement ou ne pas recevoir localement, et par dessus tout, si vous voulez pas vous amuser à faire un dictionnaire compliqué sur vos routes map,
13:40on propose d'appliquer ce dictionnaire pour vous sur les routes serveurs sur vos sessions, donc du coup vous pouvez faire du pairing local,
13:45c'est un autre pairing qui est largement étendu, et donc après on a un système tout simple de routes serveurs, donc l'idée c'est que,
13:52on travaille sous Bird, alors on a voulu jouer un peu, Bird 3, qui vient de sortir il y a une semaine, enfin deux semaines,
13:58bon on a un peu joueur, et Bird 2, donc l'idée c'est qu'en fait on a toujours un couple de deux routes serveurs qui vous sont mis à disposition,
14:04c'est nous qui vous assignons, c'est pas vous qui choisissez, mais c'est toujours les mêmes en fonction des villes où vous êtes,
14:08et ces routes serveurs en fait, au total il y en a cinq sur la plaque, de chaque couleur,
14:11et évidemment vous allez être connecté à chacun un rouge et un bleu, et ces routes serveurs sont interconnectés,
14:16donc c'est principalement pour la décharge en fait, pour pouvoir en fait offloader les peers entre les routes serveurs.
14:24Donc du coup, pour le pairing, ce qu'on vous conseille fortement, du coup, RC8326, quand vous faites une maintenance,
14:31évitez de débrancher violemment, vous vous êtes pas directement raccordé à un peer, vous êtes sur un niveau 2,
14:34donc du coup faites aussi en plus du BFD, si vous perdez une session, ça peut bien être bien de savoir que vous l'avez perdue vite,
14:40comme ça au moins ça commence beaucoup plus vite. Du coup nous, on respecte le RTBH, donc on vous le retransfère,
14:46donc c'est bien le RTBH, si vous avez une attaque, vous pouvez blackhole une IP, l'envoyer sur l'XP, nous on peut le rediffuser,
14:50mais du coup, s'il vous plaît, vous en tant que peer, aussi implémenter les route maps RTBH pour pouvoir en fait protéger les autres,
14:55et du coup pouvoir faire un blackhole sur les routes qui vous sont reçues de ceux qui sont sous attaque.
15:00Donc pareil, essayez de nettoyer vos ports aussi avant de vous connecter, donc quand vous vous connectez à la partie peering,
15:05vous êtes dans une décontamination, donc on enlève le spanning tree, on enlève tout le bazar qui arrive en L2, qui sert à rien,
15:13la MTU de 1500, parce que nous on les connaît bien, les Néerlandais qui ont des ports à 9000 sur leur switch,
15:19et le BGP qui monte pas, parce que nous aussi on a nos MTU à 9000, on se rend compte qu'en fait ça marche pas, du coup 1500,
15:25et no man's force faire ta S, parce que nos routes serveurs n'annoncent pas évidemment la S de l'XP, c'est tout à fait normal.
15:31Et donc plein de choses, je vois qu'on me dit qu'il faut être rapide, donc du coup on a plein de trucs qu'on voudrait faire,
15:37passer au stage 22, faire du monitoring SEO pour nos clients, faire du ultra blackhole, passer en WDM,
15:43ouvrir plein de POP, parce que visiblement on en a pas assez, c'est ce qu'on m'a fait remarquer, du coup bon,
15:47apparemment il y a les Belges qui veulent qu'on arrive, bon, bah on va essayer,
15:51et proposer des communes de congestion contrôle qui préviennent les pierres à 80% d'apport, attention,
15:56ces routes là sont derrière des ports qui sont quasi saturés, comme ça si certains pierres jouaient le jeu,
16:00ils pourraient du coup faire le trafic un peu plus intelligent, et du coup réduire la congestion sur un XP.
16:05Merci beaucoup.