<div dir="ltr">Hopefully those customers learned the difference between redundancy and diversity this weekend. :) </div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Aug 31, 2020 at 3:48 PM Eric Kuhnke <<a href="mailto:eric.kuhnke@gmail.com">eric.kuhnke@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>There's a number of enterprise end user type customers of 3356 that have on-premises server rooms/hosting for their stuff. And they spend a lot of money every month for a 'redundant' metro ethernet circuit that takes diverse fiber paths from their business park office building to the local clink/level3 POP. But all that last mile redundancy and fail over ability doesn't do much for them when 3356 breaks its network at the BGP level.</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Aug 31, 2020 at 9:36 AM Drew Weaver <<a href="mailto:drew.weaver@thenap.com" target="_blank">drew.weaver@thenap.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="EN-US">
<div>
<p class="MsoNormal">I also found the part where they mention that a lot of hosting companies only have one uplink to be quizzical and also the fact that he goes pretty close to implying that its Centurylink’s customers fault for not having multiple paths to
 Cloudflare that don’t touch Centurylink a bit puzzling. It could have just been poorly written.<u></u><u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<p class="MsoNormal"><u></u> <u></u></p>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0in 0in">
<p class="MsoNormal"><b>From:</b> NANOG <nanog-bounces+drew.weaver=<a href="mailto:thenap.com@nanog.org" target="_blank">thenap.com@nanog.org</a>>
<b>On Behalf Of </b>Tom Beecher<br>
<b>Sent:</b> Monday, August 31, 2020 9:26 AM<br>
<b>To:</b> Hank Nussbacher <<a href="mailto:hank@interall.co.il" target="_blank">hank@interall.co.il</a>><br>
<b>Cc:</b> NANOG <<a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a>><br>
<b>Subject:</b> Re: Centurylink having a bad morning?<u></u><u></u></p>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<p class="MsoNormal"><a href="https://blog.cloudflare.com/analysis-of-todays-centurylink-level-3-outage/" target="_blank">https://blog.cloudflare.com/analysis-of-todays-centurylink-level-3-outage/</a><u></u><u></u></p>
</blockquote>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I definitely found Mr. Prince's writing about yesterday's events fascinating.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Verizon makes a mistake with BGP filters that allows a secondary mistake from leaked "optimizer" routes to propagate, and Mr. Prince takes every opportunity to lob large chunks of granite about how terrible they are. <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">L3 allows an erroneous flowspec announcement to cause massive global connectivity issues, and Mr. Prince shrugs and says "Incidents happen." <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Mon, Aug 31, 2020 at 1:15 AM Hank Nussbacher <<a href="mailto:hank@interall.co.il" target="_blank">hank@interall.co.il</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">On 30/08/2020 20:08, Baldur Norddahl wrote:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal"><a href="https://blog.cloudflare.com/analysis-of-todays-centurylink-level-3-outage/" target="_blank">https://blog.cloudflare.com/analysis-of-todays-centurylink-level-3-outage/</a><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Sounds like Flowspec possibly blocking tcp/179 might be the cause.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">But that is Cloudflare speculation.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Regards,<br>
Hank<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Caveat: The views expressed above are solely my own and do not express the views or opinions of my employer
<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<blockquote style="margin-top:5pt;margin-bottom:5pt">
<div>
<div>
<p class="MsoNormal">An outage is what it is. I am not worried about outages. We have multiple transits to deal with that.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">It is the keep announcing prefixes after withdrawal from peers and customers that is the huge problem here. That is killing all the effort and money I put into having redundancy. It is sabotage of my network after I cut the ties. I do not
 want to be a customer at an outlet who has a system that will do that. Luckily we do not currently have a contract and now they will have to convince me it is safe for me to make a contract with them. If that is impossible I guess I won't be getting a contract
 with them.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">But I disagree in that it would be impossible. They need to make a good report telling exactly what went wrong and how they changed the design, so something like this can not happen again. The basic design of BGP is such that this should
 not happen easily if at all. They did something unwise. Did they make a route reflector based on a database or something?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Regards,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Baldur<u></u><u></u></p>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Sun, Aug 30, 2020 at 5:13 PM Mike Bolitho <<a href="mailto:mikebolitho@gmail.com" target="_blank">mikebolitho@gmail.com</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<p class="MsoNormal" style="margin-bottom:12pt">Exactly. And asking that they somehow prove this won't happen again is impossible.<u></u><u></u></p>
<div>
<p class="MsoNormal">- Mike Bolitho<u></u><u></u></p>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Sun, Aug 30, 2020, 8:10 AM Drew Weaver <<a href="mailto:drew.weaver@thenap.com" target="_blank">drew.weaver@thenap.com</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin-left:4.8pt;margin-right:0in">
<div>
<div>
<p class="MsoNormal">I’m not defending them but I am sure it isn’t intentional.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<div style="border-color:rgb(225,225,225) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0in 0in">
<p class="MsoNormal"><b>From:</b> NANOG <nanog-bounces+drew.weaver=<a href="mailto:thenap.com@nanog.org" target="_blank">thenap.com@nanog.org</a>>
<b>On Behalf Of </b>Baldur Norddahl<br>
<b>Sent:</b> Sunday, August 30, 2020 9:28 AM<br>
<b>To:</b> <a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a><br>
<b>Subject:</b> Re: Centurylink having a bad morning?<u></u><u></u></p>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<p class="MsoNormal">How is that acceptable behaviour? I shall remember never to make a contract with these guys until they can prove that they won't advertise my prefixes after I pull them. Under any
 circumstances. <u></u><u></u></p>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div>
<p class="MsoNormal">søn. 30. aug. 2020 15.14 skrev Joseph Jenkins <<a href="mailto:joe@breathe-underwater.com" target="_blank">joe@breathe-underwater.com</a>>:<u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin:5pt 0in 5pt 4.8pt">
<div>
<p class="MsoNormal">Finally got through on their support line and spoke to level1. The only thing the tech could say was it was an issue with BGP route reflectors and it started about 3am(pacific).
 They were still trying to isolate the issue. I've tried failing over my circuits and no go, the traffic just dies as L3 won't stop advertising my routes.<u></u><u></u></p>
</div>
<p class="MsoNormal"> <u></u><u></u></p>
<div>
<div>
<p class="MsoNormal">On Sun, Aug 30, 2020 at 5:21 AM Drew Weaver via NANOG <<a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0in 0in 0in 6pt;margin:5pt 0in 5pt 4.8pt">
<div>
<div>
<p class="MsoNormal">Hello,<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Woke up this morning to a bunch of reports of issues with connectivity had to shut down some Level3/CTL connections to get it to return to normal.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">As of right now their support portal won’t load:
<a href="https://www.centurylink.com/business/login/" target="_blank">https://www.centurylink.com/business/login/</a><u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
<p class="MsoNormal">Just wondering what others are seeing.<u></u><u></u></p>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
</div>
</blockquote>
</div>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
</blockquote>
</div>
</div>
</blockquote>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
</blockquote>
</div>
</div>
</div>

</blockquote></div>
</blockquote></div>