<div><div dir="auto">Technical obscurity...  managed perception.  </div></div><div><br><div class="gmail_quote"><div dir="ltr">On Sun, Dec 30, 2018 at 10:43 Mike Hammett <<a href="mailto:nanog@ics-il.net">nanog@ics-il.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div><div style="font-family:arial,helvetica,sans-serif;font-size:10pt;color:#000000">It's technical enough so that laypeople immediately lose interest, yet completely useless to anyone that works with this stuff.<br><br><div><span name="x"></span><br><br>-----<br>Mike Hammett<br>Intelligent Computing Solutions<br><a href="http://www.ics-il.com" target="_blank">http://www.ics-il.com</a><br><br>Midwest-IX<br><a href="http://www.midwest-ix.com" target="_blank">http://www.midwest-ix.com</a><span name="x"></span><br></div><br><hr id="m_-1357010424835232707zwchr"><div style="color:#000;font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt"><b>From: </b>"Saku Ytti" <<a href="mailto:saku@ytti.fi" target="_blank">saku@ytti.fi</a>><br><b>To: </b>"nanog list" <<a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a>><br><b>Sent: </b>Sunday, December 30, 2018 7:42:49 AM<br><b>Subject: </b>CenturyLink RCA?<br><br>Apologies for the URL, I do not know official source and I do not<br>share the URLs sentiment.<br><a href="https://fuckingcenturylink.com/" target="_blank">https://fuckingcenturylink.com/</a><br><br>Can someone translate this to IP engineer? What did actually happen?<br>From my own history, I rarely recognise the problem I fixed from<br>reading the public RCA. I hope CenturyLink will do better.<br><br>Best guess so far that I've heard is<br><br>a) CenturyLink runs global L2 DCN/OOB<br>b) there was HW fault which caused L2 loop (perhaps HW dropped BPDU,<br>I've had this failure mode)<br>c) DCN had direct access to control-plane, and L2 congested<br>control-plane resources causing it to deprovision waves<br><br>Now of course this is entirely speculation, but intended to show what<br>type of explanation is acceptable and can be used to fix things.<br>Hopefully CenturyLink does come out with IP-engineering readable<br>explanation, so that we may use it as leverage to support work in our<br>own domains to remove such risks.<br><br>a) do not run L2 DCN/OOB<br>b) do not connect MGMT ETH (it is unprotected access to control-plane,<br>it  cannot be protected by CoPP/lo0 filter/LPTS ec)<br>c) do add in your RFP scoring item for proper OOB port (Like Cisco CMP)<br>d) do fail optical network up</div></div></div><div><div style="font-family:arial,helvetica,sans-serif;font-size:10pt;color:#000000"><div style="color:#000;font-weight:normal;font-style:normal;text-decoration:none;font-family:Helvetica,Arial,sans-serif;font-size:12pt"><br><br>-- <br>  ++ytti<br></div><br></div></div></blockquote></div></div>