<div dir="ltr"><div dir="ltr">(I'm going to hate myself in the morning, but)</div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Oct 8, 2021 at 10:22 AM Masataka Ohta <<a href="mailto:mohta@necom830.hpcl.titech.ac.jp">mohta@necom830.hpcl.titech.ac.jp</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">William Herrin wrote:<br><br>
    <a href="https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/" rel="noreferrer" target="_blank">https://engineering.fb.com/2021/10/05/networking-traffic/outage-details/</a><br>
<br>
    our DNS servers disable those BGP advertisements if they<br>
    themselves can not speak to our data centers<br>
<br>
    The end result was that our DNS servers became unreachable<br>
    even though they were still operational.<br>
<br>
means their DNS servers were serving the zone, even after<br>
they recognize their zone data were too old, that is, expired.<br>
<br></blockquote><div><br></div><div>that's not what this means. I think Mr. Petach previously described this, but:<br>  1) dns server in pop serves some content (ttls aren't important right now)</div><div>  2) dns server uses some quagga/gated/bird/etc to announce locally: "Hey, foo/32 here!"</div><div>      (imagine this triggers an 'aggregate route' or 'network statement' (pick your vendor solution) to appear in the global table)</div><div>  3) dns server also 'ping backend server set'</div><div>  4) when 3 fails for X period of time 'tell quagga/bird/etc to stop announcing the /32'</div><div><br></div><div>then the local pop no longer sources the aggregate (/24 or /23 or whatever)... so traffic SHOULD (externally)</div><div>flow toward another copy of the /23 or /24 or whatever...</div><div><br></div><div>there's not a lot of magic here... and it's not about the zone data really at all.</div></div></div>