<div dir="ltr"><div dir="ltr">Looks like Google recently posted their post-mortem of their outage on the 12th<div><a href="https://status.cloud.google.com/incident/storage/19002">https://status.cloud.google.com/incident/storage/19002</a><br></div></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Mar 14, 2019 at 1:21 PM Suresh Ramasubramanian <<a href="mailto:ops.lists@gmail.com" target="_blank">ops.lists@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">



<div>
<div>

<div style="direction:ltr">
<div style="direction:ltr">That's a 2010 outage that someone dug out and was doing the rounds as a new one </div>
<div><br>
</div>
<div class="gmail-m_6672638219005898850gmail-m_-6790681178086319503ms-outlook-ios-signature">
<div style="direction:ltr">--srs</div>
</div>
</div>
<div> </div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_6672638219005898850gmail-m_-6790681178086319503divRplyFwdMsg" dir="dir="ltr""><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> NANOG <<a href="mailto:nanog-bounces@nanog.org" target="_blank">nanog-bounces@nanog.org</a>> on behalf of cosmo <<a href="mailto:clinton.mielke@gmail.com" target="_blank">clinton.mielke@gmail.com</a>><br>
<b>Sent:</b> Thursday, March 14, 2019 9:50 PM<br>
<b>To:</b> Bryan Holloway<br>
<b>Cc:</b> <a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a><br>
<b>Subject:</b> Re: FB?
<div> </div>
</font></div>

<div dir="ltr">Facebook pushed an update to their code that manages cookies, that had a rather severe bug in it that resulted in a large flood of requests to their database servers. To deal with this load, they had to prevent all writes and then slowly allow
 people back on.
<div><br>
</div>
<div>I saw the writeup for it last night but cannot seem to find it now! Grrr. Did I dream it?</div>
</div>
<br>
<div class="gmail_quote">
<div dir="ltr" class="gmail_attr">On Thu, Mar 14, 2019 at 8:42 AM Bryan Holloway <<a href="mailto:bryan@shout.net" target="_blank">bryan@shout.net</a>> wrote:<br>
</div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
On 3/14/19 9:06 AM, Tom Beecher wrote:<br>
> As much as I wanted to crack jokes because I cannot stand Facebook (the <br>
> product), much love to all you FB engineers that went through (and are <br>
> probably still going through) much hell.<br>
> <br>
<br>
+1 on both counts.<br>
<br>
We've all been there; no bueno.<br>
</blockquote>
</div>
</div>
</div>

</blockquote></div>