<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, Sep 10, 2021 at 1:49 PM Matthew Huff <<a href="mailto:mhuff@ox.com">mhuff@ox.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Reminds me of something that happened about 25 years ago when an elementary school visited our data center of the insurance company where I worked. One of our operators strategically positioned himself between the kids and the mainframe, leaned back and hit it's EPO button.<br>
<br></blockquote><div><br></div><div>Or when your building engineering team cuts themselves a new key for the 'main breaker' for the facility... and tests it at 2pm on a tuesday.</div><div>Or when that same team cuts a second key (gotta have 2 keys!) and tests that key on the same 'main breaker' ... at 2pm on the following tuesday.</div><div><br></div><div><quadruple face palm></div><div> </div><div>not fakenews, a real story from a large building full of gov't employees and computers and all manner of 'critical infrastructure' for the agency occupying said building. </div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
Matthew Huff | Director of Technical Operations | OTA Management LLC<br>
<br>
Office: 914-460-4039<br>
<a href="mailto:mhuff@ox.com" target="_blank">mhuff@ox.com</a> | <a href="http://www.ox.com" rel="noreferrer" target="_blank">www.ox.com</a><br>
...........................................................................................................................................<br>
<br>
-----Original Message-----<br>
From: NANOG <nanog-bounces+mhuff=<a href="mailto:ox.com@nanog.org" target="_blank">ox.com@nanog.org</a>> On Behalf Of Sean Donelan<br>
Sent: Friday, September 10, 2021 12:38 PM<br>
To: <a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a><br>
Subject: Never push the Big Red Button (New York City subway failure)<br>
<br>
NEW YORK CITY TRANSIT RAIL CONTROL CENTER POWER<br>
OUTAGE ISSUE ON AUGUST 29, 2021<br>
Key Findings<br>
September 8, 2021<br>
<br>
<br>
<a href="https://www.governor.ny.gov/sites/default/files/2021-09/WSP_Key_Findings_Summary-for_release.pdf" rel="noreferrer" target="_blank">https://www.governor.ny.gov/sites/default/files/2021-09/WSP_Key_Findings_Summary-for_release.pdf</a><br>
<br>
Key Findings<br>
[...]<br>
<br>
3. Based on the electrical equipment log readings and the manufacturer’s <br>
official assessment, it was determined that the most likely cause of RCC <br>
shutdown was the “Emergency Power Off” button being manually activated.<br>
<br>
Secondary Findings<br>
<br>
1. The “Emergency Power Off” button did not have a protective cover at the <br>
time of the shutdown or the following WSP investigation.<br>
<br>
[...]<br>
Mitigation Steps<br>
<br>
1. Set up the electrical equipment Control and Communication systems <br>
properly to stay active so that personnel can monitor RCC electrical <br>
system operations.<br>
<br>
[...]<br>
</blockquote></div></div>