<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Feb 22, 2021 at 2:05 PM Warren Kumari <<a href="mailto:warren@kumari.net">warren@kumari.net</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div style="font-family:verdana,sans-serif"><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Feb 22, 2021 at 12:50 PM Regis M. Donovan <<a href="mailto:regis-nanog@offhand.org" target="_blank">regis-nanog@offhand.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Thu, Feb 18, 2021 at 07:34:39PM -0500, Patrick W. Gilmore wrote:<br>
> And to put it on topic, cover your EPOs<br>
<br>
I worked somewhere with an uncovered EPO, which was okay until we had a<br>
telco tech in who was used to a different data center where a similar<br>
looking button controlled the door access, so he reflexively hit it<br>
on his way out to unlock the door.  Oops.<br>
<br>
Also, consider what's on generator and what's not.  I worked in a corporate<br>
data center where we lost power.  The backup system kept all the machines<br>
running, but the ventilation system was still down, so it was very warm very<br>
fast as everyone went around trying to shut servers down gracefully while<br>
other folks propped the doors open to get some cooler air in.<br></blockquote><div><br></div><div><div style="font-family:verdana,sans-serif">That reminds me of another one...</div><div style="font-family:verdana,sans-serif"><br></div><div style="font-family:verdana,sans-serif">In parts of NYC, there are noise abatement requirements, and so many places have their generators mounted on the roof -- it's cheap real-estate, the exhaust is easier, the noise issues are less, etc.</div><div style="font-family:verdana,sans-serif"><br></div><div style="font-family:verdana,sans-serif">The generators usually have a smallish diesel tank, and then a much larger one in the basement (diesel is heavy)...</div><div style="font-family:verdana,sans-serif"><br></div><div style="font-family:verdana,sans-serif">So, one of the buildings that I was in was really good about testing thier gensets - they'd do weekly tests (usually at night), and the generators always worked perfectly -- right up until the time that it was actually needed.</div><div style="font-family:verdana,sans-serif">The generator fired up, the lights kept blinking, the disks kept spinning - but the transfer pump that pumped diesel from the basement to the roof was one of the few things that was not on the generator....</div><div style="font-family:verdana,sans-serif"><br></div></div></div></div></blockquote><div><br></div><div>When we were looking at one of the big carrier hotels in NYC  they said that they had the same issue (could be it was the same one). The elevators were also out as well. They resorted to having techs climb up an down 9 flights of stairs all day long with 5 gallon buckets of diesel and throwing it into the generator.</div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
</blockquote></div></div>