<br>
<br>
2006.02.15 Katrina Recover Panel<br>
moderator: Sean Donelan, Cisco<br>
<br>
Members: Paula Rhea, Verizon<br>
Josh Snowhorn, Terremark<br>
Bobby Cates, NASA<br>
<br>
Sean Donelan was with SBC when Katrina hit,<br>
now with Cisco.  Dave couldn't be here, but<br>
Sean will do his Bellsouth slides.<br>
<br>
Lessons Learned<br>
Industry has to be able to function as a first<br>
responder to provide critical infrastructure in<br>
support of state/local response.<br>
 certain sectors may need heightened support,<br>
 including power and voice/data communications<br>
Providing security in times of crisis may fall back <br>
 to the private sector<br>
Need to understand how the Government works in a crisis<br>
 National Response Plan, FEMA system, etc.<br>
<br>
Bellsouth lost COs for first time in 100+ years<br>
of business.  When you get a direct hit, you <br>
will be impacted, period.  More important is how<br>
your recover!<br>
<br>
Most national disasters are pretty quick; we know<br>
how to deal with short term, but as the issue drags<br>
on, security for personnel becomes more and more vital,<br>
and is turned over to private sector, public security<br>
is engaged on more important issues.<br>
<br>
We need to help shape up the government to avoid<br>
issues like Katrina from happening again.<br>
<br>
Bellsouth, lsessons learned <br>
partnerships with other carriers, state and local<br>
government, the power companies, and the federal<br>
 government made the difference<br>
 experience and trust are key in a crisis<br>
Get involved--know how to reach teh communications<br>
 ISAC and national coordinationg center in a crisis<br>
 703-607-4950<br>
 NCS at NCS.gov or NCC: telecom-isac at <a href="http://ncs.gov">ncs.gov</a><br>
operational 24/7/365<br>
Konw what programs are available to you and your customers<br>
 GETS/TSP/WPS<br>
<br>
Bobby Cates from NASA up next.<br>
<br>
Supported first responders right after Katrina; they<br>
were providing video coverage, supported voice over<br>
IP, sat phones, etc. in the first days.  The commercial<br>
facilities were better than gov't lines, actually.<br>
When president came in, military took over all <br>
satellite frequencies, so VoIP over commercial<br>
internet was what was left.  Phones from Bill Woodcock<br>
from PCH, servers from some bay area folks; got gear<br>
loaded onto a C5 that was warming up and flew it out,<br>
the costs was less than one set of satellite phones.<br>
<br>
TSP was interesting for Katrina; for higher bandwidth,<br>
higher pricing, not much diff for TSP and non-TSP<br>
restorral.  Wimax and voip pretty much saved the day,<br>
easy to implement.<br>
<br>
Josh Snowhorn, NOTA, didn't take Katrina too bad,<br>
but Norma? hit him hard.<br>
<br>
Only 3 cat 5 hurricanes (andrew, 92, camille 89,<br>
and 1935).  cat 4 and cat 3 hit more often, hundreds<br>
 a year of the smaller ones.  <br>
<br>
Saffir-simpson hurricane scale.<br>
cat 1; winds 74-95, wind, water<br>
cat 2: 96-110, storm surge 6-8ft<br>
cat 3: 111-130, surge 9-12ft much structural damage<br>
cat 4: 131-155mph, surge 13-18ft at landfall (katrina at coast)<br>
cat 5: 155mph, surge 18ft<br>
<br>
Wilma was cat 5 before landfall, as was katrina;<br>
wilma was lowest barometric pressure every recovered.<br>
<br>
27 named storms last year, lots of warm water heading into<br>
the gulf.<br>
formed off the bahamas, very little warning before it<br>
hit into south florida.  did a bunch of power line damage.<br>
<br>
NOTA faced many issues during the storm.<br>
2005 most storms in recorded history<br>
2005 hurricane season went 27 named storms representing<br>
first time in history that the naming scheme went into<br>
the greek alphabet<br>
lowest<br>
<br>
NOTA--pre wilma, 3 happy balls<br>
100mph winds on the curtain should be able to withstand it.<br>
Lost one of their roof balls during wilma<br>
<br>
NOTA lost commercial power, went on gensets for 31 hours<br>
during katrina in July<br>
<br>
NOTA lost commercial power for 10 hours with wilma, but<br>
had to stay off for 30 hours it was so dirty<br>
<br>
majority of enterprises and business in s florida<br>
without power for 10 days<br>
<br>
the day after wilma, had no less than 20 truckloads of<br>
servers and infrastructure arrive at NAP loading docks<br>
with sales people and contracts<br>
<br>
within 2 days of the passing of wilma, we began to recieve<br>
phone calls askign for fuel truck help from undersea <br>
cable operators and large enterprises; everyone<br>
pitched in to help all of the other operators in the<br>
area<br>
12 undersea cables coming in, you cut them off, s.america<br>
largely goes away.<br>
<br>
only 1 carrier fully lost a CO in north miami, bringing<br>
down their circuits that came out of the NAP; water came<br>
in, shorted things out.<br>
<br>
Many companies did not plan properly for power failures<br>
and staff recovery and access to systems after the storms<br>
 have passed.<br>
<br>
large portion didn't have DR plans or backups<br>
<br>
staff who loose their homes need food/water, won't go to<br>
 work<br>
<br>
thow who want to work cannot go to devestated offices<br>
 so they need to work from phone<br>
<br>
getting employees acces to systems is the singular issue<br>
 that IT diretors face post katrina and wilma<br>
<br>
KEEP a dialup access poitn; it's often the only thing<br>
left in a disaster like that.<br>
<br>
<br>
Sean: to NASA; for packet traffic, what traffic did you<br>
see--lots of traffic you didn't plan for, or business<br>
as usual.  The emergency response was for NCS, FEMA,<br>
DoD, as well as their 2 centers that were hit.  They<br>
had a Ku band sattellite, could go to 45mb max.  but<br>
no QoS, so everyone has to be good neighbors on it.<br>
NASA was using less traffic on the band than everyone<br>
else.  voip, other traffic was not too big, biggest<br>
use was the football video stream.<br>
<br>
Bill Norton asks if there was any impact due to the<br>
loss<br>
<br>
C-band dishes on the 2 big ones; Ken was up there<br>
in the small Ku-dome, 11meter dome, thinner pannels<br>
so Ku band can get through it.  It's a protective<br>
surround for the fully mobile dish, one panel got<br>
pentrated, then the whole ball went to pieces.<br>
<br>
What are the lessons learned that will change<br>
how we behave in the future.<br>
<br>
Paula notes that 100 mile used to be a sufficient<br>
rule for disaster site; now, with a 250mph swath,<br>
expand distance, and make it inland!<br>
<br>
NASA found they actually accomplished more than<br>
they expected to; <br>
<br>
Josh notes they host 911 systems, DoD, etc, worked<br>
well with them; GC lost their offices, they hopped<br>
into their building.  Biggest challenge is staffing,<br>
making sure everyone has food, water, making sure<br>
they're safe and their families are safe so they<br>
can focus on the work that needs to be done.<br>
Bill meant more about the sensitive web of interconnectedness<br>
that could affect multiple pieces.  Power, physical bridge<br>
outages, water, etc.  What physical lessons did we learn<br>
from it?<br>
Internet design is a semi-mesh, not a full mesh; there<br>
were some sites that stayed up the whole time, not all<br>
paths out of NO were impacted.  IP can re-route, but<br>
you have to have a physical path, and a policy that<br>
lets it do so.<br>
<br>
Chris Morrow, how do organizations that have BCP for<br>
simple things like server backups, etc. deal with the<br>
bigger cases, like "I lost my whole office/central<br>
office"--how do you make use of them.<br>
MPLS/private IP service; product sold for backup<br>
using vstat access.  five large firms called, were able<br>
to give them satellite access to stay on line.<br>
MCI blue truck, an empty truck with PCs in it, FEMA<br>
rented 3 of them, turned into a mobile office.<br>
Josh notes that Mobile worker recovery units, mobile<br>
switches, etc had already been deployed to NO, when<br>
wilma hit, everything was already deployed to NO so<br>
nothing left for south florida.<br>
Again, Josh emphasises KEEP A POTS LINE!!!<br>
<br>
someone comes to mike, notes that with such a huge<br>
disaster, did it allow for shedding old legacy gear<br>
infrastructure, practices, etc?<br>
Paula notes there's a huge capital plant infrastructure;<br>
even though parts are destroyed, you want to get dial<br>
tone back as quickly as possible; string cables across<br>
trees, etc to get dial tone as soon as possible.  You<br>
don't have time to do a structured upgrade to latest<br>
gear, you go back to lowest common denominator recovery<br>
gear to get them back up.<br>
<br>
Again, many thanks to all the panelists, the moderators,<br>
and everyone else for participating.  Fill out your surveys<br>
and be back from break a little before 11am for a short<br>
movie from Bill Fenner from PARC.<br>
<br>
<br>
<br>
<br>