<br>
<br>
2006.02.13 Steve Gibbard<br>
<br>
DNS infrastructure Distribution<br>
Steve Gibbard<br>
Packet Clearing House<br>
<a href="http://www.pch.net/">http://www.pch.net/</a><br>
scg at <a href="http://pch.net">pch.net</a><br>
<br>
Introduction<br>
Previous talk on importance of keeping criticical<br>
 infrastructure local<br>
Without local infastructure, local communications are<br>
 subject to far away outages, costs, and performance<br>
Critical infrastructure includes DNS<br>
If a domain is critical, so is everything above it in the<br>
 hierarchy<br>
Sri Lanka a case in point.<br>
<br>
Previous talk was in Seattle last spring, highlighted<br>
undersea cable being cut; even local DNS queries failed<br>
since TLD servers couldn't be reached, even though<br>
local connectivity still worked.  The ship dragging<br>
anchor in harbor cut only undersea path out of the<br>
country; international calling was down, and all of<br>
the Internet.  But unlike local telephone system,<br>
even local networks failed to work.<br>
<br>
Root server placement<br>
Currently 110 root servers(?)<br>
 Number is a moving target<br>
Operated by 12 organizations<br>
13 IP addresses<br>
 at most 13 servers visible from any one place at any one <br>
  time<br>
 six are anycast<br>
 four are anycasted in large numbers<br>
All remaining unicast roots are in the bay area, LA,<br>
 or washington DC<br>
<br>
Distribution by continet<br>
34 in NA<br>
 8 each in BA/DC/ 5 in LA<br>
 Only non-coastal roots in US are Chicago and Atlanta<br>
 canada, monterrey, mexico some others<br>
34 in Europe<br>
 clusters of 4 each in London, and amsterdam, Europe's<br>
  biggest exchanges<br>
 even throughout rest of europe for rest.<br>
<br>
Distribution by continent<br>
26 in Asia (excluding middle east)<br>
5 in japan (4 tok, 1 kyoto)<br>
3 in india, korea, singapore<br>
2 in hongkong, jakarta, and beijing<br>
south asia an area of rapid expansion<br>
6 in australia/new zealand<br>
 2 in brisbane<br>
 1 each in auckland, perth, sydney, and wellington<br>
<br>
5 in middle east<br>
 1 each ankara, tel aviv, doha, dubai, abu dhabi<br>
3 in africa<br>
 2 in johannesburg<br>
1 in nairobi, 1 more being shipped<br>
very little intercity onr intercountry connectivity<br>
2 in SA<br>
 sao palo<br>
 santiago de chile<br>
<br>
other parts of world not really served at all.<br>
world map with blobs showing coverage.  Huge areas<br>
not covered.<br>
overlaid fiber maps with dots to get ideas of<br>
coverage (redundant); everyone else is one fiber<br>
or satellite cut from being isolated and dark.<br>
Pretty much follows the areas with money.<br>
<br>
Root server expansion<br>
4 of 12 root servers actively installing new roots<br>
110 root servers big improvement over 13 from 3 years<br>
 ago<br>
two operators (autonomica, ISC) (I and F) are installing<br>
wherever they can get funding<br>
 funding sources typically RIRs, local governments, or<br>
  ISP associations<br>
 Limitations in currently unserved areas are generally due<br>
  to lack of money<br>
<br>
Fs and Is<br>
In large portions of world, several closest roots are<br>
 Is and Fs<br>
 At most 2 root IP addresses visible; others far way<br>
 Does this matter?<br>
  gives poorly connected regions less ability to use<br>
   BINDs failure and closest server detection mechanisms<br>
  non-BIND implementations may default to far-away roots<br>
 Should all 13 roots be anycasted evenly?<br>
  CAIDA study from 2003 assumed a maximum of 13 locations;<br>
   not really relevant anymore<br>
<br>
Big Clusters<br>
Lots of complaints about uneven distribution<br>
Only really a concern if resources are finite<br>
Large numbers in some places donesn't prevent growth in <br>
 others<br>
Bay Area and DC clusters seem a bit much, but sort of match<br>
 topology<br>
Western Europe's dense but relatively even distribution<br>
 exactly right<br>
Two per city perhaps a good goal for everywhere<br>
<br>
TLD distribution<br>
Like the root, locally used TLDs need to be served<br>
  locally<br>
Locally used TLDs: local ccTLD; any other TLDs commonly<br>
 in use<br>
Regions don't need ALL TLDs.<br>
<br>
gTLD distribution: .com/.net<br>
.com/.net<br>
 well connected to the "internet core"<br>
 servers in the big cities of US, Europe, Asia<br>
 non-core location: sydney.<br>
<br>
Map of world with .com/.net overlaid with fiber maps<br>
shows "well-served areas" again following the money,<br>
with even less coverage outside NA/Europe/Asia.<br>
<br>
gTLD dist: .org/.info/.coop<br>
share same servers<br>
considered confidential.  data may be incomplete<br>
significantly fewer publically visible servers,<br>
almost all in internet core.<br>
only one public locatino in each of asia and europe<br>
<br>
Even worse coverage worldwide, though they do have<br>
south africa.<br>
<br>
Do have some caching boxes next to caching resolvers<br>
at the big ISPs; not sure if it increases coverage<br>
or not.<br>
<br>
Few other gTLDs, didn't map them.<br>
.gov is us-centric<br>
.edu is US, some eu, some asia<br>
.int is california, netherlands, UK<br>
  (not very international!!)<br>
<br>
Where should gTLDs be?<br>
presumably depend on their markets<br>
if it's ok for large portiions of the world to not use<br>
  those gTLDs, then it's OK for them to not be hosted there.<br>
<br>
ccTLD dist:<br>
 answers to where ccTLDs should be more straightforward<br>
  working in their own regions a must<br>
  working in the "core" could be a plus<br>
just over 2/3 of ccTLDs are hosted in their own<br>
  countries<br>
(but a lot of those aren't ...<br>
<br>
Green map shows those countries that host their own<br>
ccTLDs locally.  Most islands are red, in danger of<br>
being cut off from their ccTLDs.<br>
<br>
ccTLDs not slaved in the core<br>
18 ccTLDs aren't slaved in the global core<br>
if their regions are cut off, those ccTLDs won't be visible<br>
 to the rest of the world<br>
is that really an issue, if you can't get to the end site<br>
  anyhow?<br>
 violation of RFC2182, unclear data results<br>
 not so much matters if nobody from out<br>
<br>
.bb<br>
.bd<br>
.bh<br>
.cn<br>
.ec<br>
.gf<br>
.jm<br>
.kg<br>
.kw<br>
.mp<br>
.mq<br>
<br>
Example countries<br>
Kenya<br>
 exchange point, root server, ccTLD server, all external<br>
  connectivity by satellite<br>
Pakistan<br>
 root server, no exchange point, no TLDs locally<br>
 (so how much use is the local root server?)<br>
<br>
Kenya:<br>
 local exchange in nairobi<br>
 root server<br>
 ccTLD server<br>
 so even if external link goes down, country can stay <br>
 mostly functional.<br>
<br>
Pakistan:<br>
 local root server (for at least one ISP)<br>
 no TLDs<br>
 .pk hosted entirely in US<br>
 no local exchange to share local root server<br>
 single fiber connection; when it breaks, nothing works.<br>
<br>
Local peering caveat<br>
local traffic has to be kept local before keeping DNS local<br>
 is of much benefit.<br>
 Requires either strict monopoly, or local exchange points<br>
Examples here highlight that.<br>
<br>
Methodology<br>
Get name server addresses for TLDs<br>
Assume everything in a /24 is same place or set of places.<br>
(really down and dirty shell scripts)<br>
  bad assumption for UUnet nameservers; didn't find others.<br>
  625 /24s contain name servers for TLDs<br>
  135 host multiple TLDs; over 60 in RIPEs case<br>
Figure out where those subnets are<br>
 traceroutes/ask questions<br>
<br>
Subnets with 10+ TLDs--read it from the slides.  :D<br>
193.0.12/24<br>
192.36.125/24<br>
<br>
Other sources<br>
<a href="http://www.root-servers.org">www.root-servers.org</a> had root server data; assumed accurate.<br>
ultraDNS locations considers its locations confidential<br>
 Got info from Afilias's .Net application.  Told missed some.<br>
In general, most other TLD operators were very helpful.<br>
<br>
Thanks!<br>
<br>
<a href="http://www.pch.net/resources/papers/infrastructure-distribution/">http://www.pch.net/resources/papers/infrastructure-distribution/</a><br>
<br>
Mark Kosters, Verisign; notes there's two other root<br>
server groups also going anycast wherever people will<br>
pay to host them.  K with RIPE is now going outside<br>
region, and Verisign (J?) is also talking about <br>
serving in multiple regions.<br>
Dealing with local customs getting in country tends<br>
to be the biggest challenge; PCH has seen similar<br>
challenges getting into countries.<br>
<br>
OK, break time now.<br>
<br>
<br>