<html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"></head><body dir="auto">I guess it depends what you’re considering a “very few” number of routers but this seems to be an expected outcome. While there are a large number of wet cable landing stations, they are highly concentrated near a small number of metro areas, and with the exception of capacity owned by the ILECs, the supermajority of routers terminating that capacity in the US are going to live in fewer than ten discrete carrier hotel locations. (It’s worth noting that terrestrial capacity coming in from Mexico and Canada also terminates in a small number of locations, although the overlap between the two lists is fairly small). In addition, while the links likely terminate in multiple devices at a given location, carriers more likely to undersubscribe transoceanic core capacity than other areas of the core, which means that for many carriers it’s unlikely you’d see multiple paths show up in a trace unless you catch it during an outage situation. That said, seeing transoceanic links terminate in Chicago is likely an artifact of hops missing in a trace; although I am familiar with a couple of more niche providers that extend transoceanic capacity into non-coastal markets on optical gear in order to meet specific performance needs, this is unlikely to be seen in the network of a Tier 1 or similarly scaled network. <br><br><div dir="ltr">Dave Cohen<div>craetdave@gmail.com</div></div><div dir="ltr"><br><blockquote type="cite">On Jan 17, 2022, at 6:15 PM, Christopher Morrow <morrowc.lists@gmail.com> wrote:<br><br></blockquote></div><blockquote type="cite"><div dir="ltr"><div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Jan 17, 2022 at 5:31 PM PAUL R BARFORD <<a href="mailto:pb@cs.wisc.edu">pb@cs.wisc.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">




<div dir="ltr">
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Dear Pengxiong,</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Thanks for your questions:</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<ol type="1" style="color:rgb(32,31,30);font-size:15px;background-color:rgb(255,255,255);margin-top:0px;margin-bottom:0px">
<li style="font-size:12pt;font-family:Calibri,sans-serif;margin:0px"><span style="margin:0px;font-size:12pt">We are using CAIDA’s Internet Topology Data Kit (ITDK) that uses the MIDAR alias resolution method to infer IP addresses assigned to the same router.</span></li><li style="font-size:12pt;font-family:Calibri,sans-serif;margin:0px"><span style="margin:0px;font-size:12pt">We understand the concerns about IP geolocation.  Interfaces of the router in question are assigned similar domain names e.g., “<a href="http://chi-b2-link.ip.twelve99.net" target="_blank">chi-b2-link.ip.twelve99.net</a>”
 (62.115.50.61). We also used CAIDA’s ITDK, which provides geolocation information, and indicates that this router is located in Chicago.  We cross-reference with Maxmind where possible.  In this particular case, there is the telltale in the use of "chi" in
 the domain name. </span></li><li style="font-size:12pt;font-family:Calibri,sans-serif;margin:0px;display:block">
<span style="margin:0px;font-size:12pt"><br></span></li></ol></div></div></blockquote><div><br></div><div>I think nick's point about ttl expiry and missing some context on topology still stands.<br>I'd be that the paths between 2 continents do not actually land in chicago... that you're seeing (or not seeing) missing hops between the coast(s) and chicago inside 1299's network in the US.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)"><ol type="1" style="color:rgb(32,31,30);font-size:15px;background-color:rgb(255,255,255);margin-top:0px;margin-bottom:0px"><li style="font-size:12pt;font-family:Calibri,sans-serif;margin:0px;display:block"><span style="margin:0px;font-size:12pt">
</span></li></ol>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Hope that helps.</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
Regards, PB</div>
<div id="gmail-m_-8567278128020817705appendonsend"></div>
<hr style="display:inline-block;width:98%">
<div id="gmail-m_-8567278128020817705divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> Pengxiong Zhu <<a href="mailto:pzhu011@ucr.edu" target="_blank">pzhu011@ucr.edu</a>><br>
<b>Sent:</b> Monday, January 17, 2022 3:23 PM<br>
<b>To:</b> PAUL R BARFORD <<a href="mailto:pb@cs.wisc.edu" target="_blank">pb@cs.wisc.edu</a>><br>
<b>Cc:</b> <a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a> <<a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a>><br>
<b>Subject:</b> Re: Long hops on international paths</font>
<div> </div>
</div>
<div>
<div dir="auto">Hi Paul,</div>
<div dir="auto"><br>
</div>
<div dir="auto">Just curious. How do you determine they are the same routers? Is it based on IP address or MAC addresses? Or using CAIDA’s router alias database?</div>
<div dir="auto"><br>
</div>
<div dir="auto">Also how do you draw the conclusion that the AS1299 router is indeed in Chicago? IP-geolocation based on rDNS is not always accurate though. </div>
<div dir="auto"><br>
</div>
<div dir="auto"><br>
</div>
<div dir="auto">Pengxiong </div>
<div dir="auto"><br>
<div dir="auto">
<div dir="ltr">On Mon, Jan 17, 2022 at 10:03 AM PAUL R BARFORD <<a href="mailto:pb@cs.wisc.edu" target="_blank">pb@cs.wisc.edu</a>> wrote:<br>
</div>
<blockquote style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div dir="ltr">
<div><span style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)"><span style="margin:0px;font-family:Calibri,Helvetica,sans-serif">Hello,</span></span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<br>
</div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="margin:0px;font-family:Calibri,Helvetica,sans-serif">I am a researcher at the University of Wisconsin.  My colleagues at Northwestern University and I are studying international Internet connectivity and would appreciate your perspective on a
 recent finding.</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="font-family:Calibri,sans-serif;font-size:12pt;color:black"><br>
</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="font-family:Calibri,Helvetica,sans-serif;font-size:12pt;color:black">We're using traceroute data from CAIDA's Ark project for our work.  We've</span><span style="font-size:12pt;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34)"> observed
 that many international links (i.e., a single hop on an end-to-end path that connects two countries where end points on the hop are identified via rDNS) tend to originate/terminate at the same routers.  Said another way, we are observing a relatively small
 set of routers in different countries tend to have a majority of the international connections - this is especially the case for hops that terminate in the US. 
</span><span style="font-size:12pt;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34)">For
</span><span style="font-size:12pt;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34)">e</span><span style="font-family:Calibri,Helvetica,sans-serif;font-size:12pt">xample, there is a router operated by Telia (AS1299) in Chicago that has a high
 concentration of such links.  We were a bit surprised by this finding since even though it makes sense that the set of providers is relatively small (i.e., those that offer global connectivity), we assumed that the set of routers that used for international
 connectivity within any one country would tend to be more widely distributed (at least with respect to how they appear in traceroute data - MPLS notwithstanding).</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="font-family:Calibri,Helvetica,sans-serif;font-size:12pt"><br>
</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="font-family:Calibri,Helvetica,sans-serif;font-size:12pt">We're interested in whether or not this is indeed standard practice and if so, the cost/benefit for</span><span style="font-size:12pt;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34)"> configuring
 international connectivity in this way?</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<br>
</div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="margin:0px;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34);background-color:rgb(255,255,255);display:inline">Any thoughts or insights you might have would be greatly appreciated - off-list responses are welcome.</span><br>
</div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="margin:0px;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34);background-color:rgb(255,255,255);display:inline"><br>
</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="margin:0px;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34);background-color:rgb(255,255,255);display:inline">Thank you.</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="margin:0px;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34);background-color:rgb(255,255,255);display:inline"><br>
</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="margin:0px;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34);background-color:rgb(255,255,255);display:inline">Regards, PB</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="margin:0px;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34);background-color:rgb(255,255,255);display:inline"><br>
</span></div>
<div style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)">
<span style="margin:0px;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34);background-color:rgb(255,255,255);display:inline">Paul Barford</span></div>
<span style="margin:0px;font-size:12pt;font-family:Calibri,Arial,Helvetica,sans-serif;background-color:rgb(255,255,255)"><span style="margin:0px;font-family:Calibri,Helvetica,sans-serif;color:rgb(34,34,34);background-color:rgb(255,255,255);display:inline">University
 of Wisconsin - Madison</span></span>
<div style="font-family:Calibri,Arial,Helvetica,sans-serif;font-size:12pt;color:rgb(0,0,0)">
<br>
</div>
</div>
</blockquote>
</div>
</div>
-- <br>
<div dir="ltr">
<div dir="ltr"><br>
Regards,<br>
Pengxiong Zhu<br>
Department of Computer Science and Engineering<br>
University of California, Riverside</div>
</div>
</div>
</div>

</blockquote></div></div>
</div></blockquote></body></html>