<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>
</head>
<body dir="ltr">
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Hello Adam,</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
Thanks for your follow-up - it helps to clarify that we've been observing in our analysis.  The tradeoff between cost (100G+ links), manageability (related to BGP) and risk (i.e., concentration of high-value links in a few locations) is really interesting and
 not something that we were aware of.</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
<br>
</div>
<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);">
PB </div>
<div id="appendonsend"></div>
<hr style="display:inline-block;width:98%" tabindex="-1">
<div id="divRplyFwdMsg" dir="ltr"><font face="Calibri, sans-serif" style="font-size:11pt" color="#000000"><b>From:</b> athompson@merlin.mb.ca <athompson@merlin.mb.ca><br>
<b>Sent:</b> Tuesday, January 25, 2022 10:54 AM<br>
<b>To:</b> PAUL R BARFORD <pb@cs.wisc.edu>; davidbass570@gmail.com <davidbass570@gmail.com><br>
<b>Cc:</b> nanog@nanog.org <nanog@nanog.org><br>
<b>Subject:</b> RE: Long hops on international paths</font>
<div> </div>
</div>
<style>
<!--
@font-face
        {font-family:"Cambria Math"}
@font-face
        {font-family:Calibri}
p.x_MsoNormal, li.x_MsoNormal, div.x_MsoNormal
        {margin:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif}
a:link, span.x_MsoHyperlink
        {color:blue;
        text-decoration:underline}
span.x_EmailStyle20
        {font-family:"Calibri",sans-serif;
        color:windowtext}
.x_MsoChpDefault
        {font-size:10.0pt}
@page WordSection1
        {margin:1.0in 1.0in 1.0in 1.0in}
div.x_WordSection1
        {}
ol
        {margin-bottom:0in}
ul
        {margin-bottom:0in}
-->
</style>
<div lang="EN-CA" link="blue" vlink="purple" style="word-wrap:break-word">
<div class="x_WordSection1">
<p class="x_MsoNormal"><span style="">Peering connection, I think, can explain this.</span></p>
<p class="x_MsoNormal"><span style="">With some notable exceptions (all of whom participate here, I think), carriers still don’t throw around 100G+ peering routers around like sprinkles on a donut.  (Even those big networks don’t, it just looks like they do
 because they’re freaking huge.)</span></p>
<p class="x_MsoNormal"><span style="">I suspect what you may be seeing is NOT “international carriers all concentrate on a single router” at all, but rather a) “large carriers tend to interconnect at only a few points” and b) “the best path from North America
 to Europe will therefore tend to always go through the same small set of inter-AS peering routers on this side”.</span></p>
<p class="x_MsoNormal"><span style="">What you’ve described, purely in the public-visible layer 3 internet, is normal in my experience.  I would fully expect upwards of 90% of my daily traffic crosses one of 3 peering routers in my network, no surprise there,
 but ALSO I estimate at least 80% of it crosses one of no more than 5 or 6 routers even as I get 5, 6, 7, 8 hops away from me.  The internet isn’t as diversely-pathed as it once was.</span></p>
<p class="x_MsoNormal"><span style="">In the MPLS carrier case, I’m aware of a couple that use MPLS to tunnel peering traffic from their edge back to a centralized “core” router that speaks BGP.  Not sure how common this is, I have a very small sample set. 
 But in this example, no matter how diverse the carrier is at L1/L2, your L3 investigation will always hit the same much-smaller set of routers.</span></p>
<p class="x_MsoNormal"><span style=""> </span></p>
<p class="x_MsoNormal"><span style="">To directly answer your question, the cost/benefit is driven by the fact that running BGP is (relatively) complicated, error-prone and expensive, compared to not running BGP.  And those routers running BGP are (broadly
 speaking) the routers controlling inter-carrier traffic.  So the “chokepoints” naturally occur as an emergent property of each carrier controlling their own operational and financial risk.  Very much depends on the carrier and their operational philosophy. 
 I know nearly nothing about Telia, but Zayo doesn’t (didn’t? did they get bought?) have a lot of peering routers – they were historically more of an L2 and/or Private-network operator, as I understand it.  (I was never a customer, so that’s hearsay.)</span></p>
<p class="x_MsoNormal"><span style="">-Adam </span></p>
<p class="x_MsoNormal"><span style=""> </span></p>
<div>
<p class="x_MsoNormal"><b><span style="font-size:10.0pt; color:#44546A; background:white">Adam Thompson</span></b><span style="font-size:9.0pt; color:#44546A; background:white"><br>
Consultant, Infrastructure Services<br>
<img width="128" height="39" id="x_Picture_x0020_1" alt="MERLIN" style="width:1.3333in; height:.4083in" data-outlook-trace="F:1|T:1" src="cid:image001.png@01D811D7.FE9220E0"><br>
100 - 135 Innovation Drive<br>
Winnipeg, MB, R3T 6A8<br>
(204) 977-6824 or 1-800-430-6404 (MB only)<br>
<a href="mailto:athompson@merlin.mb.ca" target="_blank">athompson@merlin.mb.ca</a><br>
<a href="http://www.merlin.mb.ca/" target="_blank">www.merlin.mb.ca</a></span><span style="font-size:12.0pt; color:black"></span></p>
</div>
<p class="x_MsoNormal"><span style=""> </span></p>
<div style="border:none; border-left:solid blue 1.5pt; padding:0in 0in 0in 4.0pt">
<div>
<div style="border:none; border-top:solid #E1E1E1 1.0pt; padding:3.0pt 0in 0in 0in">
<p class="x_MsoNormal"><b><span lang="EN-US">From:</span></b><span lang="EN-US"> NANOG <nanog-bounces+athompson=merlin.mb.ca@nanog.org>
<b>On Behalf Of </b>PAUL R BARFORD<br>
<b>Sent:</b> Tuesday, January 18, 2022 8:49 AM<br>
<b>To:</b> davidbass570@gmail.com<br>
<b>Cc:</b> nanog@nanog.org<br>
<b>Subject:</b> Re: Long hops on international paths</span></p>
</div>
</div>
<p class="x_MsoNormal"> </p>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black">Hello David,</span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black"> </span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black">Understanding the physical topology of the network is
<b>not</b>​ our objective.  What we're trying to understand is the logical topology revealed by traceroute (we are well-aware of traceroute limitations) and why a </span><span style="font-size:12.0pt; color:#222222; background:white">relatively small set of
 routers in different countries tend to have the majority of the international connections.  Our expectation was that layer 3 connectivity revealed in traceroute to be relatively evenly spread out along coasts and near submarine landing points.  We're not seeing
 that.  So, the question is what is the cost/benefit to providers to configure/maintain routes (that include long MPLS tunnels) that tend to concentrate international connectivity at a relatively small number of routers?</span><span style="font-size:12.0pt; color:black"></span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black"> </span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:#222222; background:white">Regards, PB</span><span style="font-size:12.0pt; color:black"></span></p>
</div>
<div class="x_MsoNormal" align="center" style="text-align:center">
<hr size="2" width="98%" align="center">
</div>
<div id="x_divRplyFwdMsg">
<p class="x_MsoNormal"><b><span style="color:black">From:</span></b><span style="color:black">
<a href="mailto:davidbass570@gmail.com">davidbass570@gmail.com</a> <<a href="mailto:davidbass570@gmail.com">davidbass570@gmail.com</a>><br>
<b>Sent:</b> Tuesday, January 18, 2022 8:22 AM<br>
<b>To:</b> PAUL R BARFORD <<a href="mailto:pb@cs.wisc.edu">pb@cs.wisc.edu</a>><br>
<b>Cc:</b> <a href="mailto:morrowc.lists@gmail.com">morrowc.lists@gmail.com</a> <<a href="mailto:morrowc.lists@gmail.com">morrowc.lists@gmail.com</a>>;
<a href="mailto:nanog@nanog.org">nanog@nanog.org</a> <<a href="mailto:nanog@nanog.org">nanog@nanog.org</a>><br>
<b>Subject:</b> Re: Long hops on international paths</span> </p>
<div>
<p class="x_MsoNormal"> </p>
</div>
</div>
<div>
<div>
<p class="x_MsoNormal">I think a large part of your problem is that you’re using trace route to try and determine the full topology of a large complex network.  It won’t show the full topology.</p>
</div>
<div>
<p class="x_MsoNormal"> </p>
<div>
<div>
<p class="x_MsoNormal">On Mon, Jan 17, 2022 at 7:43 PM PAUL R BARFORD <<a href="mailto:pb@cs.wisc.edu">pb@cs.wisc.edu</a>> wrote:</p>
</div>
<blockquote style="border:none; border-left:solid #CCCCCC 1.0pt; padding:0in 0in 0in 6.0pt; margin-left:4.8pt; margin-right:0in">
<div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black">What we're considering specifically are consecutive (layer 3) hops as identified by traceroute.  Thus, TTL is decremented by 1 and no more than 1 (i.e., we have to get full information (not
 *****) from consecutive hops to consider the link).  I have asked my colleague to put together a set of examples.  We assume that there are multiple layer 1 and 2 links, and possibly layer 3 hops masked from traceroute by MPLS.  But what we're seeing in terms
 of hops exposed by traceroute make it look like a single (TTL decremented by 1) hop.  </span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black"> </span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black">I'll post the examples when I get them.</span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black"> </span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black">PB</span></p>
</div>
<div class="x_MsoNormal" align="center" style="text-align:center">
<hr size="2" width="98%" align="center">
</div>
<div id="x_x_m_7312821334581586679divRplyFwdMsg">
<p class="x_MsoNormal"><b><span style="color:black">From:</span></b><span style="color:black">
<a href="mailto:morrowc.lists@gmail.com" target="_blank">morrowc.lists@gmail.com</a> <<a href="mailto:morrowc.lists@gmail.com" target="_blank">morrowc.lists@gmail.com</a>><br>
<b>Sent:</b> Monday, January 17, 2022 5:13 PM<br>
<b>To:</b> PAUL R BARFORD <<a href="mailto:pb@cs.wisc.edu" target="_blank">pb@cs.wisc.edu</a>><br>
<b>Cc:</b> Pengxiong Zhu <<a href="mailto:pzhu011@ucr.edu" target="_blank">pzhu011@ucr.edu</a>>;
<a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a> <<a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a>></span></p>
</div>
</div>
<div>
<div id="x_x_m_7312821334581586679divRplyFwdMsg">
<p class="x_MsoNormal"><span style="color:black"><br>
<b>Subject:</b> Re: Long hops on international paths</span> </p>
<div>
<p class="x_MsoNormal"> </p>
</div>
</div>
<div>
<div>
<div>
<p class="x_MsoNormal"> </p>
</div>
<p class="x_MsoNormal"> </p>
<div>
<div>
<p class="x_MsoNormal">On Mon, Jan 17, 2022 at 5:31 PM PAUL R BARFORD <<a href="mailto:pb@cs.wisc.edu" target="_blank">pb@cs.wisc.edu</a>> wrote:</p>
</div>
<blockquote style="border:none; border-left:solid #CCCCCC 1.0pt; padding:0in 0in 0in 6.0pt; margin-left:4.8pt; margin-right:0in">
<div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black">Dear Pengxiong,</span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black"> </span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black">Thanks for your questions:</span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black"> </span></p>
</div>
<div>
<ol start="1" type="1" style="margin-top:0in">
<li class="x_MsoNormal" style="color:#201F1E; background:white"><span style="font-size:12.0pt">We are using CAIDA’s Internet Topology Data Kit (ITDK) that uses the MIDAR alias resolution method to infer IP addresses assigned to the same router.</span></li><li class="x_MsoNormal" style="color:#201F1E; background:white"><span style="font-size:12.0pt">We understand the concerns about IP geolocation.  Interfaces of the router in question are assigned similar domain names e.g., “<a href="http://chi-b2-link.ip.twelve99.net" target="_blank">chi-b2-link.ip.twelve99.net</a>”
 (62.115.50.61). We also used CAIDA’s ITDK, which provides geolocation information, and indicates that this router is located in Chicago.  We cross-reference with Maxmind where possible.  In this particular case, there is the telltale in the use of "chi" in
 the domain name. </span></li><li class="x_MsoNormal" style="color:#201F1E; background:white"><span style="font-size:12.0pt"> </span></li></ol>
</div>
</div>
</blockquote>
<div>
<p class="x_MsoNormal"> </p>
</div>
<div>
<p class="x_MsoNormal">I think nick's point about ttl expiry and missing some context on topology still stands.<br>
I'd be that the paths between 2 continents do not actually land in chicago... that you're seeing (or not seeing) missing hops between the coast(s) and chicago inside 1299's network in the US.</p>
</div>
<div>
<p class="x_MsoNormal"> </p>
</div>
<blockquote style="border:none; border-left:solid #CCCCCC 1.0pt; padding:0in 0in 0in 6.0pt; margin-left:4.8pt; margin-right:0in">
<div>
<div>
<ol start="1" type="1" style="margin-top:0in">
<li class="x_MsoNormal" style="color:#201F1E; background:white"><span style="font-size:12.0pt"> </span></li></ol>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black">Hope that helps.</span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black"> </span></p>
</div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black">Regards, PB</span></p>
</div>
<div class="x_MsoNormal" align="center" style="text-align:center">
<hr size="2" width="98%" align="center">
</div>
<div id="x_x_m_7312821334581586679x_gmail-m_-8567278128020817705divRplyFwdMsg">
<p class="x_MsoNormal"><b><span style="color:black">From:</span></b><span style="color:black"> Pengxiong Zhu <<a href="mailto:pzhu011@ucr.edu" target="_blank">pzhu011@ucr.edu</a>><br>
<b>Sent:</b> Monday, January 17, 2022 3:23 PM<br>
<b>To:</b> PAUL R BARFORD <<a href="mailto:pb@cs.wisc.edu" target="_blank">pb@cs.wisc.edu</a>><br>
<b>Cc:</b> <a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a> <<a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a>><br>
<b>Subject:</b> Re: Long hops on international paths</span> </p>
<div>
<p class="x_MsoNormal"> </p>
</div>
</div>
<div>
<div>
<p class="x_MsoNormal">Hi Paul,</p>
</div>
<div>
<p class="x_MsoNormal"> </p>
</div>
<div>
<p class="x_MsoNormal">Just curious. How do you determine they are the same routers? Is it based on IP address or MAC addresses? Or using CAIDA’s router alias database?</p>
</div>
<div>
<p class="x_MsoNormal"> </p>
</div>
<div>
<p class="x_MsoNormal">Also how do you draw the conclusion that the AS1299 router is indeed in Chicago? IP-geolocation based on rDNS is not always accurate though. </p>
</div>
<div>
<p class="x_MsoNormal"> </p>
</div>
<div>
<p class="x_MsoNormal"> </p>
</div>
<div>
<p class="x_MsoNormal">Pengxiong </p>
</div>
<div>
<p class="x_MsoNormal"> </p>
<div>
<div>
<p class="x_MsoNormal">On Mon, Jan 17, 2022 at 10:03 AM PAUL R BARFORD <<a href="mailto:pb@cs.wisc.edu" target="_blank">pb@cs.wisc.edu</a>> wrote:</p>
</div>
<blockquote style="border:none; border-left:solid #CCCCCC 1.0pt; padding:0in 0in 0in 6.0pt; margin-left:4.8pt; margin-right:0in">
<div>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black; background:white">Hello,</span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt"> </span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt; color:black">I am a researcher at the University of Wisconsin.  My colleagues at Northwestern University and I are studying international Internet connectivity and would appreciate
 your perspective on a recent finding.</span><span style="font-size:12.0pt"></span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt"> </span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt; color:black">We're using traceroute data from CAIDA's Ark project for our work.  We've</span><span style="font-size:12.0pt; color:#222222"> observed that many international links
 (i.e., a single hop on an end-to-end path that connects two countries where end points on the hop are identified via rDNS) tend to originate/terminate at the same routers.  Said another way, we are observing a relatively small set of routers in different countries
 tend to have a majority of the international connections - this is especially the case for hops that terminate in the US.  For e</span><span style="font-size:12.0pt; color:black">xample, there is a router operated by Telia (AS1299) in Chicago that has a high
 concentration of such links.  We were a bit surprised by this finding since even though it makes sense that the set of providers is relatively small (i.e., those that offer global connectivity), we assumed that the set of routers that used for international
 connectivity within any one country would tend to be more widely distributed (at least with respect to how they appear in traceroute data - MPLS notwithstanding).</span><span style="font-size:12.0pt"></span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt"> </span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt; color:black">We're interested in whether or not this is indeed standard practice and if so, the cost/benefit for</span><span style="font-size:12.0pt; color:#222222"> configuring
 international connectivity in this way?</span><span style="font-size:12.0pt"></span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt"> </span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt; color:#222222; background:white">Any thoughts or insights you might have would be greatly appreciated - off-list responses are welcome.</span><span style="font-size:12.0pt"></span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt"> </span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt; color:#222222; background:white">Thank you.</span><span style="font-size:12.0pt"></span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt"> </span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt; color:#222222; background:white">Regards, PB</span><span style="font-size:12.0pt"></span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt"> </span></p>
</div>
<div>
<p class="x_MsoNormal" style="background:white"><span style="font-size:12.0pt; color:#222222; background:white">Paul Barford</span><span style="font-size:12.0pt"></span></p>
</div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:#222222; background:white">University of Wisconsin - Madison</span>
</p>
<div>
<p class="x_MsoNormal"><span style="font-size:12.0pt; color:black"> </span></p>
</div>
</div>
</blockquote>
</div>
</div>
<p class="x_MsoNormal">-- </p>
<div>
<div>
<p class="x_MsoNormal"><br>
Regards,<br>
Pengxiong Zhu<br>
Department of Computer Science and Engineering<br>
University of California, Riverside</p>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</div>
</div>
</div>
</body>
</html>