<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
<meta name="Generator" content="Microsoft Word 15 (filtered medium)">
<style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        font-size:11.0pt;
        font-family:"Calibri",sans-serif;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
span.EmailStyle18
        {mso-style-type:personal-reply;
        font-family:"Calibri",sans-serif;
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.WordSection1
        {page:WordSection1;}
--></style><!--[if gte mso 9]><xml>
<o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
<o:shapelayout v:ext="edit">
<o:idmap v:ext="edit" data="1" />
</o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-US" link="blue" vlink="purple" style="word-wrap:break-word">
<div class="WordSection1">
<p class="MsoNormal">Patrick,<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><i>“</i><i>Personally, I have zero problems with the ISPs saying “give me a cache to put here with this sized uplink” or “please deliver to these users over this xconn / IX / whatever”. I have a huge problem with the ISPs blaming the ISPs
 for delivering what the ISP’s users request.”<o:p></o:p></i></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">We had to beg to get more local CDN resources which still doesn’t even deliver half of their traffic.
<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><i>“More importantly, I know for a fact Akamai has spent ungodly amounts of money & resources putting content precisely where the ISPs ask them to put it, deliver it over the pipes the ISPs ask them to deliver it, at precisely the capacity
 the ISPs tell them.”<o:p></o:p></i></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal">From our experience this hasn’t been the case, can’t get PNI, can’t get them to add resources on their end to send more IX traffic. Don’t take that as me thinking they’re not doing things on their end to try and make things better, I’m
 not blind that it takes a massive number of resources. We just haven’t see things the way you have is all.
<o:p></o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div style="border:none;border-top:solid #E1E1E1 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b>From:</b> NANOG <nanog-bounces+lguillory=reservetele.com@nanog.org>
<b>On Behalf Of </b>Patrick W. Gilmore<br>
<b>Sent:</b> Thursday, April 1, 2021 3:09 PM<br>
<b>To:</b> North American Operators' Group <nanog@nanog.org><br>
<b>Subject:</b> Re: wow, lots of akamai<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<p class="MsoNormal"><b><span style="font-size:12.0pt;font-family:"Courier New";color:black">*External Email: Use Caution*</span></b>
<o:p></o:p></p>
<div>
<div>
<p class="MsoNormal">Matt:<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">I am going to disagree with your characterization of how Akamai - and many other CDNs - manage things. First, to be blunt, if you really think Akamai nodes are “sitting idle for weeks” before CoD comes out with a new game, you are clearly
 confused.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">More importantly, I know for a fact Akamai has spent ungodly amounts of money & resources putting content precisely where the ISPs ask them to put it, deliver it over the pipes the ISPs ask them to deliver it, at precisely the capacity
 the ISPs tell them.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">On the other hand, I agree with your characterization of residential broadband. It is ridiculous to expect a neighborhood with 1,000 homes each with 1 Gbps links to have a terabit of uplink capacity. But it also should have a lot more than
 10 Gbps, IMHO. Unfortunately, most neighborhoods I have seen are closer to the latter than the former.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Finally, this could quickly devolve into finger pointing. You say the CDNs bear some responsibility? They may well respond that the large broadband providers ask for cash to interconnect - but still require the CDNs to do all the work.
 The CDNs did not create the content, or tell the users which content to pull. When I pay $NATIONAL_PROVIDER, I expect them to provide me with access to the Internet. Not just to the content that pays that provider.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Personally, I have zero problems with the ISPs saying “give me a cache to put here with this sized uplink” or “please deliver to these users over this xconn / IX / whatever”. I have a huge problem with the ISPs blaming the ISPs for delivering
 what the ISP’s users request.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Of course, this could all be solved if there were more competition in broadband in the US (and many other countries). But that is a totally different 10,000 post thread (that we have had many dozens of times).<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">-- <br>
TTFN,<br>
patrick <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><br>
<br>
<o:p></o:p></p>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<div>
<p class="MsoNormal">On Apr 1, 2021, at 3:53 PM, Matt Erculiani <<a href="mailto:merculiani@gmail.com">merculiani@gmail.com</a>> wrote:<o:p></o:p></p>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">Niels, <o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">I think to clarify Jean's point, when you buy a 300mbps circuit, you're paying for 300mbps of
<i>internet </i>access. <o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">That does not mean that a network should (and in this case small-medium ones simply can't) build all of their capacity to service a large number of customer circuits at line rate at the same time for an extended period, ESPECIALLY to the
 exact same endpoint. It's just not economically reasonable to expect that. Remember we're talking about residential service here, not enterprise circuits.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Therefore, how do you prevent this spike of [insert large number here] gigabits traversing the network at the same time from causing issues? Build more network? That sounds easy, but there are plenty of legitimate reasons why ISPs can't
 or don't want to do that, particularly for an event that only occurs once per quarter or so.<o:p></o:p></p>
</div>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<div>
<p class="MsoNormal">Does Akamai bear some burden here to make these rollouts less troublesome for the ISPs they traverse through the last mile(s)? IMO yes, yes they do. When you're doing something new and unprecedented, as Akamai frequently brags about on Twitter,
 like having rapid, bursty growth of traffic, you need to consider that just because you can generate it, doesn't mean it can be delivered.  They've gotta be more sophisticated than a bunch of servers with SSD arrays, ramdisks, and 100 gig interfaces, so there's
 no excuse for them here to just blindly fill every link they have after sitting idle for weeks/months at a time and expect everything to come out alright and nobody to complain about it.<o:p></o:p></p>
</div>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
<div>
<div>
<p class="MsoNormal">On Thu, Apr 1, 2021 at 1:21 PM Niels Bakker <niels=<a href="mailto:nanog@bakker.net">nanog@bakker.net</a>> wrote:<o:p></o:p></p>
</div>
<blockquote style="border:none;border-left:solid #CCCCCC 1.0pt;padding:0in 0in 0in 6.0pt;margin-left:4.8pt;margin-right:0in">
<p class="MsoNormal">* <a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a> (Jean St-Laurent via NANOG) [Thu 01 Apr 2021, 21:03 CEST]:<br>
>An artificial roll out penalty somehow? Probably not at the ISP <br>
>level, but more at the game level. Well, ISP could also have some <br>
>mechanisms to reduce the impact or even Akamai could force a <br>
>progressive roll out.<br>
<br>
It's an online game. You can't play the game with outdated assets. <br>
You'd not see walls where other players would, for example.<br>
<br>
What you're suggesting is the ability of ISPs to market Internet access <br>
at a certain speed but not have to deliver it based on conditions they <br>
create.<br>
<br>
<br>
        -- Niels.<o:p></o:p></p>
</blockquote>
</div>
<p class="MsoNormal"><br clear="all">
<o:p></o:p></p>
<div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
<p class="MsoNormal">-- <o:p></o:p></p>
<div>
<div>
<p class="MsoNormal">Matt Erculiani <o:p></o:p></p>
<div>
<p class="MsoNormal">ERCUL-ARIN<o:p></o:p></p>
</div>
</div>
</div>
</div>
</blockquote>
</div>
<p class="MsoNormal"><o:p> </o:p></p>
</div>
</div>
</div>
</body>
</html>