<div dir="ltr"><div>An interesting question would be to quantify and do statistical analysis on the following:</div><div><br></div><div>Take a set of 1000 or more residential last mile broadband customers on an effectively more-than-they-can-use connection (symmetric 1Gbps active ethernet or similar). <br></div><div><br></div><div>On a 60s interval, retrieve SNMP traffic stats from the interfaces towards the customers' demarcs, or directly from on premises CPEs.</div><div><br></div><div>Store that data in influxdb or another lossless time series database for a multi month period. <br></div><div><br></div><div>Anonymize the data so that no possible information about the identity/circuit ID/location of the customer can be identified. Perhaps other than "gigE customer somewhere in North America", representing a semi random choice of US/Canada domestic market residential broadband users.</div><div><br></div><div>Provide that data set to persons who wish to analyze it to see how much/how bursty the traffic really is, night/day traffic patterns, remote work traffic patterns during office hours in certain time zones, etc. Additionally quantify what percentage of users move how much upstream data or come anywhere near maxing it out in brief bursts (people doing full disk offsite backups of 8TB HDDs to Backblaze, uploading 4K videos to youtube, etc). <br></div><div></div><div><br></div><div>I at first thought of a concept of doing something similar but with netflow data on a per CPE basis, but that has a great deal more worrisome privacy and PII data implications than simply raw bps/s interface data. Presumably netflow (or data from Kentik, etc) for various CDN traffic and other per-AS downstream traffic headed to an aggregation router that serves exclusively a block of a few thousand downstream residential symmetric gigabit customers would not be a difficult task to sufficiently anonymize.</div><div><br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, May 29, 2021 at 4:25 PM Sean Donelan <<a href="mailto:sean@donelan.com">sean@donelan.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
I thought in the 1990s, we had moved beyond using average bps measurements <br>
for IP congestion collapse.  During the peering battles, some ISPs used to <br>
claim average bps measurements showed no problems.  But in reality there <br>
were massive packet drops, re-transmits and congestive collapse which <br>
didn't show up in simple average bps graphs.<br>
<br>
<br>
Have any academic researchers done work on what are the real-world minimum <br>
connection requirements for home-schooling, video teams applications, job <br>
interview video calls, and network background application noise?<br>
<br>
<br>
During the last year, I've been providing volunteer pandemic home <br>
schooling support for a few primary school teachers in a couple of <br>
different states.  Its been tough for pupils on lifeline service (fixed <br>
or mobile), and some pupils were never reached. I found lifeline students <br>
on mobile (i.e. 3G speeds) had trouble using even audio-only group calls, <br>
and the exam proctoring apps often didn't work at all forcing those <br>
students to fail exams unnecessarily.<br>
<br>
In my experience, anecdotal data need some academic researchers, pupils <br>
with at least 5 mbps (real-world measurement) upstream connections at <br>
home didn't seem to have those problems, even though the average bps graph <br>
was less than 1 mbps.<br>
<br>
</blockquote></div>