<div dir="ltr">NBAR was not enabled.. just netflow export.. and that was enough..<br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><br></div>---<br>Colin Legendre<br>President and CTO<br><br>Coextro - Unlimited. Fast. Reliable.<br>w: <a href="http://www.coextro.com" target="_blank">www.coextro.com</a><br>e: <a href="mailto:clegendre@coextro.com" target="_blank">clegendre@coextro.com</a><br><br>p: 647-693-7686 ext.101<br>m: 416-560-8502<br>f: 647-812-4132</div></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 9, 2021 at 7:17 PM Colin Legendre <<a href="mailto:clegendre@coextro.com">clegendre@coextro.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">Thanks for this.. turned off netflow export.. and it dropped our qfp load from 44% to 18%.  ugh..<br clear="all"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><br></div>---<br>Colin Legendre<br><br></div></div></div></div><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Dec 9, 2021 at 4:22 AM Brian Turnbow via NANOG <<a href="mailto:nanog@nanog.org" target="_blank">nanog@nanog.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
<br>
> On 11/26/2021 1:09 PM, Colin Legendre wrote:<br>
> > Hi,<br>
> ><br>
> > We have ...<br>
> ><br>
> > ASR1006  that has following cards...<br>
> > 1 x ESP40<br>
> > 1 x SIP40<br>
> > 4 x SPA-1x10GE-L-V2<br>
> > 1 x 6TGE<br>
> > 1 x RP2<br>
> ><br>
> > We've been having latency and packet loss during peak periods...<br>
> ><br>
> > We notice all is good until we reach 50% utilization on output of...<br>
> ><br>
> > 'show platform hardware qfp active datapath utilization summary'<br>
> ><br>
> > Literally ... 47% good... 48% good... 49% latency to next hop goes<br>
> > from 1ms to 15-20ms... 50% we see 1-2% packet-loss and 30-40ms<br>
> > latency... 53% we see 60-70ms latency and 8-10% packet loss.<br>
> ><br>
> > Is this expected... the ESP40 can only really push 20G and then starts<br>
> > to have performance issues?<br>
> ><br>
<br>
He had a similar issue about 4 years ago.<br>
We were showing packet loss and drops getting progressively worse and the router was falling over when reaching about 70% of usage.<br>
We could see the interface reliability go down and input errors due to overruns on the interfaces.<br>
Cisco blamed it on microburtst not being able to be handled under load.<br>
<br>
<br>
"We were able to replicate this scenario in our lab as well.<br>
QFP under high load generated input errors and overruns which in turn led to unicast failures/ drops/ latency.<br>
The issue is not consistent with QFP % utilization as sometimes with even 80%+ traffic, we  do not see the drops:"<br>
<br>
And recommended removing traffic or upgrading esp.<br>
<br>
One of our guys disabled nbar on the router and the problem disappeared.<br>
I would suggest taking a look at what features you are using and if you can try and disable them to see if it makes any impact.<br>
We then upgraded esps and all has been fine since.<br>
<br>
Brian<br>
<br>
</blockquote></div>
</blockquote></div>