<div dir="ltr">TBs of data is not really that much data on average when  you average it over thousands of customers. The data is summarized, There are a ton of other things happening in the background that I've already explained in the thread and are really irrelevant to the task at hand which is finding a facility in Africa that does Bare Metal servers. I've had a lot of helpful people, despite the naysayers. <div><br></div><div>Thanks!</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, 16 Jul 2019 at 11:23, Valdis Klētnieks <<a href="mailto:valdis.kletnieks@vt.edu">valdis.kletnieks@vt.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Tue, 16 Jul 2019 10:39:59 -0600, Ken Gilmour said:<br>
<br>
> These are actual real problems we face. thousands of customers load and<br>
> reload TBs of data every few seconds on their dashboards.<br>
<br>
If they're reloading TBs of data every few seconds, you really should have been<br>
doing summaries during data ingestion and only reloading the summaries.<br>
(Overlooking the fact that for dashboards, refreshing every few seconds is<br>
usually pointless because you end up looking at short-term statistical spikes<br>
rather than anything that you can react to at human speeds.  If you *care* in<br>
real time that the number of probes on a port spiked to 457% of average for 2<br>
seconds you need to be doing automated responses....<br>
<br>
Custom queries are more painful - but those don't happen "every few seconds".<br>
</blockquote></div>