Arvados

I'm not 100% sure that this is a bug, but it seems weird, so wanted to capture the data.

The last hour of the upload looks like this:

     KiB                      (RX Bytes/minute)
  325.39 |.|....................|....................................
  271.16 ||||......||||.........|.|..............|...................
  216.93 |||||.....||||...||..|.|.|..||||||.....||||............||...
  162.70 ||||||.|||||||||||||||||.||||||||||..||||||.|||.......||||||
  108.46 |||||||||||||||||||||||||||||||||||||||||||||||||||||.||||||
   54.23 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
         1   5   10   15   20   25   30   35   40   45   50   55   60
     MiB                      (TX Bytes/minute)
   77.68 ||.|......|||...........................||.............||..|
   64.73 ||||......||||..................||......||.............|||||
   51.79 ||||......|||||...|..........|.|||.....||||...........||||||
   38.84 ||||......|||||.||||||.|....||||||.....||||...........||||||
   25.89 |||||.....|||||||||||||||..||||||||....||||...........||||||
   12.95 ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
         1   5   10   15   20   25   30   35   40   45   50   55   60

Although there are minute average peaks in the 70-80 MB/s range, there are also valleys of several minutes in the 10-20 MB/s range.

The hour averages look like this:

     MiB                       (RX Bytes/hour) 
   88.66 ....||......................................................
   73.89 ....||............................||........................
   59.11 ....||............................||........................
   44.33 ....||...........................|||........................
   29.55 ....||...........................|||........................
   14.78 ::::|||::::::::::::::::::::::::::|||::::::::::::::::::::::::
         1   5   10   15   20   25   30   35   40   45   50   55   60
     MiB                       (TX Bytes/hour) 
   39.25 .|...............|..........................................
   32.71 ||...............|..........................................
   26.17 ||...............||.........................................
   19.62 |||..............||.........................................
   13.08 |||.............|||.........................................
    6.54 ||||:::::::::::||||||||||||||||::::::::::::::::::::::|::::::
         1   5   10   15   20   25   30   35   40   45   50   55   60

     MiB                       (RX Bytes/hour) 
   88.66 .........||.................................................
   73.89 .........||............................||...................
   59.11 .........||............................||...................
   44.33 .........||...........................|||...................
   29.55 .........||...........................|||...................
   14.78 :::::::::|||::::::::::::::::::::::::::|||:::::::::::::::::::
         1   5   10   15   20   25   30   35   40   45   50   55   60
     MiB                       (TX Bytes/hour) 
   47.10 ....|.......................................................
   39.25 ....|.|...............|.....................................
   31.40 ....|||...............||....................................
   23.55 ....||||..............||....................................
   15.70 ...|||||.............|||....................................
    7.85 :||||||||:::::::::::||||||||||||||||::::::::::::::::::::::::
         1   5   10   15   20   25   30   35   40   45   50   55   60

Note that the blobxfer downloads are 80-90 MB/s while the arv-put uploads are 20-30 MB/s in the hourly averages.

It's totally possible that there are environmental factors contributing to this