<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Tue, Jun 13, 2017 at 8:51 AM, Andrew Trick <span dir="ltr">&lt;<a href="mailto:atrick@apple.com" target="_blank">atrick@apple.com</a>&gt;</span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div><span class=""><div>I’m confused though because I thought we agreed that all samples need to run with exactly the same number of iterations. So, there would be one short run to find the desired `num_iters` for each benchmark, then each subsequent invocation of the benchmark harness would be handed `num_iters` as input.<br></div></span></div></div></blockquote></div><br></div><div class="gmail_extra">That was agreed on in the <a href="https://github.com/apple/swift/pull/8793#issuecomment-297834790">discussion about measuring memory consumption (PR 8793)</a>. MAX_RSS was variable between runs, due to dynamic `num_iters` adjustment inside `DriverUtils` to fit the ~1s budget.</div><div class="gmail_extra"><br></div><div class="gmail_extra">This could work for keeping the num_iters same during comparison between the [master] and [branch], give we logged the num_iters from [master] and used them to drive [branch] MAX_RSS memory. I don&#39;t know how to extend this to make memory consumption comparable between different measurement runs (over time...), tough.</div><div class="gmail_extra"><br></div><div class="gmail_extra">--Pavol</div></div>