<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jun 13, 2017 at 2:31 AM, Michael Gottesman <span dir="ltr">&lt;<a href="mailto:mgottesman@apple.com" target="_blank">mgottesman@apple.com</a>&gt;</span> wrote:<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div style="word-wrap:break-word"><div><span class=""><blockquote type="cite"><div><div dir="ltr"><div><div class="gmail_extra"><div class="gmail_quote"><div><div style="font-size:12.8px">I don&#39;t think we can get more consistent test results just from re-running tests that were detected as changes in the first pass, as described in <a class="m_-7747474691262636825gmail-m_2966171682885730286gmail-issue-link" href="https://bugs.swift.org/browse/SR-4669" style="color:rgb(59,115,175);font-family:Arial,sans-serif;font-size:14px;white-space:nowrap;background-color:rgb(245,245,245)" target="_blank">SR-4669</a>, because that improves accuracy only for one side of the comparison - the branch. When the measurement error is with the baseline from the master, re-running the branch would not help.<br></div></div></div></div></div></div></div></blockquote><div><br></div></span><div>When we are benchmarking, we can always have access to the baseline compiler by stashing the build directory. So we can always take more samples (in fact when I was talking about re-running I always assumed we would).</div></div></div></blockquote></div></div><div class="gmail_extra"><br></div><div class="gmail_extra">Well, if I understand correctly how the swift-CI builds perf-PR, then switching between master and branch from Benchmark_Driver is not possible...</div><div class="gmail_extra"><br></div><div class="gmail_extra">Or are you thinking about manual benchmarking scenario?</div><div class="gmail_extra"><br></div><div class="gmail_extra">--Pavol</div></div>