<div dir="ltr"><div>Apparently Chrome is more security-consious than Firefox and refuses to load local files via XMLHttpRequest. If I put it in the same file, then graphs work (at least in Chromium, don't have any other browsers to check). I just pushed the change. <br>
<br></div>I'm tackling CMake right now, I hope to get at least the compiler and flags today. <br></div><div class="gmail_extra"><br><br><div class="gmail_quote">2013/8/14 Christian Engwer <span dir="ltr"><<a href="mailto:christian.engwer@uni-muenster.de" target="_blank">christian.engwer@uni-muenster.de</a>></span><br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Miha,<br>
<div class="im"><br>
> 2.) Using the buildsystem to call the measurement routine. I agree, this is<br>
> probably the best way to get all the needed compiler information. Of<br>
> course, it should be easy to use, so a single macro or target (per measured<br>
> program) should be used. I will try to do it in automake, but would it be<br>
> ok if I first write a CMake macro, get the details worked out, and then do<br>
> the same with autotools? Considering the use of two build systems, I this<br>
> part would be a pretty thin wrapper, just getting the compiler info and<br>
> passing it to python.<br>
<br>
</div>This would be viable... in particular this would mean that you create<br>
a suitable ini file during the configure/cmake run.<br>
<div class="im"><br>
> 3.) Split HTML files. I agree, this would be a good idea. I don't know if<br>
> it works for you, but I added table filtering, so you can choose to only<br>
> display Run, Compile or all measurements. I would keep the total file, but<br>
> I can also generate type-specific ones.<br>
><br>
> 4.) No graphs in resIults. I don't know why that should be. Yes, the data<br>
> is in a separate CSV file, but in my testing, it was always loaded<br>
> correctly. There might be some errors in handling paths, I'll check when I<br>
> get home.<br>
<br>
</div>I think the problem is due to security reasons... I tried with<br>
chromium und epiphany, which are both webkit based and I assumed that<br>
the browser does not allow to reload local files from java-script. As<br>
many users will have chrome as browser, we must be able to hanle<br>
this and thus I suggest to include the csv again into the html file.<br>
<div class="im"><br>
> 5.) Automatic testing. The program now parses a configuration file<br>
> (perftest.ini) and runs the tests described in it. This means you still<br>
> have to manually run a command, but it's only one command per run. I<br>
> suppose "make perftest" is easier to remember than "perftest.py<br>
> perftest.ini", so some integration with the buildsystem is needed. However,<br>
> I wouldn't run performance tests automatically every time the program is<br>
> compiled, this would take too much time.<br>
<br>
</div>No, we should not run the test every time. I would expect that you can<br>
enable/disable the automatic data collection. Using a single "make" is<br>
not really good, as we want to have seperate data for all our<br>
compilation units.<br>
<br>
In my vision, we constantly collect data (when enables, e.g. on the<br>
build-server) and then we have individual html files per make<br>
lib/exe. Within this html file we can now select which data to look<br>
at, using the filter approach. This will limit the number of files<br>
required and make sure they don't grow too far.<br>
<div class="im"><br>
> 6.) My progress. I added statistics for finding outliers, you may notice in<br>
> the results some rows are different colors depending on their distance from<br>
> the mean. Currently all points with at least 1-sigma deviation are marked,<br>
> but I don't think that should be the case. There are more rigorous<br>
> definition of outliers. The documentation uses Doxygen,<br>
> but I haven't converted all the actual docstrings yet. The graphs show both<br>
> memory consumption and time spent, and there are separate graphs for<br>
> compilation and running.<br>
<br>
</div>I guess I will see this in detail, once the data is included again :-)<br>
<span class="HOEnZb"><font color="#888888"><br>
Christian<br>
</font></span></blockquote></div><br></div>