<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-size:small"><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Jun 9, 2019 at 11:41 PM Caspar Zhang <<a href="mailto:caspar@linux.alibaba.com" target="_blank">caspar@linux.alibaba.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On Fri, May 31, 2019 at 11:17:14AM +0800, Li Wang wrote:<br>
><br>
><br>
> On Thu, May 30, 2019 at 5:10 PM Caspar Zhang <[1]<a href="mailto:caspar@linux.alibaba.com" target="_blank">caspar@linux.alibaba.com</a>><br>
> wrote:<br>
><br>
>     TCONF should also be one of exit statuses in a single test, else the<br>
>     output of TST_COUNT in shell tests could be wrong.<br>
><br>
>     Wrong:<br>
>     <<<test_output>>><br>
>     memcg_use_hierarchy_test 1 TINFO: Starting test 1<br>
>     memcg_use_hierarchy_test 1 TINFO: set /dev/memcg/memory.use_hierarchy to 0<br>
>     failed<br>
>     memcg_use_hierarchy_test 1 TPASS: process 28658 is killed<br>
>     memcg_use_hierarchy_test 2 TINFO: Starting test 2<br>
>     memcg_use_hierarchy_test 2 TINFO: set /dev/memcg/memory.use_hierarchy to 0<br>
>     failed<br>
>     memcg_use_hierarchy_test 2 TCONF: memory.use_hierarchy already been 1,<br>
>     blame systemd, skip<br>
>     memcg_use_hierarchy_test 2 TINFO: Starting test 3<br>
>     memcg_use_hierarchy_test 2 TINFO: set /dev/memcg/memory.use_hierarchy to 0<br>
>     failed<br>
>     memcg_use_hierarchy_test 2 TPASS: echo 0 > subgroup/memory.use_hierarchy<br>
>     failed as expected<br>
>     <<<execution_status>>><br>
><br>
>     Right:<br>
>     <<<test_output>>><br>
>     memcg_use_hierarchy_test 1 TINFO: Starting test 1<br>
>     memcg_use_hierarchy_test 1 TINFO: set /dev/memcg/memory.use_hierarchy to 0<br>
>     failed<br>
>     memcg_use_hierarchy_test 1 TPASS: process 26825 is killed<br>
>     memcg_use_hierarchy_test 2 TINFO: Starting test 2<br>
>     memcg_use_hierarchy_test 2 TINFO: set /dev/memcg/memory.use_hierarchy to 0<br>
>     failed<br>
>     memcg_use_hierarchy_test 2 TCONF: memory.use_hierarchy already been 1,<br>
>     blame systemd, skip<br>
>     memcg_use_hierarchy_test 3 TINFO: Starting test 3<br>
>     memcg_use_hierarchy_test 3 TINFO: set /dev/memcg/memory.use_hierarchy to 0<br>
>     failed<br>
>     memcg_use_hierarchy_test 3 TPASS: echo 0 > subgroup/memory.use_hierarchy<br>
>     failed as expected<br>
>     <<<execution_status>>><br>
><br>
><br>
> This is a good catch, but maybe it's not wise to simply regard the TCONF as a<br>
> single test, because there are many system-config detections in setup()<br>
> function, that will make LTP gives a mendacious report on the test numbers if<br>
> applying this patch.<br>
><br>
> e.g.<br>
><br>
> if tst_kvcmp -lt "3.10"; then<br>
>     tst_brk TCONF "test must be run with kernel 3.10 or newer"<br>
> fi<br>
> if dir path not exist; then<br>
>     tst_brk TCONF "system does not have xxxx/"<br>
> fi<br>
> and so on...<br>
<br>
TCONF usually report only once, I would still take it a valid report on<br>
numbers. Take your case as example, I guess we are able to see results<br>
like:<br></blockquote><div><br></div><div><div class="gmail_default" style="font-size:small"><span style="color:rgb(51,51,51);font-family:arial;font-size:13px">Okay, that sounds reasonable too. </span></div></div></div><div><br></div>-- <br><div dir="ltr" class="m_4964527189387703313gmail_signature"><div dir="ltr"><div>Regards,<br></div><div>Li Wang<br></div></div></div></div>