]> git.mxchange.org Git - friendica.git/blob - autotest.sh
mark sites as "phantom" that are up but couldn't be detected
[friendica.git] / autotest.sh
1 #!/usr/bin/env bash
2 #
3 # This script is used for autotesting the Friendica codebase with different
4 # types of tests and environments.
5 #
6 # Currently, there are three types of autotesting possibilities:
7 # - "USEDOCKER=true ./autotest.sh" will start a database docker container for testing
8 # - "./autotest.sh" on the Drone CI environment will use the database container of the drone CI pipeline
9 # - "./autotest.sh" on a local environment will try to use the local database instance for testing
10 #
11 # You can specify a database (mysql, mariadb currently) for the db backend of Friendica ("./autotest.sh mysql")
12 # And you can specify some parameters for the test, like:
13 # - NOCOVERAGE=true ... Don't create a coverage XML (this is only useful if you will send coverage to codecov.io)
14 # - NOINSTALL=true  ... Skip the whole Friendica installation process (e.g. you just test Caching drivers)
15 # - TEST_SELECTION= ... Specify which tests are used to run (based on the test-labeling)
16 # - XDEBUG_CONFIG=  ... Set some XDEBUG specific environment settings for development
17
18 DATABASENAME=${MYSQL_DATABASE:-test}
19 DATABASEUSER=${MYSQL_USERNAME:-friendica}
20 DATABASEHOST=${MYSQL_HOST:-localhost}
21 BASEDIR=$PWD
22
23 DBCONFIGS="mysql mariadb"
24 TESTS="REDIS MEMCACHE MEMCACHED APCU NODB"
25
26 export MYSQL_DATABASE="$DATABASENAME"
27 export MYSQL_USERNAME="$DATABASEUSER"
28 export MYSQL_PASSWORD="friendica"
29
30 if [ -z "$PHP_EXE" ]; then
31   PHP_EXE=php
32 fi
33 PHP=$(which "$PHP_EXE")
34 # Use the Friendica internal composer
35 COMPOSER="$BASEDIR/bin/composer.phar"
36
37 set -e
38
39 _XDEBUG_CONFIG=$XDEBUG_CONFIG
40 unset XDEBUG_CONFIG
41
42 function show_syntax() {
43   echo -e "Syntax: ./autotest.sh [dbconfigname] [testfile]\n" >&2
44   echo -e "\t\"dbconfigname\" can be one of: $DBCONFIGS" >&2
45   echo -e "\t\"testfile\" is the name of a test file, for example lib/template.php" >&2
46   echo -e "\nDatabase environment variables:\n" >&2
47   echo -e "\t\"MYSQL_HOST\" Mysql Hostname (Default: localhost)" >&2
48   echo -e "\t\"MYSQL_USDRNAME\" Mysql Username (Default: friendica)" >&2
49   echo -e "\t\"MYSQL_DATABASE\" Mysql Database (Default: test)" >&2
50   echo -e "\nOther environment variables:\n" >&2
51   echo -e "\t\"TEST_SELECTION\" test a specific group of tests, can be one of: $TESTS" >&2
52   echo -e "\t\"NOINSTALL\" If set to true, skip the db and install process" >&2
53   echo -e "\t\"NOCOVERAGE\" If set to true, don't create a coverage output" >&2
54   echo -e "\t\"USEDOCKER\" If set to true, the DB server will be executed inside a docker container" >&2
55   echo -e "\nExample: NOCOVERAGE=true ./autotest.sh mysql src/Core/Cache/MemcacheTest.php" >&2
56   echo "will run the test suite from \"tests/src/Core/Cache/MemcacheTest.php\" without a Coverage" >&2
57   echo -e "\nIf no arguments are specified, all tests will be run with all database configs" >&2
58 }
59
60 if [ -x "$PHP" ]; then
61   echo "Using PHP executable $PHP"
62 else
63   echo "Could not find PHP executable $PHP_EXE" >&2
64   exit 3
65 fi
66
67 echo "Installing depdendencies"
68 $PHP "$COMPOSER" install
69
70 PHPUNIT="$BASEDIR/vendor/bin/phpunit"
71
72 if [ -x "$PHPUNIT" ]; then
73   echo "Using PHPUnit executable $PHPUNIT"
74 else
75   echo "Could not find PHPUnit executable after composer $PHPUNIT" >&2
76   exit 3
77 fi
78
79 if ! [ \( -w config -a ! -f config/local.config.php \) -o \( -f config/local.config.php -a -w config/local.config.php \) ]; then
80   echo "Please enable write permissions on config and config/config.php" >&2
81   exit 1
82 fi
83
84 if [ "$1" ]; then
85   FOUND=0
86   for DBCONFIG in $DBCONFIGS; do
87     if [ "$1" = "$DBCONFIG" ]; then
88       FOUND=1
89       break
90     fi
91   done
92   if [ $FOUND = 0 ]; then
93     echo -e "Unknown database config name \"$1\"\n" >&2
94     show_syntax
95     exit 2
96   fi
97 fi
98
99 # Back up existing (dev) config if one exists and backup not already there
100 if [ -f config/local.config.php ] && [ ! -f config/local.config-autotest-backup.php ]; then
101   mv config/local.config.php config/local.config-autotest-backup.php
102 fi
103
104 function cleanup_config() {
105
106   if [ -n "$DOCKER_CONTAINER_ID" ]; then
107     echo "Kill the docker $DOCKER_CONTAINER_ID"
108     docker stop "$DOCKER_CONTAINER_ID"
109     docker rm -f "$DOCKER_CONTAINER_ID"
110   fi
111
112   cd "$BASEDIR"
113
114   # Restore existing config
115   if [ -f config/local.config-autotest-backup.php ]; then
116     mv config/local.config-autotest-backup.php config/local.config.php
117   fi
118 }
119
120 # restore config on exit
121 trap cleanup_config EXIT
122
123 function execute_tests() {
124   DB=$1
125   echo "Setup environment for $DB testing ..."
126   # back to root folder
127   cd "$BASEDIR"
128
129   # backup current config
130   if [ -f config/local.config.php ]; then
131     mv config/local.config.php config/local.config-autotest-backup.php
132   fi
133
134   if [ -z "$NOINSTALL" ]; then
135     #drop database
136     if [ "$DB" == "mysql" ]; then
137       if [ -n "$USEDOCKER" ]; then
138         echo "Fire up the mysql docker"
139         DOCKER_CONTAINER_ID=$(docker run \
140           -e MYSQL_ROOT_PASSWORD=friendica \
141           -e MYSQL_USER="$DATABASEUSER" \
142           -e MYSQL_PASSWORD=friendica \
143           -e MYSQL_DATABASE="$DATABASENAME" \
144           -d mysql)
145         DATABASEHOST=$(docker inspect --format="{{.NetworkSettings.IPAddress}}" "$DOCKER_CONTAINER_ID")
146
147       else
148         if [ -z "$DRONE" ]; then # no need to drop the DB when we are on CI
149           if [ "mysql" != "$(mysql --version | grep -o mysql)" ]; then
150             echo "Your mysql binary is not provided by mysql"
151             echo "To use the docker container set the USEDOCKER environment variable"
152             exit 3
153           fi
154           mysql -u "$DATABASEUSER" -pfriendica -e "DROP DATABASE IF EXISTS $DATABASENAME" -h $DATABASEHOST || true
155           mysql -u "$DATABASEUSER" -pfriendica -e "CREATE DATABASE $DATABASENAME DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci" -h $DATABASEHOST
156         else
157           DATABASEHOST=mysql
158         fi
159       fi
160
161       echo "Waiting for MySQL $DATABASEHOST initialization..."
162       if ! bin/wait-for-connection $DATABASEHOST 3306 300; then
163         echo "[ERROR] Waited 300 seconds, no response" >&2
164         exit 1
165       fi
166
167       echo "MySQL is up."
168     fi
169     if [ "$DB" == "mariadb" ]; then
170       if [ -n "$USEDOCKER" ]; then
171         echo "Fire up the mariadb docker"
172         DOCKER_CONTAINER_ID=$(docker run \
173           -e MYSQL_ROOT_PASSWORD=friendica \
174           -e MYSQL_USER="$DATABASEUSER" \
175           -e MYSQL_PASSWORD=friendica \
176           -e MYSQL_DATABASE="$DATABASENAME" \
177           -d mariadb)
178         DATABASEHOST=$(docker inspect --format="{{.NetworkSettings.IPAddress}}" "$DOCKER_CONTAINER_ID")
179
180       else
181         if [ -z "$DRONE" ]; then # no need to drop the DB when we are on CI
182           if [ "MariaDB" != "$(mysql --version | grep -o MariaDB)" ]; then
183             echo "Your mysql binary is not provided by mysql"
184             echo "To use the docker container set the USEDOCKER environment variable"
185             exit 3
186           fi
187           mysql -u "$DATABASEUSER" -pfriendica -e "DROP DATABASE IF EXISTS $DATABASENAME" -h $DATABASEHOST || true
188           mysql -u "$DATABASEUSER" -pfriendica -e "CREATE DATABASE $DATABASENAME DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci" -h $DATABASEHOST
189         else
190           DATABASEHOST=mariadb
191         fi
192       fi
193
194       echo "Waiting for MariaDB $DATABASEHOST initialization..."
195       if ! bin/wait-for-connection $DATABASEHOST 3306 300; then
196         echo "[ERROR] Waited 300 seconds, no response" >&2
197         exit 1
198       fi
199
200       echo "MariaDB is up."
201     fi
202
203     if [ -n "$USEDOCKER" ]; then
204       echo "Initialize database..."
205       docker exec $DOCKER_CONTAINER_ID mysql -u root -pfriendica -e 'CREATE DATABASE IF NOT EXISTS $DATABASENAME;'
206     fi
207
208     export MYSQL_HOST="$DATABASEHOST"
209
210     #call installer
211     echo "Installing Friendica..."
212     "$PHP" ./bin/console.php autoinstall --dbuser="$DATABASEUSER" --dbpass=friendica --dbdata="$DATABASENAME" --dbhost="$DATABASEHOST" --url=https://friendica.local --admin=admin@friendica.local
213   fi
214
215   #test execution
216   echo "Testing..."
217   rm -fr "coverage-html"
218   mkdir "coverage-html"
219   if [[ "$_XDEBUG_CONFIG" ]]; then
220     export XDEBUG_CONFIG=$_XDEBUG_CONFIG
221   fi
222
223   COVER=''
224   if [ -z "$NOCOVERAGE" ]; then
225     COVER="--coverage-clover tests/autotest-clover.xml"
226   else
227     echo "No coverage"
228   fi
229
230   # per default, there is no cache installed
231   GROUP='--exclude-group REDIS,MEMCACHE,MEMCACHED,APCU'
232   if [ "$TEST_SELECTION" == "REDIS" ]; then
233     GROUP="--group REDIS"
234   fi
235   if [ "$TEST_SELECTION" == "MEMCACHE" ]; then
236     GROUP="--group MEMCACHE"
237   fi
238   if [ "$TEST_SELECTION" == "MEMCACHED" ]; then
239     GROUP="--group MEMCACHED"
240   fi
241   if [ "$TEST_SELECTION" == "APCU" ]; then
242     GROUP="--group APCU"
243   fi
244   if [ "$TEST_SELECTION" == "NODB" ]; then
245     GROUP="--exclude-group DB,SLOWDB"
246   fi
247
248   INPUT="$BASEDIR/tests"
249   if [ -n "$2" ]; then
250     INPUT="$INPUT/$2"
251   fi
252
253   echo "${PHPUNIT[@]}" --configuration tests/phpunit.xml $GROUP $COVER --log-junit "autotest-results.xml" "$INPUT" "$3"
254   "${PHPUNIT[@]}" --configuration tests/phpunit.xml $GROUP $COVER --log-junit "autotest-results.xml" "$INPUT" "$3"
255   RESULT=$?
256
257   if [ -n "$DOCKER_CONTAINER_ID" ]; then
258     echo "Kill the docker $DOCKER_CONTAINER_ID"
259     docker stop $DOCKER_CONTAINER_ID
260     docker rm -f $DOCKER_CONTAINER_ID
261     unset $DOCKER_CONTAINER_ID
262   fi
263 }
264
265 #
266 # Start the test execution
267 #
268 if [ -z "$1" ] && [ -n "$TEST_SELECTION" ]; then
269   # run all known database configs
270   for DBCONFIG in $DBCONFIGS; do
271     execute_tests "$DBCONFIG"
272   done
273 else
274   FILENAME="$2"
275   if [ -n "$2" ] && [ ! -f "tests/$FILENAME" ] && [ "${FILENAME:0:2}" != "--" ]; then
276     FILENAME="../$FILENAME"
277   fi
278   execute_tests "$1" "$FILENAME" "$3"
279 fi