inc/http-functions.php

   1 <?php
   2 /************************************************************************
   3  * Mailer v0.2.1-FINAL                                Start: 03/08/2011 *
   4  * ===================                          Last change: 03/08/2011 *
   5  *                                                                      *
   6  * -------------------------------------------------------------------- *
   7  * File              : http-functions.php                               *
   8  * -------------------------------------------------------------------- *
   9  * Short description : HTTP-related functions                           *
  10  * -------------------------------------------------------------------- *
  11  * Kurzbeschreibung  : HTTP-relevante Funktionen                        *
  12  * -------------------------------------------------------------------- *
  13  * $Revision::                                                        $ *
  14  * $Date::                                                            $ *
  15  * $Tag:: 0.2.1-FINAL                                                 $ *
  16  * $Author::                                                          $ *
  17  * -------------------------------------------------------------------- *
  18  * Copyright (c) 2003 - 2009 by Roland Haeder                           *
  19  * Copyright (c) 2009 - 2011 by Mailer Developer Team                   *
  20  * For more information visit: http://mxchange.org                      *
  21  *                                                                      *
  22  * This program is free software; you can redistribute it and/or modify *
  23  * it under the terms of the GNU General Public License as published by *
  24  * the Free Software Foundation; either version 2 of the License, or    *
  25  * (at your option) any later version.                                  *
  26  *                                                                      *
  27  * This program is distributed in the hope that it will be useful,      *
  28  * but WITHOUT ANY WARRANTY; without even the implied warranty of       *
  29  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the        *
  30  * GNU General Public License for more details.                         *
  31  *                                                                      *
  32  * You should have received a copy of the GNU General Public License    *
  33  * along with this program; if not, write to the Free Software          *
  34  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston,               *
  35  * MA  02110-1301  USA                                                  *
  36  ************************************************************************/
  37
  38 // Some security stuff...
  39 if (!defined('__SECURITY')) {
  40         die();
  41 } // END - if
  42
  43 // Sends out all headers required for HTTP/1.1 reply
  44 function sendHttpHeaders () {
  45         // Used later
  46         $now = gmdate('D, d M Y H:i:s') . ' GMT';
  47
  48         // Send HTTP header
  49         addHttpHeader('HTTP/1.1 ' . getHttpStatus());
  50
  51         // General headers for no caching
  52         addHttpHeader('Expires: ' . $now); // RFC2616 - Section 14.21
  53         addHttpHeader('Last-Modified: ' . $now);
  54         addHttpHeader('Cache-Control: no-store, no-cache, must-revalidate, pre-check=0, post-check=0, max-age=0'); // HTTP/1.1
  55         addHttpHeader('Pragma: no-cache'); // HTTP/1.0
  56         addHttpHeader('Connection: Close');
  57         // There shall be no output mode in raw/AJAX mode
  58         if ((!isRawOutputMode()) && (!isAjaxOutputMode())) {
  59                 // Send content-type only in CSS/HTML mode
  60                 addHttpHeader('Content-Type: ' . getContentType() . '; charset=UTF-8');
  61         } else {
  62                 //
  63         } // END - if
  64         addHttpHeader('Content-Language: ' . getLanguage());
  65 }
  66
  67 // Checks wether the URL is full-qualified (http[s]:// + hostname [+ request data])
  68 function isFullQualifiedUrl ($url) {
  69         // Do we have cache?
  70         if (!isset($GLOBALS[__FUNCTION__][$url])) {
  71                 // Determine it
  72                 $GLOBALS[__FUNCTION__][$url] = ((substr($url, 0, 7) == 'http://') || (substr($url, 0, 8) == 'https://'));
  73         } // END - if
  74
  75         // Return cache
  76         return $GLOBALS[__FUNCTION__][$url];
  77 }
  78
  79 // Generates the full GET URL from given base URL and data array
  80 function generateGetUrlFromBaseUrlData ($baseUrl, $requestData = array()) {
  81         // Init URL
  82         $getUrl = $baseUrl;
  83
  84         // Is it full-qualified?
  85         if (!isFullQualifiedUrl($getUrl)) {
  86                 // Need to prepend a slash?
  87                 if (substr($getUrl, 0, 1) != '/') {
  88                         // Prepend it
  89                         $getUrl = '/' . $getUrl;
  90                 } // END - if
  91
  92                 // Prepend http://hostname from mxchange.org server
  93                 $getUrl = getServerUrl() . $getUrl;
  94         } // END - if
  95
  96         // Add data
  97         $body = http_build_query($requestData, '', '&');
  98
  99         // There should be data, else we don't need to extend $baseUrl with $body
 100         if (!empty($body)) {
 101                 // Do we have a question-mark in the script?
 102                 if (!isInString('?', $baseUrl)) {
 103                         // No, so first char must be question mark
 104                         $body = '?' . $body;
 105                 } else {
 106                         // Ok, add &
 107                         $body = '&' . $body;
 108                 }
 109
 110                 // Add script data
 111                 $getUrl .= $body;
 112
 113                 // Remove trailed & to make it more conform
 114                 if (substr($getUrl, -1, 1) == '&') {
 115                         $getUrl = substr($getUrl, 0, -1);
 116                 } // END - if
 117         } // END - if
 118
 119         // Return it
 120         return $getUrl;
 121 }
 122
 123 // Removes http[s]://<hostname> from given url
 124 function removeHttpHostNameFromUrl ($url) {
 125         // Remove http[s]://
 126         $remove = explode(':', $url);
 127         $remove = explode('/', substr($remove[1], 3));
 128
 129         // Remove the first element (should be the hostname)
 130         unset($remove[0]);
 131
 132         // implode() back all other elements and prepend a slash
 133         $url = '/' . implode('/', $remove);
 134
 135         // Return prepared URL
 136         return $url;
 137 }
 138
 139 // Sends a HTTP request (GET, POST, HEAD are currently supported)
 140 function sendHttpRequest ($requestType, $baseUrl, $requestData = array(), $removeHeader = false) {
 141         // Init response
 142         $response = array();
 143
 144         // Start "detecting" the request type
 145         switch ($requestType) {
 146                 case 'HEAD': // Send a HTTP/1.1 HEAD request
 147                         $response = sendHeadRequest($baseUrl, $requestData);
 148                         break;
 149
 150                 case 'GET': // Send a HTTP/1.1 GET request
 151                         $response = sendGetRequest($baseUrl, $requestData, $removeHeader);
 152                         break;
 153
 154                 case 'POST': // Send a HTTP/1.1 POST request
 155                         $response = sendPostRequest($baseUrl, $requestData, $removeHeader);
 156                         break;
 157
 158                 default: // Unsupported HTTP request, this is really bad and needs fixing
 159                         debug_report_bug(__FUNCTION__, __LINE__, 'Unsupported request detected. requestType=' . $requestType . ',baseUrl=' . $baseUrl . ',requestData()=' . count($requestData));
 160                         break;
 161         } // END - switch
 162
 163         // Return response
 164         return $response;
 165 }
 166
 167 // Sends a HEAD request
 168 function sendHeadRequest ($baseUrl, $requestData = array()) {
 169         // Generate full GET URL
 170         $getUrl = generateGetUrlFromBaseUrlData($baseUrl, $requestData);
 171
 172         // Do we have http[s]:// in front of the URL?
 173         if (isFullQualifiedUrl($getUrl)) {
 174                 // Remove http[s]://<hostname> from URL
 175                 $getUrl = removeHttpHostNameFromUrl($getUrl);
 176         } elseif (substr($getUrl, 0, 1) != '/') {
 177                 // Prepend a slash
 178                 $getUrl = '/' . $getUrl;
 179         }
 180
 181         // Extract hostname and port from script
 182         $host = extractHostnameFromUrl($baseUrl);
 183
 184         // Generate HEAD request header
 185         $request  = 'HEAD ' . trim($getUrl) . ' HTTP/1.1' . getConfig('HTTP_EOL');
 186         $request .= 'Host: ' . $host . getConfig('HTTP_EOL');
 187         $request .= 'Referer: ' . getUrl() . '/admin.php' . getConfig('HTTP_EOL');
 188         if (isConfigEntrySet('FULL_VERSION')) {
 189                 $request .= 'User-Agent: ' . getTitle() . '/' . getFullVersion() . getConfig('HTTP_EOL');
 190         } else {
 191                 $request .= 'User-Agent: ' . getTitle() . '/' . getConfig('VERSION') . getConfig('HTTP_EOL');
 192         }
 193         $request .= 'Accept: image/png,image/*;q=0.8,text/plain,text/html,*/*;q=0.5' . getConfig('HTTP_EOL');
 194         $request .= 'Accept-Charset: UTF-8,*' . getConfig('HTTP_EOL');
 195         $request .= 'Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0' . getConfig('HTTP_EOL');
 196         $request .= 'Connection: close' . getConfig('HTTP_EOL');
 197         $request .= getConfig('HTTP_EOL');
 198
 199         // Send the raw request
 200         $response = sendRawRequest($host, $request);
 201
 202         // Return the result to the caller function
 203         return $response;
 204 }
 205
 206 // Send a GET request
 207 function sendGetRequest ($baseUrl, $requestData = array(), $removeHeader = false) {
 208         // Generate full GET URL
 209         $getUrl = generateGetUrlFromBaseUrlData($baseUrl, $requestData);
 210
 211         // Do we have http[s]:// in front of the URL?
 212         if (isFullQualifiedUrl($getUrl)) {
 213                 // Remove http[s]://<hostname> from url
 214                 $getUrl = removeHttpHostNameFromUrl($getUrl);
 215         } elseif (substr($getUrl, 0, 1) != '/') {
 216                 // Prepend a slash
 217                 $getUrl = '/' . $getUrl;
 218         }
 219
 220         // Extract hostname and port from script
 221         $host = extractHostnameFromUrl($baseUrl);
 222
 223         // Generate GET request header
 224         $request  = 'GET ' . trim($getUrl) . ' HTTP/1.1' . getConfig('HTTP_EOL');
 225         $request .= 'Host: ' . $host . getConfig('HTTP_EOL');
 226         $request .= 'Referer: ' . getUrl() . '/admin.php' . getConfig('HTTP_EOL');
 227         if (isConfigEntrySet('FULL_VERSION')) {
 228                 $request .= 'User-Agent: ' . getTitle() . '/' . getFullVersion() . getConfig('HTTP_EOL');
 229         } else {
 230                 $request .= 'User-Agent: ' . getTitle() . '/' . getConfig('VERSION') . getConfig('HTTP_EOL');
 231         }
 232         $request .= 'Accept: image/png,image/*;q=0.8,text/plain,text/html,*/*;q=0.5' . getConfig('HTTP_EOL');
 233         $request .= 'Accept-Charset: UTF-8,*' . getConfig('HTTP_EOL');
 234         $request .= 'Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0' . getConfig('HTTP_EOL');
 235         $request .= 'Connection: close' . getConfig('HTTP_EOL');
 236         $request .= getConfig('HTTP_EOL');
 237
 238         // Send the raw request
 239         $response = sendRawRequest($host, $request);
 240
 241         // Should we remove header lines?
 242         if ($removeHeader === true) {
 243                 // Okay, remove them
 244                 $response = removeHttpHeaderFromResponse($response);
 245         } // END - if
 246
 247         // Return the result to the caller function
 248         return $response;
 249 }
 250
 251 // Send a POST request
 252 function sendPostRequest ($baseUrl, $requestData, $removeHeader = false) {
 253         // Copy baseUrl to getUrl
 254         $getUrl = $baseUrl;
 255
 256         // Do we have http[s]:// in front of the URL?
 257         if (isFullQualifiedUrl($getUrl)) {
 258                 // Remove http[s]://<hostname> from url
 259                 $getUrl = removeHttpHostNameFromUrl($getUrl);
 260         } elseif (substr($getUrl, 0, 1) != '/') {
 261                 // Prepend a slash
 262                 $getUrl = '/' . $getUrl;
 263         }
 264
 265         // Extract host name from script
 266         $host = extractHostnameFromUrl($baseUrl);
 267
 268         // Construct request body
 269         $body = http_build_query($requestData, '', '&');
 270
 271         // Generate POST request header
 272         $request  = 'POST ' . trim($baseUrl) . ' HTTP/1.0' . getConfig('HTTP_EOL');
 273         $request .= 'Host: ' . $host . getConfig('HTTP_EOL');
 274         $request .= 'Referer: ' . getUrl() . '/admin.php' . getConfig('HTTP_EOL');
 275         if (isConfigEntrySet('FULL_VERSION')) {
 276                 $request .= 'User-Agent: ' . getTitle() . '/' . getFullVersion() . getConfig('HTTP_EOL');
 277         } else {
 278                 $request .= 'User-Agent: ' . getTitle() . '/' . getConfig('VERSION') . getConfig('HTTP_EOL');
 279         }
 280         $request .= 'Accept: text/plain;q=0.8' . getConfig('HTTP_EOL');
 281         $request .= 'Accept-Charset: UTF-8,*' . getConfig('HTTP_EOL');
 282         $request .= 'Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0' . getConfig('HTTP_EOL');
 283         $request .= 'Content-Type: application/x-www-form-urlencoded' . getConfig('HTTP_EOL');
 284         $request .= 'Content-Length: ' . strlen($body) . getConfig('HTTP_EOL');
 285         $request .= 'Connection: close' . getConfig('HTTP_EOL');
 286         $request .= getConfig('HTTP_EOL');
 287
 288         // Add body
 289         $request .= $body;
 290
 291         // Send the raw request
 292         $response = sendRawRequest($host, $request);
 293
 294         // Should we remove header lines?
 295         if ($removeHeader === true) {
 296                 // Okay, remove them
 297                 $response = removeHttpHeaderFromResponse($response);
 298         } // END - if
 299
 300         // Return the result to the caller function
 301         return $response;
 302 }
 303
 304 // Sends a raw request (string) to given host (hostnames will be solved)
 305 function sendRawRequest ($host, $request) {
 306         //* DEBUG: */ die('host='.$host.',request=<pre>'.$request.'</pre>');
 307         // Init errno and errdesc with 'all fine' values
 308         $errno = '0';
 309         $errdesc = '';
 310
 311         // Default port is 80
 312         $port = 80;
 313
 314         // Initialize array
 315         $response = array('', '', '');
 316
 317         // Default is non-broken HTTP server implementation
 318         $GLOBALS['is_http_server_broken'] = false;
 319
 320         // Load include
 321         loadIncludeOnce('inc/classes/resolver.class.php');
 322
 323         // Extract port part from host
 324         $portArray = explode(':', $host);
 325         if (count($portArray) == 2) {
 326                 // Extract host and port
 327                 $host = $portArray[0];
 328                 $port = $portArray[1];
 329         } elseif (count($portArray) > 2) {
 330                 // This should not happen!
 331                 debug_report_bug(__FUNCTION__, __LINE__, 'Invalid ' . $host . '. Please report this to the Mailer-Project team.');
 332         }
 333
 334         // Get resolver instance
 335         $resolver = new HostnameResolver();
 336
 337         // Get proxy host
 338         $proxyHost = compileRawCode(getProxyHost());
 339
 340         // Open connection
 341         if (isProxyUsed() === true) {
 342                 // Resolve hostname into IP address
 343                 $ip = $resolver->resolveHostname($proxyHost);
 344
 345                 // Connect to host through proxy connection
 346                 $resource = fsockopen($ip, bigintval(getProxyPort()), $errno, $errdesc, 30);
 347         } else {
 348                 // Resolve hostname into IP address
 349                 $ip = $resolver->resolveHostname($host);
 350
 351                 // Connect to host directly
 352                 $resource = fsockopen($ip, $port, $errno, $errdesc, 30);
 353         }
 354         //* DEBUG: */ logDebugMessage(__FUNCTION__, __LINE__, 'ip=' . $ip . ',host=' . $host . ',isProxyUsed()=' . intval(isProxyUsed()));
 355
 356         // Is there a link?
 357         if (!is_resource($resource)) {
 358                 // Failed!
 359                 logDebugMessage(__FUNCTION__, __LINE__, $errdesc . ' (' . $errno . ')');
 360                 return $response;
 361         } elseif ((!stream_set_blocking($resource, 0)) || (!stream_set_timeout($resource, 1))) {
 362                 // Cannot set non-blocking mode or timeout
 363                 logDebugMessage(__FUNCTION__, __LINE__, socket_strerror(socket_last_error()));
 364                 return $response;
 365         }
 366
 367         // Do we use proxy?
 368         if (isProxyUsed() === true) {
 369                 // Setup proxy tunnel
 370                 $response = setupProxyTunnel($host, $proxyHost, $port, $resource);
 371
 372                 // If the response is invalid, abort
 373                 if ((count($response) == 3) && (empty($response[0])) && (empty($response[1])) && (empty($response[2]))) {
 374                         // Invalid response!
 375                         logDebugMessage(__FUNCTION__, __LINE__, 'Proxy tunnel not working?');
 376                         return $response;
 377                 } // END - if
 378         } // END - if
 379
 380         // Write request
 381         fwrite($resource, $request);
 382
 383         // Start counting
 384         $start = microtime(true);
 385
 386         // Read response
 387         while (!feof($resource)) {
 388                 // Get info from stream
 389                 $info = stream_get_meta_data($resource);
 390
 391                 // Is it timed out? 15 seconds is a really patient...
 392                 if (($info['timed_out'] == true) || (microtime(true) - $start) > 15) {
 393                         // Timeout
 394                         logDebugMessage(__FUNCTION__, __LINE__, 'Timed out to get data from host ' . $host);
 395
 396                         // Abort here
 397                         break;
 398                 } // END - if
 399
 400                 // Get line from stream
 401                 $line = fgets($resource, 128);
 402
 403                 // Ignore empty lines because of non-blocking mode
 404                 if (empty($line)) {
 405                         // uslepp a little to avoid 100% CPU load
 406                         usleep(10);
 407
 408                         // Skip this
 409                         continue;
 410                 } // END - if
 411
 412                 // Check for broken HTTP implementations
 413                 if (substr(strtolower($line), 0, 7) == 'server:') {
 414                         // Anomic (see http://anomic.de, http://yacy.net) is currently broken
 415                         $GLOBALS['is_http_server_broken'] = (count(getArrayKeysFromSubStrArray(strtolower($line), array('anomichttpd'))) > 0);
 416                 } // END - if
 417
 418                 // Add it to response
 419                 //* DEBUG: */ print 'line='.$line.'<br />';
 420                 $response[] = $line;
 421         } // END - while
 422
 423         // Close socket
 424         fclose($resource);
 425
 426         // Time request if debug-mode is enabled
 427         if (isDebugModeEnabled()) {
 428                 // Add debug message...
 429                 logDebugMessage(__FUNCTION__, __LINE__, 'Request took ' . (microtime(true) - $start) . ' seconds and returned ' . count($response) . ' line(s).');
 430         } // END - if
 431
 432         // Skip first empty lines
 433         $resp = $response;
 434         foreach ($resp as $idx => $line) {
 435                 // Trim space away
 436                 $line = trim($line);
 437
 438                 // Is this line empty?
 439                 if (empty($line)) {
 440                         // Then remove it
 441                         array_shift($response);
 442                 } else {
 443                         // Abort on first non-empty line
 444                         break;
 445                 }
 446         } // END - foreach
 447
 448         //* DEBUG: */ debugOutput('<strong>Request:</strong><pre>'.print_r($request, true).'</pre>');
 449         //* DEBUG: */ debugOutput('<strong>Response:</strong><pre>'.print_r($response, true).'</pre>');
 450
 451         // Proxy agent found or something went wrong?
 452         if (!isset($response[0])) {
 453                 // No response, maybe timeout
 454                 $response = array('', '', '');
 455                 logDebugMessage(__FUNCTION__, __LINE__, 'Invalid empty response array, maybe timed out?');
 456         } elseif ((substr(strtolower($response[0]), 0, 11) == 'proxy-agent') && (isProxyUsed() === true)) {
 457                 // Proxy header detected, so remove two lines
 458                 array_shift($response);
 459                 array_shift($response);
 460         } // END - if
 461
 462         // Was the request successfull?
 463         if ((!isInStringIgnoreCase('200 OK', $response[0])) || (empty($response[0]))) {
 464                 // Not found / access forbidden
 465                 logDebugMessage(__FUNCTION__, __LINE__, 'Unexpected status code ' . $response[0] . ' detected. "200 OK" was expected.');
 466                 $response = array('', '', '');
 467         } else {
 468                 // Check array for chuncked encoding
 469                 $response = unchunkHttpResponse($response);
 470         } // END - if
 471
 472         // Return response
 473         return $response;
 474 }
 475
 476 // Sets up a proxy tunnel for given hostname and through resource
 477 function setupProxyTunnel ($host, $proxyHost, $port, $resource) {
 478         // Initialize array
 479         $response = array('', '', '');
 480
 481         // Generate CONNECT request header
 482         $proxyTunnel  = 'CONNECT ' . $host . ':' . $port . ' HTTP/1.0' . getConfig('HTTP_EOL');
 483         $proxyTunnel .= 'Host: ' . $proxyHost . getConfig('HTTP_EOL');
 484
 485         // Use login data to proxy? (username at least!)
 486         if (getProxyUsername() != '') {
 487                 // Add it as well
 488                 $encodedAuth = base64_encode(compileRawCode(getProxyUsername()) . ':' . compileRawCode(getProxyPassword()));
 489                 $proxyTunnel .= 'Proxy-Authorization: Basic ' . $encodedAuth . getConfig('HTTP_EOL');
 490         } // END - if
 491
 492         // Add last new-line
 493         $proxyTunnel .= getConfig('HTTP_EOL');
 494         //* DEBUG: */ debugOutput('<strong>proxyTunnel=</strong><pre>' . $proxyTunnel.'</pre>');
 495
 496         // Write request
 497         fwrite($resource, $proxyTunnel);
 498
 499         // Got response?
 500         if (feof($resource)) {
 501                 // No response received
 502                 return $response;
 503         } // END - if
 504
 505         // Read the first line
 506         $resp = trim(fgets($resource, 10240));
 507         $respArray = explode(' ', $resp);
 508         if ((strtolower($respArray[0]) !== 'http/1.0') || ($respArray[1] != '200')) {
 509                 // Invalid response!
 510                 return $response;
 511         } // END - if
 512
 513         // All fine!
 514         return $respArray;
 515 }
 516
 517 // Check array for chuncked encoding
 518 function unchunkHttpResponse ($response) {
 519         // Default is not chunked
 520         $isChunked = false;
 521
 522         // Check if we have chunks
 523         foreach ($response as $line) {
 524                 // Make lower-case and trim it
 525                 $line = trim($line);
 526
 527                 // Entry found?
 528                 if ((isInStringIgnoreCase('transfer-encoding', $line)) && (isInStringIgnoreCase('chunked', $line))) {
 529                         // Found!
 530                         $isChunked = true;
 531                         break;
 532                 } // END - if
 533         } // END - foreach
 534
 535         // Is it chunked?
 536         if ($isChunked === true) {
 537                 // Good, we still have the HTTP headers in there, so we need to get rid
 538                 // of them temporarly
 539                 //* DEBUG: */ die('<pre>'.htmlentities(print_r(removeHttpHeaderFromResponse($response), true)).'</pre>');
 540                 $tempResponse = http_chunked_decode(implode('', removeHttpHeaderFromResponse($response)));
 541
 542                 // We got a string back from http_chunked_decode(), so we need to convert it back to an array
 543                 //* DEBUG: */ die('tempResponse['.strlen($tempResponse).']=<pre>'.replaceReturnNewLine(htmlentities($tempResponse)).'</pre>');
 544
 545                 // Re-add the headers
 546                 $response = merge_array($GLOBALS['http_headers'], stringToArray("\n", $tempResponse));
 547         } // END - if
 548
 549         // Return the unchunked array
 550         return $response;
 551 }
 552
 553 // Removes HTTP header lines from a response array (e.g. output from send<Get|Post>Request() )
 554 function removeHttpHeaderFromResponse ($response) {
 555         // Save headers for later usage
 556         $GLOBALS['http_headers'] = array();
 557
 558         // The first array element has to contain HTTP
 559         if ((isset($response[0])) && (substr(strtoupper($response[0]), 0, 5) == 'HTTP/')) {
 560                 // Okay, we have headers, now remove them with a second array
 561                 $response2 = $response;
 562                 foreach ($response as $line) {
 563                         // Remove line
 564                         array_shift($response2);
 565
 566                         // Add full line to temporary global array
 567                         $GLOBALS['http_headers'][] = $line;
 568
 569                         // Trim it for testing
 570                         $lineTest = trim($line);
 571
 572                         // Is this line empty?
 573                         if (empty($lineTest)) {
 574                                 // Then stop here
 575                                 break;
 576                         } // END - if
 577                 } // END - foreach
 578
 579                 // Write back the array
 580                 $response = $response2;
 581         } // END - if
 582
 583         // Return the modified response array
 584         return $response;
 585 }
 586
 587 // Returns the flag if a broken HTTP server implementation was detected
 588 function isBrokenHttpServerImplentation () {
 589         // Determine it
 590         $isBroken = ((isset($GLOBALS['is_http_server_broken'])) && ($GLOBALS['is_http_server_broken'] === true));
 591
 592         // ... and return it
 593         return $isBroken;
 594 }
 595
 596 // Extract host from script name
 597 function extractHostnameFromUrl (&$script) {
 598         // Use default SERVER_URL by default... ;) So?
 599         $url = getServerUrl();
 600
 601         // Is this URL valid?
 602         if (substr($script, 0, 7) == 'http://') {
 603                 // Use the hostname from script URL as new hostname
 604                 $url = substr($script, 7);
 605                 $extract = explode('/', $url);
 606                 $url = $extract[0];
 607                 // Done extracting the URL :)
 608         } // END - if
 609
 610         // Extract host name
 611         $host = str_replace('http://', '', $url);
 612         if (isInString('/', $host)) {
 613                 $host = substr($host, 0, strpos($host, '/'));
 614         } // END - if
 615
 616         // Generate relative URL
 617         //* DEBUG: */ debugOutput('SCRIPT=' . $script);
 618         if (substr(strtolower($script), 0, 7) == 'http://') {
 619                 // But only if http:// is in front!
 620                 $script = substr($script, (strlen($url) + 7));
 621         } elseif (substr(strtolower($script), 0, 8) == 'https://') {
 622                 // Does this work?!
 623                 $script = substr($script, (strlen($url) + 8));
 624         }
 625
 626         //* DEBUG: */ debugOutput('SCRIPT=' . $script);
 627         if (substr($script, 0, 1) == '/') {
 628                 $script = substr($script, 1);
 629         } // END - if
 630
 631         // Return host name
 632         return $host;
 633 }
 634
 635 // Adds a HTTP header to array
 636 function addHttpHeader ($header) {
 637         // Send the header
 638         //* DEBUG: */ logDebugMessage(__FUNCTION__ . ': header=' . $header);
 639         $GLOBALS['http_header'][] = trim($header);
 640 }
 641
 642 // Flushes all HTTP headers
 643 function flushHttpHeaders () {
 644         // Is the header already sent?
 645         if (headers_sent()) {
 646                 // Then abort here
 647                 debug_report_bug(__FUNCTION__, __LINE__, 'Headers already sent!');
 648         } // END - if
 649
 650         // Flush all headers if found
 651         if ((isset($GLOBALS['http_header'])) && (is_array($GLOBALS['http_header']))) {
 652                 foreach ($GLOBALS['http_header'] as $header) {
 653                         header($header);
 654                 } // END - foreach
 655         } // END - if
 656
 657         // Mark them as flushed
 658         $GLOBALS['http_header'] = array();
 659 }
 660
 661 //-----------------------------------------------------------------------------
 662 // Automatically re-created functions, all taken from user comments on www.php.net
 663 //-----------------------------------------------------------------------------
 664
 665 if (!function_exists('http_build_query')) {
 666         // Taken from documentation on www.php.net, credits to Marco K. (Germany) and some light mods by R.Haeder
 667         function http_build_query($requestData, $prefix = '', $sep = '', $key = '') {
 668                 $ret = array();
 669                 foreach ((array) $requestData as $k => $v) {
 670                         if (is_int($k) && $prefix != null) {
 671                                 $k = urlencode($prefix . $k);
 672                         } // END - if
 673
 674                         if ((!empty($key)) || ($key === 0)) {
 675                                 $k = $key . '[' . urlencode($k) . ']';
 676                         } // END - if
 677
 678                         if (is_array($v) || is_object($v)) {
 679                                 array_push($ret, http_build_query($v, '', $sep, $k));
 680                         } else {
 681                                 array_push($ret, $k . '=' . urlencode($v));
 682                         }
 683                 } // END - foreach
 684
 685                 if (empty($sep)) {
 686                         $sep = ini_get('arg_separator.output');
 687                 } // END - if
 688
 689                 return implode($sep, $ret);
 690         }
 691 } // END - if
 692
 693 if (!function_exists('http_chunked_decode')) {
 694         /**
 695          * dechunk an HTTP 'transfer-encoding: chunked' message.
 696          *
 697          * @param       $chunk          The encoded message
 698          * @return      $dechunk        The decoded message. If $chunk wasn't encoded properly debug_report_bug() is being called
 699          * @author      Marques Johansson (initial author)
 700          * @author      Roland Haeder (heavy modifications and simplification)
 701          * @link        http://php.net/manual/en/function.http-chunked-decode.php#89786
 702          */
 703         function http_chunked_decode ($chunk) {
 704                 // Detect multi-byte encoding
 705                 $mbPrefix = detectMultiBytePrefix($chunk);
 706                 //* DEBUG: */ print 'mbPrefix=' . $mbPrefix . '<br />';
 707
 708                 // Init some variables
 709                 $offset = 0;
 710                 $len = call_user_func_array($mbPrefix . 'strlen', array(($chunk)));
 711                 $dechunk = '';
 712
 713                 // Walk through all chunks
 714                 while ($offset < $len) {
 715                         // Where does the \r\n begin?
 716                         $lineEndAt = call_user_func_array($mbPrefix . 'strpos', array($chunk, getConfig('HTTP_EOL'), $offset));
 717
 718                         /* DEBUG: *
 719                         print 'lineEndAt[<em>'.__LINE__.'</em>]='.$lineEndAt.'<br />
 720 offset[<em>'.__LINE__.'</em>]='.$offset.'<br />
 721 len='.$len.'<br />
 722 next[offset,10]=<pre>'.replaceReturnNewLine(htmlentities(call_user_func_array($mbPrefix . 'substr', array($chunk, $offset, 10)))).'</pre>';
 723                         /* DEBUG: */
 724
 725                         // Get next hex-coded chunk length
 726                         $chunkLenHex = call_user_func_array($mbPrefix . 'substr', array($chunk, $offset, ($lineEndAt - $offset)));
 727
 728                         /* DEBUG: *
 729                         print 'chunkLenHex[<em>'.__LINE__.'</em>]='.replaceReturnNewLine(htmlentities($chunkLenHex)).'<br />
 730 ';
 731                         /* DEBUG: */
 732
 733                         // Validation if it is hexadecimal
 734                         if (!isHexadecimal($chunkLenHex)) {
 735                                 // Please help debugging this
 736                                 //* DEBUG: */ die('ABORT:chunkLenHex=<pre>'.replaceReturnNewLine(htmlentities($chunkLenHex)).'</pre>');
 737                                 debug_report_bug(__FUNCTION__, __LINE__, 'Value ' . $chunkLenHex . ' is no valid hexa-decimal string.');
 738
 739                                 // This won't be reached
 740                                 return $chunk;
 741                         } // END - if
 742
 743                         // Position of next chunk is right after \r\n
 744                         $offset   = $offset + strlen($chunkLenHex) + strlen(getConfig('HTTP_EOL'));
 745                         $chunkLen = hexdec(rtrim($chunkLenHex, getConfig('HTTP_EOL')));
 746
 747                         /* DEBUG: *
 748                         print 'chunkLen='.$chunkLen.'<br />
 749 offset[<em>'.__LINE__.'</em>]='.$offset.'<br />';
 750                         /* DEBUG: */
 751
 752                         // Moved out for debugging
 753                         $next  = call_user_func_array($mbPrefix . 'substr', array($chunk, $offset, $chunkLen));
 754                         //* DEBUG: */ print 'next=<pre>'.replaceReturnNewLine(htmlentities($next)).'</pre>';
 755
 756                         /*
 757                          * Hack for e.g. YaCy HTTPDaemon (Anomic Server), this HTTP server
 758                          * is currently (revision 7567 and maybe earlier) broken and does
 759                          * not include the \r\n characters when it sents a "chunked" HTTP
 760                          * message.
 761                          */
 762                         $count = 0;
 763                         if (isBrokenHttpServerImplentation()) {
 764                                 // Count occurrences of \r\n
 765                                 $count = call_user_func_array($mbPrefix . 'substr_count', array($next, getConfig('HTTP_EOL')));
 766                         } // END - if
 767
 768                         /*
 769                          * Correct chunk length because some broken HTTP server
 770                          * implementation subtract occurrences of \r\n in their chunk
 771                          * lengths.
 772                          */
 773                         $chunkLen = hexdec(rtrim($chunkLenHex, getConfig('HTTP_EOL'))) - ($count * strlen(getConfig('HTTP_EOL')));
 774
 775                         // Add next chunk to $dechunk
 776                         $dechunk .= call_user_func_array($mbPrefix . 'substr', array($chunk, $offset, $chunkLen));
 777
 778                         /* DEBUG: *
 779                         print('offset[<em>'.__LINE__.'</em>]='.$offset.'<br />
 780 lineEndAt[<em>'.__LINE__.'</em>]='.$lineEndAt.'<br />
 781 len='.$len.'<br />
 782 count='.$count.'<br />
 783 chunkLen='.$chunkLen.'<br />
 784 chunkLenHex='.$chunkLenHex.'<br />
 785 dechunk=<pre>'.replaceReturnNewLine(htmlentities($dechunk)).'</pre>
 786 chunk=<pre>'.replaceReturnNewLine(htmlentities($chunk)).'</pre>');
 787                         /* DEBUG: */
 788
 789                         // Is $offset + $chunkLen larger than or equal $len?
 790                         if (($offset + $chunkLen) >= $len) {
 791                                 // Then stop processing here
 792                                 break;
 793                         } // END - if
 794
 795                         // Calculate offset of next chunk
 796                         $offset = call_user_func_array($mbPrefix . 'strpos', array($chunk, getConfig('HTTP_EOL'), $offset + $chunkLen)) + 2;
 797
 798                         /* DEBUG: *
 799                         print('offset[<em>'.__LINE__.'</em>]='.$offset.'<br />
 800 next[100]=<pre>'.replaceReturnNewLine(htmlentities(call_user_func_array($mbPrefix . 'substr', array($chunk, $offset, 100)))).'</pre>
 801 ---:---:---:---:---:---:---:---:---<br />
 802 ');
 803                         /* DEBUG: */
 804                 } // END - while
 805
 806                 // Return de-chunked string
 807                 return $dechunk;
 808         }
 809 } // END - if
 810
 811 // [EOF]
 812 ?>