lib/httpclient.php

   1 <?php
   2 /**
   3  * StatusNet, the distributed open-source microblogging tool
   4  *
   5  * Utility for doing HTTP-related things
   6  *
   7  * PHP version 5
   8  *
   9  * LICENCE: This program is free software: you can redistribute it and/or modify
  10  * it under the terms of the GNU Affero General Public License as published by
  11  * the Free Software Foundation, either version 3 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  * GNU Affero General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Affero General Public License
  20  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  21  *
  22  * @category  Action
  23  * @package   StatusNet
  24  * @author    Evan Prodromou <evan@status.net>
  25  * @copyright 2009 StatusNet, Inc.
  26  * @license   http://www.fsf.org/licensing/licenses/agpl-3.0.html GNU Affero General Public License version 3.0
  27  * @link      http://status.net/
  28  */
  29
  30 if (!defined('STATUSNET')) {
  31     exit(1);
  32 }
  33
  34 require_once 'HTTP/Request2.php';
  35 require_once 'HTTP/Request2/Response.php';
  36
  37 /**
  38  * Useful structure for HTTP responses
  39  *
  40  * We make HTTP calls in several places, and we have several different
  41  * ways of doing them. This class hides the specifics of what underlying
  42  * library (curl or PHP-HTTP or whatever) that's used.
  43  *
  44  * This extends the HTTP_Request2_Response class with methods to get info
  45  * about any followed redirects.
  46  *
  47  * @category HTTP
  48  * @package StatusNet
  49  * @author Evan Prodromou <evan@status.net>
  50  * @author Brion Vibber <brion@status.net>
  51  * @license http://www.fsf.org/licensing/licenses/agpl-3.0.html GNU Affero General Public License version 3.0
  52  * @link http://status.net/
  53  */
  54 class HTTPResponse extends HTTP_Request2_Response
  55 {
  56     function __construct(HTTP_Request2_Response $response, $url, $redirects=0)
  57     {
  58         foreach (get_object_vars($response) as $key => $val) {
  59             $this->$key = $val;
  60         }
  61         $this->url = strval($url);
  62         $this->redirectCount = intval($redirects);
  63     }
  64
  65     /**
  66      * Get the count of redirects that have been followed, if any.
  67      * @return int
  68      */
  69     function getRedirectCount()
  70     {
  71         return $this->redirectCount;
  72     }
  73
  74     /**
  75      * Gets the final target URL, after any redirects have been followed.
  76      * @return string URL
  77      */
  78     function getUrl()
  79     {
  80         return $this->url;
  81     }
  82
  83     /**
  84      * Check if the response is OK, generally a 200 or other 2xx status code.
  85      * @return bool
  86      */
  87     function isOk()
  88     {
  89         $status = $this->getStatus();
  90         return ($status >= 200 && $status < 300);
  91     }
  92 }
  93
  94 /**
  95  * Utility class for doing HTTP client stuff
  96  *
  97  * We make HTTP calls in several places, and we have several different
  98  * ways of doing them. This class hides the specifics of what underlying
  99  * library (curl or PHP-HTTP or whatever) that's used.
 100  *
 101  * This extends the PEAR HTTP_Request2 package:
 102  * - sends StatusNet-specific User-Agent header
 103  * - 'follow_redirects' config option, defaulting off
 104  * - 'max_redirs' config option, defaulting to 10
 105  * - extended response class adds getRedirectCount() and getUrl() methods
 106  * - get() and post() convenience functions return body content directly
 107  *
 108  * @category HTTP
 109  * @package  StatusNet
 110  * @author   Evan Prodromou <evan@status.net>
 111  * @author   Brion Vibber <brion@status.net>
 112  * @license  http://www.fsf.org/licensing/licenses/agpl-3.0.html GNU Affero General Public License version 3.0
 113  * @link     http://status.net/
 114  */
 115
 116 class HTTPClient extends HTTP_Request2
 117 {
 118
 119     function __construct($url=null, $method=self::METHOD_GET, $config=array())
 120     {
 121         $this->config['max_redirs'] = 10;
 122         $this->config['follow_redirects'] = true;
 123
 124         // We've had some issues with keepalive breaking with
 125         // HEAD requests, such as to youtube which seems to be
 126         // emitting chunked encoding info for an empty body
 127         // instead of not emitting anything. This may be a
 128         // bug on YouTube's end, but the upstream libray
 129         // ought to be investigated to see if we can handle
 130         // it gracefully in that case as well.
 131         $this->config['protocol_version'] = '1.0';
 132
 133         parent::__construct($url, $method, $config);
 134         $this->setHeader('User-Agent', $this->userAgent());
 135     }
 136
 137     /**
 138      * Convenience/back-compat instantiator
 139      * @return HTTPClient
 140      */
 141     public static function start()
 142     {
 143         return new HTTPClient();
 144     }
 145
 146     /**
 147      * Convenience function to run a GET request.
 148      *
 149      * @return HTTPResponse
 150      * @throws HTTP_Request2_Exception
 151      */
 152     public function get($url, $headers=array())
 153     {
 154         return $this->doRequest($url, self::METHOD_GET, $headers);
 155     }
 156
 157     /**
 158      * Convenience function to run a HEAD request.
 159      *
 160      * @return HTTPResponse
 161      * @throws HTTP_Request2_Exception
 162      */
 163     public function head($url, $headers=array())
 164     {
 165         return $this->doRequest($url, self::METHOD_HEAD, $headers);
 166     }
 167
 168     /**
 169      * Convenience function to POST form data.
 170      *
 171      * @param string $url
 172      * @param array $headers optional associative array of HTTP headers
 173      * @param array $data optional associative array or blob of form data to submit
 174      * @return HTTPResponse
 175      * @throws HTTP_Request2_Exception
 176      */
 177     public function post($url, $headers=array(), $data=array())
 178     {
 179         if ($data) {
 180             $this->addPostParameter($data);
 181         }
 182         return $this->doRequest($url, self::METHOD_POST, $headers);
 183     }
 184
 185     /**
 186      * @return HTTPResponse
 187      * @throws HTTP_Request2_Exception
 188      */
 189     protected function doRequest($url, $method, $headers)
 190     {
 191         $this->setUrl($url);
 192         $this->setMethod($method);
 193         if ($headers) {
 194             foreach ($headers as $header) {
 195                 $this->setHeader($header);
 196             }
 197         }
 198         $response = $this->send();
 199         return $response;
 200     }
 201
 202     protected function log($level, $detail) {
 203         $method = $this->getMethod();
 204         $url = $this->getUrl();
 205         common_log($level, __CLASS__ . ": HTTP $method $url - $detail");
 206     }
 207
 208     /**
 209      * Pulls up StatusNet's customized user-agent string, so services
 210      * we hit can track down the responsible software.
 211      *
 212      * @return string
 213      */
 214     function userAgent()
 215     {
 216         return "StatusNet/".STATUSNET_VERSION." (".STATUSNET_CODENAME.")";
 217     }
 218
 219     /**
 220      * Actually performs the HTTP request and returns an HTTPResponse object
 221      * with response body and header info.
 222      *
 223      * Wraps around parent send() to add logging and redirection processing.
 224      *
 225      * @return HTTPResponse
 226      * @throw HTTP_Request2_Exception
 227      */
 228     public function send()
 229     {
 230         $maxRedirs = intval($this->config['max_redirs']);
 231         if (empty($this->config['follow_redirects'])) {
 232             $maxRedirs = 0;
 233         }
 234         $redirs = 0;
 235         do {
 236             try {
 237                 $response = parent::send();
 238             } catch (HTTP_Request2_Exception $e) {
 239                 $this->log(LOG_ERR, $e->getMessage());
 240                 throw $e;
 241             }
 242             $code = $response->getStatus();
 243             if ($code >= 200 && $code < 300) {
 244                 $reason = $response->getReasonPhrase();
 245                 $this->log(LOG_INFO, "$code $reason");
 246             } elseif ($code >= 300 && $code < 400) {
 247                 $url = $this->getUrl();
 248                 $target = $response->getHeader('Location');
 249
 250                 if (++$redirs >= $maxRedirs) {
 251                     common_log(LOG_ERR, __CLASS__ . ": Too many redirects: skipping $code redirect from $url to $target");
 252                     break;
 253                 }
 254                 try {
 255                     $this->setUrl($target);
 256                     $this->setHeader('Referer', $url);
 257                     common_log(LOG_INFO, __CLASS__ . ": Following $code redirect from $url to $target");
 258                     continue;
 259                 } catch (HTTP_Request2_Exception $e) {
 260                     common_log(LOG_ERR, __CLASS__ . ": Invalid $code redirect from $url to $target");
 261                 }
 262             } else {
 263                 $reason = $response->getReasonPhrase();
 264                 $this->log(LOG_ERR, "$code $reason");
 265             }
 266             break;
 267         } while ($maxRedirs);
 268         return new HTTPResponse($response, $this->getUrl(), $redirs);
 269     }
 270 }