lib/httpclient.php

   1 <?php
   2 /**
   3  * StatusNet, the distributed open-source microblogging tool
   4  *
   5  * Utility for doing HTTP-related things
   6  *
   7  * PHP version 5
   8  *
   9  * LICENCE: This program is free software: you can redistribute it and/or modify
  10  * it under the terms of the GNU Affero General Public License as published by
  11  * the Free Software Foundation, either version 3 of the License, or
  12  * (at your option) any later version.
  13  *
  14  * This program is distributed in the hope that it will be useful,
  15  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  16  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17  * GNU Affero General Public License for more details.
  18  *
  19  * You should have received a copy of the GNU Affero General Public License
  20  * along with this program.  If not, see <http://www.gnu.org/licenses/>.
  21  *
  22  * @category  Action
  23  * @package   StatusNet
  24  * @author    Evan Prodromou <evan@status.net>
  25  * @copyright 2009 StatusNet, Inc.
  26  * @license   http://www.fsf.org/licensing/licenses/agpl-3.0.html GNU Affero General Public License version 3.0
  27  * @link      http://status.net/
  28  */
  29
  30 if (!defined('GNUSOCIAL')) {
  31     exit(1);
  32 }
  33
  34 require_once 'HTTP/Request2.php';
  35 require_once 'HTTP/Request2/Response.php';
  36
  37 /**
  38  * Useful structure for HTTP responses
  39  *
  40  * We make HTTP calls in several places, and we have several different
  41  * ways of doing them. This class hides the specifics of what underlying
  42  * library (curl or PHP-HTTP or whatever) that's used.
  43  *
  44  * This extends the HTTP_Request2_Response class with methods to get info
  45  * about any followed redirects.
  46  *
  47  * Originally used the name 'HTTPResponse' to match earlier code, but
  48  * this conflicts with a class in in the PECL HTTP extension.
  49  *
  50  * @category HTTP
  51  * @package StatusNet
  52  * @author Evan Prodromou <evan@status.net>
  53  * @author Brion Vibber <brion@status.net>
  54  * @license http://www.fsf.org/licensing/licenses/agpl-3.0.html GNU Affero General Public License version 3.0
  55  * @link http://status.net/
  56  */
  57 class GNUsocial_HTTPResponse extends HTTP_Request2_Response
  58 {
  59     function __construct(HTTP_Request2_Response $response, $url, $redirects=0)
  60     {
  61         foreach (get_object_vars($response) as $key => $val) {
  62             $this->$key = $val;
  63         }
  64         $this->url = strval($url);
  65         $this->redirectCount = intval($redirects);
  66     }
  67
  68     /**
  69      * Get the count of redirects that have been followed, if any.
  70      * @return int
  71      */
  72     function getRedirectCount()
  73     {
  74         return $this->redirectCount;
  75     }
  76
  77     /**
  78      * Gets the final target URL, after any redirects have been followed.
  79      * @return string URL
  80      */
  81     function getUrl()
  82     {
  83         return $this->url;
  84     }
  85
  86     /**
  87      * Check if the response is OK, generally a 200 or other 2xx status code.
  88      * @return bool
  89      */
  90     function isOk()
  91     {
  92         $status = $this->getStatus();
  93         return ($status >= 200 && $status < 300);
  94     }
  95 }
  96
  97 /**
  98  * Utility class for doing HTTP client stuff
  99  *
 100  * We make HTTP calls in several places, and we have several different
 101  * ways of doing them. This class hides the specifics of what underlying
 102  * library (curl or PHP-HTTP or whatever) that's used.
 103  *
 104  * This extends the PEAR HTTP_Request2 package:
 105  * - sends StatusNet-specific User-Agent header
 106  * - 'follow_redirects' config option, defaulting on
 107  * - 'max_redirs' config option, defaulting to 10
 108  * - extended response class adds getRedirectCount() and getUrl() methods
 109  * - get() and post() convenience functions return body content directly
 110  *
 111  * @category HTTP
 112  * @package  StatusNet
 113  * @author   Evan Prodromou <evan@status.net>
 114  * @author   Brion Vibber <brion@status.net>
 115  * @license  http://www.fsf.org/licensing/licenses/agpl-3.0.html GNU Affero General Public License version 3.0
 116  * @link     http://status.net/
 117  */
 118
 119 class HTTPClient extends HTTP_Request2
 120 {
 121
 122     function __construct($url=null, $method=self::METHOD_GET, $config=array())
 123     {
 124         $this->config['max_redirs'] = 10;
 125         $this->config['follow_redirects'] = true;
 126
 127         // We've had some issues with keepalive breaking with
 128         // HEAD requests, such as to youtube which seems to be
 129         // emitting chunked encoding info for an empty body
 130         // instead of not emitting anything. This may be a
 131         // bug on YouTube's end, but the upstream libray
 132         // ought to be investigated to see if we can handle
 133         // it gracefully in that case as well.
 134         $this->config['protocol_version'] = '1.0';
 135
 136         // Default state of OpenSSL seems to have no trusted
 137         // SSL certificate authorities, which breaks hostname
 138         // verification and means we have a hard time communicating
 139         // with other sites' HTTPS interfaces.
 140         //
 141         // Turn off verification unless we've configured a CA bundle.
 142         if (common_config('http', 'ssl_cafile')) {
 143             $this->config['ssl_cafile'] = common_config('http', 'ssl_cafile');
 144         } else {
 145             $this->config['ssl_verify_peer'] = false;
 146         }
 147
 148         // This means "verify the cert hostname against what we connect to", it does not
 149         // imply CA trust or anything like that. Just the hostname.
 150         $this->config['ssl_verify_host'] = common_config('http', 'ssl_verify_host');
 151
 152         if (common_config('http', 'curl') && extension_loaded('curl')) {
 153             $this->config['adapter'] = 'HTTP_Request2_Adapter_Curl';
 154         }
 155
 156         foreach (array('host', 'port', 'user', 'password', 'auth_scheme') as $cf) {
 157             $k = 'proxy_'.$cf;
 158             $v = common_config('http', $k);
 159             if (!empty($v)) {
 160                 $this->config[$k] = $v;
 161             }
 162         }
 163
 164         parent::__construct($url, $method, $config);
 165         $this->setHeader('User-Agent', self::userAgent());
 166     }
 167
 168     /**
 169      * Convenience/back-compat instantiator
 170      * @return HTTPClient
 171      */
 172     public static function start()
 173     {
 174         return new HTTPClient();
 175     }
 176
 177     /**
 178      * Quick static function to GET a URL
 179      */
 180     public static function quickGet($url, $accept=null, $params=array())
 181     {
 182         if (!empty($params)) {
 183             $params = http_build_query($params, null, '&');
 184             if (strpos($url, '?') === false) {
 185                 $url .= '?' . $params;
 186             } else {
 187                 $url .= '&' . $params;
 188             }
 189         }
 190
 191         $client = new HTTPClient();
 192         if (!is_null($accept)) {
 193             $client->setHeader('Accept', $accept);
 194         }
 195         $response = $client->get($url);
 196         if (!$response->isOk()) {
 197             // TRANS: Exception. %s is a profile URL.
 198             throw new Exception(sprintf(_m('Could not GET URL %s.'), $url), $response->getStatus());
 199         }
 200         return $response->getBody();
 201     }
 202
 203     public static function quickGetJson($url, $params=array())
 204     {
 205         $data = json_decode(self::quickGet($url, null, $params));
 206         if (is_null($data)) {
 207             common_debug('Could not decode JSON data from URL: '.$url);
 208             throw new ServerException('Could not decode JSON data from URL');
 209         }
 210         return $data;
 211     }
 212
 213     /**
 214      * Convenience function to run a GET request.
 215      *
 216      * @return GNUsocial_HTTPResponse
 217      * @throws HTTP_Request2_Exception
 218      */
 219     public function get($url, $headers=array())
 220     {
 221         return $this->doRequest($url, self::METHOD_GET, $headers);
 222     }
 223
 224     /**
 225      * Convenience function to run a HEAD request.
 226      *
 227      * NOTE: Will probably turn into a GET request if you let it follow redirects!
 228      *       That option is only there to be flexible and may be removed in the future!
 229      *
 230      * @return GNUsocial_HTTPResponse
 231      * @throws HTTP_Request2_Exception
 232      */
 233     public function head($url, $headers=array(), $follow_redirects=false)
 234     {
 235         // Save the configured value for follow_redirects
 236         $old_follow = $this->config['follow_redirects'];
 237         try {
 238             // Temporarily (possibly) override the follow_redirects setting
 239             $this->config['follow_redirects'] = $follow_redirects;
 240             return $this->doRequest($url, self::METHOD_HEAD, $headers);
 241         } catch (Exception $e) {
 242             // reset to the old value
 243             $this->config['follow_redirects'] = $old_follow;
 244
 245             // Let the exception go on its merry way.
 246             throw $e;
 247         }
 248         //we've either returned or thrown exception here
 249
 250         // reset to the old value
 251         $this->config['follow_redirects'] = $old_follow;
 252     }
 253
 254     /**
 255      * Convenience function to POST form data.
 256      *
 257      * @param string $url
 258      * @param array $headers optional associative array of HTTP headers
 259      * @param array $data optional associative array or blob of form data to submit
 260      * @return GNUsocial_HTTPResponse
 261      * @throws HTTP_Request2_Exception
 262      */
 263     public function post($url, $headers=array(), $data=array())
 264     {
 265         if ($data) {
 266             $this->addPostParameter($data);
 267         }
 268         return $this->doRequest($url, self::METHOD_POST, $headers);
 269     }
 270
 271     /**
 272      * @return GNUsocial_HTTPResponse
 273      * @throws HTTP_Request2_Exception
 274      */
 275     protected function doRequest($url, $method, $headers)
 276     {
 277         $this->setUrl($url);
 278
 279         // Workaround for HTTP_Request2 not setting up SNI in socket contexts;
 280         // This fixes cert validation for SSL virtual hosts using SNI.
 281         // Requires PHP 5.3.2 or later and OpenSSL with SNI support.
 282         if ($this->url->getScheme() == 'https' && defined('OPENSSL_TLSEXT_SERVER_NAME')) {
 283             $this->config['ssl_SNI_enabled'] = true;
 284             $this->config['ssl_SNI_server_name'] = $this->url->getHost();
 285         }
 286
 287         $this->setMethod($method);
 288         if ($headers) {
 289             foreach ($headers as $header) {
 290                 $this->setHeader($header);
 291             }
 292         }
 293         $response = $this->send();
 294         return $response;
 295     }
 296
 297     protected function log($level, $detail) {
 298         $method = $this->getMethod();
 299         $url = $this->getUrl();
 300         common_log($level, __CLASS__ . ": HTTP $method $url - $detail");
 301     }
 302
 303     /**
 304      * Pulls up GNU Social's customized user-agent string, so services
 305      * we hit can track down the responsible software.
 306      *
 307      * @return string
 308      */
 309     static public function userAgent()
 310     {
 311         return GNUSOCIAL_ENGINE . '/' . GNUSOCIAL_VERSION
 312                 . ' (' . GNUSOCIAL_CODENAME . ')';
 313     }
 314
 315     /**
 316      * Actually performs the HTTP request and returns a
 317      * GNUsocial_HTTPResponse object with response body and header info.
 318      *
 319      * Wraps around parent send() to add logging and redirection processing.
 320      *
 321      * @return GNUsocial_HTTPResponse
 322      * @throw HTTP_Request2_Exception
 323      */
 324     public function send()
 325     {
 326         $maxRedirs = intval($this->config['max_redirs']);
 327         if (empty($this->config['follow_redirects'])) {
 328             $maxRedirs = 0;
 329         }
 330         $redirs = 0;
 331         do {
 332             try {
 333                 $response = parent::send();
 334             } catch (HTTP_Request2_Exception $e) {
 335                 $this->log(LOG_ERR, $e->getMessage());
 336                 throw $e;
 337             }
 338             $code = $response->getStatus();
 339             if ($code >= 200 && $code < 300) {
 340                 $reason = $response->getReasonPhrase();
 341                 $this->log(LOG_INFO, "$code $reason");
 342             } elseif ($code >= 300 && $code < 400) {
 343                 $url = $this->getUrl();
 344                 $target = $response->getHeader('Location');
 345
 346                 if (++$redirs >= $maxRedirs) {
 347                     common_log(LOG_ERR, __CLASS__ . ": Too many redirects: skipping $code redirect from $url to $target");
 348                     break;
 349                 }
 350                 try {
 351                     $this->setUrl($target);
 352                     $this->setHeader('Referer', $url);
 353                     common_log(LOG_INFO, __CLASS__ . ": Following $code redirect from $url to $target");
 354                     continue;
 355                 } catch (HTTP_Request2_Exception $e) {
 356                     common_log(LOG_ERR, __CLASS__ . ": Invalid $code redirect from $url to $target");
 357                 }
 358             } else {
 359                 $reason = $response->getReasonPhrase();
 360                 $this->log(LOG_ERR, "$code $reason");
 361             }
 362             break;
 363         } while ($maxRedirs);
 364         return new GNUsocial_HTTPResponse($response, $this->getUrl(), $redirs);
 365     }
 366 }