]> git.mxchange.org Git - friendica.git/blobdiff - src/Network/Probe.php
Centralized gsid generation
[friendica.git] / src / Network / Probe.php
index 735c6a7434004a182c0eccf156a3542f2d695fc0..5872ae587b53fe84efd4248699a98a2d9cf5c064 100644 (file)
@@ -1,24 +1,36 @@
 <?php
 /**
- * @file src/Network/Probe.php
+ * @copyright Copyright (C) 2020, Friendica
+ *
+ * @license GNU AGPL version 3 or any later version
+ *
+ * This program is free software: you can redistribute it and/or modify
+ * it under the terms of the GNU Affero General Public License as
+ * published by the Free Software Foundation, either version 3 of the
+ * License, or (at your option) any later version.
+ *
+ * This program is distributed in the hope that it will be useful,
+ * but WITHOUT ANY WARRANTY; without even the implied warranty of
+ * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
+ * GNU Affero General Public License for more details.
+ *
+ * You should have received a copy of the GNU Affero General Public License
+ * along with this program.  If not, see <https://www.gnu.org/licenses/>.
+ *
  */
-namespace Friendica\Network;
 
-/**
- * @file src/Network/Probe.php
- * @brief Functions for probing URL
- */
+namespace Friendica\Network;
 
 use DOMDocument;
 use DomXPath;
-use Friendica\Core\Cache;
-use Friendica\Core\Config;
+use Friendica\Core\Cache\Duration;
 use Friendica\Core\Logger;
 use Friendica\Core\Protocol;
 use Friendica\Core\System;
 use Friendica\Database\DBA;
 use Friendica\DI;
 use Friendica\Model\Contact;
+use Friendica\Model\GServer;
 use Friendica\Model\Profile;
 use Friendica\Protocol\ActivityNamespace;
 use Friendica\Protocol\ActivityPub;
@@ -30,8 +42,7 @@ use Friendica\Util\Strings;
 use Friendica\Util\XML;
 
 /**
- * @brief This class contain functions for probing URL
- *
+ * This class contain functions for probing URL
  */
 class Probe
 {
@@ -39,7 +50,32 @@ class Probe
        private static $istimeout;
 
        /**
-        * @brief Rearrange the array so that it always has the same order
+        * Remove stuff from an URI that doesn't belong there
+        *
+        * @param string $URI
+        * @return string Cleaned URI
+        */
+       public static function cleanURI(string $URI)
+       {
+               // At first remove leading and trailing junk
+               $URI = trim($URI, "@#?:/ \t\n\r\0\x0B");
+
+               $parts = parse_url($URI);
+
+               if (empty($parts['scheme'])) {
+                       return $URI;
+               }
+
+               // Remove the URL fragment, since these shouldn't be part of any profile URL
+               unset($parts['fragment']);
+
+               $URI = Network::unparseURL($parts);
+
+               return $URI;
+       }
+
+       /**
+        * Rearrange the array so that it always has the same order
         *
         * @param array $data Unordered data
         *
@@ -48,17 +84,19 @@ class Probe
        private static function rearrangeData($data)
        {
                $fields = ["name", "nick", "guid", "url", "addr", "alias", "photo", "account-type",
-                               "community", "keywords", "location", "about", "gender", "hide",
+                               "community", "keywords", "location", "about", "hide",
                                "batch", "notify", "poll", "request", "confirm", "poco",
                                "following", "followers", "inbox", "outbox", "sharedinbox",
-                               "priority", "network", "pubkey", "baseurl"];
+                               "priority", "network", "pubkey", "baseurl", "gsid"];
 
                $newdata = [];
                foreach ($fields as $field) {
                        if (isset($data[$field])) {
                                $newdata[$field] = $data[$field];
-                       } else {
+                       } elseif ($field != "gsid") {
                                $newdata[$field] = "";
+                       } else {
+                               $newdata[$field] = null;
                        }
                }
 
@@ -69,7 +107,7 @@ class Probe
        }
 
        /**
-        * @brief Check if the hostname belongs to the own server
+        * Check if the hostname belongs to the own server
         *
         * @param string $host The hostname that is to be checked
         *
@@ -92,7 +130,7 @@ class Probe
        }
 
        /**
-        * @brief Probes for webfinger path via "host-meta"
+        * Probes for webfinger path via "host-meta"
         *
         * We have to check if the servers in the future still will offer this.
         * It seems as if it was dropped from the standard.
@@ -107,27 +145,37 @@ class Probe
                // Reset the static variable
                self::$baseurl = '';
 
-               $ssl_url = "https://".$host."/.well-known/host-meta";
-               $url = "http://".$host."/.well-known/host-meta";
+               // Handles the case when the hostname contains the scheme
+               if (!parse_url($host, PHP_URL_SCHEME)) {
+                       $ssl_url = "https://" . $host . "/.well-known/host-meta";
+                       $url = "http://" . $host . "/.well-known/host-meta";
+               } else {
+                       $ssl_url = $host . "/.well-known/host-meta";
+                       $url = '';
+               }
 
-               $xrd_timeout = Config::get('system', 'xrd_timeout', 20);
+               $xrd_timeout = DI::config()->get('system', 'xrd_timeout', 20);
 
-               Logger::log("Probing for ".$host, Logger::DEBUG);
+               Logger::info('Probing', ['host' => $host, 'ssl_url' => $ssl_url, 'url' => $url, 'callstack' => System::callstack(20)]);
                $xrd = null;
 
                $curlResult = Network::curl($ssl_url, false, ['timeout' => $xrd_timeout, 'accept_content' => 'application/xrd+xml']);
                $ssl_connection_error = ($curlResult->getErrorNumber() == CURLE_COULDNT_CONNECT) || ($curlResult->getReturnCode() == 0);
                if ($curlResult->isSuccess()) {
                        $xml = $curlResult->getBody();
-                       $xrd = XML::parseString($xml, false);
-                       $host_url = 'https://'.$host;
+                       $xrd = XML::parseString($xml, true);
+                       if (!empty($url)) {
+                               $host_url = 'https://' . $host;
+                       } else {
+                               $host_url = $host;
+                       }
                } elseif ($curlResult->isTimeout()) {
                        Logger::info('Probing timeout', ['url' => $ssl_url], Logger::DEBUG);
                        self::$istimeout = true;
                        return false;
                }
 
-               if (!is_object($xrd)) {
+               if (!is_object($xrd) && !empty($url)) {
                        $curlResult = Network::curl($url, false, ['timeout' => $xrd_timeout, 'accept_content' => 'application/xrd+xml']);
                        $connection_error = ($curlResult->getErrorNumber() == CURLE_COULDNT_CONNECT) || ($curlResult->getReturnCode() == 0);
                        if ($curlResult->isTimeout()) {
@@ -140,7 +188,7 @@ class Probe
                        }
 
                        $xml = $curlResult->getBody();
-                       $xrd = XML::parseString($xml, false);
+                       $xrd = XML::parseString($xml, true);
                        $host_url = 'http://'.$host;
                }
                if (!is_object($xrd)) {
@@ -180,7 +228,7 @@ class Probe
        }
 
        /**
-        * @brief Perform Webfinger lookup and return DFRN data
+        * Perform Webfinger lookup and return DFRN data
         *
         * Given an email style address, perform webfinger lookup and
         * return the resulting DFRN profile URL, or if no DFRN profile URL
@@ -223,11 +271,29 @@ class Probe
        }
 
        /**
-        * @brief Check an URI for LRDD data
+        * Get the link for the remote follow page for a given profile link
         *
-        * this is a replacement for the "lrdd" function.
-        * It isn't used in this class and has some redundancies in the code.
-        * When time comes we can check the existing calls for "lrdd" if we can rework them.
+        * @param sting $profile
+        * @return string Remote follow page link
+        */
+       public static function getRemoteFollowLink(string $profile)
+       {
+               $follow_link = '';
+
+               $links = self::lrdd($profile);
+
+               if (!empty($links) && is_array($links)) {
+                       foreach ($links as $link) {
+                               if ($link['@attributes']['rel'] === ActivityNamespace::OSTATUSSUB) {
+                                       $follow_link = $link['@attributes']['template'];
+                               }
+                       }
+               }
+               return $follow_link;
+       }
+
+       /**
+        * Check an URI for LRDD data
         *
         * @param string $uri Address that should be probed
         *
@@ -249,7 +315,7 @@ class Probe
                                return [];
                        }
 
-                       $host = $parts["host"];
+                       $host = $parts['scheme'] . '://' . $parts["host"];
                        if (!empty($parts["port"])) {
                                $host .= ':'.$parts["port"];
                        }
@@ -307,7 +373,7 @@ class Probe
                        $data[] = ["@attributes" => $link];
                }
 
-               if (is_array($webfinger["aliases"])) {
+               if (!empty($webfinger["aliases"]) && is_array($webfinger["aliases"])) {
                        foreach ($webfinger["aliases"] as $alias) {
                                $data[] = ["@attributes" =>
                                                        ["rel" => "alias",
@@ -319,7 +385,7 @@ class Probe
        }
 
        /**
-        * @brief Fetch information (protocol endpoints and user information) about a given uri
+        * Fetch information (protocol endpoints and user information) about a given uri
         *
         * @param string  $uri     Address that should be probed
         * @param string  $network Test for this specific network
@@ -333,7 +399,7 @@ class Probe
        public static function uri($uri, $network = '', $uid = -1, $cache = true)
        {
                if ($cache) {
-                       $result = Cache::get('Probe::uri:' . $network . ':' . $uri);
+                       $result = DI::cache()->get('Probe::uri:' . $network . ':' . $uri);
                        if (!is_null($result)) {
                                return $result;
                        }
@@ -373,7 +439,7 @@ class Probe
                if (!empty($data['photo']) && !empty($data['baseurl'])) {
                        $data['baseurl'] = Network::getUrlMatch(Strings::normaliseLink($data['baseurl']), Strings::normaliseLink($data['photo']));
                } elseif (empty($data['photo'])) {
-                       $data['photo'] = System::baseUrl() . '/images/person-300.jpg';
+                       $data['photo'] = DI::baseUrl() . '/images/person-300.jpg';
                }
 
                if (empty($data['name'])) {
@@ -398,10 +464,19 @@ class Probe
                        $data['baseurl'] = self::$baseurl;
                }
 
+               if (!empty($data['baseurl']) && empty($data['gsid'])) {
+                       $data['gsid'] = GServer::getID($data['baseurl']);
+               }
+
                if (empty($data['network'])) {
                        $data['network'] = Protocol::PHANTOM;
                }
 
+               // Ensure that local connections always are DFRN
+               if (($network == '') && ($data['network'] != Protocol::PHANTOM) && (self::ownHost($data['baseurl'] ?? '') || self::ownHost($data['url']))) {
+                       $data['network'] = Protocol::DFRN;
+               }
+
                if (!isset($data['hide']) && in_array($data['network'], Protocol::FEDERATED)) {
                        $data['hide'] = self::getHideStatus($data['url']);
                }
@@ -410,7 +485,7 @@ class Probe
 
                // Only store into the cache if the value seems to be valid
                if (!in_array($data['network'], [Protocol::PHANTOM, Protocol::MAIL])) {
-                       Cache::set('Probe::uri:' . $network . ':' . $uri, $data, Cache::DAY);
+                       DI::cache()->set('Probe::uri:' . $network . ':' . $uri, $data, Duration::DAY);
                }
 
                return $data;
@@ -481,7 +556,7 @@ class Probe
        }
 
        /**
-        * @brief Checks if a profile url should be OStatus but only provides partial information
+        * Checks if a profile url should be OStatus but only provides partial information
         *
         * @param array  $webfinger Webfinger data
         * @param string $lrdd      Path template for webfinger request
@@ -525,7 +600,7 @@ class Probe
        }
 
        /**
-        * @brief Fetch information (protocol endpoints and user information) about a given uri
+        * Fetch information (protocol endpoints and user information) about a given uri
         *
         * This function is only called by the "uri" function that adds caching and rearranging of data.
         *
@@ -813,9 +888,6 @@ class Probe
                        if (!empty($profile['description'])) {
                                $data['about'] = $profile['description'];
                        }
-                       if (!empty($profile['gender'])) {
-                               $data['gender'] = $profile['gender'];
-                       }
                        if (!empty($profile['keywords'])) {
                                $keywords = implode(', ', $profile['keywords']);
                                if (!empty($keywords)) {
@@ -830,9 +902,6 @@ class Probe
                        if (!empty($profile['country'])) {
                                $loc['country-name'] = $profile['country'];
                        }
-                       if (!empty($profile['hometown'])) {
-                               $loc['locality'] = $profile['hometown'];
-                       }
                        $location = Profile::formatLocation($loc);
                        if (!empty($location)) {
                                $data['location'] = $location;
@@ -843,7 +912,7 @@ class Probe
        }
 
        /**
-        * @brief Perform a webfinger request.
+        * Perform a webfinger request.
         *
         * For details see RFC 7033: <https://tools.ietf.org/html/rfc7033>
         *
@@ -855,7 +924,7 @@ class Probe
         */
        private static function webfinger($url, $type)
        {
-               $xrd_timeout = Config::get('system', 'xrd_timeout', 20);
+               $xrd_timeout = DI::config()->get('system', 'xrd_timeout', 20);
 
                $curlResult = Network::curl($url, false, ['timeout' => $xrd_timeout, 'accept_content' => $type]);
                if ($curlResult->isTimeout()) {
@@ -874,7 +943,7 @@ class Probe
                }
 
                // If it is not JSON, maybe it is XML
-               $xrd = XML::parseString($data, false);
+               $xrd = XML::parseString($data, true);
                if (!is_object($xrd)) {
                        Logger::log("No webfinger data retrievable for ".$url, Logger::DEBUG);
                        return false;
@@ -913,7 +982,7 @@ class Probe
        }
 
        /**
-        * @brief Poll the Friendica specific noscrape page.
+        * Poll the Friendica specific noscrape page.
         *
         * "noscrape" is a faster alternative to fetch the data from the hcard.
         * This functionality was originally created for the directory.
@@ -979,10 +1048,6 @@ class Probe
                        $data["about"] = $json["about"];
                }
 
-               if (!empty($json["gender"])) {
-                       $data["gender"] = $json["gender"];
-               }
-
                if (!empty($json["key"])) {
                        $data["pubkey"] = $json["key"];
                }
@@ -1017,7 +1082,7 @@ class Probe
        }
 
        /**
-        * @brief Check for valid DFRN data
+        * Check for valid DFRN data
         *
         * @param array $data DFRN data
         *
@@ -1045,7 +1110,7 @@ class Probe
        }
 
        /**
-        * @brief Fetch data from a DFRN profile page and via "noscrape"
+        * Fetch data from a DFRN profile page and via "noscrape"
         *
         * @param string $profile_link Link to the profile page
         *
@@ -1097,7 +1162,7 @@ class Probe
        }
 
        /**
-        * @brief Check for DFRN contact
+        * Check for DFRN contact
         *
         * @param array $webfinger Webfinger data
         *
@@ -1177,7 +1242,7 @@ class Probe
        }
 
        /**
-        * @brief Poll the hcard page (Diaspora and Friendica specific)
+        * Poll the hcard page (Diaspora and Friendica specific)
         *
         * @param string  $hcard_url Link to the hcard page
         * @param array   $data      The already fetched data
@@ -1305,7 +1370,7 @@ class Probe
        }
 
        /**
-        * @brief Check for Diaspora contact
+        * Check for Diaspora contact
         *
         * @param array $webfinger Webfinger data
         *
@@ -1393,7 +1458,7 @@ class Probe
        }
 
        /**
-        * @brief Check for OStatus contact
+        * Check for OStatus contact
         *
         * @param array $webfinger Webfinger data
         * @param bool  $short     Short detection mode
@@ -1481,10 +1546,7 @@ class Probe
                        return false;
                }
                $feed = $curlResult->getBody();
-               $dummy1 = null;
-               $dummy2 = null;
-               $dummy2 = null;
-               $feed_data = Feed::import($feed, $dummy1, $dummy2, $dummy3, true);
+               $feed_data = Feed::import($feed);
                if (!$feed_data) {
                        return false;
                }
@@ -1523,7 +1585,7 @@ class Probe
        }
 
        /**
-        * @brief Fetch data from a pump.io profile page
+        * Fetch data from a pump.io profile page
         *
         * @param string $profile_link Link to the profile page
         *
@@ -1584,7 +1646,7 @@ class Probe
        }
 
        /**
-        * @brief Check for pump.io contact
+        * Check for pump.io contact
         *
         * @param array  $webfinger Webfinger data
         * @param string $addr
@@ -1641,7 +1703,7 @@ class Probe
        }
 
        /**
-        * @brief Check for twitter contact
+        * Check for twitter contact
         *
         * @param string $uri
         *
@@ -1701,7 +1763,7 @@ class Probe
        }
 
        /**
-        * @brief Check page for feed link
+        * Check page for feed link
         *
         * @param string $url Page link
         *
@@ -1748,7 +1810,7 @@ class Probe
        }
 
        /**
-        * @brief Check for feed contact
+        * Check for feed contact
         *
         * @param string  $url   Profile link
         * @param boolean $probe Do a probe if the page contains a feed link
@@ -1764,8 +1826,7 @@ class Probe
                        return false;
                }
                $feed = $curlResult->getBody();
-               $dummy1 = $dummy2 = $dummy3 = null;
-               $feed_data = Feed::import($feed, $dummy1, $dummy2, $dummy3, true);
+               $feed_data = Feed::import($feed);
 
                if (!$feed_data) {
                        if (!$probe) {
@@ -1812,7 +1873,7 @@ class Probe
        }
 
        /**
-        * @brief Check for mail contact
+        * Check for mail contact
         *
         * @param string  $uri Profile link
         * @param integer $uid User ID
@@ -1900,7 +1961,7 @@ class Probe
        }
 
        /**
-        * @brief Mix two paths together to possibly fix missing parts
+        * Mix two paths together to possibly fix missing parts
         *
         * @param string $avatar Path to the avatar
         * @param string $base   Another path that is hopefully complete