]> git.mxchange.org Git - friendica.git/commitdiff
Improve the queries on the network page
authorMichael <heluecht@pirati.ca>
Sun, 25 Feb 2018 21:33:15 +0000 (21:33 +0000)
committerMichael <heluecht@pirati.ca>
Sun, 25 Feb 2018 21:33:15 +0000 (21:33 +0000)
include/conversation.php
mod/network.php

index bc0a7586827bb2537a8e52cb5ed69927cb0aa6ad..302d92394695b9db5525caf860e130262d5dec00 100644 (file)
@@ -496,7 +496,7 @@ function item_condition() {
  * that are based on unique features of the calling module.
  *
  */
-function conversation(App $a, $items, $mode, $update, $preview = false) {
+function conversation(App $a, $items, $mode, $update, $preview = false, $ordering = '') {
        require_once 'mod/proxy.php';
 
        $ssl_state = ((local_user()) ? true : false);
@@ -520,6 +520,7 @@ function conversation(App $a, $items, $mode, $update, $preview = false) {
        $previewing = (($preview) ? ' preview ' : '');
 
        if ($mode === 'network') {
+               $items = community_add_items($items, $ordering);
                $profile_owner = local_user();
                if (!$update) {
                        /*
@@ -580,7 +581,7 @@ function conversation(App $a, $items, $mode, $update, $preview = false) {
                                . " var profile_page = 1; </script>";
                }
        } elseif ($mode === 'community') {
-               $items = community_add_items($items);
+               $items = community_add_items($items, $ordering);
                $profile_owner = 0;
                if (!$update) {
                        $live_update_div = '<div id="live-community"></div>' . "\r\n"
@@ -899,7 +900,7 @@ function conversation(App $a, $items, $mode, $update, $preview = false) {
  *
  * @return array items with parents and comments
  */
-function community_add_items($parents) {
+function community_add_items($parents, $ordering = "`commented`") {
        $max_comments = Config::get("system", "max_comments", 100);
 
        $items = [];
@@ -949,7 +950,7 @@ function community_add_items($parents) {
                }
        }
 
-       $items = conv_sort($items, "`commented`");
+       $items = conv_sort($items, $ordering);
 
        return $items;
 }
index 3013e94984101597289ee99d94b1f101e20493c2..3ddb7dd2fdc7156d3e16c5a0d2c485777cd9c30b 100644 (file)
@@ -340,12 +340,12 @@ function networkSetSeen($condition)
  * @param integer $update Used for the automatic reloading
  * @return string HTML of the conversation
  */
-function networkConversation($a, $items, $mode, $update)
+function networkConversation($a, $items, $mode, $update, $ordering = '')
 {
        // Set this so that the conversation function can find out contact info for our wall-wall items
        $a->page_contact = $a->contact;
 
-       $o = conversation($a, $items, $mode, $update);
+       $o = conversation($a, $items, $mode, $update, $ordering);
 
        if (!$update) {
                if (PConfig::get(local_user(), 'system', 'infinite_scroll')) {
@@ -764,9 +764,10 @@ function networkThreadedView(App $a, $update = 0)
                } else {
                        $sql_extra4 = '';
                }
-               $r = q("SELECT `item`.`parent` AS `item_id`, `item`.`network` AS `item_network`, `contact`.`uid` AS `contact_uid`, $sql_order AS `order_date`
-                       FROM $sql_table $sql_post_table INNER JOIN `contact` ON `contact`.`id` = `item`.`contact-id`
-                       AND (NOT `contact`.`blocked` OR `contact`.`pending`)
+               $r = q("SELECT `item`.`uri`, `item`.`parent` AS `item_id`, $sql_order AS `order_date`
+                       FROM `item` $sql_post_table
+                       STRAIGHT_JOIN `contact` ON `contact`.`id` = `item`.`contact-id`
+                               AND (NOT `contact`.`blocked` OR `contact`.`pending`)
                        WHERE `item`.`uid` = %d AND `item`.`visible` AND NOT `item`.`deleted` $sql_extra4
                        AND NOT `item`.`moderated` AND `item`.`unseen`
                        $sql_extra3 $sql_extra $sql_range $sql_nets
@@ -774,13 +775,15 @@ function networkThreadedView(App $a, $update = 0)
                        intval(local_user())
                );
        } else {
-               $r = q("SELECT `thread`.`iid` AS `item_id`, `thread`.`network` AS `item_network`, `contact`.`uid` AS `contact_uid`, $sql_order AS `order_date`
-                       FROM $sql_table $sql_post_table STRAIGHT_JOIN `contact` ON `contact`.`id` = `thread`.`contact-id`
-                       AND (NOT `contact`.`blocked` OR `contact`.`pending`)
+               $r = q("SELECT `item`.`uri`, `thread`.`iid` AS `item_id`, $sql_order AS `order_date`
+                       FROM `thread` $sql_post_table
+                       STRAIGHT_JOIN `contact` ON `contact`.`id` = `thread`.`contact-id`
+                               AND (NOT `contact`.`blocked` OR `contact`.`pending`)
+                       STRAIGHT_JOIN `item` ON `item`.`id` = `thread`.`iid`
                        WHERE `thread`.`uid` = %d AND `thread`.`visible` AND NOT `thread`.`deleted`
                        AND NOT `thread`.`moderated`
                        $sql_extra2 $sql_extra3 $sql_range $sql_extra $sql_nets
-                       ORDER BY $sql_order DESC $pager_sql",
+                       ORDER BY `order_date` DESC $pager_sql",
                        intval(local_user())
                );
        }
@@ -790,16 +793,22 @@ function networkThreadedView(App $a, $update = 0)
                if (DBM::is_result($r)) {
                        $top_limit = current($r)['order_date'];
                        $bottom_limit = end($r)['order_date'];
+                       if (empty($_SESSION['network_last_top_limit']) || ($_SESSION['network_last_top_limit'] < $top_limit)) {
+                               $_SESSION['network_last_top_limit'] = $top_limit;
+                       }
                } else {
                        $top_limit = DateTimeFormat::utcNow();
                        $bottom_limit = DateTimeFormat::utcNow();
                }
 
                // When checking for updates we need to fetch from the newest date to the newest date before
-               if ($update && !empty($_SESSION['network_last_date']) && ($bottom_limit > $_SESSION['network_last_date'])) {
+               // Only do this, when the last stored date isn't too long ago
+               if ($update && !empty($_SESSION['network_last_date']) && ($bottom_limit > $_SESSION['network_last_date']) &&
+                       ((time() - $_SESSION['network_last_date_timestamp']) < 60)) {
                        $bottom_limit = $_SESSION['network_last_date'];
                }
-               $_SESSION['network_last_date'] = $top_limit;
+               $_SESSION['network_last_date'] = defaults($_SESSION, 'network_last_top_limit', $top_limit);
+               $_SESSION['network_last_date_timestamp'] = time();
 
                if ($last_date > $top_limit) {
                        $top_limit = $last_date;
@@ -808,58 +817,49 @@ function networkThreadedView(App $a, $update = 0)
                        $top_limit = DateTimeFormat::utcNow();
                }
 
-               $items = dba::p("SELECT `item`.`id` AS `item_id`, `item`.`network` AS `item_network`, `contact`.`uid` AS `contact_uid` FROM `item`
-                       INNER JOIN (SELECT `oid` FROM `term` WHERE `term` IN
+               $items = dba::p("SELECT `item`.`uri`, `item`.`id` AS `item_id`, `item`.$ordering AS `order_date` FROM `item`
+                       STRAIGHT_JOIN (SELECT `oid` FROM `term` WHERE `term` IN
                                (SELECT SUBSTR(`term`, 2) FROM `search` WHERE `uid` = ? AND `term` LIKE '#%') AND `otype` = ? AND `type` = ? AND `uid` = 0) AS `term`
                        ON `item`.`id` = `term`.`oid`
-                       INNER JOIN `contact` ON `contact`.`id` = `item`.`contact-id`
-                       INNER JOIN `contact` AS `author` ON `author`.`id`=`item`.`author-id`
+                       STRAIGHT_JOIN `contact` ON `contact`.`id` = `item`.`author-id`
                        WHERE `item`.`uid` = 0 AND `item`.$ordering < ? AND `item`.$ordering > ?
-                               AND NOT `author`.`hidden` AND NOT `author`.`blocked`" . $sql_tag_nets,
+                               AND NOT `contact`.`hidden` AND NOT `contact`.`blocked`" . $sql_tag_nets,
                        local_user(), TERM_OBJ_POST, TERM_HASHTAG, $top_limit, $bottom_limit);
                $data = dba::inArray($items);
 
                if (count($data) > 0) {
-                       logger('Tagged items: ' . count($data) . ' - ' . $bottom_limit . ' - ' . $top_limit . ' - ' . local_user()); //$last_date);
-                       $r = array_merge($data, $r);
+                       $tag_top_limit = current($data)['order_date'];
+                       if ($_SESSION['network_last_date'] < $tag_top_limit) {
+                               $_SESSION['network_last_date'] = $tag_top_limit;
+                       }
+
+                       logger('Tagged items: ' . count($data) . ' - ' . $bottom_limit . ' - ' . $top_limit . ' - ' . local_user().' - '.(int)$update);
+                       $s = [];
+                       foreach ($r as $item) {
+                               $s[$item['uri']] = $item;
+                       }
+                       foreach ($data as $item) {
+                               $s[$item['uri']] = $item;
+                       }
+                       $r = $s;
                }
        }
 
-       // Then fetch all the children of the parents that are on this page
-
-       $parents_arr = [];
        $parents_str = '';
        $date_offset = '';
 
-       $items = [];
-       if (DBM::is_result($r)) {
-               foreach ($r as $rr) {
-                       if (!in_array($rr['item_id'], $parents_arr)) {
-                               $parents_arr[] = $rr['item_id'];
-                       }
-               }
+       $items = $r;
 
-               $parents_str = implode(', ', $parents_arr);
-
-               // splitted into separate queries to avoid the problem with very long threads
-               // so always the last X comments are loaded
-               // This problem can occur expecially with imported facebook posts
-               $max_comments = Config::get('system', 'max_comments');
-               if ($max_comments == 0) {
-                       $max_comments = 100;
-               }
-
-               foreach ($parents_arr AS $parents) {
-                       $thread_items = dba::p(item_query() . " AND `item`.`parent` = ?
-                               ORDER BY `item`.`commented` DESC LIMIT " . intval($max_comments + 1),
-                               $parents
-                       );
+       if (DBM::is_result($items)) {
+               $parents_arr = [];
 
-                       if (DBM::is_result($thread_items)) {
-                               $items = array_merge($items, dba::inArray($thread_items));
+               foreach ($items as $item) {
+                       if (!in_array($item['item_id'], $parents_arr)) {
+                               $parents_arr[] = $item['item_id'];
                        }
                }
-               $items = conv_sort($items, $ordering);
+
+               $parents_str = implode(', ', $parents_arr);
        }
 
        if (x($_GET, 'offset')) {
@@ -886,7 +886,7 @@ function networkThreadedView(App $a, $update = 0)
 
 
        $mode = 'network';
-       $o .= networkConversation($a, $items, $mode, $update);
+       $o .= networkConversation($a, $items, $mode, $update, $ordering);
 
        return $o;
 }