src/Content/Text/Plaintext.php

   1 <?php
   2 /**
   3  * @copyright Copyright (C) 2010-2023, the Friendica project
   4  *
   5  * @license GNU AGPL version 3 or any later version
   6  *
   7  * This program is free software: you can redistribute it and/or modify
   8  * it under the terms of the GNU Affero General Public License as
   9  * published by the Free Software Foundation, either version 3 of the
  10  * License, or (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU Affero General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Affero General Public License
  18  * along with this program.  If not, see <https://www.gnu.org/licenses/>.
  19  *
  20  */
  21
  22 namespace Friendica\Content\Text;
  23
  24 use Friendica\Core\Protocol;
  25 use Friendica\DI;
  26 use Friendica\Util\Network;
  27
  28 class Plaintext
  29 {
  30         // Assumed length of an URL when shortened via the network's own url shortener (e.g. Twitter)
  31         const URL_LENGTH = 23;
  32
  33         /**
  34          * Shortens message
  35          *
  36          * @param  string $msg
  37          * @param  int    $limit
  38          * @param  int    $uid
  39          * @return string
  40          *
  41          * @todo For Twitter URLs aren't shortened, but they have to be calculated as if.
  42          */
  43         public static function shorten(string $msg, int $limit, int $uid = 0): string
  44         {
  45                 $ellipsis = html_entity_decode("&#x2026;", ENT_QUOTES, 'UTF-8');
  46
  47                 if (!empty($uid) && DI::pConfig()->get($uid, 'system', 'simple_shortening')) {
  48                         return mb_substr(mb_substr(trim($msg), 0, $limit), 0, -3) . $ellipsis;
  49                 }
  50
  51                 $lines = explode("\n", $msg);
  52                 $msg = "";
  53                 $recycle = html_entity_decode("&#x2672; ", ENT_QUOTES, 'UTF-8');
  54                 foreach ($lines as $row => $line) {
  55                         if (mb_strlen(trim($msg . "\n" . $line)) <= $limit) {
  56                                 $msg = trim($msg . "\n" . $line);
  57                         } elseif (($msg == "") || (($row == 1) && (substr($msg, 0, 4) == $recycle))) {
  58                                 // Is the new message empty by now or is it a reshared message?
  59                                 $msg = mb_substr(mb_substr(trim($msg . "\n" . $line), 0, $limit), 0, -3) . $ellipsis;
  60                         } else {
  61                                 break;
  62                         }
  63                 }
  64
  65                 return $msg;
  66         }
  67
  68         /**
  69          * Returns the character positions of the provided boundaries, optionally skipping a number of first occurrences
  70          *
  71          * @param string $text        Text to search
  72          * @param string $open        Left boundary
  73          * @param string $close       Right boundary
  74          * @param int    $occurrences Number of first occurrences to skip
  75          * @return boolean|array
  76          */
  77         public static function getBoundariesPosition($text, $open, $close, $occurrences = 0)
  78         {
  79                 if ($occurrences < 0) {
  80                         $occurrences = 0;
  81                 }
  82
  83                 $start_pos = -1;
  84                 for ($i = 0; $i <= $occurrences; $i++) {
  85                         if ($start_pos !== false) {
  86                                 $start_pos = strpos($text, $open, $start_pos + 1);
  87                         }
  88                 }
  89
  90                 if ($start_pos === false) {
  91                         return false;
  92                 }
  93
  94                 $end_pos = strpos($text, $close, $start_pos);
  95
  96                 if ($end_pos === false) {
  97                         return false;
  98                 }
  99
 100                 $res = ['start' => $start_pos, 'end' => $end_pos];
 101
 102                 return $res;
 103         }
 104
 105         /**
 106          * Convert a message into plaintext for connectors to other networks
 107          *
 108          * @param array  $item           The message array that is about to be posted
 109          * @param int    $limit          The maximum number of characters when posting to that network
 110          * @param bool   $includedlinks  Has an attached link to be included into the message?
 111          * @param int    $htmlmode       This controls the behavior of the BBCode conversion
 112          * @param string $target_network Name of the network where the post should go to.
 113          *
 114          * @return array Same array structure than \Friendica\Content\Text\BBCode::getAttachedData
 115          * @throws \Friendica\Network\HTTPException\InternalServerErrorException
 116          * @see   \Friendica\Content\Text\BBCode::getAttachedData
 117          */
 118         public static function getPost(array $item, int $limit = 0, bool $includedlinks = false, int $htmlmode = BBCode::MASTODON_API, string $target_network = '')
 119         {
 120                 // Remove hashtags
 121                 $URLSearchString = '^\[\]';
 122                 $body = preg_replace("/([#@])\[url\=([$URLSearchString]*)\](.*?)\[\/url\]/ism", '$1$3', $item['body']);
 123
 124                 // Add an URL element if the text contains a raw link
 125                 $body = preg_replace(
 126                         '/([^\]\=\'"]|^)(https?\:\/\/[a-zA-Z0-9\:\/\-\?\&\;\.\=\_\~\#\%\$\!\+\,]+)/ism',
 127                         '$1[url]$2[/url]',
 128                         $body
 129                 );
 130
 131                 // Remove the abstract
 132                 $body = BBCode::stripAbstract($body);
 133
 134                 // At first look at data that is attached via "type-..." stuff
 135                 $post = BBCode::getAttachmentData($body, $item);
 136
 137                 if (($item['title'] != '') && ($post['text'] != '')) {
 138                         $post['text'] = trim($item['title'] . "\n\n" . $post['text']);
 139                 } elseif ($item['title'] != '') {
 140                         $post['text'] = trim($item['title']);
 141                 }
 142
 143                 $abstract = '';
 144
 145                 // Fetch the abstract from the given target network
 146                 if ($target_network != '') {
 147                         $default_abstract = BBCode::getAbstract($item['body']);
 148                         $abstract = BBCode::getAbstract($item['body'], $target_network);
 149
 150                         // If we post to a network with no limit we only fetch
 151                         // an abstract exactly for this network
 152                         if (($limit == 0) && ($abstract == $default_abstract)) {
 153                                 $abstract = '';
 154                         }
 155                 } else { // Try to guess the correct target network
 156                         switch ($htmlmode) {
 157                                 case BBCode::TWITTER:
 158                                         $abstract = BBCode::getAbstract($item['body'], Protocol::TWITTER);
 159                                         break;
 160
 161                                 case BBCode::OSTATUS:
 162                                         $abstract = BBCode::getAbstract($item['body'], Protocol::STATUSNET);
 163                                         break;
 164
 165                                 default: // We don't know the exact target.
 166                                         // We fetch an abstract since there is a posting limit.
 167                                         if ($limit > 0) {
 168                                                 $abstract = BBCode::getAbstract($item['body']);
 169                                         }
 170                         }
 171                 }
 172
 173                 if ($abstract != '') {
 174                         $post['text'] = $abstract;
 175
 176                         if ($post['type'] == 'text') {
 177                                 $post['type'] = 'link';
 178                                 $post['url'] = $item['plink'];
 179                         }
 180                 }
 181
 182                 $html = BBCode::convertForUriId($item['uri-id'], $post['text'] . ($post['after'] ?? ''), $htmlmode);
 183                 $msg = HTML::toPlaintext($html, 0, true);
 184                 $msg = trim(html_entity_decode($msg, ENT_QUOTES, 'UTF-8'));
 185
 186                 $complete_msg = $msg;
 187
 188                 $link = '';
 189                 if ($includedlinks) {
 190                         if ($post['type'] == 'link') {
 191                                 $link = $post['url'];
 192                         } elseif ($post['type'] == 'text') {
 193                                 $link = $post['url'] ?? '';
 194                         } elseif ($post['type'] == 'video') {
 195                                 $link = $post['url'];
 196                         } elseif ($post['type'] == 'photo') {
 197                                 $link = $post['image'];
 198                         }
 199
 200                         if (($msg == '') && isset($post['title'])) {
 201                                 $msg = trim($post['title']);
 202                         }
 203
 204                         if (($msg == '') && isset($post['description'])) {
 205                                 $msg = trim($post['description']);
 206                         }
 207
 208                         // If the link is already contained in the post, then it neeedn't to be added again
 209                         // But: if the link is beyond the limit, then it has to be added.
 210                         if (($link != '') && strstr($msg, $link)) {
 211                                 $pos = strpos($msg, $link);
 212
 213                                 // Will the text be shortened in the link?
 214                                 // Or is the link the last item in the post?
 215                                 if (($limit > 0) && ($pos < $limit) && (($pos + self::URL_LENGTH > $limit) || ($pos + mb_strlen($link) == mb_strlen($msg)))) {
 216                                         $msg = trim(str_replace($link, '', $msg));
 217                                 } elseif (($limit == 0) || ($pos < $limit)) {
 218                                         // The limit has to be increased since it will be shortened - but not now
 219                                         // Only do it with Twitter
 220                                         if (($limit > 0) && (mb_strlen($link) > self::URL_LENGTH) && ($htmlmode == BBCode::TWITTER)) {
 221                                                 $limit = $limit - self::URL_LENGTH + mb_strlen($link);
 222                                         }
 223
 224                                         $link = '';
 225
 226                                         if ($post['type'] == 'text') {
 227                                                 unset($post['url']);
 228                                         }
 229                                 }
 230                         }
 231                 }
 232
 233                 if ($limit > 0) {
 234                         // Reduce multiple spaces
 235                         // When posted to a network with limited space, we try to gain space where possible
 236                         while (strpos($msg, '  ') !== false) {
 237                                 $msg = str_replace('  ', ' ', $msg);
 238                         }
 239
 240                         if (!in_array($link, ['', $item['plink']]) && ($post['type'] != 'photo') && (strpos($complete_msg, $link) === false)) {
 241                                 $complete_msg .= "\n" . $link;
 242                         }
 243
 244                         $post['parts'] = self::getParts(trim($complete_msg), $limit);
 245
 246                         // Twitter is using its own limiter, so we always assume that shortened links will have this length
 247                         if (mb_strlen($link) > 0) {
 248                                 $limit = $limit - self::URL_LENGTH;
 249                         }
 250
 251                         if (mb_strlen($msg) > $limit) {
 252                                 if (($post['type'] == 'text') && isset($post['url'])) {
 253                                         $post['url'] = $item['plink'];
 254                                 } elseif (!isset($post['url'])) {
 255                                         $limit = $limit - self::URL_LENGTH;
 256                                         $post['url'] = $item['plink'];
 257                                 } elseif (strpos($item['body'], '[share') !== false) {
 258                                         $post['url'] = $item['plink'];
 259                                 } elseif (DI::pConfig()->get($item['uid'], 'system', 'no_intelligent_shortening')) {
 260                                         $post['url'] = $item['plink'];
 261                                 }
 262                                 $msg = self::shorten($msg, $limit, $item['uid']);
 263                         }
 264                 }
 265
 266                 $post['text'] = trim($msg);
 267
 268                 return $post;
 269         }
 270
 271         /**
 272          * Split the message in parts
 273          *
 274          * @param string  $message
 275          * @param integer $baselimit
 276          * @return array
 277          */
 278         private static function getParts(string $message, int $baselimit): array
 279         {
 280                 $parts = [];
 281                 $part = '';
 282
 283                 $limit = $baselimit;
 284
 285                 while ($message) {
 286                         $pos1 = strpos($message, ' ');
 287                         $pos2 = strpos($message, "\n");
 288
 289                         if (($pos1 !== false) && ($pos2 !== false)) {
 290                                 $pos = min($pos1, $pos2) + 1;
 291                         } elseif ($pos1 !== false) {
 292                                 $pos = $pos1 + 1;
 293                         } elseif ($pos2 !== false) {
 294                                 $pos = $pos2 + 1;
 295                         } else {
 296                                 $word = $message;
 297                                 $message = '';
 298                         }
 299
 300                         if (trim($message)) {
 301                                 $word    = substr($message, 0, $pos);
 302                                 $message = trim(substr($message, $pos));
 303                         }
 304
 305                         if (Network::isValidHttpUrl(trim($word))) {
 306                                 $limit += mb_strlen(trim($word)) - self::URL_LENGTH;
 307                         }
 308
 309                         if ((mb_strlen($part . $word) > $limit - 8) && ($parts || (mb_strlen($part . $word . $message) > $limit))) {
 310                                 $parts[] = trim($part);
 311                                 $part    = '';
 312                                 $limit   = $baselimit;
 313                         }
 314                         $part .= $word;
 315                 }
 316                 $parts[] = trim($part);
 317
 318                 if (count($parts) > 1) {
 319                         foreach ($parts as $key => $part) {
 320                                 $parts[$key] .= ' (' . ($key + 1) . '/' . count($parts) . ')';
 321                         }
 322                 }
 323
 324                 return $parts;
 325         }
 326 }