]> git.mxchange.org Git - friendica.git/blob - include/html2plain.php
Detecting twitter profiles. This is added for the twitter import
[friendica.git] / include / html2plain.php
1 <?php
2 require_once("include/html2bbcode.php");
3
4 function breaklines($line, $level, $wraplength = 75)
5 {
6
7         if ($wraplength == 0)
8                 $wraplength = 2000000;
9
10         //      return($line);
11
12         $wraplen = $wraplength-$level;
13
14         $newlines = array();
15
16         do {
17                 $oldline = $line;
18
19                 $subline = substr($line, 0, $wraplen);
20
21                 $pos = strrpos($subline, ' ');
22
23                 if ($pos == 0)
24                         $pos = strpos($line, ' ');
25
26                 if (($pos > 0) and strlen($line) > $wraplen) {
27                         $newline = trim(substr($line, 0, $pos));
28                         if ($level > 0)
29                                 $newline = str_repeat(">", $level).' '.$newline;
30
31                         $newlines[] = $newline." ";
32                         $line = substr($line, $pos+1);
33                 }
34
35         } while ((strlen($line) > $wraplen) and !($oldline == $line));
36
37         if ($level > 0)
38                 $line = str_repeat(">", $level).' '.$line;
39
40         $newlines[] = $line;
41
42
43         return(implode($newlines, "\n"));
44 }
45
46 function quotelevel($message, $wraplength = 75)
47 {
48         $lines = explode("\n", $message);
49
50         $newlines = array();
51         $level = 0;
52         foreach($lines as $line) {;
53                 $line = trim($line);
54                 $startquote = false;
55                 while (strpos("*".$line, '[quote]') > 0) {
56                         $level++;
57                         $pos = strpos($line, '[quote]');
58                         $line = substr($line, 0, $pos).substr($line, $pos+7);
59                         $startquote = true;
60                 }
61
62                 $currlevel = $level;
63
64                 while (strpos("*".$line, '[/quote]') > 0) {
65                         $level--;
66                         if ($level < 0)
67                                 $level = 0;
68
69                         $pos = strpos($line, '[/quote]');
70                         $line = substr($line, 0, $pos).substr($line, $pos+8);
71                 }
72
73                 if (!$startquote or ($line != ''))
74                         $newlines[] = breaklines($line, $currlevel, $wraplength);
75         }
76         return(implode($newlines, "\n"));
77 }
78
79 function collecturls($message) {
80         $pattern = '/<a.*?href="(.*?)".*?>(.*?)<\/a>/is';
81         preg_match_all($pattern, $message, $result, PREG_SET_ORDER);
82
83         $urls = array();
84         foreach ($result as $treffer) {
85                 // A list of some links that should be ignored
86                 $list = array("/user/", "/tag/", "/group/", "/profile/", "/search?search=", "/search?tag=", "mailto:", "/u/", "/node/",
87                                 "//facebook.com/profile.php?id=", "//plus.google.com/", "//twitter.com/");
88                 foreach ($list as $listitem)
89                         if (strpos($treffer[1], $listitem) !== false)
90                                 $ignore = true;
91
92                 if ((strpos($treffer[1], "//twitter.com/") !== false) and (strpos($treffer[1], "/status/") !== false))
93                                 $ignore = false;
94
95                 if ((strpos($treffer[1], "//plus.google.com/") !== false) and (strpos($treffer[1], "/posts") !== false))
96                                 $ignore = false;
97
98                 if ((strpos($treffer[1], "//plus.google.com/") !== false) and (strpos($treffer[1], "/photos") !== false))
99                                 $ignore = false;
100
101                 if (!$ignore)
102                         $urls[$treffer[1]] = $treffer[1];
103         }
104         return($urls);
105 }
106
107 function html2plain($html, $wraplength = 75, $compact = false)
108 {
109         global $lang;
110
111         $message = str_replace("\r", "", $html);
112
113         // replace all hashtag addresses
114         if (get_config("system", "remove_hashtags_on_export")) {
115                 $pattern = '/#<a.*?href="(.*?)".*?>(.*?)<\/a>/is';
116                 $message = preg_replace($pattern, '#$2', $message);
117         }
118
119         $doc = new DOMDocument();
120         $doc->preserveWhiteSpace = false;
121
122         $message = mb_convert_encoding($message, 'HTML-ENTITIES', "UTF-8");
123
124         @$doc->loadHTML($message);
125
126         $xpath = new DomXPath($doc);
127         $list = $xpath->query("//pre");
128         foreach ($list as $node) {
129                 $node->nodeValue = str_replace("\n", "\r", $node->nodeValue);
130         }
131
132         $message = $doc->saveHTML();
133         $message = str_replace(array("\n<", ">\n", "\r", "\n", "\xC3\x82\xC2\xA0"), array("<", ">", "<br>", " ", ""), $message);
134         $message = preg_replace('= [\s]*=i', " ", $message);
135
136         // Collecting all links
137         $urls = collecturls($message);
138
139         @$doc->loadHTML($message);
140
141         node2bbcode($doc, 'html', array(), '', '');
142         node2bbcode($doc, 'body', array(), '', '');
143
144         // MyBB-Auszeichnungen
145         /*
146         node2bbcode($doc, 'span', array('style'=>'text-decoration: underline;'), '_', '_');
147         node2bbcode($doc, 'span', array('style'=>'font-style: italic;'), '/', '/');
148         node2bbcode($doc, 'span', array('style'=>'font-weight: bold;'), '*', '*');
149
150         node2bbcode($doc, 'strong', array(), '*', '*');
151         node2bbcode($doc, 'b', array(), '*', '*');
152         node2bbcode($doc, 'i', array(), '/', '/');
153         node2bbcode($doc, 'u', array(), '_', '_');
154         */
155
156         if ($compact)
157                 node2bbcode($doc, 'blockquote', array(), "»", "«");
158         else
159                 node2bbcode($doc, 'blockquote', array(), '[quote]', "[/quote]\n");
160
161         node2bbcode($doc, 'br', array(), "\n", '');
162
163         node2bbcode($doc, 'span', array(), "", "");
164         node2bbcode($doc, 'pre', array(), "", "");
165         node2bbcode($doc, 'div', array(), "\r", "\r");
166         node2bbcode($doc, 'p', array(), "\n", "\n");
167
168         //node2bbcode($doc, 'ul', array(), "\n[list]", "[/list]\n");
169         //node2bbcode($doc, 'ol', array(), "\n[list=1]", "[/list]\n");
170         node2bbcode($doc, 'li', array(), "\n* ", "\n");
171
172         node2bbcode($doc, 'hr', array(), "\n".str_repeat("-", 70)."\n", "");
173
174         node2bbcode($doc, 'tr', array(), "\n", "");
175         node2bbcode($doc, 'td', array(), "\t", "");
176
177         node2bbcode($doc, 'h1', array(), "\n\n*", "*\n");
178         node2bbcode($doc, 'h2', array(), "\n\n*", "*\n");
179         node2bbcode($doc, 'h3', array(), "\n\n*", "*\n");
180         node2bbcode($doc, 'h4', array(), "\n\n*", "*\n");
181         node2bbcode($doc, 'h5', array(), "\n\n*", "*\n");
182         node2bbcode($doc, 'h6', array(), "\n\n*", "*\n");
183
184         // Problem: there is no reliable way to detect if it is a link to a tag or profile
185         //node2bbcode($doc, 'a', array('href'=>'/(.+)/'), ' $1 ', '', true);
186         node2bbcode($doc, 'a', array('href'=>'/(.+)/', 'rel'=>'oembed'), ' $1 ', '', true);
187         //node2bbcode($doc, 'img', array('alt'=>'/(.+)/'), '$1', '');
188         //node2bbcode($doc, 'img', array('title'=>'/(.+)/'), '$1', '');
189         //node2bbcode($doc, 'img', array(), '', '');
190         if (!$compact)
191                 node2bbcode($doc, 'img', array('src'=>'/(.+)/'), '[img]$1', '[/img]');
192         else
193                 node2bbcode($doc, 'img', array('src'=>'/(.+)/'), '', '');
194
195         node2bbcode($doc, 'iframe', array('src'=>'/(.+)/'), ' $1 ', '', true);
196
197         $message = $doc->saveHTML();
198
199         if (!$compact) {
200                 $message = str_replace("[img]", "", $message);
201                 $message = str_replace("[/img]", "", $message);
202         }
203
204         // was ersetze ich da?
205         // Irgendein stoerrisches UTF-Zeug
206         $message = str_replace(chr(194).chr(160), ' ', $message);
207
208         $message = str_replace("&nbsp;", " ", $message);
209
210         // Aufeinanderfolgende DIVs
211         $message = preg_replace('=\r *\r=i', "\n", $message);
212         $message = str_replace("\r", "\n", $message);
213
214         $message = strip_tags($message);
215
216         $message = html_entity_decode($message, ENT_QUOTES, 'UTF-8');
217
218         if (!$compact) {
219                 $counter = 1;
220                 foreach ($urls as $id=>$url)
221                         if (strpos($message, $url) === false)
222                                 $message .= "\n".$url." ";
223                                 //$message .= "\n[".($counter++)."] ".$url;
224         }
225
226         $message = str_replace("\n«", "«\n", $message);
227         $message = str_replace("»\n", "\n»", $message);
228
229         do {
230                 $oldmessage = $message;
231                 $message = str_replace("\n\n\n", "\n\n", $message);
232         } while ($oldmessage != $message);
233
234         $message = quotelevel(trim($message), $wraplength);
235
236         return(trim($message));
237 }
238