]> git.mxchange.org Git - friendica.git/blobdiff - include/text.php
improved infinite scrollling
[friendica.git] / include / text.php
index a326412411703947bc1c827c5853c0f4bf4a6c47..535c36d235f0fe81ac87c03def37bf9b937df46d 100644 (file)
@@ -1,27 +1,34 @@
 <?php
 
-// This is our template processor.
-// $s is the string requiring macro substitution.
-// $r is an array of key value pairs (search => replace)
-// returns substituted string.
-// WARNING: this is pretty basic, and doesn't properly handle search strings that are substrings of each other.
-// For instance if 'test' => "foo" and 'testing' => "bar", testing could become either bar or fooing, 
-// depending on the order in which they were declared in the array.   
-
 require_once("include/template_processor.php");
+require_once("include/friendica_smarty.php");
+require_once("mod/proxy.php");
 
-if(! function_exists('replace_macros')) {  
+if(! function_exists('replace_macros')) {
+/**
+ * This is our template processor
+ *
+ * @param string|FriendicaSmarty $s the string requiring macro substitution,
+ *                                                                     or an instance of FriendicaSmarty
+ * @param array $r key value pairs (search => replace)
+ * @return string substituted string
+ */
 function replace_macros($s,$r) {
-       global $t;
-       
-       //$ts = microtime();
-       $r =  $t->replace($s,$r);
-       //$tt = microtime() - $ts;
-       
-       //$a = get_app();
-       //$a->page['debug'] .= "$tt <br>\n";
-       return template_unescape($r);
 
+       $stamp1 = microtime(true);
+
+       $a = get_app();
+
+       $t = $a->template_engine();
+       try {
+               $output = $t->replace_macros($s,$r);
+       } catch (Exception $e) {
+               echo "<pre><b>".__function__."</b>: ".$e->getMessage()."</pre>"; killme();
+       }
+
+       $a->save_timestamp($stamp1, "rendering");
+
+       return $output;
 }}
 
 
@@ -39,23 +46,24 @@ function random_string($size = 64,$type = RANDOM_STRING_HEX) {
        return(substr($s,0,$size));
 }}
 
+if(! function_exists('notags')) {
 /**
- * This is our primary input filter. 
+ * This is our primary input filter.
  *
  * The high bit hack only involved some old IE browser, forget which (IE5/Mac?)
  * that had an XSS attack vector due to stripping the high-bit on an 8-bit character
  * after cleansing, and angle chars with the high bit set could get through as markup.
- * 
- * This is now disabled because it was interfering with some legitimate unicode sequences 
- * and hopefully there aren't a lot of those browsers left. 
+ *
+ * This is now disabled because it was interfering with some legitimate unicode sequences
+ * and hopefully there aren't a lot of those browsers left.
  *
  * Use this on any text input where angle chars are not valid or permitted
  * They will be replaced with safer brackets. This may be filtered further
- * if these are not allowed either.   
+ * if these are not allowed either.
  *
+ * @param string $string Input string
+ * @return string Filtered string
  */
-
-if(! function_exists('notags')) {
 function notags($string) {
 
        return(str_replace(array("<",">"), array('[',']'), $string));
@@ -64,26 +72,37 @@ function notags($string) {
 //     return(str_replace(array("<",">","\xBA","\xBC","\xBE"), array('[',']','','',''), $string));
 }}
 
-// use this on "body" or "content" input where angle chars shouldn't be removed,
-// and allow them to be safely displayed.
+
 
 if(! function_exists('escape_tags')) {
+/**
+ * use this on "body" or "content" input where angle chars shouldn't be removed,
+ * and allow them to be safely displayed.
+ * @param string $string
+ * @return string
+ */
 function escape_tags($string) {
 
        return(htmlspecialchars($string, ENT_COMPAT, 'UTF-8', false));
 }}
 
 
-// generate a string that's random, but usually pronounceable. 
+// generate a string that's random, but usually pronounceable.
 // used to generate initial passwords
 
 if(! function_exists('autoname')) {
+/**
+ * generate a string that's random, but usually pronounceable.
+ * used to generate initial passwords
+ * @param int $len
+ * @return string
+ */
 function autoname($len) {
 
        if($len <= 0)
                return '';
 
-       $vowels = array('a','a','ai','au','e','e','e','ee','ea','i','ie','o','ou','u'); 
+       $vowels = array('a','a','ai','au','e','e','e','ee','ea','i','ie','o','ou','u');
        if(mt_rand(0,5) == 4)
                $vowels[] = 'y';
 
@@ -127,7 +146,7 @@ function autoname($len) {
        for ($x = 0; $x < $len; $x ++) {
                $r = mt_rand(0,count($table) - 1);
                $word .= $table[$r];
-  
+
                if($table == $vowels)
                        $table = array_merge($cons,$midcons);
                else
@@ -144,7 +163,7 @@ function autoname($len) {
                }
        }
        if(substr($word,-1) == 'q')
-               $word = substr($word,0,-1);    
+               $word = substr($word,0,-1);
        return $word;
 }}
 
@@ -153,12 +172,18 @@ function autoname($len) {
 // returns escaped text.
 
 if(! function_exists('xmlify')) {
+/**
+ * escape text ($str) for XML transport
+ * @param string $str
+ * @return string Escaped text.
+ */
 function xmlify($str) {
-       $buffer = '';
-       
-       for($x = 0; $x < mb_strlen($str); $x ++) {
-               $char = $str[$x];
-        
+/*     $buffer = '';
+
+       $len = mb_strlen($str);
+       for($x = 0; $x < $len; $x ++) {
+               $char = mb_substr($str,$x,1);
+
                switch( $char ) {
 
                        case "\r" :
@@ -184,25 +209,46 @@ function xmlify($str) {
                        default :
                                $buffer .= $char;
                                break;
-               }       
-       }
+               }
+       }*/
+       /*
+       $buffer = mb_ereg_replace("&", "&amp;", $str);
+       $buffer = mb_ereg_replace("'", "&apos;", $buffer);
+       $buffer = mb_ereg_replace('"', "&quot;", $buffer);
+       $buffer = mb_ereg_replace("<", "&lt;", $buffer);
+       $buffer = mb_ereg_replace(">", "&gt;", $buffer);
+       */
+       $buffer = htmlspecialchars($str, ENT_QUOTES);
        $buffer = trim($buffer);
+
        return($buffer);
 }}
 
-// undo an xmlify
-// pass xml escaped text ($s), returns unescaped text
-
 if(! function_exists('unxmlify')) {
+/**
+ * undo an xmlify
+ * @param string $s xml escaped text
+ * @return string unescaped text
+ */
 function unxmlify($s) {
-       $ret = str_replace('&amp;','&', $s);
-       $ret = str_replace(array('&lt;','&gt;','&quot;','&apos;'),array('<','>','"',"'"),$ret);
-       return $ret;    
+//     $ret = str_replace('&amp;','&', $s);
+//     $ret = str_replace(array('&lt;','&gt;','&quot;','&apos;'),array('<','>','"',"'"),$ret);
+       /*$ret = mb_ereg_replace('&amp;', '&', $s);
+       $ret = mb_ereg_replace('&apos;', "'", $ret);
+       $ret = mb_ereg_replace('&quot;', '"', $ret);
+       $ret = mb_ereg_replace('&lt;', "<", $ret);
+       $ret = mb_ereg_replace('&gt;', ">", $ret);
+       */
+       $ret = htmlspecialchars_decode($s, ENT_QUOTES);
+       return $ret;
 }}
 
-// convenience wrapper, reverse the operation "bin2hex"
-
 if(! function_exists('hex2bin')) {
+/**
+ * convenience wrapper, reverse the operation "bin2hex"
+ * @param string $s
+ * @return number
+ */
 function hex2bin($s) {
        if(! (is_string($s) && strlen($s)))
                return '';
@@ -214,100 +260,151 @@ function hex2bin($s) {
        return(pack("H*",$s));
 }}
 
-// Automatic pagination.
-// To use, get the count of total items.
-// Then call $a->set_pager_total($number_items);
-// Optionally call $a->set_pager_itemspage($n) to the number of items to display on each page
-// Then call paginate($a) after the end of the display loop to insert the pager block on the page
-// (assuming there are enough items to paginate).
-// When using with SQL, the setting LIMIT %d, %d => $a->pager['start'],$a->pager['itemspage']
-// will limit the results to the correct items for the current page. 
-// The actual page handling is then accomplished at the application layer. 
 
-if(! function_exists('paginate')) {
-function paginate(&$a) {
-       $o = '';
+if(! function_exists('paginate_data')) {
+/**
+ * Automatica pagination data.
+ *
+ * @param App $a App instance
+ * @param int $count [optional] item count (used with alt pager)
+ * @return Array data for pagination template
+ */
+function paginate_data(&$a, $count=null) {
        $stripped = preg_replace('/(&page=[0-9]*)/','',$a->query_string);
 
-//     $stripped = preg_replace('/&zrl=(.*?)([\?&]|$)/ism','',$stripped);
-
        $stripped = str_replace('q=','',$stripped);
        $stripped = trim($stripped,'/');
        $pagenum = $a->pager['page'];
+
+       if (($a->page_offset != "") AND !preg_match('/[?&].offset=/', $stripped))
+               $stripped .= "&offset=".urlencode($a->page_offset);
+
        $url = $a->get_baseurl() . '/' . $stripped;
 
+       $data = array();
+       function _l(&$d, $name, $url, $text, $class="") {
+               if (!strpos($url, "?")) {
+                       if ($pos = strpos($url, "&"))
+                               $url = substr($url, 0, $pos)."?".substr($url, $pos + 1);
+               }
 
-         if($a->pager['total'] > $a->pager['itemspage']) {
-               $o .= '<div class="pager">';
-               if($a->pager['page'] != 1)
-                       $o .= '<span class="pager_prev">'."<a href=\"$url".'&page='.($a->pager['page'] - 1).'">' . t('prev') . '</a></span> ';
+               $d[$name] = array('url'=>$url, 'text'=>$text, 'class'=>$class);
+       }
 
-               $o .=  "<span class=\"pager_first\"><a href=\"$url"."&page=1\">" . t('first') . "</a></span> ";
+       if (!is_null($count)){
+               // alt pager
+               if($a->pager['page']>1)
+                       _l($data,  "prev", $url.'&page='.($a->pager['page'] - 1), t('newer'));
+               if($count>0)
+                       _l($data,  "next", $url.'&page='.($a->pager['page'] + 1), t('older'));
+       } else {
+               // full pager
+               if($a->pager['total'] > $a->pager['itemspage']) {
+                       if($a->pager['page'] != 1)
+                               _l($data,  "prev", $url.'&page='.($a->pager['page'] - 1), t('prev'));
 
-               $numpages = $a->pager['total'] / $a->pager['itemspage'];
+                       _l($data, "first", $url."&page=1",  t('first'));
+
+
+                       $numpages = $a->pager['total'] / $a->pager['itemspage'];
 
                        $numstart = 1;
-               $numstop = $numpages;
-
-               if($numpages > 14) {
-                       $numstart = (($pagenum > 7) ? ($pagenum - 7) : 1);
-                       $numstop = (($pagenum > ($numpages - 7)) ? $numpages : ($numstart + 14));
-               }
-   
-               for($i = $numstart; $i <= $numstop; $i++){
-                       if($i == $a->pager['page'])
-                               $o .= '<span class="pager_current">'.(($i < 10) ? '&nbsp;'.$i : $i);
-                       else
-                               $o .= "<span class=\"pager_n\"><a href=\"$url"."&page=$i\">".(($i < 10) ? '&nbsp;'.$i : $i)."</a>";
-                       $o .= '</span> ';
-               }
+                       $numstop = $numpages;
 
-               if(($a->pager['total'] % $a->pager['itemspage']) != 0) {
-                       if($i == $a->pager['page'])
-                               $o .= '<span class="pager_current">'.(($i < 10) ? '&nbsp;'.$i : $i);
-                       else
-                               $o .= "<span class=\"pager_n\"><a href=\"$url"."&page=$i\">".(($i < 10) ? '&nbsp;'.$i : $i)."</a>";
-                       $o .= '</span> ';
-               }
+                       if($numpages > 14) {
+                               $numstart = (($pagenum > 7) ? ($pagenum - 7) : 1);
+                               $numstop = (($pagenum > ($numpages - 7)) ? $numpages : ($numstart + 14));
+                       }
+
+                       $pages = array();
+
+                       for($i = $numstart; $i <= $numstop; $i++){
+                               if($i == $a->pager['page'])
+                                       _l($pages, $i, "#",  $i, "current");
+                               else
+                                       _l($pages, $i, $url."&page=$i", $i, "n");
+                       }
+
+                       if(($a->pager['total'] % $a->pager['itemspage']) != 0) {
+                               if($i == $a->pager['page'])
+                                       _l($pages, $i, "#",  $i, "current");
+                               else
+                                       _l($pages, $i, $url."&page=$i", $i, "n");
+                       }
 
-               $lastpage = (($numpages > intval($numpages)) ? intval($numpages)+1 : $numpages);
-               $o .= "<span class=\"pager_last\"><a href=\"$url"."&page=$lastpage\">" . t('last') . "</a></span> ";
+                       $data['pages'] = $pages;
 
-               if(($a->pager['total'] - ($a->pager['itemspage'] * $a->pager['page'])) > 0)
-                       $o .= '<span class="pager_next">'."<a href=\"$url"."&page=".($a->pager['page'] + 1).'">' . t('next') . '</a></span>';
-               $o .= '</div>'."\r\n";
+                       $lastpage = (($numpages > intval($numpages)) ? intval($numpages)+1 : $numpages);
+                       _l($data, "last", $url."&page=$lastpage", t('last'));
+
+                       if(($a->pager['total'] - ($a->pager['itemspage'] * $a->pager['page'])) > 0)
+                               _l($data, "next", $url."&page=".($a->pager['page'] + 1), t('next'));
+
+               }
        }
-       return $o;
+       return $data;
+
 }}
 
-if(! function_exists('alt_pager')) {
-function alt_pager(&$a, $i) {
-        $o = '';
-       $stripped = preg_replace('/(&page=[0-9]*)/','',$a->query_string);
-       $stripped = str_replace('q=','',$stripped);
-       $stripped = trim($stripped,'/');
-       $pagenum = $a->pager['page'];
-        $url = $a->get_baseurl() . '/' . $stripped;
+if(! function_exists('paginate')) {
+/**
+ * Automatic pagination.
+ *
+ *  To use, get the count of total items.
+ * Then call $a->set_pager_total($number_items);
+ * Optionally call $a->set_pager_itemspage($n) to the number of items to display on each page
+ * Then call paginate($a) after the end of the display loop to insert the pager block on the page
+ * (assuming there are enough items to paginate).
+ * When using with SQL, the setting LIMIT %d, %d => $a->pager['start'],$a->pager['itemspage']
+ * will limit the results to the correct items for the current page.
+ * The actual page handling is then accomplished at the application layer.
+ *
+ * @param App $a App instance
+ * @return string html for pagination #FIXME remove html
+ */
+function paginate(&$a) {
 
-        $o .= '<div class="pager">';
+       $data = paginate_data($a);
+       $tpl = get_markup_template("paginate.tpl");
+       return replace_macros($tpl, array("pager" => $data));
 
-       if($a->pager['page']>1)
-         $o .= "<a href=\"$url"."&page=".($a->pager['page'] - 1).'">' . t('newer') . '</a>';
-        if($i>0) {
-          if($a->pager['page']>1)
-                 $o .= "&nbsp;-&nbsp;";
-         $o .= "<a href=\"$url"."&page=".($a->pager['page'] + 1).'">' . t('older') . '</a>';
-       }
+}}
 
+if(! function_exists('alt_pager')) {
+/**
+ * Alternative pager
+ * @param App $a App instance
+ * @param int $i
+ * @return string html for pagination #FIXME remove html
+ */
+function alt_pager(&$a, $i) {
 
-        $o .= '</div>'."\r\n";
+       $data = paginate_data($a, $i);
+       $tpl = get_markup_template("paginate.tpl");
+       return replace_macros($tpl, array('pager' => $data));
 
-       return $o;
 }}
 
-// Turn user/group ACLs stored as angle bracketed text into arrays
+if(! function_exists('scroll_loader')) {
+/**
+ * Loader for infinite scrolling
+ * @return string html for loader
+ */
+function scroll_loader() {
+       $tpl = get_markup_template("scroll_loader.tpl");
+       return replace_macros($tpl, array(
+               'wait' => t('Loading more entries...'),
+               'end' => t('The end')
+       ));
+}}
 
 if(! function_exists('expand_acl')) {
+/**
+ * Turn user/group ACLs stored as angle bracketed text into arrays
+ *
+ * @param string $s
+ * @return array
+ */
 function expand_acl($s) {
        // turn string array of angle-bracketed elements into numeric array
        // e.g. "<1><2><3>" => array(1,2,3);
@@ -322,11 +419,13 @@ function expand_acl($s) {
                }
        }
        return $ret;
-}}             
-
-// Used to wrap ACL elements in angle brackets for storage 
+}}
 
 if(! function_exists('sanitise_acl')) {
+/**
+ * Wrap ACL elements in angle brackets for storage
+ * @param string $item
+ */
 function sanitise_acl(&$item) {
        if(intval($item))
                $item = '<' . intval(notags(trim($item))) . '>';
@@ -335,14 +434,18 @@ function sanitise_acl(&$item) {
 }}
 
 
-// Convert an ACL array to a storable string
-// Normally ACL permissions will be an array.
-// We'll also allow a comma-separated string.
-
 if(! function_exists('perms2str')) {
+/**
+ * Convert an ACL array to a storable string
+ *
+ * Normally ACL permissions will be an array.
+ * We'll also allow a comma-separated string.
+ *
+ * @param string|array $p
+ * @return string
+ */
 function perms2str($p) {
        $ret = '';
-
        if(is_array($p))
                $tmp = $p;
        else
@@ -355,10 +458,16 @@ function perms2str($p) {
        return $ret;
 }}
 
-// generate a guaranteed unique (for this domain) item ID for ATOM
-// safe from birthday paradox
 
 if(! function_exists('item_new_uri')) {
+/**
+ * generate a guaranteed unique (for this domain) item ID for ATOM
+ * safe from birthday paradox
+ *
+ * @param string $hostname
+ * @param int $uid
+ * @return string
+ */
 function item_new_uri($hostname,$uid) {
 
        do {
@@ -379,6 +488,12 @@ function item_new_uri($hostname,$uid) {
 // safe from birthday paradox
 
 if(! function_exists('photo_new_resource')) {
+/**
+ * Generate a guaranteed unique photo ID.
+ * safe from birthday paradox
+ *
+ * @return string
+ */
 function photo_new_resource() {
 
        do {
@@ -394,72 +509,155 @@ function photo_new_resource() {
 }}
 
 
-// wrapper to load a view template, checking for alternate
-// languages before falling back to the default
-
-// obsolete, deprecated.
-
 if(! function_exists('load_view_file')) {
+/**
+ * @deprecated
+ * wrapper to load a view template, checking for alternate
+ * languages before falling back to the default
+ *
+ * @global string $lang
+ * @global App $a
+ * @param string $s view name
+ * @return string
+ */
 function load_view_file($s) {
        global $lang, $a;
        if(! isset($lang))
                $lang = 'en';
        $b = basename($s);
        $d = dirname($s);
-       if(file_exists("$d/$lang/$b"))
-               return file_get_contents("$d/$lang/$b");
-       
+       if(file_exists("$d/$lang/$b")) {
+               $stamp1 = microtime(true);
+               $content = file_get_contents("$d/$lang/$b");
+               $a->save_timestamp($stamp1, "file");
+               return $content;
+       }
+
        $theme = current_theme();
 
-       if(file_exists("$d/theme/$theme/$b"))
-               return file_get_contents("$d/theme/$theme/$b");
-                       
-       return file_get_contents($s);
+       if(file_exists("$d/theme/$theme/$b")) {
+               $stamp1 = microtime(true);
+               $content = file_get_contents("$d/theme/$theme/$b");
+               $a->save_timestamp($stamp1, "file");
+               return $content;
+       }
+
+       $stamp1 = microtime(true);
+       $content = file_get_contents($s);
+       $a->save_timestamp($stamp1, "file");
+       return $content;
 }}
 
 if(! function_exists('get_intltext_template')) {
+/**
+ * load a view template, checking for alternate
+ * languages before falling back to the default
+ *
+ * @global string $lang
+ * @param string $s view path
+ * @return string
+ */
 function get_intltext_template($s) {
        global $lang;
 
+       $a = get_app();
+       $engine = '';
+       if($a->theme['template_engine'] === 'smarty3')
+               $engine = "/smarty3";
+
        if(! isset($lang))
                $lang = 'en';
 
-       if(file_exists("view/$lang/$s"))
-               return file_get_contents("view/$lang/$s");
-       elseif(file_exists("view/en/$s"))
-               return file_get_contents("view/en/$s");
-       else
-               return file_get_contents("view/$s");
+       if(file_exists("view/$lang$engine/$s")) {
+               $stamp1 = microtime(true);
+               $content = file_get_contents("view/$lang$engine/$s");
+               $a->save_timestamp($stamp1, "file");
+               return $content;
+       } elseif(file_exists("view/en$engine/$s")) {
+               $stamp1 = microtime(true);
+               $content = file_get_contents("view/en$engine/$s");
+               $a->save_timestamp($stamp1, "file");
+               return $content;
+       } else {
+               $stamp1 = microtime(true);
+               $content = file_get_contents("view$engine/$s");
+               $a->save_timestamp($stamp1, "file");
+               return $content;
+       }
 }}
 
 if(! function_exists('get_markup_template')) {
-function get_markup_template($s) {
-       $a=get_app();
+/**
+ * load template $s
+ *
+ * @param string $s
+ * @param string $root
+ * @return string
+ */
+function get_markup_template($s, $root = '') {
+       $stamp1 = microtime(true);
+
+       $a = get_app();
+       $t = $a->template_engine();
+       try {
+               $template = $t->get_template_file($s, $root);
+       } catch (Exception $e) {
+               echo "<pre><b>".__function__."</b>: ".$e->getMessage()."</pre>"; killme();
+       }
+
+       $a->save_timestamp($stamp1, "file");
+
+       return $template;
+}}
+
+if(! function_exists("get_template_file")) {
+/**
+ *
+ * @param App $a
+ * @param string $filename
+ * @param string $root
+ * @return string
+ */
+function get_template_file($a, $filename, $root = '') {
        $theme = current_theme();
-       
-       if(file_exists("view/theme/$theme/$s"))
-               return file_get_contents("view/theme/$theme/$s");
-       elseif (x($a->theme_info,"extends") && file_exists("view/theme/".$a->theme_info["extends"]."/$s"))
-               return file_get_contents("view/theme/".$a->theme_info["extends"]."/$s");
+
+       // Make sure $root ends with a slash /
+       if($root !== '' && $root[strlen($root)-1] !== '/')
+               $root = $root . '/';
+
+       if(file_exists("{$root}view/theme/$theme/$filename"))
+               $template_file = "{$root}view/theme/$theme/$filename";
+       elseif (x($a->theme_info,"extends") && file_exists("{$root}view/theme/{$a->theme_info["extends"]}/$filename"))
+               $template_file = "{$root}view/theme/{$a->theme_info["extends"]}/$filename";
+       elseif (file_exists("{$root}/$filename"))
+               $template_file = "{$root}/$filename";
        else
-               return file_get_contents("view/$s");
+               $template_file = "{$root}view/$filename";
 
+       return $template_file;
 }}
 
 
 
 
 
-// for html,xml parsing - let's say you've got
-// an attribute foobar="class1 class2 class3"
-// and you want to find out if it contains 'class3'.
-// you can't use a normal sub string search because you
-// might match 'notclass3' and a regex to do the job is 
-// possible but a bit complicated. 
-// pass the attribute string as $attr and the attribute you 
-// are looking for as $s - returns true if found, otherwise false
+
 
 if(! function_exists('attribute_contains')) {
+/**
+ *  for html,xml parsing - let's say you've got
+ *  an attribute foobar="class1 class2 class3"
+ *  and you want to find out if it contains 'class3'.
+ *  you can't use a normal sub string search because you
+ *  might match 'notclass3' and a regex to do the job is
+ *  possible but a bit complicated.
+ *  pass the attribute string as $attr and the attribute you
+ *  are looking for as $s - returns true if found, otherwise false
+ *
+ * @param string $attr attribute value
+ * @param string $s string to search
+ * @return boolean True if found, False otherwise
+ */
 function attribute_contains($attr,$s) {
        $a = explode(' ', $attr);
        if(count($a) && in_array($s,$a))
@@ -468,26 +666,70 @@ function attribute_contains($attr,$s) {
 }}
 
 if(! function_exists('logger')) {
+/* setup int->string log level map */
+$LOGGER_LEVELS = array();
+
+/**
+ * log levels:
+ * LOGGER_NORMAL (default)
+ * LOGGER_TRACE
+ * LOGGER_DEBUG
+ * LOGGER_DATA
+ * LOGGER_ALL
+ *
+ * @global App $a
+ * @global dba $db
+ * @param string $msg
+ * @param int $level
+ */
 function logger($msg,$level = 0) {
        // turn off logger in install mode
        global $a;
        global $db;
+       global $LOGGER_LEVELS;
 
        if(($a->module == 'install') || (! ($db && $db->connected))) return;
 
+       if (count($LOGGER_LEVELS)==0){
+               foreach (get_defined_constants() as $k=>$v){
+                       if (substr($k,0,7)=="LOGGER_")
+                               $LOGGER_LEVELS[$v] = substr($k,7,7);
+               }
+       }
+
        $debugging = get_config('system','debugging');
        $loglevel  = intval(get_config('system','loglevel'));
        $logfile   = get_config('system','logfile');
 
        if((! $debugging) || (! $logfile) || ($level > $loglevel))
                return;
-       
-       @file_put_contents($logfile, datetime_convert() . ':' . session_id() . ' ' . $msg . "\n", FILE_APPEND);
+
+       $callers = debug_backtrace();
+       $logline =  sprintf("%s@%s\t[%s]:%s:%s:%s\t%s\n",
+                                datetime_convert(),
+                                session_id(),
+                                $LOGGER_LEVELS[$level],
+                                basename($callers[0]['file']),
+                                $callers[0]['line'],
+                                $callers[1]['function'],
+                                $msg
+                               );
+
+       $stamp1 = microtime(true);
+       @file_put_contents($logfile, $logline, FILE_APPEND);
+       $a->save_timestamp($stamp1, "file");
        return;
 }}
 
 
 if(! function_exists('activity_match')) {
+/**
+ * Compare activity uri. Knows about activity namespace.
+ *
+ * @param string $haystack
+ * @param string $needle
+ * @return boolean
+ */
 function activity_match($haystack,$needle) {
        if(($haystack === $needle) || ((basename($needle) === $haystack) && strstr($needle,NAMESPACE_ACTIVITY_SCHEMA)))
                return true;
@@ -495,24 +737,28 @@ function activity_match($haystack,$needle) {
 }}
 
 
-// Pull out all #hashtags and @person tags from $s;
-// We also get @person@domain.com - which would make 
-// the regex quite complicated as tags can also
-// end a sentence. So we'll run through our results
-// and strip the period from any tags which end with one.
-// Returns array of tags found, or empty array.
-
-
 if(! function_exists('get_tags')) {
+/**
+ * Pull out all #hashtags and @person tags from $s;
+ * We also get @person@domain.com - which would make
+ * the regex quite complicated as tags can also
+ * end a sentence. So we'll run through our results
+ * and strip the period from any tags which end with one.
+ * Returns array of tags found, or empty array.
+ *
+ * @param string $s
+ * @return array
+ */
 function get_tags($s) {
        $ret = array();
 
        // ignore anything in a code block
-
        $s = preg_replace('/\[code\](.*?)\[\/code\]/sm','',$s);
 
-       // ignore anything in a bbtag
+       // Force line feeds at bbtags
+       $s = str_replace(array("[", "]"), array("\n[", "]\n"), $s);
 
+       // ignore anything in a bbtag
        $s = preg_replace('/\[(.*?)\]/sm','',$s);
 
        // Match full names against @tags including the space between first and last
@@ -534,7 +780,7 @@ function get_tags($s) {
        // Otherwise pull out single word tags. These can be @nickname, @first_last
        // and #hash tags.
 
-       if(preg_match_all('/([@#][^ \x0D\x0A,;:?]+)([ \x0D\x0A,;:?]|$)/',$s,$match)) {
+       if(preg_match_all('/([!#@][^ \x0D\x0A,;:?]+)([ \x0D\x0A,;:?]|$)/',$s,$match)) {
                foreach($match[1] as $mtch) {
                        if(strstr($mtch,"]")) {
                                // we might be inside a bbcode color tag - leave it alone
@@ -555,16 +801,26 @@ function get_tags($s) {
 }}
 
 
-// quick and dirty quoted_printable encoding
+//
 
 if(! function_exists('qp')) {
+/**
+ * quick and dirty quoted_printable encoding
+ *
+ * @param string $s
+ * @return string
+ */
 function qp($s) {
 return str_replace ("%","=",rawurlencode($s));
-}} 
+}}
 
 
 
 if(! function_exists('get_mentions')) {
+/**
+ * @param array $item
+ * @return string html for mentions #FIXME: remove html
+ */
 function get_mentions($item) {
        $o = '';
        if(! strlen($item['tag']))
@@ -582,6 +838,13 @@ function get_mentions($item) {
 }}
 
 if(! function_exists('contact_block')) {
+/**
+ * Get html for contact block.
+ *
+ * @template contact_block.tpl
+ * @hook contact_block_end (contacts=>array, output=>string)
+ * @return string
+ */
 function contact_block() {
        $o = '';
        $a = get_app();
@@ -603,7 +866,7 @@ function contact_block() {
        if(! $total) {
                $contacts = t('No contacts');
                $micropro = Null;
-               
+
        } else {
                $r = q("SELECT * FROM `contact` WHERE `uid` = %d AND `self` = 0 AND `blocked` = 0 and `pending` = 0 AND `hidden` = 0 AND `archive` = 0 ORDER BY RAND() LIMIT %d",
                                intval($a->profile['uid']),
@@ -617,7 +880,7 @@ function contact_block() {
                        }
                }
        }
-       
+
        $tpl = get_markup_template('contact_block.tpl');
        $o = replace_macros($tpl, array(
                '$contacts' => $contacts,
@@ -634,6 +897,14 @@ function contact_block() {
 }}
 
 if(! function_exists('micropro')) {
+/**
+ *
+ * @param array $contact
+ * @param boolean $redirect
+ * @param string $class
+ * @param boolean $textmode
+ * @return string #FIXME: remove html
+ */
 function micropro($contact, $redirect = false, $class = '', $textmode = false) {
 
        if($class)
@@ -658,19 +929,19 @@ function micropro($contact, $redirect = false, $class = '', $textmode = false) {
        if($click)
                $url = '';
        if($textmode) {
-               return '<div class="contact-block-textdiv' . $class . '"><a class="contact-block-link' . $class . $sparkle 
+               return '<div class="contact-block-textdiv' . $class . '"><a class="contact-block-link' . $class . $sparkle
                        . (($click) ? ' fakelink' : '') . '" '
                        . (($redir) ? ' target="redir" ' : '')
                        . (($url) ? ' href="' . $url . '"' : '') . $click
-                       . '" title="' . $contact['name'] . ' [' . $contact['url'] . ']" alt="' . $contact['name'] 
+                       . '" title="' . $contact['name'] . ' [' . $contact['url'] . ']" alt="' . $contact['name']
                        . '" >'. $contact['name'] . '</a></div>' . "\r\n";
        }
        else {
-               return '<div class="contact-block-div' . $class . '"><a class="contact-block-link' . $class . $sparkle 
+               return '<div class="contact-block-div' . $class . '"><a class="contact-block-link' . $class . $sparkle
                        . (($click) ? ' fakelink' : '') . '" '
                        . (($redir) ? ' target="redir" ' : '')
-                       . (($url) ? ' href="' . $url . '"' : '') . $click . ' ><img class="contact-block-img' . $class . $sparkle . '" src="' 
-                       . $contact['micro'] . '" title="' . $contact['name'] . ' [' . $contact['url'] . ']" alt="' . $contact['name'] 
+                       . (($url) ? ' href="' . $url . '"' : '') . $click . ' ><img class="contact-block-img' . $class . $sparkle . '" src="'
+                       . proxy_url($contact['micro']) . '" title="' . $contact['name'] . ' [' . $contact['url'] . ']" alt="' . $contact['name']
                        . '" /></a></div>' . "\r\n";
        }
 }}
@@ -678,19 +949,34 @@ function micropro($contact, $redirect = false, $class = '', $textmode = false) {
 
 
 if(! function_exists('search')) {
+/**
+ * search box
+ *
+ * @param string $s search query
+ * @param string $id html id
+ * @param string $url search url
+ * @param boolean $save show save search button
+ * @return string html for search box #FIXME: remove html
+ */
 function search($s,$id='search-box',$url='/search',$save = false) {
        $a = get_app();
        $o  = '<div id="' . $id . '">';
        $o .= '<form action="' . $a->get_baseurl((stristr($url,'network')) ? true : false) . $url . '" method="get" >';
        $o .= '<input type="text" name="search" id="search-text" placeholder="' . t('Search') . '" value="' . $s .'" />';
-       $o .= '<input type="submit" name="submit" id="search-submit" value="' . t('Search') . '" />'; 
+       $o .= '<input type="submit" name="submit" id="search-submit" value="' . t('Search') . '" />';
        if($save)
-               $o .= '<input type="submit" name="save" id="search-save" value="' . t('Save') . '" />'; 
+               $o .= '<input type="submit" name="save" id="search-save" value="' . t('Save') . '" />';
        $o .= '</form></div>';
        return $o;
 }}
 
 if(! function_exists('valid_email')) {
+/**
+ * Check if $x is a valid email string
+ *
+ * @param string $x
+ * @return boolean
+ */
 function valid_email($x){
 
        if(get_config('system','disable_email_validation'))
@@ -702,23 +988,28 @@ function valid_email($x){
 }}
 
 
+if(! function_exists('linkify')) {
 /**
- *
- * Function: linkify
- *
  * Replace naked text hyperlink with HTML formatted hyperlink
  *
+ * @param string $s
  */
-
-if(! function_exists('linkify')) {
 function linkify($s) {
-       $s = preg_replace("/(https?\:\/\/[a-zA-Z0-9\:\/\-\?\&\;\.\=\_\~\#\'\%\$\!\+]*)/", ' <a href="$1" target="external-link">$1</a>', $s);
+       $s = preg_replace("/(https?\:\/\/[a-zA-Z0-9\:\/\-\?\&\;\.\=\_\~\#\'\%\$\!\+]*)/", ' <a href="$1" target="_blank">$1</a>', $s);
        $s = preg_replace("/\<(.*?)(src|href)=(.*?)\&amp\;(.*?)\>/ism",'<$1$2=$3&$4>',$s);
        return($s);
 }}
 
+
+/**
+ * Load poke verbs
+ *
+ * @return array index is present tense verb
+                                value is array containing past tense verb, translation of present, translation of past
+ * @hook poke_verbs pokes array
+ */
 function get_poke_verbs() {
-       
+
        // index is present tense verb
        // value is array containing past tense verb, translation of present, translation of past
 
@@ -734,10 +1025,12 @@ function get_poke_verbs() {
        return $arr;
 }
 
+/**
+ * Load moods
+ * @return array index is mood, value is translated mood
+ * @hook mood_verbs moods array
+ */
 function get_mood_verbs() {
-       
-       // index is present tense verb
-       // value is array containing past tense verb, translation of present, translation of past
 
        $arr = array(
                'happy'      => t('happy'),
@@ -767,73 +1060,70 @@ function get_mood_verbs() {
 }
 
 
+
+if(! function_exists('smilies')) {
 /**
- * 
- * Function: smilies
- *
- * Description:
  * Replaces text emoticons with graphical images
  *
- * @Parameter: string $s
- *
- * Returns string
- *
  * It is expected that this function will be called using HTML text.
- * We will escape text between HTML pre and code blocks from being 
- * processed. 
- * 
- * At a higher level, the bbcode [nosmile] tag can be used to prevent this 
+ * We will escape text between HTML pre and code blocks from being
+ * processed.
+ *
+ * At a higher level, the bbcode [nosmile] tag can be used to prevent this
  * function from being executed by the prepare_text() routine when preparing
  * bbcode source for HTML display
  *
+ * @param string $s
+ * @param boolean $sample
+ * @return string
+ * @hook smilie ('texts' => smilies texts array, 'icons' => smilies html array, 'string' => $s)
  */
-
-if(! function_exists('smilies')) {
 function smilies($s, $sample = false) {
-
        $a = get_app();
 
-       if(intval(get_config('system','no_smilies')) 
+       if(intval(get_config('system','no_smilies'))
                || (local_user() && intval(get_pconfig(local_user(),'system','no_smilies'))))
                return $s;
 
        $s = preg_replace_callback('/<pre>(.*?)<\/pre>/ism','smile_encode',$s);
        $s = preg_replace_callback('/<code>(.*?)<\/code>/ism','smile_encode',$s);
 
-       $texts =  array( 
-               '&lt;3', 
-               '&lt;/3', 
-               '&lt;\\3', 
-               ':-)', 
-               ';-)', 
-               ':-(', 
-               ':-P', 
-               ':-p', 
-               ':-"', 
-               ':-&quot;', 
-               ':-x', 
-               ':-X', 
-               ':-D', 
-               '8-|', 
-               '8-O', 
-               ':-O', 
-               '\\o/', 
-               'o.O', 
-               'O.o', 
-               'o_O', 
-               'O_o', 
-               ":'(", 
-               ":-!", 
-               ":-/", 
-               ":-[", 
+       $texts =  array(
+               '&lt;3',
+               '&lt;/3',
+               '&lt;\\3',
+               ':-)',
+               ';-)',
+               ':-(',
+               ':-P',
+               ':-p',
+               ':-"',
+               ':-&quot;',
+               ':-x',
+               ':-X',
+               ':-D',
+               '8-|',
+               '8-O',
+               ':-O',
+               '\\o/',
+               'o.O',
+               'O.o',
+               'o_O',
+               'O_o',
+               ":'(",
+               ":-!",
+               ":-/",
+               ":-[",
                "8-)",
-               ':beer', 
-               ':homebrew', 
-               ':coffee', 
+               ':beer',
+               ':homebrew',
+               ':coffee',
                ':facepalm',
                ':like',
                ':dislike',
-               '~friendica'
+                '~friendica',
+                'red#',
+               'red#matrix'
 
        );
 
@@ -853,7 +1143,7 @@ function smilies($s, $sample = false) {
                '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-laughing.gif" alt=":-D" />',
                '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-surprised.gif" alt="8-|" />',
                '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-surprised.gif" alt="8-O" />',
-               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-surprised.gif" alt=":-O" />',                
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-surprised.gif" alt=":-O" />',
                '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-thumbsup.gif" alt="\\o/" />',
                '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-Oo.gif" alt="o.O" />',
                '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-Oo.gif" alt="O.o" />',
@@ -870,7 +1160,9 @@ function smilies($s, $sample = false) {
                '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-facepalm.gif" alt=":facepalm" />',
                '<img class="smiley" src="' . $a->get_baseurl() . '/images/like.gif" alt=":like" />',
                '<img class="smiley" src="' . $a->get_baseurl() . '/images/dislike.gif" alt=":dislike" />',
-               '<a href="http://friendica.com">~friendica <img class="smiley" src="' . $a->get_baseurl() . '/images/friendica-16.png" alt="~friendica" /></a>'
+               '<a href="http://friendica.com">~friendica <img class="smiley" src="' . $a->get_baseurl() . '/images/friendica-16.png" alt="~friendica" /></a>',
+               '<a href="http://redmatrix.me/">red<img class="smiley" src="' . $a->get_baseurl() . '/images/rm-16.png" alt="red" />matrix</a>',
+               '<a href="http://redmatrix.me/">red<img class="smiley" src="' . $a->get_baseurl() . '/images/rm-16.png" alt="red" />matrix</a>'
        );
 
        $params = array('texts' => $texts, 'icons' => $icons, 'string' => $s);
@@ -902,8 +1194,13 @@ function smile_decode($m) {
        return(str_replace($m[1],base64url_decode($m[1]),$m[0]));
 }
 
-// expand <3333 to the correct number of hearts
 
+/**
+ * expand <3333 to the correct number of hearts
+ *
+ * @param string $x
+ * @return string
+ */
 function preg_heart($x) {
        $a = get_app();
        if(strlen($x[1]) == 1)
@@ -917,6 +1214,12 @@ function preg_heart($x) {
 
 
 if(! function_exists('day_translate')) {
+/**
+ * Translate days and months names
+ *
+ * @param string $s
+ * @return string
+ */
 function day_translate($s) {
        $ret = str_replace(array('Monday','Tuesday','Wednesday','Thursday','Friday','Saturday','Sunday'),
                array( t('Monday'), t('Tuesday'), t('Wednesday'), t('Thursday'), t('Friday'), t('Saturday'), t('Sunday')),
@@ -931,70 +1234,205 @@ function day_translate($s) {
 
 
 if(! function_exists('normalise_link')) {
+/**
+ * Normalize url
+ *
+ * @param string $url
+ * @return string
+ */
 function normalise_link($url) {
        $ret = str_replace(array('https:','//www.'), array('http:','//'), $url);
        return(rtrim($ret,'/'));
 }}
 
+
+
+if(! function_exists('link_compare')) {
 /**
- *
  * Compare two URLs to see if they are the same, but ignore
- * slight but hopefully insignificant differences such as if one 
- * is https and the other isn't, or if one is www.something and 
+ * slight but hopefully insignificant differences such as if one
+ * is https and the other isn't, or if one is www.something and
  * the other isn't - and also ignore case differences.
  *
- * Return true if the URLs match, otherwise false.
+ * @param string $a first url
+ * @param string $b second url
+ * @return boolean True if the URLs match, otherwise False
  *
  */
-
-if(! function_exists('link_compare')) {
 function link_compare($a,$b) {
        if(strcasecmp(normalise_link($a),normalise_link($b)) === 0)
                return true;
        return false;
 }}
 
+
+if(! function_exists('redir_private_images')) {
+/**
+ * Find any non-embedded images in private items and add redir links to them
+ *
+ * @param App $a
+ * @param array $item
+ */
+function redir_private_images($a, &$item) {
+
+       $matches = false;
+       $cnt = preg_match_all('|\[img\](http[^\[]*?/photo/[a-fA-F0-9]+?(-[0-9]\.[\w]+?)?)\[\/img\]|', $item['body'], $matches, PREG_SET_ORDER);
+       if($cnt) {
+               //logger("redir_private_images: matches = " . print_r($matches, true));
+               foreach($matches as $mtch) {
+                       if(strpos($mtch[1], '/redir') !== false)
+                               continue;
+
+                       if((local_user() == $item['uid']) && ($item['private'] != 0) && ($item['contact-id'] != $a->contact['id']) && ($item['network'] == NETWORK_DFRN)) {
+                               //logger("redir_private_images: redir");
+                               $img_url = $a->get_baseurl() . '/redir?f=1&quiet=1&url=' . $mtch[1] . '&conurl=' . $item['author-link'];
+                               $item['body'] = str_replace($mtch[0], "[img]".$img_url."[/img]", $item['body']);
+                       }
+               }
+       }
+
+}}
+
+
 // Given an item array, convert the body element from bbcode to html and add smilie icons.
 // If attach is true, also add icons for item attachments
 
-
 if(! function_exists('prepare_body')) {
-function prepare_body($item,$attach = false) {
+/**
+ * Given an item array, convert the body element from bbcode to html and add smilie icons.
+ * If attach is true, also add icons for item attachments
+ *
+ * @param array $item
+ * @param boolean $attach
+ * @return string item body html
+ * @hook prepare_body_init item array before any work
+ * @hook prepare_body ('item'=>item array, 'html'=>body string) after first bbcode to html
+ * @hook prepare_body_final ('item'=>item array, 'html'=>body string) after attach icons and blockquote special case handling (spoiler, author)
+ */
+function prepare_body(&$item,$attach = false, $preview = false) {
 
        $a = get_app();
        call_hooks('prepare_body_init', $item);
 
-       $cachefile = get_cachefile($item["guid"]."-".strtotime($item["edited"])."-".hash("crc32", $item['body']));
+       $searchpath = $a->get_baseurl()."/search?tag=";
+
+       $tags=array();
+       $hashtags = array();
+       $mentions = array();
+
+       if (!get_config('system','suppress_tags')) {
+               $taglist = q("SELECT `type`, `term`, `url` FROM `term` WHERE `otype` = %d AND `oid` = %d AND `type` IN (%d, %d) ORDER BY `tid`",
+                               intval(TERM_OBJ_POST), intval($item['id']), intval(TERM_HASHTAG), intval(TERM_MENTION));
+
+               foreach($taglist as $tag) {
+
+                       if ($tag["url"] == "")
+                               $tag["url"] = $searchpath.strtolower($tag["term"]);
+
+                       if ($tag["type"] == TERM_HASHTAG) {
+                               $hashtags[] = "#<a href=\"".$tag["url"]."\" target=\"_blank\">".$tag["term"]."</a>";
+                               $prefix = "#";
+                       } elseif ($tag["type"] == TERM_MENTION) {
+                               $mentions[] = "@<a href=\"".$tag["url"]."\" target=\"_blank\">".$tag["term"]."</a>";
+                               $prefix = "@";
+                       }
+                       $tags[] = $prefix."<a href=\"".$tag["url"]."\" target=\"_blank\">".$tag["term"]."</a>";
+               }
+       }
+
+       $item['tags'] = $tags;
+       $item['hashtags'] = $hashtags;
+       $item['mentions'] = $mentions;
+
+
+       $cachefile = get_cachefile(urlencode($item["guid"])."-".hash("md5", $item['body']));
 
        if (($cachefile != '')) {
-               if (file_exists($cachefile))
+               if (file_exists($cachefile)) {
+                       $stamp1 = microtime(true);
                        $s = file_get_contents($cachefile);
-               else {
+                       $a->save_timestamp($stamp1, "file");
+               } else {
+                       redir_private_images($a, $item);
                        $s = prepare_text($item['body']);
+
+                       $stamp1 = microtime(true);
                        file_put_contents($cachefile, $s);
+                       $a->save_timestamp($stamp1, "file");
+
+                       logger('prepare_body: put item '.$item["id"].' into cachefile '.$cachefile);
                }
-       } else
+       } else {
+               redir_private_images($a, $item);
                $s = prepare_text($item['body']);
+       }
 
+       require_once("mod/proxy.php");
+       $s = proxy_parse_html($s);
 
-       $prep_arr = array('item' => $item, 'html' => $s);
+       $prep_arr = array('item' => $item, 'html' => $s, 'preview' => $preview);
        call_hooks('prepare_body', $prep_arr);
        $s = $prep_arr['html'];
 
        if(! $attach) {
+               // Replace the blockquotes with quotes that are used in mails
+               $mailquote = '<blockquote type="cite" class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">';
+               $s = str_replace(array('<blockquote>', '<blockquote class="spoiler">', '<blockquote class="author">'), array($mailquote, $mailquote, $mailquote), $s);
                return $s;
        }
 
-       $arr = explode(',',$item['attach']);
+       $as = '';
+       $vhead = false;
+       $arr = explode('[/attach],',$item['attach']);
        if(count($arr)) {
-               $s .= '<div class="body-attach">';
+               $as .= '<div class="body-attach">';
                foreach($arr as $r) {
                        $matches = false;
                        $icon = '';
-                       $cnt = preg_match_all('|\[attach\]href=\"(.*?)\" length=\"(.*?)\" type=\"(.*?)\" title=\"(.*?)\"\[\/attach\]|',$r,$matches, PREG_SET_ORDER);
+                       $cnt = preg_match_all('|\[attach\]href=\"(.*?)\" length=\"(.*?)\" type=\"(.*?)\" title=\"(.*?)\"|',$r,$matches, PREG_SET_ORDER);
                        if($cnt) {
                                foreach($matches as $mtch) {
-                                       $icontype = strtolower(substr($mtch[3],0,strpos($mtch[3],'/')));
+                                       $mime = $mtch[3];
+
+                                       if((local_user() == $item['uid']) && ($item['contact-id'] != $a->contact['id']) && ($item['network'] == NETWORK_DFRN))
+                                               $the_url = $a->get_baseurl() . '/redir/' . $item['contact-id'] . '?f=1&url=' . $mtch[1];
+                                       else
+                                               $the_url = $mtch[1];
+
+                                       if(strpos($mime, 'video') !== false) {
+                                               if(!$vhead) {
+                                                       $vhead = true;
+                                                       $a->page['htmlhead'] .= replace_macros(get_markup_template('videos_head.tpl'), array(
+                                                               '$baseurl' => $a->get_baseurl(),
+                                                       ));
+                                                       $a->page['end'] .= replace_macros(get_markup_template('videos_end.tpl'), array(
+                                                               '$baseurl' => $a->get_baseurl(),
+                                                       ));
+                                               }
+
+                                               $id = end(explode('/', $the_url));
+                                               $as .= replace_macros(get_markup_template('video_top.tpl'), array(
+                                                       '$video'        => array(
+                                                               'id'       => $id,
+                                                               'title'         => t('View Video'),
+                                                               'src'           => $the_url,
+                                                               'mime'          => $mime,
+                                                       ),
+                                               ));
+                                       }
+
+                                       $filetype = strtolower(substr( $mime, 0, strpos($mime,'/') ));
+                                       if($filetype) {
+                                               $filesubtype = strtolower(substr( $mime, strpos($mime,'/') + 1 ));
+                                               $filesubtype = str_replace('.', '-', $filesubtype);
+                                       }
+                                       else {
+                                               $filetype = 'unkn';
+                                               $filesubtype = 'unkn';
+                                       }
+
+                                       $icon = '<div class="attachtype icon s22 type-' . $filetype . ' subtype-' . $filesubtype . '"></div>';
+                                       /*$icontype = strtolower(substr($mtch[3],0,strpos($mtch[3],'/')));
                                        switch($icontype) {
                                                case 'video':
                                                case 'audio':
@@ -1005,20 +1443,18 @@ function prepare_body($item,$attach = false) {
                                                default:
                                                        $icon = '<div class="attachtype icon s22 type-unkn"></div>';
                                                        break;
-                                       }
+                                       }*/
+
                                        $title = ((strlen(trim($mtch[4]))) ? escape_tags(trim($mtch[4])) : escape_tags($mtch[1]));
                                        $title .= ' ' . $mtch[2] . ' ' . t('bytes');
-                                       if((local_user() == $item['uid']) && ($item['contact-id'] != $a->contact['id']) && ($item['network'] == NETWORK_DFRN))
-                                               $the_url = $a->get_baseurl() . '/redir/' . $item['contact-id'] . '?f=1&url=' . $mtch[1];
-                                       else
-                                               $the_url = $mtch[1];
 
-                                       $s .= '<a href="' . strip_tags($the_url) . '" title="' . $title . '" class="attachlink" target="external-link" >' . $icon . '</a>';
+                                       $as .= '<a href="' . strip_tags($the_url) . '" title="' . $title . '" class="attachlink" target="_blank" >' . $icon . '</a>';
                                }
                        }
                }
-               $s .= '<div class="clear"></div></div>';
+               $as .= '<div class="clear"></div></div>';
        }
+       $s = $s . $as;
 
 
        // Look for spoiler
@@ -1051,6 +1487,13 @@ function prepare_body($item,$attach = false) {
                $s = substr($s, 0, $pos).$authorreplace.substr($s, $pos+strlen($authorsearch));
        }
 
+    // replace friendica image url size with theme preference
+    if (x($a->theme_info,'item_image_size')){
+        $ps = $a->theme_info['item_image_size'];
+
+        $s = preg_replace('|(<img[^>]+src="[^"]+/photo/[0-9a-f]+)-[0-9]|',"$1-".$ps, $s);
+    }
+
        $prep_arr = array('item' => $item, 'html' => $s);
        call_hooks('prepare_body_final', $prep_arr);
 
@@ -1058,9 +1501,13 @@ function prepare_body($item,$attach = false) {
 }}
 
 
-// Given a text string, convert from bbcode to html and add smilie icons.
-
 if(! function_exists('prepare_text')) {
+/**
+ * Given a text string, convert from bbcode to html and add smilie icons.
+ *
+ * @param string $text
+ * @return string
+ */
 function prepare_text($text) {
 
        require_once('include/bbcode.php');
@@ -1070,33 +1517,40 @@ function prepare_text($text) {
        else
                $s = smilies(bbcode($text));
 
-       return $s;
+       return trim($s);
 }}
 
 
+
 /**
- * returns 
- * [
- *    //categories [
+ * return array with details for categories and folders for an item
+ *
+ * @param array $item
+ * @return array
+ *
+  * [
+ *      [ // categories array
  *          {
  *               'name': 'category name',
- *              'removeurl': 'url to remove this category',
- *             'first': 'is the first in this array? true/false',
+ *               'removeurl': 'url to remove this category',
+ *               'first': 'is the first in this array? true/false',
  *               'last': 'is the last in this array? true/false',
  *           } ,
  *           ....
  *       ],
- *       // folders [
+ *       [ //folders array
+ *                     {
  *               'name': 'folder name',
  *               'removeurl': 'url to remove this folder',
  *               'first': 'is the first in this array? true/false',
  *               'last': 'is the last in this array? true/false',
  *           } ,
- *           ....       
+ *           ....
  *       ]
- *   ]
+ *  ]
  */
 function get_cats_and_terms($item) {
+
     $a = get_app();
     $categories = array();
     $folders = array();
@@ -1116,7 +1570,7 @@ function get_cats_and_terms($item) {
         }
     }
     if (count($categories)) $categories[count($categories)-1]['last'] = true;
-    
+
 
        if(local_user() == $item['uid']) {
            $matches = false; $first = true;
@@ -1141,13 +1595,14 @@ function get_cats_and_terms($item) {
 }
 
 
+
+if(! function_exists('feed_hublinks')) {
 /**
  * return atom link elements for all of our hubs
+ * @return string hub link xml elements
  */
-
-if(! function_exists('feed_hublinks')) {
 function feed_hublinks() {
-
+       $a = get_app();
        $hub = get_config('system','huburl');
 
        $hubxml = '';
@@ -1158,6 +1613,8 @@ function feed_hublinks() {
                                $h = trim($h);
                                if(! strlen($h))
                                        continue;
+                               if ($h === '[internal]')
+                                       $h = $a->get_baseurl() . '/pubsubhubbub';
                                $hubxml .= '<link rel="hub" href="' . xmlify($h) . '" />' . "\n" ;
                        }
                }
@@ -1165,37 +1622,66 @@ function feed_hublinks() {
        return $hubxml;
 }}
 
-/* return atom link elements for salmon endpoints */
 
 if(! function_exists('feed_salmonlinks')) {
+/**
+ * return atom link elements for salmon endpoints
+ * @param string $nick user nickname
+ * @return string salmon link xml elements
+ */
 function feed_salmonlinks($nick) {
 
        $a = get_app();
 
        $salmon  = '<link rel="salmon" href="' . xmlify($a->get_baseurl() . '/salmon/' . $nick) . '" />' . "\n" ;
 
-       // old style links that status.net still needed as of 12/2010 
+       // old style links that status.net still needed as of 12/2010
 
-       $salmon .= '  <link rel="http://salmon-protocol.org/ns/salmon-replies" href="' . xmlify($a->get_baseurl() . '/salmon/' . $nick) . '" />' . "\n" ; 
-       $salmon .= '  <link rel="http://salmon-protocol.org/ns/salmon-mention" href="' . xmlify($a->get_baseurl() . '/salmon/' . $nick) . '" />' . "\n" ; 
+       $salmon .= '  <link rel="http://salmon-protocol.org/ns/salmon-replies" href="' . xmlify($a->get_baseurl() . '/salmon/' . $nick) . '" />' . "\n" ;
+       $salmon .= '  <link rel="http://salmon-protocol.org/ns/salmon-mention" href="' . xmlify($a->get_baseurl() . '/salmon/' . $nick) . '" />' . "\n" ;
        return $salmon;
 }}
 
 if(! function_exists('get_plink')) {
+/**
+ * get private link for item
+ * @param array $item
+ * @return boolean|array False if item has not plink, otherwise array('href'=>plink url, 'title'=>translated title)
+ */
 function get_plink($item) {
-       $a = get_app(); 
-       if (x($item,'plink') && ($item['private'] != 1)) {
-               return array(
-                       'href' => $item['plink'],
-                       'title' => t('link to source'),
-               );
-       } 
-       else {
-               return false;
-       }
+       $a = get_app();
+
+       if ($a->user['nickname'] != "") {
+               $ret = array(
+                               //'href' => $a->get_baseurl()."/display/".$a->user['nickname']."/".$item['id'],
+                               'href' => $a->get_baseurl()."/display/".$item['guid'],
+                               'orig' => $a->get_baseurl()."/display/".$item['guid'],
+                               'title' => t('link to source'),
+                       );
+
+               if (x($item,'plink'))
+                       $ret["href"] = $item['plink'];
+
+       } elseif (x($item,'plink') && ($item['private'] != 1))
+               $ret = array(
+                               'href' => $item['plink'],
+                               'orig' => $item['plink'],
+                               'title' => t('link to source'),
+                       );
+       else
+               $ret = array();
+
+       //if (x($item,'plink') && ($item['private'] != 1))
+
+       return($ret);
 }}
 
 if(! function_exists('unamp')) {
+/**
+ * replace html amp entity with amp char
+ * @param string $s
+ * @return string
+ */
 function unamp($s) {
        return str_replace('&amp;', '&', $s);
 }}
@@ -1204,14 +1690,20 @@ function unamp($s) {
 
 
 if(! function_exists('lang_selector')) {
+/**
+ * get html for language selector
+ * @global string $lang
+ * @return string
+ * @template lang_selector.tpl
+ */
 function lang_selector() {
        global $lang;
-       
+
        $langs = glob('view/*/strings.php');
-       
+
        $lang_options = array();
        $selected = "";
-       
+
        if(is_array($langs) && count($langs)) {
                $langs[] = '';
                if(! in_array('view/en/strings.php',$langs))
@@ -1229,17 +1721,22 @@ function lang_selector() {
                }
        }
 
-       $tpl = get_markup_template("lang_selector.tpl");        
+       $tpl = get_markup_template("lang_selector.tpl");
        $o = replace_macros($tpl, array(
                '$title' => t('Select an alternate language'),
                '$langs' => array($lang_options, $selected),
-               
+
        ));
        return $o;
 }}
 
 
 if(! function_exists('return_bytes')) {
+/**
+ * return number of bytes in size (K, M, G)
+ * @param string $size_str
+ * @return number
+ */
 function return_bytes ($size_str) {
     switch (substr ($size_str, -1))
     {
@@ -1250,6 +1747,9 @@ function return_bytes ($size_str) {
     }
 }}
 
+/**
+ * @return string
+ */
 function generate_user_guid() {
        $found = true;
        do {
@@ -1264,7 +1764,11 @@ function generate_user_guid() {
 }
 
 
-
+/**
+ * @param string $s
+ * @param boolean $strip_padding
+ * @return string
+ */
 function base64url_encode($s, $strip_padding = false) {
 
        $s = strtr(base64_encode($s),'+/','-_');
@@ -1275,6 +1779,10 @@ function base64url_encode($s, $strip_padding = false) {
        return $s;
 }
 
+/**
+ * @param string $s
+ * @return string
+ */
 function base64url_decode($s) {
 
        if(is_array($s)) {
@@ -1303,6 +1811,16 @@ function base64url_decode($s) {
 
 
 if (!function_exists('str_getcsv')) {
+       /**
+        * Parse csv string
+        *
+        * @param string $input
+        * @param string $delimiter
+        * @param string $enclosure
+        * @param string $escape
+        * @param string $eol
+        * @return boolean|array False on error, otherwise array[row][column]
+        */
     function str_getcsv($input, $delimiter = ',', $enclosure = '"', $escape = '\\', $eol = '\n') {
         if (is_string($input) && !empty($input)) {
             $output = array();
@@ -1340,13 +1858,13 @@ if (!function_exists('str_getcsv')) {
                         }
                     } else {
                         $line = preg_split("/".$delimiter."/",$line);
-   
+
                         /*
                          * Validating against pesky extra line breaks creating false rows.
                          */
                         if (is_array($line) && !empty($line[0])) {
                             $output[$line_num] = $line;
-                        } 
+                        }
                     }
                 }
                 return $output;
@@ -1357,8 +1875,13 @@ if (!function_exists('str_getcsv')) {
             return false;
         }
     }
-} 
+}
 
+/**
+ * return div element with class 'clear'
+ * @return string
+ * @deprecated
+ */
 function cleardiv() {
        return '<div class="clear"></div>';
 }
@@ -1376,7 +1899,7 @@ function bb_translate_video($s) {
                                $s = str_replace($mtch[0],'[vimeo]' . $mtch[1] . '[/vimeo]',$s);
                }
        }
-       return $s;      
+       return $s;
 }
 
 function html2bb_video($s) {
@@ -1395,6 +1918,8 @@ function html2bb_video($s) {
 
 /**
  * apply xmlify() to all values of array $val, recursively
+ * @param array $val
+ * @return array
  */
 function array_xmlify($val){
        if (is_bool($val)) return $val?"true":"false";
@@ -1403,6 +1928,13 @@ function array_xmlify($val){
 }
 
 
+/**
+ * transorm link href and img src from relative to absolute
+ *
+ * @param string $text
+ * @param string $base base url
+ * @return string
+ */
 function reltoabs($text, $base)
 {
   if (empty($base))
@@ -1411,7 +1943,7 @@ function reltoabs($text, $base)
   $base = rtrim($base,'/');
 
   $base2 = $base . "/";
-       
+
   // Replace links
   $pattern = "/<a([^>]*) href=\"(?!http|https|\/)([^\"]*)\"/";
   $replace = "<a\${1} href=\"" . $base2 . "\${2}\"";
@@ -1424,17 +1956,23 @@ function reltoabs($text, $base)
   // Replace images
   $pattern = "/<img([^>]*) src=\"(?!http|https|\/)([^\"]*)\"/";
   $replace = "<img\${1} src=\"" . $base2 . "\${2}\"";
-  $text = preg_replace($pattern, $replace, $text); 
+  $text = preg_replace($pattern, $replace, $text);
 
   $pattern = "/<img([^>]*) src=\"(?!http|https)([^\"]*)\"/";
   $replace = "<img\${1} src=\"" . $base . "\${2}\"";
-  $text = preg_replace($pattern, $replace, $text); 
+  $text = preg_replace($pattern, $replace, $text);
 
 
   // Done
   return $text;
 }
 
+/**
+ * get translated item type
+ *
+ * @param array $itme
+ * @return string
+ */
 function item_post_type($item) {
        if(intval($item['event-id']))
                return t('event');
@@ -1450,7 +1988,7 @@ function item_post_type($item) {
 // post categories and "save to file" use the same item.file table for storage.
 // We will differentiate the different uses by wrapping categories in angle brackets
 // and save to file categories in square brackets.
-// To do this we need to escape these characters if they appear in our tag. 
+// To do this we need to escape these characters if they appear in our tag.
 
 function file_tag_encode($s) {
        return str_replace(array('<','>','[',']'),array('%3c','%3e','%5b','%5d'),$s);
@@ -1528,10 +2066,12 @@ function file_tag_update_pconfig($uid,$file_old,$file_new,$type = 'file') {
                 if($type == 'file') {
                        $lbracket = '[';
                        $rbracket = ']';
+                       $termtype = TERM_FILE;
                }
                 else {
                        $lbracket = '<';
                        $rbracket = '>';
+                       $termtype = TERM_CATEGORY;
                }
 
                 $filetags_updated = $saved;
@@ -1557,9 +2097,15 @@ function file_tag_update_pconfig($uid,$file_old,$file_new,$type = 'file') {
                }
 
                 foreach($deleted_tags as $key => $tag) {
-                       $r = q("select file from item where uid = %d " . file_tag_file_query('item',$tag,$type),
-                               intval($uid)
-                       );
+                       $r = q("SELECT `oid` FROM `term` WHERE `term` = '%s' AND `otype` = %d AND `type` = %d AND `uid` = %d",
+                               dbesc($tag),
+                               intval(TERM_OBJ_POST),
+                               intval($termtype),
+                               intval($uid));
+
+                       //$r = q("select file from item where uid = %d " . file_tag_file_query('item',$tag,$type),
+                       //      intval($uid)
+                       //);
 
                        if(count($r)) {
                                unset($deleted_tags[$key]);
@@ -1582,6 +2128,8 @@ function file_tag_update_pconfig($uid,$file_old,$file_new,$type = 'file') {
 }
 
 function file_tag_save_file($uid,$item,$file) {
+       require_once("include/files.php");
+
        $result = false;
        if(! intval($uid))
                return false;
@@ -1591,11 +2139,14 @@ function file_tag_save_file($uid,$item,$file) {
        );
        if(count($r)) {
                if(! stristr($r[0]['file'],'[' . file_tag_encode($file) . ']'))
-                       q("update item set file = '%s' where id = %d and uid = %d limit 1",
+                       q("update item set file = '%s' where id = %d and uid = %d",
                                dbesc($r[0]['file'] . '[' . file_tag_encode($file) . ']'),
                                intval($item),
                                intval($uid)
                        );
+
+               create_files_from_item($item);
+
                $saved = get_pconfig($uid,'system','filetags');
                if((! strlen($saved)) || (! stristr($saved,'[' . file_tag_encode($file) . ']')))
                        set_pconfig($uid,'system','filetags',$saved . '[' . file_tag_encode($file) . ']');
@@ -1605,14 +2156,19 @@ function file_tag_save_file($uid,$item,$file) {
 }
 
 function file_tag_unsave_file($uid,$item,$file,$cat = false) {
+       require_once("include/files.php");
+
        $result = false;
        if(! intval($uid))
                return false;
 
-       if($cat == true)
+       if($cat == true) {
                $pattern = '<' . file_tag_encode($file) . '>' ;
-       else
+               $termtype = TERM_CATEGORY;
+       } else {
                $pattern = '[' . file_tag_encode($file) . ']' ;
+               $termtype = TERM_FILE;
+       }
 
 
        $r = q("select file from item where id = %d and uid = %d limit 1",
@@ -1622,15 +2178,22 @@ function file_tag_unsave_file($uid,$item,$file,$cat = false) {
        if(! count($r))
                return false;
 
-       q("update item set file = '%s' where id = %d and uid = %d limit 1",
+       q("update item set file = '%s' where id = %d and uid = %d",
                dbesc(str_replace($pattern,'',$r[0]['file'])),
                intval($item),
                intval($uid)
        );
 
-       $r = q("select file from item where uid = %d and deleted = 0 " . file_tag_file_query('item',$file,(($cat) ? 'category' : 'file')),
-               intval($uid)
-       );
+       create_files_from_item($item);
+
+       $r = q("SELECT `oid` FROM `term` WHERE `term` = '%s' AND `otype` = %d AND `type` = %d AND `uid` = %d",
+               dbesc($file),
+               intval(TERM_OBJ_POST),
+               intval($termtype),
+               intval($uid));
+
+       //$r = q("select file from item where uid = %d and deleted = 0 " . file_tag_file_query('item',$file,(($cat) ? 'category' : 'file')),
+       //);
 
        if(! count($r)) {
                $saved = get_pconfig($uid,'system','filetags');
@@ -1647,7 +2210,7 @@ function normalise_openid($s) {
 
 function undo_post_tagging($s) {
        $matches = null;
-       $cnt = preg_match_all('/([@#])\[url=(.*?)\](.*?)\[\/url\]/ism',$s,$matches,PREG_SET_ORDER);
+       $cnt = preg_match_all('/([!#@])\[url=(.*?)\](.*?)\[\/url\]/ism',$s,$matches,PREG_SET_ORDER);
        if($cnt) {
                foreach($matches as $mtch) {
                        $s = str_replace($mtch[0], $mtch[1] . $mtch[3],$s);
@@ -1680,3 +2243,22 @@ function is_a_date_arg($s) {
        }
        return false;
 }
+
+/**
+ * remove intentation from a text
+ */
+function deindent($text, $chr="[\t ]", $count=NULL) {
+       $text = fix_mce_lf($text);
+       $lines = explode("\n", $text);
+       if (is_null($count)) {
+               $m = array();
+               $k=0; while($k<count($lines) && strlen($lines[$k])==0) $k++;
+               preg_match("|^".$chr."*|", $lines[$k], $m);
+               $count = strlen($m[0]);
+       }
+       for ($k=0; $k<count($lines); $k++){
+               $lines[$k] = preg_replace("|^".$chr."{".$count."}|", "", $lines[$k]);
+       }
+
+       return implode("\n", $lines);
+}