]> git.mxchange.org Git - friendica.git/blobdiff - include/text.php
Accepting "!"-links as tags. (They are used at statusnet for groups)
[friendica.git] / include / text.php
index cc4bee268fc79ebfd174fa7b50e5a672e63f5e44..3b35c0b7673e603f11fe8c35ec54248ae30b3e69 100644 (file)
@@ -6,22 +6,36 @@
 // returns substituted string.
 // WARNING: this is pretty basic, and doesn't properly handle search strings that are substrings of each other.
 // For instance if 'test' => "foo" and 'testing' => "bar", testing could become either bar or fooing, 
-// depending on the order in which they were declared in the array.   
+// depending on the order in which they were declared in the array.
 
 require_once("include/template_processor.php");
+require_once("include/friendica_smarty.php");
 
-if(! function_exists('replace_macros')) {  
+if(! function_exists('replace_macros')) {
+/**
+ * This is our template processor
+ * 
+ * @param string|FriendicaSmarty $s the string requiring macro substitution, 
+ *                                                                     or an instance of FriendicaSmarty
+ * @param array $r key value pairs (search => replace)
+ * @return string substituted string
+ */
 function replace_macros($s,$r) {
-       global $t;
-       
-       //$ts = microtime();
-       $r =  $t->replace($s,$r);
-       //$tt = microtime() - $ts;
-       
-       //$a = get_app();
-       //$a->page['debug'] .= "$tt <br>\n";
-       return template_unescape($r);
 
+       $stamp1 = microtime(true);
+
+       $a = get_app();
+
+       $t = $a->template_engine();
+       try {
+               $output = $t->replace_macros($s,$r);
+       } catch (Exception $e) {
+               echo "<pre><b>".__function__."</b>: ".$e->getMessage()."</pre>"; killme();
+       }
+
+       $a->save_timestamp($stamp1, "rendering");
+
+       return $output;
 }}
 
 
@@ -39,8 +53,9 @@ function random_string($size = 64,$type = RANDOM_STRING_HEX) {
        return(substr($s,0,$size));
 }}
 
+if(! function_exists('notags')) {
 /**
- * This is our primary input filter. 
+ * This is our primary input filter.
  *
  * The high bit hack only involved some old IE browser, forget which (IE5/Mac?)
  * that had an XSS attack vector due to stripping the high-bit on an 8-bit character
@@ -53,9 +68,9 @@ function random_string($size = 64,$type = RANDOM_STRING_HEX) {
  * They will be replaced with safer brackets. This may be filtered further
  * if these are not allowed either.   
  *
+ * @param string $string Input string
+ * @return string Filtered string
  */
-
-if(! function_exists('notags')) {
 function notags($string) {
 
        return(str_replace(array("<",">"), array('[',']'), $string));
@@ -64,13 +79,18 @@ function notags($string) {
 //     return(str_replace(array("<",">","\xBA","\xBC","\xBE"), array('[',']','','',''), $string));
 }}
 
-// use this on "body" or "content" input where angle chars shouldn't be removed,
-// and allow them to be safely displayed.
+
 
 if(! function_exists('escape_tags')) {
+/**
+ * use this on "body" or "content" input where angle chars shouldn't be removed,
+ * and allow them to be safely displayed.
+ * @param string $string
+ * @return string
+ */
 function escape_tags($string) {
 
-       return(htmlspecialchars($string));
+       return(htmlspecialchars($string, ENT_COMPAT, 'UTF-8', false));
 }}
 
 
@@ -78,6 +98,12 @@ function escape_tags($string) {
 // used to generate initial passwords
 
 if(! function_exists('autoname')) {
+/**
+ * generate a string that's random, but usually pronounceable. 
+ * used to generate initial passwords
+ * @param int $len
+ * @return string
+ */
 function autoname($len) {
 
        if($len <= 0)
@@ -153,11 +179,17 @@ function autoname($len) {
 // returns escaped text.
 
 if(! function_exists('xmlify')) {
+/**
+ * escape text ($str) for XML transport
+ * @param string $str
+ * @return string Escaped text.
+ */
 function xmlify($str) {
-       $buffer = '';
+/*     $buffer = '';
        
-       for($x = 0; $x < mb_strlen($str); $x ++) {
-               $char = $str[$x];
+       $len = mb_strlen($str);
+       for($x = 0; $x < $len; $x ++) {
+               $char = mb_substr($str,$x,1);
         
                switch( $char ) {
 
@@ -185,24 +217,41 @@ function xmlify($str) {
                                $buffer .= $char;
                                break;
                }       
-       }
+       }*/
+
+       $buffer = mb_ereg_replace("&", "&amp;", $str);
+       $buffer = mb_ereg_replace("'", "&apos;", $buffer);
+       $buffer = mb_ereg_replace("\"", "&quot;", $buffer);
+       $buffer = mb_ereg_replace("<", "&lt;", $buffer);
+       $buffer = mb_ereg_replace(">", "&gt;", $buffer);
+
        $buffer = trim($buffer);
        return($buffer);
 }}
 
-// undo an xmlify
-// pass xml escaped text ($s), returns unescaped text
-
 if(! function_exists('unxmlify')) {
+/**
+ * undo an xmlify
+ * @param string $s xml escaped text
+ * @return string unescaped text
+ */
 function unxmlify($s) {
-       $ret = str_replace('&amp;','&', $s);
-       $ret = str_replace(array('&lt;','&gt;','&quot;','&apos;'),array('<','>','"',"'"),$ret);
+//     $ret = str_replace('&amp;','&', $s);
+//     $ret = str_replace(array('&lt;','&gt;','&quot;','&apos;'),array('<','>','"',"'"),$ret);
+       $ret = mb_ereg_replace('&amp;', '&', $s);
+       $ret = mb_ereg_replace('&apos;', "'", $ret);
+       $ret = mb_ereg_replace('&quot;', '"', $ret);
+       $ret = mb_ereg_replace('&lt;', "<", $ret);
+       $ret = mb_ereg_replace('&gt;', ">", $ret);
        return $ret;    
 }}
 
-// convenience wrapper, reverse the operation "bin2hex"
-
 if(! function_exists('hex2bin')) {
+/**
+ * convenience wrapper, reverse the operation "bin2hex"
+ * @param string $s
+ * @return number
+ */
 function hex2bin($s) {
        if(! (is_string($s) && strlen($s)))
                return '';
@@ -214,75 +263,139 @@ function hex2bin($s) {
        return(pack("H*",$s));
 }}
 
-// Automatic pagination.
-// To use, get the count of total items.
-// Then call $a->set_pager_total($number_items);
-// Optionally call $a->set_pager_itemspage($n) to the number of items to display on each page
-// Then call paginate($a) after the end of the display loop to insert the pager block on the page
-// (assuming there are enough items to paginate).
-// When using with SQL, the setting LIMIT %d, %d => $a->pager['start'],$a->pager['itemspage']
-// will limit the results to the correct items for the current page. 
-// The actual page handling is then accomplished at the application layer. 
 
-if(! function_exists('paginate')) {
-function paginate(&$a) {
-       $o = '';
+if(! function_exists('paginate_data')) {
+/**
+ * Automatica pagination data.
+ *
+ * @param App $a App instance
+ * @param int $count [optional] item count (used with alt pager)
+ * @return Array data for pagination template
+ */
+function paginate_data(&$a, $count=null) {
        $stripped = preg_replace('/(&page=[0-9]*)/','',$a->query_string);
 
-//     $stripped = preg_replace('/&zrl=(.*?)([\?&]|$)/ism','',$stripped);
-
        $stripped = str_replace('q=','',$stripped);
        $stripped = trim($stripped,'/');
        $pagenum = $a->pager['page'];
+
+       if (($a->page_offset != "") AND !strstr($stripped, "&offset="))
+               $stripped .= "&offset=".urlencode($a->page_offset);
+       if (!strpos($stripped, "?")) {
+               if ($pos = strpos($stripped, "&"))
+                       $stripped = substr($stripped, 0, $pos)."?".substr($stripped, $pos + 1);
+       }
+
        $url = $a->get_baseurl() . '/' . $stripped;
 
+       $data = array();
+       function _l(&$d, $name, $url, $text, $class="") {
+
+               $d[$name] = array('url'=>$url, 'text'=>$text, 'class'=>$class); 
+       }
+
+       if (!is_null($count)){
+               // alt pager
+               if($a->pager['page']>1)
+                       _l($data,  "prev", $url.'&page='.($a->pager['page'] - 1), t('newer'));
+               if($count>0)
+                       _l($data,  "next", $url.'&page='.($a->pager['page'] + 1), t('older'));
+       } else {
+               // full pager
+               if($a->pager['total'] > $a->pager['itemspage']) {
+                       if($a->pager['page'] != 1)
+                               _l($data,  "prev", $url.'&page='.($a->pager['page'] - 1), t('prev'));
 
-         if($a->pager['total'] > $a->pager['itemspage']) {
-               $o .= '<div class="pager">';
-               if($a->pager['page'] != 1)
-                       $o .= '<span class="pager_prev">'."<a href=\"$url".'&page='.($a->pager['page'] - 1).'">' . t('prev') . '</a></span> ';
+                       _l($data, "first", $url."&page=1",  t('first'));
 
-               $o .=  "<span class=\"pager_first\"><a href=\"$url"."&page=1\">" . t('first') . "</a></span> ";
 
-               $numpages = $a->pager['total'] / $a->pager['itemspage'];
+                       $numpages = $a->pager['total'] / $a->pager['itemspage'];
 
                        $numstart = 1;
-               $numstop = $numpages;
+                       $numstop = $numpages;
 
-               if($numpages > 14) {
-                       $numstart = (($pagenum > 7) ? ($pagenum - 7) : 1);
-                       $numstop = (($pagenum > ($numpages - 7)) ? $numpages : ($numstart + 14));
-               }
-   
-               for($i = $numstart; $i <= $numstop; $i++){
-                       if($i == $a->pager['page'])
-                               $o .= '<span class="pager_current">'.(($i < 10) ? '&nbsp;'.$i : $i);
-                       else
-                               $o .= "<span class=\"pager_n\"><a href=\"$url"."&page=$i\">".(($i < 10) ? '&nbsp;'.$i : $i)."</a>";
-                       $o .= '</span> ';
-               }
+                       if($numpages > 14) {
+                               $numstart = (($pagenum > 7) ? ($pagenum - 7) : 1);
+                               $numstop = (($pagenum > ($numpages - 7)) ? $numpages : ($numstart + 14));
+                       }
 
-               if(($a->pager['total'] % $a->pager['itemspage']) != 0) {
-                       if($i == $a->pager['page'])
-                               $o .= '<span class="pager_current">'.(($i < 10) ? '&nbsp;'.$i : $i);
-                       else
-                               $o .= "<span class=\"pager_n\"><a href=\"$url"."&page=$i\">".(($i < 10) ? '&nbsp;'.$i : $i)."</a>";
-                       $o .= '</span> ';
-               }
+                       $pages = array();
+
+                       for($i = $numstart; $i <= $numstop; $i++){
+                               if($i == $a->pager['page'])
+                                       _l($pages, $i, "#",  $i, "current");
+                               else
+                                       _l($pages, $i, $url."&page=$i", $i, "n");
+                       }
+
+                       if(($a->pager['total'] % $a->pager['itemspage']) != 0) {
+                               if($i == $a->pager['page'])
+                                       _l($pages, $i, "#",  $i, "current");
+                               else
+                                       _l($pages, $i, $url."&page=$i", $i, "n");
+                       }
+
+                       $data['pages'] = $pages;
 
-               $lastpage = (($numpages > intval($numpages)) ? intval($numpages)+1 : $numpages);
-               $o .= "<span class=\"pager_last\"><a href=\"$url"."&page=$lastpage\">" . t('last') . "</a></span> ";
+                       $lastpage = (($numpages > intval($numpages)) ? intval($numpages)+1 : $numpages);
+                       _l($data, "last", $url."&page=$lastpage", t('last'));
 
-               if(($a->pager['total'] - ($a->pager['itemspage'] * $a->pager['page'])) > 0)
-                       $o .= '<span class="pager_next">'."<a href=\"$url"."&page=".($a->pager['page'] + 1).'">' . t('next') . '</a></span>';
-               $o .= '</div>'."\r\n";
+                       if(($a->pager['total'] - ($a->pager['itemspage'] * $a->pager['page'])) > 0)
+                               _l($data, "next", $url."&page=".($a->pager['page'] + 1), t('next'));
+
+               }
        }
-       return $o;
+       return $data;
+
+}}
+
+if(! function_exists('paginate')) {
+/**
+ * Automatic pagination.
+ *
+ *  To use, get the count of total items.
+ * Then call $a->set_pager_total($number_items);
+ * Optionally call $a->set_pager_itemspage($n) to the number of items to display on each page
+ * Then call paginate($a) after the end of the display loop to insert the pager block on the page
+ * (assuming there are enough items to paginate).
+ * When using with SQL, the setting LIMIT %d, %d => $a->pager['start'],$a->pager['itemspage']
+ * will limit the results to the correct items for the current page. 
+ * The actual page handling is then accomplished at the application layer. 
+ * 
+ * @param App $a App instance
+ * @return string html for pagination #FIXME remove html
+ */
+function paginate(&$a) {
+
+       $data = paginate_data($a);
+       $tpl = get_markup_template("paginate.tpl");
+       return replace_macros($tpl, array("pager" => $data));
+
+}}
+
+if(! function_exists('alt_pager')) {
+/**
+ * Alternative pager
+ * @param App $a App instance
+ * @param int $i
+ * @return string html for pagination #FIXME remove html
+ */
+function alt_pager(&$a, $i) {
+
+       $data = paginate_data($a, $i);
+       $tpl = get_markup_template("paginate.tpl");
+       return replace_macros($tpl, array('pager' => $data));
+
 }}
 
-// Turn user/group ACLs stored as angle bracketed text into arrays
 
 if(! function_exists('expand_acl')) {
+/**
+ * Turn user/group ACLs stored as angle bracketed text into arrays
+ *
+ * @param string $s
+ * @return array
+ */
 function expand_acl($s) {
        // turn string array of angle-bracketed elements into numeric array
        // e.g. "<1><2><3>" => array(1,2,3);
@@ -299,9 +412,11 @@ function expand_acl($s) {
        return $ret;
 }}             
 
-// Used to wrap ACL elements in angle brackets for storage 
-
 if(! function_exists('sanitise_acl')) {
+/**
+ * Wrap ACL elements in angle brackets for storage 
+ * @param string $item
+ */
 function sanitise_acl(&$item) {
        if(intval($item))
                $item = '<' . intval(notags(trim($item))) . '>';
@@ -310,12 +425,23 @@ function sanitise_acl(&$item) {
 }}
 
 
-// Convert an ACL array to a storable string
-
 if(! function_exists('perms2str')) {
+/**
+ * Convert an ACL array to a storable string
+ * 
+ * Normally ACL permissions will be an array.
+ * We'll also allow a comma-separated string.
+ * 
+ * @param string|array $p
+ * @return string
+ */
 function perms2str($p) {
        $ret = '';
-       $tmp = $p;
+       if(is_array($p))
+               $tmp = $p;
+       else
+               $tmp = explode(',',$p);
+
        if(is_array($tmp)) {
                array_walk($tmp,'sanitise_acl');
                $ret = implode('',$tmp);
@@ -323,10 +449,16 @@ function perms2str($p) {
        return $ret;
 }}
 
-// generate a guaranteed unique (for this domain) item ID for ATOM
-// safe from birthday paradox
 
 if(! function_exists('item_new_uri')) {
+/**
+ * generate a guaranteed unique (for this domain) item ID for ATOM
+ * safe from birthday paradox
+ * 
+ * @param string $hostname
+ * @param int $uid
+ * @return string
+ */
 function item_new_uri($hostname,$uid) {
 
        do {
@@ -347,6 +479,12 @@ function item_new_uri($hostname,$uid) {
 // safe from birthday paradox
 
 if(! function_exists('photo_new_resource')) {
+/**
+ * Generate a guaranteed unique photo ID.
+ * safe from birthday paradox
+ *
+ * @return string
+ */
 function photo_new_resource() {
 
        do {
@@ -362,72 +500,155 @@ function photo_new_resource() {
 }}
 
 
-// wrapper to load a view template, checking for alternate
-// languages before falling back to the default
-
-// obsolete, deprecated.
-
 if(! function_exists('load_view_file')) {
+/**
+ * @deprecated
+ * wrapper to load a view template, checking for alternate
+ * languages before falling back to the default
+ *
+ * @global string $lang
+ * @global App $a
+ * @param string $s view name
+ * @return string
+ */    
 function load_view_file($s) {
        global $lang, $a;
        if(! isset($lang))
                $lang = 'en';
        $b = basename($s);
        $d = dirname($s);
-       if(file_exists("$d/$lang/$b"))
-               return file_get_contents("$d/$lang/$b");
-       
+       if(file_exists("$d/$lang/$b")) {
+               $stamp1 = microtime(true);
+               $content = file_get_contents("$d/$lang/$b");
+               $a->save_timestamp($stamp1, "file");
+               return $content;
+       }
+
        $theme = current_theme();
-       
-       if(file_exists("$d/theme/$theme/$b"))
-               return file_get_contents("$d/theme/$theme/$b");
-                       
-       return file_get_contents($s);
+
+       if(file_exists("$d/theme/$theme/$b")) {
+               $stamp1 = microtime(true);
+               $content = file_get_contents("$d/theme/$theme/$b");
+               $a->save_timestamp($stamp1, "file");
+               return $content;
+       }
+
+       $stamp1 = microtime(true);
+       $content = file_get_contents($s);
+       $a->save_timestamp($stamp1, "file");
+       return $content;
 }}
 
 if(! function_exists('get_intltext_template')) {
+/**
+ * load a view template, checking for alternate
+ * languages before falling back to the default
+ * 
+ * @global string $lang
+ * @param string $s view path
+ * @return string
+ */
 function get_intltext_template($s) {
        global $lang;
 
+       $a = get_app();
+       $engine = '';
+       if($a->theme['template_engine'] === 'smarty3')
+               $engine = "/smarty3";
+
        if(! isset($lang))
                $lang = 'en';
 
-       if(file_exists("view/$lang/$s"))
-               return file_get_contents("view/$lang/$s");
-       elseif(file_exists("view/en/$s"))
-               return file_get_contents("view/en/$s");
-       else
-               return file_get_contents("view/$s");
+       if(file_exists("view/$lang$engine/$s")) {
+               $stamp1 = microtime(true);
+               $content = file_get_contents("view/$lang$engine/$s");
+               $a->save_timestamp($stamp1, "file");
+               return $content;
+       } elseif(file_exists("view/en$engine/$s")) {
+               $stamp1 = microtime(true);
+               $content = file_get_contents("view/en$engine/$s");
+               $a->save_timestamp($stamp1, "file");
+               return $content;
+       } else {
+               $stamp1 = microtime(true);
+               $content = file_get_contents("view$engine/$s");
+               $a->save_timestamp($stamp1, "file");
+               return $content;
+       }
 }}
 
 if(! function_exists('get_markup_template')) {
-function get_markup_template($s) {
-       $a=get_app();
-       $theme = current_theme();
+/**
+ * load template $s
+ * 
+ * @param string $s
+ * @param string $root
+ * @return string
+ */
+function get_markup_template($s, $root = '') {
+       $stamp1 = microtime(true);
+
+       $a = get_app();
+       $t = $a->template_engine();
+       try {
+               $template = $t->get_template_file($s, $root);
+       } catch (Exception $e) {
+               echo "<pre><b>".__function__."</b>: ".$e->getMessage()."</pre>"; killme();
+       }
+       
+       $a->save_timestamp($stamp1, "file");
        
-       if(file_exists("view/theme/$theme/$s"))
-               return file_get_contents("view/theme/$theme/$s");
-       elseif (x($a->theme_info,"extends") && file_exists("view/theme/".$a->theme_info["extends"]."/$s"))
-               return file_get_contents("view/theme/".$a->theme_info["extends"]."/$s");
+       return $template;
+}}
+
+if(! function_exists("get_template_file")) {
+/**
+ * 
+ * @param App $a
+ * @param string $filename
+ * @param string $root
+ * @return string
+ */
+function get_template_file($a, $filename, $root = '') {
+       $theme = current_theme();
+
+       // Make sure $root ends with a slash /
+       if($root !== '' && $root[strlen($root)-1] !== '/')
+               $root = $root . '/';
+
+       if(file_exists("{$root}view/theme/$theme/$filename"))
+               $template_file = "{$root}view/theme/$theme/$filename";
+       elseif (x($a->theme_info,"extends") && file_exists("{$root}view/theme/{$a->theme_info["extends"]}/$filename"))
+               $template_file = "{$root}view/theme/{$a->theme_info["extends"]}/$filename";
+       elseif (file_exists("{$root}/$filename"))
+               $template_file = "{$root}/$filename";
        else
-               return file_get_contents("view/$s");
+               $template_file = "{$root}view/$filename";
 
+       return $template_file;
 }}
 
 
 
 
 
-// for html,xml parsing - let's say you've got
-// an attribute foobar="class1 class2 class3"
-// and you want to find out if it contains 'class3'.
-// you can't use a normal sub string search because you
-// might match 'notclass3' and a regex to do the job is 
-// possible but a bit complicated. 
-// pass the attribute string as $attr and the attribute you 
-// are looking for as $s - returns true if found, otherwise false
+
 
 if(! function_exists('attribute_contains')) {
+/**
+ *  for html,xml parsing - let's say you've got
+ *  an attribute foobar="class1 class2 class3"
+ *  and you want to find out if it contains 'class3'.
+ *  you can't use a normal sub string search because you
+ *  might match 'notclass3' and a regex to do the job is 
+ *  possible but a bit complicated. 
+ *  pass the attribute string as $attr and the attribute you 
+ *  are looking for as $s - returns true if found, otherwise false
+ * 
+ * @param string $attr attribute value
+ * @param string $s string to search
+ * @return boolean True if found, False otherwise
+ */
 function attribute_contains($attr,$s) {
        $a = explode(' ', $attr);
        if(count($a) && in_array($s,$a))
@@ -436,6 +657,19 @@ function attribute_contains($attr,$s) {
 }}
 
 if(! function_exists('logger')) {
+/**
+ * log levels:
+ * LOGGER_NORMAL (default)
+ * LOGGER_TRACE
+ * LOGGER_DEBUG
+ * LOGGER_DATA
+ * LOGGER_ALL
+ * 
+ * @global App $a
+ * @global dba $db
+ * @param string $msg
+ * @param int $level
+ */
 function logger($msg,$level = 0) {
        // turn off logger in install mode
        global $a;
@@ -449,13 +683,22 @@ function logger($msg,$level = 0) {
 
        if((! $debugging) || (! $logfile) || ($level > $loglevel))
                return;
-       
+
+       $stamp1 = microtime(true);
        @file_put_contents($logfile, datetime_convert() . ':' . session_id() . ' ' . $msg . "\n", FILE_APPEND);
+       $a->save_timestamp($stamp1, "file");
        return;
 }}
 
 
 if(! function_exists('activity_match')) {
+/**
+ * Compare activity uri. Knows about activity namespace.
+ * 
+ * @param string $haystack
+ * @param string $needle
+ * @return boolean
+ */
 function activity_match($haystack,$needle) {
        if(($haystack === $needle) || ((basename($needle) === $haystack) && strstr($needle,NAMESPACE_ACTIVITY_SCHEMA)))
                return true;
@@ -463,22 +706,30 @@ function activity_match($haystack,$needle) {
 }}
 
 
-// Pull out all #hashtags and @person tags from $s;
-// We also get @person@domain.com - which would make 
-// the regex quite complicated as tags can also
-// end a sentence. So we'll run through our results
-// and strip the period from any tags which end with one.
-// Returns array of tags found, or empty array.
-
-
 if(! function_exists('get_tags')) {
+/**
+ * Pull out all #hashtags and @person tags from $s;
+ * We also get @person@domain.com - which would make 
+ * the regex quite complicated as tags can also
+ * end a sentence. So we'll run through our results
+ * and strip the period from any tags which end with one.
+ * Returns array of tags found, or empty array.
+ * 
+ * @param string $s
+ * @return array
+ */
 function get_tags($s) {
        $ret = array();
 
        // ignore anything in a code block
-
        $s = preg_replace('/\[code\](.*?)\[\/code\]/sm','',$s);
 
+       // Force line feeds at bbtags
+       $s = str_replace(array("[", "]"), array("\n[", "]\n"), $s);
+
+       // ignore anything in a bbtag
+       $s = preg_replace('/\[(.*?)\]/sm','',$s);
+
        // Match full names against @tags including the space between first and last
        // We will look these up afterward to see if they are full names or not recognisable.
 
@@ -498,7 +749,7 @@ function get_tags($s) {
        // Otherwise pull out single word tags. These can be @nickname, @first_last
        // and #hash tags.
 
-       if(preg_match_all('/([@#][^ \x0D\x0A,;:?]+)([ \x0D\x0A,;:?]|$)/',$s,$match)) {
+       if(preg_match_all('/([!#@][^ \x0D\x0A,;:?]+)([ \x0D\x0A,;:?]|$)/',$s,$match)) {
                foreach($match[1] as $mtch) {
                        if(strstr($mtch,"]")) {
                                // we might be inside a bbcode color tag - leave it alone
@@ -519,9 +770,15 @@ function get_tags($s) {
 }}
 
 
-// quick and dirty quoted_printable encoding
+// 
 
 if(! function_exists('qp')) {
+/**
+ * quick and dirty quoted_printable encoding
+ * 
+ * @param string $s
+ * @return string
+ */    
 function qp($s) {
 return str_replace ("%","=",rawurlencode($s));
 }} 
@@ -529,6 +786,10 @@ return str_replace ("%","=",rawurlencode($s));
 
 
 if(! function_exists('get_mentions')) {
+/**
+ * @param array $item
+ * @return string html for mentions #FIXME: remove html
+ */
 function get_mentions($item) {
        $o = '';
        if(! strlen($item['tag']))
@@ -546,6 +807,13 @@ function get_mentions($item) {
 }}
 
 if(! function_exists('contact_block')) {
+/**
+ * Get html for contact block.
+ * 
+ * @template contact_block.tpl
+ * @hook contact_block_end (contacts=>array, output=>string)
+ * @return string
+ */
 function contact_block() {
        $o = '';
        $a = get_app();
@@ -598,6 +866,14 @@ function contact_block() {
 }}
 
 if(! function_exists('micropro')) {
+/**
+ * 
+ * @param array $contact
+ * @param boolean $redirect
+ * @param string $class
+ * @param boolean $textmode
+ * @return string #FIXME: remove html
+ */
 function micropro($contact, $redirect = false, $class = '', $textmode = false) {
 
        if($class)
@@ -642,6 +918,15 @@ function micropro($contact, $redirect = false, $class = '', $textmode = false) {
 
 
 if(! function_exists('search')) {
+/**
+ * search box
+ * 
+ * @param string $s search query
+ * @param string $id html id
+ * @param string $url search url
+ * @param boolean $save show save search button
+ * @return string html for search box #FIXME: remove html
+ */
 function search($s,$id='search-box',$url='/search',$save = false) {
        $a = get_app();
        $o  = '<div id="' . $id . '">';
@@ -655,40 +940,100 @@ function search($s,$id='search-box',$url='/search',$save = false) {
 }}
 
 if(! function_exists('valid_email')) {
+/**
+ * Check if $x is a valid email string
+ * 
+ * @param string $x
+ * @return boolean
+ */
 function valid_email($x){
+
+       if(get_config('system','disable_email_validation'))
+               return true;
+
        if(preg_match('/^[_a-zA-Z0-9\-\+]+(\.[_a-zA-Z0-9\-\+]+)*@[a-zA-Z0-9-]+(\.[a-zA-Z0-9-]+)+$/',$x))
                return true;
        return false;
 }}
 
 
+if(! function_exists('linkify')) {
 /**
- *
- * Function: linkify
- *
  * Replace naked text hyperlink with HTML formatted hyperlink
  *
+ * @param string $s
  */
-
-if(! function_exists('linkify')) {
 function linkify($s) {
-       $s = preg_replace("/(https?\:\/\/[a-zA-Z0-9\:\/\-\?\&\;\.\=\_\~\#\'\%\$\!\+]*)/", ' <a href="$1" target="external-link">$1</a>', $s);
+       $s = preg_replace("/(https?\:\/\/[a-zA-Z0-9\:\/\-\?\&\;\.\=\_\~\#\'\%\$\!\+]*)/", ' <a href="$1" target="_blank">$1</a>', $s);
        $s = preg_replace("/\<(.*?)(src|href)=(.*?)\&amp\;(.*?)\>/ism",'<$1$2=$3&$4>',$s);
        return($s);
 }}
 
 
 /**
- * 
- * Function: smilies
+ * Load poke verbs
  *
- * Description:
+ * @return array index is present tense verb
+                                value is array containing past tense verb, translation of present, translation of past
+ * @hook poke_verbs pokes array
+ */
+function get_poke_verbs() {
+       
+       // index is present tense verb
+       // value is array containing past tense verb, translation of present, translation of past
+
+       $arr = array(
+               'poke' => array( 'poked', t('poke'), t('poked')),
+               'ping' => array( 'pinged', t('ping'), t('pinged')),
+               'prod' => array( 'prodded', t('prod'), t('prodded')),
+               'slap' => array( 'slapped', t('slap'), t('slapped')),
+               'finger' => array( 'fingered', t('finger'), t('fingered')),
+               'rebuff' => array( 'rebuffed', t('rebuff'), t('rebuffed')),
+       );
+       call_hooks('poke_verbs', $arr);
+       return $arr;
+}
+
+/**
+ * Load moods
+ * @return array index is mood, value is translated mood
+ * @hook mood_verbs moods array
+ */
+function get_mood_verbs() {
+       
+       $arr = array(
+               'happy'      => t('happy'),
+               'sad'        => t('sad'),
+               'mellow'     => t('mellow'),
+               'tired'      => t('tired'),
+               'perky'      => t('perky'),
+               'angry'      => t('angry'),
+               'stupefied'  => t('stupified'),
+               'puzzled'    => t('puzzled'),
+               'interested' => t('interested'),
+               'bitter'     => t('bitter'),
+               'cheerful'   => t('cheerful'),
+               'alive'      => t('alive'),
+               'annoyed'    => t('annoyed'),
+               'anxious'    => t('anxious'),
+               'cranky'     => t('cranky'),
+               'disturbed'  => t('disturbed'),
+               'frustrated' => t('frustrated'),
+               'motivated'  => t('motivated'),
+               'relaxed'    => t('relaxed'),
+               'surprised'  => t('surprised'),
+       );
+
+       call_hooks('mood_verbs', $arr);
+       return $arr;
+}
+
+
+
+if(! function_exists('smilies')) {
+/**
  * Replaces text emoticons with graphical images
  *
- * @Parameter: string $s
- *
- * Returns string
- *
  * It is expected that this function will be called using HTML text.
  * We will escape text between HTML pre and code blocks from being 
  * processed. 
@@ -697,11 +1042,12 @@ function linkify($s) {
  * function from being executed by the prepare_text() routine when preparing
  * bbcode source for HTML display
  *
+ * @param string $s
+ * @param boolean $sample
+ * @return string
+ * @hook smilie ('texts' => smilies texts array, 'icons' => smilies html array, 'string' => $s)
  */
-
-if(! function_exists('smilies')) {
 function smilies($s, $sample = false) {
-
        $a = get_app();
 
        if(intval(get_config('system','no_smilies')) 
@@ -744,46 +1090,46 @@ function smilies($s, $sample = false) {
                ':facepalm',
                ':like',
                ':dislike',
-               '~friendika', 
-               '~friendica'
+                '~friendica',
+                'red#'
 
        );
 
        $icons = array(
-               '<img src="' . $a->get_baseurl() . '/images/smiley-heart.gif" alt="<3" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-brokenheart.gif" alt="</3" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-brokenheart.gif" alt="<\\3" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-smile.gif" alt=":-)" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-wink.gif" alt=";-)" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-frown.gif" alt=":-(" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-tongue-out.gif" alt=":-P" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-tongue-out.gif" alt=":-p" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-kiss.gif" alt=":-\"" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-kiss.gif" alt=":-\"" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-kiss.gif" alt=":-x" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-kiss.gif" alt=":-X" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-laughing.gif" alt=":-D" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-surprised.gif" alt="8-|" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-surprised.gif" alt="8-O" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-surprised.gif" alt=":-O" />',                
-               '<img src="' . $a->get_baseurl() . '/images/smiley-thumbsup.gif" alt="\\o/" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-Oo.gif" alt="o.O" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-Oo.gif" alt="O.o" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-Oo.gif" alt="o_O" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-Oo.gif" alt="O_o" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-cry.gif" alt=":\'(" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-foot-in-mouth.gif" alt=":-!" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-undecided.gif" alt=":-/" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-embarassed.gif" alt=":-[" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-cool.gif" alt="8-)" />',
-               '<img src="' . $a->get_baseurl() . '/images/beer_mug.gif" alt=":beer" />',
-               '<img src="' . $a->get_baseurl() . '/images/beer_mug.gif" alt=":homebrew" />',
-               '<img src="' . $a->get_baseurl() . '/images/coffee.gif" alt=":coffee" />',
-               '<img src="' . $a->get_baseurl() . '/images/smiley-facepalm.gif" alt=":facepalm" />',
-               '<img src="' . $a->get_baseurl() . '/images/like.gif" alt=":like" />',
-               '<img src="' . $a->get_baseurl() . '/images/dislike.gif" alt=":dislike" />',
-               '<a href="http://project.friendika.com">~friendika <img src="' . $a->get_baseurl() . '/images/friendika-16.png" alt="~friendika" /></a>',
-               '<a href="http://friendica.com">~friendica <img src="' . $a->get_baseurl() . '/images/friendica-16.png" alt="~friendica" /></a>'
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-heart.gif" alt="<3" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-brokenheart.gif" alt="</3" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-brokenheart.gif" alt="<\\3" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-smile.gif" alt=":-)" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-wink.gif" alt=";-)" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-frown.gif" alt=":-(" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-tongue-out.gif" alt=":-P" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-tongue-out.gif" alt=":-p" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-kiss.gif" alt=":-\"" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-kiss.gif" alt=":-\"" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-kiss.gif" alt=":-x" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-kiss.gif" alt=":-X" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-laughing.gif" alt=":-D" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-surprised.gif" alt="8-|" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-surprised.gif" alt="8-O" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-surprised.gif" alt=":-O" />',                
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-thumbsup.gif" alt="\\o/" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-Oo.gif" alt="o.O" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-Oo.gif" alt="O.o" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-Oo.gif" alt="o_O" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-Oo.gif" alt="O_o" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-cry.gif" alt=":\'(" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-foot-in-mouth.gif" alt=":-!" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-undecided.gif" alt=":-/" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-embarassed.gif" alt=":-[" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-cool.gif" alt="8-)" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/beer_mug.gif" alt=":beer" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/beer_mug.gif" alt=":homebrew" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/coffee.gif" alt=":coffee" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-facepalm.gif" alt=":facepalm" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/like.gif" alt=":like" />',
+               '<img class="smiley" src="' . $a->get_baseurl() . '/images/dislike.gif" alt=":dislike" />',
+               '<a href="http://friendica.com">~friendica <img class="smiley" src="' . $a->get_baseurl() . '/images/friendica-16.png" alt="~friendica" /></a>',
+               '<a href="http://friendica.com">red <img class="smiley" src="' . $a->get_baseurl() . '/images/rhash-16.png" alt="red" /></a>'
        );
 
        $params = array('texts' => $texts, 'icons' => $icons, 'string' => $s);
@@ -815,21 +1161,32 @@ function smile_decode($m) {
        return(str_replace($m[1],base64url_decode($m[1]),$m[0]));
 }
 
-// expand <3333 to the correct number of hearts
 
+/**
+ * expand <3333 to the correct number of hearts
+ * 
+ * @param string $x
+ * @return string
+ */
 function preg_heart($x) {
        $a = get_app();
        if(strlen($x[1]) == 1)
                return $x[0];
        $t = '';
        for($cnt = 0; $cnt < strlen($x[1]); $cnt ++)
-               $t .= '<img src="' . $a->get_baseurl() . '/images/smiley-heart.gif" alt="<3" />';
+               $t .= '<img class="smiley" src="' . $a->get_baseurl() . '/images/smiley-heart.gif" alt="<3" />';
        $r =  str_replace($x[0],$t,$x[0]);
        return $r;
 }
 
 
 if(! function_exists('day_translate')) {
+/**
+ * Translate days and months names
+ * 
+ * @param string $s
+ * @return string
+ */
 function day_translate($s) {
        $ret = str_replace(array('Monday','Tuesday','Wednesday','Thursday','Friday','Saturday','Sunday'),
                array( t('Monday'), t('Tuesday'), t('Wednesday'), t('Thursday'), t('Friday'), t('Saturday'), t('Sunday')),
@@ -844,52 +1201,139 @@ function day_translate($s) {
 
 
 if(! function_exists('normalise_link')) {
+/**
+ * Normalize url
+ * 
+ * @param string $url
+ * @return string
+ */
 function normalise_link($url) {
        $ret = str_replace(array('https:','//www.'), array('http:','//'), $url);
        return(rtrim($ret,'/'));
 }}
 
+
+
+if(! function_exists('link_compare')) {
 /**
- *
  * Compare two URLs to see if they are the same, but ignore
  * slight but hopefully insignificant differences such as if one 
  * is https and the other isn't, or if one is www.something and 
  * the other isn't - and also ignore case differences.
  *
- * Return true if the URLs match, otherwise false.
+ * @param string $a first url
+ * @param string $b second url
+ * @return boolean True if the URLs match, otherwise False
  *
- */
-
-if(! function_exists('link_compare')) {
+ */    
 function link_compare($a,$b) {
        if(strcasecmp(normalise_link($a),normalise_link($b)) === 0)
                return true;
        return false;
 }}
 
+
+if(! function_exists('redir_private_images')) {
+/**
+ * Find any non-embedded images in private items and add redir links to them
+ * 
+ * @param App $a
+ * @param array $item
+ */
+function redir_private_images($a, &$item) {
+
+       $matches = false;
+       $cnt = preg_match_all('|\[img\](http[^\[]*?/photo/[a-fA-F0-9]+?(-[0-9]\.[\w]+?)?)\[\/img\]|', $item['body'], $matches, PREG_SET_ORDER);
+       if($cnt) {
+               //logger("redir_private_images: matches = " . print_r($matches, true));
+               foreach($matches as $mtch) {
+                       if(strpos($mtch[1], '/redir') !== false)
+                               continue;
+
+                       if((local_user() == $item['uid']) && ($item['private'] != 0) && ($item['contact-id'] != $a->contact['id']) && ($item['network'] == NETWORK_DFRN)) {
+                               //logger("redir_private_images: redir");
+                               $img_url = $a->get_baseurl() . '/redir?f=1&quiet=1&url=' . $mtch[1] . '&conurl=' . $item['author-link'];
+                               $item['body'] = str_replace($mtch[0], "[img]".$img_url."[/img]", $item['body']);
+                       }
+               }
+       }
+
+}}
+
+
 // Given an item array, convert the body element from bbcode to html and add smilie icons.
 // If attach is true, also add icons for item attachments
 
-
 if(! function_exists('prepare_body')) {
-function prepare_body($item,$attach = false) {
+/**
+ * Given an item array, convert the body element from bbcode to html and add smilie icons.
+ * If attach is true, also add icons for item attachments
+ * 
+ * @param array $item
+ * @param boolean $attach
+ * @return string item body html
+ * @hook prepare_body_init item array before any work
+ * @hook prepare_body ('item'=>item array, 'html'=>body string) after first bbcode to html
+ * @hook prepare_body_final ('item'=>item array, 'html'=>body string) after attach icons and blockquote special case handling (spoiler, author)
+ */
+function prepare_body(&$item,$attach = false) {
 
        $a = get_app();
-       call_hooks('prepare_body_init', $item); 
+       call_hooks('prepare_body_init', $item);
+
+       $searchpath = $a->get_baseurl()."/search?tag=";
 
-       $cache = get_config('system','itemcache');
+       $tags=array();
+       $hashtags = array();
+       $mentions = array();
 
-       if (($cache != '')) {
-               $cachefile = $cache."/".$item["guid"]."-".strtotime($item["edited"])."-".hash("crc32", $item['body']);
+       if (!get_config('system','suppress_tags')) {
+               $taglist = q("SELECT `type`, `term`, `url` FROM `term` WHERE `otype` = %d AND `oid` = %d AND `type` IN (%d, %d) ORDER BY `tid`",
+                               intval(TERM_OBJ_POST), intval($item['id']), intval(TERM_HASHTAG), intval(TERM_MENTION));
 
-               if (file_exists($cachefile))
+               foreach($taglist as $tag) {
+
+                       if ($tag["url"] == "")
+                               $tag["url"] = $searchpath.strtolower($tag["term"]);
+
+                       if ($tag["type"] == TERM_HASHTAG) {
+                               $hashtags[] = "#<a href=\"".$tag["url"]."\" target=\"_blank\">".$tag["term"]."</a>";
+                               $prefix = "#";
+                       } elseif ($tag["type"] == TERM_MENTION) {
+                               $mentions[] = "@<a href=\"".$tag["url"]."\" target=\"_blank\">".$tag["term"]."</a>";
+                               $prefix = "@";
+                       }
+                       $tags[] = $prefix."<a href=\"".$tag["url"]."\" target=\"_blank\">".$tag["term"]."</a>";
+               }
+       }
+
+       $item['tags'] = $tags;
+       $item['hashtags'] = $hashtags;
+       $item['mentions'] = $mentions;
+
+
+       //$cachefile = get_cachefile($item["guid"]."-".strtotime($item["edited"])."-".hash("crc32", $item['body']));
+       $cachefile = get_cachefile($item["guid"]."-".hash("md5", $item['body']));
+
+       if (($cachefile != '')) {
+               if (file_exists($cachefile)) {
+                       $stamp1 = microtime(true);
                        $s = file_get_contents($cachefile);
-               else {
+                       $a->save_timestamp($stamp1, "file");
+               } else {
+                       redir_private_images($a, $item);
                        $s = prepare_text($item['body']);
+
+                       $stamp1 = microtime(true);
                        file_put_contents($cachefile, $s);
+                       $a->save_timestamp($stamp1, "file");
+
+                       logger('prepare_body: put item '.$item["id"].' into cachefile '.$cachefile);
                }
-       } else
+       } else {
+               redir_private_images($a, $item);
                $s = prepare_text($item['body']);
+       }
 
 
        $prep_arr = array('item' => $item, 'html' => $s);
@@ -897,19 +1341,64 @@ function prepare_body($item,$attach = false) {
        $s = $prep_arr['html'];
 
        if(! $attach) {
+               // Replace the blockquotes with quotes that are used in mails
+               $mailquote = '<blockquote type="cite" class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">';
+               $s = str_replace(array('<blockquote>', '<blockquote class="spoiler">', '<blockquote class="author">'), array($mailquote, $mailquote, $mailquote), $s);
                return $s;
        }
 
-       $arr = explode(',',$item['attach']);
+       $as = '';
+       $vhead = false;
+       $arr = explode('[/attach],',$item['attach']);
        if(count($arr)) {
-               $s .= '<div class="body-attach">';
+               $as .= '<div class="body-attach">';
                foreach($arr as $r) {
                        $matches = false;
                        $icon = '';
-                       $cnt = preg_match_all('|\[attach\]href=\"(.*?)\" length=\"(.*?)\" type=\"(.*?)\" title=\"(.*?)\"\[\/attach\]|',$r,$matches, PREG_SET_ORDER);
+                       $cnt = preg_match_all('|\[attach\]href=\"(.*?)\" length=\"(.*?)\" type=\"(.*?)\" title=\"(.*?)\"|',$r,$matches, PREG_SET_ORDER);
                        if($cnt) {
                                foreach($matches as $mtch) {
-                                       $icontype = strtolower(substr($mtch[3],0,strpos($mtch[3],'/')));
+                                       $mime = $mtch[3];
+
+                                       if((local_user() == $item['uid']) && ($item['contact-id'] != $a->contact['id']) && ($item['network'] == NETWORK_DFRN))
+                                               $the_url = $a->get_baseurl() . '/redir/' . $item['contact-id'] . '?f=1&url=' . $mtch[1];
+                                       else
+                                               $the_url = $mtch[1];
+
+                                       if(strpos($mime, 'video') !== false) {
+                                               if(!$vhead) {
+                                                       $vhead = true;
+                                                       $a->page['htmlhead'] .= replace_macros(get_markup_template('videos_head.tpl'), array(
+                                                               '$baseurl' => $a->get_baseurl(),
+                                                       ));
+                                                       $a->page['end'] .= replace_macros(get_markup_template('videos_end.tpl'), array(
+                                                               '$baseurl' => $a->get_baseurl(),
+                                                       ));
+                                               }
+
+                                               $id = end(explode('/', $the_url));
+                                               $as .= replace_macros(get_markup_template('video_top.tpl'), array(
+                                                       '$video'        => array(
+                                                               'id'       => $id,
+                                                               'title'         => t('View Video'),
+                                                               'src'           => $the_url,
+                                                               'mime'          => $mime,
+                                                       ),
+                                               ));
+                                       }
+
+                                       $filetype = strtolower(substr( $mime, 0, strpos($mime,'/') ));
+                                       if($filetype) {
+                                               $filesubtype = strtolower(substr( $mime, strpos($mime,'/') + 1 ));
+                                               $filesubtype = str_replace('.', '-', $filesubtype);
+                                       }
+                                       else {
+                                               $filetype = 'unkn';
+                                               $filesubtype = 'unkn';
+                                       }
+
+                                       $icon = '<div class="attachtype icon s22 type-' . $filetype . ' subtype-' . $filesubtype . '"></div>';
+                                       /*$icontype = strtolower(substr($mtch[3],0,strpos($mtch[3],'/')));
                                        switch($icontype) {
                                                case 'video':
                                                case 'audio':
@@ -920,49 +1409,20 @@ function prepare_body($item,$attach = false) {
                                                default:
                                                        $icon = '<div class="attachtype icon s22 type-unkn"></div>';
                                                        break;
-                                       }
+                                       }*/
+
                                        $title = ((strlen(trim($mtch[4]))) ? escape_tags(trim($mtch[4])) : escape_tags($mtch[1]));
                                        $title .= ' ' . $mtch[2] . ' ' . t('bytes');
-                                       if((local_user() == $item['uid']) && $item['contact-id'] != $a->contact['id'])
-                                               $the_url = $a->get_baseurl() . '/redir/' . $item['contact-id'] . '?f=1&url=' . $mtch[1];
-                                       else
-                                               $the_url = $mtch[1];
 
-                                       $s .= '<a href="' . strip_tags($the_url) . '" title="' . $title . '" class="attachlink" target="external-link" >' . $icon . '</a>';
+                                       $as .= '<a href="' . strip_tags($the_url) . '" title="' . $title . '" class="attachlink" target="_blank" >' . $icon . '</a>';
                                }
                        }
                }
-               $s .= '<div class="clear"></div></div>';
+               $as .= '<div class="clear"></div></div>';
        }
-       $matches = false;
-       $cnt = preg_match_all('/<(.*?)>/',$item['file'],$matches,PREG_SET_ORDER);
-       if($cnt) {
-//             logger('prepare_text: categories: ' . print_r($matches,true), LOGGER_DEBUG);
-               foreach($matches as $mtch) {
-                       if(strlen($x))
-                               $x .= ',';
-                       $x .= xmlify(file_tag_decode($mtch[1])) 
-                               . ((local_user() == $item['uid']) ? ' <a href="' . $a->get_baseurl() . '/filerm/' . $item['id'] . '?f=&cat=' . xmlify(file_tag_decode($mtch[1])) . '" title="' . t('remove') . '" >' . t('[remove]') . '</a>' : '');
-               }
-               if(strlen($x))
-                       $s .= '<div class="categorytags"><span>' . t('Categories:') . ' </span>' . $x . '</div>'; 
+       $s = $s . $as;
 
 
-       }
-       $matches = false;
-       $x = '';
-       $cnt = preg_match_all('/\[(.*?)\]/',$item['file'],$matches,PREG_SET_ORDER);
-       if($cnt) {
-//             logger('prepare_text: filed_under: ' . print_r($matches,true), LOGGER_DEBUG);
-               foreach($matches as $mtch) {
-                       if(strlen($x))
-                               $x .= '&nbsp;&nbsp;&nbsp;';
-                       $x .= xmlify(file_tag_decode($mtch[1])) . ' <a href="' . $a->get_baseurl() . '/filerm/' . $item['id'] . '?f=&term=' . xmlify(file_tag_decode($mtch[1])) . '" title="' . t('remove') . '" >' . t('[remove]') . '</a>';
-               }
-               if(strlen($x) && (local_user() == $item['uid']))
-                       $s .= '<div class="filesavetags"><span>' . t('Filed under:') . ' </span>' . $x . '</div>'; 
-       }
-
        // Look for spoiler
        $spoilersearch = '<blockquote class="spoiler">';
 
@@ -1000,9 +1460,13 @@ function prepare_body($item,$attach = false) {
 }}
 
 
-// Given a text string, convert from bbcode to html and add smilie icons.
-
 if(! function_exists('prepare_text')) {
+/**
+ * Given a text string, convert from bbcode to html and add smilie icons.
+ * 
+ * @param string $text
+ * @return string
+ */
 function prepare_text($text) {
 
        require_once('include/bbcode.php');
@@ -1016,13 +1480,88 @@ function prepare_text($text) {
 }}
 
 
+
 /**
- * return atom link elements for all of our hubs
+ * return array with details for categories and folders for an item
+ * 
+ * @param array $item
+ * @return array
+ * 
+  * [
+ *      [ // categories array
+ *          {
+ *               'name': 'category name',
+ *               'removeurl': 'url to remove this category',
+ *               'first': 'is the first in this array? true/false',
+ *               'last': 'is the last in this array? true/false',
+ *           } ,
+ *           ....
+ *       ],
+ *       [ //folders array
+ *                     {
+ *               'name': 'folder name',
+ *               'removeurl': 'url to remove this folder',
+ *               'first': 'is the first in this array? true/false',
+ *               'last': 'is the last in this array? true/false',
+ *           } ,
+ *           ....       
+ *       ]
+ *  ]
  */
+function get_cats_and_terms($item) {
+
+    $a = get_app();
+    $categories = array();
+    $folders = array();
+
+    $matches = false; $first = true;
+    $cnt = preg_match_all('/<(.*?)>/',$item['file'],$matches,PREG_SET_ORDER);
+    if($cnt) {
+        foreach($matches as $mtch) {
+            $categories[] = array(
+                'name' => xmlify(file_tag_decode($mtch[1])),
+                'url' =>  "#",
+                'removeurl' => ((local_user() == $item['uid'])?$a->get_baseurl() . '/filerm/' . $item['id'] . '?f=&cat=' . xmlify(file_tag_decode($mtch[1])):""),
+                'first' => $first,
+                'last' => false
+            );
+            $first = false;
+        }
+    }
+    if (count($categories)) $categories[count($categories)-1]['last'] = true;
+    
+
+       if(local_user() == $item['uid']) {
+           $matches = false; $first = true;
+       $cnt = preg_match_all('/\[(.*?)\]/',$item['file'],$matches,PREG_SET_ORDER);
+           if($cnt) {
+           foreach($matches as $mtch) {
+                   $folders[] = array(
+                   'name' => xmlify(file_tag_decode($mtch[1])),
+                        'url' =>  "#",
+                       'removeurl' => ((local_user() == $item['uid'])?$a->get_baseurl() . '/filerm/' . $item['id'] . '?f=&term=' . xmlify(file_tag_decode($mtch[1])):""),
+                   'first' => $first,
+                       'last' => false
+               );
+                   $first = false;
+                       }
+        }
+    }
+
+    if (count($folders)) $folders[count($folders)-1]['last'] = true;
+
+    return array($categories, $folders);
+}
+
+
 
 if(! function_exists('feed_hublinks')) {
+/**
+ * return atom link elements for all of our hubs
+ * @return string hub link xml elements
+ */
 function feed_hublinks() {
-
+       $a = get_app();
        $hub = get_config('system','huburl');
 
        $hubxml = '';
@@ -1033,6 +1572,8 @@ function feed_hublinks() {
                                $h = trim($h);
                                if(! strlen($h))
                                        continue;
+                               if ($h === '[internal]')
+                                       $h = $a->get_baseurl() . '/pubsubhubbub';
                                $hubxml .= '<link rel="hub" href="' . xmlify($h) . '" />' . "\n" ;
                        }
                }
@@ -1040,9 +1581,13 @@ function feed_hublinks() {
        return $hubxml;
 }}
 
-/* return atom link elements for salmon endpoints */
 
 if(! function_exists('feed_salmonlinks')) {
+/**
+ * return atom link elements for salmon endpoints
+ * @param string $nick user nickname
+ * @return string salmon link xml elements
+ */
 function feed_salmonlinks($nick) {
 
        $a = get_app();
@@ -1057,19 +1602,44 @@ function feed_salmonlinks($nick) {
 }}
 
 if(! function_exists('get_plink')) {
+/**
+ * get private link for item
+ * @param array $item
+ * @return boolean|array False if item has not plink, otherwise array('href'=>plink url, 'title'=>translated title)
+ */
 function get_plink($item) {
-       $a = get_app(); 
-       if (x($item,'plink') && ((! $item['private']) || ($item['network'] === NETWORK_FEED))){
-               return array(
-                       'href' => $item['plink'],
-                       'title' => t('link to source'),
-               );
-       } else {
-               return false;
-       }
+       $a = get_app();
+
+       if ($a->user['nickname'] != "") {
+               $ret = array(
+                               'href' => $a->get_baseurl()."/display/".$a->user['nickname']."/".$item['id'],
+                               'title' => t('link to source'),
+                       );
+               $ret["orig"] = $ret["href"];
+
+               if (x($item,'plink'))
+                       $ret["href"] = $item['plink'];
+
+       } elseif (x($item,'plink') && ($item['private'] != 1))
+               $ret = array(
+                               'href' => $item['plink'],
+                               'orig' => $item['plink'],
+                               'title' => t('link to source'),
+                       );
+       else
+               $ret = array();
+
+       //if (x($item,'plink') && ($item['private'] != 1))
+
+       return($ret);
 }}
 
 if(! function_exists('unamp')) {
+/**
+ * replace html amp entity with amp char
+ * @param string $s
+ * @return string
+ */
 function unamp($s) {
        return str_replace('&amp;', '&', $s);
 }}
@@ -1078,6 +1648,12 @@ function unamp($s) {
 
 
 if(! function_exists('lang_selector')) {
+/**
+ * get html for language selector
+ * @global string $lang
+ * @return string 
+ * @template lang_selector.tpl
+ */
 function lang_selector() {
        global $lang;
        
@@ -1114,6 +1690,11 @@ function lang_selector() {
 
 
 if(! function_exists('return_bytes')) {
+/**
+ * return number of bytes in size (K, M, G)
+ * @param string $size_str
+ * @return number
+ */
 function return_bytes ($size_str) {
     switch (substr ($size_str, -1))
     {
@@ -1124,6 +1705,9 @@ function return_bytes ($size_str) {
     }
 }}
 
+/**
+ * @return string
+ */
 function generate_user_guid() {
        $found = true;
        do {
@@ -1138,7 +1722,11 @@ function generate_user_guid() {
 }
 
 
-
+/**
+ * @param string $s
+ * @param boolean $strip_padding
+ * @return string
+ */
 function base64url_encode($s, $strip_padding = false) {
 
        $s = strtr(base64_encode($s),'+/','-_');
@@ -1149,6 +1737,10 @@ function base64url_encode($s, $strip_padding = false) {
        return $s;
 }
 
+/**
+ * @param string $s
+ * @return string
+ */
 function base64url_decode($s) {
 
        if(is_array($s)) {
@@ -1177,6 +1769,16 @@ function base64url_decode($s) {
 
 
 if (!function_exists('str_getcsv')) {
+       /**
+        * Parse csv string
+        * 
+        * @param string $input
+        * @param string $delimiter
+        * @param string $enclosure
+        * @param string $escape
+        * @param string $eol
+        * @return boolean|array False on error, otherwise array[row][column]
+        */
     function str_getcsv($input, $delimiter = ',', $enclosure = '"', $escape = '\\', $eol = '\n') {
         if (is_string($input) && !empty($input)) {
             $output = array();
@@ -1233,6 +1835,11 @@ if (!function_exists('str_getcsv')) {
     }
 } 
 
+/**
+ * return div element with class 'clear'
+ * @return string
+ * @deprecated
+ */
 function cleardiv() {
        return '<div class="clear"></div>';
 }
@@ -1269,6 +1876,8 @@ function html2bb_video($s) {
 
 /**
  * apply xmlify() to all values of array $val, recursively
+ * @param array $val
+ * @return array
  */
 function array_xmlify($val){
        if (is_bool($val)) return $val?"true":"false";
@@ -1277,6 +1886,13 @@ function array_xmlify($val){
 }
 
 
+/**
+ * transorm link href and img src from relative to absolute
+ * 
+ * @param string $text
+ * @param string $base base url
+ * @return string
+ */
 function reltoabs($text, $base)
 {
   if (empty($base))
@@ -1309,6 +1925,12 @@ function reltoabs($text, $base)
   return $text;
 }
 
+/**
+ * get translated item type
+ * 
+ * @param array $itme
+ * @return string
+ */
 function item_post_type($item) {
        if(intval($item['event-id']))
                return t('event');
@@ -1402,10 +2024,12 @@ function file_tag_update_pconfig($uid,$file_old,$file_new,$type = 'file') {
                 if($type == 'file') {
                        $lbracket = '[';
                        $rbracket = ']';
+                       $termtype = TERM_FILE;
                }
                 else {
                        $lbracket = '<';
                        $rbracket = '>';
+                       $termtype = TERM_CATEGORY;
                }
 
                 $filetags_updated = $saved;
@@ -1431,9 +2055,15 @@ function file_tag_update_pconfig($uid,$file_old,$file_new,$type = 'file') {
                }
 
                 foreach($deleted_tags as $key => $tag) {
-                       $r = q("select file from item where uid = %d " . file_tag_file_query('item',$tag,$type),
-                               intval($uid)
-                       );
+                       $r = q("SELECT `oid` FROM `term` WHERE `term` = '%s' AND `otype` = %d AND `type` = %d AND `uid` = %d",
+                               dbesc($tag),
+                               intval(TERM_OBJ_POST),
+                               intval($termtype),
+                               intval($uid));
+
+                       //$r = q("select file from item where uid = %d " . file_tag_file_query('item',$tag,$type),
+                       //      intval($uid)
+                       //);
 
                        if(count($r)) {
                                unset($deleted_tags[$key]);
@@ -1456,6 +2086,8 @@ function file_tag_update_pconfig($uid,$file_old,$file_new,$type = 'file') {
 }
 
 function file_tag_save_file($uid,$item,$file) {
+       require_once("include/files.php");
+
        $result = false;
        if(! intval($uid))
                return false;
@@ -1465,11 +2097,14 @@ function file_tag_save_file($uid,$item,$file) {
        );
        if(count($r)) {
                if(! stristr($r[0]['file'],'[' . file_tag_encode($file) . ']'))
-                       q("update item set file = '%s' where id = %d and uid = %d limit 1",
+                       q("update item set file = '%s' where id = %d and uid = %d",
                                dbesc($r[0]['file'] . '[' . file_tag_encode($file) . ']'),
                                intval($item),
                                intval($uid)
                        );
+
+               create_files_from_item($item);
+
                $saved = get_pconfig($uid,'system','filetags');
                if((! strlen($saved)) || (! stristr($saved,'[' . file_tag_encode($file) . ']')))
                        set_pconfig($uid,'system','filetags',$saved . '[' . file_tag_encode($file) . ']');
@@ -1479,14 +2114,19 @@ function file_tag_save_file($uid,$item,$file) {
 }
 
 function file_tag_unsave_file($uid,$item,$file,$cat = false) {
+       require_once("include/files.php");
+
        $result = false;
        if(! intval($uid))
                return false;
 
-       if($cat == true)
+       if($cat == true) {
                $pattern = '<' . file_tag_encode($file) . '>' ;
-       else
+               $termtype = TERM_CATEGORY;
+       } else {
                $pattern = '[' . file_tag_encode($file) . ']' ;
+               $termtype = TERM_FILE;
+       }
 
 
        $r = q("select file from item where id = %d and uid = %d limit 1",
@@ -1496,15 +2136,22 @@ function file_tag_unsave_file($uid,$item,$file,$cat = false) {
        if(! count($r))
                return false;
 
-       q("update item set file = '%s' where id = %d and uid = %d limit 1",
+       q("update item set file = '%s' where id = %d and uid = %d",
                dbesc(str_replace($pattern,'',$r[0]['file'])),
                intval($item),
                intval($uid)
        );
 
-       $r = q("select file from item where uid = %d and deleted = 0 " . file_tag_file_query('item',$file,(($cat) ? 'category' : 'file')),
-               intval($uid)
-       );
+       create_files_from_item($item);
+
+       $r = q("SELECT `oid` FROM `term` WHERE `term` = '%s' AND `otype` = %d AND `type` = %d AND `uid` = %d",
+               dbesc($file),
+               intval(TERM_OBJ_POST),
+               intval($termtype),
+               intval($uid));
+
+       //$r = q("select file from item where uid = %d and deleted = 0 " . file_tag_file_query('item',$file,(($cat) ? 'category' : 'file')),
+       //);
 
        if(! count($r)) {
                $saved = get_pconfig($uid,'system','filetags');
@@ -1521,7 +2168,7 @@ function normalise_openid($s) {
 
 function undo_post_tagging($s) {
        $matches = null;
-       $cnt = preg_match_all('/([@#])\[url=(.*?)\](.*?)\[\/url\]/ism',$s,$matches,PREG_SET_ORDER);
+       $cnt = preg_match_all('/([!#@])\[url=(.*?)\](.*?)\[\/url\]/ism',$s,$matches,PREG_SET_ORDER);
        if($cnt) {
                foreach($matches as $mtch) {
                        $s = str_replace($mtch[0], $mtch[1] . $mtch[3],$s);
@@ -1532,7 +2179,7 @@ function undo_post_tagging($s) {
 
 function fix_mce_lf($s) {
        $s = str_replace("\r\n","\n",$s);
-       $s = str_replace("\n\n","\n",$s);
+//     $s = str_replace("\n\n","\n",$s);
        return $s;
 }