src/Module/RobotsTxt.php

   1 <?php
   2 /**
   3  * @copyright Copyright (C) 2010-2021, the Friendica project
   4  *
   5  * @license GNU AGPL version 3 or any later version
   6  *
   7  * This program is free software: you can redistribute it and/or modify
   8  * it under the terms of the GNU Affero General Public License as
   9  * published by the Free Software Foundation, either version 3 of the
  10  * License, or (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU Affero General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Affero General Public License
  18  * along with this program.  If not, see <https://www.gnu.org/licenses/>.
  19  *
  20  */
  21
  22 namespace Friendica\Module;
  23
  24 use Friendica\BaseModule;
  25
  26 /**
  27  * Return the default robots.txt
  28  */
  29 class RobotsTxt extends BaseModule
  30 {
  31         public static function rawContent()
  32         {
  33                 $allDisalloweds = [
  34                         '/settings/',
  35                         '/admin/',
  36                         '/message/',
  37                         '/search',
  38                         '/help',
  39                         '/proxy',
  40                 ];
  41
  42                 header('Content-Type: text/plain');
  43                 echo 'User-agent: *' . PHP_EOL;
  44                 foreach ($allDisalloweds as $disallowed) {
  45                         echo 'Disallow: ' . $disallowed . PHP_EOL;
  46                 }
  47                 exit();
  48         }
  49 }