src/Module/RobotsTxt.php

   1 <?php
   2 /**
   3  * @copyright Copyright (C) 2010-2022, the Friendica project
   4  *
   5  * @license GNU AGPL version 3 or any later version
   6  *
   7  * This program is free software: you can redistribute it and/or modify
   8  * it under the terms of the GNU Affero General Public License as
   9  * published by the Free Software Foundation, either version 3 of the
  10  * License, or (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU Affero General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Affero General Public License
  18  * along with this program.  If not, see <https://www.gnu.org/licenses/>.
  19  *
  20  */
  21
  22 namespace Friendica\Module;
  23
  24 use Friendica\BaseModule;
  25 use Friendica\Core\System;
  26
  27 /**
  28  * Return the default robots.txt
  29  */
  30 class RobotsTxt extends BaseModule
  31 {
  32         protected function rawContent(array $request = [])
  33         {
  34                 $allDisalloweds = [
  35                         '/settings/',
  36                         '/admin/',
  37                         '/message/',
  38                         '/search',
  39                         '/help',
  40                         '/proxy',
  41                 ];
  42
  43                 header('Content-Type: text/plain');
  44                 echo 'User-agent: *' . PHP_EOL;
  45                 foreach ($allDisalloweds as $disallowed) {
  46                         echo 'Disallow: ' . $disallowed . PHP_EOL;
  47                 }
  48                 System::exit();
  49         }
  50 }