src/Module/RobotsTxt.php

   1 <?php
   2 /**
   3  * @copyright Copyright (C) 2010-2024, the Friendica project
   4  *
   5  * @license GNU AGPL version 3 or any later version
   6  *
   7  * This program is free software: you can redistribute it and/or modify
   8  * it under the terms of the GNU Affero General Public License as
   9  * published by the Free Software Foundation, either version 3 of the
  10  * License, or (at your option) any later version.
  11  *
  12  * This program is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  15  * GNU Affero General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Affero General Public License
  18  * along with this program.  If not, see <https://www.gnu.org/licenses/>.
  19  *
  20  */
  21
  22 namespace Friendica\Module;
  23
  24 use Friendica\BaseModule;
  25 use Friendica\Core\System;
  26
  27 /**
  28  * Return the default robots.txt
  29  */
  30 class RobotsTxt extends BaseModule
  31 {
  32         protected function rawContent(array $request = [])
  33         {
  34                 $allDisallowed = [
  35                         '/settings/',
  36                         '/admin/',
  37                         '/message/',
  38                         '/search',
  39                         '/help',
  40                         '/proxy',
  41                         '/photo',
  42                         '/avatar',
  43                 ];
  44
  45                 header('Content-Type: text/plain');
  46                 echo 'User-agent: *' . PHP_EOL;
  47                 foreach ($allDisallowed as $disallowed) {
  48                         echo 'Disallow: ' . $disallowed . PHP_EOL;
  49                 }
  50
  51                 echo PHP_EOL;
  52                 echo 'User-agent: ChatGPT-User' . PHP_EOL;
  53                 echo 'Disallow: /' . PHP_EOL;
  54
  55                 echo PHP_EOL;
  56                 echo 'User-agent: Google-Extended' . PHP_EOL;
  57                 echo 'Disallow: /' . PHP_EOL;
  58
  59                 echo PHP_EOL;
  60                 echo 'User-agent: GPTBot' . PHP_EOL;
  61                 echo 'Disallow: /' . PHP_EOL;
  62
  63                 System::exit();
  64         }
  65 }