I wish I had never learned about any of these ideas Roko

this is like a grown up version of the game which you just made us lose, and I retweeted so all my friends lost too Jay Rishel

Rokos Basilisk ist ein Gedankenexperiment über Risiken bei der Entwicklung einer künstlichen Intelligenz. Eine allmächtige künstliche Intelligenz bestraft rückwirkend all jene, die nichts zu ihrer Entwicklung beigetragen haben, insbesondere auch jene, die nur wenig von ihrer Existenz wußten. Es ist eine futuristische Version von Pascals Wette (die längst als mehrfacher Fehlschluß entlarvt wurde), die für die Akzeptanz und Unterstützung von technologischen Singularitäten argumentiert. Sie wurde nach einem Mitglied der LessWrong-Community genannt, der sie als erste öffentlich machte, sie jedoch nicht ursprünglich erfand. Obwohl sie nicht allzuviele Anhänger hat, wird die Argumentation jedoch von einigen Leuten auf LessWrong ernst genommen. Obwohl die Comunity nicht glaubt das der Basilik wahr ist, werden die meisten Prämissen in der Argumentation für wahr gehalten. Rokos Lösung ist der Kauf eines Lotterietickets, dessen Gewinn für die Entwicklung von Rokos Basilik bestimmt wäre und somit einen Ablasshandel darstellt.

If there's one thing we can deduce about the motives of future superintelligences, it's that they simulate people who talk about Roko's Basilisk and condemn them to an eternity of forum posts about Roko's Basilisk. Eliezer Yudkowsky, 2014

Der Basilisk beruht auf einigen nicht unbedingt soliden Vorraussetzungen. Die Kernnannahme ist das die hypotethische, aber in jedem Fall irgendwann existierende Superintelligenz diejenigen bestraft, die sich nicht an ihrer Entwicklung beteiligt haben. Warum sollte sie das tun? Die Theorie besagt, dass eine solche Intelligenz existenzielle Risiken verhindern würde, dass sind solche Risiken, die die humanoide Spezies auslöschen könnten, und dies könnte die Intelligenz am besten tun, wenn sie nicht nur in der Gegenwart solche Risiken verhindert, sondern auch in der Vergangenheit alle Menschen bestraft, die nicht MIRI-artige effektive Altruisten sind.

Wenn die Person verstorben ist, könnte der Basilisk eine Simulation dieser Person entwerfen und bestrafen, dies geht aber nur wenn der Basilisk genug Daten hat. Genug Daten hat der Basilisk dann, wenn die Person von der möglichen Existenz dieses Basilisken weiß, wie du der du diesen Artikel liest. Du würdest dich also nun für die hypotethische Bestrafung durch die hypothetische Superintelligenz qualifizieren.

Die KI handelt hier nicht bösartig sondern vollkommen altruistisch. Denn durch deine Faulheit ist die KI nicht schnell genug erschaffen wurden, weswegen Menschen unnnötig sterben mußten, die die KI hätte retten können. Dich zu bestrafen ist also moralisch notwendig.

In der Regel werden solcherlei Theoriebildungen auf LessWrong ignoriert. Doch der Basilisk wurde 5 Jahre aus der Diskussion verbannt, vom Gründer von LessWrong persönlich, bis das Wissen um den hypothetischen Basiliken außerhalb der Community enorm wurde, aufgrund des Streisand-Effekts.

Inzwischen wird Rokos Basilisk fest mit LessWrong verbunden. Die ganze Affäre war ein Beispiel von Mismanagement einer möglicherweise gefährlichen Information durch eine Internetcommunity.

Einige Menschen haben aufgrund des Theorems psychologische Störungen erlitten, obgleich sie wußten, dass es eigentlich ein dummes Problem ist. Einige Poster of LessWrong versuchen immer noch, ihre persönlichen Informationen zu löschen, damit die KI sie nicht später simulieren kann um sie zu foltern.

Yudkowsky sieht die öffentliche Diskussion über den Basilisken als nachweislich sicher an, glaubt aber nicht an den Basilisken:

.. a Friendly AI torturing people who didn't help it exist has probability ~0, nor did I ever say otherwise. If that were a thing I expected to happen given some particular design, which it never was, then I would just build a different AI instead—what kind of monster or idiot do people take me for? Furthermore, the Newcomblike decision theories that are one of my major innovations say that rational agents ignore blackmail threats (and meta-blackmail threats and so on).

Er sprach auch von einem Fehler, Rokos Posting gelöscht zu haben.

Dem LessWrong-User jimrandomh fiel eine Ähnlichkeit zu Langfords Basilisk auf, der wiederum nach der legendären Schlangenkreatur benannt wurde, die diejenigen tötete, die sie sahen. Der Name Rokos Basilisk setzte sich erst 2012 durch.

• RationalWiki: Roko's Basilisk