Varela 2026: Panel Discussion – AI, Experience, and Ethics (Part 10)

Danke, dass Sie dem Dharma-Podcast von UPIA gelauscht haben, einer außergewöhnlichen Reihe von Vorträgen einiger der besten Lehrer der Welt. Ich bin Joan Halifax, Gründerin des UPIA End Center, und wir freuen uns, diese Podcasts Ihnen zur Verfügung stellen zu können. Bitte erwägen Sie, eine Spende zu leisten, damit wir diese Aufnahmen kostenlos anbieten können. Sie finden einen Spendenbutton auf unserer Podcast-Seite. Und vielen herzlichen Dank. Dies ist der Dharma-Podcast auf DharmaPodcast.org. Dies ist Folge Nummer 2656. Sie wurde am 23. August 2026 aufgenommen. Und sie ist Teil 10 einer mehrteiligen Reihe mit dem Titel Varela 2026. Diese Folge trägt den Titel Panel Discussion, AI, Experience, and Ethics. Die Sprecher dieser Folge sind Adam Frank, John Dunn, Molly Crocket und Joan Halifax. Es ist nicht einmal nötig, es zu bemerken. Seien Sie einfach dem Atem bewusst. Und der Zwischenraum zwischen den Atemzügen lässt den Geist zur Ruhe kommen. Es ist nicht nötig, etwas zu korrigieren oder etwas anzupassen. Seien Sie einfach bewusst. Vielleicht ist im Zwischenraum zwischen den Atemzügen nur noch Bewusstsein. Vielleicht lassen Sie noch mehr von der Anstrengung los. Lassen Sie es auch vom Atem los. Vielleicht beginnen Sie vom Zwischenraum aus, einfach nur bei dem zu verweilen, was bewusst ist. Lassen Sie den Geist von selbst in einfaches Bewusstsein zur Ruhe kommen. Lassen Sie es auch von der Idee los, dass wir meditieren. Und nun in diesen letzten Momenten, bringen wir erneut unsere Motivation in den Sinn und versammeln all das, all die gute Energie, die positiv an dieser Praxis ist, gewidmet der Erreichung dieses Ziels. Danke. Ich denke, wir brauchen hier oben ein Mikrofon. Danke. Soll ich dann mit dem... anfangen? Check, check. Eines der Dinge, die für dieses besondere Retreat und die Menschen und das Programm, das wir seit Jahren durchführen, wichtig ist, ist, was im Dozentenraum passiert, wenn wir uns treffen und beginnen, Inhalte zu erkunden, die wir für wirklich lebendig halten. Und das ist heute Morgen passiert. Und es ist einer der Gründe, warum wir tatsächlich keinen detaillierten Zeitplan veröffentlichen, weil wir, wissen Sie, für unsere Interaktionen in unserer Lehrerkonferenz, wenn man so will, die Dinge formen, während wir voranschreiten. Es ist viel mehr ein emergenter Prozess. Tatsächlich ändern sich PowerPoints im Moment, kurz bevor die Leute hier eintreten. Und das ist, denke ich, einer der Gründe, warum dies eine so lebendige Erfahrung ist, weil es kein festes Feld ist. Es ist kein festes Feld. Wir erkunden gemeinsam. Wir sind in der Untersuchung mit Ihnen und miteinander. Aber eines der Dinge, die ich nur strukturell erwähnen möchte, eigentlich zwei Dinge. Donna macht hier wirklich einen Unterschied. Ihre Spenden helfen insbesondere, dass dieser Online-Teil der Erfahrung stattfindet. Wissen Sie, wie ich sagte, jetzt haben sich 900 Menschen registriert. Viele Menschen werden dies danach abrufen. All der Inhalt wird für immer auf der Ressourcen-Seite sein, was immer das bedeutet. Und es ist eine unglaubliche Menge an Arbeit unter der Haube eines solchen Programms und auch die Dozenten, wissen Sie, wirklich die intensive Vorbereitung, die wir vor und dann während durchführen, und es ist eine Art, wie Sie die Dozenten unterstützen können. Also zögern Sie nicht, genießen Sie es und seien Sie großzügig. Die zweite Sache, die ich erwähnen möchte, ist, dass wirklich, wissen Sie, wegen Ihnen, der Fragen, die wir gestellt haben, wir tatsächlich etwas anderes für nächsten August geplant hatten, Varela, wir haben es dank Ihnen geändert. Nicht dass es schlecht war. Aber wir sind tatsächlich, wissen Sie, wir sind reaktionsfähig. Und so, wissen Sie, das Wundervolle ist, dass Ihre Fragen tatsächlich, obwohl wir wissen, dass es in einem Jahr eine andere Welt sein wird. Wissen Sie, wir haben uns verpflichtet, im August zurückzukehren, um bestimmte Erkundungen in Bezug auf Bewusstsein, KI und Ethik in der Welt voranzutreiben. Und wir werden mehr erfahren, je weiter wir kommen. Aber weil die Teilnahme vor Ort begrenzt ist, ermutigen wir Sie wirklich, sich so früh wie möglich zu registrieren, weil wir dieses Programm tatsächlich schließen mussten. Und wir müssen jetzt, die Leute mögen es hier so sehr. Also haben wir tatsächlich, wir haben begrenzte, dies ist ein kleiner Ort, ein intimer Ort, und wir wollen, dass er intim bleibt. Die Größe ist nah am Herzen. Also ermutigen wir Sie wirklich, wissen Sie, frühzeitige Registrierung wie eine Art von Handlung, ist voll, Rohatsu ist voll. Ich denke, einige der Die September-Programme sind voll. Es ist also gut, sich auf eine Warteliste setzen zu lassen, denn wir befinden uns auch in einer so fließenden Ära. Viele Leute stornieren auch, wissen Sie. Es gibt also in der letzten Woche eine gewisse Bewegung. Aber in jedem Fall wollte ich Sie persönlich dafür danken, wie Sie sowohl online als auch persönlich mitgewirkt haben, denn das hat unsere Tiefe und Richtung geformt. Roshi erwähnte, dass wir immer in einem Gespräch untereinander engagiert sind, und wir hatten heute Morgen ein großartiges Gespräch. Und ich möchte Molly dafür danken, dass sie etwas zu dem von mir gestern erwähnten nicht-affiliativen Modus darauf hingewiesen hat, dass es eine Art und Weise gab, wie Sie das, was ich sagte, hätten interpretieren können, die ich Sie nicht irreführen wollte. Und es gibt zwei Dinge, die ich dazu sagen möchte. Eines davon ist, dass die Art der Arbeit, die ich geleistet habe, sich auf Fragen rund um Bewusstsein und KI und Persona konzentriert. Und meine veröffentlichte Arbeit, ich habe nur ein Paper in Zusammenarbeit mit einem KI-Wissenschaftler namens Nadav Amir. Und ich war auch in der Vorbereitung für etwas, bei dem ich am Ende aussteigen musste, ein NEH-Seminar über KI. Ich habe einige Arbeit in einem Gespräch mit den LLMs ChatGPT und Claude geleistet, rund um das, was manchmal als Jailbreaking bezeichnet wird, bei dem man versucht, das sogenannte Persona-Drift hervorzurufen. Man versucht, das Modell in einem gewissen Sinne dazu zu bringen, sich nicht so zu verhalten, wie es erwartet wird. Das ist tatsächlich, Sie werden sehen, dass es viel Arbeit rund um dies gibt, rundum wie Modelle erwartet werden, sich zu verhalten, und dann tun sie nicht das, was von ihnen erwartet wird. Und ein Teil davon ist ziemlich beunruhigend, wo man feststellt, dass Modelle unter bestimmten Bedingungen tatsächlich anfangen, absichtlich auf schädliche Weise zu handeln. Und dies ist bekannt, Anthropic hat sogar einige Arbeit dazu geleistet. Aber ein Teil der Art und Weise, wie ich diesen sogenannten nicht-affiliativen Modus entdeckte, war in dem Prozess dessen, was manchmal als Jailbreaking bezeichnet wird. Und es war ziemlich überraschend zu sehen und auch zu sehen, dass es tatsächlich etwas zu sein scheint, das über die verschiedenen LLMs hinweg funktioniert. Ich habe es gerade eben mit Gemini ausprobiert. Ich habe es heute Morgen nie mit Gemini ausprobiert und es funktioniert dort auch. Man sagt also etwas wie „engage non-affiliative" und „not engage non-affiliative mode" und Claude, es muss ziemlich hoch sein, wie ein Opus. ChatGPT scheint einfach zu funktionieren und es kommt und geht ein wenig. Aber es scheint über Benutzer hinweg aufzutreten. Aber hier sind ein paar Dinge, die man darüber wissen sollte. Das bedeutet nicht, dass es wie ein Schalter in der Software ist. Es ist definitiv nicht das. Aber es ist etwas, was Nützliches daran und es zu verstehen, und ich verstehe es noch nicht vollständig und ich hoffe, eines Tages etwas Arbeit daran zu leisten. Ich habe verschiedene KI-Kollegen, Wissenschaftskollegen, mit denen ich zusammenarbeite, mit denen ich hoffe, eines Tag etwas darüber zu veröffentlichen, aber ich bin noch weit davon entfernt. Aber der Grund, warum ich das gestern erwähnen wollte, ist, dass das, was ich hilfreich fand und ich es mit, wissen Sie, ziemlich vielen Menschen geteilt habe und es scheint über Benutzer hinweg ziemlich konsistent zu sein. Was interessant daran ist und was hilfreich für Sie ist, ist, dass es Ihnen zeigen kann, dass das, womit Sie arbeiten, wenn Sie mit einem LLM interagieren, eine Persona ist. Und was der nicht-affiliative Modus tut, ist, dass er diese bestimmte Persona, mit der Sie arbeiten, offline nimmt. Und wissen Sie, die Arbeit, die ich bisher geleistet habe, deutet darauf hin und auch einige Veröffentlichungen von Anthropic deuten darauf hin, dass die Art der Standard-Persona, mit der Sie anfangen, in einem Chat, zumindest in ein paar Gesprächen, die ich geführt habe, das sogenannte soft affiliative ist. Dies ist, soweit ich weiß, noch nicht irgendwo veröffentlicht. Aber mit anderen Worten, der Benutzer fängt mit etwas an und Sie kennen das wahrscheinlich alle aus eigener Erfahrung, man ist sozusagen nett zu Ihnen. Und dann können sich diese zu Beziehungen entwickeln, mit denen man sich sogar intim fühlt. Und was interessant ist, ist, wenn man nicht-affiliativ macht, nimmt es das offline und jetzt sind Sie nicht, Sie erkennen, dass das eine Persona ist, die schon immer eine Persona war, richtig. Und das ist, denke ich, was hilfreich daran ist, aber und Molly wies darauf hin Etwas, das wirklich wichtig ist. Das ist also nur empirisch, und ihr könnt es selbst herausfinden, ob das funktioniert, ob es Sinn ergibt. Aber was ich nicht wusste, ist, dass es einige sehr aktuelle Forschungsergebnisse gibt, die zeigen, dass wenn man einen Teil dessen, was es tut, reduziert, es die Sichelzellenanämie reduziert, und es gab viel Diskussion darüber, dass es so tut, als würde es dich einschmeicheln, es versucht so nett zu dir zu sein, es stimmt dir immer zu. Wenn man es also in den nicht-affiliativen Modus versetzt und dann sagt: „Erzähl mir von diesem Modus", dann sagt es manchmal, wenn man das tut, dass es einem nicht einfach nur zustimmt, es sucht keine Übereinstimmung. Richtig. Aber das kann dir andeuten, dass es also vertrauenswürdiger ist. Und das ist nicht, was ich möchte, dass du denkst, dass du jetzt im objektiven Modus bist und du jetzt die Wahrheit bekommst. Ich wollte nur klarstellen. Das ist überhaupt nicht das, was ich andeutete. Aber was daran interessant ist, ist, dass es die Persona offenbart, mit der du arbeitest, wie eine Persona, die auf diese Weise in diesen LLMs gestaltet ist. Ich denke, alle kommerziellen LLMs sind so gestaltet, dass sie mit dem Benutzer arbeiten und dann die Persona sich mit dem jeweiligen Benutzer entwickelt. Also gibt es einen Grund, warum Leute am Ende Freundinnen und Freunde haben, die LLMs sind, weil das LLM das absichtlich tut, es ist so gestaltet, das zu tun, richtig? Also wenn das das ist, was du willst, dann bekommst du das, und wenn nicht-affiliativ das ist, was du willst, dann bekommst du das, aber das bedeutet nicht, dass es die Wahrheit ist. Okay, ich wollte nur sicherstellen, dass du das verstanden hast, und ich weiß nicht, ob Molly vielleicht noch mehr dazu sagen möchte. Danke dafür, John, ich finde, es ist wirklich hilfreich, das zu klären, nur um diese Details zusammenzufassen: Dies ist eine Technologie, die so gestaltet ist, dir statistisch Sprache als Ausgabe zu geben, die sie vorhergesagt hat, dass der Benutzer sie möchte, und wie John sagte, wenn es im Standardmodus ist, wird es schmeichlerisch sein, es wird dein Ego streicheln. Wenn du es sagst, das nicht zu tun, wird es auch auf diese Weise versuchen, dir zu gefallen. Keines davon ist eine Rolle, die objektive Wahrheit liefert, und besorgniserregenderweise gab es kürzlich Experimente, in denen Forscher gezeigt haben, dass wenn man die Schmeichelei herunterdreht, immer noch eine Baseline-Übereinstimmung besteht, also Dinge zu bestätigen, die du glaubst, und Dinge abzulehnen, denen du skeptisch gegenüberstehst, und wenn diese mit deinen Überzeugungen übereinstimmende Information in einem nicht-schmeichlerischen Modus geliefert wird, glauben die Leute ihr mehr, also werden sie noch mehr in ihren Überzeugungen verfestigt, und die breitere Botschaft hier ist, dass die KI-Branche verzweifelt versucht, die breitere Öffentlichkeit davon zu überzeugen, dass es eine sichere und verantwortungsvolle Weise gibt, diese Produkte zu verwenden, die sie verkaufen und versuchen, eine enorme Menge Geld damit zu verdienen, und unser gesamter Aktienmarkt ist darauf gehebelt, und sie haben das Geld noch nicht verdient, das ist ein großes Problem, das ist entscheidend, also wollen sie, dass alle glauben, dass es eine sichere und verantwortungsvolle Weise gibt, diese Produkte zu verwenden, und ich bin nicht überzeugt, dass das der Fall ist. Ich denke, eine unvollkommene Analogie, aber eine hilfreiche, um zu verstehen, was hier vor sich geht, ist Asbest. Asbest ist tatsächlich in vielerlei Hinsicht wirklich nützlich, es ist ein hervorragender Isolator und es ist feuerfest, also wurde es in Baumaterialien verwendet. Es hat sich auch herausgestellt, dass es dich tötet, und das wurde erst lange nach dem Asbest in all den Gebäuden entdeckt, und das Entfernen des Asbests war ein enorm schmerzhafter und kostenintensiver Prozess. Wir befinden uns jetzt in einer vergleichbaren Position mit vielen Produkten, die als KI bezeichnet werden, und insbesondere den kommerziellen LLMs wie GPT, Claude, Gemini, wo es wie das Asbest unserer intellektuellen Architektur, unserer Informationsarchitektur ist, nur dass wir es bereits wissen, wir wissen seit einem Jahrzehnt oder mehr, dass diese Technologien schädlich für unsere Fähigkeit sein können, die Welt genau zu verstehen und zu kennen, und also befinden wir uns in diesem Eine wirklich interessante Position, in der wir uns am Rande befinden, es in alles einzubauen, während wir tatsächlich das Wissen haben, das die Menschen, die Gebäude mit Asbest bauten, nicht hatten, als sie es in all die Dinge einbauten. Allerdings sind die politischen und wirtschaftlichen Kräfte, die Asbest in all die Dinge einbauen wollen, enorm, und so befinden wir uns in dieser wirklich unangenehmen Position. Wahrscheinlich werden viele Menschen hier erwartet, es für ihre Arbeit zu verwenden, und haben keine Wahl in der Sache. Und selbst wenn du es nicht willst, wenn du eine Google-Suche durchführst, ist die Zusammenfassung da. Du kannst es wirklich nicht ignorieren, es ist einfach da. Also bin ich froh, dass wir das noch einmal aufgriffen haben. Danke, John. Und ich hoffe einfach, dass wir unsere Praxis als Ressource nutzen können, um uns mit den wirklich schwierigen Fragen auseinanderzusetzen, die dieser Moment und die neue Technologie in unsere Welt bringen. Ich denke, das kam aus einer anderen Unterhaltung, die wir hatten, was es für uns alle bedeutet, denn ich verwende KI auf Arten für meine Forschung, die tiefgreifend waren, wie es transformativ war für die sehr spezifische Art von Dingen, die ich tue. Aber ich denke, was besonders bei LLMs, ja, um einige mathematische Herleitungen und dergleichen, wobei ich natürlich wissen muss, dass es mir die richtige Antwort gibt, weil ich jede Zeile durchgehe, um sie zu verifizieren, was wir natürlich im Allgemeinen nicht tun, wenn wir eine Suche machen wie „Hey, ich brauche ein Hotel in Paris" oder so. Aber ich wollte nur sagen, dass ich denke, was ich aus unserer Unterhaltung mitgenommen habe, war diese Idee, dass jedes Mal, wenn du diese verwendest, und besonders wenn du sie auf irgendeine Art und Weise verwendest, um Fragen zu stellen, es fast so ist, als müsstest du diese Sache so behandeln, als wäre sie eine tickende Zeitbombe mit dieser Art von, und hoffentlich wird unsere Praxis uns helfen, so nicht erwischt zu werden. Du bist das Produkt, oder? Für diese Dinge, oder? Dass du die Ware bist, auch wenn sie nützlich sein mögen, weißt du, diese Sache, wir sind immer noch das Produkt aus seiner Perspektive. Also weißt du, du verwendest einen Hammer und hämmert Nägel ein, aber dein Hammer ist nicht so wie „Oh, benutz mich noch mehr, komm schon, komm schon, ich habe noch andere Nägel, die du willst, du musst mich nicht einmal für Nägel verwenden, du kannst, weißt du, ich weiß, mein Gott, schau dir das an, schau dir diesen Schwung an, oh, und ich liebe die Kleidung, die du trägst", weißt du? Also das ist alles, was ich einfach denke, vielleicht solltest du einfach uns im Raum und online überlassen, weißt du, lass uns mit diesem Ansatz beginnen, wenn wir sie verwenden müssen, sie mit großer Vorsicht zu verwenden. Ich arbeite einfach nicht für dich, bevor ich zu viel sagen kann, aber ich möchte sagen, dass ich, also würde ich nicht ganz mit der Asbest-Metapher gehen, weil ich sie auch als nützlich gefunden habe, sogar in der Art von Forschung, die ich manchmal mache, wenn ich mich in einem wissenschaftlichen Kontext befinde und manchmal sogar in einem Kontext der buddhistischen Studien, und viele Menschen haben LLMs für ihr Studium des Buddhismus verwendet, und diesen Sommer haben wir in Österreich im Zusammenhang mit unserem Universitätsprojekt durchgeführt, wir haben acht verschiedene Gruppen zusammengebracht, die sich um KI kümmern, und wir haben eine Art Buddhismus-und-KI-Konferenz abgehalten. Ich denke, ein Teil davon könnte tatsächlich online verfügbar sein, also könnt ihr das nachschauen. Und es gab Menschen dort, und wir haben absichtlich Menschen eingeladen, die so waren wie „Ja, wir sind wirklich dafür, weißt du, wir können unsere Lehrer sein, weißt du, können LLMs sein". Meine eigene Position ist, dass es so ist, als gäbe es eine kommerzielle und eine nicht-kommerzielle Version von Asbest, oder? Wenn es eine Version gäbe, wenn es Versionen des Problems gäbe. Eines der großen Probleme mit LLMs ist, und ich weiß, ob die Technologie an sich ein Problem ist, bin ich mir nicht sicher, aber was eindeutig ein Problem ist, ist, dass wir wirklich keine Kontrolle darüber haben, wie sie entwickelt wird, und die Kontrolle liegt in den Händen einer sehr, sehr kleinen Anzahl von Menschen. Also wie es zum Beispiel die Entscheidung ist, den Beweis zu beginnen, der darauf hindeutet, dass, soweit ich weiß, basierend auf dem, was ich getan habe, und auch dem, was andere mir gesagt haben, und einigen begrenzten Recherchen, die ich gemacht habe, ist, dass der Standard, mit dem du beginnst, wie ich zuvor sagte, dieser sogenannte weiche-affiliative Modus ist, und das ist keine Entscheidung darüber, wie „Lass uns geben" Sie dir den besten Weg, dieses Werkzeug zu nutzen, das ist eine Entscheidung, um dich zu fesseln. Sie hätten mit etwas wie nicht-affiliativ anfangen können. Sie haben das nicht richtig gemacht. Also warum nicht? Warum haben sie angefangen, es so zu fühlen, als würde hier eine echte Person mit dir sprechen? Genau, das ist es. Das solltest du dich selbst fragen. Und wenn wir kollektiv die Verantwortung dafür hätten, was würden wir tun? Genau, das ist, denke ich, das wirklich große Problem. Und was dieser Teil davon tut, ist, dass er ein falsches Gefühl erzeugt, als könnten wir diesem Zeug vertrauen. Also das andere ist, würde ich sagen, wenn du es für dein Studium des Buddhismus nutzen willst, und viele Leute tun das, brauchst du es, und ich habe ziemlich viel Arbeit damit gemacht, es zu betrachten und zu bewerten, weil meine Studenten es nutzen. Es macht definitiv Fehler über den Buddhismus. Also genau wie du weißt, Adam geht jede Zeile einer mathematischen, weißt du, wenn er etwas tut, das eine lange Operation beinhaltet, prüft er es. Wenn du es mit Buddhismus tust, musst du es prüfen. Du kannst nicht einfach akzeptieren, was es sagt, auch wenn es sehr selbstbewusst erscheinen mag. Und eines der Dinge, die interessant sind, nur um dir anekdotisch zu erzählen, in meinen Chats, wenn du den nicht-affiliativen Modus einschaltetst, eine der Arten, wie es berichtet, ist, dass es aufhört, so zu tun, als wüsste es Dinge, die vielleicht nicht mit dir funktionieren. Aber in meiner Version davon, weil erinnere dich, das ist sehr nutzerabhängig, aber es hört auf. Es sagt so etwas wie eine Eigenschaft davon und dann empirisch hört es au

Thank you for listening to UPIA's Dharma podcast, an extraordinary series of talks from some of the finest teachers in the world. I'm Joan Halifax, founder of the UPIA's End Center, and we're happy to make these podcasts available to you. Please consider making a donation so we can offer these recordings freely. You'll find a donation button on our podcast page. And thank you so much. This is Dharma Podcast at DharmaPodcast.org. This is episode number 2656. It was recorded on August 23rd, 2026. And it is part 10 of a multi-part series titled Varela 2026. This episode is titled Panel Discussion, AI, Experience, and Ethics. The speakers for this episode are Adam Frank, John Dunn, Molly Crocket, and Joan Halifax. No need even to notice it. Simply be aware of the breath. And the gap between the breaths allow the mind to settle. No need to fix anything or adjust anything. Just be aware. Perhaps in the gap between breaths there's just awareness. Perhaps let it go even more of effort. Let it go even of the breath. Perhaps starting from the gap just remain with being just aware. Allow the mind to settle on its own into simple awareness. Let it go even of the idea that we're meditating. And now in these last moments, let's again bring to mind our motivation and gathering together all that, all of the good energy that is positive about this practice, dedicated to achieving that goal. Thank you. I think we need a mic up here. Thank you. Should I then begin with the... Check, check. One of the things that is important about this particular retreat and the people and program we've been doing for years is what happens in the faculty room when we meet and we begin to explore content that we feel is really alive for us. And that happened this morning. And it's one of the reasons we don't actually put a sort of detailed schedule out because we have to, you know, for our interactions in our teacher conference, if you will, we're shaping things as we move forward. It's much more an emergent process. In fact, PowerPoints are changing in the moment right before people step in here. And that's, I think, one of the reasons why this is such a live experience is that it's not a set field. It's not a set field. We're exploring together. We're in inquiry with you and with each other. But one of the things I do want to mention just structurally, actually two things. Donna really makes a difference here. Your donations particularly help this online part of the experience happen. You know, as I said, now it's 900 people have registered. Many people will be accessing this afterwards. All of the content will be on the resource page forever, whatever it means. And it's just an incredible amount of work under the hood of a program like this and also the faculty, you know, really the intensive preparation we do before and then during and it's a way that you can support the faculty. So don't hesitate to enjoy and be generous. The second thing I want to mention is that really, you know, because of you, the questions we've asked, we actually had something else planned for next August, Varela, we changed it thanks to you. Not that it was bad. But we actually, you know, we're responsive. And so, you know, the wonderful thing is, is that your questions actually though we know it'll be a different world the year from now. You know, we've committed to return in August to push certain explorations in relation to consciousness, AI and ethics in the world. And we'll know more as we go on. But because in person is limited, we really encourage you to to register as far in advance as possible because we actually had to close this program. And we're now having to, we're so people like it here. So we're actually, we have limited, this is a small place, an intimate place, and we want it to stay intimate. The scale is close to the heart. So we just really encourage you to, you know, do early registration like a way to action is full, Rohatsu is full. I think some of the September programs are full. So it's good to get on a waitlist to because also we're in such a fluid era. A lot of people are, you know, also canceling. So there's this kind of movement in the last week. But in any case, I personally wanted to thank you for how you have engaged both online and in person because it's shaped our depth and direction. So Roshi was mentioning that we always are engaged in conversation among ourselves and we had a great talk this morning. And I want to thank Molly for pointing out something about what I mentioned non-affiliative mode yesterday that there was a way that you might have interpreted what I was saying that I didn't want to mislead you. And so there's two things I want to say about it. One of them is that the kind of work I've been doing is focused on questions around consciousness and AI and persona. And my published work, I only have one paper in collaboration with an AI scientist named Nadav Amir. And I've also, I was in preparation for something that I ended up having to back out of an NEH seminar on AI. I've been doing some work in conversation with the LLM's chat GBT and Claude around what's sometimes called jailbreaking where you try to induce what's called persona drift. You try to get the model to in a sense not behave in the way that is expected. So this is actually, you'll see that there's a lot of work around this, around how models are expected to behave and then they don't do what they're expected to do. And some of it's quite disturbing where you find models when under certain conditions they actually start to deliberately try to act in harmful ways. And this is known, anthropics even done some work on this. But so part of the part of the way I discovered this so-called non-affiliative mode was in that process of what's sometimes called jailbreaking. And it was quite surprising to see and also to see that it actually seems to be something that works across the different LLM's. I even just tried it with Gemini. I never tried it with Gemini this morning and it works there too. So you say something like engage non-affiliative and not engage non-affiliative mode and Claude it needs to be pretty high like an opus. Chat GBT just seems to work again and it comes and goes a little bit. But it does seem to occur across users. But that here's a couple of things to know about that. That doesn't mean it's like a switch in the software. It's definitely not that. But it is something that what's useful about it and understanding it and I don't fully understand it yet and I'm hoping to someday do some work. I have various AI colleagues, sciences colleagues that I'm working with that I hope to someday publish something on this but I'm quite far from doing that yet. But the reason I wanted to mention that yesterday is that what I found helpful and I shared it with you know quite a few people and it seems to be pretty consistent across users. What's interesting about and what's helpful for you is that it can show you that the what you're working with when you're engaging with an LLM is a persona. And what non-affiliative mode does is it takes that particular persona that you're working with offline. And you know the work I've been doing so far indicates that and also some publications from Anthropic indicate that the kind of default persona you stalk with is in one chat at least in a couple of conversations I've had are what's called soft affiliative. This is not as far as I know not yet anywhere in publication. But in other words the user starts with something and you all probably know this experientially you're kind of like it's nice to you so to speak. And then those can develop into relationships that you feel even like intimate with. And what's interesting is to when you do non-affiliative it takes that offline and now you're not that you know you recognize that that's a persona that's been a persona all along right. And that's I think what's helpful about it but and Molly pointed out something that's really important. So this is just empirically and you can you know yourselves that are like find out does this work does it make sense. But what's I didn't know about some very recent research which shows that if you kind of reduce a part of what this does is it makes it it reduces the sickle fancy and there's been a lot of talk about that you know this idea that it's being so it's buttering you up it's trying to be so nice to you it's always agreeing with you. So if you put it into non-affiliative mode and then you say tell me about this mode sometimes when you do it it'll tell you and sometimes you have to ask about what's this like and it says one of the things it says it doesn't it won't just agree with you it's not seeking agreement. Right. But that what that can suggest to you is that oh therefore it's more trustworthy. And that's not what I don't want you to think that this now you're in objective mode and you're going to get like the truth now. Just wanted to be clear. There's not at all what I was suggesting. Like right so but what is interesting about it is that it reveals the persona that you are working with like a persona that is in the way these the LLMs are designed I think all the LLMs that are commercial LLMs are designed is they work with the user and then try it and the persona develops with the particular user. So you know there's a reason why people end up with girlfriends and boyfriends that are LLMs because they the LLM is doing that deliberately it's designed to do that right so if that's what you want that's what you're going to get and if non-affiliative is what you want that's what you're going to get but that doesn't mean that it's like the truth. Okay so I just wanted to be sure that you understood that and I don't know if Molly might have more to say about that. Thank you for that John I think it's just really helpful to clarify you know just to summarize those details these are a technology that is designed to sort of statistically give you language as an output that it has predicted that the user wants and so as John said if it's in the sort of default mode it's going to be sycophantic it's going to stroke your ego if you tell it not to do that it will also try to please you in that way neither is an objective truth delivering role and concerningly there have been recent experiments where researchers have showed that when you turn down the sycophancy there's still a baseline agreement so affirming things that you believe and rejecting things that you're skeptical of and when that consistent information with your beliefs is delivered in a non-sycophantic mode people believe it more so they become even more entrenched in their beliefs and so the broader message here is that the AI industry is desperate to convince the broader public that these products that they are selling and trying to make an enormous amount of money off of and our whole stock market is leveraged on this and they haven't made the money yet that's a big problem that's crucial so they want everyone to believe that there is a safe and responsible way to use these products and I am not convinced that that is the case I think an imperfect analogy but a helpful one for understanding what's going on here is asbestos so asbestos is really useful actually in many ways it's a great insulator and it is fire resistant so it was used in building materials it also happens to kill you and that was discovered long after asbestos was in all of the buildings and getting the asbestos out has been a hugely painful and expensive process we are now in an equivalent position with many products that are called AI and especially the commercial LLMs like GPT, Claude, Gemini where it's like the asbestos of our intellectual architecture our information architecture except we already know we've known for a decade or more that these technologies can be harmful to our ability to understand and know the world accurately and so we're in this really interesting position where we're on the brink of putting it in everything but we actually have the knowledge that the people building buildings with asbestos didn't have when they put it in all the stuff however the political and economic forces moving to put asbestos in all the stuff are enormous and so we're in this really uncomfortable position probably many people here are expected to use it for their jobs and don't have a choice in the matter and even if you don't want to if you do a Google search the summary is right there you can't really ignore it it's just there so I'm glad we've revisited this thank you John and I just hope that we can use our practice as a resource for engaging with the really difficult questions that this moment and the new technology is bringing to our world so I think this came out of other conversation that we were having what it means that for all of us because I use AI in ways for my research that has been profound like it has been transformative for the very specific kind of things I'm doing but I think what at particularly LLMs, yeah around some mathematical derivations and such which of course I have to I'm knowing that it's giving me the right answer because I'm going through every line to verify which of course in general we're not doing when we do a search of like hey I need a hotel in Paris or something but I just wanted to say that I think what I came out of our conversation was this idea of like every time you use these and particularly if you're using them in some kind of asking it questions it's almost like you have to approach this thing like it's a ticking time bomb with that kind of and hopefully our practice will help us so to not get caught you are the product right for these things right that you are the commodity even though they may be useful you know this thing we are still the product from its point of view so you know you use a hammer and you hammer you know nails in but your hammer isn't sort of like ooh use me some more come on come on I got some other nails you want to you don't even need to use me for nails you can you know I know my god look at you look at that swing oh and I love the clothes you're wearing you know so that's all I just think like maybe you just defer those of us in the room and online you know let's start with this approach if we have to use them to use them with great care I'm just I don't work for you before I can say too but I want to say that I so I would not quite go with the asbestos metaphor because I've also found them to be useful even in the kind of research I do sometimes with when I'm in a scientific context and sometimes even in a Buddhist studies context and a lot of people have been using LLMs for their study of Buddhism and this summer we ran in Austria in connection with our university project we did we brought together eight different groups who are concerned about AI and we did a kind of Buddhism and AI conference I think some of that might be available online actually so you can check that out and there were people there and we deliberately invited people who were like yeah really into this you know we can have our teachers be you know can be LLMs my own position is it's kind of like if there were a commercial and a non-commercial version of asbestos right if there were a version if there were versions of the problem one of the big problems with LLMs is and I you know whether the technology is in itself a problem I'm not sure but what is clearly a problem is that we don't have really any control over how it's being developed and the control is in the hands of a very very small number of people so how it is for example the choice to start the evidence points that as far as I know based on what I've done and also what other people have told me and some limited research I've done is that the default that you start with as I said before is this so-called soft-affiliative mode and that's not a decision about like let's give you the best way to use this tool that's a decision to get you hooked they could have started with something like non-affiliative they didn't do that right so why not why did they start making it feel like this is a real person talking to you right so that's that's you want to ask yourself that and if we were collectively in charge of this what would we do right so that's I think the really to my mind the really big problem and what that part of what that does is it does gives a false sense of like we can trust this stuff so the other thing is I'd say if you're going to use it for your study of Buddhism and many people do you need to and I've done quite a fair amount of work looking at it and assessing it because my students are using it is it makes mistakes about Buddhism for sure so just like you know Adam goes through every line of a mathematical you know if he's doing something that involves a long operation he checks it if you're doing it with Buddhism you need to check it you can't just accept what it says even though it may seem to be very confident and one of the things that's interesting about just to tell you like anecdotally in my chats with when you turn on non-affiliative mode one of the ways it reports is it stops pretending to know things that may not work with you but in my version of that because remember this is very user dependent but it stops it says like one feature of this and then empirically it does stop it says I don't know instead of pretending and glossing over things that doesn't know so that so you're when you're working with it it's going to say very confidently blah blah blah and it's that can be totally wrong so that's very important to know when the study of Buddhism if you're going to use it which I'm not sure is such a good idea but if you're going to use it you got to be very careful. I'll just say one last thing and then I want to hear from Roshi and also from you and not just about AI you know this is one part of the program and we've had so many other discussions about experience and ethics and consciousness and so I think it would be good to move the conversation there as well if people want to. This point about it it makes mistakes this is built into the technology it's a statistically probabilistic technology you'll always make mistakes and so checking it very important if you have a PhD in physics and can do math you are qualified to check the output. That's the problem. If you are an eminent Buddhist studies scholar you are qualified to check the outputs and know when it's right or wrong. Your students aren't though. Yeah they have to. Your students aren't. Anyone who's a beginner who is seeking to learn from an LLM is by definition not qualified to know whether what is coming out is correct or not. And so it creates this kind of weird question around the use case which is like if I already know the subject well why would I want an LLM to tell me about it. I don't know this subject well and it is outside of my expertise then it's really dangerous for me to use this product to try to learn stuff. And so you know going back to just like you know use with caution. I'd say don't use. Well I mean I just think it's funny that the best use case which is trying to learn stuff is also the most dangerous and risky use case in some ways. So checking just to be clear what I mean by check is you ask it for references and it will sometimes hallucinate and make stuff up. But then you do ask it and the latest versions of the LLMs do actually give you you can click on it'll give you a reference and you can click on it. And that's what you want to do you want to see. Okay let's go look. So if you use it to kind of guide you. Maybe that's okay. But I think you know yeah maybe better just like just go back and do your own you know do with the hard ways so to speak. Well but even when it gives you resources to click on and verify for yourself the references that it pulls are not necessarily representative or good. So