check in
[Ultimately_Untrue_Thought.git] / content / drafts / standing-under-the-same-sky.md
index 94b2009..af5a4d6 100644 (file)
@@ -513,11 +513,13 @@ Admirably explicit.
 
 The fact that Yudkowsky had been replying to me at length—explaining why my literary criticism was nuts, but in a way that respected my humanity and expected me to be able to hear it—implied that I was apparently in his "I can cheaply save him (from crazy people like Michael)" bucket, rather than the "AI timelines and therefore life is too short" bucket.]
 
-It was odd that Yudkowsky's reaction to my complaints was (verbatim!) "that's insane", rather than something more like, "OK, I totally see why you see this as a betrayal, but unfortunately for you, I don't actually consider myself bound by what you thought I was promising."
+It was disappointing that Yudkowsky's reaction to my complaints was (verbatim!) "that's insane", rather than something more like, "OK, I totally see why you see this as a betrayal, but unfortunately for you, I don't actually consider myself bound by what you thought I was promising."
 
-[TODO: the story of a grant-making scientist]
+I gave a parable (along the lines of ["it's not the incentives; it's you"](https://www.lesswrong.com/posts/5nH5Qtax9ae8CQjZ9/tal-yarkoni-no-it-s-not-the-incentives-it-s-you) to illustrate the problem: a senior scientist publishes a paper with a conclusion favorable to an organization that gave his lab a grant. The scientist's faithful student points out a fatal flaw in the paper, and suggests publishing a retraction. The scientist says, "No, that would be bad for my career." The student gets angry. The scientist says, "You're supposed to not get angry at the people who didn't create those career incentives. That's insane. Your issue is with Moloch: the publish-or-perish incentives of grant-funded science. If you can't take that down, then don't blame others who can't do that, either."
 
-[TODO: I bait Lintamande into engagement]
+That is, blaming people who commit fraud (where an innocent mistake _becomes_ fraud if you refuse to acknowledge it after it's been pointed out) is _part_ of a strategy for defeating Moloch.
+
+[TODO: explain how this counters Moloch; I bait Lintamande into engagement]
 
 [TODO: Linta says I'm impossible to talk to and the anticipation of my pouncing stiffles discussion. (I almost wonder if this is a good thing, from a _realpolitik_ perspective? I'd prefer to argue people out of bad ideas, but if the threat of an argument disincentivizes them from spreading ...? Game theory goes both ways—I've been self-censoring, too.)]