check in
[Ultimately_Untrue_Thought.git] / content / drafts / if-clarity-seems-like-death-to-them.md
index eb05153..14bbd27 100644 (file)
@@ -5,11 +5,13 @@ Category: commentary
 Tags: autogynephilia, bullet-biting, cathartic, Eliezer Yudkowsky, Scott Alexander, epistemic horror, my robot cult, personal, sex differences, two-type taxonomy, whale metaphors
 Status: draft
 
-> "—but if one hundred thousand straights can turn up, to show their support for the gay community, why can't you?"
+> "—but if one hundred thousand normies can turn up, to show their support for the rationalist community, why can't you?"
 >
-> I said wearily, "Because every time I hear the word _community_, I know I'm being manipulated. If there is such a thing as _the gay community_, I'm certainly not a part of it. As it happens, I don't want to spend my life watching _gay and lesbian_ television channels, using _gay and lesbian_ new systems ... or going to _gay and lesbian_ street parades. It's all so ... proprietary. You'd think there was a multinational corporation who had the franchise rights on homosexuality. And if you don't _market the product_ their way, you're some kind of second-class, inferior, bootleg, unauthorized queer."
+> I said wearily, "Because every time I hear the word _community_, I know I'm being manipulated. If there is such a thing as _the rationalist community_, I'm certainly not a part of it. As it happens, I don't want to spend my life watching _rationalist and effective altruist_ television channels, using _rationalist and effective altruist_ news systems ... or going to _rationalist and effective altruist_ street parades. It's all so ... proprietary. You'd think there was a multinational corporation who had the franchise rights on truth and goodness. And if you don't _market the product_ their way, you're some kind of second-class, inferior, bootleg, unauthorized nerd."
 >
-> —"Cocoon" by Greg Egan
+> —"Cocoon" by Greg Egan (paraphrased)[^egan-paraphrasing]
+
+[^egan-paraphrasing]: The original quote says "one hundred thousand straights" ... "gay community" ... "gay and lesbian" ... "franchise rights on homosexuality" ... "unauthorized queer."
 
 [TODO: recap previous posts]
 
@@ -21,7 +23,7 @@ Ben had [previously](http://benjaminrosshoffman.com/givewell-and-partial-funding
 
 I believed that there _was_ a real problem, but didn't feel like I had a good grasp on what it was specifically. Cultural critique is a fraught endeavor: if someone tells an outright lie, you can, maybe, with a lot of effort, prove that to other people, and get a correction on that specific point. (Actually, as we had just discovered, even that might be too much to hope for.) But _culture_ is the sum of lots and lots of little micro-actions by lots and lots of people. If your _entire culture_ has visibly departed from the Way that was taught to you in the late 'aughts, how do you demonstrate that to people who, to all appearances, are acting like they don't remember the old Way, or that they don't think anything has changed, or that they notice some changes but think the new way is better? It's not as simple as shouting, "Hey guys, Truth matters!"—any ideologue or religious person would agree with _that_. It's not feasible to litigate every petty epistemic crime in something someone said, and if you tried, someone who thought the culture was basically on track could accuse you of cherry-picking. If "culture" is a real thing at all—and it certainly seems to be—we are condemned to grasp it unclearly, relying on the brain's pattern-matching faculties to sum over thousands of little micro-actions as a [_gestalt_](https://en.wiktionary.org/wiki/gestalt), rather than having the kind of robust, precise representation a well-designed AI could compute plans with.
 
-Ben called the _gestalt_ he saw the Blight, after the rogue superintelligence in _A Fire Upon the Deep_: the problem wasn't that people were getting dumber; it's that there was locally coherent coordination away from clarity and truth and towards coalition-building, which was validated by the official narrative in ways that gave it a huge tactical advantage; people were increasingly making decisions that were better explained by their political incentives rather than acting on coherent beliefs about the world—using and construing claims about facts as moves in a power game, albeit sometimes subject to genre constraints under which only true facts were admissible moves in the game.
+Ben called the _gestalt_ he saw the Blight, after the rogue superintelligence in Vernor Vinge's _A Fire Upon the Deep_: the problem wasn't that people were getting dumber; it's that there was locally coherent coordination away from clarity and truth and towards coalition-building, which was validated by the official narrative in ways that gave it a huge tactical advantage; people were increasingly making decisions that were better explained by their political incentives rather than acting on coherent beliefs about the world—using and construing claims about facts as moves in a power game, albeit sometimes subject to genre constraints under which only true facts were admissible moves in the game.
 
 When I asked him for specific examples of MIRI or CfAR leaders behaving badly, he gave the example of [MIRI executive director Nate Soares posting that he was "excited to see OpenAI joining the space"](https://intelligence.org/2015/12/11/openai-and-other-news/), despite the fact that [_no one_ who had been following the AI risk discourse](https://slatestarcodex.com/2015/12/17/should-ai-be-open/) [thought that OpenAI as originally announced was a good idea](http://benjaminrosshoffman.com/openai-makes-humanity-less-safe/). Nate had privately clarified to Ben that the word "excited" wasn't necessarily meant positively, and in this case meant something more like "terrified."
 
@@ -129,9 +131,11 @@ MIRI researcher Scott Garrabrant wrote a post about how ["Yes Requires the Possi
 
 On 31 May 2019, a [draft of a new _Less Wrong_ FAQ](https://www.lesswrong.com/posts/MqrzczdGhQCRePgqN/feedback-requested-draft-of-a-new-about-welcome-page-for) included a link to "... Not Man for the Categories" as one of Scott Alexander's best essays. I argued that it would be better to cite _almost literally_ any other _Slate Star Codex_ post (most of which, I agreed, were exemplary). I claimed that the following disjunction was true: _either_ Alexander's claim that "There's no rule of rationality saying that [one] shouldn't" "accept an unexpected [X] or two deep inside the conceptual boundaries of what would normally be considered [Y] if it'll save someone's life" was a blatant lie, _or_ one had no grounds to criticize me for calling it a blatant lie, because there's no rule of rationality that says I shouldn't draw the category boundaries of "blatant lie" that way. The mod [was persuaded on reflection](https://www.lesswrong.com/posts/MqrzczdGhQCRePgqN/feedback-requested-draft-of-a-new-about-welcome-page-for?commentId=oBDjhXgY5XtugvtLT), and "... Not Man for the Categories" was not included in the final FAQ. Another "victory."
 
+But winning "victories" wasn't particularly comforting when I resented this becoming a political slapfight at all.
+
 [TODO:
-"victories" weren't comforting when I resented this becoming a political slapfight at all—a lot of the objections in the Vanessa thread were utterly insane
-I wrote to Anna and Steven Kaas (who I was trying to "recruit" onto our side of the civil war) ]
+a lot of the objections in the Vanessa thread were utterly insane
+I wrote to Anna and Steven Kaas (who I was trying to "recruit" onto our side of the civil war)]
 
 In "What You Can't Say", Paul Graham had written, "The problem is, there are so many things you can't say. If you said them all you'd have no time left for your real work." But surely that depends on what _is_ one's real work. For someone like Paul Graham, whose goal was to make a lot of money writing software, "Don't say it" (except for this one meta-level essay) was probably the right choice. But someone whose goal is to improve our collective ability to reason, should probably be doing _more_ fighting than Paul Graham (although still preferably on the meta- rather than object-level), because political restrictions on speech and thought directly hurt the mission of "improving our collective ability to reason", in a way that they don't hurt the mission of "make a lot of money writing software."
 
@@ -294,7 +298,9 @@ What I would hope for from a rationality teacher and a rationality community, wo
 
 And from the way Yudkowsky writes these days, it looks like he's ... not interested in collective information-processing? Or that he doesn't actually believe that's a real thing? "Credibly helpful unsolicited criticism should be delivered in private," he writes! I agree that the positive purpose of public criticism isn't solely to help the author. (If it were, there would be no reason for anyone but the author to read it.) But readers _do_ benefit from insightful critical commentary. (If they didn't, why would they read the comments section?) When I read a story, and am interested in reading the comments _about_ a story, it's because _I want to know what other readers were actually thinking about the work_. I don't _want_ other people to self-censor comments on any plot holes or [Fridge Logic](https://tvtropes.org/pmwiki/pmwiki.php/Main/FridgeLogic) they noticed for fear of dampening someone else's enjoyment or hurting the author's feelings.
 
-Yudkowsky claims that criticism should be given in private because then the target "may find it much more credible that you meant only to help them, and weren't trying to gain status by pushing them down in public." I'll buy this as a reason why credibly _altruistic_ unsolicited criticism should be delivered in private. Indeed, meaning _only_ to help the target just doesn't seem like a plausible critic motivation in most cases. But the fact that critics typically have non-altruistic motives, doesn't mean criticism isn't helpful. In order to incentivize good criticism, you _want_ people to be rewarded with status for making good criticisms! You'd have to be some sort of communist to disagree with this.
+Yudkowsky claims that criticism should be given in private because then the target "may find it much more credible that you meant only to help them, and weren't trying to gain status by pushing them down in public." I'll buy this as a reason why credibly _altruistic_ unsolicited criticism should be delivered in private. Indeed, meaning _only_ to help the target just doesn't seem like a plausible critic motivation in most cases. But the fact that critics typically have non-altruistic motives, doesn't mean criticism isn't helpful. In order to incentivize good criticism, you _want_ people to be rewarded with status for making good criticisms. You'd have to be some sort of communist to disagree with this![^communism-analogy]
+
+[^communism-analogy]: That is, there's an analogy between economically valuable labor, and intellectually productive criticism: if you accept the necessity of paying workers money in order to get good labor out of them, you should understand the necessity of awarding commenters status in order to get good criticism out of them.
 
 There's a striking contrast between the Yudkowsky of 2019 who wrote the "Reducing Negativity" post, and an earlier Yudkowsky (from even before the Sequences) who maintained [a page on Crocker's rules](http://sl4.org/crocker.html): if you declare that you operate under Crocker's rules, you're consenting to other people optimizing their speech for conveying information rather than being nice to you. If someone calls you an idiot, that's not an "insult"; they're just informing you about the fact that you're an idiot, and you should plausibly thank them for the tip. (If you _were_ an idiot, wouldn't you be better off knowing rather than not-knowing?)
 
@@ -336,7 +342,9 @@ I said I would bite that bullet: yes! Yes, I was trying to figure out whether I
 
 (This seemed correlated with the recurring stalemated disagreement within our coordination group, where Michael/Ben/Jessica would say, "Fraud, if that word _ever_ meant anything", and while I agreed that they were pointing to an important way in which things were messed up, I was still sympathetic to the Caliphate-defender's reply that the Vassarite usage of "fraud" was motte-and-baileying between vastly different senses of _fraud_; I wanted to do _more work_ to formulate a _more precise theory_ of the psychology of deception to describe exactly how things are messed up a way that wouldn't be susceptible to the motte-and-bailey charge.)
 
-[TODO: Ziz's protest; Somni? ("peek behind the fog of war" 6 Feb)]
+[TODO: Ziz's protest;
+
+[TODO: Somni? ("peek behind the fog of war" 6 Feb)]
 
 [TODO: rude maps]
 
@@ -344,8 +352,6 @@ I said I would bite that bullet: yes! Yes, I was trying to figure out whether I
 
 [TODO: complicity and friendship]
 
-[TODO: affordance widths]
-
 [TODO: I had a productive winter blogging vacation in December 2019
 pull the trigger on "On the Argumentative Form"; I was worried about leaking info from private conversations, but I'm in the clear "That's your hobbyhorse" is an observation anyone could make from content alone]
 
@@ -478,13 +484,13 @@ Given that I spent so many hours on this little research/writing project in earl
 
 [TODO: "Autogenderphilia Is Common" https://slatestarcodex.com/2020/02/10/autogenderphilia-is-common-and-not-especially-related-to-transgender/]
 
+-----
+
 On 1 June 2020, I received a Twitter DM from _New York Times_ reporter Cade Metz, who said he was "exploring a story about the intersection of the rationality community and Silicon Valley". I sent him an email saying that I would be happy to talk, but that I'd actually been pretty disappointed with the community lately: I was worried that the social pressures of trying to _be_ a "community" and protect the group's status (_e.g._, from _New York Times_ reporters who might portray us in an unflattering light??) incentivize people to compromise on the ideals of _systematically correct reasoning_ that made the community valuable in the first place.
 
-He never got back to me.
+He never got back to me. Three weeks later, all existing _Slate Star Codex_ posts were taken down.
 
-[TODO: three weeks later, Slate Star Codex went down
- my slate_starchive.py script
-]
+A [lone post on the main page](https://slatestarcodex.com/2020/06/22/nyt-is-threatening-my-safety-by-revealing-my-real-name-so-i-am-deleting-the-blog/) explained that the _New York Times_ piece was going to reveal Alexander's real last name, and that he was taking his posts down as a defensive measure. (No blog, no story?) I [wrote a script](/source?p=Ultimately_Untrue_Thought.git;a=commitdiff;h=21731ba6f1191) (`slate_starchive.py`) to replace the _Slate Star Codex_ links on this blog with links to the most recent Internet Archive copy.
 
 ------
 
@@ -641,6 +647,10 @@ https://www.facebook.com/yudkowsky/posts/10158853851009228
 _ex cathedra_ statement that gender categories are not an exception to the rule, only 1 year and 8 months after asking for it
 ]
 
+And really, that _should_ have been the end of the story. At the trifling cost of two years of my life, we finally got a clarification from Yudkowsky that you can't define the word _woman_ any way you like. I didn't think I was entitled to anything more than that. I was satsified. I still published "Unnatural Categories Are Optimized for Deception" in January 2021, but if I hadn't been further provoked, I wouldn't have occasion to continue waging the robot-cult religious civil war.
+
+[TODO: psychiatric disaster, breakup with Vassar group, this was really bad for me]
+
 [TODO: "Unnatural Categories Are Optimized for Deception"
 
 Abram was right
@@ -651,7 +661,3 @@ Embedded agency means that the AI shouldn't have to fundamentally reason differe
 
 somehow accuracy seems more fundamental than power or resources ... could that be formalized?
 ]
-
-And really, that _should_ have been the end of the story. At the trifling cost of two years of my life, we finally got a clarification from Yudkowsky that you can't define the word _woman_ any way you like. I didn't think I was entitled to anything more than that. I was satsified. I still published "Unnatural Categories Are Optimized for Deception" in January 2021, but if I hadn't been further provoked, I wouldn't have occasion to continue waging the robot-cult religious civil war.
-
-[TODO: psychiatric disaster, breakup with Vassar group, this was really bad for me]