memoir: the story of the Dolphin War
[Ultimately_Untrue_Thought.git] / content / drafts / standing-under-the-same-sky.md
index 8c447df..e623cc7 100644 (file)
@@ -179,38 +179,57 @@ In June 2021, MIRI Executive Director Nate Soares [wrote a Twitter thread arugin
 
 [^not-endorsements]: In general, retweets are not necessarily endorsements—sometimes people just want to draw attention to some content without further comment or implied approval—but I was inclined to read this instance as implying approval, partially because this doesn't seem like the kind of thing someone would retweet for attention-without-approval, and partially because of the working relationship between Soares and Yudkowsky.
 
-Soares's points seemed cribbed from part I of Scott Alexander's ["... Not Man for the Categories"](https://slatestarcodex.com/2014/11/21/the-categories-were-made-for-man-not-man-for-the-categories/), which post I had just dedicated _more than three years of my life_ to rebutting in [increasing](/2018/Feb/the-categories-were-made-for-man-to-make-predictions/) [technical](https://www.lesswrong.com/posts/esRZaPXSHgWzyB2NL/where-to-draw-the-boundaries) [detail](https://www.lesswrong.com/posts/onwgTH6n8wxRSo2BJ/unnatural-categories-are-optimized-for-deception), _specifically using dolphins as my central example_—which Soares didn't necessarily have any reason to have known about, but Yudkowsky (who retweeted Soares) definitely did. (Soares's [specific reference to the Book of Jonah](https://twitter.com/So8res/status/1401670796997660675) made it seem particularly unlikely that he had invented the argument independently from Alexander.) [One of the replies (which Soares Liked) pointed out the similar _Slate Star Codex_ article](https://twitter.com/max_sixty/status/1401688892940509185), [as did](https://twitter.com/NisanVile/status/1401684128450367489) [a couple of](https://twitter.com/roblogic_/status/1401699930293432321) quote-Tweet discussions.
+Soares's points seemed cribbed from part I of Scott Alexander's ["... Not Man for the Categories"](https://slatestarcodex.com/2014/11/21/the-categories-were-made-for-man-not-man-for-the-categories/), which post I had just dedicated more than three years of my life to rebutting in [increasing](/2018/Feb/the-categories-were-made-for-man-to-make-predictions/) [technical](https://www.lesswrong.com/posts/esRZaPXSHgWzyB2NL/where-to-draw-the-boundaries) [detail](https://www.lesswrong.com/posts/onwgTH6n8wxRSo2BJ/unnatural-categories-are-optimized-for-deception), specifically using dolphins as my central example—which Soares didn't necessarily have any reason to have known about, but Yudkowsky (who retweeted Soares) definitely did. (Soares's [reference to the Book of Jonah](https://twitter.com/So8res/status/1401670796997660675) made it seem particularly unlikely that he had invented the argument independently from Alexander.) [One of the replies (which Soares Liked) pointed out the similar _Slate Star Codex_ article](https://twitter.com/max_sixty/status/1401688892940509185), [as did](https://twitter.com/NisanVile/status/1401684128450367489) [a couple of](https://twitter.com/roblogic_/status/1401699930293432321) quote-Tweet discussions.
 
-The elephant in my brain took this as another occasion to _flip out_. I didn't _immediately_ see anything for me to overtly object to in the thread itself—[I readily conceded that](https://twitter.com/zackmdavis/status/1402073131276066821) there was nothing necessarily wrong with wanting to use the symbol "fish" to refer to the cluster of similarities induced by convergent evolution to the acquatic habitat rather than the cluster of similarities induced by phylogenetic relatedness—but in the context of our subculture's history, I read this as Soares and Yudkowsky implicitly lending more legitimacy to "... Not Man for the Categories", which was _hostile to my interests_. Was I paranoid to read this as a potential [dogwhistle](https://en.wikipedia.org/wiki/Dog_whistle_(politics))? It just seemed _implausible_ that Soares would be Tweeting that dolphins are fish in the counterfactual in which "... Not Man for the Categories" had never been published.
+The elephant in my brain took this as another occasion to _flip out_. I didn't immediately see anything for me to overtly object to in the thread itself—[I readily conceded that](https://twitter.com/zackmdavis/status/1402073131276066821) there was nothing necessarily wrong with wanting to use the symbol "fish" to refer to the cluster of similarities induced by convergent evolution to the acquatic habitat rather than the cluster of similarities induced by phylogenetic relatedness—but in the context of our subculture's history, I read this as Soares and Yudkowsky implicitly lending more legitimacy to "... Not Man for the Categories", which was hostile to my interests. Was I paranoid to read this as a potential [dogwhistle](https://en.wikipedia.org/wiki/Dog_whistle_(politics))? It just seemed implausible that Soares would be Tweeting that dolphins are fish in the counterfactual in which "... Not Man for the Categories" had never been published.
 
-After a little more thought, I decided the thread _was_ overtly objectionable, and [quickly wrote up a reply on _Less Wrong_](https://www.lesswrong.com/posts/aJnaMv8pFQAfi9jBm/reply-to-nate-soares-on-dolphins): Soares wasn't merely advocating for a "swimmy animals" sense of the word _fish_ to become more accepted usage, but specifically deriding phylogenetic definitions as unmotivated for everyday use ("definitional gynmastics [_sic_]"!), and _that_ was wrong. It's true that most language users don't directly care about evolutionary relatedness, but [words aren't identical with their definitions](https://www.lesswrong.com/posts/i2dfY65JciebF3CAo/empty-labels). Genetics is at the root of the causal graph underlying all other features of an organism; creatures that are more closely evolutionarily related are more similar _in general_. Classifying things by evolutionary lineage isn't an arbitrary æsthetic whim by people who care about geneology for no reason. We need the natural category of "mammals (including marine mammals)" to make sense of how dolphins are warm-blooded, breathe air, and nurse their live-born young, and the natural category of "finned cold-blooded vertebrate gill-breathing swimmy animals (which excludes marine mammals)" is also something that it's reasonable to have a word for.
+After a little more thought, I decided that the thread _was_ overtly objectionable, and [quickly wrote up a reply on _Less Wrong_](https://www.lesswrong.com/posts/aJnaMv8pFQAfi9jBm/reply-to-nate-soares-on-dolphins): Soares wasn't merely advocating for a "swimmy animals" sense of the word _fish_ to become more accepted usage, but specifically deriding phylogenetic definitions as unmotivated for everyday use ("definitional gynmastics [_sic_]"!), and _that_ was wrong. It's true that most language users don't directly care about evolutionary relatedness, but [words aren't identical with their definitions](https://www.lesswrong.com/posts/i2dfY65JciebF3CAo/empty-labels). Genetics is at the root of the causal graph underlying all other features of an organism; creatures that are more closely evolutionarily related are more similar in general. Classifying things by evolutionary lineage isn't an arbitrary æsthetic whim by people who care about geneology for no reason. We need the natural category of "mammals (including marine mammals)" to make sense of how dolphins are warm-blooded, breathe air, and nurse their live-born young, and the natural category of "finned cold-blooded vertebrate gill-breathing swimmy animals (which excludes marine mammals)" is also something that it's reasonable to have a word for.
 
 (Somehow, it felt appropriate to use a quote from Arthur Jensen's ["How Much Can We Boost IQ and Scholastic Achievement?"](https://en.wikipedia.org/wiki/How_Much_Can_We_Boost_IQ_and_Scholastic_Achievement%3F) as an epigraph.)
 
-[TODO: dolphin war con'td
+On [Twitter](https://twitter.com/So8res/status/1402888263593959433) Soares conceded my main points, but said that the tone, and the [epistemic-status followup thread](https://twitter.com/So8res/status/1401761124429701121), were intended to indicate that the original thread was "largely in jest"—"shitposting"—but that he was "open to arguments that [he was] making a mistake here."
 
- * Nate conceded all of my points (https://twitter.com/So8res/status/1402888263593959433), said the thread was in jest ("shitposting"), and said he was open to arguments that he was making a mistake (https://twitter.com/So8res/status/1402889976438611968), but still seemed to think his shitposting was based
+I didn't take that too well, and threw an eleven-Tweet tantrum. I somewhat regret this. My social behavior during this entire episode was histrionic, and I probably could have gotten an equal-or-better outcome if I had kept my cool. The reason I didn't want to keep my cool was because after years of fighting this Category War, MIRI doubling down on "dolphins are fish" felt like a gratuitous insult. I was used to "rationalist" leaders ever-so-humbly claiming to be open to arguments that they were making a mistake, but I couldn't take such assurances seriously if they were going to keep sending PageRank-like credibility to "... Not Man for the Categories".
 
- * I got frustrated and lashed out; "open to arguments that he was making a mistake" felt fake to me; rats are good at paying lip service to humility, but I'd lost faith in getting them to change their behavior, like not sending PageRank to "... Not Man for the Categories"
+Soares wrote a longer comment on _Less Wrong_ the next morning, and I [pointed out that](https://www.greaterwrong.com/posts/aJnaMv8pFQAfi9jBm/reply-to-nate-soares-on-dolphins/comment/BBtSuWcdaFyvgddE4) Soares's followup thread had lamented ["the fact that nobody's read A Human's Guide to Words or w/​e"](https://twitter.com/So8res/status/1401761130041659395), but—with respect—he wasn't behaving like _he_ had read it. Specifically, [#30](https://www.greaterwrong.com/posts/d5NyJ2Lf6N22AD9PB/where-to-draw-the-boundary) on the list of ["37 Ways Words Can Be Wrong"](https://www.greaterwrong.com/posts/FaJaCgqBKphrDzDSj/37-ways-that-words-can-be-wrong) had characterized the position that dolphins are fish as "playing nitwit games". This didn't seem controversial at the time in 2008.
 
- * Nate wrote a longer reply on Less Wrong the next morning
+And yet it would seem that sometime between 2008 and the current year, the "rationalist" party line (as observed in the public statements of SingInst/​MIRI leadership) on whether dolphins are fish shifted from (my paraphrases) "No; _despite_ the surface similarities, that categorization doesn't carve reality at the joints; stop playing nitwit games" to "Yes, _because_ of the surface similarities; those who contend otherwise are the ones playing nitwit games." A complete 180° reversal, on this specific example! Why? What changed?
 
- * I pointed out that his followup thread lamented that people hadn't read "A Human's Guide to Words", but that Sequence _specifically_ used the example of dolphins. What changed?!?
+It would make sense if people's opinions changed due to new arguments. (Indeed, Yudkowsky's original "stop playing nitwit games" dismissal had been sloppy, and I had had occasion in ["Where to Draw the Boundaries?"](https://www.lesswrong.com/posts/esRZaPXSHgWzyB2NL/where-to-draw-the-boundaries) to explain the specific senses in which dolphins both do and do not cluster with fish.)
 
- * [Summarize Nate's account of his story], phylogeny not having the courage of its convictions
+But when people change their mind due to new arguments, you'd expect them to acknowledge the change, and explain how the new arguments show that why they thought before was actually wrong. Soares hadn't even acknowledged the change!
 
- * Twitter exchange where he said he wasn't sure I would count his self-report as evidnece, I said it totally counts
+Soares wrote [a comment explaining](https://www.greaterwrong.com/posts/aJnaMv8pFQAfi9jBm/reply-to-nate-soares-on-dolphins/comment/HwSkiN62QeuEtGWpN) why he didn't think it was such a large reversal. I [started drafting a counterreply](/ancillary/dolphin-war/), but decided that it would need to become a full post on the timescale of days or weeks, partially because I needed to think through how to reply to Soares about paraphyletic groups, and partially because the way the associated Twitter discussion had gone (including some tussling with Yudkowsky) made me want to modulate my tone. (I noted that I had probably lost some in-group credibility in the Twitter fight, but the information gained seemed more valuable. Losing in-group credibility didn't hurt so much when I didn't respect the group anymore.)
 
- * I overheated. This was an objectively dumb play. (If I had cooled down and just written up my reply, I might have gotten real engagement and a resolution, but I blew it.) I apologized a few days later.
+I was feeling some subjective time pressure on my reply, and in the meantime, I ended up adding [a histrionic comment](https://www.greaterwrong.com/posts/aJnaMv8pFQAfi9jBm/reply-to-nate-soares-on-dolphins/comment/rMHcWfqkH89LWt4y9) to the _Less Wrong_ thread taking issue with Soares's still-flippant tone. That was a terrible performance on my part. (It got downvoted to oblivion, and I deserved it.)
 
- * Nate's reaction to me blowing up said it looked like I was expecting deference. I deny this; I wouldn't expect people to defer to me—what I did expect was a fair hearing, and at this point, I had lost faith that I would get one. (Could you blame me, when Yudkowsky says a fair hearing is less important than agreeing with Stalin?)
+Soares [wrote that](https://www.greaterwrong.com/posts/aJnaMv8pFQAfi9jBm/reply-to-nate-soares-on-dolphins/comment/8nmjnrm4cwgCCyYrG) I was persistently mis-modeling his intentions, that I seemed to be making a plea for deference that he rejected.
 
- * My theory of what's going on: I totally believe Nate's self report that he wasn't thinking about gender. (As Nate pointed out, you could give the thread an anti-trans interpretation, too.) Nevertheless, it remains the case that Nate's thinking is causally downstream of Scott's arguments in "... Not Man for the Categories." Where did Scott get it from? I think he pulled it out of his ass because it was politically convenient. 
+I don't think I wanted deference. I write these thousands of words in the hopes that people will read my arguments and think it through for themselves; I would never expect anyone to take my word for the conclusion. What I was hoping for was a fair hearing, and by that point, I had lost hope of getting one.
 
- * This is like radiocontrast dye for dark side epistemology: we can see Scott sneezing his bad epistemology onto everyone else because he's such a popular writer. No one can think fast enough to think their own thoughts, but you would hope for an intellectual community that can do error-correction, rather than copying smart people's views including mistakes.
+As for my skill at modeling intent, I think it's less relevant than Soares seemed to think (if I don't err in attributing to him the belief that modeling intent is important). I believe Soares's self-report that he wasn't trying to make a coded statement about gender; my initial impression otherwise _was_ miscalibrated. (As Soares pointed out, his "dolphins are fish" position could be given an "anti-trans" interpretation, too, in the form of "you intellectuals get your hands off my intuitive concepts". The association between "dolphins are fish" and "trans women are women" ran through their conjunction in Alexander's "... Not Man for the Categories", rather than being intrinsic to the beliefs themselves.)
 
- * I look up the relevant phylogenetics definitions, and write "Blood Is Thicker Than Water"
-]
+The thing is, I was _right_ to notice the similarity between Soares's argument and "... Not Man for the Categories." Soares's [own account](https://www.greaterwrong.com/posts/aJnaMv8pFQAfi9jBm/reply-to-nate-soares-on-dolphins/comment/HwSkiN62QeuEtGWpN) agreed that there was a causal influence. Okay, so _Nate_ wasn't trying to play gender politics; Scott just alerted him to the idea that people didn't used to be interested in drawing their categories around phylogenetics, and Nate ran with that thought.
+
+So where did _Scott_ get it from?
+
+I think he pulled it out of his ass because it was politically convenient. I think if you asked Scott Alexander whether dolphins are fish in 2012, he would have said, "No, they're mammals," like any other educated adult.
+
+In a world where the clock of "political time" had run a little bit slower, such that the fight for gay marriage had taken longer [such that the progressive _zeitgeist_ hadn't pivoted to trans as the new cause _du jour_](/2019/Aug/the-social-construction-of-reality-and-the-sheer-goddamned-pointlessness-of-reason/), I don't think Alexander would have had the occasion to write "... Not Man for the Categories." And in that world, I don't think "Dolphins are fish, fight me" or "Acknowledge that all of our categories are weird and a little arbitrary" would have become _memes_ in our subculture.
+
+This case is like [radiocontrast dye](https://en.wikipedia.org/wiki/Radiocontrast_agent) for [dark side epistemology](https://www.lesswrong.com/posts/XTWkjCJScy2GFAgDt/dark-side-epistemology). Because Scott Alexander won [the talent lottery](https://slatestarcodex.com/2015/01/31/the-parable-of-the-talents/) and writes faster than everyone else, he has the power to _sneeze his mistakes_ onto everyone who trusts Scott to have done his homework, even when he obviously hasn't.
+
+[No one can think fast enough to think all their own thoughts.](https://www.lesswrong.com/posts/2MD3NMLBPCqPfnfre/cached-thoughts), but you would hope for an intellectual community that can do error-correction, rather than copying smart people's views including mistakes?
+
+To be sure, it's true that there's a cluster of similarities induced by adaptations to the acquatic environment. It's reasonable to want to talk about that subspace. But it doesn't follow that phylogenetics is irrelevant.
+
+Genetics is at the root of the causal graph of all other traits of an organism, which induces the kind of conditional independence relationships that make "categories" a useful AI trick.
+
+But in a world where more people are reading "... Not Man for the Categories" than ["Mutual Information, and Density in Thingspace"](https://www.lesswrong.com/posts/yLcuygFfMfrfK8KjF/mutual-information-and-density-in-thingspace), and even the people who have read "Density in Thingspace" (once, ten years ago) are having most of their conversations with people who only read "... Not Man for the Categories"—what happens is that you end up with a so-called "rationalist" culture that completely forgot the hidden-Bayesian-structure-of-cognition/carve-reality-at-the-joints skill! People only remember the specific subset of "A Human's Guide to Words" that's useful for believing whatever you want (by cherry-picking the features you need to include in category Y to make your favorite "X is a Y" sentence look "true", which is easy for intricate high-dimensional things like biological creatures that have a lot of similarities to cherry-pick from), rather than the part about the conditional independence structure in the environment.
+
+After I cooled down, I did eventually write up the explanation for why paraphyletic categories are okay, in ["Blood Is Thicker Than Water"](https://www.lesswrong.com/posts/vhp2sW6iBhNJwqcwP/blood-is-thicker-than-water). But I'm not sure that anyone cared.
+
+--------
 
 [TODO: