content/drafts/i-tell-myself-to-let-the-story-end-or-a-hill-of-validity-in-defense-of-meaning.md

   1 Title: "I Tell Myself to Let the Story End"; Or, A Hill of Validity in Defense of Meaning
   2 Date: 2020-01-01
   3 Category: other
   4 Tags: categorization, personal, my robot cult
   5 Status: draft
   6
   7 > _And I tell myself to let the story end
   8 > And my heart will rest in someone else's hand
   9 > My 'why not me?' philosophy began
  10 > And I say
  11 > Ooh, how'm I gonna get over you?
  12 > I'll be alright, just not tonight
  13 > But someday_
  14 >
  15 > —Sara Barellies, ["Gonna Get Over You"](https://genius.com/Sara-bareilles-gonna-get-over-you-lyrics)
  16
  17 I haven't been doing so well for a lot of the last ... um, year. I mean, I've always been a high-neuroticism person, but this has probably been a below-average year even by my standards, with hours of lost sleep, occasional crying bouts, _many, many_ hours of obsessive ruminating-while-pacing instead of doing my dayjob, and too long with a Sara Barellies song on loop to numb the pain. I've been reluctant to write about it in too much detail for poorly-understood psychological reasons. Maybe it would feel too much like attacking my friends?
  18
  19 But this blog is not about _not_ attacking my friends. This blog is about the truth. For my own sanity, for my own emotional closure, I need to tell the story as best I can. If it's an _incredibly boring and petty_ story about me getting _unreasonably angry_ about philosophy-of-language minutiæ, well, you've been warned. If the story makes me look bad in the reader's eyes (because you think I'm crazy for getting so unreasonably angry about philosophy-of-language minutiæ), then I shall be happy to look bad for _what I actually am_. (If _telling the truth_ about what I've been obsessively preoccupied with all year makes you dislike me, then you probably _should_ dislike me. If you were to approve of me on the basis of _factually inaccurate beliefs_, then the thing of which you approve, wouldn't be _me_.)
  20
  21 So, I've spent basically my entire adult life in this insular little intellectual subculture that was founded in the late 'aughts on an ideal of _systematically correct reasoning_. Starting with the shared canon of knowledge of [cognitive biases](https://www.lesswrong.com/posts/jnZbHi873v9vcpGpZ/what-s-a-bias-again), [reflectivity](https://www.lesswrong.com/posts/TynBiYt6zg42StRbb/my-kind-of-reflection), and [Bayesian probability theory](http://yudkowsky.net/rational/technical/) bequeathed to us by our founder, _we_ were going to make serious [collective](https://www.lesswrong.com/posts/XqmjdBKa4ZaXJtNmf/raising-the-sanity-waterline) [intellectual progress](https://www.lesswrong.com/posts/Nu3wa6npK4Ry66vFp/a-sense-that-more-is-possible) in a way that had [never been done before](https://slatestarcodex.com/2017/04/07/yes-we-have-noticed-the-skulls/)—and [not just out of a duty towards some philosophical ideal of Truth](https://www.lesswrong.com/posts/XqvnWFtRD2keJdwjX/the-useful-idea-of-truth), but as a result of _understanding how intelligence works_—[the reduction of "thought"](https://www.lesswrong.com/posts/p7ftQ6acRkgo6hqHb/dreams-of-ai-design) to [_cognitive algorithms_](https://www.lesswrong.com/posts/HcCpvYLoSFP4iAqSz/rationality-appreciating-cognitive-algorithms). Intelligent systems that construct predictive models of the world around them—that have "true" "beliefs"—can _use_ those models to compute which actions will best achieve their goals.
  22
  23 Oh, and there was also [this part about](https://intelligence.org/files/AIPosNegFactor.pdf) how [the entire future of humanity and the universe depended on](https://www.lesswrong.com/posts/GNnHHmm8EzePmKzPk/value-is-fragile) our figuring out how to reflect human values in a recursively self-improving artificial superintelligence. That part's complicated.
  24
  25 I guess I feel pretty naïve now, but—I _actually believed our own propoganda_. I _actually thought_ we were doing something new and special of historical and possibly even _cosmological_ significance.
  26
  27 This does not seem remotely credible to me any more. I should explain. _Not_ because I expect anyone to actually read this melodramatic might-as-well-be-a-Diary-entry, much less change their mind about anything because of it. I should explain for my own mental health. _The pain won't go away until I write about it._ (And if you should prefer to model the pain as having been manufactured by the [elephant in my brain](http://elephantinthebrain.com/) as a game-theoretic precommitment to force conscious-me to write in the face of social incentives that would otherwise make silence feel safer, you should know that only real pain is a credible threat.) The sooner I manage to get the Whole Dumb Story _written down_, the sooner I can stop grieving and _move on with my life_. (However many decades that turns out to be. The part about superintelligence eventually destroying the world still seems right; it's just the part about there existing a systematically-correct-reasoning community poised to help save it that seems fake now.)
  28
  29 I fear the explanation requires some personal backstory about me. I ... almost don't want to tell the backstory, because the thing I've been upset about all year is that I thought a systematically-correct-reasoning community worthy of the brand name should be able to correct a _trivial_ philosophy-of-language error which has nothing to do with me, and it was pretty frustrating when some people seemed to ignore the literal content of my careful very narrowly-scoped knockdown philosophy-of-language argument, and dismiss me with, "Oh, you're just upset about your personal thing (which doesn't matter)." So part of me is afraid that such a person reading the parts of this post that are about the ways in which I _am_, in fact, _really upset_ about my personal thing (which I _don't_ expect anyone else to care about), might take it as vindication that they were correct to be dismissive of my explicit philosophical arguments (which I _did_ expect others to take seriously).
  30
  31 But I shouldn't let that worry control what I write in _this_ post, because _this_ post isn't about making arguments that might convince anyone of anything: I _already_ made my arguments, and it _mostly didn't work_. _This_ post is about telling the story about that, so that I can finish grieving for the systematically-correct-reasoning community that I _thought_ I had, and make peace with the world I _actually_ live in.
  32
  33 So, some backstory about me. Ever since I was thirteen years old—
  34
  35 (and I _really_ didn't expect to be blogging about this eighteen years later)
  36
  37 (I _still_ don't want to be blogging about this, but it actually turns out to be relevant to the story about trying to correct a philosophy-of-language mistake)
  38
  39 —my _favorite_—and basically only—masturbation fantasy has always been some variation on me getting magically transformed into a woman. I ... need to write more about the phenomenology of this, some time. I don't think the details are that important here? Maybe read the ["Man, I Feel Like a Woman" TV Tropes page](https://tvtropes.org/pmwiki/pmwiki.php/Main/ManIFeelLikeAWoman) and consider that the page wouldn't have so many entries if some male writers didn't have a reason to be _extremely interested_ in _that particular fantasy scenario_.
  40
  41 So, there was that erotic thing, which I was pretty ashamed of at the time, and _of course_ knew that I must never tell a single soul about. (It would have been about three years since the fantasy started that I even worked up the bravery to tell my Diary about it, in the addendum to entry number 53 on 8 March 2005.)
  42
  43 But within a couple years, I also developed this beautiful pure sacred self-identity thing, where I was also having a lot of non-sexual thoughts about being a girl. Just—little day-to-day thoughts. Like when I would write in my pocket notebook as my female analogue. Or when I would practice swirling the descenders on all the lowercase letters that had descenders [(_g_, _j_, _p_, _y_, _z_)](/images/handwritten_phrase_jazzy_puppy.jpg) because I thought my handwriting look more feminine. [TODO: another anecdote, clarify notebook]
  44
  45 The beautiful pure sacred self-identity thing doesn't _feel_ explicitly erotic.
  46
  47 [section: some sort of causal relationship between self-identity and erotic thing, but I assumed it was just my weird thing, not "trans", which I had heard of; never had any reason to formulate the hypothesis, "dysphoria"]
  48
  49 [section: another thing about me: my psychological sex differences denialism]
  50
  51 [section: Overcoming Bias rewrites my personality over the internet; gradually getting over sex differences denialism: my reactions to "Failed Utopia 4-2" and "Changing Emotions"]
  52
  53 [section: moving to Berkeley, realized that my thing wasn't different; seemed like something that a systematically-correct-reasoning community would be interested in getting right (maybe the 30% of the ones with penises are actually women thing does fit here after all? (I was going to omit it)]
  54
  55 [section: had a lot of private conversations with people, and they weren't converging with me]
  56
  57 [section: flipped out on Facebook; those discussions ended up containing a lot of appeal-to-arbitrariness conversation halters, appeal to "Categories Were Made"]
  58
  59 [...]
  60
  61 So, I think this is a bad argument. But specifically, it's a bad argument for _completely general reasons that have nothing to do with gender_. And more specifically, completely general reasons that have been explained in exhaustive, _exhaustive_ detail in _our own foundational texts_.
  62
  63 In 2008, the Great Teacher had this really amazing series of posts explaining the hidden probability-theoretic structure of language and cognition. Essentially, explaining _natural language as an AI capability_. What your brain is doing when you [see a tiger and say, "Yikes! A tiger!"](https://www.lesswrong.com/posts/dMCFk2n2ur8n62hqB/feel-the-meaning) is governed the [simple math](https://www.lesswrong.com/posts/HnPEpu5eQWkbyAJCT/the-simple-math-of-everything) by which intelligent systems make observations, use those observations to assign category-membership, and use category-membership to make predictions about properties which have not yet been observed. _Words_, language, are an information-theoretically efficient _code_ for such systems to share cognitive content.
  64
  65 And these posts hammered home the point over and over and over and _over_ again—culminating in [the 37-part grand moral](https://www.lesswrong.com/posts/FaJaCgqBKphrDzDSj/37-ways-that-words-can-be-wrong)—that word and category definitions are _not_ arbitrary, because there are optimality criteria that make some definitions _perform better_ than others as "cognitive technology"—
  66
  67 > ["It is a common misconception that you can define a word any way you like. [...] If you believe that you can 'define a word any way you like', without realizing that your brain goes on categorizing without your conscious oversight, then you won't take the effort to choose your definitions wisely."](https://www.lesswrong.com/posts/3nxs2WYDGzJbzcLMp/words-as-hidden-inferences)
  68
  69 > ["So that's another reason you can't 'define a word any way you like': You can't directly program concepts into someone else's brain."](https://www.lesswrong.com/posts/HsznWM9A7NiuGsp28/extensions-and-intensions)
  70
  71 > ["When you take into account the way the human mind actually, pragmatically works, the notion 'I can define a word any way I like' soon becomes 'I can believe anything I want about a fixed set of objects' or 'I can move any object I want in or out of a fixed membership test'."](https://www.lesswrong.com/posts/HsznWM9A7NiuGsp28/extensions-and-intensions)
  72
  73 > ["There's an idea, which you may have noticed I hate, that 'you can define a word any way you like'."](https://www.lesswrong.com/posts/i2dfY65JciebF3CAo/empty-labels)
  74
  75 > ["And of course you cannot solve a scientific challenge by appealing to dictionaries, nor master a complex skill of inquiry by saying 'I can define a word any way I like'."](https://www.lesswrong.com/posts/y5MxoeacRKKM3KQth/fallacies-of-compression)
  76
  77 > ["Categories are not static things in the context of a human brain; as soon as you actually think of them, they exert force on your mind. One more reason not to believe you can define a word any way you like."](https://www.lesswrong.com/posts/veN86cBhoe7mBxXLk/categorizing-has-consequences)
  78
  79 > ["And people are lazy.  They'd rather argue 'by definition', especially since they think 'you can define a word any way you like'."](https://www.lesswrong.com/posts/yuKaWPRTxZoov4z8K/sneaking-in-connotations)
  80
  81 > ["And this suggests another—yes, yet another—reason to be suspicious of the claim that 'you can define a word any way you like'.  When you consider the superexponential size of Conceptspace, it becomes clear that singling out one particular concept for consideration is an act of no small audacity—not just for us, but for any mind of bounded computing power."](https://www.lesswrong.com/posts/82eMd5KLiJ5Z6rTrr/superexponential-conceptspace-and-simple-words)
  82
  83 > ["I say all this, because the idea that 'You can X any way you like' is a huge obstacle to learning how to X wisely. 'It's a free country; I have a right to my own opinion' obstructs the art of finding truth. 'I can define a word any way I like' obstructs the art of carving reality at its joints. And even the sensible-sounding 'The labels we attach to words are arbitrary' obstructs awareness of compactness."](https://www.lesswrong.com/posts/soQX8yXLbKy7cFvy8/entropy-and-short-codes)
  84
  85 > ["One may even consider the act of defining a word as a promise to \[the\] effect [...] \[that the definition\] will somehow help you make inferences / shorten your messages."](https://www.lesswrong.com/posts/yLcuygFfMfrfK8KjF/mutual-information-and-density-in-thingspace)
  86
  87 Similarly, the Popular Author himself has written extensively about [the noncentral fallacy](https://www.lesswrong.com/posts/yCWPkLi8wJvewPbEp/the-noncentral-fallacy-the-worst-argument-in-the-world), which he called _the worst argument in the world_:
  88
  89 [...]
  90
  91 You see the problem. If "You can't define a word any way you want" is a good philosophy lesson, it should be a good philosophy lesson _independently_ of the particular word in question and _independently_ of the current year. If we've _learned something new_ about the philosophy of language in the last ten years, that's _really interesting_ and I want to know what it is!
  92
  93 This is _basic shit_. As we say locally, this is _basic Sequences shit_.
  94
  95 [...]
  96
  97 [section: started a pseudonymous secret blog; one of the things I focused on was the philosophy-of-language thing, because that seemed _really_ nailed down: "...To Make Predictions", "Reply on Adult Human Females". And that was going OK ...]
  98
  99 [section: hill of meaning in defense of validity, and I _flipped the fuck out_]
 100
 101 [...]
 102
 103 A friend tells me that I'm delusional to expect so much from "the community", that the original vision _never_ included tackling politically sensitive subjects. (I remember this friend recommending Paul Graham's ["What You Can't Say"](http://www.paulgraham.com/say.html) back in 'aught-nine, with the suggestion to take Graham's advice to figure out what you can't say, and then _don't say it_.)
 104
 105 Perhaps so. But back in 2009, we did not anticipate that _whether or not I should cut my dick off_ would _become_ a politicized issue.
 106
 107 To be fair, it's not obvious that I _shouldn't_ cut my dick off! A lot of people seem to be doing it nowadays, and a lot of them seem pretty happy. But in order to _decide_ whether to join them, I need _accurate information_. I need an _honest_ accounting of the costs and benefits of transition, so that I can cut my dick off in the possible worlds where that's a good idea, and not cut my dick off in the possible worlds where it's not a good idea.
 108
 109 And if the community whose marketing literature says they're all about systematically correct reasoning, is not only not going to be helpful at producing accurate information, but is furthermore going _actively manufacture fake rationality lessons_ that have been optimized to _confuse me into cutting my dick off_ independently of the empirical facts that determine whether or not we live in one of the possible worlds where cutting my dick off is a good idea, then that community is _fraudulent_. It needs to either _rebrand_—or failing that, _disband_—or failing that, _be destroyed_.
 110
 111 [section: the community is politically constrained]
 112
 113 [section: "Against Lie Inflation" (and less violently https://www.lesswrong.com/posts/tSemJckYr29Gnxod2/building-intuitions-on-non-empirical-arguments-in-science ) made me scream in fury, because]
 114
 115 [section: the success of "Heads I Win" made me feel better; interesting how re-shared de-emphasized the political aspect]