check in
[Ultimately_Untrue_Thought.git] / notes / memoir-sections.md
index a24738d..a2831d1 100644 (file)
@@ -1,40 +1,6 @@
-first edit pass bookmark: "I got a chance to talk to"
-
-time-sensitive globals TODOs—
-✓ address red team objections to pt. 3
-✓ schedule Friendship Day at Valinor
-✓ apply pro edits to pt. 3
-✓ address auto edit tier to pt. 3
-✓ clear with Alicorn
-✓ fill in needed pt. 4 sections
-✓ send pt. 4 to editors
-✓ clear with Kelsey
-✓ rephrase "everyone-yelling operation" in pt. 5
-✓ clear with Michael/Ben/Jessica
-✓ Kelsey won't elaborate on statutes of limitations
-✓ clear with Steven
-✓ finish and ship "Hrunkner Unnerby"
-✓ revise FTX footnote
-✓ clear with Ray
-✓ finish and ship "Reply to Scott on Autogenderphilia"
-
-- revise gender section
-- consult Anna
-- consult Said
-- clear with Ruby
-_ clear with Mike
-
-
-_ SHIP PT. 3!!
-
-
-------------
-
+_ comment to lc
+_ bully Jeff Ladish
 _ finish pt. 5
-
-_ apply red team pt. 4
-_ apply pro edit pt. 4
-
 _ address auto edit tier to pt. 5
 _ solicit red team pt. 5
 _ solicit pro edit pt. 5
@@ -43,72 +9,9 @@ _ apply pro edit pt. 5
 
 ✓ consult Tail
 
-_ bully Jeff Ladish
-_ #drama strategy session
-
-_ Manifold: Will Yudkowsky reply to "Agreeing With Stalin in Ways That Exhibit Generally Rationalist Principles" in a way that a 2008 Overcoming Bias reader would consider non-evasive, as judged by Vaniver?
-
-_ ask Jimrandomh about attack times
-_ consult lc
 _ consult David Xu
 _ psychiatric disaster private doc
 
-
-pt. 3 edit tier (auto edition)—
-✓ FTX aside footnote version
-✓ revert alphabet names (from 17638259f20)
-✓ narcissistic delusions
-✓ clarify that cheerful price history is with Anna specifically
-✓ screenshot "pleading, snarky reply"
-✓ GreaterWrong over Less Wrong for comment links
-✓ return on cognitive investment
-✓ establish usage of "coordination group" vs. "posse" (posse)
-✓ do I have a better identifier than "Vassarite"
-✓ log2 with an 'o'
-✓ yank note about LW comment policy to top-level
-✓ "Common Interest of Many Causes" and "Kolmogorov Complicity" offer directly contradictory strategies
-✓ re-check wording of trans-kids-on-the-margin section
-_ briefly speculate on causes of brain damage in footnote?
-_ "consensus behavior" anti-school complaint could be stronger
--------
-_ Ruby fight included ban threat, "forces of blandness want me gone ... stand my ground" remark
-_ breakup song
-_ being friends with dogs (it's good, but do I have the wordcount budget?)
-_ mention that I was miffed about "Boundaries?" not getting Curated, while one of Euk's animal posts did
-_ explicitly mention http://benjaminrosshoffman.com/bad-faith-behavior-not-feeling/
-_ meeting with Ray (maybe?)
-_ mention Said rigor check somewhere, nervousness about Michael's gang being a mini-egregore
-_ I should respond to Ziz's charges that my criticism of concept-policing was a form of concept-policing
-_ Anna's claim that Scott was a target specifically because he was good, my counterclaim that payment can't be impunity
-_ maybe I do want to fill in a few more details about the Sasha disaster, conditional on what I end up writing regarding Scott's prosecution?—and conditional on my separate retro email—also the Zolpidem thing
-_ the "reducing negativity" post does obliquely hint at the regression point being general
-_ link to protest flyer
-_ "it was the same thing here"—most readers are not going to see an obvious analogy (editor might catch?)
-_ better explanation of MOPs in "Social Reality" scuffle (editor might catch?)
-_ better context on "scam" &c. earlier (editor might catch?)
-_ cut words from descriptions of other posts! (editor might catch?)
-_ try to clarify Abram's categories view (Michael didn't get it) (but it still seems clear to me on re-read?)
-
-
-pt. 4 edit tier—
-✓ "Ideology Is Not the Movement" mentions not misgendering
-✓ mention Nick Bostrom email scandal (and his not appearing on the one-sentence CAIS statement)
-✓ explain why he could think of some relevant differences
-✓ rephrase "gamete size" discussion to make it clearer that Yudkowsky's proposal also implicitly requires people to be agree about the clustering thing
-✓ honesty and humility, HEXACO
-✓ GreaterWrong over Less Wrong for comment links
-✓ ending qualifications on "fraud" and whether it might be a good idea
-✓ selective argumentation that's clearly labeled as such would be fine
-✓ if you only say good things about Republican candidates
-✓ he used to be worthy of trust
----
-_ the mailing list post noted it as a "common sexual fantasy"
-_ Sept. 2020 clarification noted that a distinction should be made between
-_ emphasize that 2018 thread was policing TERF-like pronoun usage, not just disapproving of gender-based pronouns
-_ https://cognition.cafe/p/on-lies-and-liars
-_ cite more sneers; use a footnote to pack in as many as possible
-
-
 pt. 5 edit tier—
 ✓ sucking Scott's dick is helpful because he's now the main gateway instead of HPMOR
 _ Previously-on summary
@@ -1425,9 +1328,14 @@ Still citing it (19 Sep 22): https://twitter.com/ingalala/status/156839169106472
 https://arbital.greaterwrong.com/p/logical_dt/?l=5gc
 It even leaked into Big Yud!!! "Counterfactuals were made for humanity, not humanity for counterfactuals."
 
+Still citing it (13 Feb 24): https://www.lesswrong.com/posts/kSq5qiafd6SqQoJWv/technologies-and-terminology-ai-isn-t-software-it-s-deepware
+
+Still citing it (22 Feb 24): https://twitter.com/mlbaggins/status/1760710932047577282
+
 At least I don't have to link the rebuttal myself every time:
 https://www.datasecretslox.com/index.php/topic,1553.msg38755.html
 https://old.reddit.com/r/slatestarcodex/comments/10vx6gk/the_categories_were_made_for_man_not_man_for_the/j7k8fjc/
+https://twitter.com/niplav_site/status/1744304380503904616
 
 ------
 
@@ -1645,6 +1553,8 @@ Arthur Schopenhauer's Die Kunst, Recht zu behalten https://wiki.obormot.net/Arch
 > If human nature were not base, but thoroughly honourable, we should in every debate have no other aim than the discovery of truth; we should not in the least care whether the truth proved to be in favour of the opinion which we had begun by expressing, or of the opinion of our adversary.
 https://www.greaterwrong.com/posts/ExssKjAaXEEYcnzPd/conversational-cultures-combat-vs-nurture-v2/comment/4qJk3BZ2oQtFskYLh
 
+William Clifford on "The Ethics of Belief": https://statmodeling.stat.columbia.edu/wp-content/uploads/2023/12/Clifford_ethics.pdf
+
 -----
 
 I shall be happy to look bad for _what I actually am_. (If _telling the truth_ about what I've been obsessively preoccupied with all year makes you dislike me, then you probably _should_ dislike me. If you were to approve of me on the basis of _factually inaccurate beliefs_, then the thing of which you approve, wouldn't be _me_.)
@@ -2134,6 +2044,7 @@ https://www.greaterwrong.com/posts/QZs4vkC7cbyjL9XA9/changing-emotions/comment/p
 https://www.greaterwrong.com/posts/WijMw9WkcafmCFgj4/do-scientists-already-know-this-stuff/comment/EFg4p7KRbthgH3SnR
 https://www.greaterwrong.com/posts/r5H6YCmnn8DMtBtxt/you-are-a-brain/comment/CsqYAeCPnsAsdQb7d
 https://www.greaterwrong.com/posts/QB9eXzzQWBhq9YuB8/rationalizing-and-sitting-bolt-upright-in-alarm/comment/2FfTFrA7iKK6kxqMq
+https://www.greaterwrong.com/posts/8yCXeafJo67tYe5L4/and-all-the-shoggoths-merely-players/comment/AsedCtPfKAef7DdHw
 
 I should have said: _You_ are a product of your time. _Eliezer_ has no integrity. Or rather, he's forgotten that you can't define the word "integrity" any way you want.
 
@@ -2770,9 +2681,6 @@ Scott on puberty blockers, dreadful: https://astralcodexten.substack.com/p/highl
 
 https://jdpressman.com/2023/08/28/agi-ruin-and-the-road-to-iconoclasm.html
 
-https://www.lesswrong.com/posts/BahoNzY2pzSeM2Dtk/beware-of-stephen-j-gould
-> there comes a point in self-deception where it becomes morally indistinguishable from lying.  Consistently self-serving scientific "error", in the face of repeated correction and without informing others of the criticism, blends over into scientific fraud.
-
 https://time.com/collection/time100-ai/6309037/eliezer-yudkowsky/
 > "I expected to be a tiny voice shouting into the void, and people listened instead. So I doubled down on that."
 
@@ -2867,3 +2775,137 @@ The man rewrote had rewritten my personality over the internet. Everything I do,
 -----
 
 https://forum.effectivealtruism.org/posts/kuqgJDPF6nfscSZsZ/thread-for-discussing-bostrom-s-email-and-apology?commentId=Z7kyiPAfmtztueFFJ
+
+----
+
+"there just wasn't any reliable similarity between biology and AI" is an interesting contrast with the constant use of the evolution analogy despite credible challenges
+https://twitter.com/ESYudkowsky/status/1738464784931025333
+
+-----
+
+What if, in addition to physical punishments and Detect Thoughts, Cheliax also had Adjust Thoughts, a "gradient descent for the brain" spell (given a desired behavior, nudge the spell target's psychology to be more likely to emit that behavior)? Does Carissa still have a winning strategy? Assume whatever implementation details make for a good story. (Maybe Cheliax is reluctant to use Adjust Thoughts too much because Asmodeus wants authentic tyrannized humans, and the Adjust Thoughts sculpting makes them less tyrannized?)
+
+> One thing is sure, the path that leads to sanity and survival doesn't start with lies or with reasoning by Appeal to (Internal) Consequences.
+https://twitter.com/ESYudkowsky/status/1743522277835333865
+
+> To clarify a possibly misunderstood point:  On my model, dath ilan's institutions only work because they're inhabited by dath ilani.  Dath ilani invent good institutions even if they grow up in Earth; Governance on Earth lasts three days before Earth voters screw it up.
+https://twitter.com/ESYudkowsky/status/1565516610286211072
+
+July 2023
+https://twitter.com/pawnofcthulhu/status/1680840089285582848
+> man i feel like the orthodox viewpoint on this has moved on from "let's define trans women as women" to like
+> "arguing about metaphysics is boring; letting people chose pronouns as part of self-expression seems like a thing a free society should allow for the same reason we should let people choose clothes; for many social purposes trans women are in fact empirically women"
+
+(If your "moderately serious" plan for survival is ["AI research journals banned, people violating that ban hunted down with partial effectiveness"](https://twitter.com/ESYudkowsky/status/1739705063768232070), that might be your least-bad option as a consequentialist, but one of the things your consequentialist calculation should take into account is that you've declared war on people who want to do AI science on Earth.)
+
+public intellectual death
+https://scholars-stage.org/public-intellectuals-have-short-shelf-lives-but-why/
+
+> "Racism" is so commonly used weirdly that I think there are few circumstances left where I'd try to use the word to communicate.  Instead I'd say, "X seems to be judging people negatively in a hard-to-shake-off way based on their skin color."
+https://twitter.com/ESYudkowsky/status/1755624226550387013
+
+> "Study science, not just me!" is probably the most important piece of advice Ayn Rand should've given her followers and didn't.  There's no one human being who ever lived, whose shoulders were broad enough to bear all the weight of a true science with many contributors.
+https://www.lesswrong.com/posts/96TBXaHwLbFyeAxrg/guardians-of-ayn-rand
+
+He's still dunking instead of engaging—
+https://twitter.com/ESYudkowsky/status/1760701916739194949
+> Every time I've raised an inscrutable alien baby to hyperintelligence by giving it shots of heroin whenever it correctly predicts the exact next word spoken by fictional good characters, it's learned to be a genuinely good person inside!
+
+
+-----
+
+> I recently advised somebody to distinguish firmly in her mind between "X is actually true" and "X is the politic thing to say"; I advised drawing a great line and the creation of separate mental buckets.  The words you write, taken at face value, seem to be missing some...
+
+https://twitter.com/ESYudkowsky/status/1356493665988829186
+> ...similar distinctions.  There's a distinction between honesty in the form of blurting out the whole truth, and honesty in the form of not uttering lies, and a related thing that's not making public confusions *worse* even if you aren't trying to unravel them.  There's...
+
+https://twitter.com/ESYudkowsky/status/1356493883094441984
+> ...being honest in the privacy of your own mind, and being honest with your friends, and being honest in public on the Internet, and even if these things are not perfectly uncorrelated, they are also not the same.  Seeking truth is the first one.  It's strange and disingenuous...
+
+https://twitter.com/ESYudkowsky/status/1356494097511370752
+> ...to pretend that the master truthseekers of any age of history, must all have been blurting out everything they knew in public, at all times, on pain of not possibly being able to retain their Art otherwise.  I doubt Richard Feynman was like that.  More likely is that, say, ...
+
+https://twitter.com/ESYudkowsky/status/1356494399945854976
+> ...he tried to avoid telling outright lies or making public confusions worse, but mainly got by on having a much-sharper-than-average dividing line in his mine between peer pressure against saying something, and that thing being *false*.  That's definitely most of how I do it.
+
+-----
+
+https://twitter.com/ESYudkowsky/status/1076155800144363520
+> I got a lot further as an adolescent on "Ask what a superintelligence would think".  Eventually I used that up and have now moved on to "What would Anna Salamon think?"
+
+https://twitter.com/patio11/status/1766115590429618347
+> Please note that this is extremely, extremely true, and if you follow that to its logical conclusion, certain blogs are on the org chart of e.g. the U.S. in the same haha but absolutely serious way the NYT editorial page is.
+(quote-Tweeting someone noting Demis Hassabis linking to Slate Star Codex)
+
+----
+
+https://twitter.com/ESYudkowsky/status/1766144388890243108
+> Some social media company finally went and added easy phone calls to Congress.  Personally, I was a little "how noneliezeran!" that Google didn't do this way earlier, or Uber under Travis.  But I can see how this would be too scary in the USA, such that China did it first.
+
+This is kind of scummy behavior! Interesting that he calls scummy consequentialism eliezerian
+
+-----
+
+https://twitter.com/ESYudkowsky/status/1767276710041686076
+> What about optimising for finding and error-correcting invalid arguments?
+
+> In my own experience those are the same mental skill, but perhaps your mileage varies.  But at any rate, sure.
+
+https://discord.com/channels/401181628015050773/458419017602826260/1212913739196669963
+
+-------
+
+Unfortunately, there's still some remaining tension here insofar as the guy continues to lean on "you gotta trust me, bro; I'm from dath ilan and therefore racially superior to you" personality-cult-leader intimidation tactics, which I consider myself to have a selfish interest in showing to third parties to be unfounded.
+
+With anyone else in the world, I'm happy to let an argument drop after it's been stalemated at 20K words, because no one else in the world is making a morally fraudulent claim to be a general-purpose epistemic authority that has a shot at fooling people like me. (_E.g._, Scott Alexander is very explicit about just being a guy with a blog; Scott does not actively try to discourage people from thinking for themselves.)
+
+New example from today: a claim that MIRI is constrained by the need to hire people who make only valid arguments, and (in response to a commenter) that in his experience, finding and error-correcting invalid arguments is the same mental skill. <https://twitter.com/ESYudkowsky/status/1767276710041686076>
+
+But elsewhere, this _motherfucker_ has been completely shameless about refusing to acknowledge counterarguments that would be politically inconvenient for him to acknowledge!
+
+[]
+
+(Screenshot took place in a publicly-linked server and is therefore OK to share)
+
+My heart racing, it's tempting to leave a Twitter reply saying, "Actually, in my exhaustively documented experience, you don't give a shit about error-correcting invalid arguments when that would be politically inconvenient for you"
+
+But ... what good would that do, at this point? As I wrote in the memoir, "We've already seen from his behavior that he doesn't give a shit what people like me think of his intellectual integrity. Why would that change?"
+
+The function of getting the Whole Dumb Story written down that I was supposed to _move on_. I have _other things to do_.
+
+---------
+
+ Oli Habryka gets it! (<https://www.greaterwrong.com/posts/juZ8ugdNqMrbX7x2J/challenges-to-yudkowsky-s-pronoun-reform-proposal/comment/he8dztSuBBuxNRMSY>)
+ Vaniver gets it! (<https://www.greaterwrong.com/posts/yFZH2sBsmmqgWm4Sp/if-clarity-seems-like-death-to-them/comment/dSiBGRGziEffJqN2B>)
+
+Eliezer Yudkowsky either doesn't get it, or is pretending not to get it. I almost suspect it's the first one, which is far worse
+
+https://www.lesswrong.com/posts/CpvyhFy9WvCNsifkY/discussion-with-eliezer-yudkowsky-on-agi-interventions
+> Various people who work or worked for MIRI came up with some actually-useful notions here and there, like Jessica Taylor's expected utility quantilization.
+
+https://twitter.com/ESYudkowsky/status/1301958048911560704
+> That is: they had to impose a (new) quantitative form of "conservatism" in my terminology, producing only results similar (low KL divergence) to things already seen, in order to get human-valued output.  They didn't directly optimize for the learned reward function!
+
+-----
+
+Metzger is being reasonable here
+
+https://twitter.com/perrymetzger/status/1773340617671667713
+> That's a fairly inaccurate way of putting it. It wasn't "poked with a stick", what happened was that gradient descent was used to create a function approximator that came as close as possible to matching the inputs and outputs. It's not like someone beat a conscious entity until it deceptively did what its masters demanded but it secretly wants to do something else; in fact, the process didn't even involve GPT-4 itself, it was the process that *created* the weights of GPT-4.
+
+
+https://twitter.com/ESYudkowsky/status/1433206619135823878
+> I don't know if that quite answers your question - but my answer to a lot of "Well, what about *this* kind of AI?" is "Well, what about it?  What does one do with that kind of AI, that stops the world from ending 6 months later when some other kind of AI builds nanotech?"
+
+https://twitter.com/ESYudkowsky/status/1433207431627042819
+> For concreteness:  One can see how AlphaFold 2 is working up towards world-ending capability.  If you ask how you could integrate an AF2 setup with GPT-3 style human imitation, to embody the human desire for proteins that do nice things... the answer is roughly "Lol, what?  No."
+
+https://twitter.com/ESYudkowsky/status/1775233618035736819
+(in response to Jessica saying that LLM pretraining favors short term)
+> True for now, at least.
+
+He didn't already know this from the discussion when the Sleeper Agents paper came out?
+https://twitter.com/ESYudkowsky/status/1778938096123359256
+
+https://twitter.com/QiaochuYuan/status/1726860200421085589
+> i was on a 3-month trial for this position, and the terms of the trial were: i would not, at any point, get to field an actual question from the researchers, because all of their actual questions were *too sensitive* for me to know about