revising "Prediction Markets Are Not"
authorZack M. Davis <ultimatelyuntruethought@gmail.com>
Fri, 29 Nov 2024 06:48:11 +0000 (22:48 -0800)
committerZack M. Davis <ultimatelyuntruethought@gmail.com>
Fri, 29 Nov 2024 07:31:32 +0000 (23:31 -0800)
content/drafts/prediction-markets-are-not-a-drop-in-replacement-for-concepts.md

index 091a789..6c93d2c 100644 (file)
@@ -4,7 +4,7 @@ Category: commentary
 Tags: Eliezer Yudkowsky, literary criticism, worldbuilding, prediction markets
 Status: draft
 
-In ["Comment on a Scene from _Planecrash_: 'Crisis of Faith'"](http://unremediatedgender.space/2022/Jun/comment-on-a-scene-from-planecrash-crisis-of-faith/), I criticized a scene in which Keltham (a [magical universe-teleportation victim](https://en.wikipedia.org/wiki/Isekai) from alternate Earth called dath ilan) plays dumb about why a pre-industrial Society would only choose males for military conscription.
+In ["Comment on a Scene from _Planecrash_: 'Crisis of Faith'"](http://unremediatedgender.space/2022/Jun/comment-on-a-scene-from-planecrash-crisis-of-faith/), I criticized a scene in which Keltham (a [magical universe-teleportation victim](https://en.wikipedia.org/wiki/Isekai) from an alternate Earth called dath ilan) plays dumb about why a pre-industrial Society would only choose males for military conscription.
 
 _Planecrash_ coauthor [Eliezer Yudkowsky comments](http://unremediatedgender.space/2022/Jun/comment-on-a-scene-from-planecrash-crisis-of-faith/#isso-583): 
 
@@ -16,7 +16,7 @@ Good question.[^good-question] I'd like to generalize it: in the absence of a re
 
 [^good-question]: Not really. I'm being polite.
 
-The answer is: nothing—with two caveats having to do with how the power of prediction markets is precisely that they're agnostic about how traders make decisions: we assume that whatever the winning decision is, greedy traders have an incentive to figure it out.
+The answer is: nothing—with two caveats having to do with how the power of prediction markets has precisely to do with that they're agnostic about how traders make decisions: we assume that whatever the winning answer is, greedy traders have an incentive to figure it out.
 
 Nothing is gained—_if_ you already happen to have sufficiently liquid prediction markets covering all observables relevant to the decisions you need to make. This is logistically nontrivial, and almost certainly much more computationally intensive. (If there are a hundred traders in your market, each of them using their own decision procedure which is on average as expensive as P, then delegating the decision to the market costs Society a hundred times as much as just using P once yourself.)
 
@@ -28,9 +28,9 @@ To figure out whether these caveats matter, we can imagine some concrete scenari
 
 (Okay, this one is a little bit silly, but it's illustrative.)
 
-Imagine being a programmer needing to implement a sorting algorithm: code that takes a list of numbers, and rearranges the list to be ordered smallest to largest. You're thinking about using [quicksort](https://en.wikipedia.org/wiki/Quicksort), which involves recursively designated an arbitrary "pivot" element and then partitioning the list into two sublists that are less than and greater than (or equal to) the pivot, respectively.
+Imagine being a programmer needing to implement a sorting algorithm: code that takes a list of numbers and rearranges the list to be ordered smallest to largest. You're thinking about using [quicksort](https://en.wikipedia.org/wiki/Quicksort), which involves recursively designating an arbitrary "pivot" element and then partitioning the list into two sublists that are less than and greater than (or equal to) the pivot, respectively.
 
-Your teammate Albert objects to the idea of moving elements based on whether they're greater or less than the arbitrary pivot, which isn't obviously related to the ultimate goal of the list being sorted. "Why are you writing code that asymmetrically treats different numbers differently in a way not based on predicted outcomes?" he asks.
+Your teammate Albert objects to the idea of moving elements based on whether they're greater or less than the arbitrary pivot, rather than whether it will achieve the goal of the list being sorted. "Why are you writing code that asymmetrically treats different numbers differently in a way not based on predicted outcomes?" he asks.
 
 "What would you suggest?" you ask, regretting the question almost as soon as you've finished saying it.
 
@@ -106,7 +106,7 @@ def prediction_market_sort(my_list):
 
 "In _principle_, I suppose, but ..." You're at a loss for words.
 
-"Then what's the problem?" says Albert. "Surely you don't think you're smarter than a prediction market?" He scoffs at the notion.
+"Then what's the problem?" says Albert. "Surely you don't think you're smarter than a prediction market?" he scoffs.
 
 You open a prediction market asking about the company's profits next quarter conditional on Albert being fired.
 
@@ -150,20 +150,28 @@ Perhaps at this point the advocate of prediction markets will complain that I'm
 
 But what's at issue isn't whether making decisions _solely_ on the basis of category membership is a good idea, but whether institutions should be able to take category membership into account as a matter of explicit policy (rather than only implicitly via the black box of a prediction market, whose traders are allowed to notice things that the policy isn't).
 
-Real-world militaries that practice conscription _don't_ just take males indiscriminately with no other requirements than having a Y chromosome, because that would be crazy. The draft board does administer fitness tests and psych evals, consider relevant skills, _&c_. (Similarly, real-world diners craving Italian food also take Yelp ratings into account.) But one of the features real-world militaries _do_ consider is sex, thereby running afoul of the principle of not asymmetrically treating different sapient beings in a way (allegedly) "based not on predicted outcomes." For example, [Israel drafts women](https://en.wikipedia.org/wiki/Women_in_the_Israel_Defense_Forces), but for a shorter term, and [not in all combat roles](https://www.ynetnews.com/articles/0,7340,L-5089566,00.html). (There are a few mixed-sex battalions, like [the 33rd "Caracal"](https://en.wikipedia.org/wiki/Caracal_Battalion), named after [a species of cat with low sexual dimorphism](https://en.wikipedia.org/wiki/Caracal), but it's an exception rather than the norm.)
+Real-world militaries that practice conscription _don't_ just take males indiscriminately with no other requirements than having a Y chromosome, because that would be crazy. The draft board [does](https://en.wikipedia.org/wiki/Selective_Service_System#Classifications) administer fitness tests and psych evals, consider relevant skills, _&c_. (Similarly, real-world diners craving Italian food also take Yelp ratings into account.) But one of the features real-world militaries _do_ consider is sex, thereby running afoul of the principle of not asymmetrically treating different sapient beings in a way (allegedly) "based not on predicted outcomes." For example, [Israel drafts women](https://en.wikipedia.org/wiki/Women_in_the_Israel_Defense_Forces), but [doesn't use them in all combat roles](https://www.ynetnews.com/articles/0,7340,L-5089566,00.html). (There are a few mixed-sex battalions, like [the 33rd "Caracal"](https://en.wikipedia.org/wiki/Caracal_Battalion), named after [a species of cat with low sexual dimorphism](https://en.wikipedia.org/wiki/Caracal), but it's an exception rather than the norm.)
 
 If Keltham's objection to Osiriani patriarchy (which restricts women's education and right to hold property) also condemns real-world Israel (which doesn't), it would appear that something has gone wrong with his reasoning. If the problem is that excluding women from education and property ownership is oppressive and not justified on the empirical merits, Keltham should expect to make that case on the empirical merits: that women's economic liberty works great in dath ilan, and the Osiriani don't seem to be a different species for which the empirical merits would be different.
 
-That's not what we see in the text. Keltham challenges a native to explain things that would go wrong if foreigners imposed a strict Equal Rights Amendment, and when presented with a sensible example (military conscription), rather than saying, "okay, I can see how that one makes pragmatic sense, but that doesn't explain or justify the property thing", he persistently refuses to acknowledge the point. "[H]ow is [unusually strong women being drafted] more terrible than strong men being forced to join an army for less than their self-set wage for that?" [he asks](https://www.projectlawful.com/replies/1817425#reply-1817425), he asks, and when he receives a sensible answer to _that_ (that the women might get taken advantage of sexually, which would have lasting consequences for them), he [objects that truthspell-enabled governance would prevent rapes, and patronizingly wonders whether the Osiriani are aware of the human gestation period](https://www.projectlawful.com/replies/1817432#reply-1817432).
+That's not what we see in the text. Keltham challenges a native to explain things that would go wrong if foreigners imposed a strict Equal Rights Amendment, and when presented with a sensible example (military conscription), rather than saying, "okay, I can see how that one makes pragmatic sense, but that doesn't explain or justify the property thing", he persistently refuses to acknowledge the point. "[H]ow is [unusually strong women being drafted] more terrible than strong men being forced to join an army for less than their self-set wage for that?" [he asks](https://www.projectlawful.com/replies/1817425#reply-1817425), and when he receives sensible answers to _that_ (the women might get taken advantage of sexually, which would have lasting consequences for them), he [objects that truthspell-enabled governance would prevent rapes, and patronizingly wonders whether the Osiriani are aware of the human gestation period](https://www.projectlawful.com/replies/1817432#reply-1817432).
 
-Of course nothing about Keltham's behavior in this scene entails him affirmatively believing any unambiguously false atomic statement. [Word of God](https://tvtropes.org/pmwiki/pmwiki.php/Main/WordOfGod) claims that "Keltham isn't proposing to actually enforce that prohibition [of laws that mention sex] on Osirion, he's trying to figure out _what the laws are trying to do and why_".[^word-of-god] As I mentioned in ["Comment on a Scene"](http://unremediatedgender.space/2022/Jun/comment-on-a-scene-from-planecrash-crisis-of-faith/), anti-discrimination policy makes sense as game theory: [if you don't trust decisionmakers not to misconstrue group differences in a way that benefits them, forcing them to behave as if all groups were equal is the obvious Schelling point for preventing exploitation](http://unremediatedgender.space/2020/Apr/book-review-human-diversity/#schelling-point-for-preventing-group-conflicts). (The government can't oppress people on the basis of sex if the government isn't allowed to see sex.)
+[Word of God](https://tvtropes.org/pmwiki/pmwiki.php/Main/WordOfGod) claims that "Keltham isn't proposing to actually enforce that prohibition [of laws that mention sex] on Osirion, he's trying to figure out _what the laws are trying to do and why_".[^word-of-god] I find this hard to square with the [nearest-unblocked strategy](https://arbital.com/p/nearest_unblocked/) behavior Keltham is displaying in this scene: when presented with a reason for why sexism has good outcomes in some domain, Keltham immediately starts searching for ways to get the good outcomes without the sexism, even at greater expense. (You don't need to buy truthspells for your Title IX compliance officers if you don't have Title IX compliance officers.) However Yudkowsky might "explain" it after the fact, this is the behavior of someone trying to minimize sexism while being sensitive to outcome-based pragmatic constraints, rather that someone solely trying to optimize outcomes without particularly caring whether the means happen to be sexist.
 
 [^word-of-god]: [Eliezerfic Discord server, #dath-ilan channel, 12 June 2022](/images/yudkowsky-keltham_isnt_proposing.png)
 
-One could construe Keltham's line of questioning as deliberately trying to play that strategy against Osirion: it's not that Keltham is denying that predictively useful categories are also useful for making decisions; he just doesn't trust Osirion's irrationally sexist culture to do that sanely and is eager to explain how good decisions can be recovered in terms of lower-level features at some extra expense.
+[TODO: it's OK to have values, but noticing where your values come from is how you avoid embarrasing yourself as a rationalfic author]
 
-I just don't _buy it_. Almost everywhere else in the dath ilan mythos that dath ilan is compared to Earth (_i.e._, the real world) or Golarion, the comparison is unflattering; we're supposed to believe that dath ilan is a superior civilization, a utopia of reason where average intelligence is 2.6 standard deviations higher, where everyone is trained in Bayesian reasoning from childhood. One of the rare places in canon that dath ilan is depicted as not having already thought of something good and useful in the real world is in [the April Fool's Day confession](https://yudkowsky.tumblr.com/post/81447230971/my-april-fools-day-confession), when [NGDP targeting](https://en.wikipedia.org/wiki/Nominal_income_target) is identified as a clever and characteristically un–dath ilani hack. Dath ilan is accustomed to solving coordination problems by the effort of "serious people [...] get[ting] together and try[ing] not to have them be so bad": the mode of thinking that would lead one to propose automatically canceling out the sticky wage effect by printing more money to keep spending constant is alien to them.
+(I'm a religiously devout American, too. This is a _heresy_ blog, not an _apostate_ blog.)
+
+As I mentioned in ["Comment on a Scene"](http://unremediatedgender.space/2022/Jun/comment-on-a-scene-from-planecrash-crisis-of-faith/), anti-discrimination policy makes sense as game theory: [if you don't trust decisionmakers not to misconstrue group differences in a way that benefits them, forcing them to behave as if all groups were equal is the obvious Schelling point for preventing exploitation](http://unremediatedgender.space/2020/Apr/book-review-human-diversity/#schelling-point-for-preventing-group-conflicts). (The government can't oppress people on the basis of sex if the government isn't allowed to see sex.)
+
+[TODO: and to the extent that Americans have reified antisexism as a terminal value, it's as a result of dynamics like this]
+
+One could construe Keltham's line of questioning as deliberately trying to play that strategy against Osirion: it's not that Keltham is denying that predictively useful categories are also useful for making decisions; he just doesn't trust Osirion's irrationally sexist culture to do that sanely and is eager to explain how good decisions can be recovered in terms of lower-level features at some extra expense.
 
 [TODO: Yudkowsky's comment throws doubt on this interpretation; it looks like Keltham doesn't get it because it lookks like Yudkowsky doesn't get it. It's hard to believe that the lack of prediction markets in particular is what makes the IDF bad]
 
+I just don't _buy it_. Almost everywhere else in the dath ilan mythos that dath ilan is compared to Earth (_i.e._, the real world) or Golarion, the comparison is unflattering; we're supposed to believe that dath ilan is a superior civilization, a utopia of reason where average intelligence is 2.6 standard deviations higher, where everyone is trained in Bayesian reasoning from childhood. One of the rare places in canon that dath ilan is depicted as not having already thought of something good and useful in the real world is in [the April Fool's Day confession](https://yudkowsky.tumblr.com/post/81447230971/my-april-fools-day-confession), when [NGDP targeting](https://en.wikipedia.org/wiki/Nominal_income_target) is identified as a clever and characteristically un–dath ilani hack. Dath ilan is accustomed to solving coordination problems by the effort of "serious people [...] get[ting] together and try[ing] not to have them be so bad": the mode of thinking that would lead one to propose automatically canceling out the sticky wage effect by printing more money to keep spending constant is alien to them.
+
 Anti-discrimination norms are like NGDP targeting: prohibiting certain probabilistic inferences in order to cancel out widespread irrational bigotry is similar to printing money to cancel out a widespread irrational tendency to fire workers instead of lowering nominal wages in that it's not something you would think of in a world where people are just doing decision Bayesian decision theory—and it's not something you would _portray as superior_ if you came from a world that prides itself on just doing Bayesian decision theory and were trying to enlighten the natives of a strange and primitive culture. Yudkowsky's reply to "Comment on a Scene" tries to patch the problem by suggesting that Civilization doesn't need to make those probabilistic inferences anyway because it has prediction markets, but this is an obvious rationalization. (If you disagree, I have an amazing new sorting algorithm that may interest you ...)