drafting "Prediction Markets Are Not"
authorZack M. Davis <ultimatelyuntruethought@gmail.com>
Sun, 17 Nov 2024 20:28:32 +0000 (12:28 -0800)
committerZack M. Davis <ultimatelyuntruethought@gmail.com>
Sun, 17 Nov 2024 20:28:32 +0000 (12:28 -0800)
content/drafts/prediction-markets-are-not-a-drop-in-replacement-for-concepts.md

index 1b6bb9b..94fa39c 100644 (file)
@@ -6,7 +6,7 @@ Status: draft
 
 In ["Comment on a Scene from _Planecrash_: 'Crisis of Faith'"](http://unremediatedgender.space/2022/Jun/comment-on-a-scene-from-planecrash-crisis-of-faith/), I critiqued a scene in which Keltham (a [magical universe-teleportation victim](https://en.wikipedia.org/wiki/Isekai) from alternate Earth called dath ilan) plays dumb about why a pre-industrial Society would only choose males for military conscription.
 
-[Eliezer Yudkowsky comments](http://unremediatedgender.space/2022/Jun/comment-on-a-scene-from-planecrash-crisis-of-faith/#isso-583): 
+_Planecrash_ coauthor [Eliezer Yudkowsky comments](http://unremediatedgender.space/2022/Jun/comment-on-a-scene-from-planecrash-crisis-of-faith/#isso-583): 
 
 > Keltham wouldn't be averse to suggesting that there be prediction markets about military performance, not just predictions based on height. If there's more information to be gained from measuring biological sex than by just measuring height, it'll show up in the military prediction markets. But Keltham knows the uneducated soul to whom he is speaking, does not know what a prediction market is.
 >
@@ -132,20 +132,26 @@ The `prediction_market_sort` code doesn't obviate standard sorting algorithms li
 
 The restaurant-enjoyment market doesn't obviate the concept of Italian food, because if you post a market for "Where should we go for dinner given that Vinnie's is closed?", the first thing traders are going to do is search for "Italian restaurants near [market author's location]"—not because they're fools who think that "Italian food" is somehow ontologically fundamental and eternal, but because there contingently do happen to be [approximate conditional indpendence relationships](https://www.readthesequences.com/Conditional-Independence-And-Naive-Bayes) between the features of meals served by different restaurants. A decision made on the basis of a [statistical compression](https://www.lesswrong.com/posts/mB95aqTSJLNR9YyjH/message-length) of meal features is based on predicted outcomes insofar as and to the extent that meal features predict outcomes.
 
-To be sure, there are all sorts of nuances and caveats that one could go into here about exactly when and why categorization works or fails as a cognitive algorithm—how categories are sometimes [used for coordination](https://www.lesswrong.com/posts/edEXi4SpkXfvaX42j/schelling-categories-and-simple-membership-tests) [and not](http://unremediatedgender.space/2019/Oct/self-identity-is-a-schelling-point/) [just predictions](http://unremediatedgender.space/2019/Dec/more-schelling/), how categories should [change when the distribution of data in the world changes](https://www.lesswrong.com/posts/WikzbCsFjpLTRQmXn/declustering-reclustering-and-filling-in-thingspace) (_e.g._, [fusion cuisines](https://en.wikipedia.org/wiki/Fusion_cuisine) becoming popular), whether categories might perversely distort the territory to fit the map via self-fulfilling prophecies[^self-fulfilling] (_e.g._, entrepreneurs only opening restaurants in established ethnic categories because that's what customers are used to, thereby stifiling culinary innovation) ...
+To be sure, there are all sorts of nuances and caveats that one could go into here about exactly when and why categorization works or fails as a cognitive algorithm—how categories are sometimes [used for coordination](https://www.lesswrong.com/posts/edEXi4SpkXfvaX42j/schelling-categories-and-simple-membership-tests) [and not](http://unremediatedgender.space/2019/Oct/self-identity-is-a-schelling-point/) [just predictions](http://unremediatedgender.space/2019/Dec/more-schelling/), how categories should [change when the distribution of data in the world changes](https://www.lesswrong.com/posts/WikzbCsFjpLTRQmXn/declustering-reclustering-and-filling-in-thingspace) (_e.g._, if [fusion cuisines](https://en.wikipedia.org/wiki/Fusion_cuisine) become popular), whether categories might perversely distort the territory to fit the map via self-fulfilling prophecies[^self-fulfilling] (_e.g._, if entrepreneurs only open restaurants in established ethnic categories because that's what customers are used to, thereby stifiling culinary innovation) ...
 
 [^self-fulfilling]: Although this is _also_ a potential problem for prediction markets [and other cognitive systems](https://www.lesswrong.com/posts/SwcyMEgLyd4C3Dern/the-parable-of-predict-o-matic).
 
-But, bluntly? The kind of person who asks what use there is in "creating a law that asymmetrically treats different sapient beings in a way based not on predicted outcomes" is not interested in the nuances and caveats. (I know because [I used to be this kind of person](/2021/May/sexual-dimorphism-in-the-sequences-in-relation-to-my-gender-problems/#antisexism).) It's not an honest question that expects an answer; it's a rhetorical question asked in the hope that the respondent doesn't have one.
+But, bluntly? The kind of person who asks what use there is in "creating a law that asymmetrically treats different sapient beings in a way based not on predicted outcomes" is not interested in the nuances and caveats. (I know because [I used to be this kind of person](/2021/May/sexual-dimorphism-in-the-sequences-in-relation-to-my-gender-problems/#antisexism).) It's not an honest question that expects an answer; it's a rhetorical question asked in the hope that the respondent doesn't have one.[^isolated-demands-for-rigor]
 
-"If there's more information to be gained from measuring biological sex than by just measuring height, it'll show up in the military prediction markets," Yudkowsky writes. I agree, of course, that that sentence [is literally true](https://www.lesswrong.com/posts/MN4NRkMw7ggt9587K/firming-up-not-lying-around-its-edge-cases-is-less-broadly), but the conditional mood implies such a bizarre prior. "If"? "Just measuring _height_"? Are we pretending to be uncertain about whether a troop of 5'6" males (15th percentile) or 5'6" females (80th percentile) would prevail in high medieval warfare? Does Yudkowsky want to bet on this?
+[^isolated-demands-for-rigor]: Which, to be fair, is usually a good bet in the service of the goal of suppressing anti-egalitarian memes. I've specialized in patiently answering [isolated demands for rigor](https://slatestarcodex.com/2014/08/14/beware-isolated-demands-for-rigor/), but most people aren't philosophically sophisticated enough to do that, and the ones that are have competing demands on their time.
+
+"If there's more information to be gained from measuring biological sex than by just measuring height, it'll show up in the military prediction markets," Yudkowsky writes. I agree, of course, that that sentence [is literally true](https://www.lesswrong.com/posts/MN4NRkMw7ggt9587K/firming-up-not-lying-around-its-edge-cases-is-less-broadly), but the conditional mood implies such a bizarre prior. "If"? "Just measuring _height_"? Are we pretending to be uncertain about whether a troop of 5'6" males (15th percentile) or 5'6" females (80th percentile) would prevail in high medieval warfare? (Yes, _on average_—but outlier groups are exponentially[^exponentially] rarer than outlier individuals!) Does Yudkowsky want to bet on this?
+
+[^exponentially]: In the size of the group.
 
 -----
 
-Perhaps at this point the advocate of prediction markets will complain that I'm the one performatively missing the point.
+Perhaps at this point the advocate of prediction markets will complain that I'm the one performatively missing the point: the claim isn't that sex is useless for predicting military performance or that restaurant category is useless for predicting meal enjoyment; the claim is that prediction markets can do better by incorporating all other sources of information not encapsulated in a crude, lossy categorization. If the only other Italian place in town is lousy, then we probably want to go somewhere else.
 
 [TODO: The claim isn't that ethnic or sex categories are useless, but that prediction markets are better, because you can scoop up the exceptions. I've already agreed that if you ignore efficiency, prediction markets can do anything you can do by any other procedure—by construction! So my reply here is that efficiency actually does matter. (If efficiency didn't matter, there would be no gounds to object to the prediction market sort—in principle, it should work.) anti-discrimination law prohibits not just stupid forms of discrimination, but also subtler systems that use categories but also have exception handling. Actually existing militaries don't literally go "anyone with a penis, that's our only criterion"! But they also don't bother drafting women, which was the point under dispute. The choice is "category only" versus prediciton market, you can also search for Italian with good reviews, and that's _doing most of the work of the market_]
 
+[TODO: manipulation of small markets?]
+
 [TODO: "just go by the presence of penises, don't use anything else" would be stupid, but it's also _not what real-world militaries do, replacing the draft board with a prediction market doesn't seem like it would satisfy the principled antisexist thing Keltham was trying to do ]
 
 [TODO: you might say that the market is superior because it can account for exceptions—which can indeed exist—