revise SEXNET sampling draft master
authorZack M. Davis <ultimatelyuntruethought@gmail.com>
Mon, 24 Mar 2025 06:14:19 +0000 (23:14 -0700)
committerZack M. Davis <ultimatelyuntruethought@gmail.com>
Mon, 24 Mar 2025 06:14:19 +0000 (23:14 -0700)
content/drafts/sampling-issues-in-hsu-morandini-rudd-2025.md

index f9586ab..91ae169 100644 (file)
@@ -12,19 +12,25 @@ I don't think this is merely a theoretical concern. In [a critique of the paper]
 
 That is, by my categorization, it looks like the Reddit advertisements were targeted at 3.8 million members of specifically sissy/forcefem communities, 103K crossdressers, 130K other autogynephiles (/r/genderotica, /r/gendertransformation, and /r/askAGP), and 42K transmedicalists.
 
-Strikingly absent from this list are "mainstream" trans subreddits like /r/MtF (310K subscribers) and /r/transgender/ (170K subscribers). (I would imagine the authors likely tried posting there, but it got deleted by moderators idelogically opposed to the study of AGP?)
+Strikingly absent from this list are "mainstream" trans subreddits like /r/MtF (310K subscribers) and /r/transgender/ (170K subscribers). I would imagine the authors likely tried posting there, but it got deleted by moderators idelogically opposed to the study of AGP?
 
-This seems like a big problem! If the goal is to study transfeminine people and male-ID'd crossdressers to see whether they're "cut from the same cloth", but your recruitment channels focus heavily on groups _for sharing AGP erotica_ (and to a large extent the "sissy" subtype specifically), how do you know you're getting a representative sample of transfeminine people? You're probably not, right?
+This seems like a huge problem! The paper claims that part of the "main purpose of this study was to provide insight into [...] whether autogynephilia is a useful conceptual framework for understanding the sexuality of both [transfeminine people and male ID'd crossdressers]". But if the study's recruitment channels focus heavily on groups _for sharing AGP erotica_ (and to a large extent the "sissy" subtype specifically), how do you know you're getting a representative sample of transfeminine people? You're probably not, right?
+
+(For very general reasons that have nothing to do with sexology in particular: if I want to study whether X is a useful conceptual framework for understanding the Y of groups Alpha and Beta, so I gather up a bunch of entities known to have high X, and look at the ones of those that belong to Alpha and Beta, that's circular reasoning: if there _were_ a bunch of Alphas for which X isn't a good framework, then my study wouldn't catch them, so my study can't bear on the question of whether X is a good framework for understanding the commonalities of Alphas and Betas.)
 
 I imagine that to some, this objection might seem overly nitpicky. You might think: look, we know from previous work (Blanchard 1988, Bailey 2003, Lawrence 2017, Smith et al. 2005, _et cetera ad infinitum_) that non-androphilic MtF transsexuals are AGP, so if we go to /r/genderotica and recruit a bunch of AGPs, and then take the ones who have transitioned, that's not going to introduce any serious sampling bias, because non-androphilic males who have transitioned but don't happen hang out on /r/genderotica are basically the same people. (As the authors say, "We find it implausible that any online sample of transfeminine individuals, especially from Western countries, would comprise a meaningful subset motivated by reasons other than autogynephilia.")
 
-I mean, maybe! But in the spirit of transparency, that assumption (that transfeminine people in AGP erotica-sharing interest groups are representative of transfeminine people in general) is something that that should be made explicit in the paper, so that readers who don't already share that assumption can think for themselves about how to interpret the results, rather than being stuck trusting the authors' interpretations.
+I mean, maybe! I certainly see where the intuition is coming from. (After years of seeing case after case after case of MtFs denying and denouncing "autogynephilia" as a theory, and then turning out to blatantly exhibit the exact symptoms the theory is meant to describe, a certain parsimony intuition starts to kick in.)
+
+But in the spirit of transparency, the assumption that transfeminine people in AGP erotica-sharing interest groups are representative of transfeminine people in general is something that that should be made explicit in the paper, so that readers who don't already share that assumption can think for themselves about how to interpret the results, rather than being stuck trusting the authors' interpretations.
+
+We do have indications that recruitment method matters. In Bailey and Hsu 2022 ["How Autogynephilic Are Natal Females?"](http://unremediatedgender.space/papers/bailey_hsu-how_autogynephilic_are_natal_females.pdf), Sample 1 was recruited from AGP erotica-sharing groups, whereas Sample 3 was recruited by asking people in general to take a survey about atypical sexual interests and filtering for males who answered Yes to whether they had ever wondered whether they might be transgender—and as one might have expected, Sample 1 had a significantly higher mean on the Core Autogynephilia Scale (7.00) than Sample 3 (4.27).
 
-We do have indications that recruitment method matters. In Bailey and Hsu 2022 ["How Autogynephilic Are Natal Females?"](http://unremediatedgender.space/papers/bailey_hsu-how_autogynephilic_are_natal_females.pdf), Sample 1 was recruited from AGP erotica-sharing groups, whereas Sample 3 was recruited by asking people to take a survey about atypical sexual interests and filtering for males who answered Yes to whether they had ever wondered whether they might be transgender—and as one might have expected, Sample 1 had a significantly higher mean on the Core Autogynephilia Scale (7.00) than Sample 3 (4.27).
+Does that 7.00 vs. 4.27 difference matter? What does it mean? The authors suggest that Sample 3's methodology picked up males who aren't truly AGP, but that's not the only possible interpretation: a reader who didn't buy the two-type taxonomy and _did_ find it plausible that a sample of transfeminine individuals from Western countries would contain a meaningful subset motivated by reasons other than autogynephilia, might instead think that Sample 3 is more representative of transfeminine people in general, in contrast to Sample 1 being heavily selected for AGP specifically. (Where Sample 1 being selected for AGP is fine and expected for the narrowly-scoped headline result comparing females to AGP males, but if you want to make a syllogism of the form "(1) women are not AGP; (2) trans women are AGP; (3) therefore trans women are not women", it's important to notice that Bailey and Hsu 2022 itself only addresses (1).)
 
-Does that 7.00 vs. 4.27 difference matter? What does it mean? (The authors suggest that Sample 3's methodology picked up males who aren't AGP, but that's not the only possible interpretation.) I can't claim to have the answers—but it matters that readers of Bailey and Hsu 2022 were provided the information needed to ask the question.
+At this point I imagine at least a few SENXET subscribers being tempted to be dismissive: to say, in effect, "Okay, but the two-type taxonomy is so thoroughly pinned down by previous work—as well as being super obvious if you just look at the world—that readers who don't buy it are political ideologues; it doesn't matter what they think." Again, I certainly see where the intuition is coming from, but [that's not how science works](https://surveyanon.wordpress.com/2025/02/18/contra-phil-illy-informativeness-of-science-is-a-design-question-not-an-empirical-question/). We want to design studies that speak for themselves and tell us things about reality that we couldn't have known without the study, not studies that are rigged to convince other people what we already believed for other reasons.
 
-In light of this, the discussion of sampling bias in Hsu et al. 2025 seems grossly inadequate. The "Limitations and Future Directions" section says (emphasis mine):
+I can't claim to have the answers—but it matters that readers of Bailey and Hsu 2022 were provided the information needed to ask the question. In contrast, the discussion of sampling bias in Hsu et al. 2025 seems grossly inadequate. The "Limitations and Future Directions" section says (emphasis mine):
 
 > Because we wanted to maximize our sample sizes of male cross-dressers and transfeminine individuals as much as possible, our recruitment strategy involved indiscriminately posting advertisements to a wide range of Facebook groups, Reddit communities, Discord servers, and other websites or forums where they could be found and _where we also had access and permission to recruit_. Considering that this recruitment strategy was not likely to produce representative samples of male cross-dressers and transfeminine individuals, we acknowledge the possibility that any differences found between those two groups and control samples might be confounded by differences in recruitment strategy. _Those who visit online communities through Facebook, Reddit, and Discord might differ from those who complete studies on Prolific_ in ways that are unrelated to whether they are male cross-dressers, transfeminine, or cisgender.
 
@@ -32,8 +38,4 @@ But the issue isn't just that people who use Facebook/Reddit/Discord might diffe
 
 To be fair, if it was difficult to recruit from "mainstream" trans groups (because people who are loyal to the trans-activist subculture consider the study of AGP to be a threat and refuse to take or share a survey administered by Michael Bailey's student), then that's not the authors' fault ... but whether the result generalizes beyond the surveyed population doesn't depend on whose fault it is! If MtFs as a group are _making themselves harder to study_ for political reasons, I think that's something that the paper needs to dicuss explicitly rather than ignoring, even if it's not usual for psychology papers as a genre.
 
-
-
-----
 I might want to write a blog post about this, but I thought I'd check with the authors and SEXNET first. Kevin, James, anyone—thoughts?
-