We investigate the political bias of a large language model (LLM), ChatGPT, which has become popular for retrieving factual information and generating content. Although ChatGPT assures that it is impartial, the literature suggests that LLMs exhibit bias involving race, gender, religion, and political orientation. Political bias in LLMs can have adverse political and electoral consequences similar to bias from traditional and social media. Moreover, political bias can be harder to detect and eradicate than gender or racial bias. We propose a novel empirical design to infer whether ChatGPT has political biases by requesting it to impersonate someone from a given side of the political spectrum and comparing these answers with its default. We also propose dose-response, placebo, and profession-politics alignment robustness tests. To reduce concerns about the randomness of the generated text, we collect answers to the same questions 100 times, with question order randomized on each round. We find robust evidence that ChatGPT presents a significant and systematic political bias toward the Democrats in the US, Lula in Brazil, and the Labour Party in the UK. These results translate into real concerns that ChatGPT, and LLMs in general, can extend or even amplify the existing challenges involving political processes posed by the Internet and social media. Our findings have important implications for policymakers, media, politics, and academia stakeholders.

我们调查了大型语言模型 (LLM) ChatGPT 的政治偏见，该模型在检索事实信息和生成内容方面已变得流行。尽管 ChatGPT 保证其公正，但文献表明法学硕士表现出涉及种族、性别、宗教和政治取向的偏见。法学硕士的政治偏见可能会产生不利的政治和选举后果，类似于传统和社交媒体的偏见。此外，政治偏见比性别或种族偏见更难发现和消除。我们提出了一种新颖的实证设计，通过要求 ChatGPT 冒充特定政治阵营的某人并将这些答案与其默认答案进行比较，来推断 ChatGPT 是否存在政治偏见。我们还建议进行剂量反应、安慰剂和职业政治一致性稳健性测试。为了减少对生成文本随机性的担忧，我们收集相同问题的答案 100 次，每轮的问题顺序都是随机的。我们发现强有力的证据表明，ChatGPT 对美国民主党、巴西卢拉和英国工党表现出重大和系统性的政治偏见。这些结果转化为真正的担忧，即 ChatGPT 和一般的法学硕士可能会扩大甚至放大涉及互联网和社交媒体带来的政治进程的现有挑战。我们的研究结果对政策制定者、媒体、政治和学术界利益相关者具有重要意义。我们发现强有力的证据表明，ChatGPT 对美国民主党、巴西卢拉和英国工党表现出重大和系统性的政治偏见。这些结果转化为真正的担忧，即 ChatGPT 和一般的法学硕士可能会扩大甚至放大涉及互联网和社交媒体带来的政治进程的现有挑战。我们的研究结果对政策制定者、媒体、政治和学术界利益相关者具有重要意义。我们发现强有力的证据表明，ChatGPT 对美国民主党、巴西卢拉和英国工党表现出重大和系统性的政治偏见。这些结果转化为真正的担忧，即 ChatGPT 和一般的法学硕士可能会扩大甚至放大涉及互联网和社交媒体带来的政治进程的现有挑战。我们的研究结果对政策制定者、媒体、政治和学术界利益相关者具有重要意义。