利用reddit的api进行爬虫

1 介绍

Reddit是一个社交新闻聚合网站,用户可以发布、评价和讨论各种话题。Reddit的内容涵盖了广泛的主题,可以从中获取大量的文本数据进行情绪分析。

2 注册

2.1 注册reddit

你需要先注册一个reddit的账号。

2.2 注册api

https://www.reddit.com/prefs/apps 在这个上面注册一个账号,开通一个api,开通完是这样的
在这里插入图片描述

3 代码

3.1 配置

在这个代码里面,你需要4个东西

  • client_id 用户的id,就是上面图片中的那一串
  • client_secret 密码,就是上图的密码
  • username 用户名,这个是reddit的用户名
  • password 密码,这个是reddit的密码
    在这里插入图片描述

3.2 爬取代码

主要是爬取body,这个里面存放的就是内容

需要你去设置要爬取的标题

subreddit_channel = 'politics'
for comment in reddit.subreddit(subreddit_channel).stream.comments():tmp_df = comment

可以咨询:https://docs.qq.com/doc/DWEtRempVZ1NSZHdQ

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/256478.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

快速测试 3节点的redis sentinel集群宕机2个节点以后是否仍能正常使用

有同事问我,三个redis sentinel节点,宕机两个节点以后,是否还能够正常的通过redis sentinel正常访问redis的数据。我想了想,理论上是可以的,但是我没试过,今天有时间就测试了一下。搭建环境和测试代码的郭晨…

教你如何一键生成微信分享卡片

今天说一种非常快捷的方式,快捷到什么程度呢? 1.关注微信公众号“C1N短网址服务” 2.发送你想要的链接内容,即可得到一张微信卡片 使用步骤: 按如下格式发送消息到公众号,公众号自动回复微信卡片,然后就…

YOLO的全面综述:从YOLOv1到最新版本

文章目录 摘要1、简介2、YOLO在不同领域的应用3、目标检测的度量标准和非最大值抑制(NMS)3.1. AP如何工作?3.2. 计算AP3.3、非极大值抑制(NMS) 4、YOLO: You Only Look Once4.1、YOLOv1的工作原理4.2、YOLOv1架构4.3、…

ingress介绍和ingress通过LoadBalancer暴露服务配置

目录 一.ingress基本原理介绍 1.将原有用于暴露服务和负载均衡的服务的三四层负载均衡变为一个七层负载均衡 2.controller和ingress 3.通过下面这个图可能会有更直观的理解 二.为什么会出现ingress 1.NodePort存在缺点 2.LoadBalancer存在缺点 三.ingress三种暴露服务的…

Linux篇:进程间通信

一、进程间通信原理: 1、通信是有成本的:两个或者多个进程,实现数据层面的交互,因为进程独立性的存在,导致进程通信的成本比较高。 2、进程间通信的方式: ①基本数据 ②发送命令 ③某种协同 ④通知 .....…

Google 发布史上最强大模型,能否抗衡 OpenAI?

昨晚 Google 发布了史上最强人工智能模型:Gemini。 Google CEO Sundar Pichai CEO 说 Gemini 时代是 Google 新时代的开始。 Gemini 是 Google 最新的大型语言模型,Pichai 首次在 6 月的 I/O 开发者大会上透露了这一消息,如今正式公开发布。…

利用proteus实现串口助手和arduino Mega 2560的串口通信

本例用到的proteus版本为8.13,ardunio IDE版本为2.2.1,虚拟串口vspd版本为7.2,串口助手SSCOM V5.13.1。软件的下载安装有很多教程,大家可以自行搜索,本文只介绍如何利用这4种软件在proteus中实现arduino Mega 2560的串…

单片机学习13——串口通信

单片机的通信功能: 实现单片机和单片机的信息交换,实现单片机和计算机的信息交换。 计算机通信是指计算机与外部设备或计算机与计算机之间的信息交换。 通信有并行通信和串行通信两种方式。 在多微机系统以及现在测控系统中信息的交换多采用串行通信方…

12.7图欧拉回路与路径,图的一些性质,存储方式,图的遍历(有向图无向图BFSDFS)

欧拉回路与欧拉路径 存在条件 无向图存在欧拉回路的充要条件 一个无向图存在欧拉回路,当且仅当该图所有顶点度数都为偶数,且该图是连通图。 无向图存在欧拉路径的充要条件 当且仅当该图顶点度数为奇数的点的个数为0或者2。 欧拉定理二: 如果一个无向图…

sql注入漏洞--MYSQL两种思路

在学习之前,先自己搭建了一个网站 在前端可以实现与后端数据库的交互查询 创建一个数据库名为wy,表名为users 建立字段,定义类型 插入数据 INSERT INTO users(name, password,photo, money) VALUES ("DuZZ",123456,11,100); IN…

(三)基于高尔夫优化算法GOA求解无人机三维路径规划研究(MATLAB代码)

一、无人机模型简介: 单个无人机三维路径规划问题及其建模_IT猿手的博客-CSDN博客 参考文献: [1]胡观凯,钟建华,李永正,黎万洪.基于IPSO-GA算法的无人机三维路径规划[J].现代电子技术,2023,46(07):115-120 二、高尔夫优化算法GOA简介 高尔夫优化算法…

虚拟数据优化器VDO

本章主要介绍虚拟化数据优化器。 什么是虚拟数据优化器VDO创建VDO设备以节约硬盘空间 了解什么是VDO VDO全称是Virtual Data Optimize(虚拟数据优化),主要是为了节省硬盘空间。 现在假设有两个文件file1和 file2,大小都是10G。file1和 f…