avatar

路漫漫其修远兮

GPT驱动网页通用爬虫

GPT为首的语言模型彻底改变了爬虫的写法。以前可能对每个网站的爬虫都需要进行特殊的配置或处理(每个网站都有自己独特的结构),才能提取到想要的信息。但通过GPT,一个爬虫提取所有网站上自己想要的信息,就不是不可能。为此我写了一个在爬取过程中使用gpt提取信息的通用爬虫,并开源在了Github上。 介绍 GPT-Web-Crawler 是一个基于python和puppeteer的网络爬虫,可以爬取网页并从网页中提取内容(包括网页的标题,url,关键词,描述,所有文本内容,所有图片和截图)。它使用起来非常简单,只需要几行代码就可以用来

物联网与传感网课程复习笔记

绪论 物联网的定义 技术理解 物联网是指物体的信息通过智能感应装置,经过传输网络,到达指定的信息处理中心,最终实现物与物、人与物之间的自动化信息交互与处理的智能网络。 应用理解 物联网是指把世界上所有的物体都耳到一个网络中,形成物联网,然后’物联网’又与现有的“互联网“结合,实现人类社会与物理系统的整合,达到更加精细和动态的去管理生产和生活。 通俗理解 将 RFID 射频识别和 WSN 无线传感器网络结合为用户提供生产生活的监控、指挥调度、远程数据采集和测量、远程诊断等方面的服务。 物联网的特征 全面感知 利

魔改Hexo-Aurora主题

前言 Aurora主题是由@三钻开发的Hexo主题。主题大气美观,但作为面向大众的设计,仍有一些小众的需求未能被满足。因此我就按照自己的需求进行了魔改,也就是Aurora-s。需要注意的是: 在我修改的内容里,有一部分修改的一些提示文字无法被自定义,比如加载动画下方的提示文字 修改版本的Aurora-s基于AuroraV2.5.2,会尽力跟进原版更新内容,但不能保证完全采纳 Aurora在美观性上几乎是无可挑剔的,但在功能性上仍有欠缺,比如阅读体验上。上图是在笔记本的小屏幕上截取的原版页面,可以看到组件

GithubWebhook解析服务

Webhook Webhook是一种基于HTTP的回调函数,可在两个应用编程接口(API)之间实现轻量级的事件驱动通信。客户端向服务器API提供唯一URL,并指定它想要知道的事件。设置webhook后,客户端不再需要轮询服务器;发生指定的事件时,服务器会自动将相关的有效负载发送到客户端的Webhook URL。 Webhook可以是实现自动化的重要一环,而且实现简单(仅一次http请求,可以嵌到任何地方),国内飞书、钉钉和企业微信等都支持Webhook推送消息。 以上是好处,那么坏处就是http请求的参数不统一,就

保研文书模板

声明:本文非原创,原地址是github上yuezih的King-of-Pigeon仓库,但目前作者已经删除了该仓库。原作者删库跑路的原因是自己组里的鸽子飞跑了,这里还是倡导大家谨慎鸽老师。 King of Pigeon:计算机保研文书实用模板 --- ### What's New 2022/10/27 Overhauled and removed some useless content. 2022/04/08 Added Resume (or CV) template and Festival Wishes templates. 2022/03/15 Some updates to meet 100 stars! 2022/03/14 We published a Python package with the Python Package Index, try pip install pigeonking && pigeonking! 2022/03/14 Reimplemented the code with Github Copilot. 2021/11/07 Added How to Breakup Without Just Cause template. 2021/09/17 Added Recommendation Letter Request and Recommendation Letter templates. 2021/09/16 Added Self-recommendation Letter template and Offer Confirmation template. 2021/09/14 Published Pigeoning and Licking Back template. We hope these templates will help you get up the courage to explain to the mentor as soon as possible. 简历 本仓库提供了一份简历模板【点击下载】,以及一些制作简历时

保研经验帖

基本情况 末流211计算机学院大数据专业,排名(2/99),CET6 (553),三段项目经历,无paper,一些水奖; 夏令营 夏令营基本情况可见下图: 其中入营了13个,除了一些宣讲性质不发offer的和中科院系列(没联系导师),一共参加了5个夏令营。以下对这5个夏令营的经历以流水账的形式呈现。 吉林大学软件学院 夏令营考核于6月18日-6月19日远程考核,首先请每位营员进行500字以内的自我介绍(时间不超过2分钟);然后抽取试题,回答问题;最后专家提问,回答问题。 英语: How to improve youself in the future? 计网:电子邮件协议的
0%