阅读全文 »

下载图片

准备工作

1.创建项目

2.创建爬虫

第一种.开始文件配置–pipeline

1.seetings文件

1
2
3
4
5
6
7
8
9
10
11
ROBOTSTXT_OBEY = False 
DOWNLOAD_DELAY = 1
DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Accept-Language': 'en',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11'
}
ITEM_PIPELINES = {
'项目名字.pipelines.管道文件类': 300,
}

2.items文件

1
2
3
4
class items文件类(scrapy.Item):
items文件类变量 = scrapy.Field()
items文件类变量 = scrapy.Field()

阅读全文 »

scrapy简单介绍

适合静态网站,或者数据量非常大的网站

安装

1
2
pip install --upgrade pip
pip install Scrapy

一般安装没什么问题,我的python3.9版本

使用

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
都是在cmd中执行,不用创建文件夹,项目会直接创建一个文件夹
1.scrapy startproject 项目名字
会创建一个以项目命名的文件,进入这个文件夹
创建爬虫
2.scrapy genspider 爬虫名字 网站域
这步也可以自己修改文件完成,网站域加引号
爬虫名和项目名不能相同
3.进入spiders目录
打开 爬虫名字.py文件
4.配置
可以配置网站域
配置首个查询的网站地址
处理请求和响应,以及提取数据(yield item)
5.测试 打印相应文件
def parse(self, response):
print(response.body)
#pass
5.编写管道pipelines.py 处理spider返回的数据,比如本地持久化存储等
编写seeting.py,启动管道组件以及其他配置
6.执行爬虫
scrapy crawl 爬虫名字
7.输出结果
scrapy crawl 爬虫名字 -o 输出文件(支持json.xml,csv,jsonl)

文件说明

1
2
3
4
5
6
7
8
9
10
11
12
13
14
tutorial/
scrapy.cfg # 部署配置文件

tutorial/ # Python模块,代码写在这个目录下
__init__.py

items.py # 项目项定义文件

pipelines.py # 项目管道文件

settings.py # 项目设置文件

spiders/ # 我们的爬虫/蜘蛛 目录
__init__.py
阅读全文 »

基本操作

用的不是很多,也不是很熟练,一时半会想不起来,所以写这篇文章,为了以后方便使用

创建文件

在hexo站点目录,执行git bash

  1. hexo new 新文章名字
  2. categories:类别属性,一般写三个分类,逐渐递进(categories: 后面又空格)
  3. tags:标签,写两个左右就好(tags: 后面又空格)
  4. password:输入密码

打开站点

  1. hexo clean && hexo g && hexo s
  2. hexo d 部署网站

md操作

1.选项卡

阅读全文 »

浏览器的介绍

1.功能

搜索:搜索引擎,百度,搜狗,谷歌,360等等

展示:我感觉是静态的网页,展示东西

信息交互:动态的网页

常见的浏览器:

​ edge,ie,谷歌浏览器,火狐浏览器,国产浏览器

​ 各有好坏吧

自从flash被停止以后,只有国产的flash还能继续使用flash,比如QQ农场这样的游戏

阅读全文 »

QQ资料和申请好友

有一些QQ号搜索不到(开启了权限),不能添加好友

查看资料

1
tencent://ContactInfo/?subcmd=ViewInfo&puin=0&uin=QQ号

申请好友

1
tencent://AddContact/?fromId=45&fromSubId=1&subcmd=all&uin=QQ号

放在浏览器地址栏,或者在QQ消息中点击就出现相应界面

阅读全文 »

雪花效果

成功了一种方式

CSS美化

参考:https://www.cnblogs.com/LyShark/p/11834144.html

彩色标签

参考:https://zhengyujie.github.io/2019/08/20/hexo%E5%BD%A9%E8%89%B2%E6%A0%87%E7%AD%BE/
https://www.liaofuzhan.com/posts/4158923031.html

阅读全文 »

阅读全文 »

插件hexo-next-darkmode

安装

1
npm install --save hexo-next-darkmode

功能

切换网站的亮暗模式

手动配置文件没成功,只能使用插件

暗黑模式的样式很难看

使用

在next的_config.yml配置文件添加

阅读全文 »

插件hexo-lazyload-image只加载当前需要显示的图片

安装

1
npm install hexo-lazyload-image --save

配置

站点配置文件

1
2
3
4
lazyload:
enable: true
onlypost: false
loadingImg:

参数说明:
onlypost:
是否仅文章中的图片做懒加载, 如果为 false, 则主题中的其他图片, 也会做懒加载, 如头像, logo 等任何图片.
loadingImg - 图片未加载时的代替图:
不填写使用默认加载图片,如果需要自定义,添填入loading图片地址.
如果是本地图片,不要忘记把图片添加到你的主题目录下. Next 主题需将图片放到~\themes\next\source\images目录下,然后引用时: loadingImg: /images/图片文件名

阅读全文 »

添加 一言

代码

1
2
3
<script type="text/javascript" src="https://api.uixsj.cn/hitokoto/w.php?code=js"></script><div id="xsjhitokoto"><script>xsjhitokoto()</script></div>

<script type="text/javascript" src="https://api.uixsj.cn/hitokoto/en.php?code=js"></script><div id="enhitokoto"><script>enhitokoto()</script></div>

将下面这段代码放入页面内需要展示一句话的位置即可。你可以放在文章中,侧栏中。



中英文版 使用方法同上


阅读全文 »

插件hexo-tag-dplayer

安装

1
npm install hexo-tag-dplayer --save

使用

代码(md文档直接显示)

1
{% dplayer "url=http://www.nenu.edu.cn/_upload/article/videos/03/5f/7c999eed42e3aadc413d7f851f0e/0f50b3eb-9285-41d2-ac4d-6cc363651aad_B.mp4"  "autoplay=true" "preload=metadata" "hotkey=true" %} 

代码:(优酷视频)

1
<iframe height=498 width=510 src='https://player.youku.com/embed/XMjk4ODAyMzIyOA==' frameborder=0 'allowfullscreen'></iframe>
阅读全文 »