Python技术分享

一个支持多存储的文件列表 / WebDAV 程序，使用 Gin 和 Solidjs。

前言

工作中对于需要 VPN 才能爬取的网站，该如何爬取该网站上的数据呢？

做一个 Request 的步骤是什么样的？

1. 找到接口（动态数据或静态数据）
2. 确定数据的请求方式（GET 获取、POST 提交）
3. 检索请求参数、请求头参数，查看表单、数据是否存在加密内容
4. 构建一个 headers (思考：如何验证正确的 headers)
5. 发送请求

• Playwright 是由 Microsoft 开发的，最初版本发布于 2020 年初。它是在 Google 的 Puppeteer（另一种流行的浏览器自动化库）的基础上构建的，并且由相同的团队成员开发，这些成员后来加入了 Microsoft。Playwright 旨在解决跨浏览器测试的兼容性和一致性问题，提供一个统一的 API 来支持多个浏览器，这使得它很快成为自动化测试和 Web 开发者社区中受欢迎的工具。
• Playwright 是一个开源的自动化库和工具，用于 Web 测试和自动化。它允许开发人员通过使用相同的应用编程接口 (API) 在多个浏览器中（如 Chromium, Firefox, 和 WebKit）编写脚本以模拟用户操作。Playwright 支持多种编程语言，包括 JavaScript、TypeScript、Python、C# 和 Java，这使得它可以集成到不同的开发环境中。
• 使用 Playwright，开发人员可以执行各种浏览器自动化任务，如页面导航、元素选择、文本输入、文件上传下载、执行 JavaScript 等，以及创建端到端的测试用例。此外，Playwright 能够处理现代 Web 应用程序中的高级用例，包括对单页应用程序 (SPA) 的支持、执行网络请求拦截和模拟、捕获浏览器控制台的日志，以及生成页面截图和 PDF 文件等。

前言：

平时在使用 Selenium 抓取网络数据的时候经常会遇到 Selenium 被网站识别的情况，从而导致获取不到有效的数据，那么该如何屏蔽网站对 Selenium 的识别，从而获取所需数据呢？

简介

使用 SFTP 部署 Hexo 项目，即：使用 SFTP 将 Hexo 生成的的静态文件 (public 目录) 上传到服务器。

简介

eval 混淆，其实就是利用了 eval() 函数的特性，它跟 Python 里的 eval 函数差不多，能把字符串解析成代码来执行。

简介

JJEncode、AAEncode、JSFuck 都是由日本的同一个作者 Yosuke HASEGAWA 开发。

• feaplat 命名源于 feapder 与 platform 的缩写，读音： [ˈfiːplæt]
• feaplat 是一个爬虫管理平台，支持任何 python 脚本，包括不限于 feapder、scrapy
• feaplat 支持浏览器渲染，支持有头模式。浏览器支持 playwright、selenium

• 协程：微线程，底层是通过是通过生成器（generator）完成
• 使用场景：耗时操作，如：网络请求、网络下载（爬虫）、IO（文件读写）、阻塞
• 目的：高效利用 CPU
• 特点：与线程相比，协程的执行效率极高，因为只有一个线程，也不存在同时写变量的冲突，在协程中共享资源不加锁，只需要判断状态