Python技术分享

• 一个支持多种存储的文件列表程序，使用 Gin 和 Solidjs。
• OpenList 从一开始就设计为易于安装，并且可以在所有平台上使用。
• OpenList 支持多个存储提供商，包括本地存储、阿里云盘、OneDrive、Google Drive 等，且易于拓展。
• OpenList 支持所有 WebDAV 存储，这是一种用于访问文件的标准。
• 为特定路径添加密码保护和身份验证。
• 支持视频、音频、文档、PDF、图片预览等，甚至支持 ipa 安装。
• 使用浏览器的 stream api 支持打包下载，无需使用服务器 / 使用Aria2进行批量下载支持文件夹。
• 使用单点登录自动注册为 OpenList 帐号快速注册。
• 将种子内容离线下载到指定的目录內，需要苛刻的网络环境。
• 任何人都可以安全地将加密数据存储在远程存储提供商上。数据存储在保险箱中，提供商只能看到保险箱，看不到您的数据。
• 包括文本编辑器、README/HTML 渲染、文件永久链接、Cloudflare Workers 代理等。

前言

工作中对于需要VPN才能爬取的网站，该如何爬取该网站上的数据呢？

做一个Request的步骤是什么样的？

1. 找到接口（动态数据或静态数据）
2. 确定数据的请求方式（GET获取、POST提交）
3. 检索请求参数、请求头参数，查看表单、数据是否存在加密内容
4. 构建一个headers(思考：如何验证正确的headers)
5. 发送请求

• Playwright 是由 Microsoft 开发的，最初版本发布于 2020 年初。它是在 Google 的 Puppeteer（另一种流行的浏览器自动化库）的基础上构建的，并且由相同的团队成员开发，这些成员后来加入了 Microsoft。Playwright 旨在解决跨浏览器测试的兼容性和一致性问题，提供一个统一的 API 来支持多个浏览器，这使得它很快成为自动化测试和Web开发者社区中受欢迎的工具。
• Playwright 是一个开源的自动化库和工具，用于Web测试和自动化。它允许开发人员通过使用相同的应用编程接口 (API) 在多个浏览器中（如Chromium, Firefox, 和 WebKit）编写脚本以模拟用户操作。Playwright 支持多种编程语言，包括 JavaScript、TypeScript、Python、C# 和 Java，这使得它可以集成到不同的开发环境中。
• 使用 Playwright，开发人员可以执行各种浏览器自动化任务，如页面导航、元素选择、文本输入、文件上传下载、执行JavaScript等，以及创建端到端的测试用例。此外，Playwright 能够处理现代Web应用程序中的高级用例，包括对单页应用程序 (SPA) 的支持、执行网络请求拦截和模拟、捕获浏览器控制台的日志，以及生成页面截图和PDF文件等。

前言：

平时在使用 Selenium 抓取网络数据的时候经常会遇到Selenium被网站识别的情况，从而导致获取不到有效的数据，那么该如何屏蔽网站对Selenium的识别，从而获取所需数据呢？

简介

• 使用SFTP部署Hexo项目，即：使用SFTP将Hexo生成的的静态文件(public目录)上传到服务器。
• ⚠ 因为其依赖的 ssh2 存在漏洞，所以使用需慎重，具体参考：#15，希望作者可以早日修复。

简介

eval混淆，其实就是利用了eval()函数的特性，它跟Python里的eval函数差不多，能把字符串解析成代码来执行。

简介

JJEncode、AAEncode、JSFuck 都是由日本的同一个作者Yosuke HASEGAWA开发。

• feaplat 命名源于 feapder 与 platform 的缩写，读音： [ˈfiːplæt]
• feaplat 是一个爬虫管理平台，支持任何python脚本，包括不限于 feapder、scrapy
• feaplat 支持浏览器渲染，支持有头模式。浏览器支持 playwright、selenium

• 协程：微线程，底层是通过是通过生成器（generator）完成
• 使用场景：耗时操作，如：网络请求、网络下载（爬虫）、IO（文件读写）、阻塞
• 目的：高效利用CPU
• 特点：与线程相比，协程的执行效率极高，因为只有一个线程，也不存在同时写变量的冲突，在协程中共享资源不加锁，只需要判断状态