爬虫-点击图片验证码(按词找图) 发表于 2021-03-08 更新于 2024-03-17 分类于 Python > Selenium > 验证码 本文字数: 1.7k 阅读时长 ≈ 6 分钟 前言: 在我们使用爬虫登录账号中常常会遇到各种验证码,如:图片验证码、滑块验证、计算验证码… 其中图片验证码又可分为识别图片内容和按词找图(12306)等类别。识别图片内容的验证码可以用云打码、Tesseract、第三方(腾讯、阿里、百度)文字识别接口等方法识别,然而对于给定一组词语,然后根据给定的词语点击相应图片的验证码又该如何应对呢(如:12306登录验证)? 阅读全文 »
Crawlab v0.5.x 使用教程(Python) 发表于 2021-03-04 更新于 2024-03-17 分类于 Python > 爬虫框架 本文字数: 1.6k 阅读时长 ≈ 5 分钟 简介 Crawlab是基于Golang的分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架。 本教程是针对Python用户来写的一份Crawlab简单上手指南! 另外附上 宝塔下安装 Crawlab 教程,有需要的可以看一看! 如果还有什么不懂得也可以参考Crawlab官网文档! 阅读全文 »
爬虫管理平台推荐 发表于 2021-03-01 更新于 2024-03-17 分类于 Python > 爬虫框架 本文字数: 326 阅读时长 ≈ 1 分钟 推荐列表 Crawlab ScrapydWeb Gerapy SpiderKeeper 阅读全文 »
在宝塔下使用uwsgi上线Django项目 发表于 2021-02-27 更新于 2024-03-01 分类于 Python > Django部署 本文字数: 1.6k 阅读时长 ≈ 5 分钟 部署准备 购买服务器和备案域名(这里以Cent OS 8.x为例) 在服务器上安装宝塔以及 Nginx 等必要软件 准备要上线的 Django 项目 阅读全文 »
Django-通往Hacker之路 发表于 2021-02-26 更新于 2024-03-17 分类于 Python > Django拓展 本文字数: 852 阅读时长 ≈ 3 分钟 通往 Hacker 之路 如何更高效地寻求帮助? Hacker 的成长之路 阅读全文 »
Django-快速迭代开发过程 发表于 2021-02-26 更新于 2024-03-17 分类于 Python > Django拓展 本文字数: 1.3k 阅读时长 ≈ 4 分钟 快速迭代开发过程 快速迭代的价值与挑战 使用 OOPD 方法识别产品核心功能 如何做好技术方案设计与工作拆解 如何保证交付质量和持续迭代 阅读全文 »
Django-云环境中的持续集成 发表于 2021-02-26 更新于 2024-03-17 分类于 Python > Django拓展 本文字数: 658 阅读时长 ≈ 2 分钟 CICD的工作流程 CICD 包含如下流程 Build & Package Test Deployment 阅读全文 »
Django-云环境中的部署 发表于 2021-02-25 更新于 2024-03-17 分类于 Python > Django拓展 本文字数: 3.2k 阅读时长 ≈ 11 分钟 容器的基础用法 – Docker 容器介绍 Docker 码头工人,轻量级的,可移植,自包含的容器,来自动化、版本化应用的发布 Docker上跑的容器是一个个的集装箱 Docker的基础是LXC LXC用于应用程序的隔离,每个应用程序分配独立的命名空间,隔离的CPU, 内存,磁盘,网络资源 每个应用内部可以单跑一套容器系统,功能上相当于传统的虚拟机,但本质上是内核层面对资源的隔离 Docker 容器的分层和版本管理 Docker把应用和系统打包到一起(image镜像),进行版本化管理 应用之于Docker,如同代码之于Git/SVN,一个命令可以把应用部署到docker上 阅读全文 »
Django-生产环境中的安全 发表于 2021-02-25 更新于 2024-03-17 分类于 Python > Django拓展 本文字数: 2.2k 阅读时长 ≈ 7 分钟 生产环境的安全设计 生产环境安全要考虑的因素 防火墙:把攻击挡在外面,建立安全区 应用安全:密码攻击 & 访问限流 – 防恶意攻击 架构安全:部署架构的安全性,应用架构安全设计 数据安全:SSL,敏感数据加密与日志脱敏 密码安全与业务安全:权限控制 & 密码安全策略 阅读全文 »
Django-接入监控告警 发表于 2021-02-25 更新于 2024-03-17 分类于 Python > Django拓展 本文字数: 534 阅读时长 ≈ 2 分钟 让故障第一时间被感知到:接入监控告警 Sentry 错误监控与告警 告警趋势可视化:Prometheus & Grafana 概念介绍 告警趋势可视化:Prometheus & Grafana 架构 Prometheus & Grafana 接入 配置 Grafana 大盘 阅读全文 »