Python爬虫回顾(爬报价网)
爬虫Spider
该爬虫分为两部分,分别为Spider.py和model.py
Spider.py该文件主要业务逻辑是调用Selenium来通过自动化测试的方法实现模拟人的行为来对网页进行请求,并将请求到的HTML提取为文本,为后续的数据抽取做铺地。需要的第三方工具包Selenium,scrapy,timespider.py具体实现12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455from selenium import webdriver # 使用chromedriver必需from scrapy import Selector # 使用Selectorimport time # TimeSleep休眠from Interests.models import * #表示models文件处于Interests文件夹下from selenium.common.exceptions import *domin = &quo ...
部署Hexo最全面的方法,就交给你了~
When it’s time to move on, I hope you don’t back down.
Hexo是什么?(这个我就不多BB了,去官网看看吧,介绍什么的真的不适合我……)你可能需要有如下准备:1,一台电脑(Windows或Linux均可,差别不大)
2,拥有自己的域名,没有的话可以在腾讯云或者阿里云上申请。(国内的便宜但是需要备案)
3,一个带有Page服务的仓库(推荐Github,Coding)
4,最后就是耐心(这个过程可能会很枯燥的说~)
正式文章之前1,障碍扫除。在其他Hexo 和 Github 搭建博客的文章中你肯定见过这些:Hexo、Github Pages、SSH 配置、域名解析、A 记录、CNAME。这些究竟是什么东西?有时候真的会很懵,搞得自己晕头转向,我曾今在搭建博客的路上走了不少弯路,我只是希望你能少走些弯路。这一部分就是先帮我们理清思路的。
2,模块区分。这里将 Hexo 和 Github Pages 搭建博客的流程一共分为如下 3 大模块:
**Hexo 本地建站:**这一模块利用 Hexo 在本地(你的电脑)内生成你的网站,可以通过 ...
Python面向Socket编程Demo
自定义消息协议实现基本客户端服务器通信。
产品需求说明:
1,实现消息的转发(服务器为客户转发消息) 2,处理登录(服务器能够监听客户请求登陆的action) 3,处理退出 (退出动作能够被服务器接收到) 4,维护历史消息,维护在线用户,维护在线用户的连接
详细细节:1, 多线程去处理每个用户连接,防止主线程阻塞
2,自定义了消息协议,并且自己完成了消息协议的解析
代码客户端:
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596import socketimport jsonimport threadingclient = socket.socket()client.connect(("10.211.55.31", 8000))user = &q ...
Python爬虫前置配置及Demo
Summary: 最近删掉了win8虚拟机,给我整了一天,最后各种虚拟环境才搭建好。
以后再做一个决定之前,一定要考虑这个决定的后果,带来的影响和后果。
原文,我的博客园 Python的虚拟环境搭建(踩坑日记) 1,安装Python安装成功后要在环境变量path中添加python和pip的两个环境变量。
分别为:C:\MyApplications\Python;C:\MyApplications\Python\Scripts 检查:在CMD中输入python,pip来检查是否安装成功
配置环境变量:
1.在桌面上找到计算机图标 ( win7系统显示为计算机,win10系统显示为此电脑)。
2,使用鼠标左键点击选中图标,然后点击右键,在右键菜单中选择属性。
3,.在弹出的新窗口中,找到左边的高级系统设置单击打开系统属性窗口,确认选中的是高级选项卡面板,然后 点击窗口下方的环境变量,打开环境变量窗口。
4,在系统变量的列表中【这里以Win7为例】,找到path,点击编辑打开开编辑窗口,在变量值处填写Python的安装目录所有一定要记好自 ...
基于Python的Socket服务器和客户端通信(Pycharm)
最近在玩python,通过学习socket,就想试试服务器和客户端的通信。^_^
ip和端口这俩有点东西,一顿乱整摸出点门路,也算是为我下学期的计算机网络打下了铺垫了^_^
情景1:写了客户端和服务器的代码,先运行的客户端,一直在提示如下图
出现这种情况具体是因为,服务器还没有先执行,都没有listen(监听端口),所以出现了这种情况。
解决办法:先运行服务器的代码,再跑客户端
情景2:
这种情况是运行了两次服务器代码,多次占用一个端口号,而Python只有一个端口号(眼神不好就不要乱运行!!)
不要默认点运行的第一个按钮,要不总是运行的都是上一次的代码。以后一定注意。
情景3:说说ip地址,通常客户端连接的是自己机器上的ipv4地址,服务器输入(0.0.0.0)就好了。
Windows下查看在cmd中输入ipconfig
Mac和Linux在终端中输入:ifconfig
最后放两张运行成功的图片
最后:上代码:
客户端:12345import socketclient = socket.socket()client.connect(('10.211.55.31 ...
Speaking-Skills
b9a2f359a78cc900c6b7b98b312f9de9df895c58b4fbb8f4faf44cd72ac6342ae3a31b59fcf406bcf3b1e1640cac1a60b05489bf52a1f6c9f2c9fc82a6df14d210ddb83e451f315e18302235da83eb16f74e9ccad20e0e9032a5546c1f2dcf6e680df4537a8f96d5a2d792d7598e61cf5ea22e52190f758a412da516d38db3feebf4fa7863fc1ca38a63388228869227060f4478c131fe9af0e8d49c48fb0e4a696988519003748fcf0cf96b7f76ca6ee2ab32cf445ef5e0654511f5fa1b209bd5e24bc7111be35ccac97d445d617d9f6c262829841f3c2d3ebce7b1620cb5092deddf6420fcc529e1836b58d54b87442ff3a7236f7331c48 ...
Mind-Method
b9a2f359a78cc900c6b7b98b312f9de9b932064ebe8fc6441e4de172301ed8310977655d234491187d5a06e9cdd44db16d37fec08fbd7430e3ed464aaba06ddbd7740551f62c4a7b4077690f9c5e4a918f8edb56b33293190736f1fdeadb56690059216ff04eba53e5eaa9108e2faa5b23eafc82f42f1c6f26fc666db0b275e4e8a2ee62ce0c62e4e7aec88a25145b69aa7d8ece4beb6e1301bf7345632defd0380e3a87316ed01ec9dcc5c0cc7e196d54e1f256dbbd170021658382810de8096ae2e293c480735d5bd76d1b130543eb61708b7fbae5ec12483af041a196655c6d56ecb688dfce5c1385e9521472def4f0308b704d600a2c3 ...
Humanity
b9a2f359a78cc900c6b7b98b312f9de95b23148638738a7b0689466d0ed94f3201e11fb912594aa566b0c99f5135c9e9f84e949acd6f3fc69dbebf676662a304fc95e1f8ebbf49685de01137eb90b11967a1fba8d7d97db4446bf9695683444ff81d1f7a62b33e29d0a6675d8c336b70f4dd7c693aff2b7b1bb64ef04c4a0288a56cfcd9a60e15435f0b88cf87c2d96f72bf4f0e3ae2da7799579685f165bc323cef98a0213c154bd42b89573cdf12206a0bfb22e6942fcd173ce0087a3fb3f64a0ce9059b1a8a772249603fc1a7ffa909167dcc2bb39a1ae16dc37c82ec526a11eed69540a208c4513ce5e83bebb926cd3823dfdcdd02e35 ...
Mind-Method-Backup
b9a2f359a78cc900c6b7b98b312f9de9b932064ebe8fc6441e4de172301ed8310977655d234491187d5a06e9cdd44db16d37fec08fbd7430e3ed464aaba06ddbd7740551f62c4a7b4077690f9c5e4a918f8edb56b33293190736f1fdeadb56690059216ff04eba53e5eaa9108e2faa5b23eafc82f42f1c6f26fc666db0b275e4e8a2ee62ce0c62e4e7aec88a25145b69aa7d8ece4beb6e1301bf7345632defd0380e3a87316ed01ec9dcc5c0cc7e196d54e1f256dbbd170021658382810de8096ae2e293c480735d5bd76d1b130543eb61708b7fbae5ec12483af041a196655c6d56ecb688dfce5c1385e9521472def4f0308b704d600a2c3 ...
道德经
《道德经》第一至第十章《道德经》的前十章是整部经典的核心基石,集中阐述了“道”的本体概念、万物的相对性辩证法,以及圣人如何将“道”应用于修身与治世之中。
以下是对第一至第十章的核心名句、思想解析以及现代启示的全面拓展:
第一章:众妙之门 —— 道的本质与不可言说
核心名句:“道可道,非常道;名可名,非常名。”
思想精要:开篇明义,指出真正的“道”(宇宙的根本规律和本源)是超越语言和概念的。语言能表达的只是常态表象。想要体悟道,既要从“无”中去观察其奥妙,又要从“有”中去观察其边界和踪迹。
深度拓展与现代启示:这一章是深刻的认识论。在现代社会,我们极易被“标签”、“定义”和“固有概念”所束缚。老子提醒我们,宇宙和人生的真相是流动的、不可被完全定义的。打破固化思维,保持对未知的敬畏,不执着于表象,才能看到事物发展的底层逻辑。
第二章:有无相生 —— 相对主义与无为
核心名句:“天下皆知美之为美,斯恶已。皆知善之为善,斯不善已。”故有无相生,难易相成,长短相形,高下相倾,音声相和,前后相随。”
思想精要:提出了朴素的辩证法。美与丑、善与恶、难与易都是相对存在、相互依存的。因此,圣人处事不执 ...


