Python数据分析及可视化实例目录

Python数据分析及可视化实例目录

经历

I am not a designer nor a coder. I'm just a civil engineer with a point-of-view and a computer.

翻译:俺不是码畜,俺只是一条对着电脑有点想法的土木狗。

【自我介绍】Civilpy ’s 腾讯文档使用说明书



笔者1982年出生,西南交通大学渣硕,目前仍在土木行业(PS:年纪大,跳不动)。

2001-2005年,本科阶段学的C艹,60几分飘过。

2005-2008年,研究生阶段用Ansys、Flac3D做数值分析。

2008-2014年,毕业后,利用业余时间捣腾过一段时间网赚(卢松松博客,竟然还能访问),使用易语言(大漠插件等)做过一些辅助工具;也交过学费,套用商业建站模板,做过一个自己的博客网站(已经报废)。

2014年,在我乎知道Python,这个时候还是python 2.7的时代;跟着廖雪峰、挖煤哥、虫师的博客开启爬虫取数之旅。

2016年,通过注册岩土专业考试,之后,便萌生了一个New idea,越发觉得少个程序员,或越发觉得自己的编程能力有待提高。

2017年,参照狗书用Flask+mongoDB完成网站intumu.com,和你现在访问的不太一样,早期版本采用原始的Bootstrap,参照阮一峰博客调整页面布局;现在采用AdminLTE框架,JS单页H5应用已不在话下,更有意向Web 3.0转型。

2018年,上线了微信小程序:注册土木;期间也开发了几个其他品类的小程序,因为需求定位的原因几近荒废。

2019年,出版一本关于Bokeh数据可视化的书籍。

2020年,继续提升数据分析到数据挖掘Skearn。

2021年,年底整理了一本Skearn在土木工程中应用的书籍;回头望,编程领域还是回到Web数据动态可视化,这块是我的强项。

2022年,重构狗书,整了一本Flask+MongoDB的书,其中包含了web3.0的实例;后面可能会在Flask+MongoDB+Bokeh的基础上做一些可以落地的小项目(PS:大项目,整不动)。



以上写在2023-1-17,且都是基于Python库,再回首,作为一条资深卷狗,40多岁的我,会在Python这条路上一直探索,至于土木领域,反倒一切随缘了,TMD!


---2024-1-1 最近一年一直在尝试AIGC,B站同名账号Civilpy,有我的近期作品---

2020 年出版《Python 数据可视化: 基于 Bokeh 的可视化绘图》(ISBN:9787111641643)
2021 年 出 版 《 机 器 学 习 实 战 : 基 于 Sklearn 的 解 析 》(ISBN:9787113291693)
2024 年 出 版 《 Web3.0 应 用 开 发 实 战 ( 从 Web2.0 到 Web3.0) 》(ISBN:9787512442467)



经验

  • 一旦遇到问题,请过滤掉专家的意见,只采纳跟你有类似经历的人的意见。
  • 做好最坏的打算,以最积极的心态去面对,而不是逃避。
  • 学不学编程,完全取决于是否想学,其他的别多想。
  • 种一棵树最好的时间是十年前,其次是现在。

作品

(1)2018-2019本主归纳整理了一本书《python数据可视化:基于bokeh的可视化绘图》,如果你在学习或从事数据分析,对数据的安全性和可视化的美观性有一定的要求,那么欢迎使用Bokeh;如果恰好你还有点Django、Flask基础,那么,Web动态数据可视化会使你的数据报告锦上添花,别不信,看看Github上各种可视化库的标星数!下图中数据更新于2020-12-01:

2020-12-01采集的数据

零、前言

yeayee:一条土木狗撸python的跨界之路

yeayee:土木、机械等传统行业转行Python的几个方向?

yeayee:数据分析专业词条索引

一、安装

1.1Python安装

1.2Pycharm安装及虚拟环境配置

yeayee:Win平台本地Python虚拟环境复制迁移

1.3Pip安装依赖库

yeayee:Python数据分析及可视化之python安装

1.4 Python基础

yeayee:Python数据分析及可视化实例之基本语法


二、初级篇


yeayee:从三通一平开始进场Python

yeayee:Python对象类型之数字

yeayee:Python对象类型之字符串

yeayee:Python对象类型之索引与切片

yeayee:Python对象类型之列表

yeayee:Python对象类型之元组

yeayee:Python对象类型之字典

yeayee:Python对象类型之集合

yeayee:Python对象类型之判断

yeayee:Python对象类型之循环

yeayee:Python对象类型之列表推导式

yeayee:Python必备之函数

yeayee:Python之时间格式处理

yeayee:Python之面向对象基础

yeayee:Python之面向对象装饰器

yeayee:Python之面向对象重载

yeayee:Python之面向对象类的继承与多态

yeayee:Python基础之异常处理

基础魔法是在实践中不断迭代、精进的,

Talk is cheap, show me your code.

2023-6-26 准备给自家小孩教学用的课件:

Python有哪些优缺点?

Python的变量是什么?

Python数据类型有哪些?

Python运算符是啥呀?有几种呀?

Python控制流程是什么?

Python控制流程是什么?

Python条件语句是什么?

Python函数是什么?

小猪佩琪: Python模块是什么?

Python包是什么?

还有另一部分课件,适合小白,已经发布在公众号【调包】,就不在知乎展示了。


三、中级篇

第1章 安装(已前置)

第2章 数据采集

2.1数据采集简介

yeayee:Python数据分析之数据采集获取技能树(爬虫)

2.2 Re正则

yeayee:Python数据分析及可视化实例之正则Re

2.3 Request、BeautifulSoup

yeayee:Python数据分析及可视化实例之Request、BeautifulSoup

yeayee:Python数据分析及可视化实例之爬虫源码

yeayee:Python数据分析及可视化实例之爬虫源码

yeayee:Python数据分析及可视化实例之爬虫源码

yeayee:Python数据分析及可视化实例之爬虫源码

python 爬取QQ群中的会员QQ号码

2.4 Selenium、PantomJS

yeayee:Python数据分析及可视化实例之Selenium、PantomJS

yeayee:Python数据分析及可视化实例之爬虫源码

yeayee:利用python request Selenium cookies 交互DIY八爪鱼采集器

2.5 多线程,多进程

yeayee:Python数据分析及可视化实例之多线程、进程

2.6异步高并发

yeayee:Python学习之异步编程asyncio

2.7 Pyspider、Scrapy简介

yeayee:Python数据分析及可视化实例之Pyspider、Scrapy简介

在Flask中不同的login作用域问题 - 知乎 (zhihu.com)

civilpy:暴力解决NLTK下载问题(没有用)

civilpy:微信小程序码实现网站登录流程


2.8 Python爬虫终结者:万用爬虫技术的实现

yeayee:使用Python及Fiddler获取任意微信文章的阅读数和点赞数,可用于监控

yeayee:基于Fiddler Selenium Requests的万用爬虫技术

civilpy:爬虫,俺最终还是把它们封装了,送给小白们~

civilpy:[Windows] 一个能用的微信小程序抓包方式(亲测)


第3章 数据存储与读取

3.1 存储方式简介

yeayee:Python数据分析及可视化实例之存储方式简介

yeayee:Python数据分析及可视化实例之CentOS7.2+MongoDB V3.4 安装

3.2 常规存储txt、csv、xls

yeayee:Python数据分析及可视化实例之常规存储txt、csv、xls

3.3 存储至数据库MongoDB

yeayee:Python数据分析及可视化实例之MongoDB增删改查

yeayee:MongoDB 流式聚合(管道与表达式)

3.4 数据库备份及迁移

yeayee:Python数据分析及可视化实例之MongoDB备份迁移

yeayee:Python数据分析及可视化实例之期中考试源码


第4章 Pandas数据分析

4.1 Anaconda、Jupyter简介

yeayee:Python数据分析及可视化实例之Anaconda、Jupyter简介

4.2 Numpy

yeayee:Python数据分析及可视化实例之Numpy

4.3 Scipy

yeayee:Python数据分析及可视化实例之Scipy

4.4 Pandas

yeayee:Python数据分析及可视化实例之Pandas函数速查表

yeayee:Python数据分析及可视化实例之Pandas十分钟入门

civilpy:Pandas中根据列的值选取多行数据,四种方法!

yeayee:Pandas Dataframe操作concat、join、merge

yeayee:Pandas crosstab()与pivot_table()和groupby()的比较

civilpy:使用pandas进行数据分箱

yeayee:Python数据分析及可视化实例之西安某小区房价初探源码

civilpy:Python数据分析之广东各地区房价多维度分析

yeayee:Python pandas教程推荐【本主强力推荐,全网最佳,免费教材】

Pandas50个高级操作,点评+扩充!【本主以注释,结合GPT3.5】

yeayee:某国外电商销售数据分析(含源码及数据源)

yeayee:某国外电商销售数据分析之客户留存(含源码及数据源)

yeayee:Python数据分析及可视化实例之全国各城市房价分析(含数据采集)


第5章 数据可视化

civilpy:matplotlib高阶操作-堆叠柱状图

civilpy:matplotlib高阶操作-水平堆叠柱状图



5.1 可视化图表应用简介

yeayee:Python数据分析及可视化实例之可视化图表应用简介

civilpy:Matplotlib图件布局

5.2 Bokeh与Pycharm、Jupyter交互生成本地常规图表

yeayee:Python数据分析及可视化实例之Bokeh与Jupyter生成可视化图表

yeayee:Bokeh数据动态可视化(安装)

yeayee:Bokeh快速入门

yeayee:Bokeh用基本符号绘图(核心)

yeayee:Bokeh视觉属性(核心)

yeayee:Bokeh数据标签

yeayee:Bokeh图表布局

yeayee:Bokeh图件的布局方式

yeayee:Bokeh处理分类数据

yeayee:Bokeh可视化实例|全国主要城市地铁运营里程及客流量

civilpy:Bokeh高阶使用笔记V0.1

civilpy:Bokeh可视化官方文档变得优秀了

civilpy:Bokeh数据高阶交互遗留的问题cb_obj、cb_data

civilpy:Flask + Bokeh + AdminLTE+MongoDB(半成品)

【成品请私我】

在Flask中不同的login作用域问题 - 知乎 (zhihu.com)

civilpy:Python Bokeh高阶控件交互示例代码

Echarts5

yeayee:蹭一蹭Echarts5的热度,用Python jinja2实现渲染

yeayee:Python调用echarts5实现数据可视化-01

yeayee:Python调用echarts5实现数据可视化-02-魅惑黑

yeayee:python 分析互联网企业黑名单数据

yeayee:Python加载basemap绘制分省地图

Python使用bokeh及folium实现地理位置信息的交互可视化

civilpy:使用 Python 地图绘制工具 -- folium tiles--地图API提供商

使用Basemap时matplotlib的色板映射 - 知乎 (zhihu.com)

civilpy:NetworkX转换为Bokeh动态可视化(D3.js)

civilpy:22款前端可视化UI|大屏|看板|数据座舱|作战室及相关推荐

【注】个别图形可用Echarts完成,想成为可视化大神,还是建议使用Bokeh或其他库

5.3 文本类词频统计生成自定义词云

yeayee:Python数据分析及可视化实例之词云

yeayee:Python 玩转wordcloud词云图片格式转化

yeayee:Python 任意网址转换为二维码

yeayee:Python将html文件转为图片

yeayee:Python将matplotlib结果转为Base64

5.4 地理坐标显示生成热力云图

yeayee:Python数据分析及可视化实例之热力云图

5.5 数据在线动态可视化

5.5.1 Flask Web开发

yeayee:Python数据分析及可视化实例之Flask Web开发

yeayee:Flask之Bootstrap前端Grid布局小结

yeayee:Flask中路由参数传递、请求方式小结

yeayee:Flask下载ZIP或RAR大文件——流式下载

5.5.2 Flask Web开发在线数据展示页面

带交互控件

5.5.3 Restful API接口开发

5.5.4 微信小程序开发在线数据展示页面

即便是个人开发者,也有必要做一下小程序

5.5.5 简易聊天室socketIO

civilpy:Flask SocketIO 简易聊天室

5.5.6flask+socketIO+echarts实时监控CUP

civilpy:flask+socketIO+echarts实时监控CUP

5.6 CentOS中Flask标准化部署流程

yeayee:Python数据分析及可视化实例之CentOS7.2+Python3x+Flask部署标准化配置流程

yeayee:【分享】文字、表格、公式图片识别神器V0.3

yeayee:Pyinstall打包moviepy遇到的两个问题

yeayee:Python GUI 之Tkinter小结

civilpy:Flask前端布局(flex)-疫情可视化

civilpy:极简Flask与Bokeh可视化范例

civilpy:Bokeh可视化官方文档变得优秀了

civilpy:Flask + Bokeh + AdminLTE+MongoDB(半成品)

VUE3安装过程中的几个坑

5.7Python+flask实现web3的可行路径

基于以太坊、Python Flask实现web3

civilpy:基于以太坊及Flask的web3尝试【被知乎保护】

基于以太坊及Flask的web3尝试【Metamask安装】

civilpy:Web3.0以太坊代币计量单位(ethUnit.toWei)

civilpy:微信支付V3版本的Python使用方法

civilpy:Web3.0-使用metamask获取某个账号(钱包地址)的余额、交易回执

civilpy:python 区块链与web3.0的关系

civilpy:Python web3.0实现:MetaMask钱包

civilpy:Python web3.0实现:web3.js

一个最简单的web3.0实例化过程(1) - 知乎 (zhihu.com)

一个最简单的web3.0实例化过程(2) - 知乎 (zhihu.com)

一个最简单的web3.0实例化过程(3) - 知乎 (zhihu.com)



civilpy:Python Flask MongoDB Web开发:前 言

civilpy:Python Flask MongoDB Web开发:安装

civilpy:Python Flask MongoDB Web开发:应用和请求上下文

civilpy:Python Flask MongoDB Web开发:请求分派、请求对象

civilpy:Python Flask MongoDB Web开发:请求钩子

civilpy:Python Flask MongoDB Web开发:响应Response

civilpy:Python Flask MongoDB Web开发:对比cookie与session

civilpy:Python Flask MongoDB Web开发:Jinja2模板引擎

civilpy:Python Flask MongoDB Web开发:使用Flask-Bootstrap集成Bootstrap

civilpy:Python Flask MongoDB Web开发:自定义错误页面


civilpy:《Flask Web开发:基于Python的Web应用开发实战》PDF全书下载

链接: pan.baidu.com/s/1FSQXQj 提取码: 2s26 复制这段内容后打开百度网盘手机App,操作更方便哦


civilpy:Awesome WebGIS资源导航


sendmail.bat

支持中文路径,切换盘符,执行py文件,实现一键发送

chcp 65001
cmd /k "e: & cd e:\\Mydocument\\pywork & python 邮件群发.py"


四、高级篇

第6章 Sklearn数据挖掘

6.1机器学习简介

yeayee:Python数据分析及可视化实例之机器学习简介

yeayee:Python数据分析及可视化实例之Sklearn基础

yeayee:Python 数据分析与挖掘的学习路径


6.2数据探索

yeayee:一个有用的Python可视化库yellowbrick-quickstart

yeayee:一个有用的Python可视化库yellowbrick-tutorial

yeayee:一个有用的Python可视化库yellowbrick-Anscombe's Quartet

yeayee:一个有用的Python可视化库yellowbrick-Feature Analysis


6.3 基本理论

yeayee:数据预处理:标准化,归一化,正则化

yeayee:数据预处理:特征选择

yeayee:Python计算协方差、相关系数

yeayee:数据挖掘之训练集、测试集


yeayee:数据挖掘之交叉验证

yeayee:数据挖掘之贝叶斯分类(垃圾邮件)

yeayee:数据挖掘之k-Means分类

yeayee:数据挖掘之决策树分类

yeayee:数据挖掘-决策树-利用Bokeh生成树状关系图


yeayee:Apriori中医病症辩证关联规则分析

civilpy:Aprior与FPTree(fp_growth)算法比较

yeayee:数据挖掘之SVM分类

yeayee:数据挖掘之协同过滤(1)

yeayee:数据挖掘之协同过滤(2)

yeayee:数据挖掘之KNN

yeayee:数据挖掘之PCA降维

yeayee:AdaBoost信用卡精准营销模型

yeayee:GBDT产品定价模型

yeayee:集成算法

yeayee:算法调参

补充:有时候比较了一堆算法,结果顺便试试LGBM或XGB,发现竟然浪费了这么多时间。除了分类、就是回归,本主更喜好时间序列的分析,预测未知。

6.4 其他实例

yeayee:Python数据分析及可视化实例之车辆MPG数据

yeayee:Python数据分析及可视化实例之基础-交叉验证及预测(波士顿房价)

yeayee:Python数据分析及可视化实例之疾病预测(分类)

yeayee:Python数据分析及可视化实例之泰坦尼克号存活预测

yeayee:Python数据分析及可视化实例之银行信用卡违约预测

yeayee:Python数据分析及可视化实例之披萨饼价格预测

yeayee:Python数据分析及可视化实例之个股走势预测

yeayee:Python数据分析及可视化实例之商品销量预测

yeayee:Python数据分析及可视化实例之基于RFM基本概念进行用户关怀

yeayee:Python数据分析及可视化实例之基于Kmean分析RFM进行用户关怀

civilpy:Python数据分析及可视化实例之基于TGI目标群体指数进行用户关怀

civilpy:Python数据分析及可视化实例之基于用户留存进行用户关怀

yeayee:Python数据分析及可视化实例之房屋制热、制冷功率预测

yeayee:Python数据分析及可视化实例之帝都房价预测

6.5 验证码识别

yeayee:Python 中文文本识别

6.5.1 验证码图片采集

6.5.2 验证码图片二值化、切割

6.5.3 聚类模型训练及测试

yeayee:Python数据分析及可视化实例之手写体数字识别

yeayee:Python数据分析及可视化实例之SKlearn训练结果持久化保存


6.6自然语言处理

6.6.1词频统计

yeayee:Python数据分析及可视化实例之文本处理词频统计

6.6.2停用词处理形成词袋

yeayee:Python数据分析及可视化实例之词袋word2bow

6.6.3文本相似度

yeayee:Python数据分析及可视化实例之文本处理文本相似度

6.6.4抽取文本主题

yeayee:Python数据分析及可视化实例之抽取文本主题

6.6.5情感分析

civilpy:我分析了3年的生财日历,你发现了什么?

6.6.6NLP小结

小节自己仅有的一点NLP(自然语言处理)技能树 - 知乎 (zhihu.com)


数据探索及数据不均衡处理完整案例 - 知乎 (zhihu.com)


civilpy:机器学习中如何解决数据不均衡问题


civilpy:AI中文语音克隆、语音合成——GitHub上babysor/MockingBird 项目源码部分功能实现

(AI孙燕姿莫名其妙的火了?)

civilpy:如何使用AI模型(如GPT、LLaMA),训练某一考试的教材、历年试题?


基于Python的伪全栈运营探索性学习之路

机器学习(ML)、人工智能(AI)和土木工程的(TM)关系?

(2023-5-1的一点思考:GPT进一步降低了各行业的基础门槛,如果通过它提高生产率才是关键,而不是通过卖GPt账号、卖GPT课程掘金;另外,国外大厂如OPenAI,提供了API,而国内的各种大模型还在遮遮掩掩,等数据都到了国外大模型的服务器,国内再想追赶,几乎是不可能的;还有,涉及到核心的数据,可问GPT算法,但是千万不要偷懒,将完整数据传给国外大模型;最后,web3.0才能拯救数据安全。)

第7章 量化分析

yeayee:用了8张图展示各省上市公司数量,你觉得哪个好看?

yeayee:Python量化学习-获取证券数据的几种方式

yeayee:Python 通过分析知乎话题推荐2021股票

civilpy:Python股票价格预测-中国平安

civilpy:Python股票价格预测-ARMA-中国平安

civilpy:Awesome Quant 源于量化资源的导航

civilpy:使用mplfinance实现K线图,以比亚迪为例

civilpy:以比亚迪为例,使用mplfinance分析KJD指标

以比亚迪为例,使用mplfinance分析MACD指标 - 知乎 (zhihu.com)

以比亚迪为例,使用mplfinance分析金叉、死叉 - 知乎 (zhihu.com)

以比亚迪为例,使用mplfinance分析跳空缺口 - 知乎 (zhihu.com)

以比亚迪为例,使用Ta-lib、mplfinance分析形态三只乌鸦、乌云压顶、十字星 - 知乎

以比亚迪为例,使用Ta-lib、mplfinance分析形态锤头,射击之星,早晨之星 - 知乎 (zhihu.com)

yeayee:Python获取基金分类

分享一个Python基金定投模型 - 知乎 (zhihu.com)



五、参考资料


上面所看到的文章只是Python的一角!

A. 视频教材:网易微课+慕课+其他(稍后整理,intumu.com

B. 纸质教材:机器学习实战(主要是用Python实现基本的算法,理解算法原理)



使用GridsearchCV暴力调参有时候也可以达到意想不到的效果:

blog.csdn.net/weixin_33


C. 深度学习:

  • 2019-09强力推荐:



D. 本主认为

最终需要将一个Idea落地为产品,并通过营销手段在市场上获取一席之地,才算小有所成。下面是本主近期的文章,仅供参考。

这一半年,大概整理了Skearn、Flask+mongoDB,加之之前的Bokeh可视化;在未来一段时间,将会把技能融合,以具体应用来展示Python黑魔法:


civilpy:【数据分析】卷的一逼,2022北京市朝阳区2022年考试录用公务员拟录用人员公示(第一、二批)

civilpy:【分享】文字、表格、公式图片识别神器V0.8

civilpy:Python 百度语音识别字幕生成器

civilpy:【分享】QQ群聊天记录统计分析 V0.2

civilpy:【Q群分析】QQ群聊天记录统计分析工具使用示例

civilpy:用Boostrap、Echart、JavaScripts做一个QQ聊天记录在线分析网页

civilpy:【副业】逗(dou)比(bi)视频下载神器 V 1.0.0

civilpy:10行代码de视频格式转换器

civilpy:Arcgis10.8安装包及安装教程

civilpy:Flask 和 Vue.js 开发部署实例(极简版)

civilpy:关于Flask中的request方法和数据,一定要明白

civilpy:使用Flask的两种在线词云生成方式

civilpy:VUE3安装过程中的几个坑

civilpy:基于以太坊、Python Flask实现web3

civilpy:Python 爬取阿里健康西安疫情数据可视化

civilpy:Bokeh 地理位置可视化中的配色

civilpy:Flask+Bokeh实现地理位置信息可视化(GIS)

civilpy:Python获取当前或上一天的工作日日期

civilpy:Bokeh实现web数据动态可视化

civilpy:python-docx 和 pandoc 模块将Word文件转换为Markdown

civilpy:tkinter用类的方式做一个简易的图片浏览器

civilpy:完全使用工具实现短视频制作的自动化

civilpy:XPayPy支付宝、微信个人免签支付体系搭建框架

civilpy:个人收款码、赞赏码实现微信免签约支付接口原理+源码

civilpy:Pyboard利用NB-IoT模块通过MQTT协议发送dht11传感器的温湿度数据





确定不给个打赏?

编辑于 2024-03-23 20:50・IP 属地陕西