SciKit-Learn-机器学习入门(一)
安装SciKit Learn123pip install numpypip install sklearnpip install matplotlib
sklean中自带的数据
iris 鸢尾属植物数据(分类)
12from sklearn import datasetsiris = datasets.load_iris()
Boston房价信息(线性回归)
12from sklearn import datasetsboston = datasets.load_boston()
等等
分类器实例12345678910111213141516from sklearn import datasetsfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.model_selection import train_test_splitiris = datasets.load_iris() ## 加载数据iris_X = iris.data ## X坐标,叶子长宽等属性iris_Y = iri ...
SciKit-Learn机器学习入门(二)——Pipeline
在我们平常的机器学习得到的数据并不能直接使用,必须先对它进行预处理后才能正常使用。以股票数据为例,当前的股价并不是独立的,它与之前的股价是有关系的,一个可用的方法是对对股价处理转为增长幅度。
12time1, price1time2, price2
转为
12time1, Nantime2, (price2-price1)/price1
SKLear提供了Pipeline工具方便数据处理。
12345678910111213141516171819202122232425262728293031323334353637## 定义数据处理类ColumnExtractor,获取指定列的数据class ColumnExtractor(BaseEstimator, TransformerMixin): def __init__(self, column_name): self.column_name = column_name def fit(self, X, y=None): return self def transform(self, X, ...
个性化聚类推荐Kmeans实战
数据预处理1. 去除不需要的数据目标是:一个用户,后面全是用户的特征
列数据中 Null 数据 > 80% 所有数据 isnull().sum()
列数据中一样的数据 > 80%所有数据 value_counts()
表示同一个意思的字段,只需要保留一个:如用户名、用户账号、支付账号、收货人姓名
根据场景分析不需要的字段:如买家应付货款、应付邮费等
2. 只获取指定的列数据12df_order.ix[:, '订单编号', '买家会员名', '买家实际支付金额', '收货地址', '种类', '数量', '退款金额']# ix是loc与iloc的合集,其中loc是按照列名来取数据,iloc是按照列的index来取数据
或者
1df_order[['订单编号', '买家会员名', '买家实际支付金额', '收货地址', '种类', &# ...
DevOps工具汇总大全
DevOps神道:项目管理工具
Jenkins:CI工具
Ansible:配置管理工具
GitLab/Gogs:代码库
Docker:容器引擎
Kubernetes:容器调度
SonarQube:代码静态扫描
Harbor:制品库
Nexus:制品库
TestLink:测试管理
Jmeter:压测工具
Selenium/RobotFramework:UI自动化测试
Mattermost:是一款易于使用、经过简化且可扩展的团队通信和企业消息传送系统。
二、
DevOps 的工具链DevOps中包括版本控制&协作开发工具、自动化构建和测试工具、持续集成&交付工具、部署工具、维护工具、监控,警告&分析工具等等,补充了一些国内的服务,可以让你更好的执行实施 DevOps 工作流。
版本控制&协作开发:GitHub、GitLab、BitBucket、SubVersion、Coding、Bazaar
自动化构建和测试:Apache Ant、Maven 、Selenium、PyUnit、QUnit、JMeter、Gradle、PHPU ...
Go语言语法
顺序编程变量12345678910var v10 intv10 = 123v11 := 234// 匿名变量示例func GetName() (firstName, lastName nickName string) { return "May", "Chan", "Chibi"}_, _, nickName := GetName()
常量iota是一个特殊的常量,它会在每一个const关键字出现时重置为0,然后在下一个const出现前,每出现一次iota,它代表的值加1。如果两个const的赋值语句表达式一样,后一个赋值可省略。
12345const ( c0 = iota c1 = iota c2)
枚举12345678910const ( Sunday = iota Monday Tuesday Wednesday Thursday Friday Saturday numberOfDays)
类型
布尔:bool
整型:int8、byte、int16、int、uint、unit ...
GO语言相关命令
下载包 go get-x :下载依赖包,并显示执行的命令
构建 go build-n :显示构建过程的命令,但不执行-x :显示执行构建的命令-o :构建输出可执行文件
1go build -o app
运行1go run .
包依赖1go mod tidy && go mod vendor
如果遇到以下问题,则是由代码中引入的package地址与项目的git仓库不一致导致的。例如:代码中引入package github.com/coreos/prometheus-operator/pkg/client, 但它的git仓库是github.com/prometheus-operator/prometheus-operator/pkg/client,在执行go mod tidy则会报错:
1234go: example.com/operator imports github.com/coreos/prometheus-operator/pkg/client/versioned: github.com/coreos/prometheus-operator ...
Go-常用设计模式
1. 单例模式:12345678910111213141516171819package singletonimport ( "sync")type singleton struct {}var ins *singletonvar once sync.Oncefunc GetInsOr() *singleton { once.Do(func() { ins = &singleton{} }) return ins}
2. 简单工厂模式12345678910111213141516type Person struct { Name string Age int}func (p Person) Greet() { fmt.Printf("Hi! My name is %s", p.Name)}func NewPerson(name string, age int) *Per ...
Go常用资源列表
Awesome go 最全资源列表Awesome go 中文版以下是项目中使用到的部分package。
网络mux实现了请求路由器和调度程序,用于将传入请求与其各自的处理程序匹配。例如统一HTTP与RPC服务入口。
数据库db migrate支持常见的数据库升级与降级rediselasticsearch cligormGORM 是 Go 语言的 ORM 包,功能强大,调用方便。
模板引擎pongo2非预编译,类django特性的引擎,简单易用hero预编译模板引擎,性能更好
监控Prometheus Client开发exporter
日志Uber zap对性能和内存做了极致的优化
命令工具Cobrakubectl使用Cobra开发命令行工具Kingpingo-flagscligoctl工具使用是这个命令行工具
单元测试Mock testify/mock可用来Mock Http请求Sql mock driver可以用来模拟数据库连接。数据库是项目中比较常见的依赖,在遇到数据库依赖时都可以用它。Testify测试断言包 Automatically generate Go test ...
Go语言编码规范指导
From:茹姐 https://zhuanlan.zhihu.com/p/63250689
本规范旨在为日常Go项目开发提供一个代码的规范指导,方便团队形成一个统一的代码风格,提高代码的可读性,规范性和统一性。本规范将从命名规范,注释规范,代码风格和 Go 语言提供的常用的工具这几个方面做一个说明。该规范参考了 go 语言官方代码的风格制定。
一、 命名规范命名是代码规范中很重要的一部分,统一的命名规则有利于提高的代码的可读性,好的命名仅仅通过命名就可以获取到足够多的信息。
Go在命名时以字母a到Z或a到Z或下划线开头,后面跟着零或更多的字母、下划线和数字(0到9)。Go不允许在命名时中使用@、$和%等标点符号。Go是一种区分大小写的编程语言。因此,Manpower和manpower是两个不同的命名。
当命名(包括常量、变量、类型、函数名、结构字段等等)以一个大写字母开头,如:Group1,那么使用这种形式的标识符的对象就可以被外部包的代码所使用(客户端程序需要先导入这个包),这被称为导出(像面向对象语言中的 public);命名如果以小写字母开头,则对包外是不可见的,但是他们在 ...
Vagrant扩展虚拟机盘
扩展虚拟机盘123456789101112131415161718# 停止虚拟机vagrant halt <machine_name># 进入VirtualBox VMs目录,查看并记录原磁盘uuid,留作后用vboxmanage showhdinfo box-disk1.vmdk# 克隆磁盘,vmdk格式无法调整大小,需要转成vdi格式vboxmanage clonehd box-disk1.vmdk new-virtualdisk.vdi --format vdi# 调整克隆磁盘的大小,这里调整为400Gvboxmanage modifyhd new-virtualdisk.vdi --resize 409600# 在克隆磁盘的基础上再克隆vdi格式的磁盘vboxmanage clonehd new-virtualdisk.vdi resized.vmdk --format vmdk# 覆盖原磁盘(如果担心磁盘数据出现不可逆损坏,请先做好备份)mv resized.vmdk box-disk1.vmdk# 此时节已删除中间文件rm new-virtualdisk.vdi ...