Together_CZ的博客

【翻译自 ：Differential Evolution Global Optimization With Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 遗传算法是一种随机全局优化算法。连同人工神经网络，它可能是最流行和广为人知的生物学启发算法之一。该算法是一种进化算法，它通过自然选择，具有二进制表示形式和基于遗传重组和遗传突...

【翻译自 ： Differential Evolution Global Optimization With Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 差异进化是一种全局优化算法。 它是一种进化算法，与其他进化算法（例如遗传算法）有关。与遗传算法不同，它是专门设计用于对实值向量（而不是位串）进行运算的。 此外，与遗传...

【翻译自 ： Evolution Strategies From Scratch in Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 进化策略是一种随机的全局优化算法。尽管它是专为连续功能优化而设计的，但它是与其他算法相关的进化算法，例如遗传算法。 在本教程中，您将发现如何实现演化策略优化算法。完成本教程后，您将...

【翻译自 ：Prediction Intervals for Machine Learning】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 机器学习模型的性能通常随着用于预测建模的数据集大小的提高而提高。 这取决于特定的数据集和模型的选择，尽管这通常意味着使用更多的数据可以带来更好的性能，并且使用较小的数据集来估计模型性...

【翻译自 ： Prediction Intervals for Machine Learning】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 从机器学习的角度来看，预测只是掩盖了该预测的不确定性的单点。 预测间隔提供了一种量化和传达预测中不确定性的方法。它们不同于置信区间，而置信区间试图量化总体参数（例如平均值或标准偏差）...

【翻译自 ：Code Adam Optimization Algorithm From Scratch】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 梯度下降是一种优化算法，遵循目标函数的负梯度以定位函数的最小值。 梯度下降的局限性是，所有输入变量都使用单个步长（学习率）。像AdaGrad和RMSProp这样的梯度下降的扩...

【翻译自 ：Prediction Intervals for Deep Learning Neural Networks】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 预测间隔为回归问题的预测提供了不确定性度量。 例如，95％的预测间隔表示100次中的95次，真实值将落在该范围的下限值和上限值之间。这不同于可能表示不确定性...

最近使用darknet框架来进行目标检测模型的训练实践比较多，就想对模型的结构进行可视化，之前因为模型的训练都是基于Keras进行的，搭配graphviz就可以很方便地进行模型结构的可视化展示了，现在使用darknet训练的话，模型的结构定义都是存在cfg文件中的，想要进行可视化之前的代码就没办法直接使用了，在网上发现了一个有趣的项目就是基于cfg文件直接实现了模型结构的可视化展示，项目地址在这里。 截图如下： 可以看到，使用方法也是很简单的，所以决定实践一...

imgaug对边界框及其扩展具有本地支持。 它们通过其左上角和右下角的坐标表示，既是绝对值，又具有亚像素精度。 在imgaug中，边框仅受增强器更改图像几何形状的影响。 例如 水平翻转或仿射变换。 它们不受其他方法（例如高斯噪声）的影响。 在以下各节中列出了两个类，用于在imgaug中增加边界框。API：边界框imgaug.augmentables.bbs.BoundingBox（x1，y1，x2，y2，label = None）：单个边界框的...

加载和扩充图像 预期的输入数据。使用imgaug增强图像仅需要几行代码。但是在此之前，我们首先必须加载图像。 imgaug期望图像是numpy数组，并且最好与dtype uint8配合使用，即，当数组的值在0到255之间时。通道轴始终是最后一个轴，对于灰度图像可能会被跳过。对于非灰度图像，预期的输入色彩空间是RGB。非uint8数据。如果您使用uint8以外的其他dtype，例如float32，建议您查看dtype文档，以大致了解每个扩充器的dtype支持。该API包含更多详细信息。...

【翻译自 ： Simulated Annealing From Scratch in Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 模拟退火是一种随机全局搜索优化算法。这意味着它将随机性作为搜索过程的一部分。这使得该算法适用于非线性目标函数，而其他局部搜索算法不能很好地运行。像随机爬山局部搜索算法一样，它修改单个解决方案并搜索搜索空...

【翻译自 ： How to Use Optimization Algorithms to Manually Fit Regression Models】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 像线性回归和逻辑回归这样的模型都是通过最小二乘优化来训练的，这是找到最小化这些模型误差的系数的最有效方法。但是，可以使用替代的优...

【翻译自 ：How to Choose an Activation Function for Deep Learning】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 为新数据集开发神经网络预测模型可能具有挑战性。 一种方法是首先检查数据集并为可能使用的模型开发思路，然后探索数据集上简单模型的学习动态，然后最后使用健...

【翻译自 ： Function Optimization With SciPy】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 优化涉及寻找目标函数的输入，从而导致函数的最小或最大输出。 用于科学计算的开源Python库SciPy提供了一组优化算法。许多算法被用作其他算法的构建块，最著名的是scikit...

今天要运行一个项目，首先在初始配置阶段要执行 yarn install 结果出现了下面的报错： 执行 yarn --version报错如下： 执行 yarn version结果如下： 网上查资料的时候看到一篇相关的文章，可以参考解决问题： 这也是我尝试解决问题的思路，这里给出来的说法是，原始的java安装环境里面已经有yarn了，新安装的yarn的环境变量需要放在它前面。 接下来下载yarn，我是在...

【翻译自 ： A Hands-on Tutorial to Learn Attention Mechanism For Image Caption Generation in Python】 【说明：analyticsvidhya这里的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】总览 了解图像字幕生成的注意力机制 实现注意力机制以在python中生成字幕介绍...

【翻译自 ： Implementation of Attention Mechanism for Caption Generation on Transformers using TensorFlow】 【说明：analyticsvidhya这里的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】总览 了解最先进的变压器模型。 了解我们如何使用Tensorflow在已经看到的图像字幕问...

【翻译自 ： create-your-own-image-caption-generator-using-keras】 【说明：analyticsvidhya这里的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】总览 了解图像字幕生成器如何使用编码器-解码器工作 知道如何使用Keras创建自己的图像标题生成器介绍 图像标题生成器是人工智能的热门研...

你是否也遇到过执行程序脚本的时候，首先打印出来的是一堆警告信息呢，看起来很头疼，如下： 这里有几种方法可以“忽略”掉这些警告信息。一、终端运行方式python -W ignore a.py二、全文忽略方式 在导入库包部分加入下面的代码：import warningswarnings.filterwarnings("ignore")三、片段忽略方式 在需要忽略警告的代码片段首部加入下面的代码：import ...

摘要：当前深度学习在目标检测领域的影响日益显著，本文主要基于深度学习的目标检测算法实现车辆检测，为大家介绍如何利用M A T L A B \color{#4285f4}{M}\color{#ea4335}{A}\color{#fbbc05}{T}\color{#4285f4}{L}\color{#34a853}{A}\color{#ea4335}{B}MATLAB设计一个车辆检测系统的软件，通过自行搭建YOLO网络并利用自定义的数据集进行训练、验证模型，最终实现系统可选取图片或视频进行检测、标注，以及结果的

时序数据建模分析已经有很多相关的应用了，在这个领域里面LSTM网络绝对是占据着非常重要的作用，自从LSTM网络提出以来，陆陆续续又出现了很多相关的变种网络，传统的时序建模工作主要是基于一个指定的时序数据集进行模型的构建与预测分析的，但是在实际的工程使用中会有一种特殊的情况就是：我们通过实验所采集到的数据集往往不是绝对连续的而是多“片段”的。 何为 “片段”？以我之前的时序建模相关的文章来讲，诸如：气象数据预测、风力发电数据预测等等，都是具有一定数据规模的数据进行时序预测模型的构建，...

【翻译自 ： How to Develop a Neural Net for Predicting Car Insurance Payout】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 为新数据集开发神经网络预测模型可能具有挑战性。 一种方法是首先检查数据集并为可能使用的模型开发思路，然后探索数据集上简单模型的学习动态，然后...

【翻译自 ： How to Choose an Activation Function for Deep Learning】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 隐藏层中激活功能的选择将控制网络模型学习训练数据集的程度。 输出层中激活函数的选择将定义模型可以做出的预测类型。因此，必须为每个深度学习神经网络项目仔细选择激活函数。 ...

【翻译自 ： Visualization for Function Optimization in Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 函数优化涉及从目标函数中找到产生最佳值的输入。优化算法在输入变量的搜索空间中导航以定位最佳位置，目标函数的形状和算法在搜索空间中的行为在现实世界中都是不透明的。因此，通常使用简单的低维函数来研究...

【翻译自 ： How to Implement Stacked Generalization (Stacking) From Scratch With Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 集成方法是提高机器学习问题的预测性能的绝佳方法。堆叠概括或堆叠是一种集成技术，它使用新模型来学习如何最佳地组合来自数据集上训练的两个或多个模...

【翻译自 ： Stacking Ensemble Machine Learning With Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 Stacking或Stacked Generalization是一种集成的机器学习算法。 它使用元学习算法来学习如何最佳地组合来自两个或多个基础机器学习算法的预测。 堆叠的好处在于，它可以利用分类或回...

【翻译自 ：Blending Ensemble Machine Learning With Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 Blending是一种集成的机器学习算法。 它是堆叠概括或堆叠集成的通俗名称，在该模型中，元模型不适合基本模型做出的失叠预测，而是适合于对保留数据集做出的预测。 Blending用于描述堆叠模型，该模...

【翻译自 ： How to Hill Climb the Test Set for Machine Learning】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 爬坡测试集是一种在不影响训练集甚至开发预测模型的情况下，在机器学习竞赛中实现良好或完美预测的方法。作为机器学习竞赛的一种方法，这是理所当然的，大多数竞赛平台都对其施加了限制，以防止出现这种情...

【翻译自 ： Stochastic Hill Climbing in Python from Scratch】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 随机爬山是一种优化算法。它利用随机性作为搜索过程的一部分。 这使得该算法适用于非线性目标函数，而其他局部搜索算法不能很好地运行。它也是一种局部搜索算法，这意味着它修改了单个解决方案并搜索搜索空...

【翻译自： How to Manually Optimize Neural Network Models】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 深度学习神经网络模型使用随机梯度下降优化算法拟合训练数据。使用误差算法的反向传播对模型权重进行更新。精心选择了优化和权重更新算法的组合，这是已知的最适合神经网络的方法。但是，可以使用替代的优化算法来将...

【翻译自： Multinomial Logistic Regression With Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 多项逻辑回归是逻辑回归的扩展，增加了对多类分类问题的本地支持。默认情况下，逻辑回归仅限于两类分类问题。尽管有些扩展要求先将分类问题转换为多个二元分类问题，但某些扩展（例如“一对剩余”）可以允许将逻辑回归用...

【翻译自： How to Use the Keras Functional API for Deep Learning】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 Keras Python库可快速轻松地创建深度学习模型。顺序API允许您针对大多数问题逐层创建模型。它的局限性在于它不允许您创建共享图层或具有多个输入或输出的模型。Keras中的功...

【翻译自： Autoencoder Feature Extraction for Regression】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 自动编码器是一种神经网络，可用于学习原始数据的压缩表示。自动编码器由编码器和解码器子模型组成。编码器压缩输入，而解码器尝试根据编码器提供的压缩版本重新创建输入。训练后，将保存编码器模型，并丢弃解码器。然...

【翻译自： Autoencoder Feature Extraction for Classification】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 自动编码器是一种神经网络，可用于学习原始数据的压缩表示。自动编码器由编码器和解码器子模型组成。编码器压缩输入，而解码器尝试根据编码器提供的压缩版本重新创建输入。训练后，将保存编码器模型，并丢弃解码...

最近经常需要处理不同格式的图像数据，图像的编解码也是其中之一，正好OpenCV提供了对应的操作工具，就方便了很多了，这里将具体的实践做成了一个小demo放在这里，可供参考使用，主要就是读取本地图片编码存储文件，之后读取文件数据解码为图像数据，相应的注释都在代码中了，下面是详细实现：#!usr/bin/env python#encoding:utf-8from __future__ import division'''__Author__:沂水寒城功能： OpenCV 图像编解码操作...

【翻译自： Perceptron Algorithm for Classification in Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 Perceptron是用于二进制分类任务的线性机器学习算法。它可以被认为是人工神经网络的第一种和最简单的类型之一。 绝对不是“深度”学习，而是重要的组成部分。与逻辑回归相似，它可以快速学习两类分类任务在...

【翻译自： Feature Selection with Stochastic Optimization Algorithms】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 通常，可以通过从训练数据集中删除输入特征（列）来开发更简单，性能更好的机器学习模型。这称为特征选择，可以使用许多不同类型的算法。可以将特征选择问题框架为优化问题。在输入要素很少的...

【翻译自： Histogram-Based Gradient Boosting Ensembles in Python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 梯度提升是决策树算法的集合。鉴于它在实践中在各种数据集上表现出色，它可能是针对结构化（表格）分类和回归预测建模问题的最受欢迎的技术之一。梯度提升的主要问题是训练模型的速度较慢。在具有成千...

【翻译自： Semi-Supervised Learning With Label Propagation】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 标签传播的半监督学习 半监督学习是指尝试利用标记和未标记训练数据的算法。半监督学习算法不同于只能从标记的训练数据中学习的监督学习算法。半监督学习的一种流行方法是创建一个图，该图连接训练...

今天在联调系统的时候出现了一点小错误，就是Linux宿主机上的时间比windows上的时间慢了8小时，后面在docker里面启动应用的时候又发现docker里面的时间又比宿主机慢了8小时，感觉还是要先去解决一下的，这里我们从宿主机开始。 宿主机时区错位8小时问题解决方法： date -R 查看当前时间戳 tzselect之后按照操作进行选择 亚洲---中国---北京时间---确认 按照上面的指引操作处理完成后，执行cp /us...

每年的岁末年初，总会有各式各样的总结、年会等等之类的活动，有的时期我是在学校里面度过的，有的时期我是在研究院度过的，有的时期我是在体育馆度过的，有的时期我是在病床上面度过的，而几年我是在工位上面度过的。 相信2020一定会在历史上面留下很难忘很难忘的记忆，时至今日这般影响依旧是没有要远离的痕迹。2020年的春节相信谁也没有想到会成为自己上学也好、读研也罢亦或是工作以后遇上的最长的假期，新冠病毒的肆虐让我们改变了很多很多，在失去了很多珍贵东西的同时也收获了一些别的东西，比如久违的...

早上打开百度提示今天还是【穿错袜子做公益】，不给过这个还是头一次听说。 登录CSDN无意间发现今天我的粉丝数是【2020】，在这个不太平的2020即将结束的时候，这个数字希望为即将到来的2021带来平安吧，纪念一下。 新的一年，各位CSDNer，一起努力吧！...

【转自：dynamic-classifier-selection-in-python】 【说明：Jason BrownleePhD大神的文章个人很喜欢，所以闲暇时间里会做一点翻译和学习实践的工作，这里是相应工作的实践记录，希望能帮到有需要的人！】 动态分类器选择是一种用于分类预测建模的集成学习算法。 该技术涉及在训练数据集上拟合多个机器学习模型，然后基于要预测的示例的特定细节，选择在进行预测时预期表现最佳的模型。 这可以通过以下方法实现：...

最近一个项目部署需要开启一个web服务，这个需要人工启动才可以，一旦电脑重启就会导致该服务关闭，如果后面忘记启动或者是维护就会导致前端项目无法访问到后台数据，所以最好的解决办法就是做一个自启动的脚本任务，将这个任务加入到Linux的系统启动中，这样系统初始化完成后可以直接自动执行我们自定义的脚本任务，接下来记录一下整个实践过程。 网上其实有很多讲解的文章，这里我选择的方式是修改 /etc/rc.local 文件来实现我的需求。 首先看下原始文件的内容，如下所示：...

前几天基于Ubuntu16.04制作了所需要的基础镜像环境，今天在实际部署项目运行的时候报错了，截图如下： 这个报错还是头一次遇到，简单查了一些资料说的是因为python在源码编译安装的时候没有指定配置ssl，所以导致了无法导入该模块的问题，解决办法就是需要在系统层面安装好openssl，之后重新编译安装python3.6，既然清楚了原因就好针对性入手了，下面记录一下自己的实际解决方案，亲测可行。 openssl下载地址在这里。 接下来安装op...

对于经常最运维或者是开发的人来说docker应该是很熟悉的东西了，最近有一个需求就是需要在不同的平台上面去测试自己的项目，amd64、X86、ARM等等，目前的项目主要是在windows环境里面开发的，所以迁移到别的机器上面除了部署配置环境麻烦点其他的都还好，Linux下面的话部署运行项目如果借助于docker容器技术的话就会非常方便了，可扩展性也是很高的，这里就需要有一套比较高可用稳定的基础镜像来为项目提供所需的运行环境，今天花点时间从零开始实践，制作出来一个基础的镜像环境，主要以Ubuntu...

在本Tensorflow教程中，我们将使用Tensorflow构建基于卷积神经网络的图像分类器。如果您刚刚开始使用Tensorflow，那么最好在这里阅读基本的Tensorflow教程。 为了演示如何构建基于卷积神经网络的图像分类器，我们将构建一个六层神经网络，该网络将识别并分离出狗的图像和猫的图像。我们将建立的这个网络是一个非常小的网络，您也可以在CPU上运行它。擅长进行图像分类的传统神经网络具有更多参数，并且如果在CPU上进行训练会花费大量时间。但是，在本文中，我的...

最近需要使用到OpenCV来生成视频，原生安装的OpenCV是没有H264编码器的，这就需要自己去下载配置使用，今天在使用H264编码来生成视频的时候就报错了： 解决方案就是从GitHub下载对应版本的dll后放到当前项目同级目录下面就行了，下载地址在这里，截图如下所示： 可以看到：当前最新版本已经更新到了2.1.1版本了。 从上图报错中可以看到我们需要的是1.8.0版本的dll，如下： 下载解压缩后放到项目同级目录即可使用，运行成...

接触目标检测这一行的话就不可能不知道Yolo系列的模型，因为它们的名气实在是太过于响亮了，这一点带来的好处就是网上会有铺天盖地的学习、介绍、实践资料，对于新手来说快速地学习掌握就比较便利了。 而我就是万千新手中的一名，接触到目标检测以来，着实也是走了不少的弯路，这也是没有办法的事情，毕竟自己一点基础没有，所以刚起步还是会慢一点。掐指算来接触目标检测已经有一段时间了，之前的一些模型也有学习实践过，但是整体的表现并不理想，要么是速度太慢要么是精度太低，最终锁定在了Yolov3系列，虽说现...

由于实际工作的情况，我之前大多数的编辑开发工作都是在Windows下进行的，很多软件的安装使用也都是在Windows下的，最近需要在Ubuntu下用到软件Sublime，所以这里就需要进行一下安装配置了。 下面是整个操作过程的记录，备忘，也是为了帮到需要的人。1、直接访问官方，根据指令来完成基础软件的下载和安装Install the GPG key:wget -qO - https://download.sublimetext.com/sublimehq-pub.gpg ...

之前断断续续搞过一些Hadoop生态的学习和小实践，现在有这个需要了就重新捡起来了，但是机器上没有这套环境需要重新安装一下，其实本质上来说在Linux下安装很多框架或者是系统并不麻烦，大多都是解压缩，改一些配置文件，然后配置一下对应的环境变量最终source使其生效就可以了。 最近需要使用到HBase数据库，HBase数据库要依赖Hadoop，我们选择使用MySQL作为Hive的元数据，所以在安装配置Hive之前需要安装好Hadoop和MySQL才可以。 为了方便使用，我将自...

在windows平台下面使用Linux系统很多时候就需要搞一个太虚拟机来满足我们的需求，这里有几种比较常见选择，比如VMbox、VMware等等，这里简单分享一下自己在使用VMware的时候收集到的一些可用资源的清单，主要从官网下载的软件是需要购买的，这里的都是有对应序列号的。 首先官网地址在这里。首页如下： 如果想要从官网下载的话可以点击【下载】。 这里我没有从上面网址下载，各个可用版本如下：10.0.7：https://download3.vmware....

OpenCV是一款非常强大的图像处理工具，对于从事图像处理领域相关工作的人来说这个可以说是必不可少的一项工具，用起来也很方面，下吗是一段简单的介绍：OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉和机器学习软件库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。OpenCV用C++...

今天需要用到一个交通标志牌（GTSRB数据集），但是数据都是ppm格式的，虽说用PIL模块也是可以直接打开的，但是不利于直接查看很不方便，所以这里打算做一个转化处理。 首先是从网上下载到所需的数据集，下载地址在这里。截图如下所示： 这里想要先去吐槽一下，找了好几遍才找到了数据集的下载链接，这也太不起眼了吧，我红框标出来了。 点击跳转到了下载页面后就可以进行下载了，下面是需要下载的数据集： 当然了，如果不在乎的话也是可以直接全部下...

今天有一个问题就是需要将网络字节流或者是Image对象转化为二进制字节流数据，之后借助于base64模块实现编码最终post到服务接口端，这里没有过多要去讲解的，直接看实现就行。#!usr/bin/env python# encoding:utf-8from __future__ import division'''__Author__:沂水寒城功能： Python PIL模块Image对象、字节流对象转二进制字节流'''import ioimport osimport...

今天在跑一个开源项目的时候突然报出来了一个语法错误，按理说这是不应该，毕竟这个项目在我本机已经成功跑起来，放到服务器上之后就出问题，先检查了一下本地的Python版本是3.6.6的，服务器端的Python版本是3.5.2版本的，所以第一时间想到的可能的问题就是版本带来的问题，3.5可能并不支持某些写法，所以这里就需要安装一下3.6版本了。 具体的安装方式比较简单，这里就不再多解释了，直接看下面的实践：step1:首先需要安装相关的依赖包【我这里并没有执行下面的命令，原因是我...

自然语言处理领域中有很多的子任务，大类上一共分为四个板块，如下：1. 序列标注：分词/POS Tag/NER/语义标注2. 分类任务：文本分类/情感计算3. 句子关系判断：Entailment/QA/自然语言推理4. 生成式任务：机器翻译/文本摘要 在我接触NLP相关的工作以来，任务1和任务2是比较常见的，后面两种则几乎没有什么接触，今天发现了一个比较有意思的自动文本摘要生成模块sumy，这个属于最后一个任务领域里面的内容，所以就当做入门实践来学习一下，早在之前也看多阮一峰...

文本分词、词性标注和命名实体识别都是自然语言处理领域里面很基础的任务，他们的精度决定了下游任务的精度，其实在这之前我并没有真正意义上接触过命名实体识别这项工作，虽然说读研期间断断续续也参与了这样的项目，但是毕业之后始终觉得一知半解的感觉，最近想重新捡起来，以实践为学习的主要手段来比较系统地对命名实体识别这类任务进行理解、学习和实践应用。 当今的各个应用里面几乎不会说哪个任务会没有深度学习的影子，很多子任务的发展历程都是惊人的相似，最初大部分的研究和应用都是集中在机器学习领域里面，...

诸如词性标注、命名实体识别等NLP任务都是属于序列标注类型的任务的，本质属于分类任务，对于序列标注类型的模型的结果评估也有对应的模块实现，这里主要是简单进行使用说明。 模块名叫 seqeval，GitHub地址在这里。 seqeval模块支持的标注格式如下所示：IOB1IOB2IOE1IOE2IOBES 提供的评估指标方法如下所示：metrics description accuracy_score(y_true, y_pred)...

2020.07.10错误：Object arrays cannot be loaded when allow_pickle=False出现在numpy加载本地.npy文件的时候解决：np.load('a.npy', allow_pickle=True)

文本分词、词性标注和命名实体识别都是自然语言处理领域里面很基础的任务，他们的精度决定了下游任务的精度，其实在这之前我并没有真正意义上接触过命名实体识别这项工作，虽然说读研期间断断续续也参与了这样的项目，但是毕业之后始终觉得一知半解的感觉，最近想重新捡起来，以实践为学习的主要手段来比较系统地对命名实体识别这类任务进行理解、学习和实践应用。 对于我个人来说学习一个新的东西，比较喜欢实践为主去学习，因为最开始接触机器学习的时候都是从空洞的理论开始的，后来学了好久发现，这些理论知识的学习固然...

数据分析是很多建模挖掘类任务的基础，也是非常重要的一项工作，在我之前的系列博文里面已经详细介绍过很多数据分析相关的内容和实践工作了，与之对应的最为常见的分析手段就是热力图可视化分析了，这里我简单给出来自己之前的几篇相关的文章，感兴趣的话可以前去查阅。 《Python基于seaborn绘制喜欢的热力图，不同色系一览》 ...

文本分词、词性标注和命名实体识别都是自然语言处理领域里面很基础的任务，他们的精度决定了下游任务的精度，今天在查资料的时候无意间发现了一个很好玩的开源项目，具体查了一下才知道这是百度开源的一个主要用于词性标注和命名实体识别的项目，决定拿来尝试一下。 首先是项目环境的配置安装，当前已经支持一键式安装了，具体命令如下所示：python -m pip install LAC 简单进行一下安装验证，成功截图如下所示： 接下来就可以进行使用了，官方Git...

深度学习实验大多是在服务器端进行的，在实际的应用中，想要把训练好的模型投入实际的应用中去的时候往往需要转化为适应于边缘端或者是移动端计算的格式，一是缩减模型大小降低原有的参数体量，二是借助于硬件环境的加速能力，提升模型的推理速度，总之就是为了能够在板子上跑的更快点。 在实际的开发实践中，我们选择使用的是RK3399Pro这个型号的板子，提供了NPU级别的硬件加速计算能力，官方的文档地址在这里，首页截图如下所示： 这里是官方给出来的云计算和边缘计算的简单对比说明：云计...

数据可视化一直是很多数据分析或者是建模挖掘任务里面经常会用到的一项功能，今天我们基于某电影网站中公开发布的电影票房数据进行一些基础的数据可视化分析实践，下面是部分的数据样例：叶问.,20160304,33151,2193,196.9万,33.96%,46捉妖记,20150718,17860,995,192.71万,64.49%,47复仇者联盟2：奥创纪元,20150517,29444,1152,179.88万,37.52%,50.1我和我的祖国,20191002,36420,9522...

分类相关的任务做过很多，包括：图像分类、文本分类，但是基于深度学习的文本分类相关的实践却不多，大多是基于word2vec+机器学习模型完成的文本分类任务，最近正好用到了Attention机制，就在学习和实践相关的内容，这里就是今天自己学习实践的基于深度学习模型+Attention机制的文本分类任务。 这里的数据集选用的是Keras内置的IMDB数据集，下面我们先来简单看一些Keras内置数据集的相关介绍，官方文档截图如下所示： 我们用的是红框里面标出来的数据集，...

今年的端午节据说是并列本世纪最晚的端午节了，不过它还是到来了，伴随着从不间断的雨水，就这么悄然来到，昨天下班的那一刻意味着端午小长假的开始，也宣告着我们搬家的开始，赶在昨晚的雨水前，搬走了一半左右的东西，剩下的东西就交给这接下来的几天处理吧。 今年各个行业里面都充斥着疫情的影响，从年初以为的春暖花开，冰雪消融，到现在的常态化防疫，其实，生活本身来说也是一场不断跟实践做实践的过程。 好久，没有专门去写一篇非技术性的文章了，这里也算是闲下来的一点感悟吧，今年对于整个大环境...

人体行为识别可以被直接建模为图像识别任务，我们可以借助于CNN模型来实现我们的需求，图像本质上来说是二维的矩阵数据，CNN神经网络模型非常适合用于处理和计算这种类型的数据，对于一维的数据，同样可以基于CNN模型来实现，同时也是可以基于机器学习模型来进行实现的。 今天找到一个很有意思的数据集——人体行为姿势数据集WISDM，这个数据集中一共有36个人，每个人都会有6种动作，如下所示：{'Sitting':0,'Downstairs':1,'Standing':2,'Walking'...

这里我们将对特征工程中经常用到的特征数据选择方法进行介绍使用和说明，主要分为三个部分，分别为：单变量选择、线性模型选择和随机森林模型特征选择。三部曲一：单变量选择 对于数据科学家或机器学习从业人员而言，对特征选择/排序有很好的了解可能是一笔宝贵的财富。对这些方法的良好掌握可以带来更好的性能模型，可以更好地理解数据的底层结构和特征，并可以更好地了解构成许多机器学习模型基础的算法。使用特征选择通常有两个原因：1.减少特征数量，以减少过度拟合并提高模型的泛化性。2.更...

在我之前的文章中，已经对LSTM的实际应用有过很多的实践和说明了，今天介绍的LSTM模型跟之前的不同，在以往的时序数据建模中，我们的输入端是只有一个的，也就是说入口处只有“单条通路”，本文提及的两路LSTM，是在输入端就要两个输入，所以称之为两路共享的LSTM模型，话不多说这里先来看下简单的模型结构，如下所示： 从上面的模型结构图中可以很清晰地看到：入口处有两个维度的数据输入，之后一同进入到LSTM模型中，这里我们为了简单起见，也是为了降低计算量，毕竟深度学习模型是比较耗费资源的...

按照官方的指导说明，先注册了账号，又设置了Token之后，还是一直报错，找不到原因，无意之间翻看文档的时候发现了可能的问题所在。 如果你跟我一样都是刚注册成为了新用户，那么你的积分应该是只有100分，这里面说到的最低积分也是120分，也就是说新注册的用户100积分是没有“资格”，或者说是没有权限去调用接口的，这就比较尴尬了吧。。。。 好在，官方给了一句话【完善个人资料信息+20分】，我按照提示完善了基础个人信息之后，再次调用接口，果然可以了，还是头一次遇上这个事情，...

在我之前的文章中，没有或者是很少有涉及到Attention机制的使用，因为之前做的很多工作中也不需要用到这个技术，周末正好有点时间就想学一下这个Attention机制，看看到底怎么样去结合使用，怎么样能够提升我们原有模型的性能。 当我们人在看一样东西的时候，我们当前时刻关注的一定是我们当前正在看的这样东西的某一地方，换句话说，当我们目光移到别处时，注意力随着目光的移动也在转移，这意味着，当人们注意到某个目标或某个场景时，该目标内部以及该场景内每一处空间位置上的注意力分布是不一样的。...

在上一篇文章《基于卷积神经网络模型的MSTAR高分辨率图像数据集识别实践》中，我们实践了完整的建模预测分类过程，本文主要是在前文的基础上，做一点可视化分析的工作。 我们可以借助开源的可视化工具keract实现我们所需要的可视化功能，首先是卷积层计算结果的可视化，这里先看一下我们的网络结构图，如下所示： 因为我们的层可视化展示会按照网络的结构一层一层地进行，这里先给出来了前文里面的模型结构图，下面是具体的可视化结果。conv2d_1：max_pooli...

聊天机器人是非常常见而广泛的应用，很多企业都有很多机器人客服的需求，比如：移动、电信、联通、淘宝、京东等等，聊天机器人的本质就是文本数据处理，我的主要研究方向并不是文本处理相关的，但是断断续续学习、工作中接触到了一定的文本数据处理的任务，对文本数据处理也算得上是有一定的了解程度吧。 聊天机器人的应用可以简单理解为“输入一句话，机器返回一句响应的话”，返回的话跟你的话或者是问题相关度比较高，让你察觉不到是在跟一台机器聊天，这里模型需要能够比较确切地了解或者是解读清楚你输入的文本数据，然...

一直以来绝大多数的深度学习应用都是基于Keras和Tensorflow搭建的，很少有去花时间使用过Pytorch，最近正好有时间就想学习下这个被称为最适合做学术研究的深度学习框架。 这里主要是记录下自己windows环境下的环境搭建过程，希望能帮到需要的人。 安装Pytorch的方式比较特殊，虽然也是基于pip安装的，但是又不能像安装Keras一样，直接pip安装，这样的话会报错要你参考官网给出来的安装方式。 先来看下Pytorch的官网，在这里，首页...

图神经网络是一类比较特殊的神经网络，这里的图不同于我们卷积神经网络里面所使用到的图像，而是指的是node和edge组成的具有拓扑结构的图，这一类型的数据和应用我在平时的工作实践中接触得还是比较少的，正好就当做是学习了。 DGL是一个Python软件包，专门用于在图上进行深度学习，它构建在顶部现有的张量DL框架（例如Pytorch，MXNet）并简化了基于图的神经网络的实现。 这里DGL的安装也是很简单的，具体的安装方案可以参考这里。 windows下的...

文本数据分析里面情感分析的应用十分广泛，本质上来说就是一个分类任务，在我之前的文章里面对有对中文数据的情感分析相关的工作，对于英文数据的分析还没有实践过，这里就想基于英文数据集来做一点分析性的工作，首先来看一下数据样例，如下所示： 下面是100条数据样例：ID,Product_ID,Age,Review_Title,Review_Text,Rating,Recommended,Positive_Feedback_Count,Division,Department,Type12...

最近的工作中用到的图像数据处理比较多一点，很多地方都需要对Array、Image以及二进制字节流数据Bytes进行相互之间的转化，总计记录了整个过程中自己的实现方法，放在这里备忘，需要的可以拿去使用，所有实现的方法均已经过测试可以直接使用。下面是具体的代码实现：#!usr/bin/env python# encoding:utf-8from __future__ import division'''__Author__:沂水寒城功能：Image 图像数据的常用格式转化操作实现记...

周末的时间闲下来了，想到之前计划的事情还未执行的还有很多，正好拿过来做一下，今天主要是想学习和实践一下信号领域的数据的处理和建模内容，从网上找到了一个振动信号相关的数据集，首先，想先基于EMD算法完成信号的 分解处理，之后基于LSTM模型来实现时序数据的建模预测分析。 对于现在的我来说，属于数据信号处理领域里面的小白，所以写这篇文章很可能会有错误或者是不合理的地方，如果问题欢迎指出，欢迎交流学习，同时呢？这里也是自己学习过程的记录，包括自己在了解一些信号处理算法时的资料等，也都一...

卷积神经网络CNN如今早已是深度学习的核心，广泛应用于各类任务中，在我以往的图像数据处理中大多接触的是比较具体的图像数据，比如：手写数字、手写字母、人脸数据、动物数据、交通信号数据等等，对于遥感或者是卫星相关的数据涉及得很少很少，今天找到了一个比较有意思的数据集【MSTAR高分辨率图像数据集】，想基于这个数据集来构建一下自己的卷积神经网络模型做一点实践。 首先，查阅了一些相关的研究文献资料，简单介绍一下【MSTAR高分辨率图像数据集】 当前用于研究SAR ATR 的图像...

最近的工作中需要用到高版本的gcc，系统自带的是5.4.0版本的，这里需要安装的高版本的是7.5.0的，安装过程也是比较坎坷的，也是因为没有搞过这个东西，不熟悉，所以踩了很多坑，耽误了很多时间，不过实践也是学习的一部分，这里还是成功解决掉了这个问题了，下面就不多说废话了，直接进入正题了。 原始版本截图如下所示： 升级后版本截图如下所示： 所需依赖资源包详情如下：升级本地gcc版本所需安装包详情如下：gcc-7.5.0.tar.gzgmp-6....

一般来说，想要搭建自己的深度学习模型来对自己的图像数据做处理往往是需要准备很多数据才行的，不然模型性能是很差的，之前也做过一些人脸识别的应用实践，但大都是需要自己去采集自身的人脸图像数据，这个就比较主观了，因为你可以采集的很多很多人脸图像数据，或者也可以采集的很少，但是很少的话一般效果都不会太好。今天找到一个很有意思的数据集，是我目前接触到的人脸识别领域中最为迷你的数据集，为什么说它“迷你”呢？主要有两个原因：1、种类很多，一共包含有40个人的图像数据2、单个人的图像数据很少只有10张，这...

手写数字识别作为一个深度学习类入门级别的应用，被广大爱好者所使用，在实际的工作中正好有一个实际的场景需求用到了数字和字母的识别，这里先以手写数字识别为例来对该类型的任务进行讲解。 本文的实践主要是基于卷积神经网络来进行的，卷积神经网络作为如今深度学习的核心自然有它独特的地方。 卷积神经网络的提出是受生物自然视觉认知机制的启发，它的核心在于其采用了卷积层和子采样层组合的特征提取方式。CNN一共采用了三种技术来降低模型的计算复杂度。1）局部感受野 首先是...

在值预测相关的任务里面回归模型使用的非常得多，从最简单的逻辑回归模型到复杂点的集成回归模型，可以根据具体任务的适用程度来尝试或者决定使用什么样的模型来构建自己的预测模型。 本文主要是基于APP采集到的行走数据，也就是地理空间里面的经纬度数据来对未来位置进行预测分析，我们这里主要是将行走的数据建模成了一个时序数据分析问题，因为物体的移动轨迹不会是随机移动的是随着时间推移，有规...

本文是该专栏【迁移学习】系列文章的第三篇文章，主要是实现基于迁移学习的手势识别，个人感觉还是很有意思的一件事情吧，下面是系列文章中的一些基础知识。 迁移学习是一种很强大的深度学习技术，在实际应用中解决图像分类等问题中效果卓越，用一句简单的话来说就是“站在巨人的肩膀山学习”，大多数针对图像分类任务而开源出来的迁移学习模型很多都是基于ImageNet数据集开...

其实之前在学校的时候由于服务器会被很多人共同使用，资源什么的都是相互占用的，有时候权限控制得也是比较厉害的，这里我们有时候需要做一点小实验的时候直接操作服务器会比较麻烦，往往都是采用基于jupyternotebook的编程方式来进行编程练习的，这里正好最近公司新整合了一下服务器资源，这里就想着重新配置一下Jupyter方便使用，因为整理比较简单，主要就是基础环境的安装以及用户密码配置等...

公司里面发布项目很多不会直接去发布源码，往往是会去发布可以直接执行的文件，在windows上发布的应用往往是exe可执行文件，对于Python来说，也是可以将源码转化为可直接执行的文件形式的。 当然了，将原始的py脚本编译为pyc文件不仅仅是内容上的考虑，也有效率和兼容性的考虑，py脚本在运行的时候会进行自动编译处理生成pyc文件，之后交给解释器执行，这一工作是解释器自动完...

异常点或者是异常值检测算法是机器学习领域中很重要的一个分支，有效地挖掘出来数据中的异常值对于建模分析等工作来说是很重要的，异常点的检测算法也有很多，主要分为以下几种：异常检测的方法：（1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象。（2）基于邻近...

Python是一门非常友好的语言，学习成本很低，这也是我很喜欢写Python的原因之一，在与应用端或者是业务端做整合的时候我们经常会将模型或者是数据分析的应用做成可以被直接调用的web服务来提供外部的访问，在web服务搭建这一块，有很多的第三方库可以完成这一任务，这里列举出来我了解的web框架，欢迎补充：Django: Python Web应用开发框架Diesel：基于Green...

今天需要基于gevent来启动gunicorn部署的flask服务，在Python2版本下面的时候是正常启动的，但是在Python3版本下面启动测试的时候就报错了，报错信息如下所示：pkg_resources.DistributionNotFound: The 'psutil>=5.6.1; platform_python_implementation== "CPython"...

时序数据建模分析已经有很多相关的应用了，在这个领域里面LSTM网络绝对是占据着非常重要的作用，自从LSTM网络提出以来，陆陆续续又出现了很多相关的变种网络，今天从网上找到了一份环境气象领域相关的数据集，可以用于时序数据的建模分析，这里就基于这个数据集来实战双向LSTM网络的时序建模。 这是一张比较形象比较简单的示意图： 双向，顾名思义理解起来也很简单...

今天手残升级了Numpy库的版本，从1.16升级到了1.17，在深度学习图像处理的任务里面表现是正常的，但是当我想运行一个Keras 学习Demo实例的时候就报错了，报错内容如下所示：ValueError: Object arrays cannot be loaded when allow_pickle=False 截图如下所示： 这个错误并没...

迁移学习是一种很强大的深度学习技术，在实际应用中解决图像分类等问题中效果卓越，用一句简单的话来说就是“站在巨人的肩膀山学习”，大多数针对图像分类任务而开源出来的迁移学习模型很多都是基于ImageNet数据集开发的，这些预训练的模型往往都是那些谷歌、亚马逊等大厂耗费大量的计算资源训练几周的时间跑出来的模型，在图像的特征提取计算上都有着非常不错的性能，以至于对于我们...

最近正好有时间做点文本数据的分析工作，做文本分析首先就需要有相应的文本数据，之前微博、头条的数据也都已经分析过了，这里就想尝试一下更换语料数据，正好最近CBA复工的事情挺热闹的，所以就有了念头想去爬取社区一些评论数据来做一些分析处理，针对CBA这里最后选择的是虎扑体育社区来做为数据源获取点。 我们打开首页截图如下所示： 其中，我标红的部分就是需要采集处理的...