数据预处理是开发有效深层神经网络的关键步骤,适当准备的数据可以提高模型的准确性和培训效率,本文概述了用于深层学习应用数据预处理的实用技术.

数据清理

清理数据涉及删除或纠正不准确、不一致或不完整的数据点。这一步骤确保模型从可靠信息中学习。技术包括处理缺失值、消除重复、纠正错误。

正常化和标准化

正常化尺度数据到特定范围,通常[0,1],这有利于在训练中更快的趋同. 标准化将数据转换为零的平均值和标准偏差为1,两种方法都提高了模型稳定性和性能.

地物工程

从原始数据中创建有意义的特性可以增强模型学习. 技术包括编码绝对变量,提取日期/时间特性,以及创建交互术语. 特质选择还减少了维度和噪音.

数据增强

数据增强通过应用转换来人为地增加训练数据集的大小。常见的方法包括翻转、旋转或裁剪图像,以及给数据点添加噪音。这一技术有助于防止过度配齐,改善通缩。