@Ng老师的第一章w1、w2
房价预测 监督学习 深度学习 一些小知识： $1 structured data and unstructured data 前者（eg：数据库）的每个特征均有清晰的定义，后者（eg：图像、音频）的特征可能是像素、文本 $2 监督学习 standard neural network 房地厂、广告等 CNN 图像数据 RNN 序列数据 RNNS 语言数据等 $3 深度学习盛行的某些因素 Data Computation Algorithnms $4 设计的一般过程 循环：–idea–code–experiment–
一些小知识：
loss指的是单个训练样本上的表现，而cost function是指全体训练样本的表现，用于衡量算法的运行情况；每个神经网络的计算都是按照前向传播和反向传播过程来实现的；Vectorizaion可以用于摆脱显示for循环，减少耗时；计算z时，broadcasting功能可以自动补全b，解决维度不一致的问题；使用np.random.rand()时，注意维度的完整性；可使用assert断言保证数组和向量的维度正确；np.dot(a,b)执行矩阵的乘法运算，而a*b执行元素的乘法运算；感谢博主https://blog.csdn.net/u013733326/article/details/79639509的分享，就本次读代码过程做出以下小结。 首先调用科学计算、绘图和数据库等
import numpy as np import matplotlib.pyplot as plt import h5py from lr_utils import load_dataset加载数据
train_set_x_orig , train_set_y , test_set_x_orig , test_set_y , classes = load_dataset()数据降维转置
#X_flatten = X.reshape(X.shape [0]，-1).T ＃X.T是X的转置 #将训练集的维度降低并转置。 train_set_x_flatten = train_set_x_orig.reshape(train_set_x_orig.shape[0],-1).T #将测试集的维度降低并转置。 test_set_x_flatten = test_set_x_orig.reshape(test_set_x_orig.shape[0], -1).T数据标准化至[0,1]
train_set_x = train_set_x_flatten / 255 test_set_x = test_set_x_flatten / 255定义激活函数
def sigmoid（z）： """ 参数： z - 任何大小的标量或numpy数组。 返回： s-sigmoid（z） """ s=1/（1+np.exp(-z)）初始化权值
def initialize_with_zeros(dim): """ 此函数为w创建一个维度为（dim，1）的0向量，并将b初始化为0。 参数： dim - 我们想要的w矢量的大小（或者这种情况下的参数数量） 返回： w - 维度为（dim，1）的初始化向量。 b - 初始化的标量（对应于偏差） """ w = np.zeros(shape = (dim,1)) b = 0 #使用断言来确保我要的数据是正确的 assert(w.shape == (dim, 1)) #w的维度是(dim,1) assert(isinstance(b, float) or isinstance(b, int)) #b的类型是float或者是int return (w , b）定义前向传播与反向传播
def propagate(w, b, X, Y): """ 实现前向和后向传播的成本函数及其梯度。 参数： w - 权重，大小不等的数组（num_px * num_px * 3，1） b - 偏差，一个标量 X - 矩阵类型为（num_px * num_px * 3，训练数量） Y - 真正的“标签”矢量（如果非猫则为0，如果是猫则为1），矩阵维度为(1,训练数据数量) 返回： cost- 逻辑回归的负对数似然成本 dw - 相对于w的损失梯度，因此与w相同的形状 db - 相对于b的损失梯度，因此与b的形状相同 """ m = X.shape[1] #正向传播 A = sigmoid(np.dot(w.T,X) + b) cost = (- 1 / m) * np.sum(Y * np.log(A) + (1 - Y) * (np.log(1 - A))) #反向传播 dw = (1 / m) * np.dot(X, (A - Y).T) #请参考视频中的偏导公式。 db = (1 / m) * np.sum(A - Y) #请参考视频中的偏导公式。 #使用断言确保我的数据是正确的 assert(dw.shape == w.shape) assert(db.dtype == float) cost = np.squeeze(cost) assert(cost.shape == ()) #创建一个字典，把dw和db保存起来。 grads = { "dw": dw, "db": db } return (grads , cost)优化参数
def optimize(w , b , X , Y , num_iterations , learning_rate , print_cost = False): """ 此函数通过运行梯度下降算法来优化w和b 参数： w - 权重，大小不等的数组（num_px * num_px * 3，1） b - 偏差，一个标量 X - 维度为（num_px * num_px * 3，训练数据的数量）的数组。 Y - 真正的“标签”矢量（如果非猫则为0，如果是猫则为1），矩阵维度为(1,训练数据的数量) num_iterations - 优化循环的迭代次数 learning_rate - 梯度下降更新规则的学习率 print_cost - 每100步打印一次损失值 返回： params - 包含权重w和偏差b的字典 grads - 包含权重和偏差相对于成本函数的梯度的字典 成本 - 优化期间计算的所有成本列表，将用于绘制学习曲线。 提示： 我们需要写下两个步骤并遍历它们： 1）计算当前参数的成本和梯度，使用propagate（）。 2）使用w和b的梯度下降法则更新参数。 """ costs = [] for i in range(num_iterations): grads, cost = propagate(w, b, X, Y) dw = grads["dw"] db = grads["db"] w = w - learning_rate * dw b = b - learning_rate * db #记录成本 if i % 100 == 0: costs.append(cost) #打印成本数据 if (print_cost) and (i % 100 == 0): print("迭代的次数: %i ， 误差值： %f" % (i,cost)) params = { "w" : w, "b" : b } grads = { "dw": dw, "db": db } return (params , grads , costs)预测值
def predict(w , b , X ): """ 使用学习逻辑回归参数logistic （w，b）预测标签是0还是1， 参数： w - 权重，大小不等的数组（num_px * num_px * 3，1） b - 偏差，一个标量 X - 维度为（num_px * num_px * 3，训练数据的数量）的数据 返回： Y_prediction - 包含X中所有图片的所有预测【0 | 1】的一个numpy数组（向量） """ m = X.shape[1] #图片的数量 Y_prediction = np.zeros((1,m)) w = w.reshape(X.shape[0],1) #计预测猫在图片中出现的概率 A = sigmoid(np.dot(w.T , X) + b) for i in range(A.shape[1]): #将概率a [0，i]转换为实际预测p [0，i] Y_prediction[0,i] = 1 if A[0,i] > 0.5 else 0 #使用断言 assert(Y_prediction.shape == (1,m)) return Y_prediction整合模型：
def model(X_train , Y_train , X_test , Y_test , num_iterations = 2000 , learning_rate = 0.5 , print_cost = False): """ 参数： X_train - numpy的数组,维度为（num_px * num_px * 3，m_train）的训练集 Y_train - numpy的数组,维度为（1，m_train）（矢量）的训练标签集 X_test - numpy的数组,维度为（num_px * num_px * 3，m_test）的测试集 Y_test - numpy的数组,维度为（1，m_test）的（向量）的测试标签集 num_iterations - 表示用于优化参数的迭代次数的超参数 learning_rate - 表示optimize（）更新规则中使用的学习速率的超参数 print_cost - 设置为true以每100次迭代打印成本 返回： d - 包含有关模型信息的字典。 """ w , b = initialize_with_zeros(X_train.shape[0]) parameters , grads , costs = optimize(w , b , X_train , Y_train,num_iterations , learning_rate , print_cost) #从字典“参数”中检索参数w和b w , b = parameters["w"] , parameters["b"] #预测测试/训练集的例子 Y_prediction_test = predict(w , b, X_test) Y_prediction_train = predict(w , b, X_train) #打印训练后的准确性 print("训练集准确性：" , format(100 - np.mean(np.abs(Y_prediction_train - Y_train)) * 100) ,"%") print("测试集准确性：" , format(100 - np.mean(np.abs(Y_prediction_test - Y_test)) * 100) ,"%") d = { "costs" : costs, "Y_prediction_test" : Y_prediction_test, "Y_prediciton_train" : Y_prediction_train, "w" : w, "b" : b, "learning_rate" : learning_rate, "num_iterations" : num_iterations } return d模型训练
d = model(train_set_x, train_set_y, test_set_x, test_set_y, num_iterations = 2000, learning_rate = 0.005, print_cost = True)