Month: 10月 2017

PaddlePaddle系列之三行代码从入门到精通

本文介绍 PaddlePaddle系列之三行代码从入门到精通

PaddlePaddle系列之三行代码从入门到精通

前言

这将是PaddlePaddle系列教程的开篇,属于非官方教程。既然是非官方,自然会从一个使用者的角度出发,来教大家怎么用,会有哪些坑,以及如何上手并用到实际项目中去。…

流媒体:ffmpeg生成HLS的m3u8与ts片段

流媒体:ffmpeg生成HLS的m3u8与ts片段

 

转换方式一

1.直接把媒体文件转为ts

ffmpeg -i cat.mp4 -c copy -bsf h264_mp4toannexb cat.ts

2.使用segment参数进行切片

ffmpeg -i cat.ts -c copy -map 0 -f segment -segment_list playlist.m3u8 -segment_time 2 cat_output%03d.ts

 

 

转换方式二

1.ffmpeg切片命令,以H264和AAC的形式对视频进行输出

ffmpeg -i
    

mysql5.7.10开启慢查询

#在/etc/my.cnf中的[mysqld]中加入如下代码:
slow-query-log=On
slow_query_log_file=/data/mysql/log/mysql_slow_query.log
long_query_time=2
log_queries_not_using_indexes = ON

第一句是开启慢查询
第二句是用来定义慢查询日志的路径
第三句是用来定义查过多少秒的查询算是慢查询,我这里定义的是2秒
第四句就是记录下没有使用索引的query…

从学习 Paddle 开始学习深度学习(一)

深度学习的黄金时代已经到来

开场白

首先给Baidu打一波广告。Paddle深度学习平台,你值得学习。

它的优点

  • 灵活性:PaddlePaddle支持广泛的神经网络结构和优化算法,很容易配置复杂的模型,如基于注意力(Attention)机制或复杂的内存(Memory)连接的神经机器翻译模型。(Attention和Memory参考阅读: 深度学习和自然语言处理中的attention和memory机制 、 深度学习:推动NLP领域发展的新引擎 )
  • 高效:在PaddlePaddle的不同层面进行优化,以发挥异构计算资源的效率,包括计算、内存、架构和通信等。例如:
    • 通过SSE/AVX内部函数,BLAS库(例如MKL,ATLAS,CUBLAS)或定制CPU/GPU内核优化的数学运算。
    • 高度优化循环网络,以处理可变长度序列,无需填充(Padding)。
    • 优化高维稀疏数据模型的本地和分布式训练。
  • 可扩展性:PaddlePaddle很容易使用多个CPU/GPU和机器来加快你的训练,通过优化通信实现高吞吐量、高性能。
  • 连接产品:PaddlePaddle易于部署。在百度,PaddlePaddle已经被部署到广大用户使用的产品或服务,包括广告点击率(CTR)的预测,大型图像分类,光学字符识别(OCR),搜索排名,计算机病毒检测,推荐等。

来自网络


初识

先做一个形象的比喻,Paddle就好比一台3D打印机,我们设计的神经网络就好比需要打印的模型,而我们的数据集就相当于原材料,把两者同时提供给这台打印机,经过一段时间就可以得到我们预期的产品--模型(Trained Model).

简言之,paddle 做的工作就是利用我们设计的模型和我们提供的数据 通过高性能的并行技术(CPU/GPU)来完成训练。

所以,我们在使用 Paddle 做深度学习时最基本的工作就是设计一个完美的模型并准备好数据。也就是要有以下几个文件:

  • trainer_config.py : 配置神经网络模型
  • data_provider.py : 数据提供
  • train.sh : 配置paddle训练的参数

安装

paddle提供了三种安装方式:

  • Docker 安装,非常便捷,但必须在Docker环境下部署。
  • deb 安装,

百度开源深度学习框架PaddlePaddle安装配置

一、环境配置

PC机一台+UBUNTU 16.04系统

二、过程

1、使用Docker安装PaddlePaddle

1)在Ubuntu 上安装 Docker: 参考 http://blog.p2hp.com/archives/4809

2)安装完后在命令行键入sudo service docker start和sudo docker run hello-world,验证Docker正确安装;

3)在命令行键入     sudo docker run -it paddlepaddle/paddle:0.10.0rc3-noavx /bin/bash开始下载安装Paddle docker,由于网络环境不同,下载速度会有所差异,等待Paddle docker的下载和安装

4)安装完成后,你会发现命令行发生变化了,变成了root@e1f3456e7992:/#,OK,安装成功

2、运行一个PaddlePaddle的Demo

我们以quick_start为例,

1)首先,从github上将paddle项目拉取到本地,或者从github上直接下载项目的zip压缩包:点我进入PaddlePaddle github项目

2) 进入/home/yangyanbin/下载/Paddle-develop/v1_api_demo/quick_start/data

3)在命令行键入 bash ./get_data.sh 下载实验数据

4)启动paddle的docker镜像…

《相对论 · 上》—— 过去,现在,未来是同时存在的吗?

If you pay attention, this episode is going to blow your mind.

—— Gabe Perez-Giz, PBS Spacetime

The distinction between past, present and future, is only an illusion, however persistent.

—— Albert Einstein

这是一篇有关《相对论》的文章,在这篇文章中,我想跟大家讨论两个非常有趣的话题,第一个就是上面的那句爱因斯坦亲口说过的话 —— 过去,现在,未来,是同时存在的。如果你觉得已经没有什么话题可以比它更加颠覆常识的话,那么看看第二个话题吧:牛顿认为,苹果从树上掉下来是因为苹果受到了地球的引力。而爱因斯坦则认为,不是苹果从树上掉下来撞到了地球,而是地球从下面升上去撞到了苹果。

有没有吓跑你?哈哈!如果你还在这儿的话,让我们开始吧!

十九世纪的最后一天,欧洲的科学家们欢聚一堂。会上,英国著名物理学家开尔文男爵发表了新年祝词,他在回顾物理学所取得的伟大成就时说:物理学的大厦已经落成,所剩的只是一些修饰工作,但是在经典物理学阳光灿烂的天空中,漂浮着两朵乌云。

第一朵是迈克耳逊