基于Linux wget指令和百度飞桨数据集的大文件快速上传方法

阅读本书更多章节>>>>

        我们在用SSH远程连接GPU服务器跑代码的时候，经常会上传一些文件到GPU服务器上，比如网络代码、数据集、软件安装包等等。如果文件比较小（MB级），可以用SSH工具快速上传，但是一旦文件达到GB级，再用SSH工具上传文件就会很慢。在计算机视觉领域，数据集一般都十分庞大，动辄几十GB甚至上百GB。有的时候，服务器通过SSH上传文件还会限流，给用户带来麻烦。因此，我们十分需要一种方便、快捷的跨平台服务器文件上传方法。

        今天给大家带来一种基于Linux wget下载指令和PaddlePaddle百度飞桨数据集的大文件快速上传方法，无需下载任何软件，只需2步，十分方便快捷，并且便于后续管理。废话不说，直接上教程：

        1.上传本地文件到百度飞桨数据集：

        ①进入百度飞桨官网：飞桨AI Studio星河社区-人工智能学习与实训社区 (baidu.com)：

        ②点击上面选项栏中的“数据集”：

        ③点击“创建数据集”：

        ④在弹出的窗口中，依次填写数据集名称、上传文件（注：这里上传压缩文件，如.zip/.rar/……）、选择标签、公开数据集、开源协议选第一个“公共领域（CC0）”、数据集作者、简介摘要。填写完毕，点击确定：

        ⑤在弹出的窗口中点击“查看”：

         ⑥这样就可以看到我们刚才上传文件的详细信息了。点击下载按钮：

         ⑦浏览器右上角会弹出下载信息，我们暂停下载，右键复制下载链接：

         ⑧随便找一个文本框，将下载链接显示出来，并删除&authorization及之后的部分，如下图中选中部分：

        ⑨最终得到的下载链接如下，复制此下载链接：

         至此，我们完成了将文件制作成公开数据集，并发布在网络上。接下来就是在Linux服务器上简单的下载了。

2.在Linux服务器下载文件：

        ①找到想要存储文件的目录，比如我想将文件下载到文件夹“CSDN”中，则cd CSDN，进入CSDN文件夹；

        ②在终端输入wget+刚才复制的链接，回车运行即可下载，下载速度非常快，下载完毕就可在Linux系统指定目录下看到我们之前上传的压缩文件：

wget https://bj.bcebos.com/v1/ai-studio-online/f2162baa00a545a9a3fced50d39a41c4af4a682a81204c72969b1f099333e038?responseContentDisposition=attachment%3B%20filename%3Dbaseline.zip

        ③解压缩，使用命令：unzip+压缩文件名，解压完毕，即可使用我们上传的文件：

unzip b0156abdb3d249eea745247d875f20b2a644d32f7b074869b1d3f9a2378b04a6\?responseContentDisposition\=attachment\;\ filename\=baseline.zip

        至此，我们完成了基于Linux wget指令和PP百度飞桨数据集的大文件快速上传的全部步骤，大大节省了我们跨平台上传大文件的时间，提高了工作效率。希望本教程能帮助到您！也希望大家多多支持，点赞收藏加关注(●'◡'●)！

阅读本书更多章节>>>>

本文链接：https://www.kjpai.cn/gushi/2024-05-02/164357.html，文章来源：网络cs，作者：往北，版权归作者所有，如需转载请注明来源和作者，否则将追究法律责任！