<s id="0oyqk"></s>
  • <option id="0oyqk"><optgroup id="0oyqk"></optgroup></option>
  • <source id="0oyqk"><bdo id="0oyqk"></bdo></source>
  • Golang 使用http Client下載文件的實現方法

     更新時間:2019-09-09 09:01:31   作者:佚名   我要評論(0)

    之前使用beego的http庫的時候,有的情況需要下載文件。beego是能實現,但就是有點問題:不支持回調,沒法顯示下載速度,這在日常開發中是不可忍受的。
    看了下be

    之前使用beego的http庫的時候,有的情況需要下載文件。beego是能實現,但就是有點問題:不支持回調,沒法顯示下載速度,這在日常開發中是不可忍受的。

    看了下beego的實現主要是使用了io.copy函數,于是就深入的看了下實現原理,發現挺簡單的,于是就根據io.copy原理實現的一個簡單的下載器

    //定義要下載的文件
    var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";
    //解析url
    uri, err := url.ParseRequestURI(durl)
    if err != nil {
     panic("網址錯誤")
    }

    正常的一個流程先看看Url有沒有錯誤

    filename := path.Base(uri.Path)
    log.Println("[*] Filename " + filename)

    使用path.Base取出url的文件名稱,這里有個可能會出現bug的地方:如果這個網址是302跳轉過去的話是沒法取出跳轉過后的文件名稱。

    取文件名稱這步可以再發送http請求的時候 client.CheckRedirect定義一個函數取出文件名次即可。

    client := http.DefaultClient;
    client.Timeout = time.Second * 60 //設置超時時間
    resp, err := client.Get(durl)

    創建一個httpClient,另外這個客戶端的Timeout是設置讀取數據的時候多少時間算超時。

    我這里比較推崇用Do方法傳遞一個Reqeust過去,應為有的url需要校驗http頭之類的,你問我為啥不用一個字懶。

    raw := resp.Body
    defer raw.Close()
    reader := bufio.NewReaderSize(raw, 1024*32);

    其實說實話不太清楚bufio能不能真正的加快htpp讀取速度,沒有做過跟不用bufio的對比。但是為了心理上的安心就加上去了

    file, err := os.Create(filename)
    if err != nil {
     panic(err)
    }
    writer := bufio.NewWriter(file)

    同上也不太確定bufio能對文件寫入增加多少速度

    buff := make([]byte, 32*1024)
    written := 0
    go func() {
     for {
      nr, er := reader.Read(buff)
      if nr > 0 {
       nw, ew := writer.Write(buff[0:nr])
       if nw > 0 {
        written += nw
       }
       if ew != nil {
        err = ew
        break
       }
       if nr != nw {
        err = io.ErrShortWrite
        break
       }
      }
      if er != nil {
       if er != io.EOF {
        err = er
       }
       break
      }
     }
     if err != nil {
      panic(err)
     }
    }()

    這個源碼是我直接復制io.copyBuffer函數的只是做了一些簡單的修改理解大概意思就行

    //間隔時間
    spaceTime := time.Second * 1
    //定時器
    ticker := time.NewTicker(spaceTime)
    //上次讀取數據大小
    lastWtn := 0
    stop := false
    
    for {
     select {
     case <-ticker.C:
      //這次讀取的文件大小-上次讀取的數據大小=速度
      speed := written - lastWtn
      log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String())
      if written-lastWtn == 0 {
       ticker.Stop()
       stop = true
       break
      }
      lastWtn = written
     }
     if stop {
      break
     }
    }
    

    這段代碼堵塞住程序,然后定時器按照間隔時間來計算速度。這里可能會出現bug的地方就是在間隔時間內沒有讀取到數據的時候回直接跳出循環。現在這個時間點非常困,寫個blog已經困的要死了以后有空把這個bug解決了吧

    func bytesToSize(length int) string {
     var k = 1024 // or 1024
     var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"}
     if length == 0 {
      return "0 Bytes"
     }
     i := math.Floor(math.Log(float64(length)) / math.Log(float64(k)))
     r := float64(length) / math.Pow(float64(k), i)
     return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]
    }

    這個函數是我從我個人的php項目中轉換過來的

    2018/08/17 00:24:50 [*] Filename go1.10.3.darwin-amd64.pkg
    2018/08/17 00:24:51 [*] Speed 9.000 MB / 1s 
    2018/08/17 00:24:52 [*] Speed 11.125 MB / 1s 
    2018/08/17 00:24:53 [*] Speed 11.125 MB / 1s 
    2018/08/17 00:24:54 [*] Speed 10.562 MB / 1s 
    2018/08/17 00:24:55 [*] Speed 11.187 MB / 1s 
    2018/08/17 00:24:56 [*] Speed 11.109 MB / 1s 
    2018/08/17 00:24:57 [*] Speed 11.109 MB / 1s 
    2018/08/17 00:24:58 [*] Speed 11.141 MB / 1s 
    2018/08/17 00:24:59 [*] Speed 11.172 MB / 1s 
    2018/08/17 00:25:00 [*] Speed 11.141 MB / 1s 
    2018/08/17 00:25:01 [*] Speed 8.453 MB / 1s 
    2018/08/17 00:25:02 [*] Speed 6.385 MB / 1s 
    2018/08/17 00:25:03 [*] Speed 0 Bytes / 1s 

    這是最終的運行結果,然后我再把全部的源碼放在下面就去睡了。

    package main
    
    import (
     "net/http"
     "log"
     "time"
     "net/url"
     "path"
     "os"
     "io"
     "bufio"
     "math"
     "strconv"
    )
    
    var durl = "https://dl.google.com/go/go1.10.3.darwin-amd64.pkg";
    
    func main() {
     uri, err := url.ParseRequestURI(durl)
     if err != nil {
      panic("網址錯誤")
     }
    
     filename := path.Base(uri.Path)
     log.Println("[*] Filename " + filename)
    
     client := http.DefaultClient;
     client.Timeout = time.Second * 60 //設置超時時間
     resp, err := client.Get(durl)
     if err != nil {
      panic(err)
     }
     if resp.ContentLength <= 0 {
      log.Println("[*] Destination server does not support breakpoint download.")
     }
     raw := resp.Body
     defer raw.Close()
     reader := bufio.NewReaderSize(raw, 1024*32);
    
    
     file, err := os.Create(filename)
     if err != nil {
      panic(err)
     }
     writer := bufio.NewWriter(file)
    
     buff := make([]byte, 32*1024)
     written := 0
     go func() {
      for {
       nr, er := reader.Read(buff)
       if nr > 0 {
        nw, ew := writer.Write(buff[0:nr])
        if nw > 0 {
         written += nw
        }
        if ew != nil {
         err = ew
         break
        }
        if nr != nw {
         err = io.ErrShortWrite
         break
        }
       }
       if er != nil {
        if er != io.EOF {
         err = er
        }
        break
       }
      }
      if err != nil {
       panic(err)
      }
     }()
    
     spaceTime := time.Second * 1
     ticker := time.NewTicker(spaceTime)
     lastWtn := 0
     stop := false
    
     for {
      select {
      case <-ticker.C:
       speed := written - lastWtn
       log.Printf("[*] Speed %s / %s \n", bytesToSize(speed), spaceTime.String())
       if written-lastWtn == 0 {
        ticker.Stop()
        stop = true
        break
       }
       lastWtn = written
      }
      if stop {
       break
      }
     }
    }
    
    func bytesToSize(length int) string {
     var k = 1024 // or 1024
     var sizes = []string{"Bytes", "KB", "MB", "GB", "TB"}
     if length == 0 {
      return "0 Bytes"
     }
     i := math.Floor(math.Log(float64(length)) / math.Log(float64(k)))
     r := float64(length) / math.Pow(float64(k), i)
     return strconv.FormatFloat(r, 'f', 3, 64) + " " + sizes[int(i)]
    }
    

    以上這篇Golang 使用http Client下載文件的實現方法就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

    您可能感興趣的文章:

    • Go語言使用HTTP包創建WEB服務器的方法
    • go語言實現一個最簡單的http文件服務器實例

    相關文章

    • 下載golang.org/x包的操作方法

      下載golang.org/x包的操作方法

      golang.org/x包放到了https://github.com/golang/text中,下載時需要先在本地建立golang.org/x的目錄后,再下載。 mkdir -p golang.org/x git clone https://
      2019-09-09
    • Golang 使用http Client下載文件的實現方法

      Golang 使用http Client下載文件的實現方法

      之前使用beego的http庫的時候,有的情況需要下載文件。beego是能實現,但就是有點問題:不支持回調,沒法顯示下載速度,這在日常開發中是不可忍受的。 看了下be
      2019-09-09
    • 基于Go和Gin的環境配置方法

      基于Go和Gin的環境配置方法

      1.官方下載Go版本,安裝相應平臺的程序。 2.配置Go的環境變量: GOROOT:GO安裝路徑,例如GOROOT = D:\Go GOPATH: 項目源碼所在目錄(例如GOPATH = E:\go),
      2019-09-09
    • golang 檢查網絡狀態是否正常的方法

      golang 檢查網絡狀態是否正常的方法

      如下所示: package main import ( "fmt" "os/exec" "time" ) func NetWorkStatus() bool { cmd := exec.Command("ping", "baidu.com", "-c", "1", "
      2019-09-09
    • gorm golang 并發連接數據庫報錯的解決方法

      gorm golang 并發連接數據庫報錯的解決方法

      底層報錯 error:cannot assign requested address 原因 并發場景下 client 頻繁請求端口建立tcp連接導致端口被耗盡 解決方案 root執行即可 sysctl -w net.
      2019-09-09
    • golang socket斷點續傳大文件的實現方法

      golang socket斷點續傳大文件的實現方法

      在日常編程中,我們肯定會遇到用socket傳送文件內容,如果是大文件的,總不能傳送到一半因某原因斷掉了,又從新傳送文件內容吧。對,我們需要續傳,也就是接著
      2019-09-09
    • golang http連接復用方法

      golang http連接復用方法

      server端 golang httpserver 默認開啟keepalive連接復用選項 handler函數需要完整讀body數據,構造返回消息,否則當數據不能一次發送完成時,連接復用就會失效
      2019-09-09
    • 詳解golang 模板(template)的常用基本語法

      詳解golang 模板(template)的常用基本語法

      模板 在寫動態頁面的網站的時候,我們常常將不變的部分提出成為模板,可變部分通過后端程序的渲染來生成動態網頁,golang提供了html/template包來支持模板
      2019-09-09
    • golang并發下載多個文件的方法

      golang并發下載多個文件的方法

      背景說明 假設有一個分布式文件系統,現需要從該系統中并發下載一部分文件到本地機器。 已知該文件系統的部分節點ip, 以及需要下載的文件fileID列表,并能通過
      2019-09-09
    • golang解析html網頁的方法

      golang解析html網頁的方法

      1.先看一下整個結構: 主要是web和html目錄,分別存放go代碼和html相關的資源文件。 2.html代碼比較簡單,代碼如下: <html> <head> <title>Go web</tit
      2019-09-09

    最新評論

    种子磁力搜索器