このコードは、呼び出された実行可能ファイルとして同じフォルダー内のすべてのxmlファイルを選択し、コールバックメソッドの各結果に処理を非同期に適用します(以下の例では、ファイルの名前のみが出力されます)。
スリープメソッドを使用してメインメソッドが終了しないようにするにはどうすればよいですか?チャンネルに頭を巻くのに問題があります(結果を同期するために必要だと思います)。
package main
import (
"fmt"
"io/ioutil"
"path"
"path/filepath"
"os"
"runtime"
"time"
)
func eachFile(extension string, callback func(file string)) {
exeDir := filepath.Dir(os.Args[0])
files, _ := ioutil.ReadDir(exeDir)
for _, f := range files {
fileName := f.Name()
if extension == path.Ext(fileName) {
go callback(fileName)
}
}
}
func main() {
maxProcs := runtime.NumCPU()
runtime.GOMAXPROCS(maxProcs)
eachFile(".xml", func(fileName string) {
// Custom logic goes in here
fmt.Println(fileName)
})
// This is what i want to get rid of
time.Sleep(100 * time.Millisecond)
}
sync.WaitGroup を使用できます。リンクされた例を引用:
package main
import (
"net/http"
"sync"
)
func main() {
var wg sync.WaitGroup
var urls = []string{
"http://www.golang.org/",
"http://www.google.com/",
"http://www.somestupidname.com/",
}
for _, url := range urls {
// Increment the WaitGroup counter.
wg.Add(1)
// Launch a goroutine to fetch the URL.
go func(url string) {
// Decrement the counter when the goroutine completes.
defer wg.Done()
// Fetch the URL.
http.Get(url)
}(url)
}
// Wait for all HTTP fetches to complete.
wg.Wait()
}
WaitGroupsは間違いなくこれを行う標準的な方法です。ただし、完全を期すために、WaitGroupsが導入される前に一般的に使用されていたソリューションを次に示します。基本的な考え方は、チャネルを使用して「完了」と言い、メインゴルーチンに、生成された各ルーチンが完了を報告するまで待機させることです。
func main() {
c := make(chan struct{}) // We don't need any data to be passed, so use an empty struct
for i := 0; i < 100; i++ {
go func() {
doSomething()
c <- struct{}{} // signal that the routine has completed
}()
}
// Since we spawned 100 routines, receive 100 messages.
for i := 0; i < 100; i++ {
<- c
}
}
sync.WaitGroup はここで役立ちます。
package main
import (
"fmt"
"sync"
"time"
)
func wait(seconds int, wg * sync.WaitGroup) {
defer wg.Done()
time.Sleep(time.Duration(seconds) * time.Second)
fmt.Println("Slept ", seconds, " seconds ..")
}
func main() {
var wg sync.WaitGroup
for i := 0; i <= 5; i++ {
wg.Add(1)
go wait(i, &wg)
}
wg.Wait()
}
sync.waitGroup
(wg)は標準的な方法であり、少なくともwg.Add
はあなたの前に呼び出しますwg.Wait
すべてを完了します。これは、事前に再帰呼び出しの数がわからず、wg.Add
呼び出し。結局のところ、子ページの最初のバッチのサイズを知る前に、最初のページをロードして解析する必要があります。
チャネルを使用してソリューションを作成しました。ソリューションでwaitGroup
を避け、 Tour of Go-web crawler の演習を行いました。 1つ以上のgo-routineが開始されるたびに、children
チャネルに番号を送信します。 goルーチンが完了しようとするたびに、1
をdone
チャンネルに。子の合計がdoneの合計と等しくなると、完了です。
私の唯一の懸念事項は、results
チャネルのハードコードされたサイズですが、それは(現在の)Go制限です。
// recursionController is a data structure with three channels to control our Crawl recursion.
// Tried to use sync.waitGroup in a previous version, but I was unhappy with the mandatory sleep.
// The idea is to have three channels, counting the outstanding calls (children), completed calls
// (done) and results (results). Once outstanding calls == completed calls we are done (if you are
// sufficiently careful to signal any new children before closing your current one, as you may be the last one).
//
type recursionController struct {
results chan string
children chan int
done chan int
}
// instead of instantiating one instance, as we did above, use a more idiomatic Go solution
func NewRecursionController() recursionController {
// we buffer results to 1000, so we cannot crawl more pages than that.
return recursionController{make(chan string, 1000), make(chan int), make(chan int)}
}
// recursionController.Add: convenience function to add children to controller (similar to waitGroup)
func (rc recursionController) Add(children int) {
rc.children <- children
}
// recursionController.Done: convenience function to remove a child from controller (similar to waitGroup)
func (rc recursionController) Done() {
rc.done <- 1
}
// recursionController.Wait will wait until all children are done
func (rc recursionController) Wait() {
fmt.Println("Controller waiting...")
var children, done int
for {
select {
case childrenDelta := <-rc.children:
children += childrenDelta
// fmt.Printf("children found %v total %v\n", childrenDelta, children)
case <-rc.done:
done += 1
// fmt.Println("done found", done)
default:
if done > 0 && children == done {
fmt.Printf("Controller exiting, done = %v, children = %v\n", done, children)
close(rc.results)
return
}
}
}
}
次に、WaitGroupを使用するソリューションを示します。
まず、2つのユーティリティメソッドを定義します。
package util
import (
"sync"
)
var allNodesWaitGroup sync.WaitGroup
func GoNode(f func()) {
allNodesWaitGroup.Add(1)
go func() {
defer allNodesWaitGroup.Done()
f()
}()
}
func WaitForAllNodes() {
allNodesWaitGroup.Wait()
}
次に、callback
の呼び出しを置き換えます。
go callback(fileName)
ユーティリティ関数を呼び出すと:
util.GoNode(func() { callback(fileName) })
最後のステップでは、main
の代わりにsleep
の最後にこの行を追加します。これにより、プログラムが停止する前に、メインスレッドがすべてのルーチンの終了を待機します。
func main() {
// ...
util.WaitForAllNodes()
}