使用Go语言进行实时计算

实时计算问题

在做实时计算的时候,往往需要计算某一个指标在一秒钟产生的数量。我不知道现在使用一些先进的计算工具是怎么做的。但是如果仅仅是使用普通的编程语言进行计算的话,瓶颈在于一秒钟是否可以计算完成。如果这个计算在一秒钟之内是完成不了的,那么就会造成下一秒的计算的丢失,甚至是下下秒。当然即使是在一秒钟之内能够完成的计算任务。计算本身也是会消耗一点时间,这样来说的话,最后的计算结果也是不正确的。理想的情况下:不考虑取数据需要花费的时间的话,那么模型应该是这样子的:每隔一秒钟取出数据,然后启动一个并行的进程,让这个进程去执行计算任务。这种情况下,可以保证每秒钟都会有数据,但是如果计算时间比较长的话,还是会造成最终的延迟,但是这已经是能够保证的最好的一种方式了。

Go语言的处理效果

为什么要使用Go呢,其实本来我是使用Python作为计算任务脚本的,大家知道要想在Python中启动并行计算,那么只能够是启动进程。后来发现Go语言在处理这种事情上,显得非常适合,首先创建一个定时器:

ticker := time.NewTicker(time.Second)

这就创建了一个定时为一秒的定时器,使用方法如下:

for t := range ticker.C {
    //do something
}

创建一个通道:

 channel := make(chan string, 1024)

在循环里面可以去读取数据并且写到一个通道中

data := readFromRedis()
channel <- data

在程序开始的时候启动多个协程,来读取通道中数据,并且执行计算任务:

for i := 0; i < 10; i ++ {
    go func() {
        data := <-channel
        //do something calculate with data
    }()
}

这样,程序启动的时候,就会有十个协程等待从通道里面读取数据,然后做计算。只要一个计算任务不会超过10秒钟,那么每次读取的数据都会被处理掉,而不会造成哪一秒丢失的问题。另外由于Go是编译型语言,在做一些计算密集型的任务的时候,也具有非常大得优势。

总结

上面描述的其实只是其中的一种应用场景,而Go的这种类似于线程池的并发通信模型在很多的地方都可以用到。抽象来讲就是一端生产者不断生产出东西来,然后多个处理者处理这些原始数据。

Xiang Chao 20 August 2013
blog comments powered by Disqus
Fork me on GitHub