大数据开发中itertools.chain()函数怎么用

大数据开发中itertools.chain()函数怎么用

这篇文章主要介绍了大数据开发中itertools.chain()函数怎么用，具有一定借鉴价值，感兴趣的朋友可以参考下，希望大家阅读完这篇文章之后大有收获，下面让小编带着大家一起了解一下。

你想在多个对象执行相同的操作，但是这些对象在不同的容器中，你希望代码在不失可读性的情况下避免写重复的循环

from itertools import chain   a = [1, 2, 3, 4]   b = ['x', 'y', 'z']   for x in chain(a, b):       print(x)   1   2   3   4   x   y   z

好处：如果采用a+b的方式遍历，那么要求a和b的类型一致，如果数据再大一点会，会消耗内存，而chain是通过创建迭代器，依次返回可迭代对象的元素

如何把一个 itertools.chain 对象转换为一个数组

list_of_numbers = [[1, 2], [3], []]  import itertools  chain = itertools.chain(*list_of_numbers)

第一种比较简单，直接采用 list 方法，如下所示：

list(chain)

但缺点有两个：

• 会在外层多嵌套一个列表

• 效率并不高

第二个就是利用 numpy 库的方法 np.fromiter ，示例如下：

>>> import numpy as np  >>> from itertools import chain  >>> list_of_numbers = [[1, 2], [3], []]  >>> np.fromiter(chain(*list_of_numbers), dtype=int)  array([1, 2, 3])

对比两种方法的运算时间，如下所示：

>>> list_of_numbers = [[1, 2]*1000, [3]*1000, []]*1000  >>> np.fromiter(chain(*list_of_numbers), dtype=int)  10 loops, best of 3: 103 ms per loop  >>> np.array(list(chain(*list_of_numbers)))  1 loops, best of 3: 199 ms per loop

可以看到采用 numpy 方法的运算速度会更快。

感谢你能够认真阅读完这篇文章，希望小编分享的“大数据开发中itertools.chain()函数怎么用”这篇文章对大家有帮助，同时也希望大家多多支持高防服务器网，关注高防服务器网行业资讯频道，更多相关知识等着你来学习!

[微信提示：高防服务器能助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。

[图文来源于网络，不代表本站立场，如有侵权，请联系高防服务器网删除]
[