Python真的是瓶颈吗？-编程学习网

Python太慢了吗?

我认为，此类问题应基于特定的上下文或用例提出。与C之类的编译语言相比，Python的数字运算速度慢吗?是的。这个事实已经存在多年了，这就是为什么速度如此重要的Python库(例如numpy)在后台充分利用C的原因。

但是对于所有用例来说，Python是否比其他(难于学习和使用)语言慢很多?如果查看许多为解决特定问题而优化的Python库的性能基准，它们与编译语言相比表现良好。例如，看一下FastAPI性能基准测试-显然，Go作为一种编译语言比Python快得多。尽管如此，FastAPI还是击败了Go的一些用于构建REST API的库：

> Web Framework Benchmarks — image by the author

旁注：上面的列表不包括具有更高性能的C ++和Java Web框架。

类似地，当将Dask(用Python编写)与Spark(用Scala编写)比较用于数据密集型神经成像管道[2]时，作者得出以下结论：

总体而言，我们的结果表明，发动机之间的性能没有实质性差异。

我们应该问自己的问题是我们真正需要多少速度。如果您运行每天仅触发一次的ETL作业，则可能需要20秒钟还是200秒钟都不在乎。然后，您可能希望使代码易于理解，打包和维护，特别是考虑到与昂贵的工程时间相比，计算资源变得越来越负担得起。

代码速度与实用性

从务实的角度来看，在选择用于日常工作的编程语言时，我们需要回答许多不同的问题。

(1) 可以使用这种语言可靠地解决多个业务问题吗?

如果您只关心速度，那就不要使用Python。对于各种用例，都有更快的替代方法。Python的主要优点在于其可读性，易用性以及可以解决的许多问题。Python可以用作将无数不同的系统，服务和用例联系在一起的胶水。

(2) 能找到足够的懂这种语言的员工吗?

由于Python非常易于学习和使用，因此Python用户数量不断增长。以前曾在Excel中处理数字的业务用户现在可以快速学习在Pandas中进行编码，从而学会自给自足，而无需始终依赖IT资源。同时，这消除了IT和分析部门的负担。它还可以缩短实现价值的时间。

如今，与那些能够使用Java或Scala做到这一点的数据工程师相比，更加容易了解Python并且可以使用该语言维护Spark数据处理应用程序的人更加容易。许多组织只是因为找到"讲"该语言的员工的机会较高，而逐渐在许多用例上转向使用Python。

相比之下，我知道迫切需要Java或C#开发人员来维护其现有应用程序的公司，但是这些语言很困难(需要花费数年时间才能熟练使用)，并且对于新程序员来说似乎没有吸引力，他们可能会在利用更简单的语言(例如，Go或Python。

来自不同领域的专家之间的协同作用

如果您的公司使用Python，则业务用户，数据分析师，数据科学家，数据工程师，数据工程师，后端和Web开发人员，DevOps工程师甚至系统管理员都很有可能使用相同的语言。这可以在项目中产生协同作用，使来自不同领域的人们可以一起工作并利用相同的工具。

[[359674]]

> Photo by Startup Stock Photos from Pexels

数据处理的真正瓶颈是什么?

根据我自己的工作，我通常遇到的瓶颈不是语言本身，而是外部资源。更具体地说，让我们看几个例子。

(1) 写入关系数据库

在以ETL方式处理数据时，我们需要最终将此数据加载到某个集中位置。尽管我们可以利用Python中的多线程功能(通过使用更多线程)将数据更快地写入某些关系数据库中，但并行写入次数的增加可能会最大化该数据库的CPU容量。

实际上，当我使用多线程来加快对AWS上RDS Aurora数据库的写入速度时，这发生在我身上。然后，我注意到writer节点的CPU使用率上升到如此之高，以至于我不得不使用更少的线程来故意降低代码速度，以确保不会破坏数据库实例。

这意味着Python具有并行化和加速许多操作的机制，但是关系数据库(受CPU内核数量的限制)具有其局限性，仅通过使用更快的编程语言就不可能解决它。

(2) 调用外部API

使用外部REST API(您可能希望从中提取数据以满足数据分析需求)是另一个例子，其中语言本身似乎并不是瓶颈。尽管我们可以利用并行性来加快数据提取的速度，但这可能是徒劳的，因为许多外部API限制了我们可以在特定时间段内发出的请求数量。因此，您可能经常会发现自己故意降低了脚本运行速度，以确保不超出API的请求限制：