文章目录 前言步骤一：下载安装包Spark的目录和文件 步骤二：使用Scala或PySpark Shell本地 shell 运行 步骤3:理解Spark应用中的概念Spark Application and SparkSessionSpark JobsSpark StagesSpark Tasks 转换、立即执行操作和延迟求值窄变换和宽变换 S…

参考： [南京大学]-[软件分析]课程学习笔记(二)-IR_ast和ir的区别-CSDN博客 ------------------------------------------------------------------------------------------------------------ 1. compilers and static analyzers compiler 是将 Source Code 转…

打印环境变量，把当前子进程所有环境变量打印出来 环境变量也是一张表（指针数组以null结尾，最后条件不满足就退出了 ） 用子进程调用 结论1 当我们进行程序替换的时候 ，子进程对应的环境变量（子进程的环境变…

记录下自己在新增了一个新的容器后，Disk Size过大导致启动Docker Desktop会一直卡在Docker Desktop starting，并且重启无效的解决方法。该方法无需重新卸载，并且能保留原有的镜像和容器。 一、确认问题 首先确认Docker.raw大小以确认是否和笔…

使用FLutter开发了一个图片选择的组件，功能如下： 1、支持设置最大可选图片的个数； 2、根据选择的图片个数自适应容器组件的高度； 3、可设置容器的最大高度； 4、支持点击放大和删除功能； 具体效果如下 …

约束用于确保数据库中的数据满足特定的商业规则。 MySQL约束包含五种：not null、unique、primary key、foreign key、check 7.1 primary key 主键 字段名 字段类型 primary key 用于唯一的标识表的行数据，当定义主键约束后，该列不能重复。 pr…

分布式爬虫 1.详情介绍 分布式爬虫是指将一个爬虫任务分解成多个子任务，在多个机器上同时执行，从而加快数据的抓取速度和提高系统的可靠性和容错性的技术。 传统的爬虫是在单台机器上运行，一次只能处理一个URL，而分布式爬虫通过将…

一、参考资料 如何测试模型的推理速度 Pytorch 测试模型的推理速度 二、计算PyTorch模型推理时间 1. 计算CPU推理时间 import torch import torchvision import time import tqdm from torchsummary import summarydef calcCPUTime():model torchvision.models.resnet18()…