Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
# Beispiele für die Amazon SageMaker AI-Bibliothek zur Datenparallelität
Auf dieser Seite finden Sie Jupyter-Notebooks mit Beispielen für die Implementierung der SMDDP-Bibliothek ( SageMaker AI Distributed Data Parallelism) zur Ausführung verteilter Trainingsaufgaben auf KI. SageMaker
## Blogs und Fallstudien
In den folgenden Blogs werden Fallbeispiele zur Verwendung der SMDDP-Bibliothek behandelt.
**Blogs zu SMDDP v2**
+ [Ermöglichen Sie schnelleres Training mit der Amazon SageMaker AI-Datenparallelbibliothek](https://aws.amazon.com/blogs/machine-learning/enable-faster-training-with-amazon-sagemaker-data-parallel-library/), *AWS Machine Learning Blog* (5. Dezember 2023)
**Blogs zu SMDDP v1**
+ [Wie ich 10 TB für stabile Diffusion auf SageMaker KI in *Medium* trainiert habe](https://medium.com/@emilywebber/how-i-trained-10tb-for-stable-diffusion-on-sagemaker-39dcea49ce32) (29. November 2022)
+ [ PyTorch Lightning und natives PyTorch DDP auf Amazon SageMaker Training mit Amazon Search ausführen](https://aws.amazon.com/blogs/machine-learning/run-pytorch-lightning-and-native-pytorch-ddp-on-amazon-sagemaker-training-featuring-amazon-search/), *Blog für AWS Machine Learning* (18. August 2022)
+ [Schulung YoloV5 zur parallel Bibliothek AWS mit PyTorch und mit SageMaker KI verteilter Daten](https://medium.com/@sitecao/training-yolov5-on-aws-with-pytorch-and-sagemaker-distributed-data-parallel-library-a196ab01409b), *Medium* (6. Mai 2022)
+ [Beschleunigen Sie EfficientNet das Modelltraining auf SageMaker KI mit PyTorch und der SageMaker AI-Parallelbibliothek für verteilte Daten](https://medium.com/@dangmz/speed-up-efficientnet-model-training-on-amazon-sagemaker-with-pytorch-and-sagemaker-distributed-dae4b048c01a), *Medium* (21. März 2022)
+ [Beschleunigen Sie das EfficientNet Training AWS mit der parallel SageMaker KI-Datenbibliothek](https://towardsdatascience.com/speed-up-efficientnet-training-on-aws-by-up-to-30-with-sagemaker-distributed-data-parallel-library-2dbf6d1e18e8) *Towards Data Science* (12. Januar 2022)
+ [Hyundai reduziert mithilfe von Amazon SageMaker AI die Trainingszeit für ML-Modelle für autonomes Fahren](https://aws.amazon.com/blogs/machine-learning/hyundai-reduces-training-time-for-autonomous-driving-models-using-amazon-sagemaker/), *AWS Machine Learning Blog* (25. Juni 2021)
+ [Verteiltes Training: Train BART/T5 for Summarization mit Transformers und Amazon SageMaker AI](https://huggingface.co/blog/sagemaker-distributed-training-seq2seq), der *Hugging Face Face-Website* (8. April 2021)
## Beispiel-Notebooks
Beispiel-Notebooks finden Sie im [SageMaker AI](https://github.com/aws/amazon-sagemaker-examples/tree/master/training/distributed_training/) Examples Repository. GitHub Führen Sie zum Herunterladen der Beispiele den folgenden Befehl aus, um das Repository zu klonen, und gehen Sie zu `training/distributed_training/pytorch/data_parallel`.
**Anmerkung**
Klonen Sie die Beispiel-Notebooks und führen Sie sie in den folgenden SageMaker AI ML-IDEs aus.
[SageMaker AI JupyterLab](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated-jl.html) (verfügbar in [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html), das nach Dezember 2023 erstellt wurde)
[SageMaker AI Code Editor](https://docs.aws.amazon.com/sagemaker/latest/dg/code-editor.html) (verfügbar in [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html), das nach Dezember 2023 erstellt wurde)
[Studio Classic](https://docs.aws.amazon.com/sagemaker/latest/dg/studio.html) (verfügbar als Anwendung in [Studio](https://docs.aws.amazon.com/sagemaker/latest/dg/studio-updated.html), das nach Dezember 2023 erstellt wurde)
[SageMaker Notebook-Instanzen](https://docs.aws.amazon.com/sagemaker/latest/dg/nbi.html)
```
git clone https://github.com/aws/amazon-sagemaker-examples.git
cd amazon-sagemaker-examples/training/distributed_training/pytorch/data_parallel
```
**Beispiele für SMDDP v2**
+ [Trainiere Llama 2 mit der SageMaker AI Distributed Data Parallel Library (SMDDP) und DeepSpeed](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/deepspeed/llama2/smddp_deepspeed_example.ipynb)
+ [Trainiere Falcon mit der SageMaker AI Distributed Data Parallel Library (SMDDP) und PyTorch Fully Sharded Data Parallelism (FSDP)](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/fully_sharded_data_parallel/falcon/smddp_fsdp_example.ipynb)
**Beispiele für SMDDP v1**
+ [CNN mit und der KI-Datenparallelismus-Bibliothek PyTorch SageMaker ](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/mnist/pytorch_smdataparallel_mnist_demo.ipynb)
+ [BERT mit PyTorch und der SageMaker KI-Datenparallelitätsbibliothek](https://github.com/aws/amazon-sagemaker-examples/blob/main/training/distributed_training/pytorch/data_parallel/bert/pytorch_smdataparallel_bert_demo.ipynb)
+ [CNN mit TensorFlow 2.3.1 und der AI-Datenparallelitätsbibliothek SageMaker ](https://sagemaker-examples.readthedocs.io/en/latest/training/distributed_training/tensorflow/data_parallel/mnist/tensorflow2_smdataparallel_mnist_demo.html)
+ [BERT mit TensorFlow 2.3.1 und der AI-Datenparallelitätsbibliothek SageMaker ](https://sagemaker-examples.readthedocs.io/en/latest/training/distributed_training/tensorflow/data_parallel/bert/tensorflow2_smdataparallel_bert_demo.html)
+ [HuggingFace Paralleles Training mit verteilten Daten zum PyTorch Thema SageMaker KI — Verteilte Beantwortung von Fragen](https://github.com/huggingface/notebooks/blob/master/sagemaker/03_distributed_training_data_parallelism/sagemaker-notebook.ipynb)
+ [HuggingFace Paralleles Training mit verteilten Daten PyTorch zum Thema SageMaker KI — Zusammenfassung verteilter Texte](https://github.com/huggingface/notebooks/blob/master/sagemaker/08_distributed_summarization_bart_t5/sagemaker-notebook.ipynb)
+ [HuggingFace Paralleles Training mit verteilten Daten TensorFlow im Bereich KI SageMaker ](https://github.com/huggingface/notebooks/blob/master/sagemaker/07_tensorflow_distributed_training_data_parallelism/sagemaker-notebook.ipynb)