AWS Athena Notebook - how to import PySpark Libraries

Can I import the PySpark MLLIB library into an Athena Notebook? If so, can you explain the steps? Do I use a jar file to setup during configuration of the individual notebook? It wasn't working for me. Thanks!

Themen

Analysen Maschinelles Lernen & KI

Tags

Amazon Athena Maschinelles Lernen & KI

Sprache

English

kfure

gefragt vor 6 Monaten381 Aufrufe

1 Antwort

Neueste
Die meisten Stimmen
Die meisten Kommentare

Sind diese Antworten hilfreich? Stimmen Sie der richtigen Antwort zu, damit die Community von Ihrem Wissen profitieren kann.

Hi,

Unfortunately, the MLlib (Apache Spark machine learning library) is not supported now. For a list of supported Python libraries, see the List of preinstalled Python libraries.

Reference: https://docs.aws.amazon.com/athena/latest/ug/notebooks-spark.html

Vlad

beantwortet vor 6 Monaten

kfure
vor 6 Monaten
Could we make an official request to have the PySpark ML-Lib added (with all modules) or a way that we can install it ourselves? We work in PySpark with Big Data and need to do ML Exploration in Athena Notebooks. Let me know. Thanks!

Relevanter Inhalt

Wie behebe ich Abfrage-Timeoutfehler, wenn ich Daten aus Athena nach QuickSight SPICE importiere?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie behebe ich den Fehler „The specified queue does not exist or you do not have access to it.“, wenn ich einen AWS Glue Job ausführe, um Nachrichten an Amazon SQS in einer anderen Region zu senden?
AWS OFFICIALAktualisiert vor 3 Jahren
Wie behebe ich den Fehler „The new key policy will not allow you to update the key policy in the future“, wenn ich versuche, mit AWS CloudFormation einen AWS-KMS-Schlüssel zu erstellen?
AWS OFFICIALAktualisiert vor 2 Jahren
Wie behebe ich den Fehler „Unable to verify/create output bucket“ in Amazon Athena?
AWS OFFICIALAktualisiert vor 3 Jahren