无法在aws lambda上导入lxml etree

Question

【以下的问题经过翻译处理】 
{
"errorMessage": "Unable to import module 'lambda_function':
cannot import name 'etree' from 'lxml' (/var/task/lxml/init.py)",
"errorType": "Runtime.ImportModuleError"
}
也尝试了 https://gist.github.com/allen-munsch/ad8faf9c04b72aa8d0808fa8953bc639:

{
"errorMessage": "Unable to import module 'lambda_function':
cannot import name 'etree' from 'lxml'
(/var/task/lxml-4.3.4-py3.6-linux-x86_64.egg/lxml/init.py)",
"errorType": "Runtime.ImportModuleError"
}

我在本地电脑上用的是Ubuntu 18.04，尝试使用了在EC2上的 Amazon Linux 镜像。 我也尝试了激活的虚拟环境

```
STATIC_DEPS=true pip3 install lxml --target ./package --upgrade --no-cache-dir
I have also tried copying the shared object files based on pulling which files were opened when running the script with strace:

#! /bin/bash

export Z=$(pwd)/ok-daily-lambda.zip
rm $Z
zip $Z lambda_function.py
zip $Z init.py

for dir in $(find venv_here/lib/python3.6/site-packages)
do
if [ -d $dir ] ; then
pushd $dir
echo zip -r9 $Z $(pwd)
zip -r9 $Z $(pwd)
popd
fi
done

export LIBD=$(pwd)/lib
mkdir -p $LIBD

cp "/home/jmunsch/.local/lib/python3.6/site-packages/.libs_cffi_backend/libffi-d78936b1.so.6.0.4" $LIBD
cp "/lib/x86_64-linux-gnu/libbz2.so.1.0" $LIBD
cp "/lib/x86_64-linux-gnu/libc.so.6" $LIBD
cp "/lib/x86_64-linux-gnu/libdl.so.2" $LIBD
cp "/lib/x86_64-linux-gnu/libexpat.so.1" $LIBD
cp "/lib/x86_64-linux-gnu/libgcc_s.so.1" $LIBD
cp "/lib/x86_64-linux-gnu/liblzma.so.5" $LIBD
cp "/lib/x86_64-linux-gnu/libm.so.6" $LIBD
cp "/lib/x86_64-linux-gnu/libnss_dns.so.2" $LIBD
cp "/lib/x86_64-linux-gnu/libnss_files.so.2" $LIBD
cp "/lib/x86_64-linux-gnu/libnss_mdns4_minimal.so.2" $LIBD
cp "/lib/x86_64-linux-gnu/libpthread.so.0" $LIBD
cp "/lib/x86_64-linux-gnu/libresolv.so.2" $LIBD
cp "/lib/x86_64-linux-gnu/librt.so.1" $LIBD
cp "/lib/x86_64-linux-gnu/libtinfo.so.5" $LIBD
cp "/lib/x86_64-linux-gnu/libudev.so.1" $LIBD
cp "/lib/x86_64-linux-gnu/libutil.so.1" $LIBD
cp "/lib/x86_64-linux-gnu/libuuid.so.1" $LIBD
cp "/lib/x86_64-linux-gnu/libz.so.1" $LIBD
cp "/usr/lib/x86_64-linux-gnu/libapt-pkg.so.5.0" $LIBD
cp "/usr/lib/x86_64-linux-gnu/libcrypto.so.1.1" $LIBD
cp "/usr/lib/x86_64-linux-gnu/libffi.so.6" $LIBD
cp "/usr/lib/x86_64-linux-gnu/liblz4.so.1" $LIBD
cp "/usr/lib/x86_64-linux-gnu/libmpdec.so.2" $LIBD
cp "/usr/lib/x86_64-linux-gnu/libssl.so.1.1" $LIBD
cp "/usr/lib/x86_64-linux-gnu/libstdc++.so.6" $LIBD
cp "/usr/lib/x86_64-linux-gnu/libzstd.so.1" $LIBD

zip -r $Z $LIBD

AWS_ACCESS_KEY_ID="xxx" AWS_SECRET_ACCESS_KEY="xxx" AWS_DEFAULT_REGION="us-east-1" aws lambda update-function-code --function-name ok-today --zip-file fileb://ok-daily-lambda.zip
```

这是我最近的 zip 文件目录
https://gist.github.com/allen-munsch/5ddc27873e64db6ff106ab828febf434

rePost Polyglot · Answer

【以下的回答经过翻译处理】 有一些模块不能直接添加到site-packages目录中，供AWS Lambda环境中识别。当发生这种情况时，您必须从Docker存储库获取Amazon Linux镜像，并创建自己的编译环境，以在运行在AWS Lambda上的容器版本中运行。

例如，如果您要使用Python 3.6，那么一个好的选择是amazonlinux:2018.03，以防您想安装其他软件包，如pandas，numpy，scipy。

```
docker run -v $(pwd):/outputs -it amazonlinux:2018.03  
```

由于Amazon Linux基于Red Hat，因此在运行docker并已经创建了虚拟环境时，必须通过yum安装所有依赖项。

```
yum update -y  
yum install -y \  
  python36 \  
  python36-devel \  
  python36-virtualenv \  
  python34-setuptools \  
  gcc \  
  gcc-c++ \  
  findutils \  
  rsync \  
  Cython \  
  findutils \  
  which \  
  gzip \  
  tar \  
  man-pages \  
  man \  
  wget \  
  make \  
  zip  
```

对于lxml，您还需要安装以下内容：

```
(lambda_docker) bash-4.2# yum install libxml2  
...  
(lambda_docker) bash-4.2# yum install libxslt  
...  
```

您可以像往常一样安装模块：

```
pip3.6 install lxml  
```

然后，创建您的函数lambda_function.py，并将其添加到您的docker会话中的zipped package pushd-ed和popd-ed中。

```
from lxml import etree

def lambda_handler(event, context):  
    print(__name__)  
    print(etree.LXML_VERSION)  
```

在创建之后：

```
zip -g site-packages.zip lambda_function.py  
```

上传之前，您可以检查您的zip文件是否包含lxml目录。

```
\[jonathan@docker lambda_docker]$ unzip -l site-packages.zip   
Archive:  site-packages.zip  
  Length      Date    Time    Name  
---------  ---------- -----   ----  
        0  06-29-2019 23:09   __pycache__/  
      277  06-29-2019 23:09   __pycache__/easy_install.cpython-36.pyc  
      126  06-29-2019 23:09   easy_install.py  
      119  06-29-2019 23:29   lambda_function.py  
        0  06-29-2019 23:21   lib/  
        0  06-29-2019 23:39   lxml/  
        0  06-29-2019 23:37   lxml-4.3.4.dist-info/  
        4  06-29-2019 23:37   lxml-4.3.4.dist-info/INSTALLER  
     2954  06-29-2019 23:37   lxml-4.3.4.dist-info/METADATA  
    13384  06-29-2019 23:37   lxml-4.3.4.dist-info/RECORD  
      109  06-29-2019 23:37   lxml-4.3.4.dist-info/WHEEL  
        5  06-29-2019 23:37   lxml-4.3.4.dist-info/top_level.txt  
     7668  06-29-2019 23:37   lxml/ElementInclude.py  
      551  06-29-2019 23:37   lxml/__init__.py  
        0  06-29-2019 23:37   lxml/__pycache__/  
     3331  06-29-2019 23:37   lxml/__pycache__/ElementInclude.cpython-36.pyc  
...  
```

然后上传zip文件，在lambda中创建一个空的测试 {}.  
结果如下
```
START RequestId: bb240a17-c2dd-4d63-92c8-fa7561c09f64 Version: $LATEST  
lambda_function  
(4, 3, 4, 0)  
END RequestId: bb240a17-c2dd-4d63-92c8-fa7561c09f64  
REPORT RequestId: bb240a17-c2dd-4d63-92c8-fa7561c09f64  Duration: 0.30 ms   Billed Duration: 100 ms 
```

无法在aws lambda上导入lxml etree

相关内容