“atributo (s) resolvido (s) em falta” ao executar a junção no pySpark

12

Eu tenho o seguinte dataframe do pySpark:

> df_lag_pre.columns
['date','sku','name','country','ccy_code','quantity','usd_price','usd_lag','lag_quantity']

> df_unmatched.columns
['alt_sku', 'alt_lag_quantity', 'country', 'ccy_code', 'name', 'usd_price']

Agora quero juntar-me a elas em colunas comuns, por isso tento o seguinte:

> df_lag_pre.join(df_unmatched, on=['name','country','ccy_code','usd_price'])

E recebo a seguinte mensagem de erro:

AnalysisException: u'resolved attribute(s) price#3424 missing from country#3443,month#801,price#808,category#803,subcategory#804,page#805,date#280,link#809,name#806,quantity#807,ccy_code#3439,sku#3004,day#802 in operator !EvaluatePython PythonUDF#<lambda>(ccy_code#3439,price#3424), pythonUDF#811: string;'

Algumas das colunas que aparecem nesse erro, como preço, faziam parte de outro dataframe do qual o df_lag foi criado. Não consigo encontrar nenhuma informação sobre como interpretar esta mensagem, portanto, qualquer ajuda seria muito apreciada.

    
por masta-g3 15.10.2016 в 19:47
fonte

1 resposta

2

Você pode se unir dessa maneira no pyspark. Por favor, veja se isso é útil para você:

df_lag_pre.alias("df1")
df_unmatched.alias("df2")
join_both = df1.join(df2, (col("df1.name") == col("df2.name")) & (col("df1.country") == col("df2.country")) & (col("df1.ccy_code") == col("df2.ccy_code")) & (col("df1.usd_price") == col("df2.usd_price")), 'inner')

Atualização: Se você está recebendo um erro não definido, por favor, use abaixo de

from pyspark.sql.functions import col
    
por Manu Gupta 13.09.2017 / 19:50
fonte