от
I am reading the twitter stream from my Kafka topic while converting it to JSON in Pyspark code, data get missing.
Предоставление кода ниже Код читает твиттер из темы Кафки и конвертирует в формат JSON. При доступе к твиту ['user'] происходит ошибка ключа (индексы должны быть целыми числами), когда твит [0] получает первый символ сообщения.
from __future__ import print_function

import sys
import json
from pyspark import SparkContext
from pyspark.streaming import StreamingContext
from pyspark.streaming.kafka import KafkaUtils

if __name__ == "__main__":
    if len(sys.argv) != 3:
        print("Usage: direct_kafka_wordcount.py  ", file=sys.stderr)
        sys.exit(
    

        

Пожалуйста, войдите или зарегистрируйтесь для публикации ответа на этот вопрос.

Добро пожаловать на сайт ByNets, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...