Connection to node 1001 (/127.0.0.1:9092) could not be established. Broker may not be available. 이라는 오류 발생 시 해결법 /opt/kafka/config/server.properties 의 listeners 변수의 주석을 해제. # The address the socket server listens on. It will get the value returned from # java.net.InetAddress.getCanonicalHostName() if not configured. # FORMAT: # listeners = listener_name://host_name:port # EXAMPLE: # listeners = ..
My DevelopMent Journal
JAVA에서 Consumer 개발 Consumer 을 통하여 로그 가공 후 es에 저장. @Service public class KafkaConsumerService { public static void consumerService(){ try{ long unique = uniqueKey; // set kafka properties Properties props = new Properties(); props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "~.~.~.~:9092"); // kafka cluster props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName(..
Docker Kafka 접속( 다른 Container도 해당 ) docker exec -it /bin/bash kafka topic list 확인 kafka-topics.sh --list --bootstrap-server localhost:9092 kafka topic 상세보기 kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic consumer group 확인 kafka-consumer-groups.sh --bootstrap-server localhost:9092 --group --describe consumer kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic ..
Kibaba Dashboard Formula 사용하여 원하는 수식 만들어서 그래프 생성 가능 ex - 지난월 대비 이번월 동일 시점 평균 증감률 구하기 (average('column1') - average('column1', shift='1M'))/(average('column1', shift='1M')) (average('column2') - average('column2', shift='1M'))/(average('column2', shift='1M')) - Kibana Control panel 만들어서 대화형 Dashboard 구축하기 Making dashboards interactive 참조페이지 1 수식 및 시간 여행으로 대답한 10가지 일반적인 Kibana 시각화 질문 참조페이지 2 Analy..
Elasticsearch index별 node,shard 확인 GET localhost:9200/_cat/shards?v Elasticsearch index별 Shard 할당량 및 상태 확인 GET localhost:9200/_cluster/health?level=shards
kibana Rule 생성 시 encryptionKey 오류 docker을 통한 kibana 접속 config 안 kibana.yml에 다음 내용 추가 xpack.encryptedSavedObjects: encryptionKey: "min-32-byte-long-strong-encryption-key" Kibana stop 후 재실행
es 실행 시 java 로그나 kabana 구석에 security 관련 로그가 무수히 발생될 시 해결법 docker desktop이나 docker exec -it [es id] /bin/bash 등으로 es에 접속 config 안 elasticsearch.yml 파일 수정 yml파일 맨 아랫줄에 한줄 추가. xpack.security.enabled: false 맨 뒤에 공백 없게 조심할것. 저장 후 docker stop [es] , docker start [es] 하면 끝 vi 사용하여 수정한다면 . vi 먹지 않을 시 코드 cd /etc/yum.repos.d/ sed -i 's/mirrorlist/#mirrorlist/g' /etc/yum.repos.d/CentOS-* sed -i 's|#baseurl..
ElasticSearch에서 인덱스를 복사하고 싶을 때 방법 정확히는 index안 Data를 복사하는 작업이다. POST /_reindex { "source": { "index": "my-index" }, "dest": { "index": "my-new-index" } } index 안 데이터 복사하기. index는 미리 만들어 두어야 한다.
도커 접속 해서 elasticsearch.yml 수정해야 함 docker exec -it {es 컨테이너명 or id} /bin/bash 위 코드로 접속. 접속 후 elasticsearch.yml 경로 찾기 cd config ls 해보면 elasticsearch.yml 있을것 yml파일 수정. vi elasticsearch.yml 2. 처음 위에 2줄 이 있을 것. 그 아래 2줄 추가 줄 끝에 공백 없게 조심할 것 추가하는 방법은 i 누른 후 아래 두줄 추가 하고 esc :wq! cluster.name: "docker-cluster-test" network.host: 0.0.0.0 http.cors.enabled: true http.cors.allow-origin: "*" 이후 elasticsearch ..
update 시 id를 설정하여 save하면 덮어써지는 방식을 사용중이다. public class elasticService { private static final Logger log = LoggerFactory.getLogger(elasticService.class); String hostname ="x.x.x.x"; int port = 9200; String scheme = "http"; HttpHost host = new HttpHost(hostname, port, scheme); RestClientBuilder restClientBuilder = RestClient.builder(host); RestHighLevelClient client = new RestHighLevelClient(restC..
