티스토리

르네의 영속성 컨텍스트

검색하기

블로그 홈

르네의 영속성 컨텍스트

upcurvewave.tistory.com/m

renechoi90@gmail.com

구독자: 47

방명록 방문하기

주요 글 목록

카프카 Kafka 콘솔에서 사용하기 Kafka - Scalar 언어로 된 오픈 소스 메시지 브로커 프로젝트 (브로커: 중간 서버, 메시지: 다양한 데이터 가능) - 실시간 데이터 피드를 관리하기 위해 통일된 높은 처리량, 낮은 지연 시간을 지닌 플랫폼 제공 카프카 이전의 방식 - end to end 연결 방식의 아키텍처 - 데이터 연동의 복잡성 증가 - 서로 다른 데이터 파이프라인 연결 구조 - 확장이 어려움 카프카 탄생의 배경 -> 모든 시스템으로 데이터를 실시간으로 전송하여 처리할 수 있는 시스템 -> 데이터가 많아지더라도 확장이 용이한 시스템 보내는 쪽과 받는 쪽이 누가 보내고 누가 받는지를 전혀 신경 쓰지 않게 된다. - Prdocuer / Consumer를 분리 Kafka Broker = Kafka Application Serv.. 공감수 0 댓글수 0 2023. 6. 2.
ubuntu 환경에서 redis, master-slave, sentinel 설치 super user 전환을 위해 sudo su apt를 업데이트해주고 설치한다. apt-get update apt-get install redis-server service redis status 레디스 configuration 파일 열어보기 cd /etc/redis vi redis.conf 현재 포트에 떠 있는 redis 확인하기 ps -ef | grep redis redis cli에 접속하기 redis-cli info 레디스를 master-replica 구성 방식으로 사용하기 sentinel은 회복용으로 홀수개를 설치해야 한다. master가 정상상태가 아닐때 replica로 대치하게 해주는 작업에 있어서 장애 여부를 판단할 때 다수결로 판단하여 의사를 결정하기 위해. ec2에서 복사하기 인스턴스 클.. 공감수 0 댓글수 0 2023. 5. 31.
Redis의 특징, 개념, 장점, 단점, 목적 Redis(Remote Dictionary Storage) - 디스크가 아닌 메모리 기반의 data 저장소 -> 휘발성 - single thread : 단일 cpu - 초당 5만 ~ 25만 reqeust 실행 가능 - key-value 형식으로 데이터 저장 장점: - hardware 차이에서 오는 기본적인 퍼포먼스 성능 Redis는 메모리 기반의 저장소로 데이터에 접근하는 속도가 빠르다. 하드웨어 성능의 차이로 인해 기본적인 성능 차이를 극복할 수 있는 장점 제공. - 다양한 type의 아키텍처 지원 문자열(String), 해시(Hash), 리스트(List), 집합(Set), 정렬된 집합(Sorted Set) 등의 데이터 구조를 활용할 수 있다. 다양한 용도에 맞게 데이터를 저장하고 활용할 수 있는 유연.. 공감수 0 댓글수 0 2023. 5. 31.
이커머스에서 redis, kafka usecase 1. Redis - 장바구니: 로그인과 동시에 cashing 되거나 비로그인시 임시로 저장되는 정보 - temporary User 정보: 로그인과 동시에 cashing 되는 정보 - 할인: 특정기간 * 특정 상품의 할인 정보 - 쿠폰: user 별, 제품별 할인을 위한 정보 - 배송: 배송 현황 제공을 위한 정보 - 토큰, 세션: 로그인시 로그인 상태 유지 - 광고: user별, 상품별, 셀러별 - 채팅 정보: 채팅시 ~ 채팅 종료시까지 - 기타 =>특징 : 기간 한정, 빠른 반환 => 소멸이 정해져있다. 2. Kafka - page tracking: user가 페이지 어디에 접근하였는지 정보 - 광고 클릭 정보: user가 page에서 광고에 클릭한 정보 - 에러 정보: user가 페이지 탐색 중 에러.. 공감수 0 댓글수 0 2023. 5. 31.
카프카 kafka 토픽 + producer + consumer 예제 코드 brew를 통해 설치했고 kafka를 실행했다면 .sh 확장자 없이 다음과 같은 명령어로도 카프카 토픽 실행이 가능하다. 카프카 토픽 kafka-topics 자바 코드에서 다음과 같은 코드로 토픽을 생성할 수 있다. private static void createTopics() { String bootstrapServers = "127.0.0.1:9092"; // Kafka 관리자 클라이언트 설정 Properties adminProps = new Properties(); adminProps.setProperty(AdminClientConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers); AdminClient adminClient = AdminClient.create(a.. 공감수 0 댓글수 0 2023. 5. 30.
맥 homebrew 를 통해 설치한 kafka 실행하기 cli 명령어 유저 dir에 생성되지 않았을 경우 brew info kafka 명령어를 통해 카프카 설치 위치를 찾는다. zookeeper sudo /opt/homebrew/bin/zookeeper-server-start /opt/homebrew/etc/zookeeper/zoo.cfg kafka start sudo /opt/homebrew/bin/kafka-server-start /opt/homebrew/etc/kafka/server.properties ref. https://www.conduktor.io/kafka/how-to-install-apache-kafka-on-mac-with-homebrew/ https://kmooc.udemy.com/course/apache-kafka-korean/learn.. 공감수 0 댓글수 0 2023. 5. 30.
레디스redis 자료구조 예시 코드 (Geospatial 이용 거리 찾기 예제 포함) 우선 docker에서 실행중인 redis를 컨테이너에 접속하여 실행한다. docker exec -it 0dda0724c460 redis-cli --raw 1. String 자료 구죠 (key-value) set id 10 get id del id 2. Hash 자료 구조 (key-subKey-value) hgetall USER //key(USER)와 매핑되는 모든 필드와 값들을 조회 hset USER subkey value // key의 subkey의 값을 지정 hget USER subkey // 조회 3. 리스트 (List) # 리스트에 값 추가 RPUSH mylist "apple" RPUSH mylist "banana" RPUSH mylist "cherry" # 리스트에서 값 조회 LRANGE myl.. 공감수 0 댓글수 0 2023. 5. 29.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.