티스토리

슬기의 블로그

검색하기

블로그 홈

슬기의 블로그

baekwisdom02.tistory.com/m

블랙판돌 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

Spark DataSources and Sinks External Data sources데이터들은 oracle이나 SQL Server같은 몇몇 source systems에 저장이 될 것이다.some application servers에도 저장이 될 것이다.(application logs같은…) 하지만, 이 모든 시스템들은 내가 사용할 DataLake의 외부에 존재한다. 우리는 DataLake conceptual diagram에서 이들을 볼 수 없다.JDBC Data SourcesOracle, SQL Server, PostgreSQLNoSQL Data SystemsCassandra, MongoDBCloud Data WarehousesSnowflake, RedshiftStream IntegratorsKafka, Kinesis위와 같은 External Dat.. 공감수 0 댓글수 0 2025. 2. 26.
Spark: Spark Structured API Foundation Apache Spark는 대규모 데이터 처리와 분석을 효율적으로 수행할 수 있도록 설계된 분산 처리 플랫폼입니다. 특히, Hadoop의 MapReduce 모델을 개선하고 단순화하는 것을 목표로 개발되었다.Spark의 핵심 개념인 RDD, DataFrame, Dataset과 Spark SQL의 최적화 엔진인 Catalyst Optimizer에 대해 알아보고자 한다.1. Spark의 RDD(Resilient Distributed Dataset)Spark의 RDD는 대규모 데이터 처리의 기본 단위로, 데이터를 분산된 클러스터에서 효율적으로 처리할 수 있도록 설계된 핵심 데이터 구조이다.RDD는 단순한 데이터 구조를 가지기 때문에 Schema와 row/column 구조가 없다. RDD는 기본적으로 데이터 레코드.. 공감수 0 댓글수 0 2025. 2. 25.
Backtracking: 백준 N과 M(1), N-QUEEN 📃 문제: 백준 15649_N과 M(1) 백준 15649는 Backtracking의 개념을 이용해 풀 수 있는 문제이다.Backtracking은 현재 상태에서 가능한 모든 후보군을 따라 들어가며 탐색하는 알고리즘이다.Backtracking의 핵심 개념은 가능성이 없으면 되돌아가는(Pruning) 과정이 포함된다.입력) 자연수 N과 M이 주어졌을 때, 아래 조건을 만족하는 길이가 M인 수열을 모두 구하는 프로그램을 작성하시오.1부터 N까지 자연수 중에서 중복 없이 M개를 고른 수열첫째 줄에 자연수 N과 M이 주어진다. (1 ≤ M ≤ N ≤ 8)https://www.acmicpc.net/problem/15649 출력)한 줄에 하나씩 문제의 조건을 만족하는 수열을 출력한다. 중복되는 수열을 여러 번 출력하.. 공감수 0 댓글수 0 2025. 2. 18.
Spark: DataFrame Partitions and Executors Dataframe IntroductionDo not want to hardcode the data file name and location in my application -> 파일 이름은 commandline argument를 통해 전달DataframeReader is your gateway to read the data in Apache Spark.Spark에서 InferSchema option은 DataFrameReader가 파일의 부분을 읽어서 데이터의 스키마를 파악하는 용도임.아래 Spark Document에서 InferSchema에 대한 옵션을 확인할 수 있음. 아.. 공감수 0 댓글수 0 2025. 2. 17.
Spark: Configuring Spark Session Spark Session과 설정(Configuring Spark Session)대부분의 Spark 설정은 기본값을 따르거나 코드 내에서 직접 지정할 수 있다. 하지만, 특정 환경에서는 개발자가 직접 환경 변수를 설정해야 정상적으로 실행될 수도 있다.예를 들어, SPARK_HOME을 설정하지 않으면 Spark 실행 파일을 찾을 수 없고, HADOOP_CONF_DIR 같은 변수가 없으면 Hadoop 연동이 안 될 수도 있다.로컬에서 Spark 실행환경을 세팅하기 위해, 전에 SPARK_HOME, HADOOP_HOME, PYSPARK_PYTHON 환경변수를 전에 설정했었다.Spark-submit은 우리가 command-line options를 이용하여(ex) -- master) 어플리케이션을 configure.. 공감수 1 댓글수 0 2025. 2. 17.
백준 6064: 카잉 달력 📃 문제: 백준 6064_카잉 달력https://www.acmicpc.net/problem/6064 M과 N보다 작거나 같은 두 개의 자연수 x, y를 가지고 각 년도를 와 같은 형식으로 표현한다. 이 세상의 시초에 해당하는 첫 번째 해를 로 표현하고, 두 번째 해를 로 표현한다. 의 다음 해를 표현한 것을 이라고 하자. 만일 x 같은 방식으로 만일 y 은 그들 달력의 마지막 해로 판단한다.예를 들어, M = 10 이고 N = 12라고 하자. 첫 번째 해는 로 표현되고, 11번째 해는 로 표현된다. 은 13번째 해를 나타내고, 는 마지막인 60번째 해를 나타낸다.네 개의 정수 M, N, x와 y가 주어질 때, 이 카잉 달력의 마지막 해라고 하면 는 몇 번째 해를 나타내는지 구하는 프로그램을 작성하라... 공감수 0 댓글수 0 2025. 2. 9.
Spark: log4j 사용하기, log4j properties 설정 python logging 모듈을 사용하지 않고 log4j를 사용하는 이유?Pyspark는 JVM 기반으로 동작한다. python에서 실행되지만 내부적으로 JVM을 통해 Spark 작업을 수행하기 때문에 python logging 모듈은 JVM 로그를 제어할 수 없다.또한 Spark는 multi-cluster에서 실행되기 때문에 여러 노드에서 로그를 수집해야하는데, Log4J는 이러한 Spark 클러스터의 실행 환경과 잘 맞는다.(=분산 환경에서 효과적인 로깅을 제공.)Log4는 최적화된 비동기 로깅을 지원해 성능이 뛰어나다. → RollingFileAppender를 사용하면 로그파일 관리가 쉽다.Spark 자체가 Log4J를 기본적으로 사용한다. logging 모듈을 사용하게 되면 Spark 로그와 .. 공감수 0 댓글수 0 2025. 2. 4.
Spark: Installing and Using Apache Spark(Databricks와 Local 설치) Spark Development Environments는 클라우드 플랫폼과 온프레미스 플랫폼에서 실행 가능하다.Cloud Platforms → Notebook, Databricks CloudOn-premise Platforms → Python IDE, Clouderaa PlatformDatabricks에서 실행하는 방법과, 로컬 컴퓨터에 설치해서 실행하는 방법을 살펴보자. Databricks에서 실행하는 법아래 링크에서 계정 생성후 ,https://www.databricks.com/try-databricks#account“Get Started with community edUser > Create >Folder (MyFirstProject로 폴더 생성)Create > Notebook 클릭해서 생성한 폴더.. 공감수 0 댓글수 0 2025. 2. 1.
Spark: Hadoop의 Architecture, History 그리고 Evolution What is Hadoop and how it works?Hadoop is a distributed data processing platform that offers the following core capabilities.YARN - Yest Another Resource Manager3개의 main components를 가지고 있음.RM - Resoruce Manager(클러스터의 전체 리소스를 관리하고 조율하는 역할)NM - Node Manager(각각의 워커노드가 Node Manager를 통해 자신의 로컬 리소스를 관리함.)AM - Application Master(특정 애플리케이션의 실행을 총괄하며, 필요한 리소스를 NM에게 요청함.)Master - Slave Architecture를 사용함.N.. 공감수 0 댓글수 0 2025. 2. 1.
[최단경로찾기] - 다익스트라 알고리즘 다익스트라 알고리즘은 그리디 알고리즘의 성격을 띄는 '최단경로 찾기' 알고리즘이다.'각 노드에 대한 현재까지의 최단거리'를 저장하며 매번 현재 처리하고 있는 노드를 기준으로 주변 간선을 확인해 가장 짧은 경로로 업데이트 하는 방식으로 동작하기 때문이다. 최단경로를 찾는 알고리즘에는 다익스트라 외에도 벨만 포드 알고리즘, 플로이드 워셜 알고리즘 등이 있다.각 목적과 쓰임에 따라서 선택되어 사용이 되는데, 다익스트라 알고리즘의 경우 그래프에 여러개의 노드가 있을 때 특정한 노드에서 출발하여 다른 노드로 가는 각각의 최단 경로를 구해주는 알고리즘이다.간선 가중치가 0보다 작은 음의 간선이 없을 때 정상적으로 동작하는데, GPS 소프트웨어의 기본 알고리즘으로 채택되기도 한다. 다익스트라 알고리즘을 소스코드로 .. 공감수 0 댓글수 0 2025. 1. 23.
[Dynamic Programming 추가연습] 효율적인 화폐 구성 Dynamic Programming 알고리즘 문제 풀이 추가 연습 문제로, '효율적인 화폐 구성' 문제를 풀어보자.앞에서 풀었던 개미전사와 비슷한 난이도의 문제이다. (난이도: ⭐⭐) 문제의 조건과 입출력 예제는 아래와 같다.N가지 종류의 화폐가 있다. 이 화폐들의 개수를 최소한으로 이용해 그 가치의 합이 M원이 되도록 하려고 한다. 이때 각 화폐는 몇 개라도 사용할 수 있으며, 사용한 화폐의 구성은 같지만 순서만 다른 것은 같은 경우로 구분한다. 예를 들어 2원, 3원 단위의 화폐가 있을 때는 15원을 만들기 위해 3원을 5개 사용하는 것이 가장 최소한의 화폐 개수이다.입력 조건) 첫째줄에 N, M이 주어진다. (1이후 N개의 줄에는 각 화폐의 가치가 주어진다. 화폐 가치는 10000보다 작거나 같은 .. 공감수 1 댓글수 0 2025. 1. 21.
Naver Cloud: AI Hands on 교육 1월 17일에는 네이버 클라우드 핸즈온 교육을 들으러 갔다. 우연히 네이버 클라우드에서 무료 교육을 제공해주는 것을 발견해서 친구와 함께 들으러 가게 되었다. 교육은 아래 링크에서 조회 및 신청할 수 있다.https://edu.ncloud.com/schedule EDU PORTAL - NAVER CLOUD PLATFORMImprove your company’s operational competitiveness with a simple and fast workflow.edu.ncloud.com 네이버 클라우드에서 제공하는 AI 클라우드 서비스들에 대해 설명해주고, 실습용 계정을 발급해주어서 하루동안 해당 서비스들을 직접 실습해 볼 수 있도록 해주는 교육이었다. NAVER CLOUD PLATFORM AI H.. 공감수 2 댓글수 0 2025. 1. 17.
Dynamic Programming: 예제 연습 Dynamic Programming 체득을 위해 예제 문제 몇가지를 풀어보려고 한다. 1. 1로 만들기(난이도 ⭐☆)2. 개미 전사(난이도 ⭐⭐)3. 바닥 공사(난이도 ⭐☆) 1. 1로 만들기해당 문제는 피보나치 수열을 dynamic programming으로 풀이할때와 거의 동일한 문제라고 볼 수 있다.이또한 피보나치 수열의 문제를 풀 때 사용했던 가지치기 도식을 떠올려주면 풀 수 있다.우선 어떤 문제인지 살펴보자.https://baekwisdom02.tistory.com/124 알고리즘 개념정리: Dynamic ProgrammingDynamic Programming이란?알고리즘 문제를 풀이할 때 최적의 해를 구하기에 연산량이 많아서 시간이 많이 필요하거나, 메모리 공간이 많이 필요한 문제들이 있다. 그.. 공감수 2 댓글수 0 2025. 1. 16.
알고리즘 개념정리: Dynamic Programming Dynamic Programming이란?알고리즘 문제를 풀이할 때 최적의 해를 구하기에 연산량이 많아서 시간이 많이 필요하거나, 메모리 공간이 많이 필요한 문제들이 있다. 그래서 문제를 풀 때 연산 속도와 메모리 공간을 최대한으로 절약할 수 있게 효율적으로 알고리즘을 작성해야 한다.이번에 정리할 Dynamic Programming은 메모리 공간을 약간 더 사용하면 연산속도를 비약적으로 증가시킬 수 있는 방법이다. Dynamic Programming의 기본적인 아이디어를 살펴보자. 이 알고리즘은 아래 두가지 조건을 만족할 때 적용할 수가 있다.1) 큰 문제를 작은 문제로 나눌 수 있는가? -> Yes2) 작은 문제에서 구한 정답이 그것을 포함하는 큰 문제에도 동일하게 적용되는가? -> Yes 이를 만족하.. 공감수 1 댓글수 0 2025. 1. 16.
Algorithm 개념정리: Greedy Algorithm Greedy Algorithm이란?Greedy Algorithm은 최적의 값을 구해야 하는 상황에서 사용되는 기법이다.'매 선택에서 당장의 결과가 가장 최적인 답을 선택'하여 나아가는 과정이기 때문에,근시안적으로 최적의 경로를 찾아가다보면 결과적으로도 최적의 결과에 도달할 수 있을 것이라는 사고방식으로 문제를 풀어나는 방법이다. 그렇기 때문에 풀려고 하는 문제가 Greedy Algorith에 적합한 문제인지 판별 후 사용해야 한다.당장의 매 선택에 대해서는 최적이지만 종합적으로 봤을 때 문제의 결과가 최적의 값으로 도출된다는 보장은 없기 때문이다. Greedy Algorithm으로 접근할 수 있는 대표적인 상황이 '가장 적은 화폐 개수로 돈 계산하기'이다.50000, 10000, 5000, 1000, 5.. 공감수 3 댓글수 0 2025. 1. 15.
Hadoop Ecosystem과 Apache Spark 기본 지식 정리 시대의 흐름에 따라 점점 더 다양한 형태의 방대한 데이터를 처리해야 하는 시대가 왔다.기존 서버 시스템에서는 DBMS에서 데이터를 저장 및 처리했다면, 데이터의 규모가 확장되면서 DBMS의 한계가 도래하였다. 웹 크롤러 색인 처리 과정에서 생성되는 매우 큰 파일 처리 한계가 발생한 것이다.이처럼 빅데이터를 처리하기 위해 등장한 오픈소스 프레임워크 중 하나가 바로 하둡이다. 검색엔진의 작동 원리에 대해 간단히 살펴보자면 spider, crawler라고 불리는 로봇이 웹페이지를 방문해 모든 내용을 읽어오고 검색에 적합하도록 일정하게 가공하여 저장한다. 데이터 수집 ~ 처리 ~ 분석 일련의 과정은 아래와 같다.1) 데이터 소스: 내부 데이터, 외부 데이터, 미디어 등2) 수집: 로그 수집기, 크롤링 ex) 검.. 공감수 3 댓글수 0 2025. 1. 14.
실용주의 글쓰기 - 테크 세미나 후기 기술 블로그 작성을 주제로 한 실시간 온라인 세미나에 참여하였었는데요,사실, 이전에도 지금도 블로그를 주에 1번이라도 꾸준히 쓰려고 노력은 하고 있지만...늘 작심삼일로 끝났던 경험이 많아서 세미나를 통해 동기부여를 받고 싶은 마음도 있었습니다! 기술 블로그를 꾸준히 운영하며 성장하고 있는 많은 분들의 이야기를 들으며, 왜 블로그가 개발자에게 중요한지 그리고 어떻게 하면 꾸준히 쓸 수 있는지를 다시 생각해보는 시간이었고, 해당 세미나에서 들었던 내용들을 조금 늦었지만, 지금이나마 글로 기록해보려고 합니다. 🤔 기술 블로그가 왜 중요한지??? 세미나에서 가장 먼저 다뤄진 주제는 기술 블로그가 왜 필요한가였습니다.이것은 기술블로그 뿐만 아니라 모든 학습에 적용되는 이야기이기도 할텐데, 내용을 학습하고 나만.. 공감수 0 댓글수 1 2024. 12. 1.
[9월 영 전용 세미나 후기] 이제 졸업이 약 6~7개월 정도밖에 남지 않은 시점에서 여러가지 고민들이 많아지고 있는 시점인데요,지난 9월 밋업에서는 8월 밋업에 이어서 영 전용 2차 세미나를 열어주셨습니다!이번에는 데보션 영 활동을 하셨었던 멘토분들께서 세미나를 진행해주셨는데요,그 중 기억에 남는 내용들을 한번 정리해보고자 합니다..!! 🔍 깊이 있는 경험이 중요하다!SK텔레콤 김한성 멘토님은 단순히 많은 프로젝트를 진행하는 것보다 깊이 있는 경험이 중요하다고 강조하셨습니다!특히, 기술적으로 도전적인 과제를 해결한 경험은 면접에서 자신만의 경쟁력을 어필하는 데 큰 도움이 된다고 하셨는데요. 예를 들어, 단순한 CRUD 프로젝트가 아니라, 문제를 정의하고 해결 과정을 설계하며 기술적 난제를 극복했던 경험이 차별화된다고 하셨는데, 저.. 공감수 0 댓글수 0 2024. 12. 1.
영 전용 세미나 후기 -8월 4일 8월 4일, 데보션 영 밋업에서는 대학생을 대상으로 하여 취업을 주제로 한 온라인 세미나를 주최해주셨는데요!세션마다 총 3분께서 각자의 경험과 현실적인 조언을 들려주셨는데, 의미있는 시간이었습니다.벌써 2024년이 끝나가는 12월에 접어들었지만,,, 그때 들었던 내용을 되새기며 블로그에 글을 작성해보게 되었습니다..!!1️⃣다양한 경험이 만든 커리어 스토리첫 세션은 정해웅 프로님의 취업 스토리였습니다. 전공인 반도체와 데이터 분석에 대한 관심을 융합해 여러 인턴십과 프로젝트를 경험하면서, 결국 자신만의 커리어를 완성해나가는 과정이 인상 깊었는데요,취업전까지 정말 다양한 활동을 하시며 무려 3번의 인턴십을 거치셨다는 이야기를 듣고 정말 대단하신 분이라는 생각이 들었습니다...!!여러 인턴 경험을 통해 얻.. 공감수 2 댓글수 1 2024. 12. 1.
AWS 강남 본사 교육 안녕하세요!저는 카페인 코더에서 활동중인 백슬기입니다:)좋은 기회로 11월 초쯤, AWS 강남 본사에서 진행된 하루 교육 프로그램에 다녀오게 되어, 이에대해 공유하고싶어 글을 작성하게되었는데요!!해당 행사에서는 오피스 투어 및 AWS의 주요 서비스와 비용 및 활용 관점에서의 기본적인 개념을 다루는 내용들을 9:00~17:00까지 하루동안 교육해주셨습니다!! 예전에 학교에서 Azure 관련 교육을 듣고 자격증 시험에 응시했던 경험이 있었는데요, 교육을 주최 기관분들로부터 추가적인 클라우드 학습 기회를 주셔서 AWS 본사 견학을 하게 되었습니다!!(감사합니다..)AWS는 정말 다양한 클라우드 서비스를 제공하는데, 하루동안 진행되는 교육인 만큼, 특히 실무에서 자주 사용되는 핵심 서비스에 대해 다시한번 배울 .. 공감수 1 댓글수 1 2024. 12. 1.
[이펙티브 타입스크립트] 데보션 도서후기 안녕하세요! 😊오늘은 제가 스터디를 통해 읽었던 이펙티브 타입스크립트에 대한 후기를 남기고자 합니다.저는 Devocean Young의 프론트엔드 파트 ☕카페인 코더☕ 팀 백슬기로 활동 중인데요, 팀원들과 함께 이 책을 공부하며 타입스크립트에 대해 조금이나마 더 깊이 있는 이해를 할 수 있었습니다. 1. 스터디 배경 및 진행 방식 📖 이번 스터디는 타입스크립트를 처음 접하시는 분부터 사용 경험이 있는 분들까지 다양한 배경을 가진 멤버들이 모여 진행되었는데요,스터디는 다음과 같은 방식으로 이루어졌습니다!매 스터디마다 책의 목차에서 15개의 Item을 선정해 각자 공부해오고용산역 커피빈에 모여 어려웠던 내용, 중요하다고 생각하는 부분에 대해 토론하고각자의 경험을 공유하며 실질적인 적용 방안을 논의하는 방식.. 공감수 2 댓글수 2 2024. 12. 1.
[데보션 프로 인터뷰 후기] 안녕하세요! 😊 오늘은 제가 참석했던 데보션 프로 인터뷰 후기에 대해 이야기해볼까하고 블로그 글을 작성하게 되었습니다. 이번 인터뷰는 실무자분의 이야기를 들을 수 있어서 뜻깊은 시간이었고, 감사한 자리였습니다! 📌 내가 왜 데보션 프로 인터뷰에 갔는지??사실 제가 이번 인터뷰를 찾아가게 된 이유는, 현재 학점연계 인턴으로 데이터 엔지니어 직무를 수행하고 있기 때문인데요..! 데이터를 다루는 직무 특성상, 도메인 지식과 실무 경험이 굉장히 중요하다는 걸 매일 느끼고 있거든요. 그러다 데보션에서 김수겸 프로님 인터뷰를 진행한다는 소식을 들었고, 평소 데이터 분야에서의 커리어와 실무에 대한 궁금증을 해소할 수 있는 기회라고 생각해서 신청을 결심했습니다. 😊 💬 가서 들었던 질문과 답변김수겸 프로님께서 .. 공감수 2 댓글수 1 2024. 11. 30.
GA4 BigQuery https://support.google.com/analytics/answer/9267735?hl=ko [GA4] 추천 이벤트 - 애널리틱스 고객센터도움이 되었나요? 어떻게 하면 개선할 수 있을까요? 예아니요support.google.com- SQL 유저와 세션 수 추출해보기 (distinct, group by, 서브쿼리)SELECT COUNT(user_pseudo_id)FROM ( SELECT user_pseudo_id, count(user_pseudo_id) FROM `{project_name}.{dataset_name}.{table_name}` GROUP BY user_pseudo_id) WITH A AS( SELECT user_pseudo_id, count(user_pseudo_id) .. 공감수 4 댓글수 2 2024. 10. 3.
Serverless 컴퓨팅과 AWS Lambda에 대하여 *해당 글은 smileshark의 'AWS Lambda의 모든 것: 초보자를 위한 완벽한 가이드'를 보고 정리하였습니다.https://www.smileshark.kr/post/all-about-aws-lambda-the-complete-beginners-guide-1#viewer-fsq14 서버리스 컴퓨팅AWS Lambda는 서버리스 컴퓨팅 서비스이다.서버리스 컴퓨팅이란 서버의 설정과 관리 없이 백엔드 서비스를 운영할 수 있게 해주는 클라우드 컴퓨팅 실행 모델이다.사용자는 코드작성에만 집중하고, 인프라는 AWS가 관리해ㅐ주기 때문에 빠르고 효율적으로 개발 및 배포가 가능하다. AWS Lambda는 서버를 프로비저닝 또는 관리하지 않고도 모든 유형의 애플리케이션과 백엔드 서비스에 대한 코드를 실행할 수.. 공감수 0 댓글수 1 2024. 9. 23.
conda 가상환경 명령어 가상환경 생성{env_name}에 생성할 가상환경 이름을 지정하고, 생성할 가상환경의 파이썬 버전을 부분에 지정해준다.ex) conda create --name myenv python=3.12conda create --name {env_name} python= 가상환경 삭제conda remove --name {env_name} --all 현재 사용중인 가상환경 확인conda info --envs # 혹은 conda env list 현재 가상환경 경로 확인echo $CONDA_PREFIX 가상환경 패키지 관리 명령어아래 3개는 가상환경 패키지를 관리하는 명령어이다. 가상환경을 사용함으로써 각 프로젝트의 패키지 의존성을 독립적으로 관리할 수 있다. 특정 패키지 설치conda install 특정 패키지 제.. 공감수 1 댓글수 0 2024. 9. 22.
리액트 라우터 정리 보호되어 있는 글입니다. 공감수 0 댓글수 0 2024. 8. 11.
GIT 기본 명령어 정리 - 1 보호되어 있는 글입니다. 공감수 0 댓글수 0 2024. 8. 5.
기본적인 Unix Command 정리 + WSL 실습 환경 세팅 WSL 설치하기WSL은 Windows SubSystem for Linux의 약자이다. 리눅스 커맨드와 커맨드라인 앱을 윈도우에서 실행할 수 있는 가벼운 툴이므로 Unix Command 실습을 위해WSL을 설치해 세팅해보자. 1. powershell 관리자 권한으로 실행 후 아래 커맨드 터미널에 복붙하기(WSL 사용 허용)dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart 2. 컴퓨터 재부팅하기 3. Ubuntu 설치 및 실행아래 링크에 들어가서 Ubuntu를 설치한다.https://ubuntu.com/download/desktop Download Ubuntu Desktop | Ubunt.. 공감수 0 댓글수 1 2024. 7. 25.
Web API: Pagination ➡️ 정리에 참고한 영상입니다.http://www.example.com/products?limit=50 페이지네이션이란 데이터를 나눠서 가져와 렌더링해주는 것이다.예를 들면 온라인 쇼핑몰에서 1~10페이지까지 상품 목록을 조회하는 것이나, 넷플릭스에서 콘텐츠 더보기란을 눌러10개 혹은 20개씩 추가로 콘텐츠를 조회하는 동작 등을 말한다. 페이지네이션 동작 기법에는 크게 두가지가 있다. 이 두가지에 대한 동작 원리를 알아보자. 1️⃣ Offset-based Pagination Client측에서 request를 보낼 때 제공해야 하는 정보는 limit과 offset이 있다.아래 경우, 101~150 item들을 가져온다.GET/products?limit=50&offset=100 📌 Limit: 한 페이.. 공감수 0 댓글수 0 2024. 7. 21.
mysql과 elasticsearch sync하기 1. 필요한 라이브러리 설치django-elasticsearch-dsl과 mysqlclient를 설치했다.pip install django-elasticsearch-dsl django-elasticsearch-dsl-drf mysqlclient 2. Elasticserach 설정 및 도커 이미지 다운로드Elasticsearch 인스턴스를 설치하고 실행해야 한다.로컬 환경에서 테스트한다면, 공식 Elasticsearch Docker 이미지를 사용할 수 있다.docker pull docker.elastic.co/elasticsearch/elasticsearch:7.10.0docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.e.. 공감수 0 댓글수 0 2024. 7. 18.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.