این commit به هیچ شعبه ای در این مخزن تعلق ندارد و ممکن است به یک فورک خارج از مخزن تعلق داشته باشد.

نام در حال حاضر استفاده شده است

یک برچسب از قبل با نام شعبه ارائه شده وجود دارد. بسیاری از دستورات Git هر دو نام برچسب و شاخه را می پذیرند، بنابراین ایجاد این شاخه ممکن است باعث رفتار غیرمنتظره شود. آیا مطمئن هستید که می خواهید این شعبه را ایجاد کنید؟

• محلی
• فضاهای کد

از Git یا Checkout با SVN با استفاده از URL وب استفاده کنید.

با CLI رسمی ما سریع کار کنید. بیشتر بدانید.

ورود به سیستم لازم

برای استفاده از Codespace لطفا وارد شوید.

راه اندازی دسکتاپ GitHub

اگر اتفاقی نیفتاد، GitHub Desktop را دانلود کنید و دوباره امتحان کنید.

راه اندازی دسکتاپ GitHub

اگر اتفاقی نیفتاد، GitHub Desktop را دانلود کنید و دوباره امتحان کنید.

راه اندازی Xcode

اگر اتفاقی نیفتاد، Xcode را دانلود کنید و دوباره امتحان کنید.

راه اندازی کد ویژوال استودیو

پس از آماده شدن فضای کد شما باز می شود.

مشکلی در تهیه فضای کد شما وجود داشت، لطفاً دوباره امتحان کنید.

آخرین ارتکاب

آمار Git

فایل ها

آخرین اطلاعات commit بارگیری نشد.

README. md

ابزارهایی برای جابجایی و ذخیره شاخص ها.

• نسخه 1. 0. 0 Elasticdump فرمت فایل های ایجاد شده توسط dump را تغییر می دهد. فایل های ایجاد شده با نسخه 0. x. x این ابزار احتمالاً با نسخه های آینده کار نمی کنند. برای کسب اطلاعات بیشتر در مورد تغییرات شکسته، به یادداشت های انتشار نسخه 1. 0. 0 مراجعه کنید. اگر خطای «خارج شدن از حافظه» را دریافت کردید، احتمالاً یا به احتمال زیاد علت آن است.
• نسخه 2. 0. 0 Elasticdump گزینه های عمده را حذف می کند. این گزینه ها باگ بودند و بین نسخه های Elasticsearch متفاوت هستند. اگر نیاز به صادرات چند شاخص دارید، به دنبال بخش multielasticdump ابزار باشید.
• نسخه 2. 1. 0 Elasticdump از استفاده از اسکن/پیمایش (ES 1. x) به فقط اسکرول (ES 2. x) حرکت می کند. این یک تغییر سازگار با عقب در Elasticsearch است، اما ممکن است عملکرد در نسخه های Elasticsearch قبل از 2. x کاهش یابد.
• نسخه 3. 0. 0 Elasticdump دارای پرس و جوهای پیش فرض به روز شده است تا فقط برای ElasticSearch نسخه 5+ کار کند. این ابزار ممکن است با نسخه های قبلی Elasticsearch سازگار باشد، اما روش تشخیص نسخه ما ممکن است برای همه توپولوژی های خوشه ES کار نکند.
• نسخه 5. 0. 0 Elasticdump شامل یک تغییر شکست برای حمل و نقل s3 است. پارامترهای s3Bucket و s3RecordKey دیگر پشتیبانی نمی شوند، لطفاً به جای آن از s3urls استفاده کنید.
• نسخه 6. 1. 0 و بالاتر از ElasticDump حاوی تغییر در فرآیند بارگذاری/زباله است. این تغییر امکان پردازش وعده با هم همپوشانی را فراهم می کند. فواید آن بهبود عملکرد به دلیل افزایش پردازش موازی است ، اما یک اثر جانبی وجود دارد که در آن سوابق (مجموعه داده ها) به ترتیب متوالی پردازش نمی شوند (سفارش دیگر تضمین نمی شود)
• نسخه 6. 67. 0 و بالاتر از ElasticDump اگر نسخه گره با حداقل نیاز مورد نیاز مطابقت نداشته باشد (V10. 0. 0)
• نسخه 6. 76. 0 و بالاتر از ElasticDump پشتیبانی اضافه شده برای OpenSearch (Forked از Elasticsearch 7. 10. 2)

ElasticDump با ارسال ورودی به خروجی کار می کند. هر دو می توانند یک URL Elasticsearch یا یک پرونده باشند.

• قالب :: //:/
• مثال: http://127. 0. 0. 1:9200/my_index

• قالب:
• مثال:/users/evantahler/desktop/dump. json

• قالب: stdin / stdout
• قالب: $

سپس می توانید کارهایی مانند:

اگر Elasticsearch از فهرست ریشه سرو نشود ،-Index-Index و-Output-Index مورد نیاز است. در صورت عدم ارائه آنها ، زیرمجموعه های اضافی برای شاخص و نوع تجزیه می شوند.

• قالب :: //: //
• مثال: http://127. 0. 0. 1:9200/api/search

اگر ترجیح می دهید از Docker برای استفاده از ElasticDump استفاده کنید ، می توانید این پروژه را از Docker Hub بارگیری کنید:

سپس می توانید از آن استفاده کنید:

• با استفاده از docker ru n-r m-ti elasticdump/elasticsearc h-dump
• شما باید ذخیره سازی پرونده خود را در ظرف docker خود سوار کنید

اگر نیاز به استفاده از LocalHost به عنوان میزبان ES خود دارید:

فرمت فایل تولید شده توسط این ابزار فایلهای JSON با مجازات خط است. پرونده زباله به خودی خود JSON معتبر نیست ، اما هر خط است. ما این کار را انجام می دهیم تا بدون نگرانی در مورد یکپارچگی کلکسیون کل پرونده ، Dumpfiles پخش و پیوست شود.

به عنوان مثال ، اگر می خواستید هر خط را تجزیه کنید ، می توانید انجام دهید:

API Scroll Elasticsearch

Elasticsearch یک API پیمایش را برای واکشی تمام اسناد یک شاخص از (و نگه داشتن) یک عکس فوری مداوم در زمان ، که ما در زیر کاپوت استفاده می کنیم ، فراهم می کند. استفاده از این روش برای صادرات بزرگ بی خطر است زیرا نتیجه تعیین شده در حافظه نهان را برای مدت زمان معین حفظ می کند.

توجه: فقط برا ی-فرصت کار می کند

دور زدن خطاهای گواهینامه خود امضا

node_tls_reject_unauthorized = 0 را قبل از اجرای ElasticDump تنظیم کنید

این بسته همچنین با یک باینری دوم، multielasticdump ارسال می شود. این یک پوشش برای باینری elasticdump معمولی است که مجموعه گزینه های محدودی را ارائه می دهد، اما elasticdump را به طور موازی در بسیاری از شاخص ها به طور همزمان اجرا می کند. فرآیندی را اجرا می کند که به n (پیش فرض تعداد پردازنده های میزبان میزبان شما) فرعی که elasticdump را اجرا می کنند، تقسیم می شود.

مجموعه گزینه های محدود شامل:

• موازی: os. cpus()
• مطابقت: '^.*$'،
• سفارش: "صعود"،
• ورودی: تهی،
• خروجی: تهی،
• زمان پیمایش: '10m',
• تایم اوت: پوچ،
• محدودیت: 100،
• افست : 0
• اندازه: -1،
• جهت: تخلیه،
• ignoreType: ``
• includeType: ``
• پیشوند: ""
• پسوند : ''
• فاصله: 1000
• SearchBody : null
• تبدیل : پوچ
• support-big-int: نادرست
• big-int-fields: ``
• ignoreChildError: نادرست

اگ ر-direction dump باشد، که پیش فرض است، -input باید یک URL برای مکان پایه یک سرور ElasticSearch (یعنی http://localhost:9200) باشد و-output باید یک فهرست باشد. هر شاخصی که مطابقت داشته باشد، یک فایل داده، نقشه برداری و تحلیلگر ایجاد می کند.

برای بارگیری فایل هایی که از Multi-elasticsearch ریخته اید، --direction باید روی بارگذاری تنظیم شود، --input باید فهرستی از یک dump multielasticsearch باشد و --output باید URL سرور Elasticsearch باشد.

--parallel تعداد فورک هایی است که باید به طور همزمان اجرا شوند و --match برای فیلتر کردن ایندکس ها استفاده می شود که باید dumped/load شوند (regex).

--ignoreType اجازه می دهد تا یک نوع از dump/load نادیده گرفته شود. شش گزینه پشتیبانی می شود. داده ها، نقشه برداری، تحلیلگر، نام مستعار، تنظیمات، الگو. پشتیبانی چند نوع در دسترس است، در صورت استفاده، هر نوع باید با کاما(،)-جدا شود و بازه اجازه می دهد تا بر فاصله ایجاد یک dump/load برای یک شاخص جدید کنترل شود. برای شاخص های کوچک، می توان آن را روی 0 تنظیم کرد تا تاخیرها کاهش یابد و عملکرد بهینه شود، یعنی تحلیلگر، انواع نام مستعار به طور پیش فرض نادیده گرفته می شوند.

--includeType اجازه می دهد تا یک نوع در dump/load گنجانده شود. شش گزینه پشتیبانی می شود - داده، نقشه برداری، تحلیلگر، نام مستعار، تنظیمات، الگو.

ignoreChildError اجازه می دهد تا multielasticdump ادامه یابد اگر یک کودک خطا پرتاب کند.

گزینه های جدید، پسوند -- به شما امکان می دهد پسوندی را به نام نمایه ای که ایجاد می شود اضافه کنید. es6-$ و --prefix به شما امکان می دهد یک پیشوند به نام ایندکس اضافه کنید.$-backup-2018-03-13.- order asc یا desc را می پذیرد و اجازه می دهد تا نمایه ها/نام مستعار قبل از انجام پردازش مرتب شوند.

هنگام تعیین گزینه تبدیل، پیشوند مقدار را با @ (یک قرارداد curl) قرار دهید تا تابع سطح بالا که با سند و آرگومان های تجزیه شده به ماژول فراخوانی می شود، بارگذاری شود.

از یک فرمت شبه URL برای مشخص کردن آرگومان به ماژول به شرح زیر استفاده می کند. داده شده:

با یک ماژول در ./transforms/my-transform. js با موارد زیر:

ماژول را بارگیری می کند.

یک مثال تبدیل برای داده های ناشناس در هنگام پرواز می تواند در پوشه Transforms پیدا شود.

هنگام مشخص کردن گزینه SearchBodyTemplate ، مقدار را با @ (یک کنوانسیون CURL) پیشوند کنید تا عملکرد سطح بالایی را که با سند و آرگومان های تجزیه شده به ماژول فراخوانی می شود ، بارگذاری کنید.

از یک فرمت شبه URL برای مشخص کردن آرگومان به ماژول به شرح زیر استفاده می کند. داده شده:

با یک ماژول در ./transforms/my-transform. js با موارد زیر:

ماژول را بارگیری می کند ./temapltes/my-teamplate. js '، و عملکرد را با doc و گزینه ها = `اجرا کنید.

یک الگوی مثال برای اصلاح تاریخ با استفاده از یک موتور قالب بندی ساده در پوشه قالب ها در دسترس است.

چگونه ElasticDump داده های تو در تو را در CSV کنترل می کند

ElasticDump قادر به خواندن/نوشتن داده های تو در تو است ، اما به روشی _opinionated. این به منظور کاهش پیچیدگی در حالی است که تجزیه و تحلیل CSV ها تمام لانه سازی را به یک سطح واحد می رساند (نمونه ای از این در زیر نشان داده شده است)

توجه کنید که داده ها به سطح 1 مسطح شده اند. کلیدهای شیء برای هدر و مقادیر به عنوان داده های ردیف استفاده می شوند. این ممکن است با قالب های داده های موجود در تو در تو کار نکند ، اما این فرمی است که به دلیل سادگی برای ElasticDump انتخاب شده است. این تشخیص به طور پیش فرض غیرفعال شده است ، تا بتواند از پرچ م-csvhandlenededdata استفاده کند