איך מתחילים פעולה חדשה של ייצוא נתונים בכמות גדולה

שיטות מומלצות

• חשוב לשים לב לגידול בנפח הנתונים. נתוני הפרויקט יצטברו ללא הגבלה, אלא אם תגדירו תאריך תפוגה לנתונים. הגדירו מועדי תפוגה לכל מחיצה כדי לנהל את עלויות האחסון.
• הנתונים כפופים לעלויות האחסון והשאילתות של Google Cloud, אבל יש גם רמת שימוש בחינם.

מבוא לייצוא נתונים בכמות גדולה ב-Search Console – הדרכה בנושא Google Search Console

איך מגדירים ומפעילים ייצוא נתונים שוטף בכמות גדולה

דרישות מוקדמות

• עליכם להגדיר פרויקט ב-Google Cloud עם חיוב ולהפעיל את BigQuery, כפי שמתואר בדף ההגדרה. יש רמת שימוש שניתנת בחינם, אבל נחייב אתכם על שימוש בנפח אחסון ובשאילתות מעבר למכסה בחינם.

במסוף Google Cloud

1. פותחים את מסוף Google Cloud.
2. עוברים לפרויקט Google Cloud שאליו רוצים לייצא נתונים.
3. מפעילים את BigQuery בפרויקט:
   1. בסרגל הצד עוברים אל APIs & Services ‏> Enabled APIs & services.
   2. אם BigQuery לא מופעל, לוחצים על + ENABLE APIS AND SERVICES ומפעילים את BigQuery API ואת BigQuery Storage API.
4. נותנים ל-Search Console הרשאה להוספת נתונים לפרויקט:
   1. בסרגל הצד עוברים אל IAM and Admin. בדף אמור להופיע הכיתוב Permissions for project <your_project>‎.
   2. לוחצים על + GRANT ACCESS כדי לפתוח חלונית צדדית עם הכיתוב Add principals.
   3. בקטע New Principals, מדביקים את השם הבא של חשבון השירות:
      • [e-mail]
   4. נותנים לו שני תפקידים: BigQuery Job User (bigquery.jobUser בממשק שורת הפקודה) וכן BigQuery Data Editor (bigquery.dataEditor בממשק שורת הפקודה).
   5. לוחצים על שמירה.

ב-Search Console

1. מגדירים את פרויקט Google Cloud כמו שמתואר למעלה.
2. עוברים אל הגדרות > ייצוא נתונים בכמות גדולה בנכס שלכם.
3. מעתיקים את מזהה הפרויקט (ולא את מספר הפרויקט) של הפרויקט במסוף Google Cloud לשדה מזהה פרויקט Cloud (מזהה הפרויקט מופיע בדף הגדרות הפרויקט).
4. בוחרים שם למערך הנתונים. השם יהיה searchconsole כברירת מחדל, אבל אם אתם רוצים לייצא מכמה נכסים למזהה פרויקט אחד, תצטרכו לתת שמות שונים למערכי הנתונים בכל נכס ב-Search Console. השם של מערך הנתונים מתחיל תמיד במחרוזת searchconsole, גם כשמתאימים אישית את השם.
5. בוחרים מהרשימה מיקום בשביל מערך הנתונים. מערכת Search Console תיצור את מערך הנתונים במיקום הזה בייצוא הראשון. חשוב לדעת: אחרי שהייצוא מתחיל, לא ניתן לשנות בקלות את המיקום הזה.
6. לוחצים על המשך כדי לאשר את האפשרויות שבחרתם ולהתחיל את פעולות הייצוא המתוזמנות. אם יש בעיה שאפשר לזהות באופן מיידי (כמו בעיית גישה), תקבלו הודעה בנושא תוך זמן קצר. אחרת, מערכת Search Console תתחיל את תהליך הייצוא תוך יום אחד.
7. הייצוא הראשון יתבצע עד 48 שעות מרגע שסיימתם את ההגדרה ב-Search Console. הייצוא הראשון כולל נתונים עבור יום הייצוא. אם מערכת Search Console נתקלת בשגיאה זמנית, יתבצע ניסיון ייצוא חוזר ביום הבא כמתוכנן.
8. לאחר יצירת הטבלאות, אפשר להגדיר תאריך תפוגה של מחיצות, אבל אין לשנות את הסכימה (למשל, להוסיף עמודה). אם משנים את הסכימה, הייצוא ייכשל.

אם אתם רוצים לראות נתונים היסטוריים מלפני ההגדרה הראשונית שלכם, השתמשו ב-Search Console API או בדוחות.

השלבים הבאים

• איך מציגים את סטטוס הייצוא האחרון
• הסברים על שדות הטבלאות
• כדאי לפעול לפי ההנחיות בנושא שאילתות לקבלת התוצאות הטובות ביותר, ולראות כמה שאילתות נפוצות.