חברים שלנו הגשימו חלום. הם רכשו בית חווה מט ליפול באומבריה, איטליה, ליד העיר פרוג'ה, שיפצו אותו ועברו לגור בו. בניין סמוך בחווה שופץ אף הוא ומשמש להם מקור פרנסה, חדרי נופש להשכרה (קישור כאן, אם תרצו לשכור. שווה!). לפני כעשור, קצת לפני תום העבודות, נסעתי עם זוגתי שתחייה ושני זוגות חברים, שיחיו גם הם, שנים רבות אפילו, לשהות של שבוע שם. טיילנו בסביבה, באסיזי ובעוד עיירות מקסימות שם בסביבה שאת שמות רובן שכחתי, למשל: Gubio.
גם את הנסיעה הזו, שהייתה מאד מהנה, מסתבר ששכחתי להכניס לרשימת הנסיעות שאני מתחזק באובססיביות משהו, היסטורית המיקומים הפרטית שלי (כך תכנה זאת גוגל), משענת הזיכרון הרצוץ שלי. כל פעם שאני נזכר בעוד נסיעה ששכחתי, ולא נסיעת עבודה שלא אכפת לי לשכוח, אני מתמלא בחרדה ואץ רץ לנסות ולסתום את החורים בזיכרון שלי.
כבר הפנמתי שמהחברים שלי לא תבוא הישועה בעניין זה. משום מה הם לא חולקים את החרדה הקיומית הזו שלי, וזה ממש לא מזיז להם אם זה היה לפני 12 או 9 שנים ובאילו תאריכים בדיוק זה היה. בטח לא מה עשינו בכל אחד מהימים. אבל שחזרנו יחד שזה היה בערך לפני עשור. וכיוון שלפני עשור כבר עברתי לצילום דיגיטלי, חשבתי שאם אמצא את התמונות מהנסיעה הזו, התאריכים בהן התמונות צולמו, המקודדים בתוך קובץ התמונה עצמו בפורמט EXIF, יהיו מה שאני מחפש.
תמונות מלפני עשור כבר לא נמצאות על הדיסק הקשיח של המחשב שלי. העברתי את כל התמונות שצולמו לפני 2016 לדיסק גיבוי חיצוני כדי לפנות מקום במחשב. הוא כבר היה סתום לגמרי. אבל אני גם מגבה את התמונות מהמחשב ברשת, באמצעות תוכנת goole photos backup שמגבה את התמונות ברזולוציה מופחתת ל google photos. ברזולוציה זו, האחסון הוא חינם ולא מוגבל בגודל. אז לשם הלכתי לחפש. (התכנה הזו, אגב, גרועה במידה שלא תאומן, אבל האחסון חינם והגיבוי רצוי, גם אם התכנה מייצרת ברשת שני עותקים של כל תמונה, לפעמים שלשה).
מצאתי את התמונות, כי ב google photos, מעכשיו בקיצור photos, אפשר לסרוק את התמונות על פי תאריכים. הלכתי אחורה עשור, סרקתי קדימה ואחורה ומצאתי את התמונות מהנסיעה ההיא לפני תשע שנים. וכשהסתכלתי על המידע הצמוד לתמונה ספציפית, בכדי לשחזר את התאריך המדויק, הופתעתי לראות שגם מיקום היה שם, חלק מה meta-data הצמוד לתמונה. במקרה, בתמונה עליה הסתכלתי, המיקום היה Gubio, שם של מקום שאותו לא זכרתי, אבל על פי המפה בהחלט היה באזור הנכון.
זה היה מפתיע. במצלמה בה צילמתי תמונות אלה, שגם הדגם שלה היה שם, בתוך ה meta-data הצמוד לתמונה, לא היה GPS מובנה, ולכן התמונות לא תוייגו עם מידע של מיקום. אז מאיפה מידע המיקום הזה? אני לא הכנסתי אותו.
גם לא היו לי מצלמות אחרות שבהן כן היה תיוג גיאוגרפי וגם טלפון חכם, בו התמונות כמעט תמיד מתויגות גיאוגרפית כברירת מחדל, לא היה לי אז. כי אם היו לי כאלה, לא קשה לדעת את מיקומן של תמונות לא מתויגות גיאוגרפית שצולמו בסמיכות זמנים לתמונות אחרות בהן יש תיוג שכזה. בהנחה שאלו תמונות שצולמו על ידי אותו אדם, או על ידי אחרים שהיו יחד אתו, אפשר להשלים בצורה כזו את מידע המיקום בתמונות החסרות אותו.
באיים המלדיבים בהן שהיתי לפני שבוע צילמתי בארבעה מכשירים שונים, ויש עמי תמונות מכ 30 מכשירים שונים. צילמתי בטלפון, במצלמה רגילה עם GPS ובשתי מצלמות לצילום מתחת למים שבאחת מהן יש GPS (אבל יורדת רק עד 18 מטרים) ובשנייה אין. אחרי שמתקנים את שעת הצילום במצלמות אותן שכחתי להעביר לאזור הזמן של המלדיבים, אין בעיה לתייג את כל התמונות החסרות תיוג כזה, עד רמה של אטול אלמוגים ספציפי. כנ"ל גם עם תמונות שקיבלתי מ 15 הצוללים האחרים באותה הפלגה, שלא כולם תייגו גיאוגרפית את צילומיהם (GPS גם לא עובד מתחת למים…).
אלא שזה לא היה המקרה כאן. לא כך נוצר התיוג של אותן תמונות מאומבריה מלפני תשע שנים. ראיתי שמתחת למיקום צוין שהמיקום הוא "משוערך" או באנגלית estimated loaction. בטקסט העזרה המצורף צוין שהמיקום של הצילום משוערך על פי "היסטורית המיקומים שלי" ואמצעים אחרים. זה היה מאד מסקרן, ואפילו קצת מפחיד, עוקבים אחרי המיקום שלי? חקרתי קצת והנה מה שמצאתי. קצת גובל במדע בדיוני.
מסתבר שלכל מי שיש טלפון חכם ובו חשבון גוגל, יש לו גם היסטורית מיקומים. איפה היית בכל תאריך, החל משנת 2009 במקרה שלי. אפשר לראות את זה על מפה, לכל תקופה ותקופה. בזה הם משתמשים בכדי להוסיף מיקום לצילומים שלך, אלו שנמצאים ברשת. תיוג המיקום אגב, מאוחסן חיצונית, לא בתוך הקובץ.
הם לא מפרטים בדיוק איך נבנית היסטורית המיקומים הזו, אבל הטלפון שלך מייצר אותה, וממה שבדקתי, המיקום של הטלפון נרשם גם אם ה GPS לא מופעל או שאין קליטת GPS.
איך זה נעשה? חברות כמו גוגל או אפל יודעות את המיקום הגיאוגרפי של כמעט כל נקודת גישה ל Wi-Fi בעולם. בכל פעם שטלפון עם GPS (שיש לו קליטה מהלוויינים) נמצא בטווח קליטה של נקודת גישה ל Wi-Fi, גם הוא לא מחובר אליה, הוא מצרף יחד את קוד ההזדהות של נקודת הגישה והמיקום שלה, ושולח את זה לגוגל (ואחרים). אם למשל קנית נקודת גישה ל Wi-Fi חדשה והתקנת אותה, תוך שעות מיקומה תתווסף למאגר הנתונים הזה.
כלומר, גם אם בטלפון שלך לא דולק ה GPS וגם ה Wi-Fi לא מחובר לאף אחד, די בכך שיש נקודת גישה ל Wi-Fi בסביבה המשדרת לעולם את קוד הזיהוי הייחודי שלה, או תא סלולרי, בכדי שהטלפון שלך ירשום לעצמו את מיקומו בעולם בהיסטורית המיקומים שלך. ליתר דיוק בעותק מקומי, שיסתנכרן עם העותק ברשת לכשתהיה מחובר.
היסטורית המיקומים יכולה להכיל גם מידע שנשלף מהמיילים שלך. כמו שטיסות מופיעות מעצמן בתאריך והשעה הנכונים ב calendar שלי, על סמך זה שקיבלתי במייל אישור על הזמנת הטיסה, סביר להניח שאותו מידע משמש גם לייצור היסטורית המיקומים שלי. זה עובד אפילו אם הטלפון לא נמצא באותו מיקום כמו האדם עצמו. אבל אני לא בטוח.
בכל אופן, היסטוריה המיקומים שלי מתחילה רק ב 2009, שנה שבה כנראה התחלתי להשתמש מטלפון חכם עם מערכת הפעלה אנדרואיד. או שרק אז גוגל החלו לעקוב אחרי המיקום של המכשיר שלי. כך שהמיקום של התמונות מ 2007 לא שוערך על סמך היסטורית המיקום שלי. אז על סמך מה כן? לדעתי על סמך זיהוי חלק מהמקומות המצולמים בתמונות והרחבת התיוג מהמקומות שזוהו לתמונות שצולמו בסמיכות זמנים.
כדי לבדוק את ההנחה הזו, לקחתי את אחת התמונות שצילמתי באותה עיירה, וניסיתי לחפש תמונות ב google image search על פי תמונה זו (אפשר לחפש על פי תמונה, בגרסת המחשב של חיפוש התמונות. החיפוש לא העלה תמונות זהות (ברור, כי זו תמונה שלי) אבל תוצאת החיפוש העלתה שהמבנה הוא בסבירות גבוהה ארמון הדוכס בעיירה gubio. חיפשתי תמונות אחרות של אותו ארמון, ואכן, זה המיקום הנכון. אז ככה גיליתי שבתאריך זה וזה, היינו באותה עיירה.
זה עובד כמובן רק כאשר יש צילומי מבנים מוכרים פחות או יותר, בכל אופן, מבנים בעלי מבנה יחודי במידה כזו או אחרת. זה עובד רק אם זה מבנה או אתר שהרבה אנשים צילמו והעלו לרשת, וחלקם גם תייגו. אפשר כמובן גם להרחיב את ההיקש הזה. אם למשל ביום אחד הייתי באתר שקל לזהות כי הוא מאד פופולרי ובעל צורה ייחודית, כמו למשל כנסיית פרנציסקוס הקדוש באסיזי, אז גדלה הסבירות שמה שזוהה למחרת או אכן אותו ארמון הדוכס בעיירה הסמוכה. אבל אני לא בטוח שזה משהו שמשתמשים בו. 
כל תיוג כזה, על סמך תמונה, יכול גם להיכלל להבא בהיסטורית המיקומים ולשמש לתיוגים נוספים, אבל זה כבר הרבה יותר ספקולטיבי, ומועד לכשל בו הנחה שגויה אחת גוררת אחרות.
יש כמובן את ה"בעיה" שהתמונות מהטיול בניו-זילנד שבני שולח לי בווטסאפ למשל ומגובות גם הן ל google photos, יגרמו לגוגל להניח שאני בניו-זילנד כרגע, ולהכניס את זה להיסטורית המיקומים שלי, מה שמאד יבלבל אותי כשבגיל שמונים אנסה נואשות להיזכר מתי לעזאזל הייתי בניו-זילנד.
בעצם, אולי זו לא בעיה, כי כיום רוב האנשים כוללים את עצמם בתמונה, לפני כל מקום ואתר, וזיהוי פנים עובד מצוין. את פרצופי המכוער אני ממש לא רוצה בדרך כלל לראות בתמונה, בטח שלא מעוות על ידי העדשה הקדמית בטלפון אבל אפשר לזהות שם בניו זילנד את פניו היפות של בני, לידיעת היסטורית המיקומים של גוגל…
אם זה סתם נוף, נאמר של כרמי אומבריה, השיטה הזו לא תעבוד. למטרה זו, מה שגוגל מנסה לעשות, זה למידה ממוחשבת. במאמר שהם פרסמו הם מציגים תוצאות לא רעות של זיהוי מיקום בעזרת מה שנקרא deep learning. המערכת הוזנה בסט אימון של תשעה מליון צילומים מתויגי מיקום (שזה סט קטן מאד במונחי גוגל) והצליחה לזהות מיקומים ברמה של אזור בדיוק של כ 30%, ויבשת בכ 70%, שזה הרבה יותר טוב מיכולת הניחוש של בני אדם, גם כאלו שנסעו וטיילו הרבה.
אני מוקסם מהיכולות האלו. אלו דברים שדיברנו עליהם בעבודתי בחברת אינטל לפני יותר מעשור, SVM) Support Vector Machine) היה מילת המפתח לטכנולוגיה הזו, בה האלגוריתמים בונים "ממיין" שאת הקריטריונים שלו למיון (על פי מקום, במקרה זה) הוא מפיק באופן אוטומטי מסט האימון שלו, וקריטריונים אלו הם לא משהו שניתן לניסוח בשפה אנושית, ובני אדם לא בהכרח מסוגלים להבין את הלוגיקה שלהם.
כמויות מאד גדולות של כושר חישוב נדרשות בשרתים (למשל של גוגל) למטרות מעין אלה, ועכשיו שמסתבר שגוגל אכן עושה את זה, כנראה שאינטל מסודרת לעתיד הקרוב. שוק המעבדים לשרתים יכסה לה את ההכנסות שהמעבדים למחשבים הניידים כבר פחות מספקים. אלא אם גוגל משתמשת במאיצים גרפיים, מעבדים של חברת nvidia, לצרכי למידה ממוחשבת של זיהוי תמונות, מאיצים שהארכיטקטורה שלהם מאד מתאימה לצרכים מסוג זה.
האם מפחיד אותי שגוגל יכולה לדעת איפה הייתי וגם מה עשיתי שם? יותר מפחיד אותי שאני לא אזכור איפה הייתי ומה עשיתי. חוץ מזה, אני לא משלה את עצמי שממשלות לא יכולות ממילא לדעת את זה, ולהן יש גם גישה למצלמות מעקב, לא רק לסלפי שלי מחזית איזו כנסיה. מצאתי מגוחך את חרדות אותו האמריקאי על שתמונת אשתו עם הנשק שלה תויגה במיקום של ביתו. מה יהיה כאשר ממשלת הרשע תבוא לאסוף את 300 מליון הנשקים שאזרחיה מחזיקים בבתיהם? פחחחח
כיוון שכך, אני לא רואה שום סיבה שגם אני לא איהנה מתוצרי הטכנולוגיות האלה. גם אני רוצה להיות מסוגל לדעת איפה הייתי ומה עשיתי, גם תשע או עשרים שנים אחרי.